CN113781325B - 一种基于分层条件生成对抗网络的水下图像复原方法 - Google Patents
一种基于分层条件生成对抗网络的水下图像复原方法 Download PDFInfo
- Publication number
- CN113781325B CN113781325B CN202110916857.8A CN202110916857A CN113781325B CN 113781325 B CN113781325 B CN 113781325B CN 202110916857 A CN202110916857 A CN 202110916857A CN 113781325 B CN113781325 B CN 113781325B
- Authority
- CN
- China
- Prior art keywords
- image
- generator
- underwater
- discriminator
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000000889 atomisation Methods 0.000 claims abstract description 12
- 238000013507 mapping Methods 0.000 claims abstract description 10
- 238000004088 simulation Methods 0.000 claims description 42
- 238000012549 training Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 13
- 238000005286 illumination Methods 0.000 claims description 9
- 238000009877 rendering Methods 0.000 claims description 9
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 9
- 230000005484 gravity Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 description 23
- 241000251468 Actinopterygii Species 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000005094 computer simulation Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008485 antagonism Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 239000013535 sea water Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Classifications
-
- G06T5/77—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
-
- G06T5/70—
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Abstract
本发明涉及一种基于分层条件生成对抗网络的水下图像复原方法，包括：将水下的真实图像载入分层条件生成对抗网络模型中，获取复原后的真实图像；分层条件生成对抗网络模型包括依次连接的第一生成器、第二生成器和第三生成器，第一生成器用于进行图像去噪，并闭环连接有第一判别器；第二生成器用于进行图像去雾化，并闭环连接有第二判别器；第三生成器用于进行图像去模糊，并闭环连接有第三判别器；第一判别器、第二判别器和第三判别器均用于判别生成器输出的生成图像和预设的标准图像的真伪，从而调整对应生成器的参数。与现有技术相比，本发明利用树状分层网络结构逐层消除噪声、雾化、模糊对水下图像的影响，构建低质量的水下图像到高质量的水下图像的分层映射。
Description
技术领域
本发明涉及水下图像复原技术领域，尤其是涉及基于分层条件生成对抗网络的水下图像复原方法。
背景技术
图像复原是从退化图像到清晰图像的一种转换，是一种结构化的学习任务。图像复原需要利用退化过程中的一些先验知识，进而恢复低分辨率图像到高分辨率图像。然而，在真实的环境中，导致图像退化的因素通常是未知的，因此图像复原本质上是一个病态问题，即对于某一个退化图像，存在多个与之对应的高分辨率图像。此外，图像复原除了提高图像的视觉感知质量以外，也能够辅助包括目标检测在内的一些下游计算机视觉任务，
传统的图像到图像的转换通常需要人为构造复杂的损失函数，并针对不同的问题和特定的场景采用精心设计的处理机制。典型的方法包括基于预测的方法、基于边缘检测的方法、基于图像块的方法以及统计学方法。然而，这些方法具有较大的局限性，主要是图像的恢复效率低下，恢复质量不高以及算法的泛化性能较差等。因此，基于生成对抗网络的图像恢复算法受到了广泛的关注。具体来说，生成对抗网络是一种不需要构建复杂损失函数的结构，它能够自动学习从输入图像到输出图像的映射，并基于梯度下降算法进行端到端的训练。尽管生成网络在模拟复杂图像分布上取得了巨大成功，但是依然面临着如训练过程的不稳定、生成图像单一化等诸多难题。尤其在训练网络从超低分辨率图像生成高质量图像时，问题变得更加严峻和复杂。此外，由于海洋水下图像的高噪声高雾化高模糊性等特征，模型分布和数据分布存在较少的重叠，因此直接逼近图像数据分布存在很大的困难。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种增强训练过程的稳定性的基于分层条件生成对抗网络的水下图像复原方法。
本发明的目的可以通过以下技术方案来实现：
一种基于分层条件生成对抗网络的水下图像复原方法，包括以下步骤：
将水下的真实图像载入预先建立并训练好的分层条件生成对抗网络模型中，获取复原后的真实图像；
所述分层条件生成对抗网络模型包括依次连接的第一生成器、第二生成器和第三生成器，所述第一生成器用于进行图像去噪，并闭环连接有第一判别器；所述第二生成器用于进行图像去雾化，并闭环连接有第二判别器；所述第三生成器用于进行图像去模糊，并闭环连接有第三判别器；
所述第一判别器、第二判别器和第三判别器均用于判别生成器输出的生成图像和预设的标准图像的真伪，从而调整对应生成器的参数。
进一步地，所述分层条件生成对抗网络模型的训练过程包括：
获取真实图像及其依次进行去噪、去雾化和去模糊后分别对应的图像，将真实图像载入所述分层条件生成对抗网络模型中，所述第一判别器根据所述第一生成器的输出结构和去噪后的图像进行真伪判断，并调整第一生成器的参数；所述第二判别器根据所述第二生成器的输出结果和去雾化后的图像进行真伪判断，并调整第二生成器的参数；所述第三判别器根据所述第三生成器的输出结果和去模糊后的图像进行真伪判断，并调整第二生成器的参数。
进一步地，所述分层条件生成对抗网络模型的输入还包括随机噪声。
进一步地，所述分层条件生成对抗网络模型的目标函数的表达式为：
式中，pdata代表数据的真实分布，pG代表生成器所表示的分布，x为输入的水下的真实图像，z为输入的随机噪声，xi为各阶段图像真值，si为各阶段生成器逐层生成的图像，λ为权衡L1损失项比重的系数，s0＝G0(x,z),si＝Gi(si-1,z)，/>为期望，/>为第i个阶段的逼近真实图像分布的生成器损失函数，xi来自第i个阶段的真实图像分布/>si来自第i个阶段的模型分布/>
进一步地，所述训练用的真实图像的获取过程包括以下步骤：
水下环境仿真步骤：对水下环境进行建模和图像渲染，生成初始仿真图像；
仿真图像真实性提升步骤：将所述初始仿真图像载入预先建立并训练好的仿真图像数据提升网络模型中，获取提升后的仿真图像；
所述仿真图像数据提升网络模型包括相互连接提升网络和判别网络，所述提升网络的输入为初始仿真图像，输出为提升后的仿真图像，所述判别网络根据所述提升后的仿真图像和所述仿真图像对应的真实图像进行真实性判别。
进一步地，所述提升网络的损失函数为：
式中，ψ是从图像空间到特征空间之间的映射，||·||1是L1正则化，Dφ是判别网络，Rθ(x)是提升函数。
进一步地，所述判别网络Dφ的损失函数为：
进一步地，采用Unity3D引擎联合3Ds MAX建模软件对水下环境进行建模。
进一步地，对水下环境进行图像渲染时，对于浅水环境，采用烘焙全局光照方案。
进一步地，对于深水环境，根据水下环境改变光源和摄像机的位置。
与现有技术相比，本发明具有以下优点：
(1)由于超低分辨率的水下图像难以通过一次复原操作进行高质量图像的恢复；因此，本发明提出一种面向图像复原的分层条件生成对抗网络模型，利用树状分层网络结构逐层消除噪声、雾化、模糊对水下图像的影响，构建低质量的水下图像到高质量的水下图像的分层映射。
(2)基于水下成像模型并结合现代图形学渲染引擎，提出融合海洋鱼类活动特点的海洋水下成像环境的计算机仿真技术，以获得各种条件下的海洋环境鱼类活动的仿真结果，为后续基于机器学习的模型训练提供仿真样本数据。
(3)基于条件生成对抗网络进行仿真样本的真实性提升：利用构建的鱼类图像生成对抗网络模型将仿真鱼类图像数据分布映射到真实鱼类图像数据分布来提升仿真样本的真实性，为图像复原和海洋鱼类目标检测与识别提供可靠的训练数据。
附图说明
图1为本发明实施例中提供的一种仿真图像数据提升网络模型的示意图；
图2为本发明实施例中提供的一种分层条件生成对抗网络结构模型的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
实施例1
本实施例提供一种基于分层条件生成对抗网络的水下图像复原方法，包括以下步骤：
水下环境仿真步骤S1：对水下环境进行建模和图像渲染，生成初始仿真图像；优选地，采用Unity3D引擎联合3Ds MAX建模软件对水下环境进行建模；对水下环境进行图像渲染时，对于浅水环境，采用烘焙全局光照方案；对于深水环境，根据水下环境改变光源和摄像机的位置。
在水下环境仿真步骤中，通过调整噪声，得出去噪声后的图像、进一步去雾化后的图像和进一步去模糊后的图像，用于后续的训练。
仿真图像真实性提升步骤S2：将初始仿真图像载入预先建立并训练好的仿真图像数据提升网络模型中，获取提升后的仿真图像；
仿真图像数据提升网络模型包括相互连接提升网络和判别网络，提升网络的输入为初始仿真图像，输出为提升后的仿真图像，判别网络根据提升后的仿真图像和处理后的真实图像进行真实性判别。
提升网络的损失函数为：
式中，ψ是从图像空间到特征空间之间的映射，||·||1是L1正则化，Dφ是判别网络，Rθ(x)是提升函数。
判别网络Dφ的损失函数为：
真实图像处理步骤S3：将水下的真实图像载入预先建立并训练好的分层条件生成对抗网络模型中，获取处理后的真实图像；
分层条件生成对抗网络模型包括依次连接的第一生成器、第二生成器和第三生成器，第一生成器用于进行图像去噪，并闭环连接有第一判别器；第二生成器用于进行图像去雾化，并闭环连接有第二判别器；第三生成器用于进行图像去模糊，并闭环连接有第三判别器；
第一判别器、第二判别器和第三判别器均用于判别生成器输出的生成图像和预设的标准图像的真伪，从而调整对应生成器的参数；
分层条件生成对抗网络模型的输入还包括随机噪声，没有噪声变量z，网络仍然可以学习从输入图像x到生成图像y的映射，但会产生确定性输出。
包含随机噪声时，分层条件生成对抗网络模型的目标函数的表达式为：
式中，pdata代表数据的真实分布，pG代表生成器所表示的分布，x为输入的水下的真实图像，z为输入的随机噪声，xi为各阶段图像真值，si为各阶段生成器逐层生成的图像，λ为权衡L1损失项比重的系数，s0＝G0(x,z),si＝Gi(si-1,z)，为期望，/>为第i个阶段的逼近真实图像分布的生成器损失函数，xi来自第i个阶段的真实图像分布/>si来自第i个阶段的模型分布/>
下面介绍本实施例的具体实施过程。
一种基于分层条件生成对抗网络的水下图像复原方法，该方法采用基于分层条件生成对抗网络的海洋水下图像恢复模型，为了训练该网络模型，首先利用水下成像环境的计算机仿真技术生成所需要的图像样例，并设计了一个基于条件生成对抗网络的样本真实性提升网络来提高生成样本的真实性。最后，利用生成的高真实性样本训练分层条件生成对抗网络的海洋水下图像恢复模型。
具体包括以下步骤
A、水下成像环境的计算机仿真
海洋环境仿真中比较复杂的工作是建模。与陆地物体建模不同，由于海底地形崎岖不平，海下生物形态各异，海洋环境中物体建模会更加复杂。为了使模拟效果更加精确逼真，每种生物的动作模式也需要细致模拟仿真。一般，这些细致模拟需要通过渲染引擎来完成。Unity3D能够自由引入各种专业建模软件的输出模型，因而在模型质量方面可以做到最好，仿真结果最精细。为了准确仿真这些海洋生物，一方面需要为它们建立精细的静态3D模型；另一方面，还需要对它们进行动作捕捉，准确还原它们的运动过程。目前与Unity3D引擎联合使用最多的建模软件主要是3Ds MAX。
在模拟水下环境时，图像渲染需要解决的主要问题集中在还原水下特有的光照情形对仿真图像造成的影响。水下环境的光照情形可以分为两种。一种是水深较浅的情况，此时环境中的主要光源是来自水面以上的自然光。另一种是水深极深的情况，此时环境中一片黑暗，需要人工添加光源照明。对于这两种不同的情况，需要采用不同的全局光照方案进行仿真。对于浅水环境，采用烘焙全局光照是最理想的光照方案。在对深水环境进行模拟时，经常需要改变场景中光源和摄像机的位置，希望能够实时观察到仿真结果。
B、仿真图像样本的真实性提升
海洋环境下，由于海水介质的存在，拍摄的水下图像颜色会发生失真。同时，由于受到光的折射、散射等因素的影响，获取的图像信号带有大量噪声，从而导致拍摄的水下图像存在较大程度上的模糊、雾化现象。因此，为了提高鱼类仿真样本数据的真实性，本实施例提出一种融合海洋环境特点的鱼类图像生成对抗网络模型，来生成不同程度的海洋环境引起的背景噪声、雾化、失真等。
本实施例设计了一个条件生成对抗网络模型来提升生成样本的真实性，同时，使用Wasserstein距离代替原始生成对抗网络中的Jensen-Shannon距离，并依据Wasserstein距离设计相应的训练优化理论算法，降低训练过程中参数的敏感性，使训练过程更加平滑。网络模型设计如1所示。其核心思想是将海洋环境对视觉数据造成的影响作为生成对抗网络中生成网络(又称提升网络)和判别网络的输入。以仿真海洋环境背景噪声、雾化和失真的影响为例来说明如何构建鱼类图像生成对抗网络模型。网络的输入包括三部分：1)仿真图像；2)随机噪声；3)海洋环境语义信息。其中海洋环境语义信息是用对海洋环境背景噪声、雾化和失真的编码结果来表示的。为了训练网络模型，设计提升网络的损失函数如下：
其中ψ是从图像空间到特征空间之间的映射，||·||1是L1正则化，Dφ是判别网络，Rθ(x)是提升函数。而判别网络Dφ的损失函数如下：
总的来说，判别器Dφ和提升网络Rθ不断对抗更新，训练结束后得到的提升网络Rθ可以使仿真图像逼近于真实图像。
C、基于分层条件生成对抗网络模型的真实图像处理
由于海洋水下图像的高噪声高雾化高模糊性等特征，模型分布和数据分布存在较少的重叠，因此直接逼近图像数据分布存在很大的困难。为了增强训练过程的稳定性以及提高生成样本的多样性，本实施例将扩展条件生成对抗网络，提出一种面向图像复原的分层条件生成对抗网络模型，利用树状分层网络结构逐层消除噪声、雾化、模糊对水下图像的影响，构建低质量的水下图像到高质量的水下图像的分层映射。
提出的分层条件生成对抗网络包含树形结构的多个生成网络Gi和判别网络Di。去噪声、去雾化、去模糊的图像在树的不同分支上生成。在每一个分支上，生成器捕捉相应阶段下的真实数据分布。分层条件生成对抗网络可以表示为从低质量海洋水下图像x和随机噪声z到依次消除噪声、雾化、模糊问题的高质量海洋水下图像y的过程。
分层条件生成对抗网络模型包含多个生成器Gi，并且在不同阶段生成不同图像si。在训练过程中，可以利用如下式(1)的损失函数联合逼近多阶段的图像分布；
其中，s0＝G0(x,z),si＝Gi(si-1,z)，是第i个阶段的逼近真实图像分布的生成器损失函数，/>为期望。每个生成器之后，有一个相应的判别网络Di判别输入的真实图像xi或者生成图像si的真伪。训练时可以通过最小化交叉熵损失函数来训练网络参数：
其中，xi来自第i个阶段的真实图像分布si来自第i个阶段的模型分布/>
为了使得输出图像更加清晰，在设计网络结构和优化目标函数时考虑到L1正则项更能表征图像的低频轮廓信息。因此，在目标函数中加入相对于L2正则项更少的L1正则项，让生成的图像和目标真值图像的轮廓特征尽可能的相似。具体地，L1正则项如式(3)和(4)所示，而最终的目标函数如式(5)所示：
其中，为分层条件生成对抗网络的目标损失函数，x为输入图像，z为输入噪声，xi为各阶段图像真值，si为各阶段逐层生成的图像，λ为权衡L1损失项比重的系数。需要强调的是，没有噪声变量z，网络仍然可以学习从输入图像x到生成图像y的映射，但会产生确定性输出。
众所周知，生成对抗网络面临着训练不稳定、算法难以收敛等诸多问题，因此，很多研究者在算法中引入利普斯连续来保证判别函数的相对光滑性，以此来稳定判别网络的训练。然而在大部分研究中，模型优化过程中仅仅是通过一些启发式的方法近似保证普斯连续条件。而本实施例在算法中引入谱正则化(Spectral Normalization，SN)，它通过简单的实现，较小的额外开销，就能达到令人满意的模型性能，同时也不需要反复调试多个超参数。具体计算公式如下所示：
其中，W是网络的权重矩阵，σ(W)表示矩阵W的谱范数。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (8)
1.一种基于分层条件生成对抗网络的水下图像复原方法，其特征在于，包括以下步骤：
将水下的真实图像载入预先建立并训练好的分层条件生成对抗网络模型中，获取复原后的真实图像；
所述分层条件生成对抗网络模型包括依次连接的第一生成器、第二生成器和第三生成器，所述第一生成器用于进行图像去噪，并闭环连接有第一判别器；所述第二生成器用于进行图像去雾化，并闭环连接有第二判别器；所述第三生成器用于进行图像去模糊，并闭环连接有第三判别器；
所述第一判别器、第二判别器和第三判别器均用于判别生成器输出的生成图像和预设的标准图像的真伪，从而调整对应生成器的参数；
所述分层条件生成对抗网络模型的训练过程包括：
获取真实图像及其依次进行去噪、去雾化和去模糊后分别对应的图像，将真实图像载入所述分层条件生成对抗网络模型中，所述第一判别器根据所述第一生成器的输出结构和去噪后的图像进行真伪判断，并调整第一生成器的参数；所述第二判别器根据所述第二生成器的输出结果和去雾化后的图像进行真伪判断，并调整第二生成器的参数；所述第三判别器根据所述第三生成器的输出结果和去模糊后的图像进行真伪判断，并调整第二生成器的参数；
所述分层条件生成对抗网络模型的输入还包括随机噪声。
2.根据权利要求1所述的一种基于分层条件生成对抗网络的水下图像复原方法，其特征在于，所述分层条件生成对抗网络模型的目标函数的表达式为：
式中，pdata代表数据的真实分布，pG代表生成器所表示的分布，x为输入的水下的真实图像，z为输入的随机噪声，xi为各阶段图像真值，si为各阶段生成器逐层生成的图像，λ为权衡L1损失项比重的系数，s0＝G0(x,z),si＝Gi(si-1,z)，为第i个阶段的逼近真实图像分布的生成器损失函数，/>为期望，xi来自第i个阶段的真实图像分布/>si来自第i个阶段的模型分布/>
3.根据权利要求1所述的一种基于分层条件生成对抗网络的水下图像复原方法，其特征在于，所述训练用的真实图像的获取过程包括以下步骤：
水下环境仿真步骤：对水下环境进行建模和图像渲染，生成初始仿真图像；
仿真图像真实性提升步骤：将所述初始仿真图像载入预先建立并训练好的仿真图像数据提升网络模型中，获取提升后的仿真图像；
所述仿真图像数据提升网络模型包括相互连接提升网络和判别网络，所述提升网络的输入为初始仿真图像，输出为提升后的仿真图像，所述判别网络根据所述提升后的仿真图像和所述仿真图像对应的真实图像进行真实性判别。
4.根据权利要求3所述的一种基于分层条件生成对抗网络的水下图像复原方法，其特征在于，所述提升网络的损失函数为：
式中，ψ是从图像空间到特征空间之间的映射，||·||1是L1正则化，Dφ是判别网络，Rθ(x)是提升函数。
5.根据权利要求3所述的一种基于分层条件生成对抗网络的水下图像复原方法，其特征在于，所述判别网络Dφ的损失函数为：
6.根据权利要求3所述的一种基于分层条件生成对抗网络的水下图像复原方法，其特征在于，采用Unity3D引擎联合3Ds MAX建模软件对水下环境进行建模。
7.根据权利要求3所述的一种基于分层条件生成对抗网络的水下图像复原方法，其特征在于，对水下环境进行图像渲染时，对于浅水环境，采用烘焙全局光照方案。
8.根据权利要求7所述的一种基于分层条件生成对抗网络的水下图像复原方法，其特征在于，对于深水环境，根据水下环境改变光源和摄像机的位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110916857.8A CN113781325B (zh) | 2021-08-11 | 2021-08-11 | 一种基于分层条件生成对抗网络的水下图像复原方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110916857.8A CN113781325B (zh) | 2021-08-11 | 2021-08-11 | 一种基于分层条件生成对抗网络的水下图像复原方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113781325A CN113781325A (zh) | 2021-12-10 |
| CN113781325B true CN113781325B (zh) | 2024-04-26 |
Family
ID=78837221
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110916857.8A Active CN113781325B (zh) | 2021-08-11 | 2021-08-11 | 一种基于分层条件生成对抗网络的水下图像复原方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113781325B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
| CN110443867A (zh) * | 2019-08-01 | 2019-11-12 | 太原科技大学 | 基于生成对抗网络的ct图像超分辨率重构方法 |
| CN112102186A (zh) * | 2020-09-07 | 2020-12-18 | 河海大学 | 一种水下视频图像实时增强方法 |
| WO2020258668A1 (zh) * | 2019-06-26 | 2020-12-30 | 平安科技（深圳）有限公司 | 基于对抗网络模型的人脸图像生成方法及装置、非易失性可读存储介质、计算机设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10748314B2 (en) * | 2018-02-15 | 2020-08-18 | Microsoft Technology Licensing, Llc | Controllable conditional image generation |
-
2021
- 2021-08-11 CN CN202110916857.8A patent/CN113781325B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
| WO2020258668A1 (zh) * | 2019-06-26 | 2020-12-30 | 平安科技（深圳）有限公司 | 基于对抗网络模型的人脸图像生成方法及装置、非易失性可读存储介质、计算机设备 |
| CN110443867A (zh) * | 2019-08-01 | 2019-11-12 | 太原科技大学 | 基于生成对抗网络的ct图像超分辨率重构方法 |
| CN112102186A (zh) * | 2020-09-07 | 2020-12-18 | 河海大学 | 一种水下视频图像实时增强方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于条件生成对抗网络的图像去雾算法;梁毓明;张路遥;卢明建;杨国亮;;光子学报(05);全文 * |
| 结合多尺度条件生成对抗网络的井下轨道检测;卫星;杨国强;李佳;陆阳;石雷;;中国图象图形学报(02);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113781325A (zh) | 2021-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Underwater image enhancement with a deep residual framework | |
| Hou et al. | Joint residual learning for underwater image enhancement | |
| CN108875935B (zh) | 基于生成对抗网络的自然图像目标材质视觉特征映射方法 | |
| Yang et al. | Low complexity underwater image enhancement based on dark channel prior | |
| CN112614077B (zh) | 一种基于生成对抗网络的非监督低照度图像增强方法 | |
| CN111028163A (zh) | 一种基于卷积神经网络的联合图像去噪与弱光增强方法 | |
| CN111062880A (zh) | 一种基于条件生成对抗网络的水下图像实时增强方法 | |
| CN107798661B (zh) | 一种自适应的图像增强方法 | |
| Raihan A et al. | Review of underwater image restoration algorithms | |
| CN112529789B (zh) | 一种城市可见光遥感图像阴影去除的弱监督方法 | |
| CN113284061B (zh) | 一种基于梯度网络的水下图像增强方法 | |
| CN114511480A (zh) | 一种基于分数阶卷积神经网络的水下图像增强方法 | |
| CN113763268B (zh) | 人脸图像盲修复方法及系统 | |
| CN115131492A (zh) | 目标对象的重光照方法、装置及存储介质和背景替换方法 | |
| CN114663297A (zh) | 一种基于多尺度密集生成对抗网络的水下图像增强方法及网络模型的训练方法 | |
| Yan et al. | UW-CycleGAN: Model-driven CycleGAN for Underwater Image Restoration | |
| CN117495718A (zh) | 一种多尺度自适应的遥感图像去雾方法 | |
| CN113781325B (zh) | 一种基于分层条件生成对抗网络的水下图像复原方法 | |
| Billaut et al. | ColorUNet: A convolutional classification approach to colorization | |
| Piriyatharawet et al. | Image denoising with deep convolutional and multi-directional LSTM networks under Poisson noise environments | |
| Guan et al. | DiffWater: Underwater Image Enhancement Based on Conditional Denoising Diffusion Probabilistic Model | |
| Kubiak et al. | Silt: Self-supervised lighting transfer using implicit image decomposition | |
| CN114998124A (zh) | 面向目标检测的图像清晰化处理方法 | |
| CN115908602A (zh) | 一种将风景照片转换为中国山水画的风格迁移方法 | |
| Zhang | (Retracted) Computer-aided three-dimensional animation design and enhancement based on spatial variation and convolution algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |