CN109064422A - 一种基于融合对抗网络的水下图像复原方法 - Google Patents
一种基于融合对抗网络的水下图像复原方法 Download PDFInfo
- Publication number
- CN109064422A CN109064422A CN201810780726.XA CN201810780726A CN109064422A CN 109064422 A CN109064422 A CN 109064422A CN 201810780726 A CN201810780726 A CN 201810780726A CN 109064422 A CN109064422 A CN 109064422A
- Authority
- CN
- China
- Prior art keywords
- underwater picture
- muddy
- domain
- true
- clear
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000004927 fusion Effects 0.000 title claims abstract description 24
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 51
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 46
- 238000002834 transmittance Methods 0.000 claims abstract description 15
- 238000011084 recovery Methods 0.000 claims abstract description 8
- 238000003062 neural network model Methods 0.000 claims abstract description 4
- 230000008569 process Effects 0.000 claims description 10
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 10
- 230000014759 maintenance of location Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 abstract description 3
- 238000011160 research Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 27
- 230000004069 differentiation Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 239000003643 water by type Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于融合对抗网络的水下图像复原方法，将所述清晰水下图像数据集作为真实的清晰域水下图像；将所述浑浊水下图像数据集作为真实的浑浊域水下图像；通过暗通道先验算法获取所述真实的浑浊域水下图像的透射率图，通过所述透射率图得到所述真实的浑浊域水下图像的深度信息；构建多层对抗神经网络模型，将所述真实的浑浊域水下图像以及其深度信息和所述真实的清晰域水下图像输入到所述网络模型中，通过训练和迭代反馈，将所述真实的浑浊域水下图像转换为合成的清晰域水下图像。本方法转换后的图像中景物的颜色更自然，对比度更鲜明，内容更清晰，此外，还对复原后的水下图像与其他方法得到的结构进行了对比，为水下视觉任务的进一步研究提供了基础。
Description
技术领域
本发明涉及水下计算机视觉技术领域，特别涉及一种基于融合对抗网络的水下图像复原方法。
背景技术
水下观测是我们探索海洋、开发利用水下资源的重要前提。许多水下装置可用于水下观测，然而水下原始图像的质量通常不足以被选择用于进一步的研究。由于水下光的吸收、散射和水质的影响，我们得到的水下图像普遍具有颜色失真，对比度低和噪声等缺点。
目前，水下图像复原仍是一个具有挑战性的课题。为了解决水下图像复原的问题，一些传统方法不依赖于物理模型，通过调整图像的像素值，来提高图像的视觉质量，而其他的方法需要考虑水下光学成像的数学模型。传统的水下图像复原和增强方法需要考虑到各种因素，例如水下的一些固有属性，这使得这些水下图像复原方法难以实现。
发明内容
本发明提供一种基于融合对抗网络的水下图像复原方法，以解决现有的水下图像复原和增强方法复杂，且需要获取大量水下条件参数，以及水下图像复原效果差等技术问题。
本发明的基于融合对抗网络的水下图像复原方法，将浑浊的水下图像转换为清晰的水下图像，使转换后的图像中景物的颜色更加自然，对比度更鲜明，内容更为清晰，此外，本发明还对复原后的水下图像进行了质量评价，为水下视觉任务的进一步研究提供了基础，例如水下图像质量会影响三维水下场景重建的结果，水下图像的真实颜色可以用来研究水下生物。
一种基于融合对抗网络的水下图像复原方法，包括如下步骤：
采集清晰的水下图像，构建清晰水下图像数据集，将所述清晰水下图像数据集作为真实的清晰域水下图像；
采集浑浊的水下图像，构建浑浊水下图像数据集，将所述浑浊水下图像数据集作为真实的浑浊域水下图像；
通过暗通道先验算法获取所述真实的浑浊域水下图像的透射率图，通过所述透射率图得到所述真实的浑浊域水下图像的深度信息；
构建多层对抗神经网络模型，将所述真实的浑浊域水下图像以及其深度信息和所述真实的清晰域水下图像输入到所述网络模型中，通过训练和迭代反馈，将所述真实的浑浊域水下图像转换为合成的清晰域水下图像。
进一步地，所述网络模型包括第一生成器、第二生成器、第一判别器以及第二判别器，所述将所述真实的浑浊域水下图像转换为合成的清晰域水下图像的具体步骤为：
将所述真实的浑浊域水下图像与其深度信息输入到所述的第一生成器，根据所述深度信息，采用不同大小的窗口对所述真实的浑浊域水下图像进行处理，得到合成的清晰域水下图像；
将所述合成的清晰域水下图像输入所述第二生成器，所述第二生成器生成对应的合成的浑浊域水下图像；
将所述合成的清晰域水下图像和真实的清晰水下图像输入到所述第一判别器，用以判别输入到所述第一判别器的图像的真假；
同时将所述合成的浑浊域水下图像和真实的浑浊域水下图像输入到所述第二判别器，用以判别输入到所述第二判别器的图像的真假；
通过损失函数优化所述网络模型，得到最终的合成的清晰水下图像。
进一步地，所述网络模型还包括三个不同距离信息的滤波器，即第一滤波器、第二滤波器及第三滤波器，
统计所述真实的浑浊域水下图像的透射率图的灰度值分布，并设置第一阈值和第二阈值，根据所述的第一阈值和所述的第二阈值将所述透射率图分为三个不同距离信息的滤波器图像，即第一距离滤波器图，第二距离滤波器图及第三距离滤波器图，应用所述三个不同距离信息的滤波器图像适应不同深度信息内容的复原。
整个网络为生成对抗网络的损失，通过损失函数优化所述网络模型，得到被复原的浑浊水下图像。所述损失函数包括：在所述真实的浑浊域水下图像与所述合成的清晰域水下图像之间添加融合结构保持损失函数，用以保持所述真实的浑浊域水下图像转换为所述合成的清晰域水下图像的结构不变性，且不同距离信息的滤波器图适应不同深度信息内容的复原；在所述合成的浑浊域水下图像与所述真实的浑浊域水下图像之间添加循环一致性损失函数，用以使得所述合成的浑浊域水下图像与所述真实浑浊域水下图像趋于一致。
作为一种优选的技术方案，所述融合结构保持损失函数具体为：
其中，MSSIMn(p)＝∑nβnSSIMn(p)，
式中，MSSIMn(p)为结构融合保持值，SSIMn(p)为结构保持值，X为浑浊水下图像复原成清晰水下图像的过程，G(x)为合成的清晰域水下图像，x为真实的浑浊域水下图像，为合成的清晰域水下图像，p为一幅图像块的中心像素，P为一幅图像的像素个数，n为不同距离信息的滤波器的个数，βn为不同结构保持损失函数计算出的值的权重，μx为x的均值，为的均值，σx为x的标准差，为的标准差，为x和的协方差，c1、c2为常数。
本发明提供了一种基于融合对抗网络的水下图像复原方法，具有以下优点：设计了一种将暗通道先验算法和多层对抗神经网络相结合的水下图像自适应恢复系统，将浑浊的水下图像转换为清晰的水下图像，使转换后的图像中景物的颜色更加自然，对比度更鲜明，内容更为清晰，且提出了一种融合结构相似性损失函数，提高了图像复原性能，保证了输入图像和输出图像之间的内容和结构相似性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图来获得其他的附图。
图1(a)为浑浊水下图像转换为清晰水下图像的流程图示意图；
图1(b)为清晰水下图像转换为浑浊水下图像的流程图示意图；
图2为融合对抗网络的水下图像复原方法流程图；
图3为不同方法进行水下图像复原与增强结果对比图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的组件或具有相同或类似功能的组件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
需要说明的是在本发明中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
实施例：
本申请实施例为本申请的优选实施例。
一种基于融合对抗网络的水下图像复原方法，利用不配对的浑浊水下图像和清晰水下图像(这里所说的不配对是指数张浑浊水下图像对应数张清晰水下图像，但是不需要它们之间满足图像结构内容以及数量一一对应的关系)，通过无监督深度学习方法将浑浊域水下图像复原为清晰域水下图像，并且复原得到的清晰水下图像颜色更加自然，对比度更强，内容更清晰，具体包括如下步骤：
采集清晰的水下图像，构建清晰水下图像数据集，将所述清晰水下图像数据集作为真实的清晰域水下图像；
采集浑浊的水下图像，构建浑浊水下图像数据集，将所述浑浊水下图像数据集作为真实的浑浊域水下图像；
需要说明的是，清晰的水下图像是指水质清晰时采集到的水下图像，浑浊的水下图像是指水质浑浊时采集到的水下图像。
通过暗通道先验算法获取所述真实的浑浊域水下图像的透射率图，根据所述真实的浑浊域水下图像的透射率图的灰度值分布，并设置第一阈值和第二阈值，在本实施例中，选取第一阈值为50，第二阈值为140，根据所述的第一阈值和所述的第二阈值将所述透射率图分为三个不同距离信息的滤波器图像，即第一距离信息滤波器图(又称远距离信息滤波图)，第二距离信息滤波器图(又称中距离信息滤波图)及第三距离信息滤波器图(又称近距离信息滤波图)，分别对应着远、中、近三个距离，通过所述透射率图得到所述真实的浑浊域水下图像的深度信息，深度信息也就是景物与镜头距离的远近。
构建多层对抗神经网络模型，将所述真实的浑浊域水下图像以及其深度信息和所述真实的清晰域水下图像输入到所述网络模型中，通过训练和迭代反馈，将所述真实的浑浊域水下图像转换为合成的清晰域水下图像。
需要说明的是，该网络模型是一个循环的过程，即浑浊域水下图像转换为清晰域水下图像以及清晰域水下图像转换为浑浊域水下图像，本发明中关注于浑浊域水下图像转换为清晰域水下图像的环节。其中，所述网络模型包括第一生成器、第二生成器、第一判别器、第二判别器。图1(a)所示为真实的浑浊域水下图像转换为合成的清晰域水下图像，再重新生成合成的浑浊域水下图像的流程图，图1中，x为真实的浑浊域水下图像，为重新合成的浑浊域水下图像，G为第一生成器，F为第二生成器，y为真实的清晰域水下图像，为合成的清晰域水下图像，DF为第一判别器，其工作原理为：将真实的浑浊域水下图像x通过第一生成器G得到合成的清晰水下图像合成的清晰水下图像通过第二生成器F重新得到的合成的浑浊域水下图像将合成的清晰水下图像和真实的清晰水下图像y分别输入到第一判别器DF，第一判别器DF用以判别输入到第一判别器DF的图像的真假。
图1(b)所示为真实的清晰域水下图像转换为合成的浑浊域水下图像，再重新生成合成的清晰域水下图像的流程图，图中，DG为第二判别器，其工作原理为：将真实的清晰域水下图像y输入到与图1(a)共享权值的第二生成器F得到合成的浑浊域水下图像将合成的浑浊域水下图像输入到与图1(a)共享权值的第一生成器G重新生成合成的清晰域水下图像将合成的浑浊域水下图像和真实的浑浊域水下图像x输入到第二判别器DG中用以判别输入到第二判别器DG的图像的真假。
如图2所示，下面将详细介绍所述真实的浑浊域水下图像转换为合成的清晰域水下图像的具体步骤为：
首先使用暗通道先验的方法将采集到的浑浊水下图像进行处理，得到对应的透射率图像，根据透射率图中像素点的灰度值范围确定两个阈值，由此将灰度值分为三个区间，也就是将一幅透射率图分成三个部分，每一部分满足阈值条件的像素的灰度值设为255，不满足的设为0，则一副透射率图像经过处理后得到三张黑白的滤波器图，分别代表一张图像中景物距离镜头的远、中、近三个距离信息。
所述网络模型包括第一生成器、第二生成器、第一判别器以及第二判别器。
将真实的浑浊域水下图像x和其对应的滤波器图像同时输入到第一生成器G，真实的浑浊水下图像x通过第一生成器G输出合成的清晰域水下图像为了能实现融合计算，在本实施例中，将三个不同距离信息滤波器图用于结构保持损失函数的计算。使用不同距离信息的结构保持窗口得到的结果不同，因此用三个不同距离信息滤波器图对一幅图像中处于不同深度的景物进行恢复，大窗口适用于近处的景物，小窗口适用于远处的景物，中窗口适用于中间的景物，因此，在输入的真实的浑浊域水下图像x和合成的清晰域水下图像,之间进行融合结构保持损失函数计算。
第一生成器G由编码器、残差网络和解码器构成，编码器的卷积网络将图像经过不同大小的卷积核，在图像上移动获取原图像中的特征，其主要作用是提取图像特征，组合不同相近特征，并保留原始图像特征。残差网络将输入部分直接添加到输出，以确保网络输入内容直接作用到后面的网络层，保留图像低级特征，以减小输入输出的偏差。解码器主要利用了转置卷积，与上面的编码器呈对称结构，从特征向量中还原出低级特征，从而恢复图片。
将合成的清晰域水下图像以及真实的清晰域水下图像y输入到第一判别器DF，用以判别输入到第一判别器DF的图像的真假；第一判别器DF主要为卷积网络，将合成的清晰域水下图像以及真实的清晰域水下图像y一起输入到第一判别器DF，经过卷积神经网络后，提取特征后返回预测的概率值，范围是0～1之间的数字，其中，1表示真，0表示假。
整个网络为生成对抗网络的损失，通过损失函数优化所述网络模型，得到被复原的浑浊域水下图像。具体为：
在本实施例中为网络添加的损失函数包括：
1)在所述的映射G从真实的浑浊域水下图像到合成的清晰域水下图像以及第一判别器DF，可以用对抗损失函数来描述这个过程。
2)在所述真实的浑浊域水下图像与重新经过生成器合成的浑浊域水下图像之间添加循环一致损失函数，用以使得所述重新合成的浑浊域水下图像与所述真实的浑浊域水下图像趋于一致；
3)在所述真实的浑浊域水下图像与所述合成的清晰域水下图像之间添加融合结构保持损失函数，用以保持所述真实的浑浊域水下图像转换为所述合成的清晰域水下图像的结构不变性；
对该融合对抗网络模型进行前向传输和后向反馈，使得网络根据输入的真实的浑浊域水下图像和真实的清晰域水下图像进行训练和学习；
输出损失函数的值，其中，X为陆地图像合成水下图像的过程，G(x)为合成清晰水下图像，x为真实浑浊域水下图像，y为真实清晰域水下图像，Y为清晰水下图像转换为浑浊水下图像的过程，需要说明的是在本发明中只关注陆地图像合成水下图像的过程，但为了保持网络的对称性，仍需要将网络结构设计为双向的对称结构。
为了使得合成图像更接近于真实图像，采用最小二乘损失函数：
式中，DY为判别器，表示随机变量x服从Pdata概率分布的期望值。
为了保证真实的浑浊域水下图像x或真实的清晰域水下图像y转换到其他域后还可以转换回对应合成的浑浊域水下图像或者合成的清晰域水下图像，采用循环一致性损失函数：
为了保证真实的浑浊域水下图像和生成的清晰域水下图像中的物体内容和结构不会发生太大的变化，只改变颜色和纹理特性，采用融合结构保持损失函数：
MSSIMn(p)＝∑nβnSSIMn(p)，式中，
X为浑浊水下图像复原成清晰水下图像的过程，G(x)为合成的清晰域水下图像，x为真实的浑浊域水下图像，为合成的清晰域水下图像，p为一幅图像块的中心像素，P为一幅图像的像素个数，n为不同距离信息的滤波器的个数，βn为不同结构保持损失函数计算出的值的权重，μx为x的均值，为的均值，σx为x的标准差，为的标准差，为x和的协方差，c1、c2为常数。
综上，浑浊域水下图像合成清晰域水下图像过程总的损失函数为：
Lloss＝λ1LGAN(G，DY，X，Y)+λ2Lcyc(GF)+λ3LMSSIM(X，G(X))
式中，λ1、λ2、λ3为超参数，根据经验设置它们的比例为：1：1：1。
通过降低损失函数loss值和观察合成的清晰域水下图像的质量来评价整个对抗网络的性能。
下面将通过实验进一步验证本申请实施例的水下图像复原方法的有效性，其中包括了采用不同方法生成清晰水下图像的效果对比，验证了在不同景物和水域下本申请实施例方法的通用性以及与其他方法相比本申请实施例方法的优越性。
采用不同方法复原的水下域图像的主观效果对比
将本申请实施例的复原图像方法与三种经典的图像增强方法(CLAHE、Retinex、White Balance)，以及三种综合去雾方法(DCP、CAP、NON)，三种基于深度神经网络的方法(DehazeNet、CycleGAN、以及CycleGAN和结构保持损失函数结合并且选择不同大小的滑动窗口的方法)进行比较。如图3所示，从对比图中可以发现，DCP、CAP和DehazeNet的视觉效果并不好，这三种方法没有改变浑浊水下图像的颜色和内容。相反，NON方法能够增强图像的对比度，但是图像的颜色矫正结果仍然不够好。对于图像中包含的自然场景，NON方法得到的结果能够突出图像的部分细节特征，但是图像的颜色仍然是片蓝绿色的(因只能提供黑白图，所以颜色的区别在图中不明显)。CLAHE方法得到的结果存在更多的噪声，这会导致损失了很多重要的信息。当处理的浑浊水下图像中景物为自然场景时，这种噪音的现象更加明显。Retinex方法会使图像发生更加严重的颜色失真和更多的噪声，图像的颜色不符合自然规律，因此就无法用于研究工作。White Balance方法得到的图像会比原始图像更加模糊不清。因此传统的图像复原增强的方法不能够得到一个非常满意的结果。
深度学习的方法，CycleGAN的方法会使生成图像的颜色发生改变，会使生成的水下图像内容和结构发生轻微的失真。用CycleGAN结合10倍的结构保持损失函数，计算的窗口大小为13×13，这种方法生成的图像更加平滑，颜色矫正的结果也更加准确，但是仍然存在细节丢失的情况。例如，第一张图像岩石左边的细节部分是模糊的，第三张图像水草的结构不够清晰。之后将结构保持损失函数的比例改为1，将窗口大小进行变换，结果是大窗口更适合近处景物的恢复，而远处景物仍然存在不清晰的现象。小窗口更适合远处景物的恢复，而使近处的景物出现过度锐化现象。因此本发明采用融合对抗网络，选择5×5、13×13以及26×26三种距离信息对一张图像的不同像素采用不同窗口处理进行水下图像复原，并取得了良好的视觉效果。
以上具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于融合对抗网络的水下图像复原方法，其特征在于，包括如下步骤：
采集清晰的水下图像，构建清晰水下图像数据集，将所述清晰水下图像数据集作为真实的清晰域水下图像；
采集浑浊的水下图像，构建浑浊水下图像数据集，将所述浑浊水下图像数据集作为真实的浑浊域水下图像；
通过暗通道先验算法获取所述真实的浑浊域水下图像的透射率图，通过所述透射率图得到所述真实的浑浊域水下图像的深度信息；
构建多层对抗神经网络模型，将所述真实的浑浊域水下图像以及其深度信息和所述真实的清晰域水下图像输入到所述网络模型中，通过训练和迭代反馈，将所述真实的浑浊域水下图像转换为合成的清晰域水下图像。
2.根据权利要求1所述的基于融合对抗网络的水下图像复原方法，其特征在于，所述网络模型包括第一生成器、第二生成器、第一判别器以及第二判别器，所述将所述真实的浑浊域水下图像转换为合成的清晰域水下图像的具体步骤为：
将所述真实的浑浊域水下图像与其深度信息输入到所述的第一生成器，根据所述深度信息，采用不同大小的窗口对所述真实的浑浊域水下图像进行处理，得到合成的清晰域水下图像；
将所述合成的清晰域水下图像输入所述第二生成器，所述第二生成器生成对应的合成的浑浊域水下图像；
将所述合成的清晰域水下图像和真实的清晰水下图像输入到所述第一判别器，用以判别输入到所述第一判别器的图像的真假；
同时将所述合成的浑浊域水下图像和真实的浑浊域水下图像输入到所述第二判别器，用以判别输入到所述第二判别器的图像的真假；
通过损失函数优化所述网络模型，得到最终的合成的清晰水下图像。
3.根据权利要求1所述的基于融合对抗网络的水下图像复原方法，其特征在于，所述网络模型还包括三个不同距离信息的滤波器，即第一滤波器、第二滤波器及第三滤波器，
统计所述真实的浑浊域水下图像的透射率图的灰度值分布，并设置第一阈值和第二阈值，根据所述的第一阈值和所述的第二阈值将所述透射率图分为三个不同距离信息的滤波器图像，即第一距离滤波器图，第二距离滤波器图及第三距离滤波器图，应用所述三个不同距离信息的滤波器图像适应不同深度信息内容的复原。
4.根据权利要求1所述的多距离信息对抗网络的水下图像复原方法，其特征在于，所述损失函数包括：在所述真实的浑浊域水下图像与所述合成的清晰域水下图像之间添加融合结构保持损失函数，用以保持所述真实的浑浊域水下图像转换为所述合成的清晰域水下图像的结构不变性，且不同距离信息的滤波器图适应不同深度信息内容的复原；在所述合成的浑浊域水下图像与所述真实的浑浊域水下图像之间添加循环一致性损失函数，用以使得所述合成的浑浊域水下图像与所述真实浑浊域水下图像趋于一致。
5.根据权利要求4所述的多距离信息对抗网络的水下图像复原方法，其特征在于，所述融合结构保持损失函数具体为：
其中，MSSIMn(p)＝∑nβnSSIMn(p)，
式中，MSSIMn(p)为结构融合保持值，SSIMn(p)为结构保持值，X为浑浊水下图像复原成清晰水下图像的过程，G(x)为合成的清晰域水下图像，x为真实的浑浊域水下图像，为合成的清晰域水下图像，p为一幅图像块的中心像素，P为一幅图像的像素个数，n为不同距离信息的滤波器的个数，βn为不同结构保持损失函数计算出的值的权重，μx为x的均值，为的均值，σx为x的标准差，为的标准差，为x和的协方差，c1、c2为常数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810780726.XA CN109064422A (zh) | 2018-07-17 | 2018-07-17 | 一种基于融合对抗网络的水下图像复原方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810780726.XA CN109064422A (zh) | 2018-07-17 | 2018-07-17 | 一种基于融合对抗网络的水下图像复原方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109064422A true CN109064422A (zh) | 2018-12-21 |
Family
ID=64816901
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810780726.XA Pending CN109064422A (zh) | 2018-07-17 | 2018-07-17 | 一种基于融合对抗网络的水下图像复原方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109064422A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110111288A (zh) * | 2019-04-15 | 2019-08-09 | 电子科技大学 | 基于深度辅助学习的图像增强及盲图质量评价网络 |
| CN110189268A (zh) * | 2019-05-23 | 2019-08-30 | 西安电子科技大学 | 基于gan网络的水下图像色彩校正方法 |
| CN110189272A (zh) * | 2019-05-24 | 2019-08-30 | 北京百度网讯科技有限公司 | 用于处理图像的方法、装置、设备和存储介质 |
| CN110288550A (zh) * | 2019-06-28 | 2019-09-27 | 中国人民解放军火箭军工程大学 | 基于先验知识引导条件生成对抗网络的单张图像去雾方法 |
| CN110335221A (zh) * | 2019-03-21 | 2019-10-15 | 西安电子科技大学 | 一种基于无监督学习的多曝光图像融合方法 |
| CN110444277A (zh) * | 2019-07-19 | 2019-11-12 | 重庆邮电大学 | 一种基于多生成多对抗的多模态脑部mri图像双向转换方法 |
| CN112434716A (zh) * | 2019-08-21 | 2021-03-02 | 中国科学院声学研究所 | 一种基于条件对抗神经网络的水下目标数据扩增方法及系统 |
| CN113554571A (zh) * | 2021-08-11 | 2021-10-26 | 广东工业大学 | 一种图像去雾方法、装置、电子设备及存储介质 |
| CN113744166A (zh) * | 2021-08-18 | 2021-12-03 | 中国科学院计算技术研究所 | 一种用于浑浊水下鱼类图像增强的方法 |
| CN115240041A (zh) * | 2022-07-13 | 2022-10-25 | 北京理工大学 | 基于深度学习分割网络的页岩电镜扫描图裂缝提取方法 |
| CN117593235A (zh) * | 2024-01-18 | 2024-02-23 | 北京科技大学 | 基于深度CNN去噪先验的Retinex变分水下图像增强方法和装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107577985A (zh) * | 2017-07-18 | 2018-01-12 | 南京邮电大学 | 基于循环生成对抗网络的人脸头像卡通化的实现方法 |
| CN108171173A (zh) * | 2017-12-29 | 2018-06-15 | 北京中科虹霸科技有限公司 | 一种虹膜图像美瞳生成与去除方法 |
| CN108182657A (zh) * | 2018-01-26 | 2018-06-19 | 深圳市唯特视科技有限公司 | 一种基于循环生成对抗网络的面部图像转换方法 |
-
2018
- 2018-07-17 CN CN201810780726.XA patent/CN109064422A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107577985A (zh) * | 2017-07-18 | 2018-01-12 | 南京邮电大学 | 基于循环生成对抗网络的人脸头像卡通化的实现方法 |
| CN108171173A (zh) * | 2017-12-29 | 2018-06-15 | 北京中科虹霸科技有限公司 | 一种虹膜图像美瞳生成与去除方法 |
| CN108182657A (zh) * | 2018-01-26 | 2018-06-19 | 深圳市唯特视科技有限公司 | 一种基于循环生成对抗网络的面部图像转换方法 |
Non-Patent Citations (1)
| Title |
|---|
| JINGYU LU，ET AL: "Multi-scale adversarial network for underwater image restoration", 《OPTICS AND LASER TECHNOLOGY》 * |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110335221B (zh) * | 2019-03-21 | 2021-08-06 | 西安电子科技大学 | 一种基于无监督学习的多曝光图像融合方法 |
| CN110335221A (zh) * | 2019-03-21 | 2019-10-15 | 西安电子科技大学 | 一种基于无监督学习的多曝光图像融合方法 |
| CN110111288A (zh) * | 2019-04-15 | 2019-08-09 | 电子科技大学 | 基于深度辅助学习的图像增强及盲图质量评价网络 |
| CN110111288B (zh) * | 2019-04-15 | 2022-11-08 | 电子科技大学 | 基于深度辅助学习的图像增强及盲图质量评价网络系统 |
| CN110189268A (zh) * | 2019-05-23 | 2019-08-30 | 西安电子科技大学 | 基于gan网络的水下图像色彩校正方法 |
| CN110189272A (zh) * | 2019-05-24 | 2019-08-30 | 北京百度网讯科技有限公司 | 用于处理图像的方法、装置、设备和存储介质 |
| CN110288550A (zh) * | 2019-06-28 | 2019-09-27 | 中国人民解放军火箭军工程大学 | 基于先验知识引导条件生成对抗网络的单张图像去雾方法 |
| CN110288550B (zh) * | 2019-06-28 | 2020-04-24 | 中国人民解放军火箭军工程大学 | 基于先验知识引导条件生成对抗网络的单张图像去雾方法 |
| CN110444277B (zh) * | 2019-07-19 | 2023-03-28 | 重庆邮电大学 | 一种基于多生成多对抗的多模态脑部mri图像双向转换方法 |
| CN110444277A (zh) * | 2019-07-19 | 2019-11-12 | 重庆邮电大学 | 一种基于多生成多对抗的多模态脑部mri图像双向转换方法 |
| CN112434716A (zh) * | 2019-08-21 | 2021-03-02 | 中国科学院声学研究所 | 一种基于条件对抗神经网络的水下目标数据扩增方法及系统 |
| CN112434716B (zh) * | 2019-08-21 | 2024-03-29 | 中国科学院声学研究所 | 一种基于条件对抗神经网络的水下目标数据扩增方法及系统 |
| CN113554571B (zh) * | 2021-08-11 | 2023-07-04 | 广东工业大学 | 一种图像去雾方法、装置、电子设备及存储介质 |
| CN113554571A (zh) * | 2021-08-11 | 2021-10-26 | 广东工业大学 | 一种图像去雾方法、装置、电子设备及存储介质 |
| CN113744166A (zh) * | 2021-08-18 | 2021-12-03 | 中国科学院计算技术研究所 | 一种用于浑浊水下鱼类图像增强的方法 |
| CN113744166B (zh) * | 2021-08-18 | 2023-08-08 | 中国科学院计算技术研究所 | 一种用于浑浊水下鱼类图像增强的方法 |
| CN115240041A (zh) * | 2022-07-13 | 2022-10-25 | 北京理工大学 | 基于深度学习分割网络的页岩电镜扫描图裂缝提取方法 |
| CN117593235B (zh) * | 2024-01-18 | 2024-04-09 | 北京科技大学 | 基于深度CNN去噪先验的Retinex变分水下图像增强方法和装置 |
| CN117593235A (zh) * | 2024-01-18 | 2024-02-23 | 北京科技大学 | 基于深度CNN去噪先验的Retinex变分水下图像增强方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109064422A (zh) | 一种基于融合对抗网络的水下图像复原方法 | |
| Li et al. | Underwater image enhancement via medium transmission-guided multi-color space embedding | |
| Chen et al. | Perceptual underwater image enhancement with deep learning and physical priors | |
| Cho et al. | Model-assisted multiband fusion for single image enhancement and applications to robot vision | |
| Liang et al. | Single underwater image enhancement by attenuation map guided color correction and detail preserved dehazing | |
| CN111275647A (zh) | 一种基于循环生成对抗网络的水下图像复原方法 | |
| Zhou et al. | Underwater vision enhancement technologies: A comprehensive review, challenges, and recent trends | |
| CN110728628A (zh) | 一种基于条件生成对抗网络的人脸去遮挡方法 | |
| Liu et al. | IPMGAN: Integrating physical model and generative adversarial network for underwater image enhancement | |
| Zhou et al. | Underwater image restoration via depth map and illumination estimation based on a single image | |
| Zhou et al. | Underwater image enhancement via physical-feedback adversarial transfer learning | |
| CN105913408B (zh) | 一种基于双边滤波器的多聚焦图像融合方法 | |
| Shin et al. | Region-based dehazing via dual-supervised triple-convolutional network | |
| Li et al. | Underwater image enhancement using adaptive color restoration and dehazing | |
| Nair et al. | Image mining applications for underwater environment management-A review and research agenda | |
| Wang et al. | Joint iterative color correction and dehazing for underwater image enhancement | |
| Sun et al. | Underwater image enhancement with reinforcement learning | |
| Zhou et al. | Domain adaptive adversarial learning based on physics model feedback for underwater image enhancement | |
| Su et al. | Prior guided conditional generative adversarial network for single image dehazing | |
| Jung et al. | Fusionnet: Multispectral fusion of RGB and NIR images using two stage convolutional neural networks | |
| Swami et al. | Candy: Conditional adversarial networks based fully end-to-end system for single image haze removal | |
| Wang et al. | Underwater attentional generative adversarial networks for image enhancement | |
| Chen et al. | Domain adaptation for underwater image enhancement via content and style separation | |
| Lin et al. | Autonomous underwater robot for underwater image enhancement via multi-scale deformable convolution network with attention mechanism | |
| Hegde et al. | Adaptive cubic spline interpolation in cielab color space for underwater image enhancement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20181221 |