CN109584170A - 基于卷积神经网络的水下图像复原方法 - Google Patents
基于卷积神经网络的水下图像复原方法 Download PDFInfo
- Publication number
- CN109584170A CN109584170A CN201811271076.2A CN201811271076A CN109584170A CN 109584170 A CN109584170 A CN 109584170A CN 201811271076 A CN201811271076 A CN 201811271076A CN 109584170 A CN109584170 A CN 109584170A
- Authority
- CN
- China
- Prior art keywords
- network
- transmissivity
- net
- image
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000013527 convolutional neural network Methods 0.000 title claims description 12
- 238000012549 training Methods 0.000 claims abstract description 35
- 238000013528 artificial neural network Methods 0.000 claims abstract description 17
- 230000004927 fusion Effects 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 14
- 238000013480 data collection Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 4
- 238000003475 lamination Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 2
- 238000005520 cutting process Methods 0.000 claims description 2
- 239000000155 melt Substances 0.000 claims 1
- 238000009738 saturating Methods 0.000 claims 1
- 238000002834 transmittance Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 14
- 238000012545 processing Methods 0.000 abstract description 12
- 238000012937 correction Methods 0.000 abstract description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 abstract description 4
- 238000004088 simulation Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000011084 recovery Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 101001126234 Homo sapiens Phospholipid phosphatase 3 Proteins 0.000 description 1
- 102100030450 Phospholipid phosphatase 3 Human genes 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种单幅水下图像复原方法，主要解决现有技术在处理水下图像时色偏校正和清晰化处理效果欠佳的问题。其方案是：在Caffe框架下分别构建环境光估计网络和透射率估计网络；获取一组深度图像集J和d(J)，随机生成透射率T和环境光A，合成水下图像集I；将I、A按批量依次循环输入至环境光估计网络进行训练；再将I、T按批量依次循环输入至透射率估计网络进行训练；将待处理的图像Ic输入至完成训练的神经网络，输出环境光Ac和透射率Tc；根据Ac和Tc计算得到清晰图像Jc。本发明提高了图像对比度并能校正色偏，其峰值信噪比、结构相似性和色差公式三个指标均优于现有技术，可用于水下图像的清晰化处理。
Description
技术领域
本发明属于图像处理技术领域,特别涉及一种水下图像复原方法,可用于对成像系统拍摄的单幅水下图像处理。
背景技术
受现实条件中水对光线吸收与散射作用的影响，成像设备捕获的水下图像质量普遍偏低，经常存在对比度低、色调偏移、信息可辨识度低的现象。这些降质的图像不仅影响人眼的主观感受，更严重影响了各类智能视觉信息处理系统的性能。因此，对水下图像进行清晰化处理具有非常重要的实际应用价值。
目前，水下图像处理方法的关键问题是如何提高图像清晰度并校正色偏，主要分为基于图像增强和基于图像复原两类方法。
基于图像增强的水下图像处理，是利用现有的图像增强技术，针对水下图像降质的表现，选取相应的图像增强技术，改善图像质量。典型的方法如Fu等人提出的基于Retinex的水下图像增强算法，见Fu X,Zhuang P,Huang Y,et al.A retinex-basedenhancing approach for single underwater image[C]//IEEE InternationalConference on Image Processing.2015:4572-4576；Zhang等人提出基于直方图均衡化的水下图像增强算法，见Zhang W,Li G,Ying Z,and et al.A New Underwater ImageEnhancing Method via Color Correction and Illumination Adjustment[C]//IEEEInternational Conference on Visual Communications and Image Processing.2017,DOI:10.1109/VCIP.2017.8305027；Henke等人提出基于白平衡的水下图像增强算法，见Henke B,Vahl M,Zhou Z.Removing color cast of underwater images through non-constant color constancy hypothesis[C]//IEEE International Symposium on Imageand Signal Processing and Analysis.2014:20-24.这类方法有效改善了图像质量，但由于未考虑水下图像降质原理，忽略降质程度与深度之间的关系，其增强结果不能正确反映图像真实色彩。
基于图像复原的水下图像处理，是利用构建的水下成像模型反演出未降质图像，需要估计未知参数环境光和透射率。这类方法根据参数估计方式可分为基于先验的复原方法和基于深度学习的复原方法，其中：
基于先验的复原方法，是通过各种先验假设来提取图像特征，然后利用该特征分别设计有效的环境光和透射率估计方法，以实现图像复原。如Galdran等人提出基于改进的暗通道先验的方法估计透射率，并借助亮度高、红色分量值小的特点从图像中选取环境光值，见Galdran A,Alvarez-Gila A,Alvarez-Gila A.Automatic Red-Channel underwaterimage restoration[J].Journal of Visual Communication&Image Representation,2015,26(C):132-145.该方法修改了暗通道先验，虽然提升了该先验应用于水下图像时的效果，但降低了先验在清晰图像中的有效性，复原结果可能偏红。Li等人通过减小r通道信息损失的方法估计透射率，并借助亮度高、rb通道差异大的特点估计环境光值，见Li C,GuoJ,Cong R,et al.Underwater Image Enhancement by Dehazing with MinimumInformation Loss and Histogram Distribution Prior[J].IEEE Transactions onImage Processing,2016,25(12):5664-5677.该方法有效增强了图像清晰度，但不能完全去除色偏，所以在复原之后需要增加直方图均衡化进一步校正色偏。基于先验的图像复原效果高度依赖于先验的可靠性，在先验失效的情况下将出现较大的估计误差。由于缺少足够可靠的先验，目前基于先验的水下图像复原方法均存在参数估计不够准确的问题。
基于深度学习的图像处理方法，随着深度学习技术的蓬勃发展，已逐渐成为当前图像领域的研究热点。Shin等人提出利用卷积神经网络CNN来估计水下图像透射率和环境光的方法，该方法使用同一CNN网络估计局部透射率和全局环境光，见Shin Y S,Cho Y,Pandey G,et al.Estimation of ambient light and transmission map with commonconvolutional architecture[C]//Oceans.IEEE,2016:1-7.该网络使用合成数据作为训练集，输入不同色偏的水下模拟图像块，经由训练好的CNN网络输出对应块的透射率或全局环境光。虽然该方法获得了不错的复原效果，但由于训练数据只是局部图像块，缺少全局深度信息，且估计透射率时忽略了三通道透射率之间的差异，使得在一些图像的处理上出现颜色扭曲和清晰度复原不足的现象。
发明内容
本发明的目的在于提出一种基于卷积神经网络的水下图像复原方法，以解决现有技术在处理水下图像时由于参数估计不够准确导致的图像色偏校正和清晰化处理效果欠佳的问题。
为实现上述目的，本发明的技术方案包括如下：
1)在Caffe框架下分别构建水下图像环境光估计网络A-net和透射率估计网络T-net，其中:
所述环境光估计网络A-net，包括四个卷积层和两个池化层；
所述透射率估计网络T-net，包括一个下采样模块、一个融合模块以及一个上采样模块，三个模块依次串联；
2)获取一组清晰图像集Jt及相应深度图集d(Jt)，根据设定的环境光值A和蓝色通道透射率Tb计算得到透射率估计网络训练图像集Tt和环境光估计网络训练图像集At；
4)将透射率估计网络训练图像集Tt按批量大小分别平分为多个配对的图像组，并同时输入Tt的第一图像组训练透射率估计网络T-net，得到T-net各个卷积操作的初始权值Wn和初始偏置值Bn；
5)将初始权值Wn和初始偏置值Bn应用至透射率估计网络T-net中，得到第一次参数更新后的神经网络T-net；再将第二图像组输入至第一次参数更新后的神经网络T-net，得到第二次参数更新后的神经网络T-net；以此类推，直至最后一组图像组输入至前一次更新后的神经网络T-net，得到一次训练后的神经网络T-net；
6)再将Tt的所有图像组依次输入至完成一次训练的神经网络T-net，得到二次训练后的神经网络T-net；以此类推，直至所有图像组均被输入20000次，完成对透射率估计网络T-net的训练；
7)采用环境光估计网络训练图像集At，按照步骤4，5，6所述方法训练环境光估计网络A-net；
8)将一幅需要复原处理的水下图像Ic分别输入至完成所有训练的环境光估计网络A-net和透射率估计网络T-net，分别输出rgb三通道的环境光值Ac和蓝色通道的透射率Tb；
9)根据8)的结果，计算得到红色通道透射率Tr和绿色通道的透射率Tg： 再计算得到高质量清晰图像：Jc＝(Ic-Ac)/Tc+Ac，c∈{r,g,b}。
本发明的有益效果为：
(1)本发明由于通过神经网络估计透射率和环境光值，避免了现有先验在一些情况下失效而导致复原效果不佳的状况，有助于提高估计方法的准确度和普适性；
(2)本发明由于根据水下图像降质模型和现有深度图数据集合成水下图像训练集，可以模拟不同环境下可能捕获到的不同蓝绿色偏、不同清晰程度的水下图像，解决了水下图像训练集缺失的问题。
仿真结果表明，本发明与能在保持恢复图像对比度的前提下，可以更好地校正图像色偏，提高视觉效果；且峰值信噪比PNSR、结构相似性SSIM和色差公式CIEDE2000三个指标均优于现有技术。
附图说明
图1为本发明的实现总流程图；
图2为本发明中构建的透射率估计网络和环境光值估计网络的结构图；
图3为用本发明和现有的水下图像处理算法对水下模拟图像的处理效果对比图；
图4为用本发明和现有的水下图像处理算法对真实水下图像的处理效果对比图。
具体实施方式
下面结合附图对本发明的具体实施方式及效果作进一步说明：
参照图1，本发明的具体实现如下：
步骤1：在Caffe框架下构建卷积神经网络架构。
如图2所示，本发明构建的卷积神经网络包括环境光估计网络A-net和透射率估计网络T-net，分别用来估计环境光值和蓝色通道透射率，其中:
所述环境光估计网络A-net，包括四个卷积层和两个池化层，其结构关系为：卷积层→卷积层→池化层→卷积层→池化层→卷积层，每个卷积层包括卷积操作以及ReLU激活函数层，卷积操作都具有相应的权值Wn和偏置值Bn，四个卷积层的卷积核大小依次为5*5,3*3,5*5,3*3，卷积步长依次为1,1,2,1，两个池化层的窗口大小均为3*3，步长依次为2和3。
所述透射率估计网络T-net，包括下采样模块、融合模块和上采样模块，这三个模块依次串联，其中：
下采样模块，依次包括卷积层→0.5倍池化层→卷积层→卷积层，这三个卷积层的卷积核大小依次为3*3,5*5,3*3,卷积步长均为1；
融合模块，分为三条支路，即分别为0.25倍池化支路、0.5倍池化支路和融合支路；
该0.25倍池化支路，依次包括0.25倍池化层→卷积层→卷积层→卷积层→上采样层，这三个卷积层的卷积核大小依次为5*5,3*3,3*3,卷积步长均为1；
该0.5倍池化支路，依次包括0.5倍池化层→卷积层→卷积层→卷积层→上采样层，这三个卷积层的卷积核大小依次为5*5,3*3,3*3,卷积步长均为1，该支路中第一个卷积层的输入为0.25倍池化支路输出和0.5倍池化层输出的拼接；
该融合支路，包括一个卷积层，卷积核大小为3*3,卷积步长为1，该卷积层的输入为0.5倍池化支路输出和融合模块输入的拼接，该卷积层的输出为融合模块的输出；
上采样模块，依次包括上采样层→卷积层→卷积层，这两个卷积层的卷积核大小均为3*3,卷积步长均为1，第一个卷积层的输入为上采样层输出和下采样模块中第一个卷积层输出的拼接；
以上三个模块中的每个卷积层均包括卷积操作以及ReLU激活函数层，卷积操作都具有相应的权值Wn和偏置值Bn；每个上采样层均为2倍上采样操作。
步骤2：制作训练图像集。
2a)从网络上下载Middlebury数据集，经过缩放和裁剪得到371张不同的室内清晰图像和相应的深度图，尺寸统一为160×160，作为室内深度图数据集；
2b)从网络上下载不同场景的室外清晰图像106张，使用双线性插值算法将尺寸统一缩放至160×160，并利用现有的景深估计CNN模型分别估计出每张室外清晰图像对应的深度图，将室外清晰图像与相应深度图作为室外深度图数据集；
2c)合并2a)和2b)中的室内、外深度图数据集，共得到477张清晰图像集Jt和对应的深度图d(Jt)；
2d)使用random函数在0.1-0.6间随机生成红色通道环境光值Ar，再使用random函数在Ar-1.0间随机生成绿色通道环境光值Ag和蓝色通道的环境光值Ab；
2e)使用random函数在0.5-2.5间随机生成蓝色通道透射率参数ηb，计算得到每张图的蓝色通道透射率红色通道透射率绿色通道透射率
2f)根据清晰图像Jc和生成的环境光值Ac、透射率Tc，计算得到相应水下图像Ic＝JcTc+Ac(1-Tc)c∈{r,g,b}；
2g)采用步骤2d-2f所述方法生成13780张水下图像，并将这些水下图像与其相应的透射率Tc一起作为透射率估计网络训练图像集Tt；
2h)将清晰图像集Jt和对应的景深信息d(Jt)缩放至49×49，采用步骤2d-2f所述方法得到20670张水下图像，并将这些水下图像与其相应的环境光值Ac一起作为环境光估计网络训练图像集At。
步骤3：训练神经网络。
3a)训练环境光估计网络A-net：
3a1)将欧氏距离公式作为环境光估计网络A-net的损失函数：
其中||.||2为对矩阵求二范数操作，m为输入图像的像素数，An(I)为环境光估计网络A-net的输出，为对应的人工合成环境光Ac；
3a2)将环境光估计网络训练图像集At按批量大小分别平分为多个配对的图像组，并同时输入At的第一图像组训练环境光估计网络A-net，并通过计算以下函数得到A-net各个卷积操作的初始权值Wn和初始偏置值Bn：
其中函数是指使得上述损失函数取得其最小值时所有自变量Wn,Bn的集合；
3a3)将初始权值Wn和初始偏置值Bn应用至步骤1构建的环境光估计网络A-net中，得到第一次参数更新后的环境光估计网络A-net；
3a4)将第二图像组输入至第一次参数更新后的环境光估计网络A-net，得到第二次参数更新后的环境光估计网络A-net；以此类推，直至将最后一组图像组输入至前一次更新后的环境光估计网络A-net，得到一次训练后的环境光估计网络A-net；
3a5)将At的所有图像组依次输入至完成一次训练的环境光估计网络A-net，得到二次训练后的环境光估计网络A-net；以此类推，直至所有图像组均被输入20000次，得到完成训练的环境光估计网络环境光估计网络A-net；
3b)训练透射率估计网络T-net：
3b1)将欧氏距离公式作为透射率估计网络T-net的损失函数：
其中||.||2为对矩阵求二范数操作，|.|为对矩阵求一范数操作，m为输入图像的像素数，Tn(I)为透射率估计网络T-net的输出，Tn1(I)为T-net融合模块中0.5倍池化支路最后一个卷积层的输出，Tn2(I)为T-net融合模块中0.25倍池化支路最后一个卷积层的输出，为对应的人工合成透射率Tb，为缩小4倍后的Tb，为缩小8倍后的Tb；
3b2)将透射率估计网络训练图像集Tt按批量大小分别平分为多个配对的图像组，同时输入Tt的第一图像组训练，并通过计算以下函数得到T-net中各个卷积操作的初始权值Wn和初始偏置值Bn：
其中函数是指使得上述损失函数取得其最小值的所有自变量Wn,Bn的集合；
3b3)将权值Wn和偏置值Bn应用至步骤1构建的透射率估计网络T-net中，得到第一次参数更新后的透射率估计网络T-net；
3b4)将第二图像组输入至第一次参数更新后的透射率估计网络T-net，得到第二次参数更新后的透射率估计网络T-net；以此类推，直至将最后一组图像组输入至前一次更新后的透射率估计网络T-net，得到一次训练后的透射率估计网络T-net；
3b5)将Tt的所有图像组依次输入至完成一次训练的透射率估计网络T-net，得到二次训练后的透射率估计网络T-net；以此类推，直至所有图像组均被输入20000次，得到完成所有训练的透射率估计网络T-net。
步骤4：复原图像。
4a)将一幅需要复原处理的水下图像Ic输入至完成所有训练的环境光估计网络A-net，输出环境光值Ac，再将水下图像Ic输入至完成所有训练的透射率估计网络T-net，输出透射率Tb；
4b)计算得到红色通道透射率和绿色通道的透射率然后计算得到高质量清晰图像：Jc＝(Ic-Ac)/Tc+Ac，c∈{r,g,b}。
本发明的效果通过以下仿真进一步说明：
1.测试图片：六十幅合成的水下图像和三幅真实水下图像；
2.测试方法：使用现有的Zhang的算法、Li的算法、Shin的算法和本发明共四种方法；
3.仿真测试内容：
仿真测试1：使用上述四种方法对六幅人工合成水下图像进行复原处理，结果如图3所示，其中：
图3a为六幅合成的水下图像，
图3b为使用Zhang的算法对图3a水下模拟图像进行处理的结果，
图3c为使用Li的算法对图3a水下模拟图像进行复原的结果，
图3d为使用Shin的算法对图3a水下模拟图像进行复原的结果，
图3e为使用本发明方法对图3a水下模拟图像进行复原的结果，
图3f为清晰图像；
从图3可看出，使用现有的Zhang的算法和Li的算法处理的图像色彩不够真实自然，使用Shin的算法复原的图像有时依然较为模糊，而用本发明方法恢复的图像效果均优于其他三种算法，更接近于清晰图像3f。
仿真测试2：使用上述四种方法对三幅真实水下图像进行复原，效果如图4所示，其中：
图4a为三幅真实水下图像，
图4b为使用Zhang的算法对图4a水下图像进行处理的结果，
图4c为使用Li的算法对图4a水下图像进行复原的结果，
图4d为使用Shin的算法对图4a水下图像进行复原的结果，
图4e为使用本发明方法对图4a水下图像进行复原的结果；
从图4可看出，使用现有的Zhang的算法和Li的算法处理的图像色彩过于鲜艳，不够真实自然，使用Shin的算法复原的图像中有时不够清晰。用本发明方法恢复的图像效果均优于其他三种算法。
仿真测试3：使用上述四种方法对六十幅合成的水下图像进行处理，将其结构相似性SSIM指标、峰值信噪比PNSR指标和色差公式CIEDE2000指标进行对比，结果如表1所示
表1
| 指标 | Zhang | Li | Shin | 本发明 |
| PSNR | 17.1561 | 15.9140 | 18.0907 | 23.615 |
| FSIM | 0.9324 | 0.9047 | 0.9041 | 0.9771 |
| CIEDE2000 | 15.3255 | 14.6137 | 17.2713 | 8.8976 |
通过表1可得，本发明方法的PSNR、SSIM及CIEDE2000数值都优于其它四种算法，表示处理后的图片与对应的清晰图像更接近。
综合上述四种算法在仿真结果上的比较，本发明方法在水下图像处理上的效果均优于其它三种算法。
Claims (4)
1.一种基于卷积神经网络的单幅水下图像复原方法，包括：
1)在Caffe框架下分别构建水下图像环境光估计网络A-net和透射率估计网络T-net，其中:
所述环境光估计网络A-net，包括四个卷积层和两个池化层；
所述透射率估计网络T-net，包括一个下采样模块、一个融合模块以及一个上采样模块，三个模块依次串联；
2)获取一组清晰图像集Jt及相应深度图集d(Jt)，根据设定的环境光值A和蓝色通道透射率Tb计算得到透射率估计网络训练图像集Tt和环境光估计网络训练图像集At；
4)将透射率估计网络训练图像集Tt按批量大小分别平分为多个配对的图像组，并同时输入Tt的第一图像组训练透射率估计网络T-net，得到T-net各个卷积操作的初始权值Wn和初始偏置值Bn；
5)将初始权值Wn和初始偏置值Bn应用至透射率估计网络T-net中，得到第一次参数更新后的神经网络T-net；再将第二图像组输入至第一次参数更新后的神经网络T-net，得到第二次参数更新后的神经网络T-net；以此类推，直至最后一组图像组输入至前一次更新后的神经网络T-net，得到一次训练后的神经网络T-net；
6)再将Tt的所有图像组依次输入至完成一次训练的神经网络T-net，得到二次训练后的神经网络T-net；以此类推，直至所有图像组均被输入20000次，完成对透射率估计网络T-net的训练；
7)采用环境光估计网络训练图像集At，按照步骤4，5，6所述方法训练环境光估计网络A-net；
8)将一幅需要复原处理的水下图像Ic分别输入至完成所有训练的环境光估计网络A-net和透射率估计网络T-net，分别输出rgb三通道的环境光值Ac和蓝色通道的透射率Tb；
9)根据8)的结果，计算得到红色通道透射率和绿色通道的透射率再计算得到高质量清晰图像：Jc＝(Ic-Ac)/Tc+Ac，c∈{r,g,b}。
2.根据权利要求1所述的方法，其特征在于：1)中环境光估计网络A-net的四个卷积层和两个池化层，结构关系为：卷积层→卷积层→池化层→卷积层→池化层→卷积层，每个卷积层包括卷积操作以及ReLU激活函数层，卷积操作都具有相应的权值Wn和偏置值Bn，四个卷积层的卷积核大小依次为5*5,3*3,5*5,3*3，卷积步长依次为1,1,2,1，两个池化层的窗口大小均为3*3，步长依次为2和3。
3.根据权利要求1所述的方法，其特征在于：1)中透射率估计网络A-net的三个模块，其结构如下：
下采样模块，依次包括卷积层、0.5倍池化层和两个卷积层，三个卷积层的卷积核大小依次为3*3,5*5,3*3,卷积步长均为1；
融合模块，分为三条支路，即分别为0.25倍池化支路、0.5倍池化支路和融合支路；该0.25倍池化支路，依次包括0.25倍池化层、三个卷积层和上采样层，三个卷积层的卷积核大小依次为5*5,3*3,3*3,卷积步长均为1；该0.5倍池化支路，依次包括0.5倍池化层、三个卷积层和上采样层，三个卷积层的卷积核大小依次为5*5,3*3,3*3,卷积步长均为1，该支路中第一个卷积层的输入为0.25倍池化支路输出和0.5倍池化层输出的拼接；该融合支路，包括一个卷积层，卷积核大小为3*3,卷积步长为1，该卷积层的输入为0.5倍池化支路输出和融合模块输入的拼接，该卷积层的输出为融合模块的输出；
上采样模块，依次包括上采样层和两个卷积层，卷积层的卷积核大小均为3*3,卷积步长均为1，第一个卷积层的输入为上采样层输出和下采样模块中第一个卷积层输出的拼接；
以上每个卷积层均包括卷积操作以及ReLU激活函数层，卷积操作都具有相应的权值Wn和偏置值Bn；
以上每个上采样层均为2倍上采样操作。
4.根据权利要求1所述的方法，其特征在于2)中由清晰图像集Jt及相应深度图集d(Jt)计算得到相应的透射率估计网络训练图像集Tt和环境光估计网络训练图像集At，其实现如下：
2a)从网络上下载Middlebury数据集，经过缩放和裁剪得到371张不同的室内清晰图像和相应的深度图，尺寸统一为160×160，作为室内深度图数据集；
2b)从网络上下载不同场景的室外清晰图像106张，使用双线性插值算法将尺寸统一缩放至160×160，并利用现有的景深估计CNN模型分别估计出每张室外清晰图像对应的深度图，将室外清晰图像与相应深度图作为室外深度图数据集；
2c)合并2a)和2b)中的室内外深度图数据集，共得到477张清晰图像集Jt和对应的深度图d(Jt)；
2d)使用random函数在0.1-0.6间随机生成红色通道环境光值Ar，再使用random函数在Ar-1.0间随机生成绿色通道环境光值Ag和蓝色通道的环境光值Ab；
2e)使用random函数在0.5-2.5间随机生成蓝色通道透射率参数ηb，计算得到每张图的蓝色通道透射率红色通道透射率绿色通道透射率
2f)根据清晰图像Jc和生成的环境光值Ac、透射率Tc，计算得到相应水下图像Ic＝JcTc+Ac(1-Tc)c∈{r,g,b}；
2g)采用步骤2d-2f所述方法生成13780张水下图像，与相应的透射率图一起作为透射率估计网络训练图像集Tt；
2h)将清晰图像集Jt和对应的景深信息d(Jt)缩放至49×49，采用步骤2d-2f所述方法得到20670张水下图像，与相应的环境光值一起作为环境光估计网络训练图像集At。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811271076.2A CN109584170B (zh) | 2018-10-29 | 2018-10-29 | 基于卷积神经网络的水下图像复原方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811271076.2A CN109584170B (zh) | 2018-10-29 | 2018-10-29 | 基于卷积神经网络的水下图像复原方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109584170A true CN109584170A (zh) | 2019-04-05 |
| CN109584170B CN109584170B (zh) | 2022-12-27 |
Family
ID=65920769
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811271076.2A Active CN109584170B (zh) | 2018-10-29 | 2018-10-29 | 基于卷积神经网络的水下图像复原方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109584170B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110223251A (zh) * | 2019-06-02 | 2019-09-10 | 西安电子科技大学 | 适用于人工与自然光源的卷积神经网络水下图像复原方法 |
| CN110390651A (zh) * | 2019-07-23 | 2019-10-29 | 深圳大学 | 一种运动模糊视频复原方法和装置以及设备 |
| CN110838092A (zh) * | 2019-10-28 | 2020-02-25 | 天津大学 | 一种基于卷积神经网络的水下图像复原方法 |
| CN111316316A (zh) * | 2019-04-10 | 2020-06-19 | 深圳市大疆创新科技有限公司 | 用于图像复原的神经网络及其训练与使用方法 |
| CN111429378A (zh) * | 2020-04-01 | 2020-07-17 | 天津大学前沿技术研究院有限公司 | 基于深度神经网络和偏振成像的浑浊水下灰度图像复原方法 |
| CN111754438A (zh) * | 2020-06-24 | 2020-10-09 | 安徽理工大学 | 基于多分支门控融合的水下图像复原模型及其复原方法 |
| CN113012067A (zh) * | 2021-03-16 | 2021-06-22 | 华南理工大学 | 基于Retinex理论和端到端深度网络的水下图像复原方法 |
| CN113191980A (zh) * | 2021-05-12 | 2021-07-30 | 大连海事大学 | 一种基于成像模型的水下图像增强方法 |
| CN115170443A (zh) * | 2022-09-08 | 2022-10-11 | 荣耀终端有限公司 | 一种图像处理方法、拍摄方法及电子设备 |
| CN115760582A (zh) * | 2023-01-09 | 2023-03-07 | 吉林大学 | 一种水下深度图超分辨率方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102930514A (zh) * | 2012-09-27 | 2013-02-13 | 西安电子科技大学 | 基于大气物理散射模型的快速图像去雾方法 |
| CN106530249A (zh) * | 2016-11-07 | 2017-03-22 | 湖南源信光电科技有限公司 | 一种基于物理模型的低照度彩色图像增强方法 |
| CN106709901A (zh) * | 2016-11-10 | 2017-05-24 | 西安电子科技大学 | 基于深度先验的模拟雾图生成方法 |
| CN107909552A (zh) * | 2017-10-31 | 2018-04-13 | 天津大学 | 基于水下先验约束的图像复原方法 |
| JP2018106316A (ja) * | 2016-12-26 | 2018-07-05 | キヤノン株式会社 | 画像補正処理方法、および、画像補正処理装置 |
-
2018
- 2018-10-29 CN CN201811271076.2A patent/CN109584170B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102930514A (zh) * | 2012-09-27 | 2013-02-13 | 西安电子科技大学 | 基于大气物理散射模型的快速图像去雾方法 |
| CN106530249A (zh) * | 2016-11-07 | 2017-03-22 | 湖南源信光电科技有限公司 | 一种基于物理模型的低照度彩色图像增强方法 |
| CN106709901A (zh) * | 2016-11-10 | 2017-05-24 | 西安电子科技大学 | 基于深度先验的模拟雾图生成方法 |
| JP2018106316A (ja) * | 2016-12-26 | 2018-07-05 | キヤノン株式会社 | 画像補正処理方法、および、画像補正処理装置 |
| CN107909552A (zh) * | 2017-10-31 | 2018-04-13 | 天津大学 | 基于水下先验约束的图像复原方法 |
Non-Patent Citations (2)
| Title |
|---|
| WALYSSON V. BARBOSA, ET AL.: "Visual-quality-driven learning for underwater vision enhancement", 《2018 25TH IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》 * |
| 黄松 等: "基于自适应透射率比的水下图像复原算法", 《浙江大学学报（工学版）》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111316316A (zh) * | 2019-04-10 | 2020-06-19 | 深圳市大疆创新科技有限公司 | 用于图像复原的神经网络及其训练与使用方法 |
| CN110223251B (zh) * | 2019-06-02 | 2023-03-24 | 西安电子科技大学 | 适用于人工与自然光源的卷积神经网络水下图像复原方法 |
| CN110223251A (zh) * | 2019-06-02 | 2019-09-10 | 西安电子科技大学 | 适用于人工与自然光源的卷积神经网络水下图像复原方法 |
| CN110390651A (zh) * | 2019-07-23 | 2019-10-29 | 深圳大学 | 一种运动模糊视频复原方法和装置以及设备 |
| CN110838092A (zh) * | 2019-10-28 | 2020-02-25 | 天津大学 | 一种基于卷积神经网络的水下图像复原方法 |
| CN110838092B (zh) * | 2019-10-28 | 2023-05-19 | 天津大学 | 一种基于卷积神经网络的水下图像复原方法 |
| CN111429378A (zh) * | 2020-04-01 | 2020-07-17 | 天津大学前沿技术研究院有限公司 | 基于深度神经网络和偏振成像的浑浊水下灰度图像复原方法 |
| CN111754438B (zh) * | 2020-06-24 | 2021-04-27 | 安徽理工大学 | 基于多分支门控融合的水下图像复原模型及其复原方法 |
| CN111754438A (zh) * | 2020-06-24 | 2020-10-09 | 安徽理工大学 | 基于多分支门控融合的水下图像复原模型及其复原方法 |
| CN113012067A (zh) * | 2021-03-16 | 2021-06-22 | 华南理工大学 | 基于Retinex理论和端到端深度网络的水下图像复原方法 |
| CN113191980A (zh) * | 2021-05-12 | 2021-07-30 | 大连海事大学 | 一种基于成像模型的水下图像增强方法 |
| CN115170443A (zh) * | 2022-09-08 | 2022-10-11 | 荣耀终端有限公司 | 一种图像处理方法、拍摄方法及电子设备 |
| CN115170443B (zh) * | 2022-09-08 | 2023-01-13 | 荣耀终端有限公司 | 一种图像处理方法、拍摄方法及电子设备 |
| CN115760582A (zh) * | 2023-01-09 | 2023-03-07 | 吉林大学 | 一种水下深度图超分辨率方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109584170B (zh) | 2022-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109584170A (zh) | 基于卷积神经网络的水下图像复原方法 | |
| CN110223251A (zh) | 适用于人工与自然光源的卷积神经网络水下图像复原方法 | |
| CN111861961B (zh) | 单幅图像超分辨率的多尺度残差融合模型及其复原方法 | |
| CN109472260B (zh) | 一种基于深度神经网络的移除图像内台标和字幕的方法 | |
| CN107578390A (zh) | 一种使用神经网络进行图像白平衡校正的方法及装置 | |
| CN103077500B (zh) | 图像数据的去雾方法及装置 | |
| CN109829868B (zh) | 一种轻量级深度学习模型图像去雾方法、电子设备及介质 | |
| CN101082992A (zh) | 实时高动态范围图像的绘制和显示方法 | |
| CN111275638B (zh) | 基于多通道注意力选择生成对抗网络的人脸修复方法 | |
| CN105741328A (zh) | 基于视觉感知的拍摄图像质量评价方法 | |
| CN109255758A (zh) | 基于全1*1卷积神经网络的图像增强方法 | |
| CN106920221A (zh) | 兼顾亮度分布和细节呈现的曝光融合方法 | |
| CN109035155B (zh) | 一种光晕去除的多曝光图像融合方法 | |
| CN111179196B (zh) | 一种基于分而治之的多分辨率深度网络图像去高光方法 | |
| CN109410144A (zh) | 一种基于深度学习的端到端图像去雾处理方法 | |
| CN107833186A (zh) | 一种基于Encoder‑Decoder深度学习模型的单透镜空间变化图像复原方法 | |
| CN110443759A (zh) | 一种基于深度学习的图像去雾方法 | |
| CN107967671A (zh) | 结合数据学习和物理先验的图像去雾方法 | |
| CN107833193A (zh) | 一种基于refinement‑network深度学习模型的单透镜全局图像复原方法 | |
| CN109829925A (zh) | 一种在抠图任务中提取干净前景的方法及模型训练方法 | |
| CN114170144A (zh) | 一种输电线路销钉缺陷检测方法、设备及介质 | |
| Qian et al. | CIASM-Net: a novel convolutional neural network for dehazing image | |
| CN114202472A (zh) | 一种高精度水下成像方法和装置 | |
| Zhang et al. | Dynamic multi-scale network for dual-pixel images defocus deblurring with transformer | |
| CN112508814B (zh) | 一种基于无人机低空视角下的图像色调修复型去雾增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |