CN110223251A - 适用于人工与自然光源的卷积神经网络水下图像复原方法 - Google Patents
适用于人工与自然光源的卷积神经网络水下图像复原方法 Download PDFInfo
- Publication number
- CN110223251A CN110223251A CN201910473964.0A CN201910473964A CN110223251A CN 110223251 A CN110223251 A CN 110223251A CN 201910473964 A CN201910473964 A CN 201910473964A CN 110223251 A CN110223251 A CN 110223251A
- Authority
- CN
- China
- Prior art keywords
- net
- network
- image
- transmissivity
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 15
- UTTZHZDGHMJDPM-NXCSSKFKSA-N 7-[2-[[(1r,2s)-1-hydroxy-1-phenylpropan-2-yl]amino]ethyl]-1,3-dimethylpurine-2,6-dione;hydrochloride Chemical compound Cl.C1([C@@H](O)[C@@H](NCCN2C=3C(=O)N(C)C(=O)N(C)C=3N=C2)C)=CC=CC=C1 UTTZHZDGHMJDPM-NXCSSKFKSA-N 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims description 50
- 238000004422 calculation algorithm Methods 0.000 claims description 30
- 238000013528 artificial neural network Methods 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 15
- 238000002834 transmittance Methods 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 13
- 238000003475 lamination Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 6
- 238000013480 data collection Methods 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 15
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 abstract description 8
- 230000000694 effects Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 10
- 238000011084 recovery Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 101001126234 Homo sapiens Phospholipid phosphatase 3 Proteins 0.000 description 1
- 241001062009 Indigofera Species 0.000 description 1
- 102100030450 Phospholipid phosphatase 3 Human genes 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000001447 compensatory effect Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
适用于人工与自然光源的卷积神经网络水下图像复原方法。本发明公开了一种单幅水下图像复原方法，其方案是：构建环境光估计网络A‑net、人工光源强度估计网络L‑net和透射率估计网络T‑net；获取一组深度图像集；随机生成透射率T、环境光A与人工光源强度L，合成水下图像集I；将I、T、A批量依次循环输入至A‑net进行训练；将I、T、L批量依次循环输入至L‑net进行训练；将I、T批量依次循环输入至T‑net进行训练；将待处理的图像Ic输入到训练好的T‑net，输出透射率Tc；将Ic、Tc分别输入到训练好的A‑net及L‑net，分别输出人工光源强度L和环境光Ac；根据Ic、Ac、L和Tc计算清晰图像Jc。本发明提高了图像清晰度、改善了图像色偏，减小了人工光源对图像复原的影响，可用于自然光或人工光源环境下的水下图像清晰化处理。
Description
技术领域
本发明属于图像处理技术领域，特别涉及一种水下图像复原方法,可用于处理自然光源或人工光源环境下成像系统拍摄的单幅水下图像。
背景技术
受现实条件中水对光线吸收与散射作用的影响，成像设备捕获的水下图像质量普遍偏低，经常存在对比度低、色调偏移、信息可辨识度低的现象。这些降质的图像不仅影响人眼的主观感受，更严重影响了各类智能视觉信息处理系统的性能。且当在水深过深的水下拍摄时，由于昏暗的环境光，设备很难再捕获到来自场景的反射光，此时往往需要增加人工光源进行补光。处理图像时，如果人工光源所贡献的亮度不被移除，将造成图像过度补偿。因此，去除人工光源对水下图像的影响，并将其进行清晰化处理具有非常重要的实际应用价值。目前，水下图像处理方法的关键问题是如何提高图像清晰度、校正色偏以及减小人工光源产生的影响，主要分为基于图像增强和基于图像复原两类方法。
基于图像增强的水下图像处理，是利用现有的图像增强技术，针对水下图像降质的表现，选取相应的图像增强技术，改善图像质量。典型的方法如Fu等人提出的基于Retinex的水下图像增强算法，见Fu X,Zhuang P,Huang Y,et al.A retinex-basedenhancing approach for single underwater image[C]//IEEE InternationalConference on Image Processing.2015:4572-4576；Zhang等人提出基于直方图均衡化的水下图像增强算法，见Zhang W,Li G,Ying Z,and et al.A New Underwater ImageEnhancing Method via Color Correction and Illumination Adjustment[C].//IEEEInternational Conference on Visual Communications and Image Processing.2017,DOI:10.1109/VCIP.2017.8305027；Henke等人提出基于白平衡的水下图像增强算法，见Henke B,Vahl M,Zhou Z.Removing color cast of underwater images through non-constant color constancy hypothesis[C]//IEEE International Symposium on Imageand Signal Processing and Analysis.2014:20-24.这类方法有效改善了图像质量，但由于未考虑水下图像降质原理，忽略降质程度与深度之间的关系，其增强结果不能正确反映图像真实色彩。
基于图像复原的水下图像处理，是利用构建的水下成像模型反演出未降质图像，需要估计未知参数环境光和透射率。这类方法根据参数估计方式可分为基于先验的复原方法和基于深度学习的复原方法，其中：
基于先验的复原方法，是通过各种先验假设来提取图像特征，然后利用该特征分别设计有效的环境光和透射率估计方法，以实现图像复原。如Berman等人提出基于HazeLine假设的透射率估计方法，并借助灰度世界假设估计三通道衰减因子间的比值。见BERMAN D,LEVYD,AVIDAN S,et al.Underwater Single Image Color Restoration UsingHaze-Lines and a New Quantitative Dataset[J].//IEEE Transactions on PatternAnalysis and Machine Intelligence,2018.然而，当环境光亮度明显大于场景时大多数像素将指向同一方向，难以探测Haze Lines，导致该方法失效。
基于深度学习的图像处理方法，随着深度学习技术的蓬勃发展，已逐渐成为当前图像领域的研究热点。Shin等人提出利用卷积神经网络CNN来估计水下图像透射率和环境光的方法，该方法使用同一CNN网络估计局部透射率和全局环境光，见Shin Y S,Cho Y,Pandey G,et al.Estimation of ambient light and transmission map with commonconvolutional architecture[C]//Oceans.IEEE,2016:1-7.该网络使用合成数据作为训练集，输入不同色偏的水下模拟图像块，经由训练好的CNN网络输出对应块的透射率或全局环境光。虽然该方法获得了不错的复原效果，但由于训练数据只是局部图像块，缺少全局深度信息，且估计透射率时忽略了三通道透射率之间的差异，使得在一些图像的处理上出现颜色扭曲和清晰度复原不足的现象；Hu等人提出利用并联的卷积神经网络分别估计透射率与环境光的方法，见Yan Hu,Keyan Wang,Xi Zhao,Hui Wang,Yunsong Li.UnderwaterImage Restoration Based on Convolutional Neural Network[C]//The10th AsianConference on Machine Learning(ACML).Proceedings of Machine Learning Research(PMLR),2018,95:296-311.该网络恢复得到的图像较为自然清晰，但其并未考虑人工光源的强度估计问题，当输入场景为人工光源辅助成像的水下图片时，会出现局部过亮的现象。
当水深过深或水体过于浑浊时，成像设备往往采用人工光源辅助成像。人工光源的存在或导致透射率及大气光值估计不准确。然而大多数现有水下图像清晰化算法未考虑人工光源的影响，少数方法利用一些先验知识，减弱人工光源的影响，如：Chiang方法己知红绿蓝三种颜色的光的单位衰减比，在准确估计景深后，利用最小二乘法估计光源强度以减弱其影响。见J Y Chiang，Yingching Chen.Underwater image enhancement bywavelength compensation and dehazing.//IEEE Transactions on Image Processing,2012,21(4):1756-1769.该方法基于颜色信息，抓住深度无穷大的区域，亮度很高或者红色通道衰减最为严重的特点估计环境光值，但图像中一些具有相同颜色特性的物体会对估计过程产生干扰，使得环境光估计在错误的位置。Galdran等人提出基于改进的暗通道先验的方法估计透射率，并借助亮度高、红色分量值小的特点从图像中选取环境光值，见GaldranA,Alvarez-Gila A,Alvarez-Gila A.Automatic Red-Channel underwater imagerestoration[J].Journal of Visual Communication&Image Representation,2015,26(C):132-145.该方法修改了暗通道先验，虽然提升了该先验应用于水下图像时的效果，但降低了先验在清晰图像中的有效性，复原结果会出现偏红。
综上，现有的水下图像复原方法均存在不同程度的色偏估计不准确、图像清晰度欠佳及由于未考虑人工光源对水下成像的影响导致恢复图像效果不理想的问题。
发明内容
本发明的目的在于提供一种适用于人工与自然光源的卷积神经网络水下图像复原方法，以解决现有技术在处理水下图像时由于参数估计不够准确导致的图像色偏校正和清晰化处理效果欠佳的问题，并去除人工光源的影响，提高恢复图像的效果。
为实现上述目的，本发明的技术方案包括如下：
1)在Caffe框架下分别构建水下图像环境光估计网络A-net、人工光源强度估计网络L-net及透射率估计网络T-net，其中:
所述环境光估计网络A-net，包括四个卷积层和两个池化层；
所述人工光源强度估计网络L-net，包括四个卷积层和两个池化层；
所述透射率估计网络T-net，包括一个下采样模块、一个融合模块以及一个上采样模块，三个模块依次串联；
2)从数据集中获取一组清晰图像集Jt及相应深度图集d(Jt)，根据设定的环境光值A、人工光源强度值L和蓝色通道透射率Tb，计算得到透射率估计网络训练图像集Tt、环境光估计网络训练图像集At及人工光源强度估计网络训练图像集Lt；
3)采用透射率估计网络训练集Tt，对透射率估计网络T-net进行训练：
3a)将透射率估计网络训练图像集Tt按批量大小分别平分为多个配对的图像组，并同时输入Tt的第一图像组，得到T-net各个卷积操作的初始权值Wn和初始偏置值Bn；
3b)将初始权值Wn和初始偏置值Bn应用至透射率估计网络T-net中，得到第一次参数更新后的神经网络T-net；再将第二图像组输入至第一次参数更新后的神经网络T-net，得到第二次参数更新后的神经网络T-net；以此类推，直至最后一组图像组输入至前一次更新后的神经网络T-net，得到一次训练后的神经网络T-net；
3c)将Tt的所有图像组依次输入至完成一次训练的神经网络T-net，得到二次训练后的神经网络T-net；以此类推，直至所有图像组均被输入20000次，完成对透射率估计网络T-net的训练；
4)采用环境光估计网络训练图像集At，按照步骤3a)-3c)的方法，对环境光估计网络A-net进行训练，得到训练好的环境光估计网络；
5)采用人工光源强度估计网络训练图像集Lt，按照步骤3a)-3c)的方法，对人工光源强度估计网络L-net进行训练，得到训练好的人工光源强度估计网络；
6)将一幅需要复原处理的水下图像Ic输入至训练好的透射率估计网络T-net，输出蓝色通道的透射率Tb′；
7)将需要复原处理的水下图像Ic与6)中得到的蓝色通道透射率Tb′相拼接，分别输入至训练好的环境光估计网络A-net和人工光源强度估计网络L-net，分别输出rgb三通道的环境光值Ar′、Ag′、Ab′和人工光源强度值L′；
8)根据6)和7)的结果，计算得到红色通道透射率和绿色通道的透射率
9)根据6)至8)的结果，得到高质量清晰图像：
Jc′＝(Ic-Ac′)/Tc′+Ac′-L′Tc′，c∈{r,g,b}。
本发明的有益效果为：
(1)本发明由于通过神经网络估计透射率、环境光值及人工光源强度值，避免了现有先验在一些情况下失效而导致复原效果不佳的状况，有助于提高估计方法的准确度和普适性；
(2)本发明由于根据水下图像降质模型和现有深度图数据集合成水下图像训练集，可以模拟不同环境下可能捕获到的不同蓝绿色偏、不同清晰程度、不同强度人工光源照射情况下的水下图像，解决了存在人工光源的水下图像训练集缺失的问题。
(3)本发明由于设计了估计人工光源强度值的参数估计网络，能够有效去除人工光源对于水下图像的影响，且同样适用于仅存在自然光源时的水下图像恢复。
仿真结果表明，本发明与能在保持恢复图像对比度的前提下，可以更好地校正图像色偏，有效去除人工光源对于水下图像恢复的影响，提高视觉效果；且峰值信噪比PNSR、结构相似性SSIM和色差公式CIEDE2000三个指标均优于现有技术。
附图说明
图1为本发明的实现流程图；
图2为本发明中构建的透射率估计网络、人工光源强度值估计网络和环境光值估计网络的结构图；
图3为用本发明和现有的水下图像处理算法对水下模拟图像的处理效果对比图；
图4为用本发明和现有的水下图像处理算法对真实水下图像的处理效果对比图。
具体实施方式
下面结合附图对本发明的具体实施方式及效果作进一步说明：
参照图1，本发明的具体实现如下：
步骤1：在Caffe框架下构建卷积神经网络架构。
如图2所示，本实例构建的卷积神经网络包括环境光估计网络A-net、人工光源强度估计网络L-net和透射率估计网络T-net，分别用来估计环境光值、人工光源强度值和蓝色通道透射率，其中:
所述环境光估计网络A-net，包括四个卷积层和两个池化层，结构关系依次为：第一卷积层→第二卷积层→第一池化层→第三卷积层→第二池化层→第四卷积层；
该四个卷积层的卷积核大小依次为7×7，5×5，5×5，3×3，卷积步长均为1，每个卷积层包括卷积操作以及ReLU激活函数层，卷积操作都具有相应的权值Wn和偏置值Bn，其中第一卷积层的输入为49×49的水下合成图像与对应的49×49的透射率图像拼接得到的四通道图像，第四卷积层的输出为估计的三通道环境光值；
该两个池化层的窗口大小均为3×3，步长均为3。
所述人工光源强度估计网络L-net，包括4个卷积层和2个池化层，结构关系依次为：第1卷积层→第2卷积层→第1池化层→第3卷积层→第2池化层→第4卷积层；
该4个卷积层的卷积核大小依次为7×7，5×5，5×5，3×3，卷积步长均为1，每个卷积层包括卷积操作以及ReLU激活函数层，卷积操作都具有相应的权值Wn和偏置值Bn，其中第1卷积层的输入为49×49的水下合成图像与对应的49×49的透射率图像拼接得到的四通道图像，第4卷积层的输出为估计的人工光源强度值。
该2个池化层的窗口大小均为3×3，步长均为3。
所述透射率估计网络T-net，包括下采样模块、融合模块和上采样模块，这三个模块依次串联，其中：
该下采样模块，依次包括一个卷积层、0.5倍池化层和两个卷积层，这三个卷积层的卷积核大小依次为3×3，5×5，3×3，卷积步长均为1；
该融合模块，分为三条支路，分别为0.25倍池化支路、0.5倍池化支路和融合支路，其中：
0.25倍池化支路，依次包括0.25倍池化层、三个卷积层和上采样层，三个卷积层的卷积核大小依次为5×5,3×3,3×3，卷积步长均为1；
0.5倍池化支路，依次包括0.5倍池化层、三个卷积层和上采样层，三个卷积层的卷积核大小依次为5×5，3×3，3×3，卷积步长均为1，该支路中第一个卷积层的输入为0.25倍池化支路输出和0.5倍池化层输出的拼接；
融合支路，包括一个卷积层，卷积核大小为3×3,卷积步长为1，该卷积层的输入为0.5倍池化支路输出和融合模块输入的拼接，该卷积层的输出为融合模块的输出；
该上采样模块，依次包括上采样层和两个卷积层，这两个卷积层的卷积核大小均为3×3,卷积步长均为1，该第一个卷积层的输入为上采样层的输出和下采样模块中第一个卷积层输出的拼接；
以上三个模块中的每个卷积层均包括卷积操作以及ReLU激活函数层，卷积操作都具有相应的权值Wn和偏置值Bn，以上融合模块与上采样模块中的每个上采样层均为2倍上采样操作。
步骤2：制作训练图像集。
2a)从网络上下载Middlebury数据集，经过缩放和裁剪得到371张不同的室内清晰图像和相应的深度图，尺寸统一为160×160，作为室内深度图数据集；
2b)从网络上下载不同场景的室外清晰图像116张，使用双线性插值算法将尺寸统一缩放至160×160，并利用现有的景深估计CNN模型分别估计出每张室外清晰图像对应的深度图，将室外清晰图像与相应深度图作为室外深度图数据集；
2c)合并5a)和5b)中的室内外深度图数据集，共得到487张清晰图像集Jt和对应的深度图d(Jt)；
2d)使用random函数在0.1-0.6间随机生成19413个红色通道环境光值Ar，再使用random函数在对应的Ar-1.0间随机生成19413个绿色通道环境光值Ag和19413个蓝色通道的环境光值Ab，合并三个通道，得到19413张环境光图Ac，构成环境光图像集Ad；
2e)使用random函数在0-0.5间随机生成19413个人工光源强度值L，构成人工光源图像集Ld；
2f)使用random函数在0.5-2.5间随机生成19413个蓝色通道透射率参数ηb，随机匹配2c)中得到的深度图d(Jt)与清晰图像Jt，计算得到对应的三个通道的透射率，即：
蓝色通道透射率：
红色通道透射率：
绿色通道透射率：
对这三个通道的透射率进行合并，得到19413张透射率图与各自对应的19413张清晰图像，分别构成透射率图像集Td与清晰图像集Jd；
2g)使用得到的清晰图像集Jd、人工光源图像集Ld、环境光图像集Ad与透射率图像集Td，计算得到19413张水下图像Id＝(Jd+LdTd)Td+Ad(1-Td)，以构成水下图像集Id；
2h)将水下图像集Id与透射率图像集Td作为透射率估计网络训练图像集Tt；
2i)将2f)中得到的透射率图像集Td与2g)中得到的水下图像集Id统一缩小尺寸至49×49，得到缩小后的水下图像集Id′及缩小后的透射率图像集Td′；
2j)将2d)中得到的环境光图像集Ad与上述Id′及Td′作为环境光估计网络训练图像集At。
2k)将2e)中得到的人工光源图像集Ld与2i)中得到的缩小后的水下图像集Id′及缩小后的透射率图像集Td′作为人工光源强度估计网络训练图像集Lt。
步骤3：训练神经网络。
3a)训练环境光估计网络A-net：
3a1)将欧氏距离公式作为环境光估计网络A-net的损失函数：
其中‖.‖2为对矩阵求二范数操作，m为输入图像的像素数，An(I)为环境光估计网络A-net的输出，为对应的人工合成环境光；
3a2)将环境光估计网络训练图像集At按批量大小分别平分为多个配对的图像组，同时输入At的第一图像组训练环境光估计网络A-net，并通过计算以下函数得到A-net各个卷积操作的初始权值Wn和初始偏置值Bn：
其中函数是指使得上述损失函数取得其最小值时所有自变量Wn,Bn的集合；
3a3)将初始权值Wn和初始偏置值Bn应用至步骤1构建的环境光估计网络A-net中，得到第一次参数更新后的环境光估计网络A-net；
3a4)将第二图像组输入至第一次参数更新后的环境光估计网络A-net，得到第二次参数更新后的环境光估计网络A-net；以此类推，直至将最后一组图像组输入至前一次更新后的环境光估计网络A-net，得到一次训练后的环境光估计网络A-net；
3a5)将环境光估计网络训练图像集At的所有图像组依次输入至完成一次训练的环境光估计网络A-net，得到二次训练后的环境光估计网络A-net；以此类推，直至所有图像组均被输入20000次，得到训练好的环境光估计网络A-net；
3b)训练人工光源强度估计网络L-net：
3b1)将欧氏距离公式作为人工光源强度估计网络L-net的损失函数：
LossL＝||L(I)-L*||2
其中‖.‖2为对矩阵求二范数操作，m为输入图像的像素数，L(I)为人工光源强度估计网络L-net的输出，L*为对应的合成人工光源强度值；
3b2)将人工光源强度估计网络训练图像集Lt按批量大小分别平分为多个配对的图像组，并同时输入Lt的第一图像组训练人工光源强度估计网络L-net，并通过计算以下函数得到L-net各个卷积操作的初始权值Wn和初始偏置值Bn：
其中函数是指使得上述损失函数取得其最小值时所有自变量Wn,Bn的集合；
3b3)将初始权值Wn和初始偏置值Bn应用至步骤1构建的人工光源强度估计网络L-net中，得到第一次参数更新后的人工光源强度估计网络L-net；
3b4)将第二图像组输入至第一次参数更新后的环境光估计网络L-net，得到第二次参数更新后的人工光源强度估计网络L-net；以此类推，直至将最后一组图像组输入至前一次更新后的人工光源强度估计网络L-net，得到一次训练后的人工光源强度估计网络L-net；
3b5)将人工光源强度估计网络训练集Lt的所有图像组依次输入至完成一次训练的人工光源强度估计网络L-net，得到二次训练后的人工光源强度估计网络L-net；以此类推，直至所有图像组均被输入20000次，得到训练好的人工光源强度估计网络人工光源强度估计网络L-net；
3c)训练透射率估计网络T-net：
3c1)将欧氏距离公式作为透射率估计网络T-net的损失函数LossT：
其中||.||2为对矩阵求二范数操作，|.|为对矩阵求一范数操作，m为输入图像的像素数，Tn(I)为透射率估计网络T-net的输出，Tn1(I)为T-net融合模块中0.5倍池化支路最后一个卷积层的输出，Tn2(I)为T-net融合模块中0.25倍池化支路最后一个卷积层的输出，为对应的人工合成透射率，为缩小16倍后的 为缩小64倍后的
3c2)将透射率估计网络训练图像集Tt按批量大小分别平分为多个配对的图像组，同时输入Tt的第一图像组训练，并通过计算以下函数得到T-net中各个卷积操作的初始权值Wn和初始偏置值Bn：
其中函数是指使上述损失函数取得其最小值的所有自变量Wn,Bn的集合；
3c3)将权值Wn和偏置值Bn应用到步骤1构建的透射率估计网络T-net中，得到第一次参数更新后的透射率估计网络T-net；
3c4)将第二图像组输入至第一次参数更新后的透射率估计网络T-net，得到第二次参数更新后的透射率估计网络T-net；以此类推，直至将最后一组图像组输入至前一次更新后的透射率估计网络T-net，得到一次训练后的透射率估计网络T-net；
3c5)将透射率估计网络训练图像集Tt的所有图像组依次输入至完成一次训练的透射率估计网络T-net，得到二次训练后的透射率估计网络T-net；以此类推，直至所有图像组均被输入20000次，得到训练好的透射率估计网络T-net。
步骤4：复原图像。
4a)将一幅需要复原处理的水下图像Ic输入至训练好的透射率估计网络T-net，输出蓝色通道的透射率Tb′；
4b)将需要复原处理的水下图像Ic与4a)中得到的蓝色通道透射率Tb′相拼接，分别输入至训练好的环境光估计网络A-net和人工光源强度估计网络L-net，分别输出rgb三通道的环境光值Ar′、Ag′、Ab′和人工光源强度值L′；
4c)根据4a)和4b)的结果，计算得到红色通道透射率和绿色通道的透射率
4d)根据4a)至4c)的结果，得到高质量清晰图像：
Jc′＝(Ic-Ac′)/Tc′+Ac′-L′Tc′，c∈{r,g,b}。
本发明的效果通过以下仿真进一步说明：
1.测试图片：一百幅合成的水下图像和四幅真实水下图像；
2.测试方法：使用现有的Fu等人提出的算法、Zhang等人提出的算法、Berman等人提出的算法、Galdran等人提出的算法、Shin等人提出的算法、Hu等人提出的算法和本发明共七种方法；
3.仿真测试内容：
仿真测试1：使用上述七种方法对四幅合成水下图像进行复原，效果如图3所示，其中：
图3a为四幅合成水下图像,其中前两幅图片存在人工光源，
图3b为使用Fu等人提出的算法对图4a水下图像进行处理的结果，
图3c为使用Zhang等人提出的算法对图4a水下图像进行复原的结果，
图3d为使用Berman等人提出的算法对图4a水下图像进行复原的结果，
图3e为使用Galdran等人提出的算法对图4a水下图像进行复原的结果，
图3f为使用Shin等人提出的算法对图4a水下图像进行复原的结果，
图3g为使用Hu等人提出的算法对图4a水下图像进行复原的结果，
图3h为使用本发明方法对图4a水下图像进行复原的结果，
图3i为四副合成图像对应的原始清晰图像。
从图3可看出，Fu等人、Zhang等人、Shin等人提出的方法均能够一定程度上恢复图像的色偏，但其恢复效果有限，且Fu等人所提方法恢复得到的图像在细节部分清晰度不佳；Berman等人及Galdran等人所提出的方法在部分区域存在过度估计，导致图像整体偏红；Hu等人所提出的方法恢复得到的图像颜色较为自然，但当输入图像色偏较重时，该方法依旧保留部分色偏。同时，除Galdran等人所提出的方法及本发明所提方法外，其他五种方法均未考虑存在人工光源的情况，在这种情况下，该五种方法恢复得到的图片均存在不同程度上的亮度异常；Galdran等人所提出的方法在处理不存在人工补偿光源的水下图片时，存在由于对补偿光源处理不正确导致的严重色偏等问题，效果显著差于存在人工补偿光源的情况。本发明所提方法较其他几种方法，对色偏的处理效果更优、清晰度及主观效果更佳、更接近于理想清晰图像，且同时适用于存在或不存在人工补偿光源的水下场景。
仿真测试2：使用上述七种方法对四幅真实水下图像进行复原，效果如图4所示，其中：
图4a为四幅真实水下图像,其中前三幅图片存在人工光源，
图4b为使用Fu等人提出的算法对图4a水下图像进行处理的结果，
图4c为使用Zhang等人提出的算法对图4a水下图像进行复原的结果，
图4d为使用Berman等人提出的算法对图4a水下图像进行复原的结果，
图4e为使用Galdran等人提出的算法对图4a水下图像进行复原的结果，
图4f为使用Shin等人提出的算法对图4a水下图像进行复原的结果，
图4g为使用Hu等人提出的算法对图4a水下图像进行复原的结果，
图4h为使用本发明方法对图4a水下图像进行复原的结果；
从图4可看出，Fu等人及Zhang等人提出的水下增强方法可以提高图像对比度并改善色偏，但由于该方法并未考虑到水下降质原理，仅仅针对水下图像对比度低、存在色偏的现象对图像进行调整，虽然获得了较好的视觉效果，但处理后的图像风格相似，不够自然真实，无法反映场景原本的面貌。Berman等人所提的方法由于自身先验的局限性，部分场景下的复原效果不理想。当水下场景不存在人工光源辅助成像的情况下，Galdran等人所提出的方法恢复的图像在色彩上会造成较大失真。Shin等人所提方法存在有的场景下色偏处理不佳的问题，该方法所设计的数据集和网络结构缺少全局信息，不能很好的学习水下图像与相应参数之间的映射关系。Hu等人所提方法同样能在一定程度上缓解水下图像模糊造成的失真，但其恢复的图像对比度过高，图片部分区域亮度明显异常。此外，Fu等人、Zhang等人、Berman等人、Shin等人和Hu等人的方法采用的水下成像模型均未考虑人工光源对水下成像的影响，这些方法恢复得到的图片均出现不同程度的亮度异常。Galdran等人所提的方法将饱和度加入先验中，通过降低明亮区域的透射率来降低人工光源对图像复原的影响，但该方法用于仅存在自然光源的场景时可能出现恢复图像偏红的现象。本发明所提的方法，能较好的增强图像对比度并校正图像色偏，同时还去除了人工光源对图像的影响，且同样适用于仅存在自然光源的水下场景。复原结果优于其他几种方法。
仿真测试3：使用上述七种方法对一百幅合成的存在人工光源的水下图像进行处理，将其结构相似性SSIM指标、峰值信噪比PNSR指标和色差公式CIEDE2000指标进行对比，结果如表1所示
表1
| 指标 | Fu | Zhang | Berman | Galdran | Shin | Hu | 本发明 |
| PSNR | 16.5817 | 15.8371 | 14.9642 | 20.2963 | 17.4289 | 17.0597 | 21.4785 |
| SSIM | 0.7975 | 0.8438 | 0.7296 | 0.9058 | 0.8549 | 0.8698 | 0.9114 |
| CIEDE2000 | 15.7127 | 18.1261 | 17.4789 | 12.0868 | 16.7549 | 14.1766 | 9.0234 |
通过表1可得，在存在人工光源的情况下，本发明方法的PSNR、SSIM及CIEDE2000数值都优于其它六种算法，表示处理后的图片与对应的清晰图像更接近。
使用上述七种方法对一百幅合成的仅存在自然光源的水下图像进行处理，将其结构相似性SSIM指标、峰值信噪比PNSR指标和色差公式CIEDE2000指标进行对比，结果如表2所示
表2
| 指标 | Fu | Zhang | Berman | Galdran | Shin | Hu | 本发明 |
| PSNR | 16.9093 | 14.4030 | 15.3090 | 17.9054 | 18.1767 | 19.3751 | 20.6484 |
| SSIM | 0.8103 | 0.8183 | 0.7671 | 0.8761 | 0.8625 | 0.8632 | 0.8999 |
| CIEDE2000 | 14.2262 | 12.5702 | 13.3489 | 12.5702 | 16.0105 | 10.9684 | 9.2622 |
通过表2可得，在仅存在自然光源的情况下，本发明方法的PSNR、SSIM及CIEDE2000数值都优于其它六种算法，表示处理后的图片与对应的清晰图像更接近，说明本方法同样适用于仅存在自然光源的水下图像复原。
综合上述七种算法在仿真结果上的比较，本发明方法在水下图像处理上的效果均优于其它六种算法。
Claims (7)
1.一种适用于人工与自然光源的卷积神经网络水下图像复原方法，其特征在于包括：
1)在Caffe框架下分别构建水下图像环境光估计网络A-net、人工光源强度估计网络L-net及透射率估计网络T-net，其中:
所述环境光估计网络A-net，包括四个卷积层和两个池化层；
所述人工光源强度估计网络L-net，包括4个卷积层和2个池化层；
所述透射率估计网络T-net，包括一个下采样模块、一个融合模块以及一个上采样模块，三个模块依次串联；
2)从数据集中获取一组清晰图像集Jt及相应深度图集d(Jt)，根据设定的环境光值A、人工光源强度值L和蓝色通道透射率Tb，计算得到透射率估计网络训练图像集Tt、环境光估计网络训练图像集At及人工光源强度估计网络训练图像集Lt；
3)采用透射率估计网络训练集Tt，对透射率估计网络T-net进行训练：
3a)将透射率估计网络训练图像集Tt按批量大小分别平分为多个配对的图像组，并同时输入Tt的第一图像组，得到T-net各个卷积操作的初始权值Wn和初始偏置值Bn；
3b)将初始权值Wn和初始偏置值Bn应用至透射率估计网络T-net中，得到第一次参数更新后的神经网络T-net；再将第二图像组输入至第一次参数更新后的神经网络T-net，得到第二次参数更新后的神经网络T-net；以此类推，直至最后一组图像组输入至前一次更新后的神经网络T-net，得到一次训练后的神经网络T-net；
3c)将Tt的所有图像组依次输入至完成一次训练的神经网络T-net，得到二次训练后的神经网络T-net；以此类推，直至所有图像组均被输入20000次，完成对透射率估计网络T-net的训练；
4)采用环境光估计网络训练图像集At，按照步骤3a)-3c)的方法，对环境光估计网络A-net进行训练，得到训练好的环境光估计网络；
5)采用人工光源强度估计网络训练图像集Lt，按照步骤3a)-3c)的方法，对人工光源强度估计网络L-net进行训练，得到训练好的人工光源强度估计网络；
6)将一幅需要复原处理的水下图像Ic输入至训练好的透射率估计网络T-net，输出蓝色通道的透射率Tb′；
7)将需要复原处理的水下图像Ic与6)中得到的蓝色通道透射率Tb′相拼接，分别输入至训练好的环境光估计网络A-net和人工光源强度估计网络L-net，分别输出rgb三通道的环境光值Ar′、Ag′、Ab′和人工光源强度值L′；
8)根据6)和7)的结果，计算得到红色通道透射率和绿色通道的透射率
9)根据6)至8)的结果，得到高质量清晰图像：
Jc′＝(Ic-Ac′)/Tc′+Ac′-L′Tc′，c∈{r,g,b}。
2.根据权利要求1所述的方法，其特征在于：1)中环境光估计网络A-net的四个卷积层和两个池化层，结构关系依次为：第一卷积层→第二卷积层→第一池化层→第三卷积层→第二池化层→第四卷积层；
所述四个卷积层的卷积核大小依次为7×7，5×5，5×5，3×3，卷积步长均为1，每个卷积层包括卷积操作以及ReLU激活函数层，卷积操作都具有相应的权值Wn和偏置值Bn，其中第一卷积层的输入为49×49的水下合成图像与对应的49×49的透射率图像拼接得到的四通道图像，第四卷积层的输出为估计的三通道环境光值；
所述两个池化层的窗口大小均为3×3，步长均为3。
3.根据权利要求1所述的方法，其特征在于：1)中人工光源强度估计网络L-net的4个卷积层和2个池化层，结构关系依次为：第1卷积层→第2卷积层→第1池化层→第3卷积层→第2池化层→第4卷积层；
所述4个卷积层的卷积核大小依次为7×7，5×5，5×5，3×3，卷积步长均为1，每个卷积层包括卷积操作以及ReLU激活函数层，卷积操作都具有相应的权值Wn和偏置值Bn，其中第1卷积层的输入为49×49的水下合成图像与对应的49×49的透射率图像拼接得到的四通道图像，第4卷积层的输出为估计的人工光源强度值。
所述2个池化层的窗口大小均为3×3，步长均为3。
4.根据权利要求1所述的方法，其特征在于：1)中透射率估计网络T-net的三个模块，其结构如下：
4a)下采样模块，依次包括一个卷积层、0.5倍池化层和两个卷积层，这三个卷积层的卷积核大小依次为3×3，5×5，3×3，卷积步长均为1；
4b)融合模块，分为三条支路，分别为0.25倍池化支路、0.5倍池化支路和融合支路，其中：
0.25倍池化支路，依次包括0.25倍池化层、三个卷积层和上采样层，三个卷积层的卷积核大小依次为5×5,3×3,3×3，卷积步长均为1；
0.5倍池化支路，依次包括0.5倍池化层、三个卷积层和上采样层，三个卷积层的卷积核大小依次为5×5，3×3，3×3，卷积步长均为1，该支路中第一个卷积层的输入为0.25倍池化支路输出和0.5倍池化层输出的拼接；
融合支路，包括一个卷积层，卷积核大小为3×3,卷积步长为1，该卷积层的输入为0.5倍池化支路输出和融合模块输入的拼接，该卷积层的输出为融合模块的输出；
4c)上采样模块，依次包括上采样层和两个卷积层，这两个卷积层的卷积核大小均为3×3,卷积步长均为1，该第一个卷积层的输入为上采样层的输出和下采样模块中第一个卷积层输出的拼接；
以上三个模块中的每个卷积层均包括卷积操作以及ReLU激活函数层，卷积操作都具有相应的权值Wn和偏置值Bn，以上融合模块与上采样模块中的每个上采样层均为2倍上采样操作。
5.根据权利要求1所述的方法，其特征在于2)中计算透射率估计网络训练图像集Tt，其实现如下：
2a)从网络上下载Middlebury数据集，经过缩放和裁剪得到371张不同的室内清晰图像和相应的深度图，尺寸统一为160×160，作为室内深度图数据集；
2b)从网络上下载不同场景的室外清晰图像116张，使用双线性插值算法将尺寸统一缩放至160×160，并利用现有的景深估计CNN模型分别估计出每张室外清晰图像对应的深度图，将室外清晰图像与相应深度图作为室外深度图数据集；
2c)合并5a)和5b)中的室内外深度图数据集，共得到487张清晰图像集Jt和对应的深度图d(Jt)；
2d)使用random函数在0.1-0.6间随机生成19413个红色通道环境光值Ar，再使用random函数在对应的Ar-1.0间随机生成19413个绿色通道环境光值Ag和19413个蓝色通道的环境光值Ab，合并三个通道，得到19413张环境光图Ac，构成环境光图像集Ad；
2e)使用random函数在0-0.5间随机生成19413个人工光源强度值L，构成人工光源图像集Ld；
2f)使用random函数在0.5-2.5间随机生成19413个蓝色通道透射率参数ηb，随机匹配2c)中得到的深度图d(Jt)与清晰图像Jt，计算得到对应的蓝色通道透射率红色通道透射率绿色通道透射率合并这三个通道，得到19413张透射率图与各自对应的19413张清晰图像，分别构成透射率图像集Td与清晰图像集Jd；
2g)使用得到的清晰图像集Jd、人工光源图像集Ld、环境光图像集Ad与透射率图像集Td，计算得到19413张水下图像Id＝(Jd+LdTd)Td+Ad(1-Td)，构成水下图像集Id
2h)将水下图像集Id与透射率图像集Td作为透射率估计网络训练图像集Tt。
6.根据权利要求1或5所述的方法，其特征在于2)中计算环境光估计网络训练图像集At，其实现如下：
2i)将2f)中得到的透射率图像集Td与2g)中得到的水下图像集Id统一缩小尺寸至49×49，得到缩小后的水下图像集Id′及缩小后的透射率图像集Td′；
2j)将2d)中得到的环境光图像集Ad与上述Id′及Td′作为环境光估计网络训练图像集At。
7.根据权利要求1或5所述的方法，其特征在于2)中计算人工光源强度估计网络训练图像集Lt，是将2e)中得到的人工光源图像集Ld与2i)中得到的缩小后的水下图像集Id′及缩小后的透射率图像集Td′作为人工光源强度估计网络训练图像集Lt。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910473964.0A CN110223251B (zh) | 2019-06-02 | 2019-06-02 | 适用于人工与自然光源的卷积神经网络水下图像复原方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910473964.0A CN110223251B (zh) | 2019-06-02 | 2019-06-02 | 适用于人工与自然光源的卷积神经网络水下图像复原方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110223251A true CN110223251A (zh) | 2019-09-10 |
| CN110223251B CN110223251B (zh) | 2023-03-24 |
Family
ID=67819371
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910473964.0A Active CN110223251B (zh) | 2019-06-02 | 2019-06-02 | 适用于人工与自然光源的卷积神经网络水下图像复原方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110223251B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110675462A (zh) * | 2019-09-17 | 2020-01-10 | 天津大学 | 一种基于卷积神经网络的灰度图像彩色化方法 |
| CN110838092A (zh) * | 2019-10-28 | 2020-02-25 | 天津大学 | 一种基于卷积神经网络的水下图像复原方法 |
| CN111429378A (zh) * | 2020-04-01 | 2020-07-17 | 天津大学前沿技术研究院有限公司 | 基于深度神经网络和偏振成像的浑浊水下灰度图像复原方法 |
| CN112804510A (zh) * | 2021-01-08 | 2021-05-14 | 海南省海洋与渔业科学院 | 深水图像的色彩还真处理方法、装置、存储介质及相机 |
| CN113012067A (zh) * | 2021-03-16 | 2021-06-22 | 华南理工大学 | 基于Retinex理论和端到端深度网络的水下图像复原方法 |
| CN113012254A (zh) * | 2021-04-20 | 2021-06-22 | 中国科学院自动化研究所 | 基于像素级自监督训练的水下图像合成方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018000752A1 (zh) * | 2016-06-27 | 2018-01-04 | 浙江工商大学 | 一种基于多尺度cnn和连续crf的单目图像深度估计方法 |
| CN108805839A (zh) * | 2018-06-08 | 2018-11-13 | 西安电子科技大学 | 基于卷积神经网络的联合估计图像去雾方法 |
| CN109584170A (zh) * | 2018-10-29 | 2019-04-05 | 西安电子科技大学 | 基于卷积神经网络的水下图像复原方法 |
-
2019
- 2019-06-02 CN CN201910473964.0A patent/CN110223251B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018000752A1 (zh) * | 2016-06-27 | 2018-01-04 | 浙江工商大学 | 一种基于多尺度cnn和连续crf的单目图像深度估计方法 |
| CN108805839A (zh) * | 2018-06-08 | 2018-11-13 | 西安电子科技大学 | 基于卷积神经网络的联合估计图像去雾方法 |
| CN109584170A (zh) * | 2018-10-29 | 2019-04-05 | 西安电子科技大学 | 基于卷积神经网络的水下图像复原方法 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110675462A (zh) * | 2019-09-17 | 2020-01-10 | 天津大学 | 一种基于卷积神经网络的灰度图像彩色化方法 |
| CN110838092A (zh) * | 2019-10-28 | 2020-02-25 | 天津大学 | 一种基于卷积神经网络的水下图像复原方法 |
| CN110838092B (zh) * | 2019-10-28 | 2023-05-19 | 天津大学 | 一种基于卷积神经网络的水下图像复原方法 |
| CN111429378A (zh) * | 2020-04-01 | 2020-07-17 | 天津大学前沿技术研究院有限公司 | 基于深度神经网络和偏振成像的浑浊水下灰度图像复原方法 |
| CN112804510A (zh) * | 2021-01-08 | 2021-05-14 | 海南省海洋与渔业科学院 | 深水图像的色彩还真处理方法、装置、存储介质及相机 |
| CN113012067A (zh) * | 2021-03-16 | 2021-06-22 | 华南理工大学 | 基于Retinex理论和端到端深度网络的水下图像复原方法 |
| CN113012254A (zh) * | 2021-04-20 | 2021-06-22 | 中国科学院自动化研究所 | 基于像素级自监督训练的水下图像合成方法 |
| CN113012254B (zh) * | 2021-04-20 | 2022-04-26 | 中国科学院自动化研究所 | 基于像素级自监督训练的水下图像合成方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110223251B (zh) | 2023-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110223251A (zh) | 适用于人工与自然光源的卷积神经网络水下图像复原方法 | |
| CN109584170B (zh) | 基于卷积神经网络的水下图像复原方法 | |
| CN111292264B (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
| CN108805839A (zh) | 基于卷积神经网络的联合估计图像去雾方法 | |
| CN108596853A (zh) | 基于背景光统计模型和传输地图优化的水下图像增强方法 | |
| CN107767413A (zh) | 一种基于卷积神经网络的图像深度估计方法 | |
| CN111275638B (zh) | 基于多通道注意力选择生成对抗网络的人脸修复方法 | |
| CN107507145A (zh) | 一种基于不同颜色空间自适应直方图拉伸的水下图像增强方法 | |
| CN109829868B (zh) | 一种轻量级深度学习模型图像去雾方法、电子设备及介质 | |
| CN110544213A (zh) | 一种基于全局和局部特征融合的图像去雾方法 | |
| CN111179196B (zh) | 一种基于分而治之的多分辨率深度网络图像去高光方法 | |
| CN113284061B (zh) | 一种基于梯度网络的水下图像增强方法 | |
| CN112508814B (zh) | 一种基于无人机低空视角下的图像色调修复型去雾增强方法 | |
| CN114067018B (zh) | 一种基于扩张残差生成对抗网络的红外图像彩色化方法 | |
| CN115223004A (zh) | 基于改进的多尺度融合生成对抗网络图像增强方法 | |
| CN115393227B (zh) | 基于深度学习的微光全彩视频图像自适应增强方法及系统 | |
| CN104331867B (zh) | 图像去雾的方法、装置及移动终端 | |
| CN109829925A (zh) | 一种在抠图任务中提取干净前景的方法及模型训练方法 | |
| CN111462002A (zh) | 一种基于卷积神经网络的水下图像增强与复原方法 | |
| CN116228550A (zh) | 一种基于生成对抗网络的图像自增强去雾算法 | |
| CN114862707A (zh) | 一种多尺度特征恢复图像增强方法、装置及存储介质 | |
| CN117974459A (zh) | 一种融合物理模型和先验的低照度图像增强方法 | |
| CN113935916A (zh) | 基于环境光感知的端到端水下图像复原方法 | |
| CN117078544A (zh) | 一种基于双重约束生成对抗网络的水下图像增强方法 | |
| Chen et al. | Underwater Image Enhancement based on Improved Water-Net |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |