CN116777760A - 一种基于自适应暗像素和颜色校正的水下图像复原方法 - Google Patents
一种基于自适应暗像素和颜色校正的水下图像复原方法 Download PDFInfo
- Publication number
- CN116777760A CN116777760A CN202310249681.4A CN202310249681A CN116777760A CN 116777760 A CN116777760 A CN 116777760A CN 202310249681 A CN202310249681 A CN 202310249681A CN 116777760 A CN116777760 A CN 116777760A
- Authority
- CN
- China
- Prior art keywords
- image
- channel
- depth
- depth map
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000012937 correction Methods 0.000 title claims abstract description 24
- 238000005286 illumination Methods 0.000 claims abstract description 18
- 238000011084 recovery Methods 0.000 claims abstract description 17
- 238000013441 quality evaluation Methods 0.000 claims abstract description 11
- 230000015556 catabolic process Effects 0.000 claims abstract description 6
- 238000006731 degradation reaction Methods 0.000 claims abstract description 6
- 239000007787 solid Substances 0.000 claims abstract description 5
- 230000003044 adaptive effect Effects 0.000 claims description 13
- 238000003384 imaging method Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 238000007500 overflow downdraw method Methods 0.000 claims description 3
- 238000002310 reflectometry Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 21
- 241000196171 Hydrodictyon reticulatum Species 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 230000031700 light absorption Effects 0.000 description 4
- 241000251468 Actinopterygii Species 0.000 description 2
- 235000014653 Carica parviflora Nutrition 0.000 description 2
- 241000243321 Cnidaria Species 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明提供一种基于自适应暗像素和颜色校正的水下图像复原方法，通过IFM(CIFM)并结合先验知识和无监督技术。考虑到水下不同波长光的衰减特性提出通道强度先验(CIP)，利用每个通道的衰减强度来估计深度图并解决由高亮区域或纯色物体引起的单通道先验故障。同时根据颜色偏差因子的大小将得到的CIP深度图与无监督深度图进行融合，克服了人工照明对CIP的影响，扩展了无监督方法的应用场景。然后，本发明通过图像不同程度的退化和自然图像质量评估指标(NIQE)来构建自适应暗像素(ADP)根据不同的深度差异选择不同的策略来消除反向散射，有效地解决拟合效率低和误差大问题。最后，通过颜色校正和蓝绿通道颜色恢复因子获得更具有视觉吸引力的输出图像。
Description
技术领域
本发明涉及水下图像处理技术领域，具体而言，尤其涉及一种基于自适应暗像素和颜色校正的水下图像复原方法。
背景技术
水下成像是研究和探索水下世界的关键技术之一。水下摄像机可以直接捕捉水下环境的图像，为海洋能源开发和水下生命监测的研究和探索提供关键的观测数据和证据。成像模型可以表示为三个分量的线性叠加，一是来自物体反射光的直接分量；二是物体反射光到达相机镜头前遇到悬浮粒子发生散射而引起的前向散射分量；三是光线直接漫反射引起的后向散射分量。然而，水下图像恢复比地面图像恢复更具挑战性。水下图像由于各种水生介质的选择性吸收和散射，照明缺失和水下成像设备不成熟，导致其存在较严重的色偏和雾效应。此外，人工照明的加入使水下光照环境更加复杂。水下图像重建是一个重要和有价值的研究领域，并得到了广泛关注。高质量的水下图像有利于目标检测、识别和分割任务。
发明内容
根据上述背景技术中提到的技术问题，提供一种基于自适应暗像素和颜色校正的水下图像复原方法。本发明基于更全面的成像模型，主要通过融合通道强度先验深度图和无监督深度图估计水下图像的深度图，根据自适应暗像素实现动态深度转换与自适应策略来消除反向散射对水下图像进行复原，然后通过亮度补偿和蓝绿通道恢复因子获得颜色矫正后的输出图像，最后根据自然图像质量评估指标自动选择最佳结果。
本发明采用的技术手段如下：
一种基于自适应暗像素和颜色校正的水下图像复原方法(An Underwater ImageRestoration Method based on Adaptive Dark Pixel and Color Correction)，包括以下步骤：
步骤S01：获取初始图像，对所述初始图像创建成像模型；
步骤S02：获取所述初始图像的反转红通道和通道最大差值；基于图像亮度融合方法，获得所述初始图像的通道强度先验深度图；
步骤S03：通过Monodepth2方法，获取所述初始图像的无监督深度图，并基于图像色偏与所述通道强度先验深度图进行融合，获得相对深度图；
步骤S04：对所述步骤S03中的所述相对深度图进行高斯滤波平滑；根据所述初始图像的不同背景类型，设置多个深度极大值；根据所述初始图像的全局背景光在像素强度上的占比获取深度极小值；
步骤S05：根据所述相对深度图、所述深度极大值以及所述深度极小值，进行深度拉伸将相对深度图转化为绝对深度图，确定深度区间划分标准；
步骤S06：根据所述步骤S05中的区间划分和自适应暗像素，通过筛选策略选择区间内的暗像素点，将所述暗像素点作为后向散射的初始估计值进行拟合；
步骤S07：将所述初始图像减去所述步骤S06拟合得到的后向散射，获取去雾后的图像；
步骤S08：根据所述步骤S05绝对深度图估计光照图补偿所述步骤S07中去雾图像亮度；根据蓝绿色彩因子矫正蓝绿通道色偏得到矫正图像；
步骤S09：根据所述步骤S08中得到的不同极大值对应的矫正图像，根据自然图像质量评估指标选取法则，选择复原图像，获取复原图像。
进一步，所述步骤S01中的成像模型为：
其中，Ic表示初始图像，即所需复原的水下图像，Jc表示复原后的水下图像，c表示R，G，B三个颜色通道，x表示不同的像素位置，d(x)表示由相机到场景x的距离，Ac表示水下图像的全局大气光，表示衰减系数，/>表示散射系数；/>可以进一步表示为：
其中ξ表示场景反射率，H表示光照图，Rs表示传感器的光谱响应参数，β表示光束的衰减系数，A∞表示全局大气光，z表示成像距离，λ表示可见光的波长。
进一步地，所述步骤S02获取所述初始图像的通道强度先验深度图还包括以下步骤：
步骤S021：将所述初始图像进行RGB通道分离，反转红通道强度，取每个区域最小值得到反转红通道图R(x)：
其中，Ω(x)表示以x为中心的正方形局部补丁，Ic表示输入图像在像素x处彩色通道c中观察到的强度；R(x)经过归一化拉伸得到反转红通道深度图dr(x)，拉伸公式为：
其中，v表示向量；
步骤S022：取区域内GB通道最大值减去区域内R通道最大值得到色差图M(x)：
经过归一化拉伸得到最大差值深度图dm(x)；
步骤S023：将所述初始图像转化为灰度图，通过计算灰度图中大于127.5的像素在总像素占比得到图像亮度参数α：
其中，Igray表示初始图像对应的灰度图，Sum(Igray＞127.5)表示灰度图像中像素强度大于127.5的像素个数，127.5表示为最大像素强度的一半，Size(Igray)表示灰度图像的总体像素个数，S(a,δ)表示sigmoid函数，定义为：
其中，s表示经验常数取32。
步骤S024：为避免图片中高亮区域或纯色物体引起的单通道先验故障，基于图像亮度参数融合反转红通道和最大差值深度图得到通道强度先验深度图；所述通道强度先验深度图dcip(x)估计公式为：
dcip(x)＝αdm(x)+(1-α)dr(x)；
其中，α表示图像亮度参数，dr(x)表示反转红通道深度图，dm(x)表示最大差值深度图。
进一步地，所述步骤S03获取相对深度图包括以下步骤：
步骤S031：通过无监督深度估计方法Monodepth2获得所述初始图像的无监督深度图dmono(x)；
步骤S032：基于等效圆的色度检测方法获得图像偏色因子k：
其中，(da,db)表示等效圆的坐标中心，(ma,mb)表示等效圆的方差；由以下公式计算：
其中，(a,b)表示等效圆的坐标，W表示图像的宽度，V表示图像的高度，单位为像素；
步骤S033：融合所述通道强度先验深度图dcip(x)和无监督深度图dmono(x)得到dcip+(x)相对深度图，公式计算为：
其中，β＝S(k,2)表示图像偏色参数。
进一步地，所述步骤S04中的获取绝对深度图的包括以下步骤：
步骤S041：为避免水下图像中细节部分对场景深度的影响，对所述步骤S03中的相对深度图采用高斯滤波进行平滑；
步骤S042：取深度极大值dmax∈(8,12)，不同的极大值代表不同的图像退化程度；
步骤S043：根据全局背景光在像素强度上的占比与距离一致性原理估计深度极小值dmin，估计公式为：
其中，θ＝Ic(arg max d(x))表示最大深度值处的像素值，即全局背景光。
进一步地，所述步骤S05中的深度转化拉伸公式如下：
其中，x，y分别表示拉伸前和拉伸后的深度值，d1，d2分别表示拉伸前的最大和最小深度值；另外，根据图像类型求解图像深度区间划分的公式如下：
其中，T表示深度区间划分个数，Y表示每个区间内选择的暗像素点个数，N＝500限制每个区间内选择暗像素点的最小数量，Ni表示每个区间内的全体像素点个数。
进一步地，所述基于自适应暗像素的去雾法则包括以下步骤：
步骤S061：通过将所述初始图像RGB三通道像素强度相加获得和通道；
步骤S062：根据深度区间划分，在每个深度区间对应的和通道上取最小的前Y个像素即暗像素来作为后向散射的初始估计；
步骤S063：获取后向散射Bc(x)的初始估计值和相应的深度值z(x)后，拟合得到后向散射估计值拟合公式如下：
步骤S064：所述初始水下图像减去拟合得到的后向散射获取去雾后的图像Dc(x)：
进一步地，所述颜色校正和基于自然图像质量评估指标的选取法则包括以下步骤：
步骤S081：根据局部空间平均颜色计算光照图Hc(x)，使用已知的深度图z(x)细化衰减系数
得到细化衰减系数后使用下式补偿光照：
其中，Jc(x)表示光照补偿后的图像。
步骤S082：计算蓝绿色彩恢复因子为蓝绿通道强度前10％值平均值的倒数，并对蓝绿进行颜色矫正，具体如下式：
其中，Wg表示绿通道色彩恢复因子，Wb表示蓝通道色彩恢复因子。
步骤S083：根据基于自然图像质量评估指标的选取法则自动选择的深度极大值确定最后输出结果。
较现有技术相比，本发明具有以下优点：
1、本发明通过观察水下不同波长光的衰减特性，提出通道强度先验利用每个通道的衰减强度来估计深度图，解决了由高亮区域或纯色物体引起的单通道先验故障。
同时本发明引入颜色偏差因子将得到的通道强度先验深度图与无监督深度图进行融合，解决人工照明对通道强度先验的影响，扩展无监督方法的应用场景。根据图像不同的退化程度和自然图像质量评估指标来构建自适应暗像素，实现动态深度转换与自适应策略来消除反向散射,解决区间划分固定和暗像素选点单一问题。最后，基于颜色校正和蓝绿通道恢复因子获得更具有视觉吸引力的输出图像。
2、本发明考虑全局背景光在像素强度上的占比与距离一致性估计深度极小值，并结合对应不同图像退化类型的多个不同深度极大值实现动态拉伸，最后基于自然图像质量评估指标的选取法则确定最终输出结果图。
基于上述理由本发明可在图像处理等领域广泛推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的流程示意图。
图2为本发明与其他算法针对海底珊瑚图像的复原效果对比图。其中(a)表示复原前初始图像，(b)表示使用IBLA(Underwater Image Restoration based on ImageBlurriness and Light Absorption)方法处理的结果图，(c)表示使用GDCP(Generalization of the Dark Channel Prior for Single Image Restoration)方法处理的结果图，(d)表示使用ULAP(A Rapid Scene Depth Estimation Model Based onUnderwater Light Attenuation Prior for Underwater Image Restoration)方法处理的结果图，(e)表示使用WaterNet(An Underwater Image Enhancement BenchmarkDataset and Beyond)方法处理的结果图，(f)表示使用本发明处理的结果图。
图3为本发明与其他算法针对深海鱼的复原效果对比图。其中(a)表示复原前初始图像，(b)表示使用IBLA(Underwater Image Restoration based on Image Blurrinessand Light Absorption)方法处理的结果图，(c)表示使用GDCP(Generalization of theDark Channel Prior for Single Image Restoration)方法处理的结果图，(d)表示使用ULAP(A Rapid Scene Depth Estimation Model Based on Underwater LightAttenuation Prior for Underwater Image Restoration)方法处理的结果图，(e)表示使用WaterNet(An Underwater Image Enhancement Benchmark Dataset and Beyond)方法处理的结果图，(f)表示使用本发明处理的结果图。
图4为本发明与其他算法针对复杂水下环境图像的复原效果对比图。其中(a)表示复原前初始图像，(b)表示使用IBLA(Underwater Image Restoration based on ImageBlurriness and Light Absorption)方法处理的结果图，(c)表示使用GDCP(Generalization of the Dark Channel Prior for Single Image Restoration)方法处理的结果图，(d)表示使用ULAP(A Rapid Scene Depth Estimation Model Based onUnderwater Light Attenuation Prior for Underwater Image Restoration)方法处理的结果图，(e)表示使用WaterNet(An Underwater Image Enhancement BenchmarkDataset and Beyond)方法处理的结果图，(f)表示使用本发明处理的结果图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了验证本发明对水下图像复原的有效性，选取不同场景的水下图像作为测试集，同时与IBLA(Underwater Image Restoration based on Image Blurriness andLight Absorption)算法、GDCP(Generalization of the Dark Channel Prior forSingle Image Restoration)算法、ULAP(A Rapid Scene Depth Estimation Model Basedon Underwater Light Attenuation Prior for Underwater Image Restoration)算法、WaterNet(An Underwater Image Enhancement Benchmark Dataset and Beyond)算法的实验结果从定性和定量两方面进行对比分析。具体步骤和原理如下：
如图1所示，本发明提供了一种基于自适应暗像素和颜色校正的水下图像复原方法，包括以下步骤：
步骤S01：获取初始图像，对所述初始图像创建成像模型：
其中，Ic表示初始图像，即所需复原的水下图像，Jc表示复原后的水下图像，c表示R，G，B三个颜色通道，x表示不同的像素位置，d(x)表示由相机到场景x的距离，Ac表示水下图像的全局大气光，表示衰减系数，/>表示散射系数；/>可以进一步表示为：
其中，ξ表示场景反射率，H表示光照图，Rs表示传感器的光谱响应参数，β表示光束的衰减系数，A∞表示全局大气光，z表示成像距离，λ表示可见光的波长。
步骤S02：获取所述初始图像的反转红通道和通道最大差值；基于图像亮度融合方法，获得所述初始图像的通道强度先验深度图；
步骤S021：将所述初始图像进行RGB通道分离，反转红通道强度，取每个区域最小值得到反转红通道图R(x)：
其中，Ω(x)表示以x为中心的正方形局部补丁，Ic表示输入图像在像素x处彩色通道c中观察到的强度；R(x)经过归一化拉伸得到反转红通道深度图dr(x)，拉伸公式为：
其中，v表示向量；
步骤S022：取区域内GB通道最大值减去区域内R通道最大值得到色差图M(x)：
经过归一化拉伸得到最大差值深度图dm(x)；
步骤S023：将所述初始图像转化为灰度图，通过计算灰度图中大于127.5的像素在总像素占比得到图像亮度参数α：
其中，Igray表示初始图像对应的灰度图，Sum(Igray＞127.5)表示灰度图像中像素强度大于127.5的像素个数，127.5表示为最大像素强度的一半，Size(Igray)表示灰度图像的总体像素个数，S(a,δ)表示sigmoid函数，定义为：
其中，s表示经验常数取32。
步骤S024：为避免图片中高亮区域或纯色物体引起的单通道先验故障，基于图像亮度参数融合反转红通道和最大差值深度图得到通道强度先验深度图；所述通道强度先验深度图dcip(x)估计公式为：
dcip(x)＝αdm(x)+(1-α)dr(x)；
其中，α表示图像亮度参数，dr(x)表示反转红通道深度图，dm(x)表示最大差值深度图。
步骤S03：通过Monodepth2方法，获取所述初始图像的无监督深度图，并基于图像色偏与所述通道强度先验深度图进行融合，获得相对深度图；
步骤S031：通过无监督深度估计方法Monodepth2获得所述初始图像的无监督深度图dmono(x)；
步骤S032：基于等效圆的色度检测方法获得图像偏色因子k：
其中，(da,db)表示等效圆的坐标中心，(ma,mb)表示等效圆的方差；由以下公式计算：
其中，(a,b)表示等效圆的坐标，W表示图像的宽度，V表示图像的高度，单位为像素；
步骤S033：融合所述通道强度先验深度图dcip(x)和无监督深度图dmono(x)得到dcip+(x)相对深度图，公式计算为：
其中，β＝S(k,2)表示图像偏色参数。
步骤S04：对所述步骤S03中的所述相对深度图进行高斯滤波平滑；根据所述初始图像的不同背景类型，设置多个深度极大值；根据所述初始图像的全局背景光在像素强度上的占比获取深度极小值；
步骤S041：为避免水下图像中细节部分对场景深度的影响，对所述步骤S03中的相对深度图采用高斯滤波进行平滑；
步骤S042：取深度极大值dmax∈(8,12)，不同的极大值代表不同的图像退化程度；
步骤S043：根据全局背景光在像素强度上的占比与距离一致性原理估计深度极小值dmin，估计公式为：
其中，θ＝Ic(argmaxd(x))表示最大深度值处的像素值，即全局背景光。
步骤S05：根据所述相对深度图、所述深度极大值以及所述深度极小值，进行深度拉伸将相对深度图转化为绝对深度图，确定深度区间划分标准；
深度转化拉伸公式如下：
其中，x，y分别表示拉伸前和拉伸后的深度值，d1，d2分别表示拉伸前的最大和最小深度值；另外，根据图像类型求解图像深度区间划分的公式如下：
其中，T表示深度区间划分个数，Y表示每个区间内选择的暗像素点个数，N＝500限制每个区间内选择暗像素点的最小数量，Ni表示每个区间内的全体像素点个数。
步骤S06：根据所述步骤S05中的区间划分和自适应暗像素，通过不同的筛选策略选择区间内的暗像素点，将所述暗像素点作为后向散射的初始估计值进行拟合；
步骤S061：通过将所述初始图像RGB三通道像素强度相加获得和通道；
步骤S062：根据深度区间划分，在每个深度区间对应的和通道上取最小的前Y个像素即暗像素来作为后向散射的初始估计；
步骤S063：获取后向散射Bc(x)的初始估计值和相应的深度值z(x)后，拟合得到后向散射估计值拟合公式如下：
步骤S07：所述初始水下图像减去所述步骤S06拟合得到的后向散射，获取去雾后的图像；
计算公式如下：
其中，Dc(x)表示去雾后的图像。
步骤S08：根据所述步骤S05绝对深度图估计光照图补偿所述步骤S07中去雾图像亮度；根据蓝绿色彩因子矫正蓝绿通道色偏得到矫正图像；
步骤S081：根据局部空间平均颜色计算光照图Hc(x)，使用已知的深度图z(x)细化衰减系数
得到细化衰减系数后使用下式补偿光照：
其中，Jc(x)表示光照补偿后的图像。
步骤S082：计算蓝绿色彩恢复因子为蓝绿通道强度前10％值平均值的倒数，并对蓝绿进行颜色矫正，具体如下式：
其中，Wg表示绿通道色彩恢复因子，Wb表示蓝通道色彩恢复因子。
步骤S09：根据所述步骤S08中得到的不同极大值矫正图像，基于自然图像质量评估指标选取法则选择最终复原图像。
实施例
如图2所示，本发明提供了与其他算法针对海底珊瑚图像的复原效果对比图，从实验效果图可以看出，七种算法均一定程度上恢复了水下图像，提高了水下图像的对比度。但是IBLA、GDCP、ULAP算法的复原效果较差，结果图的色彩偏置问题更严重，同时降低远景部分的对比度，相比于原图差别不大。WaterNet算法虽然有效提高了远景部分的对比度去除了色彩偏置，但算法仍存在去雾残留问题，存在雾效应。GDCP算法出现通道错误补偿现象，整体图像颜色失真。本发明算法处理的水下图像相比于其他算法更好的解决了色彩偏色问题，提高了水下图像中远景部分和近景部分的对比度。因此本发明具有较好的复原效果，有效地的解决了水下图像偏色问题，提高全局对比度，实现了对比度增强和色彩恒常性。
如图3所示，本发明提供了与其他算法针对深海鱼图像的复原效果对比图，从实验效果图可以看出，七种算法均一定程度上恢复了水下图像，提高了水下图像的对比度。但是WaterNet算法的复原效果较差，结果图的亮度衰减问题更严重，同时降低远景部分的对比度。IBLA、GDCP、ULAP算法虽然有效提高了远景部分的对比度去除了色彩偏置，但算法仍存在过度补偿问题，存在亮斑效应。本发明算法处理的水下图像相比于其他算法更好的解决了色彩偏色问题，提高了水下图像中远景部分和近景部分的对比度。因此本发明具有较好的复原效果，有效地的解决了水下图像偏色问题，提高全局对比度，实现了对比度增强和色彩恒常性。
如图4所示，本发明提供了与其他算法针对复杂水下环境图像的复原效果对比图，从实验效果图可以看出，七种算法均一定程度上恢复了水下图像，提高了水下图像的对比度。但是IBLA、GDCP、ULAP算法的复原效果较差，结果图的色彩偏置问题更严重，同时降低远景部分的对比度，相比于原图差别不大。WaterNet算法虽然有效提高了远景部分的对比度去除了色彩偏置，但算法仍存在补偿问题，恢复效果不自然。ULAP算法出现红通道过度补偿现象，整体偏红。本发明算法处理的水下图像相比于其他算法更好的解决了色彩偏色问题，提高了水下图像中远景部分和近景部分的对比度。因此本发明具有较好的复原效果，有效地的解决了水下图像偏色问题，提高全局对比度，实现了对比度增强和色彩恒常性。
本实施例在UCIQE和IE这两种客观指标上对不同算法实验结果进行对比；从表1数据可知，在选择的三幅不同类型图像上所有算法的UCIQE均大于原始图像，这说明所有的算法均有效提高了水下图像的细节信息和图像对比度。另外，本发明取得了最好的UCIQE评分，远远领先于其他算法，即本发明具有最好的复原效果。从表2数据可知，在选择的三个样本图像上，本发明再次取得最好的IE评分，这说明本发明处理后的图像具有更高的信息量，以及本发明具有较高的鲁棒性，可以处理绝大多数水下图像。本发明使用通道强度先验和无监督方法相结合来估计深度图，通过自适应暗像素来动态去除后向散射，可以有效的去除雾效应，增强水下图像的对比度，同时使用蓝绿通道色彩恢复因子恢复水下图像的色彩。因此本发明对于原图像的UCIQE和IE都有较大的提升，且优于其它水下图像增强和复原算法。
表1本发明算法和其他算法处理结果的UCIQE对比
表2本发明算法和其他算法处理结果的IE对比
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (8)
1.一种基于自适应暗像素和颜色校正的水下图像复原方法，其特征在于，包括以下步骤：
步骤S01：获取初始图像，对所述初始图像创建成像模型；
步骤S02：获取所述初始图像的反转红通道和通道最大差值；基于图像亮度融合方法，获得所述初始图像的通道强度先验深度图；
步骤S03：通过Monodepth2方法，获取所述初始图像的无监督深度图，并基于图像色偏与所述通道强度先验深度图进行融合，获得相对深度图；
步骤S04：对所述步骤S03中的所述相对深度图进行高斯滤波平滑；根据所述初始图像的不同背景类型，设置多个深度极大值；根据所述初始图像的全局背景光在像素强度上的占比获取深度极小值；
步骤S05：根据所述相对深度图、所述深度极大值以及所述深度极小值，进行深度拉伸将相对深度图转化为绝对深度图，确定深度区间划分标准；
步骤S06：根据所述步骤S05中的区间划分和自适应暗像素，通过筛选策略选择区间内的暗像素点，将所述暗像素点作为后向散射的初始估计值进行拟合；
步骤S07：将所述初始图像减去所述步骤S06拟合得到的后向散射，获取去雾后的图像；
步骤S08：根据所述步骤S05绝对深度图估计光照图补偿所述步骤S07中去雾图像亮度；根据蓝绿色彩因子矫正蓝绿通道色偏得到矫正图像；
步骤S09：根据所述步骤S08中得到的不同极大值对应的矫正图像，根据自然图像质量评估指标选取法则，选择复原图像，获取复原图像。
2.根据权利要求1所述的一种基于自适应暗像素和颜色校正的水下图像复原方法，其特征在于，所述步骤S01中初始图像的成像模型为：
其中，Ic表示初始图像，即所需复原的水下图像，Jc表示复原后的水下图像，c表示R，G，B三个颜色通道，x表示不同的像素位置，d(x)表示由相机到场景x的距离，Ac表示水下图像的全局大气光，表示衰减系数，/>表示散射系数；/>表示为：
其中，ξ表示场景反射率，H表示光照图，Rs表示传感器的光谱响应参数，β表示光束的衰减系数，A∞表示全局大气光，z表示成像距离，λ表示可见光的波长。
3.根据权利要求1所述的一种基于自适应暗像素和颜色校正的水下图像复原方法，其特征在于，所述步骤S02获取所述初始图像的通道强度先验深度图还包括以下步骤：
步骤S021：将所述初始图像进行RGB通道分离，反转红通道强度，取每个区域最小值得到反转红通道图R(x)：
其中，Ω(x)表示以x为中心的正方形局部补丁，Ic表示输入图像在像素x处彩色通道c中观察到的强度；R(x)经过归一化拉伸得到反转红通道深度图d(x)，拉伸公式为：
其中，v表示向量；
步骤S022：取区域内GB通道最大值减去区域内R通道最大值得到色差图M(x)：
经过归一化拉伸得到最大差值深度图dm(x)；
步骤S023：将所述初始图像转化为灰度图，通过计算灰度图中大于127.5的像素在总像素占比得到图像亮度参数α：
其中，Igray表示初始图像对应的灰度图，Sum(Igray＞127.5)表示灰度图像中像素强度大于127.5的像素个数，127.5表示为最大像素强度的一半，Size(Igray)表示灰度图像的总体像素个数，S(a,δ)表示sigmoid函数，定义为：
其中，s表示经验常数取32；
步骤S024：为避免图片中高亮区域或纯色物体引起的单通道先验故障，基于图像亮度参数融合反转红通道和最大差值深度图得到通道强度先验深度图；所述通道强度先验深度图dcip(x)估计公式为：
dcip(x)＝αdm(x)+(1-α)dr(x)；
其中，α表示图像亮度参数，dr(x)表示反转红通道深度图，dm(x)表示最大差值深度图。
4.根据权利要求1所述的一种基于自适应暗像素和颜色校正的水下图像复原方法，其特征在于，所述步骤S03获取相对深度图包括以下步骤：
步骤S031：通过无监督深度估计方法Monodepth2获得所述初始图像的无监督深度图dmono(x)；
步骤S032：基于等效圆的色度检测方法获得图像偏色因子k：
其中，(da,db)表示等效圆的坐标中心，(ma,mb)表示等效圆的方差；由以下公式计算：
其中，(a,b)表示等效圆的坐标，W表示图像的宽度，V表示图像的高度，单位为像素；
步骤S033：融合所述通道强度先验深度图dcip(x)和无监督深度图dmono(x)得到dcip+(x)相对深度图，公式计算为：
其中，β＝S(k,2)表示图像偏色参数。
5.根据权利要求1所述的一种基于自适应暗像素和颜色校正的水下图像复原方法，其特征在于，所述步骤S04中的获取绝对深度图的包括以下步骤：
步骤S041：为避免水下图像中细节部分对场景深度的影响，对所述步骤S03中的相对深度图采用高斯滤波进行平滑；
步骤S042：取深度极大值dmax∈(8,12)，不同的极大值代表不同的图像退化程度；
步骤S043：根据全局背景光在像素强度上的占比与距离一致性原理估计深度极小值dmin，估计公式为：
其中，θ＝Ic(argmaxd(x))表示最大深度值处的像素值，即全局背景光。
6.根据权利要求1所述的一种基于自适应暗像素和颜色校正的水下图像复原方法，其特征在于，所述步骤S05中的深度转化拉伸公式如下：
其中，x，y分别表示拉伸前和拉伸后的深度值，d1，d2分别表示拉伸前的最大和最小深度值；另外，根据图像类型求解图像深度区间划分的公式如下：
其中，T表示深度区间划分个数，Y表示每个区间内选择的暗像素点个数，N＝500限制每个区间内选择暗像素点的最小数量，Ni表示每个区间内的全体像素点个数。
7.根据权利要求1所述的一种基于自适应暗像素和颜色校正的水下图像复原方法，其特征在于，所述基于自适应暗像素的去雾法则包括以下步骤：
步骤S061：通过将所述初始图像RGB三通道像素强度相加获得和通道；
步骤S062：根据深度区间划分，在每个深度区间对应的和通道上取最小的前Y个像素即暗像素来作为后向散射的初始估计；
步骤S063：获取后向散射Bc(x)的初始估计值和相应的深度值z(x)后，拟合得到后向散射估计值拟合公式如下：
步骤S064：所述初始水下图像减去拟合得到的后向散射获取去雾后的图像Dc(x)：
8.根据权利要求1所述的一种基于自适应暗像素和颜色校正的水下图像复原方法，其特征在于，所述颜色校正和基于自然图像质量评估指标的选取法则包括以下步骤：
步骤S081：根据局部空间平均颜色计算光照图Hc(x)，使用已知的深度图z(x)细化衰减系数
得到细化衰减系数后使用下式补偿光照：
其中，Jc(x)表示光照补偿后的图像；
步骤S082：计算蓝绿色彩恢复因子为蓝绿通道强度前10％值平均值的倒数，并对蓝绿进行颜色矫正，具体如下式：
其中，Wg表示绿通道色彩恢复因子，Wb表示蓝通道色彩恢复因子。
步骤S083：根据基于自然图像质量评估指标的选取法则自动选择的深度极大值确定最后输出结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310249681.4A CN116777760A (zh) | 2023-03-15 | 2023-03-15 | 一种基于自适应暗像素和颜色校正的水下图像复原方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310249681.4A CN116777760A (zh) | 2023-03-15 | 2023-03-15 | 一种基于自适应暗像素和颜色校正的水下图像复原方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116777760A true CN116777760A (zh) | 2023-09-19 |
Family
ID=88008830
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310249681.4A Pending CN116777760A (zh) | 2023-03-15 | 2023-03-15 | 一种基于自适应暗像素和颜色校正的水下图像复原方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116777760A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117952879A (zh) * | 2024-03-26 | 2024-04-30 | 中国石油大学(华东) | 综合退化、估计和恢复的水下图像增强方法、装置、设备 |
-
2023
- 2023-03-15 CN CN202310249681.4A patent/CN116777760A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117952879A (zh) * | 2024-03-26 | 2024-04-30 | 中国石油大学(华东) | 综合退化、估计和恢复的水下图像增强方法、装置、设备 |
| CN117952879B (zh) * | 2024-03-26 | 2024-05-28 | 中国石油大学(华东) | 综合退化、估计和恢复的水下图像增强方法、装置、设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liang et al. | Single underwater image enhancement by attenuation map guided color correction and detail preserved dehazing | |
| Ancuti et al. | Color balance and fusion for underwater image enhancement | |
| Cho et al. | Model-assisted multiband fusion for single image enhancement and applications to robot vision | |
| Ancuti et al. | Multi-scale underwater descattering | |
| Chiang et al. | Underwater image enhancement by wavelength compensation and dehazing | |
| Ancuti et al. | Enhancing underwater images and videos by fusion | |
| Cho et al. | Visibility enhancement for underwater visual SLAM based on underwater light scattering model | |
| CN107705258B (zh) | 一种三基色联合预均衡和去模糊的水下图像增强方法 | |
| CN113284061B (zh) | 一种基于梯度网络的水下图像增强方法 | |
| CN112488955B (zh) | 一种基于波长补偿的水下图像复原方法 | |
| CN110135434A (zh) | 基于颜色线模型的水下图像质量提升算法 | |
| CN113096057B (zh) | 一种基于四光源光度立体法的高光消除方法 | |
| Li et al. | UIALN: Enhancement for underwater image with artificial light | |
| CN116777760A (zh) | 一种基于自适应暗像素和颜色校正的水下图像复原方法 | |
| Li et al. | Underwater image enhancement based on dehazing and color correction | |
| CN117635448A (zh) | 一种基于直方图均衡化引导的水下复原新视角合成方法 | |
| CN117541521A (zh) | 一种基于综合成像模型和几何结构保护的水下视觉重建方法 | |
| Wang et al. | Underwater image restoration based on adaptive color compensation and dual transmission estimation | |
| Mishra et al. | Fusion of multiscale gradient domain enhancement and gamma correction for underwater image/video enhancement and restoration | |
| Dharwadkar et al. | Improving the quality of underwater imaging using deep convolution neural networks | |
| Zou et al. | Self-tuning underwater image fusion method based on dark channel prior | |
| Lu et al. | A novel underwater scene reconstruction method | |
| Sivaanpu et al. | Scene-Specific Dark Channel Prior for Single Image Fog Removal | |
| Powar et al. | A review: Underwater image enhancement using dark channel prior with gamma correction | |
| Haouassi et al. | An efficient image haze removal algorithm based on new accurate depth and light estimation algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |