CN108257101B - 一种基于最优复原参数的水下图像增强方法 - Google Patents
一种基于最优复原参数的水下图像增强方法 Download PDFInfo
- Publication number
- CN108257101B CN108257101B CN201810039369.1A CN201810039369A CN108257101B CN 108257101 B CN108257101 B CN 108257101B CN 201810039369 A CN201810039369 A CN 201810039369A CN 108257101 B CN108257101 B CN 108257101B
- Authority
- CN
- China
- Prior art keywords
- image
- background light
- channel
- underwater
- channels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 115
- 238000011084 recovery Methods 0.000 title claims abstract description 12
- 230000005540 biological transmission Effects 0.000 claims abstract description 67
- 238000007500 overflow downdraw method Methods 0.000 claims abstract description 13
- 108091006146 Channels Proteins 0.000 claims description 146
- 238000003384 imaging method Methods 0.000 claims description 21
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 9
- 238000006731 degradation reaction Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 7
- 230000002146 bilateral effect Effects 0.000 claims description 6
- 238000007619 statistical method Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 claims 3
- 230000000694 effects Effects 0.000 abstract description 20
- 238000001514 detection method Methods 0.000 abstract description 3
- 238000005286 illumination Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 230000002238 attenuated effect Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000013178 mathematical model Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 241000251468 Actinopterygii Species 0.000 description 2
- 241001474374 Blennius Species 0.000 description 2
- 238000007792 addition Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000003707 image sharpening Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 241000894007 species Species 0.000 description 2
- 238000000149 argon plasma sintering Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000013517 stratification Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G06T5/73—
-
- G06T5/77—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Abstract
本发明涉及一种基于最优复原参数的水下图像增强方法，所述方法包括以下步骤：所述方法包括以下步骤：步骤S1、输入图像，收集数百张高质量的水下图片作为样本，获得新水下图像暗通道先验性；步骤S2、基于新UDCP结论的RGB三通道传输地图估计；步骤S3、基于融合方法的背景光估计；步骤S4、图像复原。其优点表现在：最终的输出结果显示在对比度、饱和度、明度等多方面都获得较好的增强效果。而且本发明的方法适用于在不同环境下的水下图像，增强后的图像可用于水下探测、海洋资源评估以及目标识别等应用。
Description
技术领域
本发明涉及水下图像复原及增强技术领域，具体地说，是一种基于最优复原参数的水下图像增强方法。
背景技术
海洋世界蕴含着大量的资源，在陆地人口暴增、资源日趋枯竭、环境急剧恶化等问题下，开发和保护海洋是一项重要的、具有战略意义的选择。海洋信息的传输、获取和处理等理论实践对合理开发和保护海洋生态、海洋资源、海洋多样性都起到了关键作用。
水下图像是海洋信息的重要载体，然而与自然环境下的图像相比，水下图像的成像原理更加复杂、对比度低、可视性差。这些因素都对海洋生态、海洋资源、海洋多态性等研究带来阻碍。还原清晰、真实的水下图像对于海洋世界的研究具有重要意义。造成水下图像退化的原因主要有以下几个方面。1)光在水中传播呈指数衰减并且不同波长的光在水中传播时具有不同的衰减率，这些原因造成图像对比度低、模糊不清和颜色失真等问题。2)受水下悬浮颗粒和水中溶解的有机质的影响，拍摄的水下图像具有较大的噪声。3)为了提高水下成像范围，人造光源往往会被当作辅助光源，会给图像引入非均匀光照，导致拍摄的水下图像中心具有明亮的光斑、四周光照不足。
目前，水下图像清晰化技术大致可以分为两类：水下图像增强方法和水下图像复原方法。水下图像增强方法并不考虑水下成像原理,主要通过调整图像中的像素值来调整对比度和颜色,从而获得水下图像更多的信息和细节。水下图像复原方法通常是基于水下成像物理模型，分析水下图像退化机理，估计成像模型参数并以反补偿等方式恢复出清晰自然的水下图像。近几年来水下图像清晰化技术已经取得了显著的效果，并且受到了广泛的应用。
水下图像增强方法往往不考虑图像的成像机制只关注于调整图像的像素值来实现图像增强效果。2003年，Chambah等人提出一种具有较好的非监督性和鲁棒性的水下图像颜色修正方法。实验表明该方法实际应用于水下图像分割和特征提取时，可以取得较好的效果。2005年，Torres-Mendez等人使用马尔可夫随机场描述颜色失真的水下图像和对应真实图像之间的关系，从统计先验的角度恢复水下图像的真实颜色，并且从不同水下场景中获得的实验数据验证了该方法的可行性和有效性。2007年，Iqbal等人提出一种简单有效的水下图像增强算法，该方法基于直方图拉伸算法。针对水下图像颜色衰减和对比度丢失的问题，首先在RGB颜色空间拉伸衰减严重的红绿色分量直方图，之后在HSI颜色空间拉伸图像的饱和度和亮度，从而提高水下图像的对比度和颜色。2010年，Iqbal等人提出一种基于颜色平衡和对比度修正的非监督水下图像增强算法。Iqbal等人提出的这两种算法至今仍被广泛研究和使用。2013年，Henke等人通过分析经典彩色恒常算法应用于水下图像时遇到的问题，提出一种基于特征的彩色恒常假设算法来修正水下图像的颜色偏差。该方法基于灰度世界假设条件，首先分离水下图像的前景和背景，并采用白平衡算法仅针对前景区域进行相应处理。2015年，Ghani等人在Iqbal等人提出的水下图像增强算法的基础上，对其进行修正和改进。改进方法与多种水下图像增强算法进行定性和定量的比较，比较结果具有较大的优势。
基于物理模型的方法是指对水下图像的退化过程进行数学建模，通过估计模型参数，反演退化过程获得清晰的水下图像，属于图像复原范畴。2006年，Trucco等人基于简化的Jaff-McGlamery水下成像数学模型提出一种自调的水下图像复原滤波器。该方法基于两种理想的假设条件：水下图像受到均匀光照并且只受到前向散射的影响。成像参数基于最大化全局对比度进行最优化估计，进而反演退化过程获得清晰的水下图像。实验结果表明该方法可以某种程度上降低图像受到的光照散射影响。然而，该方法的假设条件限制其实际应用。2007年，Hou等人将水下光学属性与传统图像复原方法相结合，假设水下图像的模糊是由水体以及悬浮颗粒引起的光照散射所导致的。该方法通过估计光照散射参数，采用反卷积的方式复原水下图像。2010年，Carlevaris-Bianco等人研究发现不同颜色的光照在水下传播时衰减层度不同。通过该物理属性来估计成像场景深度，进而移除光照散射对水下图像造成的影响。2012年，Chiang等人采用经典的图像(暗通道先验特性)去雾算法并结合水下光选择性衰减的特点，提出一种水下图像复原方法。该方法除了可以有效提高水下图像的清晰度和颜色保真度以外，还可以降低人造光源对水下图像造成的非均匀的影响。2013年，Wen等人提出一种新的水下光学成像数学模型，并根据提出的模型估计散射率和背景光，通过反演推导出清晰的水下图像。2014年，Serikawa等人沿着光照传播路径进行能量补偿来解决水下图像受到的散射和颜色偏差等影响。2015年，Galdran等人提出一种红信道方法来恢复水下图像丢失的对比度。该方法是经典的图像去雾模型-暗通道的变形。实验结果表明该算法可以有效地处理人造光区域，提高图像颜色真实度。2016年，Li等人提出一种解决水下图像颜色偏差和对比度丢失的复原方法。实验结果表明提出的方法可以有效移除水下图像的颜色偏差，提高其对比度和清晰度，与此同时可以恢复出水下图像原有的自然表面。
基于物理模型的图像复原方法不能够满足实际环境的应用，需要的方法往往具有实时性，本发明发现目前大部分的基于物理模型的图像复原方法都需要较长的处理时间，这一方面需要进行优化和提高。但现有方法的鲁棒性和自适应能力不足，应用在不同类型的退化图像不能自适应做出调整。
中国专利文献CN201510727610.6，申请日20151030，专利名称为：一种适用于水下激光距离选通图像的图像增强方法，公开了一种适用于水下激光距离选通图像的图像增强方法，涉及水下图像增强领域，本方法包括如下步骤：首先连续获取水下激光距离选通图像，将连续多帧水下激光距离选通图像叠加，滤除背景噪声，得到原始图像；然后用二维直方图双平台均衡化的方法处理原始图像，得到一次增强图像；接着，用Retinex方法处理一次增强图像，得到二次增强图像；最后，二次增强图像经过伽马校正，得到最终水下激光距离选通增强图像。
上述专利文献解决了水下激光距离选通图像存在的噪声量大、对比度差、照明不均匀的问题，对图像进行了有针对性的增强，但是，关于一种适用于在不同环境下的水下图像，对不同的水下应用场景和不同类型的退化图像做出自适应的调整，不应受到应用场景和外界条件的限制，具有较好的鲁棒性和自适应能力，在对比度、饱和度、明度等多方面都获得较好的增强效果的技术方案则无相应的公开。
综上所述需要一种适用于在不同环境下的水下图像，对不同的水下应用场景和不同类型的退化图像做出自适应的调整，不应受到应用场景和外界条件的限制，具有较好的鲁棒性和自适应能力，在对比度、饱和度、明度等多方面都获得较好的增强效果的水下图像增强方法，而关于这种水下图像增强方法目前还未见报道。
发明内容
本发明的目的是针对现有技术中的不足，提供一种基于最优复原参数的水下图像增强方法，适用于在不同环境下的水下图像，对不同的水下应用场景和不同类型的退化图像做出自适应的调整，不应受到应用场景和外界条件的限制，具有较好的鲁棒性和自适应能力，在对比度、饱和度、明度等多方面都获得较好的增强效果。
为实现上述目的，本发明采取的技术方案是：
一种基于最优复原参数的水下图像增强方法，所述方法包括以下步骤：
步骤S1、输入图像，收集数百张高质量的水下图片作为样本，获得新水下图像暗通道先验性；
步骤S2、基于新UDCP结论的RGB三通道传输地图估计；
步骤S21、使用水下图像成像模型并对两边都采用最小滤波器并依据红色通道在水中的衰减度最大可以获得红色通道的传输地图；
步骤S22、依据三个通道的衰减率与对应通道的波长和背景光有直接关系，直接求出GB通道的传输地图；
步骤S3、基于融合方法的背景光估计，并依据三个通道不同的分布特性定义出三个通道的参考点，然后使用加权融合的方法获得健壮的背景光；
步骤S4、图像复原。
作为一种优选的技术方案，步骤S21中的红色通道的传输地图具体如下：
步骤S211、考虑背景散射是造成图像模糊的因素，将水下图像成像模型公式简化为：
Ic(x)＝Jc(x)tc(x)+Bc(1-tc(x))，c∈{r，g，b}，
其中x代表图像中的一个坐标(i，j)，c代表红绿蓝RGB通道，Jc(x)表示复原后的图像也就是原来场景光亮，Bc表示为均匀背景光，tc(x)表示为Jc(x)经过衰减、散射和折射等过程到达相机的残余比例；
步骤S212、将最小滤波器使用在水下图像成像模型公式的两边，并且在两边都除上Bc，获得以下公式：
步骤S213、根据步骤S1获得新水下图像暗通道先验性，通过UDCP的得到像素值
并将像素值
代入步骤S212的公式中，获得以下公式：
其中估计的传输地图TM
在三个通道中，红色光线的衰减率最大，红色通道的传输地图为：
作为一种优选的技术方案，步骤S22中的GB通道的传输地图具体如下：
步骤S221、根据
只有在Bc选择为三个通道中的最大值Bmax才能获得最小值，将步骤S213中公式生成为以下公式：
其中
和
分别表示从图像中最远的点获得的红色通道背景光和蓝绿色背景光，其中标准RGB通道的波长分别是λr＝620nm、λg＝540nm和λb＝450nm，其中这些系数分别设定为m＝-0.00113和i＝1.62517，这时GB通道的传输地图表示为：
作为一种优选的技术方案，RGB通道的传输地图分别估计后，设定RGB通道传输地图的最小值为0.1～0.3，使用引导滤波器对RGB传输地图精细化处理。
作为一种优选的技术方案，所述步骤S3中包括以下步骤：步骤S31：背景光估计；步骤S32：背景光与参考点融合。
作为一种优选的技术方案，背景光估计包括以下步骤：
步骤S31、定义R/G/B中的一个通道的暗通道；
步骤S312、第一个背景光估计：第一个候选的背景光基于
和
的最大差异估计，且第一个背景光定义如下：
步骤S313、第二个背景光估计：首先定义在RGB通道下暗通道中最亮的前0.5％的像素点为BP0.5％，其中p0.5％设定为在BP0.5％中所在位置的像素集，因此第二个背景光被估计为这些像素点Icp0.5％的平均值，且第二个背景光定义如下：
步骤S314、第三个背景光估计：使用四叉树分割算法估计背景光，假设n是一个从1开始计数的正整数，将图像分成相同大小的四块
选择这四个块中最小方差的一块作为下一个待选区域，当n＞3时，分割结束，这时可以获得最后一个局部块plv，且第三个背景光定义为如下：
Bc 3＝avg(Ic(x))，x∈piv。
作为一种优选的技术方案，背景光与参考点融合包括以下步骤：
步骤S321、定义每个通道的参考点：
Refc＝Avgc+sign(Imid-βc)×σc，
其中M×N和Ic(i，j)分别表示在某一个通道中像素点的数量和一个像素点的像素值，依据RGB通道的统计分析设定三个通道的βc分别为0.2,0.4,0.4，sign(x)是符号函数，当x＞0时，sign＝1相反的当x＜0,sign＝-1。
步骤S322、得到这个参考点之后，参照背景光候选点与参考点的关系，这时每个通道背景光候选点的权重可以求得，最后使用加权融合策略得到最终的背景光：
其中候选背景光的值离参考点的值越近，其占有的权重就越大，Wc k表示某个通道中每个候选点的权重，
是Wc k的归一化表示，k是背景光的索引并且K＝3。
作为一种优选的技术方案，图像复原具体如下：
获得三个通道的传输地图TMs和每个通道的背景光BL，将TMs和BL带入下面的复原公式：
估计出最优的复原参数后，反演退化过程获得高对比度、平衡化、饱和化的清晰图像。
作为一种优选的技术方案，使用双边滤波器或者引导图像滤波器用来改善传输地图。
本方法首先基于水下暗通道先验(UDCP)，使用水下图像成像模型并对两边都采用最小滤波器并依据红色通道在水中的衰减度最大可以获得红色通道的传输地图。依据三个通道的衰减率与对应通道的波长和背景光有直接关系，本发明可以直接求出GB通道的传输地图。由于使用新的UDCP，传输地图中会存在块状影响，只要使用双边滤波器或者引导图像滤波器用来改善传输地图，本发明就可以获得最终的是传输地图(TMs)。
因为背景光在图像复原过程中决定了复原后图像的色调，对于图像的复原起到至关重要的作用。本发明采用现有的方法并提出改进的方法用来估计背景光，本发明使用三种最新的方法估计三个候选的背景光，并依据三个通道不同的分布特性定义出三个通道的参考点，然后使用加权融合的方法获得健壮的背景光。依据参考点融合的背景光可以适用于不同环境下的水下图像，能够保证水下图像在复原过程中不会出现失色等问题。本方法可以去除图像的模糊现象、还原图像的本质并且最低限度地引入噪声，获得对比度、饱和度较好的复原图像。目前，Chiang等人采用经典的图像(暗通道先验特性)去雾算法结合水下光选择性衰减的特点，提出一种通过波长弥补和去雾的方法实现水下图像增强的方法。该方法不仅有效提高水下图像的清晰度和颜色保真度，还可以降低人造光源对水下图像造成的非均匀的影响。但是其建立的水下成像数学模型的普适性实在有限，这会导致复原的图像存在颜色和对比度失真等问题，同时其方法估计的传输地图和背景光都存在很大的局限性，适用范围较低。为了减少红色通道的影响，Drews等人提出水下暗通道先验性(将DCP用在GB通道)获得一个相对准确的传输地图，但是本质上还是没有脱离DCP的结论，因此以上方法的局限性都显而易见。背景光的估计是一个容易被研究人员忽略的方面，但是它对图像复原起到了决定性的作用。目前常见的背景光估计的方法有：1、整幅图像中最大的像素值；2、在整幅图像中最远的像素点；3、输入图像在DCP中最大值所在的位置或者是最大的前0.1％的位置所有像素值的平均值；4、基于四叉树分割算法；5、基于R通道的DCP和GB通道的DCP之间的最大差异，并选择最大差异位置的原图像像素值作为背景光。在本发明中，RGB三个通道的背景光依据对应通道的像素值获得，采用不同的背景光。在研究水下图像中RGB通道的直方图分布状况以及各通道在水下传播中的衰减状况，本发明为RGB三通道的背景光分别定义一个参考点。本发明估计三个候选背景光，并考虑这三个背景光与已经被定义的参考点的相关性为三个候选背景光确定其权重，然后将三个候选点以及对应的权重使用融合的方法获得最终的参考点。
本发明优点在于：
1、本发明的一种基于最优复原参数的水下图像增强方法的技术效果是：最终的输出结果显示在对比度、饱和度、明度等多方面都获得较好的增强效果。而且本发明的方法适用于在不同环境下的水下图像。
2、本发明的图像复原增强适用于不同种类的水下图像，增强后的图像可用于水下探测、海洋资源评估以及目标识别等应用，海洋资源丰富、海洋生态多种多样，增强水下图像的对比度、饱和度、亮度，提高图像的可视性对于海洋资源开发及其保护都起到关键作用。研究表明复原后的水下图像不仅可以提高图像质量，而且能够应用于目标识别、目标分类中，有效提高图像分类、图像识别精度。本发明对于水下物种探究、海洋工程、考古遗物等各类图像均有良好的增强效果，同时有助于水下对象(如鱼类、海藻)特征提取、对象识别和跟踪，以及水下导航定位等。而且，本发明技术上适用范围广(可以应用于复杂的水下环境)，最起码不会给输入图像带来颜色衰减等问题，同时可以对本地图像快速自动纠正、图像复原，代码经过优化可以直接嵌入在图像拍摄端，实现实时自动图像复原，具有很高的实用价值。
3、依据RGB不同颜色的光在水中衰减特性与波长和传播距离的关系，可以依次推理出GB通道的传输地图(TM)。为了使得本发明的方法更加健壮性和普适性。
4、本发明的方法针对不同的水下应用场景和不同类型的退化图像做出自适应的调整，不应受到应用场景和外界条件的限制，具有较好的鲁棒性和自适应能力。
5、本发明的方法使用双边滤波器或者引导图像滤波器用来改善传输地图，避免传输地图中会存在块状影响。
6、本发明的方法使用三种最新的方法估计三个候选的背景光，并依据三个通道不同的分布特性定义出三个通道的参考点，然后使用加权融合的方法获得健壮的背景光。依据参考点融合的背景光可以适用于不同环境下的水下图像，能够保证水下图像在复原过程中不会出现失色等问题。
7、本发明的方法可以去除图像的模糊现象、还原图像的本质并且最低限度地引入噪声，获得对比度、饱和度较好的复原图像。
附图说明
附图1是本发明的一种基于最优复原参数的水下图像增强方法的流程框图。
附图2是基于DCP(左边)和基于UDCP(右边)的直方图分布示意图。
附图3是技术效果对比图。
具体实施方式
下面结合附图对本发明提供的具体实施方式作详细说明。
请参照图1，图1是本发明的一种基于最优复原参数的水下图像增强方法的流程框图。一种基于最优复原参数的水下图像增强方法，所述方法包括以下步骤：
步骤S1、输入图像，收集数百张高质量的水下图片作为样本，获得新水下图像暗通道先验性；
首先完成高质量水下图像数据集的整理，将“何”的DCP用在本发明收集的数据集上，得到本发明的水下暗通道先验性。首先基于本发明提出的水下暗通道先验(UDCP)，使用水下图像成像模型(IFM)并对两边都采用最小滤波器并依据红色通道在水中的衰减度最大可以获得红色通道的传输地图。在本流程中，本发明假设背景光是已知的，在下面的步骤中，将详细介绍背景光估计。依据三个通道的衰减率与对应通道的波长和背景光有直接关系，本发明可以直接求出GB通道的传输地图。由于使用新的UDCP，传输地图中会存在块状影响，只要使用双边滤波器或者引导图像滤波器用来改善传输地图，本发明就可以获得最终的是传输地图(TMs)。
步骤S2、基于新UDCP结论的RGB三通道传输地图估计；
对于传输地图估计，“何”的暗通道先验性(DCP)早已被广泛的使用在水下图像复原，这种直接使用DCP估计传输地图的结果往往在复原图像时存在很大的局限性甚至造成颜色失真。可以知道在自然场景中，RGB三通道的传输地图都设定成一样的，并且光线在空气中传播可以忽略不同光线受到不同衰减。水下图像大多呈现蓝绿色，主要是由于红色光线的波长最长其衰减率最大，因此水下图像丢失大量的红色通道细节出现了颜色偏差、对比度丢失等现象。为了减少红色通道对估计传输地图的影响，水下暗通道先验(UDCP)主要是用在GB两个通道的DCP，貌似可以获得更加准确的传输地图(TM)，但是获得的传输地图仍然作为三个通道共同使用的传输地图。在水下环境中，由于三个通道的传输特性受到了波长的影响(忽略浑浊的水质认为是较为清晰的水质)，因此本发明中需要分别估计三个通道的传输地图(TMs)。
当光线从目标传播到照相机时受到光线的衰减和散射，水下图像经常呈现颜色偏差和低对比度等问题。之前的水下图像的复原方法基于DCP或者DCP的变体，这些方法往往只能适用于某一类图像。为了提高基于DCP方法的鲁棒性，本发明提出一种基于最优复原参数的水下图像增强方法。首先，本发明收集大量高质量的水下图像然后使用DCP方法统计出RGB通道的分布特性然后得出水下暗通道先验(UDCP)，然后提高RGB三通道传输地图的准确性。考虑到水下图像RGB通道的分布特性，这是本发明定义一个参考点，三个候选背景光依据与参考点的关系获得对应权重比例，最后使用加权融合的方法获得最终的背景光。
步骤S21、使用水下图像成像模型并对两边都采用最小滤波器并依据红色通道在水中的衰减度最大可以获得红色通道的传输地图；
步骤S22、依据三个通道的衰减率与对应通道的波长和背景光有直接关系，直接求出GB通道的传输地图；
请参照图2,图2是基于DCP(左边)和基于UDCP(右边)的直方图分布示意图。收集大量高质量的水下图像然后使用DCP应用在RGB通道和GB通道，直方图分布如图2所示。虽然直方图的分布情况与“何”在2011年的文章中的直方图分布相似，然而其结论和本发明得出的水下暗通道先验差距很大。因此，本发明提出新的暗通道先验。
在存在介质的水中，水下图像的形成可以认为是介质、光线和场景的复杂交互作用，也可以认为是直接照明(Direct illumination)、前景散射和背景散射的线性组合。由于前景散射对图像成像过程几乎没有影响但是背景散射是造成图像模糊的主要原因，这是简单的图像成像模型可以被简化成如下。
Ix(x)＝Jc(x)tc(x)+Bc(1-tc(x))，c∈{r，g，b}，(1)
其中x代表图像中的一个坐标(i，j)，在本发明中c都代表红绿蓝(RGB)通道，Jc(x)表示复原后的图像也就是原来场景光亮，Bc表示为均匀背景光，tc(x)表示为Jc(x)经过衰减、散射和折射等过程到达相机的残余比例。
2009年，“何”提出暗通道先验(DCP)，基于大量的户外清晰的图像统计分析，该方法提出在大多数没有天空的图片块中，在RGB通道中存在至少有一个像素点非常的小。当清晰的水下图像使用DCP是可以发现大约75％的像素点是0，大约90％的像素值是小于25的。这个假设被广泛地用在复原户外有雾的图像。
其中x代表图像中的一个坐标(i，j)，在本发明中c都代表红绿蓝(RGB)通道，Jc(x)表示复原后的图像也就是原来场景光亮，Bc表示为均匀背景光，tc(x)表示为Jc(x)经过衰减、散射和折射等过程到达相机的残余比例。
2009年，“何”提出暗通道先验(DCP)，基于大量的户外清晰的图像统计分析，该方法提出在大多数没有天空的图片块中，在RGB通道中存在至少有一个像素点非常的小。当清晰的水下图像使用DCP是可以发现大约75％的像素点是0，大约90％的像素值是小于25的。这个假设被广泛地用在复原户外有雾的图像。
将公式2带到公式3中，可以获得最终的传输地图TM
根据图2的分布可知，本发明的
更加符合水下图像暗通道先验的结论。这时将本发明的假设带入到公式3中，可以获得如下公式5。
其中估计的传输地图TM
在三个通道中，红色光线的衰减率最大，因此本发明简单地认为
只有在Bc选择为三个通道中的最大值Bmax才能获得最小值，所以公式5可以被重新写成公式6。
依据不同通道的光学传输特性，不同通道的衰减率与对应波长和背景光有直接关系。
其中
和
分别表示从图像中最远的点获得的红色通道背景光和蓝绿色背景光。其中标准RGB通道的波长分别是λr＝620nm、λg＝540nm和λb＝450nm。其中这些系数分别设定为m＝-0.00113和i＝1.62517。这时GB通道的传输地图表示为：
最后，RGB通道的传输地图分别可以估计，设定RGB通道传输地图的最小值为0.1～0.3，使用引导滤波器对RGB传输地图精细化处理。
步骤S3、基于融合方法的背景光估计，依据三个通道不同的分布特性定义出三个通道的参考点，然后使用加权融合的方法获得健壮的背景光；
不同波长的背景光在水中传播时受到不同的衰减，特别是R通道和GB通道的差异较为明显。为了使得背景光能够适应于不同的场景和环境，本发明不仅使用目前较为传统的背景光估计的方法，而且还依据每个RGB通道的分布特性为每个通道定义出一个参考点。本发明提出基于选择性加权融合的方法实现多个候选背景光的合成。为了方便定义候选背景光，本发明首先定义某一个通道的暗通道。
第一个背景光估计：为了避免背景光受到输入图像中噪声的影响，第一个候选的背景光基于
和
的最大差异估计。
第二个背景光估计：首先定义在RGB通道下暗通道中最亮的前0.5％的像素点为BP0.5％，其中p0.5％设定为在BP0.5％中所在位置的像素集。因此第二个背景光被估计为这些像素点Ic p0.5％的平均值。
第三个背景光估计：使用四叉树分割算法估计背景光，本发明假设n是一个从1开始计数的正整数，将图像分成相同大小的四块
选择这四个块中最小方差的一块作为下一个待选区域，当n＞3时，分割结束，这时本发明可以获得最后一个局部块piv，因此第三个背景光定义为如下。
Bc3＝avg(Ic(x))，x∈piv，(12)
为了减少GB分量对背景光估计的影响并且提高R通道的强度，依据输入图像的分布特性，本发明为三个通道分别定义一个参考点。考虑到候选背景光与参考点的关系，本发明提出具有选择性加权的背景光融合方法。首先本发明定义每个通道的参考点。
Refc＝Avgc+sign(Imid-βc)×σc，(15)
其中M×N和Ic(i，j)分别表示在某一个通道中像素点的数量和一个像素点的像素值，依据RGB通道的统计分析设定三个通道的βc分别为0.2,0.4,0.4，sign(x)是符号函数，当x＞0时，sign＝1相反的当x＜0,sign＝-1。
得到这个参考点之后，参照背景光候选点与参考点的关系，这时每个通道背景光候选点的权重可以求得，最后使用加权融合策略可以得到最终的背景光。
其中候选背景光的值离参考点的值越近，其占有的权重就越大。Wc k表示某个通道中每个候选点的权重，
是Wc k的归一化表示，k是背景光的索引并且K＝3。
步骤S4、图像复原。
在获得三个通道的传输地图TMs和每个通道的背景光BL，复原后的水下图像可以将TMs和BL带入下面的复原公式中。
估计出最优的复原参数后，反演退化过程获得高对比度、平衡化、饱和化的清晰图像。
请参照图3，图3是技术效果对比图。本发明的一种基于最优复原参数的水下图像增强方法的技术效果是：最终的输出结果显示在对比度、饱和度、明度等多方面都获得较好的增强效果。而且本发明的方法适用于在不同环境下的水下图像。
2、本发明的图像复原增强适用于不同种类的水下图像，增强后的图像可用于水下探测、海洋资源评估以及目标识别等应用，海洋资源丰富、海洋生态多种多样，增强水下图像的对比度、饱和度、亮度，提高图像的可视性对于海洋资源开发及其保护都起到关键作用。研究表明复原后的水下图像不仅可以提高图像质量，而且能够应用于目标识别、目标分类中，有效提高图像分类、图像识别精度。本发明对于水下物种探究、海洋工程、考古遗物等各类图像均有良好的增强效果，同时有助于水下对象(如鱼类、海藻)特征提取、对象识别和跟踪，以及水下导航定位等。而且，本发明技术上适用范围广(可以应用于复杂的水下环境)，最起码不会给输入图像带来颜色衰减等问题，同时可以对本地图像快速自动纠正、图像复原，代码经过优化可以直接嵌入在图像拍摄端，实现实时自动图像复原，具有很高的实用价值。
3、依据RGB不同颜色的光在水中衰减特性与波长和传播距离的关系，可以依次推理出GB通道的传输地图(TM)。为了使得本发明的方法更加健壮性和普适性；
4、本发明的方法针对不同的水下应用场景和不同类型的退化图像做出自适应的调整，不应受到应用场景和外界条件的限制，具有较好的鲁棒性和自适应能力；
5、本发明的方法使用双边滤波器或者引导图像滤波器用来改善传输地图，避免传输地图中会存在块状影响；
6、本发明的方法使用三种最新的方法估计三个候选的背景光，并依据三个通道不同的分布特性定义出三个通道的参考点，然后使用加权融合的方法获得健壮的背景光。依据参考点融合的背景光可以适用于不同环境下的水下图像，能够保证水下图像在复原过程中不会出现失色等问题。
7、本发明的方法可以去除图像的模糊现象、还原图像的本质并且最低限度地引入噪声，获得对比度、饱和度较好的复原图像。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明方法的前提下，还可以做出若干改进和补充，这些改进和补充也应视为本发明的保护范围。
Claims (9)
1.一种基于最优复原参数的水下图像增强方法，其特征在于，所述方法包括以下步骤：
步骤S1、输入图像，收集数百张高质量的水下图片作为样本，获得新水下图像暗通道先验性；
步骤S2、基于新UDCP结论的RGB三通道传输地图估计；
步骤S21、使用水下图像成像模型并对两边都采用最小滤波器并依据红色通道在水中的衰减度最大可以获得红色通道的传输地图；
步骤S22、依据三个通道的衰减率与对应通道的波长和背景光有直接关系，直接求出GB通道的传输地图；
步骤S3、基于融合方法的背景光估计，并依据三个通道不同的分布特性定义出三个通道的参考点，然后使用加权融合的方法获得健壮的背景光；其中，定义每个通道的参考点包括：
Refc＝Avgc+sign(Imid-βc)×σc，(15)
其中M×N和Ic(i，j)分别表示在某一个通道中像素点的数量和一个像素点的像素值，依据RGB通道的统计分析设定三个通道的βc分别为0.2，0.4，0.4，sign(x)是符号函数，当x＞0时，sign＝1相反的当x＜0，sign＝-1.
使用加权融合策略可以得到最终的背景光包括：
其中候选背景光的值离参考点的值越近，其占有的权重就越大。Wc k表示某个通道中每个候选点的权重，
是Wc k的归一化表示，k是背景光的索引并且K＝3；
步骤S4、图像复原。
2.根据权利要求1所述的基于最优复原参数的水下图像增强方法，其特征在于，步骤S21中的红色通道的传输地图具体如下：
步骤S211、考虑背景散射是造成图像模糊的因素，将水下图像成像模型公式简化为：
Ic(x)＝Jc(x)tc(x)+Bc(1-tc(x))，c∈{r，g，b}，
其中x代表图像中的一个坐标(i，j)，c代表红绿蓝RGB通道，Jc(x)表示复原后的图像也就是原来场景光亮，Bc表示为均匀背景光，tc(x)表示为Jc(x)经过衰减、散射和折射等过程到达相机的残余比例；
步骤S212、将最小滤波器使用在水下图像成像模型公式的两边，并且在两边都除上Bc，获得以下公式：
步骤S213、根据步骤S1获得新水下图像暗通道先验性，通过UDCP的得到像素值
并将像素值
代入步骤S212的公式中，获得以下公式：
其中估计的传输地图TM 
在三个通道中，红色光线的衰减率最大，红色通道的传输地图为：
3.根据权利要求1所述的基于最优复原参数的水下图像增强方法，其特征在于，步骤S22中的GB通道的传输地图具体如下：
步骤S221、根据
只有在Bc选择为三个通道中的最大值Bmax才能获得最小值，将步骤S213中公式生成为以下公式：
其中Br，cc和
分别表示从图像中最远的点获得的红色通道背景光和蓝绿色背景光，其中标准RGB通道的波长分别是λr＝620nm、λg＝540nm和λb＝450nm，其中这些系数分别设定为m＝-0.00113和i＝1.62517，这时GB通道的传输地图表示为：
4.根据权利要求1所述的基于最优复原参数的水下图像增强方法，其特征在于，RGB通道的传输地图分别估计后，设定RGB通道传输地图的最小值为0.1～0.3，使用引导滤波器对RGB传输地图精细化处理。
5.根据权利要求1所述的基于最优复原参数的水下图像增强方法，其特征在于，所述步骤S3中包括以下步骤：步骤S31：背景光估计；步骤S32：背景光与参考点融合。
6.根据权利要求5所述的基于最优复原参数的水下图像增强方法，其特征在于，背景光估计包括以下步骤：
步骤S311、定义R/G/B中的一个通道的暗通道；
步骤S312、第一个背景光估计：第一个候选的背景光基于
和
的最大差异估计，且第一个背景光定义如下：
步骤S313、第二个背景光估计：首先定义在RGB通道下暗通道中最亮的前0.5％的像素点为BP0.5％，其中p0.5％设定为在BP0.5％中所在位置的像素集，因此第二个背景光被估计为这些像素点
的平均值，且第二个背景光定义如下：
步骤S314、第三个背景光估计：使用四叉树分割算法估计背景光，假设n是一个从1开始计数的正整数，将图像分成相同大小的四块
选择这四个块中最小方差的一块作为下一个待选区域，当n＞3时，分割结束，这时可以获得最后一个局部块plv，且第三个背景光定义为如下：
Bc 3＝avg(Ic(x))，x∈plv。
7.根据权利要求5所述的基于最优复原参数的水下图像增强方法，其特征在于，背景光与参考点融合包括以下步骤：
步骤S321、定义每个通道的参考点：
Refc＝Avgc+sign(Imid-βc)×σc，
其中M×N和Ic(i，j)分别表示在某一个通道中像素点的数量和一个像素点的像素值，依据RGB通道的统计分析设定三个通道的βc分别为0.2，0.4，0.4，sign(x)是符号函数，当x＞0时，sign＝1相反的当x＜0，sign＝-1；
步骤S322、得到这个参考点之后，参照背景光候选点与参考点的关系，这时每个通道背景光候选点的权重可以求得，最后使用加权融合策略得到最终的背景光：
Wc k＝|1/(Bc k-Refc)|，
其中候选背景光的值离参考点的值越近，其占有的权重就越大，Wc k表示某个通道中每个候选点的权重，
是Wc k的归一化表示，k是背景光的索引并且K＝3。
8.根据权利要求1所述的基于最优复原参数的水下图像增强方法，其特征在于，图像复原具体如下：
获得三个通道的传输地图TMs和每个通道的背景光BL，将TMs和BL带入下面的复原公式：
估计出最优的复原参数后，反演退化过程获得高对比度、平衡化、饱和化的清晰图像。
9.根据权利要求1所述的基于最优复原参数的水下图像增强方法，其特征在于，使用双边滤波器或者引导图像滤波器用来改善传输地图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810039369.1A CN108257101B (zh) | 2018-01-16 | 2018-01-16 | 一种基于最优复原参数的水下图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810039369.1A CN108257101B (zh) | 2018-01-16 | 2018-01-16 | 一种基于最优复原参数的水下图像增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108257101A CN108257101A (zh) | 2018-07-06 |
| CN108257101B true CN108257101B (zh) | 2021-10-19 |
Family
ID=62740881
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810039369.1A Active CN108257101B (zh) | 2018-01-16 | 2018-01-16 | 一种基于最优复原参数的水下图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108257101B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109118446B (zh) * | 2018-07-30 | 2021-08-24 | 西南财经大学 | 一种水下图像复原及去噪方法 |
| CN111915496B (zh) * | 2019-05-08 | 2024-04-23 | 北京字节跳动网络技术有限公司 | 一种图像处理方法、装置及存储介质 |
| CN112950484B (zh) * | 2019-12-11 | 2023-06-16 | 鸣医(上海)生物科技有限公司 | 一种对摄影影像进行颜色污染祛除的方法 |
| CN115496694B (zh) * | 2022-09-30 | 2023-07-25 | 湖南科技大学 | 基于改进图像形成模型对水下图像进行恢复和增强的方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105761227A (zh) * | 2016-03-04 | 2016-07-13 | 天津大学 | 基于暗通道先验与白平衡的水下图像增强方法 |
| CN106296597A (zh) * | 2016-07-25 | 2017-01-04 | 天津大学 | 一种基于最优化颜色修正和回归模型的水下图像复原方法 |
| CN106780368A (zh) * | 2016-11-24 | 2017-05-31 | 天津大学 | 一种基于前景模型的水下图像增强方法 |
| CN106991663A (zh) * | 2017-04-05 | 2017-07-28 | 淮海工学院 | 一种基于暗通道理论的水下彩色图像增强方法 |
-
2018
- 2018-01-16 CN CN201810039369.1A patent/CN108257101B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105761227A (zh) * | 2016-03-04 | 2016-07-13 | 天津大学 | 基于暗通道先验与白平衡的水下图像增强方法 |
| CN106296597A (zh) * | 2016-07-25 | 2017-01-04 | 天津大学 | 一种基于最优化颜色修正和回归模型的水下图像复原方法 |
| CN106780368A (zh) * | 2016-11-24 | 2017-05-31 | 天津大学 | 一种基于前景模型的水下图像增强方法 |
| CN106991663A (zh) * | 2017-04-05 | 2017-07-28 | 淮海工学院 | 一种基于暗通道理论的水下彩色图像增强方法 |
Non-Patent Citations (3)
| Title |
|---|
| Transmission Estimation in Underwater Single Images;P. Drews-Jr等;《2013 IEEE International Conference on Computer Vision Workshops》;20131231;第825-830页 * |
| 基于图像融合的水下彩色图像的增强方法;胡玉娟等;《合肥工业大学学报（自然科学版）》;20130831;第36卷(第8期);第948-953页 * |
| 基于背景光估计与暗通道先验的水下图像复原;谢昊伶等;《光学学报》;20170927;第1-19页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108257101A (zh) | 2018-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108596853B (zh) | 基于背景光统计模型和传输地图优化的水下图像增强方法 | |
| Song et al. | Enhancement of underwater images with statistical model of background light and optimization of transmission map | |
| CN107507145B (zh) | 一种基于不同颜色空间自适应直方图拉伸的水下图像增强方法 | |
| CN108257101B (zh) | 一种基于最优复原参数的水下图像增强方法 | |
| CN109118446B (zh) | 一种水下图像复原及去噪方法 | |
| CN106981053A (zh) | 一种基于加权融合的水下图像增强方法 | |
| CN110288550B (zh) | 基于先验知识引导条件生成对抗网络的单张图像去雾方法 | |
| CN110838092B (zh) | 一种基于卷积神经网络的水下图像复原方法 | |
| CN110689490A (zh) | 一种基于纹理颜色特征和优化透射率的水下图像复原方法 | |
| CN108921887B (zh) | 基于水下光线衰减先验性的水下场景深度地图估计方法 | |
| Deng et al. | Underwater image enhancement based on removing light source color and dehazing | |
| CN111861896A (zh) | 一种面向uuv的水下图像色彩补偿与恢复方法 | |
| CN107705258A (zh) | 一种三基色联合预均衡和去模糊的水下图像增强方法 | |
| CN113284061B (zh) | 一种基于梯度网络的水下图像增强方法 | |
| CN110930319B (zh) | 基于自适应透射率估计的水下图像清晰化方法 | |
| Singh et al. | Weighted least squares based detail enhanced exposure fusion | |
| Li et al. | Underwater image restoration based on improved background light estimation and automatic white balance | |
| Ke et al. | Single underwater image restoration based on descattering and color correction | |
| Pei et al. | Underwater images enhancement by revised underwater images formation model | |
| Zhou et al. | Multiscale fusion method for the enhancement of low-light underwater images | |
| CN115393209A (zh) | 一种基于多约束先验的贝叶斯Retinex深海图像增强方法 | |
| Raigonda et al. | Haze Removal Of Underwater Images Using Fusion Technique | |
| CN115619662A (zh) | 一种基于暗通道先验的图像去雾方法 | |
| CN115034985A (zh) | 一种水下图像增强方法 | |
| CN114140360A (zh) | 一种局部低可见度图像增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |