CN107403418A - 基于通道透射率进行去雾和颜色校正的水下图像增强方法 - Google Patents

Abstract

本发明公布了一种水下图像增强方法，基于三通道透射率关系进行去雾和颜色校正，包括先进行四叉树搜索找到图像中最亮的点，基于暗通道先验求出红色通道的光的透射率，再通过比尔定律等求出蓝绿通道的透射率，综合最亮点和三通道的透射率进行去雾，最后基于三通道透射率关系进行颜色校正。本发明方法能够让增强后的图像获得很好地视觉效果并且具有较好的鲁棒性，适用于多种场景。

Description

基于通道透射率进行去雾和颜色校正的水下图像增强方法

技术领域

本发明属于图像处理技术领域，涉及水下图像增强技术，尤其涉及一种基于三通道透射率关系进行去雾和颜色校正的水下图像增强方法。

背景技术

水下图像增强对于海洋生态研究、水下机器人检查或者水下打捞、营救等都有重要意义。尽管这项研究已经进行了一段时间，但是由于水下环境的恶劣性，水下图像增强技术的表现依旧差强人意。水下拍摄的图像主要存在三个问题：模糊、欠曝光、色偏。因为光线在水下传播时存在吸收和散射。水质中存在的悬浮大粒子会导致光线散射，由此而导致图像出现模糊、有雾的情况。由于水体本身及其他物质的吸收作用，导致离水面越深时，光线被吸收的越厉害，图像会出现欠曝光的情况。而色偏是由于不同波长的吸收强度不同。波长越长吸收越快，所以当传播至海底时，红光最先消失，剩余的蓝光、绿光较多。导致水下图像常会有偏蓝偏绿的色偏现象。

针对水下图像存在的问题，研究者们提出了多种解决方法，主要分为三大类：

(一)通用的图像增强方法。将通用方法应用在水下领域时，也能取得不错的效果。例如，直方图均衡化[1](HE)、对比度受限的自适应直方图均衡化[2](CLAHE)、广义反锐化掩模[3](GUM)等。但是通用方法不能针对性的解决问题。譬如，直方图均衡化能够很好的提升图像的对比度，但不能根据物体对于相机的距离不同，按比例来处理，所以会引入伪细节。

(二)图像去雾的方法。在水下图像增强领域，很多研究者选择将去雾的方法移植到水下增强。Fattal[4]运用了表面阴影和透射率是局部无关的这一事实来去雾；何凯明[5]提出了著名的暗通道先验达到很好的去雾效果，自此之后，不少去雾的方法都是基于暗通道先验来展开。去雾方法虽好，但不能很好地解决水下色偏现象。

(三)专门解决水下成像问题的方法。有利用水下衰减率的差别来估计场景的水下深度的方法[6](CB)；有利用不同波长衰减率来补偿褪色的方法[7](WCID)；此外Cosminand Ancuti在CVPR[8]上提出融合两种滤波的方法来解决水下增强问题。

综合来看，现有水下图像增强的处理方法的通用性都不是很强，由于水下数据集获取难度大，很多实验都是建立在论文提供的少数几张图片，当换到其他情景下的水下图像时，可能达不到预期效果。

引用文献：

[1]C.A.M.Jaspers,“Histogram equalization,”2004.

[2]K.Zuiderveld,“Contrast limited adaptive histogram equalization,”Graphics Gems,pp.474–485,1994.

[3]G.Deng,“A generalized unsharp masking algorithm,”IEEE Transactionson Image Processing,vol.20,no.5,pp.1249–1261,2011.

[4]R.Fattal,“Single image dehazing,”ACM Transactions on Graphics,vol.27,no.3,p.1,2008.

[5]H.K.,S.J.,and T.X.,“Single image haze removal using dark channelprior.”Pattern Analysis and Machine Intelligence,IEEE Transactions on,vol.33,no.12,pp.2341–2353,2010.

[6]N.Carlevaris-Bianco,A.Mohan,and R.M.Eustice,“Initial results inunderwater single image dehazing,”MTS/IEEE Seattle,OCEANS 2010,2010.

[7]J.Y.Chiang and Y.-C.Chen,“Underwater image enhancement bywavelength compensation and dehazing,”IEEE Transactions on Image Processing,vol.21,no.4,pp.1756–1769,2012.

[8]C.Ancuti,C.O.Ancuti,T.Haber,and P.Bekaert,“Enhancing underwaterimages and videos by fusion,”Proceedings of the IEEE Computer SocietyConference on Computer Vision and Pattern Recognition,pp.81–88,2012.

发明内容

为了克服上述现有技术的不足，本发明提供一种水下图像增强方法，基于三通道透射率关系进行去雾和颜色校正，由此实现水下图像增强，该方法适用于多种水下场景，增强效果佳，具有鲁棒性。

本发明提供的技术方案是：

一种水下图像增强方法，基于三通道透射率关系进行去雾和颜色校正，实现水下图像增强，包括水下图像去雾方法和水下图像颜色校正方法；具体包括如下步骤：

(一)水下图像去雾

11)首先是建模。我们可将整个水下拍摄图像的能量分为两部分：从被观测物反射到相机的能量和从周围环境射过来的环境光能量，表示为式1。

I^c(x)＝t^c(x)J^c(x)+(1-t^c(x))A^c,c∈{r,g,b} (式1)

其中，x是水下图像中的像素点；I代表被相机获取到的能量；J代表被观测物的真实能量，即去雾后的水下图像；A代表周围环境光能量，它是造成图像模糊、有雾的原因；t代表透射率，即真实能量透过水质最终到达相机的能量的比例，c代表图像的红绿蓝三通道。现在已知的是I，要求出A和t才能求出最终的真实场景能量J，最终达到去雾的效果。

12)求周围环境光能量A。

我们用四叉树搜索的方法来求周围环境光A。求每个区域内所有像素的均值减去像素的标准差的值，将其作为区域得分，取得分最高的区域保留作为下次迭代的候选区域，其他舍弃。依次迭代到候选区域面积低于所设阈值大小，阈值大小可选一个较小的范围，如10*10，迭代终止。然后将迭代终止时的候选区域作为最终区域，最终区域的像素的均值作为最终的A值。

13)求透射率t。

13A)求红色通道的透射率t^r。

运用暗通道先验知识，即一幅图像的每个像素的三通道的最小值所组成的暗通道图像通常都是一副很暗的全黑图像，值接近零。红色通道是三通道里透射率最小的那个通道。将上述提到的去雾模型进行三通道最小化处理同时考虑到光照不均匀性，进行局部区域最小值滤波处理可认为等于零。此时可以根据式1和周围环境光能量A，求出三通道里透射率最小的那个通道(红色通道)的透射率估计值

Ω(x)代表最小值滤波的区域大小，再通过导向滤波进行提纯，得到的精确值。

13B)求绿色通道和蓝色通道的t。

根据比尔定律，透射率和衰减系数成指数型关系。而衰减系数由两部分组成，散射系数和吸收系数。其中散射系数与衰减系数的比值和周围环境光A成正比。而各通道散射系数的关系可通过波长求出。由此可求出各通道的透射率之间的关系。进一步求出绿色通道和蓝色通道的透射率的精确值。

14)求J。A和t已经求解出，可以得到最终的真实场景的J，即去雾后的水下图像。

(二)水下图像颜色校正过程

21)首先分别求解去雾图像的每个通道的均值，

22)然后根据去雾过程中求出的三通道的透射率值，求解各通道透射率的方差，

23)接着用均值项和方差项重构新的区间其中方差项需要乘以一个系数α以调整区间范围的大小。我们在新构成的区间进行单通道的归一化以实现颜色对比度拉伸。

24)最后将三个通道合并，得到颜色得以校正的最终效果图。

与现有技术相比，本发明的有益效果是：

本发明提供一种水下图像增强方法，基于三通道透射率关系进行去雾和颜色校正，由此实现水下图像增强。由于本发明用四叉树搜索能更准确的找到周围环境光的值，同时分通道来考虑水下成像的透射率，并以求出的三通道的透射率关系来进行去雾和颜色校正，使得处理后的水下图像具有更真实的颜色、自然的表现和视觉效果。具体实施中还提供了本发明与其他已有方法进行性能比较、水下多种情景下算法效果检验的实例。本发明方法适用于多种场景，包括水深较深的场景、水深较浅的场景、水质浑浊的场景、低光照的场景、人造光的场景，在不同的水下场景下都能获得较好的效果，具有鲁棒性。

附图说明

图1为本发明方法的流程框图。

图2为本发明与现有方法的处理结果对比图；

其中，(a)是原始水下图像，(b-f)是现有方法，依次是直方图均衡化、Fattal的单个图像去雾法、何凯明的暗通道先验去雾法、傅雪阳的基于Retinex的水下图像增强法以及Wen等人用光学模型进行水下增强的方法；(g)是本发明方法的去雾效果，(h)是本发明方法对去雾图进行颜色校正后的效果，也即最终增强效果图。

图3列出了不同场景下的测试样本及处理结果；

其中，从左到右，依次是水深较深的场景、水深较浅的场景、水质浑浊的场景、低光照的场景、人造光的场景。第一行是测试样本，第二行是处理结果。

具体实施方式

下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

本发明提供一种水下图像增强方法，基于三通道透射率关系进行去雾和颜色校正，由此实现水下图像增强。图1为本发明方法的流程框图。

以下实施例中，我们首先通过四叉树搜索最亮点，然后使用暗通道先验知识求出红色通道的透射率，再通过比尔定律等一系列关系式推导出三通道之间的透射率关系，以求得三通道的透射率图，接着求出了去雾之后的效果图；紧接着利用三通道透射率关系进行去雾图像的颜色校正。具体步骤如下：

一、数据集建立。在网络上整理出了部分水下图像增强领域专家在其论文中常用到的测试样图，数据来源：http://www.boss.ecs.kyutech.ac.jp/luhuimin/dataset.html。数据集中的样本数目大约为50张。

二、水下图像去雾。

1)求A。我们用四叉树搜索的方法来求全局背景光，即周围环境光，认为整张图片的最亮点、雾最浓的地方可以代表环境光的大小。一幅图片中像素变化最小的、最平坦的，认为是雾最浓的地方。所以，首先将图片等分成四份，分别求每个区域内所有像素的均值减去像素的标准差的值，将其作为区域得分，最后比较四个区域的得分高低，得分最高的区域保留作为下次迭代的候选区域，其他舍弃。依次迭代到候选区域面积低于10*10，迭代终止。然后将最终区域的像素的均值作为最终的全局背景光的像素值。

2)求t。

A.求红色通道的t。运用暗通道先验知识，即一幅图像的每个像素的三通道的最小值所组成的暗通道图像通常都是一副很暗的全黑图像，值接近零。将上述提到的去雾模型进行三通道最小化处理，同时考虑到光照不均匀性，进行局部小窗最小值滤波处理，滤波窗口15*15。可认为等于零。此时A也在上一步中求解出来，于是可以根据公式求出三通道里透射率最小的那个通道的估计值，即为红色光的透射率。由此求出红色通道的透射率的估计值，

具体实施时，为了保持雾不被全部消除，我们在公式2的第二项添加了一个系数因子ρ，ρ为0.95，。然后通过导向滤波进行提纯，导向滤波时的局部窗口半径为20，正则化参数为0.001，最后得到的精确值。

B.求其他两个通道的t。根据比尔定律，透射率和衰减系数成指数型关系。而衰减系数由两部分组成，散射系数和吸收系数。其中散射系数与总的衰减系数的比值和周围环境光能量A成正比。而散射系数和波长存在线性关系。由此可以通过已知的各通道的波长和A，求出各通道的透射率之间的关系如下：

λ_r、λ_g、λ_b即三色光的波长，分别取620nm、540nm、450nm。A(r)、A(g)、A(b)分别代表全局背景光三通道各自的值。由此求出绿色通道和蓝色通道的透射率的精确值。

3)求真实场景能量J。A和三通道的透射率t都已经求解出，可以推出最终的真实场景的J。即去雾后的水下图像。其中t₀取值0.1，以防除法过程中分子趋于零。

三、水下图像颜色校正。

根据去雾过程中求出的三通道的透射率关系来进行去雾后的图像的颜色校正。首先分别求解去雾图像的每个通道的均值，以及对应通道的透射率的方差。然后将均值和方差分别进行加减，得到对应通道的最大值和最小值，其中方差项需要乘以一个系数α，α设置为2.在新构成的区间进行单通道的归一化。

其中，为每个通道颜色校正后的结果；为对应通道的最大值；为对应通道的最小值；为各通道透射率的方差。

最后将三个通道合并，得到颜色校正后的最终效果图。

四、对比实验。

为了验证所提方法的有效性及优越性。图2所示为所提方法与直方图均衡化、Fattal的单个图像去雾法、何凯明的暗通道先验去雾法、傅雪阳的基于Retinex的水下图像增强法以及用新模型进行水下增强的方法，的处理结果对比图。不难发现，所提方法处理结果的清晰度和颜色对比度都优于其他方法。

为了验证所提方法的鲁棒，在不同场景下进行了实验。图3列出了水深较深的场景、水深较浅的场景、水质浑浊的场景、低光照的场景、人造光的场景下的处理结果示例。对比原图像，不难发现，本发明方法在各个场景下都很适用，具有鲁棒性。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (7)

1.一种水下图像增强方法，基于三通道透射率关系进行去雾和颜色校正实现水下图像增强，包括水下图像去雾方法和水下图像颜色校正方法：

(一)水下图像去雾方法包括如下步骤：

11)水下图像能量建模：将水下图像的能量分为两部分：从被观测物反射到相机的能量和从周围环境射过来的环境光能量，去雾模型表示为式1：

I^c(x)＝t^c(x)J^c(x)+(1-t^c(x))A^c,c∈{r,g,b} (式1)

其中，x是水下图像的像素点；I代表被相机获取到的能量；J代表被观测物的真实能量，即去雾后的水下图像；A代表周围环境光能量；t代表透射率，即真实能量透过水质最终到达相机的能量的比例；c代表图像的红绿蓝三通道；

利用上述水下图像去雾模型，根据被相机获取到的能量I，求出周围环境光能量A和透射率t，进一步求出最终的真实场景能量J，达到水下图像去雾的效果；

12)求周围环境光能量A；

采用四叉树搜索的方法，首先求得水下图像每个区域内所有像素的均值减去像素的标准差的值，作为区域得分，取得分最高的区域作为下次迭代的候选区域；依次迭代到候选区域面积低于设置的阈值大小，迭代终止；将迭代终止时的区域的像素均值作为A值；

13)求透射率t；

13A)求红色通道的透射率t^r：

将去雾模型进行三通道最小化处理同时进行局部区域最小值滤波处理根据式1和周围环境光能量A，利用式2求出红色通道的透射率估计值

式2中，Ω(x)代表最小值滤波的区域大小，再通过导向滤波进行提纯，得到红色通道的透射率精确值t^r；其中可视为零；

13B)求绿色通道和蓝色通道的t：

首先，通过波长求出各通道散射系数的关系；

然后，根据散射系数与衰减系数的比值和周围环境光A成正比，求得衰减系数；根据比尔定律，透射率和衰减系数成指数型关系，由此求得各通道的透射率之间的关系；

进一步求出绿色通道和蓝色通道的透射率的精确值；

14)求真实场景能量J：根据步骤12)求得的A和步骤13)求得的t，得到最终的真实场景的能量J，即得到去雾后的水下图像；

(二)水下图像颜色校正过程

21)首先，分别求解去雾图像的每个通道的均值

22)然后，根据去雾过程中求得的三通道的透射率值，求解各通道透射率的方差

23)接着，用均值项和方差项重构新的区间其中方差项乘以系数α，用以调整区间范围的大小；在新构成的区间进行单通道的归一化以实现颜色对比度拉伸；

24)最后，将三个通道合并，得到颜色校正后的图像。

2.如权利要求1所述水下图像增强方法，其特征是，步骤13A)通过如下公式求得红色通道的透射率估计值

<mrow> <msup> <mover> <mi>t</mi> <mo>~</mo> </mover> <mi>r</mi> </msup> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mi>min</mi> <mi>c</mi> </munder> <mrow> <mo>(</mo> <mover> <mi>t</mi> <mo>~</mo> </mover> <mo>(</mo> <mi>x</mi> <mo>)</mo> <mo>)</mo> </mrow> <mo>=</mo> <mn>1</mn> <mo>-</mo> <mi>&amp;rho;</mi> <mo>*</mo> <munder> <mi>min</mi> <mi>c</mi> </munder> <mo>{</mo> <mfrac> <mrow> <munder> <mi>min</mi> <mrow> <mi>y</mi> <mo>&amp;Element;</mo> <mi>&amp;Omega;</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> </mrow> </munder> <mrow> <mo>(</mo> <msup> <mi>I</mi> <mi>c</mi> </msup> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>)</mo> </mrow> <msup> <mi>A</mi> <mi>c</mi> </msup> </mfrac> <mo>}</mo> </mrow>

设置参数ρ取值，用于保持雾不被全部消除；将透射率估计值通过导向滤波进行提纯，得到红色通道的透射率精确值t^r。

3.如权利要求2所述水下图像增强方法，其特征是，参数ρ取值为0.95；导向滤波时的局部窗口半径为20，正则化参数为0.001。

4.如权利要求1所述水下图像增强方法，其特征是，步骤13B)中，各通道的透射率之间的关系为式3～4：

其中，λ_r、λ_g、λ_b即三色光的波长，分别取620nm、540nm、450nm；A(r)、A(g)、A(b)分别代表全局背景光三通道各自的值。

5.如权利要求1所述水下图像增强方法，其特征是，步骤14)具体通过式5计算得到去雾后的水下图像：

其中，t₀取值为0.1。

6.如权利要求1所述水下图像增强方法，其特征是，步骤23)具体通过式6～8在新构成的区间进行单通道的归一化：

其中，为每个通道颜色校正后的结果；为对应通道的最大值；为对应通道的最小值；为各通道透射率的方差。

7.如权利要求6所述水下图像增强方法，其特征是，系数α取值设置为2。