CN108564543A - 一种基于电磁理论的水下图像色彩补偿方法 - Google Patents

Abstract

本发明提供了一种基于电磁理论的水下图像色彩补偿方法，属于图像复原技术领域。该技术方案依据光在水下的传播特性建立水下光学成像模型，针对红色波段的光被水吸收严重导致图像R通道亮度衰减，本发明根据电磁波传输理论获得景物与相机间的距离及R通道因水吸收导致的衰减系数，最终求出R通道的传输系数。本发明方法可以有效的估计出背景光及各通道的传输系数，对图像颜色进行补偿。实验结果表明，与传统的水下图像复原算法相比，本发明可以有效地提高图像对比度、清晰度，改善颜色失真。

Description

一种基于电磁理论的水下图像色彩补偿方法

技术领域

本发明涉及图像复原技术领域，具体涉及一种基于电磁理论的水下图像色彩补偿方法。

背景技术

水下成像是水下光学和海洋光学学科的重要研究方向，是人类对海洋实现探测开发的重要手段和工具，在海洋勘探、水下环境监测、水下工程施工、救生打捞等活动中具有重要作用。水下成像环境要比空气中复杂的多，除了水体会吸收和散射光线之外，水中的悬浮颗粒以及浮游生物也会对其吸收和散射。加上水对不同波段的光吸收程度也不一样，与在空气中成像相比，水下成像不但含有噪声和畸变，还存在着对比度低、模糊、颜色信息丢失等问题，严重影响了成像质量。

光线在水下传播过程中，它的损耗程度会随波长不同而发生改变。导致水下光学成像质量下降的三个主要原因是吸收、散射和颜色失真。水对红色光吸收最为强烈，对蓝绿光吸收相对较小，所以水下成像会出现颜色信息的丢失，且水中悬浮颗粒会对光进行散射，使图像的对比度下降。为了实现水下图像的复原，现有技术中有研究者把水下图像看成图像中多了一层雾，将空气中的暗原色先验去雾算法(DCP)直接应用于水下图像复原；另有研究者用DCP原理来提高图像的清晰度，并用自适应亮度调节算法提高图像对比度；此外，有研究者用DCP理论求出水下图像的透射率，并依据物体颜色和背景光对透射率进行优化。上述方法虽然在一定程度上改善了水下图像质量，但由于波长衰减存在差异，因此导致图像颜色失真的问题无法很好的解决。现有技术中，水下图像的复原主要基于以下原理：

1、水下光传输模型

由Jaff-McGlamery模型可知，在水下环境中，摄像机接收到的光强可表示为直接光J_d、前向散射光J_f、后向散射光J_b。如图1所示。到达相机的总辐照度I是这三部分的线性叠加，可由下面的公式表示：

I＝J_d+J_f+J_b (1)

1.1直接光

直接光指直接被物体反射进摄像机的光线，表达式为：

J(x,λ)表示物体所在位置的光强，J_d(x,λ)表示摄像机接收的直接光光强，α_λ和β_λ分别表示由吸收和散射造成衰减的衰减系数，λ表示图像的RGB三个通道中的某一通道，因为水对不同波长的光的吸收程度不同，因此衰减系数会随通道波长的变化而变化，d(x)表示物体与摄像机之间的距离。

1.2后向散射光

后向散射光不含物体光，是周围环境光被水中物体如悬浮颗粒等散射后进入摄像机的光，表达式为：

式中B(λ)称之为背景光。

忽略前向散射的影响，则总光强可表示为：

其中，表示因散射导致光波衰减的传输系数，表示因水吸收导致光波衰减的传输系数。有研究者把t_α(x)看作一个常量，用K 表示。实际上t_α(x)与距离d(x)和波长λ有关，把t_α(x)看作一个常量不太合理。

相对于红色通道，蓝绿通道因水吸收产生的衰减较小。在这里定义蓝绿通道的成像模型为：

I(x,λ)＝J(x,λ)t_BG(x)+B(λ)[1-t_BG(x)],λ∈(R,G,B) (5)

其中，t_BG(x)＝t_β(x)，表示蓝绿通道的传输系数。

红色通道的成像模型为：

I(x,λ)＝J(x,λ)t_R(x)+B(λ)[1-t_BG(x)],λ∈(R) (6)

其中，t_R(x)＝t_β(x)t_α(x)，表示红色通道的传输系数。

摄像机所接收到的光强I(x,λ)就是获取的水下图像，代表模糊的图像。由 (5)式和(6)式可知，若想恢复出清晰的图像J(x,λ)，须计算出传输系数t_BG(x)， t_R(x)和背景光B(λ)。

发明内容

本发明旨在针对现有技术的技术缺陷，提供一种基于电磁理论的水下图像色彩补偿方法，以解决现有技术中常规方法对图像的复原质量不佳的技术问题。

本发明要解决的另一技术问题是在水下图像复原过程中如何提升图像对比度、清晰度，改善颜色失真。

为实现以上技术目的，本发明采用以下技术方案：

一种基于电磁理论的水下图像色彩补偿方法，该方法依据以下式(23)对图像的蓝绿通道执行复原；同时，依据以下式(24)对图像的红色通道执行复原；

式(23)中，J(x,λ)表示复原后的蓝绿通道光强，I(x,λ)表示图像原始的蓝绿通道光强，B(λ)表示水体背景光的光强，t_BG(x)表示蓝绿通道的传输系数；

式(24)中，J(x,λ)表示复原后的红色通道光强，I(x,λ)表示图像原始的红色通道光强，B(λ)表示水体背景光的光强，t_BG(x)表示蓝绿通道的传输系数， e表示自然常数，α^R表示水吸收导致红色通道光衰减的衰减系数。

作为优选，水体背景光的光强B(λ)是通过以下方法求得的：

1)选取由G，B通道获得的暗原色中亮度最大的0.1％的像素，记录像素位置信息；

2)获得这些像素对应原始图像位置的R，G，B三个通道的像素值；

3)分别求取这些像素在三个通道的平均值，即为B(λ)，其中λ∈(R,G,B)。

作为优选，蓝绿通道的传输系数t_BG(x)是依据以下式(17)求得的：

式(17)中，t_BG(x)表示蓝绿通道的传输系数，B(λ)表示水体背景光的光强， I^c(x)]表示原图像R、G、B三个颜色通道的光强，Ω(y)表示图像区域。

作为优选，水吸收导致红色通道光衰减的衰减系数α^R是依据以下式(21) 求得的

式(21)中，n^R表示红色通道的光波在水下传播时的折射率，Z_a表示电磁波在空气中传播的波阻抗。

作为优选，该方法还进一步求得红色通道的传输系数t_R(x)，所述红色通道的传输系数t_R(x)是依据以下式(27)、式(28)、式(18)、式(21)、式(22) 求得的：

t_R(x)＝t_β(x)t_α(x) (27)

t_BG(x)＝t_β(x) (28)

其中，t_BG(x)表示蓝绿通道的传输系数，n^R表示红色通道的光波在水下传播时的折射率，Z_a表示电磁波在空气中传播的波阻抗，Nrer(λ)表示归一化剩余能量比。

作为优选，所述电磁波在空气中传播的波阻抗Z_a恒定为377。

作为优选，所述归一化剩余能量比Nrer(λ)为0.95。

在水下环境中，光波会因散射以及被水吸收产生衰减，导致水下图像出现模糊，对比度低、颜色失真等问题。彩色图像传感器具有红(R)，绿(G)和蓝 (B)三种不同的基本颜色传感器，每个颜色传感器可检测不同波长的光信息。由于不同波长的光具有不同的传输系数，因此对水下图像复原时，需要考虑这些基本颜色光之间的差异。针对红色波段的光被水吸收严重导致图像R通道亮度衰减，本发明根据电磁波传输理论获得景物与相机间的距离及R通道因水吸收导致的衰减系数，最终求出R通道的传输系数。为了验证本发明，通过主观评价和客观评价对实验结果图像进行质量评估。评价结果表明，相比于传统算法，本发明可以更有效的对图像色彩进行补偿和去模糊，使复原图像更真实。

本发明依据光在水下的传播特性，基于改进的暗原色原理和水下电磁波传播理论，提出一种有效的水下图像复原方法EUD(Electro magnetism and under water darkchannel)，该方法将图像去模糊和颜色补偿两个因素都考虑在内。雾天成像模型和水下成像模型的区别在于水下成像时红色通道衰减严重，所以取水下暗原色通道和图像背景光时，仅考虑蓝绿两通道，并根据电磁波传播理论由蓝绿通道的衰减系数估计出红色通道的衰减系数。本发明可以有效补偿图像颜色失真且鲁棒性较高。

附图说明

图1是水下光学成像模型的原理示意图；

图2是常规DCP方法的流程示意图；

图3是本发明EUD方法的流程示意图；

图4是本发明实施例2中，不同图像复原方法的效果比较图；

图5是本发明实施例2中，不同图像复原方法的另一组效果比较图；

图6是本发明实施例2中，不同图像复原方法的再一组效果比较图；

图4～6中，(a)表示原图像；(b)表示利用文献“He K,Sun J,Tang X.Single ImageHaze Removal Using Dark Channel Prior[J].IEEE Transactions on PatternAnalysis&Machine Intelligence,2011,33(12):2341-2353”所披露的方法(以下简称为b组方法)复原后的图像；(c)表示利用文献“Wen H,Tian Y,Huang T,et al.Singleunderwater image enhancement with a new optical model[C].IEEE InternationalSymposium on Circuits and Systems.IEEE,2013:753-756”所披露的方法(以下简称为c组方法)复原后的图像；(d)表示利用本发明方法复原后的图像。

具体实施方式

以下将对本发明的具体实施方式进行详细描述。为了避免过多不必要的细节，在以下实施例中对属于公知的结构或功能将不进行详细描述。以下实施例中所使用的近似性语言可用于定量表述，表明在不改变基本功能的情况下可允许数量有一定的变动。除有定义外，以下实施例中所用的技术和科学术语具有与本发明所属领域技术人员普遍理解的相同含义。

实施例1(改进的暗原色先验与电磁理论水下图像复原)

1、DCP理论

McCarney构建光波在有雾条件下的大气散射模型：

I(x)＝J(x)t(x)+A[1-t(x)] (7)

其中I(x)表示相机捕获的图像,J(x)表示物体的反射光，是要求的无雾图像,A表示大气光强,t(x)表示光波在大气中的传输系数，表示物体反射光被大气衰减的程度，J(x)t(x)表示含有物体信息的光衰减之后的光强，A[1-t(x)]表示相机接收到的大气光强。(7)式揭示了雾天图像质量退化的原因，图像去雾等同于从(7)式中求解出J(x)，得到清晰的图像，流程如图2所示。

暗原色一般在阴影、黑色或颜色鲜艳的物体中。所以每个局部区域的RGB 三通道中都可能存在亮度很低的像素，此统计规律称为暗原色先验，暗原色本身不具有亮度或亮度很低。

其中，J^c(x)代表J(x)的各个颜色通道强度，而Ω(y)则表示图像的局部区域，J^dark(x)为J(x)的暗原色。

根据暗原色理论，暗原色值可近似为对有雾图像中每一像素点的RGB通道进行取最小亮度操作，即

式中，c表示原图像三个通道，是对原图像中三个颜色通道求最小亮度值。为了估计透射率，假设大气光强A为已知，对(7)式取最小值

根据暗原色先验理论，无雾图像的暗原色值趋于零，即

则(10)式可变为

将(12)式两边同时除以A则(12)式变为

由此可求出大气的透射率：

通过(7)式可求得去雾后的图像：

2、改进的水下暗原色先验

水中大量微小悬浮颗粒如矿物质、浮游生物等的散射和吸收作用，导致水下拍摄的图像呈现出模糊、对比度低、颜色失真等特点，图像中所含的许多特征都被覆盖或模糊，直接影响各种水下成像系统的应用。由于雾天图像的退化与水下图像的退化原理较为近似，从DCP用于雾天图像增强取得的良好效果得到启发，将DCP运用于水下图像的去模糊取得一定效果。但是DCP在水下图像去模糊的研究却稍显不足，水对光的吸收程度与光的波长有关从而引起了水下图像的颜色失真。在水下环境，光的波长越长，则光的衰减越快。水对红色光和橙色光吸收最多,而对蓝色光吸收最少。而且，随着光在水中传播距离和水深的不断增加，这种偏色现象就愈加严重。

本实施例根据光在水下环境传输的特性，即依据(9)式和(10)式建立水下光学成像模型，通过优化和改进水下光学成像模型中水体光强和水体透射率的求解方法，可以更好地去除水下图像的模糊并对图像色彩进行补偿，流程如图3 所示。

2.1水下暗通道

对于在深水区域或浑水下拍摄的图像，由于红光的能量被大量吸收，I^dark(x) 的强度非常低并趋向于零，这些水下图像的暗通道不能提供关于场景与相机之间正确的距离信息。因此，DCP在水下图像处理中效果很不理想。

由于大气中的光衰减和水中的蓝光和绿光的衰减几乎都具有相同的散射原理，所以只考虑蓝色和绿色通道，并重新定义一个新的适合水下图像的暗通道：

称它为I(x,λ)的水下暗通道,其中Ω(y)表示一个大小恒定的区域。水下场景的背景一般是蓝色(海洋)或绿色(湖泊)。由于背景光引起颜色偏移，所捕获的水下图像的蓝色或绿色通道的强度应该大于它们的真实光亮度，而水下图像的水下暗通道在距相机较远的地方将具有较高的强度。因此水下暗通道可以定性地反映场景点和摄像机之间的水下距离，在后面将用它来估计蓝绿通道传输系数 t_BG(x)。

2.2使用统计平均值法对水体光强的估计

具体步骤如下：

(1)选取由G,B通道获得的暗原色中亮度最大的0.1％的像素，记录像素位置信息。

(2)获得这些像素对应原始图像位置的R,G,B三个通道的像素值。

(3)分别求取这些像素在三个通道的平均值B(λ)，λ∈(R,G,B)。定义B(λ) 为水体光强。

相比于取单一值为水体光强，取平均值作为水体光强的鲁棒性更高。

2.3使用水下暗通道法估计蓝绿通道传输系数t_BG(x)

由于蓝光和绿光的衰减原理在水中大致相同，因此这里假设蓝光和绿光通道的传输是相同的。进一步假设传播和散射率在一个区域Ω(y)里是恒定的，用 t_BG(x)表示这个区域的传输率。根据(14)式，有：

接下来估计输入图像的红色通道的传输系数，水下的景物点离摄像机的距离越远，红色光被吸收的能量就越多，红色通道的能量衰减也就越多。本实施例在下一节通过电磁理论来估计红色通道因水透射系数t_α(x)。

3、使用电磁理论估计红色通道传输系数t_R

在(6)式中，已知t_R(x)＝t_β(x)t_α(x)。前面已经估计出蓝绿通道的传输系数t_BG(x)。接下来只需计算出t_α(x)，即可得到t_R(x)。在(4)式中已知t_α(x)可表示为：

其中，d(x)为目标距相机的距离，α^R为水吸收导致红色通道光衰减的衰减系数。接下来用电磁理论求取这两个量。

首先，电磁波在空气中传播的波阻抗Z_a可表示为：

Z_a是恒定不变的。水是良好的电介质，在良好的电介质中，衰减系数α可以定义为：

对于红色通道，可以使用以下公式得到衰减系数：

其中，n^R表示红色通道的光波在水下传播时的折射率。

(17)式已经求出了蓝绿通道的传输系数t_BG(x)，接下来只需求解距离d(x)，光线在水下传输时，随着距离的增加，能量损耗会越剧烈。d(x)可用下式得到：

其中，Nrer(λ)表示归一化剩余能量比，对应于传播每单位距离的剩余能量与初始能量的比值，归一化剩余能量比Nrer(λ)取决于发射光的波长，这里取蓝色通道的归一化剩余能量比Nrer(B)＝0.95。

由(18)式，(21)式和(22)式可以得到t_α，并由此得到红色通道传输系数t_R(x)。

由(5)式和(6)式可知，使用下面的公式便得到清晰的图像：

蓝绿通道复原公式：

红色通道复原公式：

实施例2

本实施例用于考察实施例1方法对水下图像还原的实际效果。

为了验证本发明方法的有效性，选取不同环境下的多幅图像进行实验，并与原图像、文献披露的另外两种方法处理后的图像进行对比。实验结果如图4～6 所示。从实验结果中，可以看出在不同的水下环境中，b组方法直接将暗原色先验理论应用于水下图像处理，忽略了光因水的吸收产生的衰减，无法正确估计出水下环境的背景光和透射率，从而导致处理效果不明显。c组方法虽然考虑到了光因水的吸收产生的衰减，但没有正确的估计出各个通道的透射系数，导致处理后的图像去模糊效果很好，但颜色会出现失真。而本发明方法可以正确的估计出各个通道的传输系数，从而很好的去除水下图像的模糊，并对色彩进行补偿，使复原的图像细节明显，清晰，色彩自然。

在此基础上，进一步用图像的清晰度、对比度指标对实验结果图进行客观评价，这里用平均梯度来表征清晰度，表达式为：

G(x,y)＝dxi+dyj (25)

其中，dxi＝I(i+1,j)-I(i,j)，dyj＝I(i,j+1)-I(i,j)。

对比度的表达式为：

C＝∑δ(i,j)²P_δ(i,j) (26)

其中，δ(i,j)＝|i-j|，即相邻像素间灰度差；P_δ(i,j)为相邻像素间的灰度差为δ的像素分布概率。

结果如表1和表2所示：

表1三组图像清晰度对比

表2三组图像对比度对比

由表1和表2可看出，和原图像相比，b组方法处理的结果在清晰度和对比度上的提升很小。c组方法和本发明方法都对图像的清晰度和对比度有很大提升，但c组方法的方法有时会出现颜色失真严重，本发明方法不光提高了图像的对比度和清晰度，且能够补偿颜色的失真，在主观评价和客观评价都能获得满意的效果。

水下成像环境比空气环境要复杂多变，致使采集的水下图像存在对比度低、模糊和颜色失真等问题。水对不同波长的光的吸收程度不同，导致各颜色通道的透射率不相同，所以DCP理论不能直接用于水下图像处理。本发明依据光在水下的传播特性建立水下光学成像模型，考虑到红色波段的光被水吸收最严重，用电磁波传输理论来估计红色通道的传输系数。本发明方法可以有效的估计出背景光及各通道的传输系数，对图像颜色进行补偿。实验结果表明，与传统的水下图像复原算法相比，本发明可以有效地提高图像对比度、清晰度，改善颜色失真。

以上对本发明的实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，并不用以限制本发明。凡在本发明的申请范围内所做的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于电磁理论的水下图像色彩补偿方法，其特征在于：依据以下式(23)对图像的蓝绿通道执行复原；同时，依据以下式(24)对图像的红色通道执行复原；

式(23)中，J(x,λ)表示复原后的蓝绿通道光强，I(x,λ)表示图像原始的蓝绿通道光强，B(λ)表示水体背景光的光强，t_BG(x)表示蓝绿通道的传输系数；

式(24)中，J(x,λ)表示复原后的红色通道光强，I(x,λ)表示图像原始的红色通道光强，B(λ)表示水体背景光的光强，t_BG(x)表示蓝绿通道的传输系数，e表示自然常数，α^R表示水吸收导致红色通道光衰减的衰减系数。

2.根据权利要求1所述的一种基于电磁理论的水下图像色彩补偿方法，其特征在于，水体背景光的光强B(λ)是通过以下方法求得的：

1)选取由G，B通道获得的暗原色中亮度最大的0.1％的像素，记录像素位置信息；

2)获得这些像素对应原始图像位置的R，G，B三个通道的像素值；

3)分别求取这些像素在三个通道的平均值，即为B(λ)，其中λ∈(R,G,B)。

3.根据权利要求1所述的一种基于电磁理论的水下图像色彩补偿方法，其特征在于，蓝绿通道的传输系数t_BG(x)是依据以下式(17)求得的：

式(17)中，t_BG(x)表示蓝绿通道的传输系数，B(λ)表示水体背景光的光强，I^c(x)]表示原图像R、G、B三个颜色通道的光强，Ω(y)表示图像区域。

4.根据权利要求1所述的一种基于电磁理论的水下图像色彩补偿方法，其特征在于，水吸收导致红色通道光衰减的衰减系数α^R是依据以下式(21)求得的

式(21)中，n^R表示红色通道的光波在水下传播时的折射率，Z_a表示电磁波在空气中传播的波阻抗。

5.根据权利要求1所述的一种基于电磁理论的水下图像色彩补偿方法，其特征在于，该方法还进一步求得红色通道的传输系数t_R(x)，所述红色通道的传输系数t_R(x)是依据以下式(27)、式(28)、式(18)、式(21)、式(22)求得的：

t_R(x)＝t_β(x)t_α(x)(27)

t_BG(x)＝t_β(x)(28)

其中，t_BG(x)表示蓝绿通道的传输系数，n^R表示红色通道的光波在水下传播时的折射率，Z_a表示电磁波在空气中传播的波阻抗，Nrer(λ)表示归一化剩余能量比。

6.根据权利要求4或5所述的一种基于电磁理论的水下图像色彩补偿方法，其特征在于，所述电磁波在空气中传播的波阻抗Z_a恒定为377。

7.根据权利要求5所述的一种基于电磁理论的水下图像色彩补偿方法，其特征在于，所述归一化剩余能量比Nrer(λ)为0.95。