CN106570839A - 基于Red Channel先验的水下图像清晰化方法 - Google Patents

Abstract

本发明公开了一种基于Red Channel先验的水下图像清晰化方法，首先，基于New Optical模型和Red Channel先验的水下图像复原方法建立图像清晰化模型；然后，针对输入的水下图像选取红通道最大值所在的点作为图像最亮点，从而得到该水下图像的背景光；其次，将水下图像由RGB颜色空间转换到CIE Lab颜色空间，并判断光照环境中是否存在人工光源，进而得到局部域内恒定的散射比；并计算水下图像RGB三个通道的衰减比，最终利用所建模型将水下图像复原为清晰图像。经过本发明方法处理后的复原图像不但能有效增强图像的对比度，还能很好地处理三通道透射率估计不准确带来的色偏问题。

Description

基于Red Channel先验的水下图像清晰化方法

技术领域

本发明属于计算机图像处理领域，尤其涉及一种基于Red Channel先验的水下图像清晰方法。

背景技术

水下拍摄图像时，由于水中的有机物和悬浮颗粒物会对光产生吸收和散射效应，造成图像对比度下降，场景可见范围缩小，色彩缺失等，给水下目标搜索、侦查和监视等带来很大困难。因此，有效增强水下图像的清晰度在计算机视觉应用领域和数字图像处理领域亟待解决。

水下图像清晰化方法根据是否依据具体的成像模型可以分为图像增强方法和图像复原方法。图像增强方法主要有直方图拉伸、图像滤波、Retinex算法和图像融合等。图像复原方法中最为典型和有效的是根据水下图像和雾天图像相似的成像模型，利用基于暗通道先验的去雾方法实现水下图像复原^[1][2]。但基于暗通道先验方法在计算暗通道值过程中，采用的最小化操作使得所求暗通道值很可能是红通道分量，令暗通道值偏小导致估计的透射率偏大，复原图像偏暗。Galdran等人^[3]提出Red Channel先验，该先验本质上是暗通道先验的一种变形。根据红通道衰减最严重这一事实将暗通道先验中红通道反转，当存在人工光源时，将饱和度加入该先验中，能够减弱人工光源对透射率的影响。该方法虽然指出了三通道透射率之间的关系，但是并没有分开求解三通道透射率，而是通过对背景光加权调整各颜色分量，减小采用统一透射率对颜色恢复的影响。该算法虽然能较好地处理自然光照下的水下图像和存在人工光源的水下图像，但在颜色恢复方面还有待提高。

[参考文献]

[1]He Kai-ming,Sun Jian,and Tang Xiao-ou.Single image haze removalusing dark channel prior[J].IEEE Transactions on Pattern Analysis and MachineIntelligence,2011,33(12):2341-2353。

[2]Wen H,Tian Y,Huang T,et al.Single underwater image enhancementwith a new optical model[C].IEEE International Symposium on Circuits&Systems.IEEE,2013:753-756。

[3]Adrian Galdran,David Pardo,Artzai Picón,et al..Automatic Red-Channel underwater image restoration[J].Journal of Visual Communication&ImageRepresentation,2015,26(2015):132-145。

[4]Gould R W,Arnone R A,Martinolich P M.Spectral dependence of thescattering coefficient in case 1and case 2waters[J].Applied Optics,1999,38(12):2377-2383。

[5]J Y Chiang,Yingching Chen.Underwater image enhancement bywavelength compensation and dehazing[J].IEEE Transactions on ImageProcessing,2012,21(4):1756-1769。

[6]Yujie Li,Huimin Lu,Lifeng Zhang,et al..Real-time visualizationsystem for deep-sea surveying[J].Mathematical Problems in Engineering,2014,2014(1):809-812。

发明内容

针对上述问题，本发明提出一种基于Red Channel先验的水下图像清晰化方法。首先根据图像前景亮度的均值和背景亮度的均值判断水下图像是否存在人工光源，若存在人工光源则计算图像的饱和度；然后基于文献[2]提出的New Optical模型对文献[3]提出的模型进行改进，利用Red Channel先验估计图像的散射比，通过判断图像中哪一通道因水的衰减衰减程度最低，计算对应通道的衰减比；然后利用光学特性参数之间的关系计算另外两个通道的衰减比，得到最终的复原图像。该方案不仅能有效增强图像的对比度，还能很好地处理三通道透射率估计不准确带来的色偏问题。

为了解决上述技术问题，本发明提出的一种基于Red Channel先验的水下图像清晰化方法，包括以下步骤：

步骤1、建立图像清晰化模型：

式(1)中，λ∈{R,G,B}，I_λ(x)为获得的水下图像，J_λ(x)为清晰图像，B_λ,∞为背景光强度；表示衰减比，t^β表示散射比；

步骤2、输入水下图像I_λ，选取红通道最大值所在的点x₀作为图像最亮点，得该水下图像I_λ的背景光：

B_λ，∞＝(I_R(x₀),I_G(x₀),I_B(x₀)) (2)

步骤3、将水下图像I_λ由RGB颜色空间转换到CIE Lab颜色空间，提取该水下图像I_λ的亮度分量L，将亮度分量L分为大小相同的上下两部分，上部分为背景，下部分为前景，分别计算背景亮度的均值和前景亮度的均值，当前景亮度的均值大于背景亮度的均值时，则认为光照环境存在人工光源，否则认为光照环境不存在人工光源；

步骤4、设：散射比t^β在局部域内为常数，并表示为

如果光照环境不存在人工光源，得散射比

如果光照环境存在人工光源，得散射比

式(3)和式(4)中，y∈Ω(x)表示以x为中心的图像块，sat表示图像的饱和度，μ＝0.5。

步骤5、计算水下图像I_λ最小衰减通道的衰减比：分别计算水下图像I_λRGB通道中G、B通道的均值，若G通道的均值较大，则G通道为最小衰减通道，其衰减比为若B通道的均值较大，则B通道为最小衰减通道，其衰减比为

步骤6、计算水下图像I_λ另外两个通道的衰减比：根据步骤5得到的一个通道的衰减比及光的散射系数与波长的关系，得到另外两个通道的衰减比；

步骤7、最终复原的图像即为清晰图像

与现有技术相比，本发明的有益效果是：

本发明提出的基于Red Channel先验的水下图像清晰化方法是通过将NewOptical模型与Red Channel先验算法结合，从而准确获取图像的散射比和衰减系数，得到清晰图像。

附图说明

图1(a)、图1(b)和图1(c)是自然光照下，本发明图像清晰化方法与文献[3]算法所得结果的对比；图1(a)为原始图像，C＝12.70，K＝1.94；图1(b)是采用文献[3]提供的基于Red Channel先验的水下图像复原方法处理后的图像，C＝19.86，K＝1.61；图1(c)是本发明图像清晰化方法处理后的图像，C＝18.16，K＝1.45；

图2(a)、图2(b)和图2(c)是人工光源下，本发明图像清晰化方法与文献[3]算法所得结果的对比；图2(a)为原始图像，C＝15.85，K＝2.05；图2(b)是采用文献[3]提供的基于Red Channel先验的水下图像复原方法处理后的图像，C＝20.70，K＝1.53；图2(c)是本发明图像清晰化方法处理后的图像，C＝21.50，K＝2.10；

图3(a)、图3(b)和图3(c)是自然光照下，本发明图像清晰化方法与文献[5]算法所得结果的对比；图1(a)为原始图像，C＝16.37，K＝2.78；图1(b)是采用文献[5]提供的基于波长补偿的水下图像增强算法处理后的图像，C＝29.63，K＝2.03；图1(c)是本发明图像清晰化方法处理后的图像，C＝41.32，K＝1.87；

图4(a)、图4(b)和图4(c)是自然光照下，本发明图像清晰化方法与文献[6]算法所得结果的对比；图1(a)为原始图像，C＝13.27，K＝2.46；图1(b)是采用文献[6]提供的实时可视化图像增强方法处理后的图像，C＝15.75，K＝1.96；图1(c)是本发明图像清晰化方法处理后的图像，C＝24.90，K＝1.94。

具体实施方式

下面结合附图和具体实施例对本发明技术方案作进一步详细描述，所描述的具体实施例仅对本发明进行解释说明，并不用以限制本发明。

为了便于理解本发明的设计思路，对有关基本原理进行如下描述：

(1)图像清晰化的基本原理

水下成像模型为：

I_λ(x)＝J_λ(x)t(x)+(1-t(x))B_λ,∞ (1)

其中，λ∈{R,G,B}，I_λ(x)为获取的水下图像，J_λ(x)为清晰图像，t(x)为透射率，B_λ,∞为背景光强度。

假设背景光B_λ,∞已知，根据暗通道先验理论^[1]，可得图像的透射率：

1-1)无人工光源时的Red Channel先验

文献[3]提出将成像模型按照三通道进行拆分，并对R通道的表达式进行整理，如下所示：

1-I_R(x)＝t(x)(1-J_R(x))+(1-t(x))(1-B_R,∞)

I_G(x)＝t(x)J_G(x)+(1-t(x))B_G,∞

I_B(x)＝t(x)J_B(x)+(1-t(x))B_B,∞ (3)

式(3)与水下图像成像模型式(1)是完全等价的。由于R通道衰减最严重，对暗通道先验整理得到以下Red Channel先验：

当场景中的某一点在近景处，也就是景深较小处时，R通道衰减微弱，相对于G、B分量，1-J_R较小，先验成立。随着景深的增加，红色光迅速衰减，当场景中的某一点位于远景处时，R通道衰减严重，可以依据G、B通道的信息计算暗通道值，先验成立，且可避免严重衰减的R通道对透射率估计的影响。

将式(3)中的三个式子整理成向量的形式：

假设背景光已知，且透射率在局部域中为常数，用表示。对式(5)两端的三个分量同时进行最小化块操作：

再对式(6)两端取最小值：

利用式(4)的Red-Channel先验，可求出图像的透射率，如下所示：

透射率满足[0,1]区间内的要求，即：

文献[3]中，根据散射系数与波长的关系，指出了三通道透射率的关系：

由于衰减系数并不容易获取，作者将式(8)估计的透射率作为全局透射率，通过对背景光加权调整各颜色分量的作用，减小不分开计算三通道透射率带来的影响。在没有人工光源的情况下，最终复原方法如下所示：

ρ_λ＝1-B_λ,∞

(12)

加入t₀项是为了避免透射率过小，t₀取值范围是[0.2,0.3]。

1-2)存在人工光源时的Red Channel先验

当存在人工光源时，照明区域的像素点辐射度大幅度提高，根据式(8)估计的该区域的透射率偏小，影响算法复原效果。文献[3]中提出在存在人工光源时，将饱和度作为第四个分量加入Red Channel先验中，可减弱人工光源对透射率估计的影响。

在图像中，像素的饱和度代表这个像素色度的纯净度。当像素的色度纯粹时，其饱和度高。存心人工光源照明的情况下，因采用的光源一般为白色光，白色光含有所有可见光波段，被照明的场景中像素点的饱和度肯定会下降。饱和度的定义如下所示：

当场景中不存在人工光源时，像素的饱和度肯定是远离0的。而当场景中使用人工光源照明时，光源中各波段的可见光会对像素的颜色进行一定的补偿，使得像素颜色的三个分量的值趋向于均匀。因此在这种情况下饱和度Sat(I(x₀))是趋向于0的。可以通过设置阈值，判断水下图像中是否存在人工光源。当饱和度低于该阈值时，判断存在人工光源，否则不存在。

将饱和度Sat(I(x))作为第四个分量加入式(4)中：

μ＝0.5，用于调整饱和度在先验中的作用。使用该Red Channel先验估计的透射率表示如下：

当被人工光源照明的区域位于近景时，根据式(8)估计的透射率偏小，判断该区域位于远景处，而使用式(16)估计透射率时，因使用人工光源，饱和度趋向于0，减弱了高亮度值对透射率估计的影响，不会将照明区域位置误判为远景，提高图像的复原质量。

当判断存在人工光源时，使用式(15)表示的Red Channel先验估计透射率，代入式(11)中得到最终的复原图像。

(2)上述图像清晰化方法只是一个常规的图像方法，不能充分体现场景光的衰减作用和背景光的散射作用；针对RGB通道只能获得一个透射率，没有按照各通道进行求取，使得透射率的精确度受到影响，从而最终处理后的图像在对比度和亮度上都不能达到满意的效果。

(3)本发明的设计思路：文献[2]提出的New Optical模型充分考虑了光在水下的吸收和散射特性，充分体现了场景光的衰减作用和背景光的散射作用。因此，本发明基于文献[2]提出的New Optical模型，对文献[3]提出的基于Red Channel先验的水下图像复原方法进行改进。利用图像前景和背景的亮度判断水下图像是否存在人工光源，减少饱和度低的暗色物体或白色物体对人工光源误判的可能性。利用Red Channel先验估计图像的散射比，通过判断图像中哪一个通道因水的吸收衰减程度最低，计算对应通道的衰减比。然后利用光学特性参数之间的关系计算另外两个通道的衰减比，得出最终的复原图像。

本发明提出的一种基于Red Channel先验的水下图像清晰化方法，包括以下步骤：

步骤1、建立图像清晰化模型：

式(16)中，λ∈{R,G,B}，I_λ(x)为获取的水下图像，J_λ(x)为清晰图像，B_λ,∞为背景光强度；表示衰减比，t^β表示散射比；

步骤2、输入水下图像I_λ，选取红通道最大值所在的点x₀作为图像最亮点，得该水下图像I_λ的背景光：

B_λ，∞＝(I_R(x₀),I_G(x₀),I_B(x₀)) (17)

步骤3、将水下图像I_λ由RGB颜色空间转换到CIE Lab颜色空间，提取该水下图像I_λ的亮度分量L，将亮度分量L分为大小相同的上下两部分，上部分为背景，下部分为前景，分别计算背景亮度的均值和前景亮度的均值，当前景亮度的均值大于背景亮度的均值时，则认为光照环境存在人工光源，否则认为光照环境不存在人工光源；

步骤4、设：散射比t^β在局部域内为常数，并表示为如果图像不存在人工光源，将式(16)写成式(5)形式，对其取最小化操作并结合式(4)介绍的Red Channel先验，可得散射比

如果图像存在人工光源，结合文献[3]中存在人工光源求透射率的方法，可求得散射比

式(18)和式(19)中，y∈Ω(x)表示以x为中心的图像块，sat表示图像的饱和度，μ＝0.5。

步骤5、计算水下图像I_λ最小衰减通道的衰减比：由于R通道的衰减最大，只需计算G、B通道的均值就可得到较小衰减通道，均值越大衰减越小。因此，只需分别计算水下图像I_λRGB通道中G、B通道的均值，若G通道的均值较大，则G通道为最小衰减通道，其衰减比为若B通道的均值较大，则B通道为最小衰减通道，其衰减比为

步骤6、计算水下图像I_λ另外两个通道的衰减比：根据文献[4]提出的光的散射系数与波长的关系，可以得到R、G、B通道的衰减系数比，并结合步骤5得到的一个通道的衰减比(或)，得到另外两个通道的衰减比；

步骤7、最终复原的图像即为清晰图像

为了验证本发明提出的方法的有效性，将本发明方法与文献[3]提出的基于RedChannel先验的水下图像复原方法处理后的图像进行对比，图1(a)、图1(b)和图1(c)是自然光照下的实验结果，图1(b)示出了基于Red Channel先验的水下图像复原方法(文献[3])虽然能够显著增强图像对比度，但处理后图像中珊瑚与礁石偏咖啡色，色彩失真严重。图1(c)示出了本发明方法处理后的水下图像清晰度高，在色偏方面优于文献[3]提出的算法，而且能很好的保持水下图像的主色调，视觉效果更自然。

图2(a)、图2(b)和图2(c)是人工光源下，本发明方法与文献[3]提出的基于RedChannel先验的水下图像复原方法处理后的图像进行实验的结果对比。通过图2(b)和图2(c)可以看出，本发明方法与基于红通道的水下图像复原方法处理后的图像，其对比度上均能做到一定程度的改善，但是基于Red Channel先验的水下图像复原方法(文献[3])处理的图像颜色偏红，尤其是在亮斑区域特别明显，而本发明处理后的图像在视觉上要比文献[3]更容易接受。

图3(a)、图3(b)和图3(c)是自然光照下本发明方法与文献[5]比较结果，图4(a)、图4(b)和图4(c)是自然光照下本发明与文献[6]比较结果。由效果图可知，本发明方法在提高水下图像的清晰度的同时，减弱了原始图像中的色偏问题，较好的保持了水下图像的主色调，视觉效果更自然。从客观指标上看，所提方法也在图像对比度和色偏问题上优于文献[5]和文献[6]算法。

为了客观评价本发明方法，使用文献[4]中提出的一种鲁棒的色偏检测方法说明彩色图像色偏情况。计算的K值越大，表示图像色偏越严重。

其中，mean_a，mean_b分别表示Lab颜色空间中a,b两个分量的均值，M_a，M_b分别表示a,b两个分量的均方差，σ²为L分量的方差，Thres为阈值。

于此同时，使用Lab颜色空间的L分量计算图像的对比度C，C越大说明细节越清晰。

MN表示图像像素点个数，L(x)表示像素点x处亮度。

尽管上面结合附图对本发明进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨的情况下，还可以做出很多变形，这些均属于本发明的保护之内。

Claims (1)

1.一种基于Red Channel先验的水下图像清晰化方法，其特征在于：包括以下步骤：

步骤1、建立图像清晰化模型：

$\begin{array}{c}1-I_R\left(x\right)=t_R^{\mathrm{\α}}\left(x\right)(1-J_R(x\left)\right)+t^{\mathrm{\β}}\left(x\right)(1-B_{R,\mathrm{\∞}})\\ I_G\left(x\right)=t_G^{\mathrm{\α}}\left(x\right)J_G\left(x\right)+t^{\mathrm{\β}}\left(x\right)B_{G,\mathrm{\∞}}\\ I_B\left(x\right)=t_B^{\mathrm{\α}}\left(x\right)J_B\left(x\right)+t^{\mathrm{\β}}\left(x\right)B_{B,\mathrm{\∞}}\end{array}---\left(1\right)$

式(1)中，λ∈{R,G,B}，I_λ(x)为获取的水下图像，J_λ(x)为清晰图像，B_λ,∞为背景光强度；表示衰减比，t^β表示散射比；

步骤2、输入水下图像I_λ，选取红通道最大值所在的点x₀作为图像最亮点，得该水下图像I_λ的背景光：

B_λ，∞＝(I_R(x₀),I_G(x₀),I_B(x₀)) (2)

步骤3、将水下图像I_λ由RGB颜色空间转换到CIE Lab颜色空间，提取该水下图像I_λ的亮度分量L，将亮度分量L分为大小相同的上下两部分，上部分为背景，下部分为前景，分别计算背景亮度的均值和前景亮度的均值，当前景亮度的均值大于背景亮度的均值时，则认为光照环境存在人工光源，否则认为光照环境不存在人工光源；

步骤4、设：散射比t^β在局部域内为常数，并表示为

如果光照环境不存在人工光源，得散射比

${\hat{t}}^{\mathrm{\β}}=\min (\frac{\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min (1-I_R(y\left)\right)}}{B_{R,\mathrm{\∞}}},\frac{\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min \left(I_G\right(y\left)\right)}}{B_{G,\mathrm{\∞}}},\frac{\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min \left(I_B\right(y\left)\right)}}{B_{R,\mathrm{\∞}}})---\left(3\right)$

如果光照环境存在人工光源，得散射比

${\hat{t}}^{\mathrm{\β}}=\min (\frac{\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min (1-I_R(y\left)\right)}}{B_{R,\mathrm{\∞}}},\frac{\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min \left(I_G\right(y\left)\right)}}{B_{G,\mathrm{\∞}}},\frac{\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min \left(I_B\right(y\left)\right)}}{B_{R,\mathrm{\∞}}},\underset{y\∈\mathrm{\Ω}\left(x\right)}{\mathrm{\μ}\min sat\left(y\right)})---\left(4\right)$

式(3)和式(4)中，y∈Ω(x)表示以x为中心的图像块，sat表示图像的饱和度，μ＝0.5。

步骤5、计算水下图像I_λ最小衰减通道的衰减比：分别计算水下图像I_λRGB通道中G、B通道的均值，若G通道的均值较大，则G通道为最小衰减通道，其衰减比为若B通道的均值较大，则B通道为最小衰减通道，其衰减比为

步骤6、计算水下图像I_λ另外两个通道的衰减比：根据步骤5得到的一个通道的衰减比及光的散射系数与波长的关系，得到另外两个通道的衰减比；

步骤7、最终复原的图像即为清晰图像