CN106485681A - 基于颜色校正和红通道先验的水下彩色图像复原方法 - Google Patents

Abstract

本发明提供一种基于颜色校正和红通道先验的水下彩色图像复原方法。首先，采用Retinex算法消除水下的不均匀光照；其次，采用结合朗伯特漫反射模型与灰度世界算法的方式进行光源颜色的估计，并引入光在水下的衰减成像模型进行改进，消除光源颜色从而实现颜色校正；最后，利用红通道先验方法对颜色校正后的水下图像进行复原。因此，本发明提供的方法可以在有效实现水下彩色图像复原的同时，消除光照不均和颜色失真。

Description

基于颜色校正和红通道先验的水下彩色图像复原方法

技术领域

本发明涉及一种基于颜色校正和红通道先验的水下彩色图像复原方法，属于图像处理技术领域。

背景技术

近年来，随着水下环境感知需求的增加，水下成像技术得到了迅猛发展，主要被用于水下勘测、水下机器人、海洋生物监测及海洋军事等方面。然而水下成像与大气成像有很大的不同，受水下光的散射和衰减作用的影响，采集得到的水下光学图像具有对比度低、雾化严重、光照不均等特点，给图像的人工判读和自动解析带来了极大的困难。因此，研究水下光学图像复原技术，还原水下图像的真实面貌，对水下目标探测与识别、海洋资源勘探与监测、水下工程监测等领域的应用具有重要意义。

图像复原方法是针对失真或者降质的图像，恢复图像原始的内容或者质量。一般来说，此类方法会包含对图像退化模型的分析，再进行逆推，达到复原的效果。复原方法得到的图像大都有较好的色彩保真度，与其原貌有较高的相似性。图像复原分为两种情况，一种是缺乏图像先验，另一种是拥有丰富的图像先验，通常后者比前者能够获得更好的复原效果。而在已有的对水下图像复原技术的研究中，以建立水下成像系统的退化模型为主要手段。Hou等人使用联合点扩散函数和调制传递函数来解决水下图像的模糊效应。Grosso和Voss通过实验的方法测量水下的光学传递函数，测量精度较高。刘智深等人则利用海洋辐射传递的变换来计算海水中的光学传递函数。虽然上述方法在某种程度上能够修复水下图像的模糊效应，改善对比度和可见度，但这些方法都需要测量指定水域的水下退化系统的相关光学特性，增加了工作量，灵活性低。

暗通道图像先验，基于经观察得到的一个关键事实——绝大多数的户外无雾图像的每个局部区域都存在某些至少一个颜色通道的强度值很低的像素。即绝大多数非天空的图像部分里，总会有某些像素的值在至少一个颜色通道内非常小。也就是说，暗通道即该部分的像素点强度的最小值，是个极小的数，可能近似于零。

不幸的是，水下环境引起的退化使得不能直接使用暗通道先验复原方法。光的吸收特性，在大气中是有限的，而在水下环境中，对图像颜色的缺失影响巨大。其对蓝、绿色波段吸收少，但对红色波段吸收多。在这情况下，暗通道先验并不适用，因为无论图像退化与否，几乎总有一个颜色通道的强度很低，即红通道。因此，利用红通道的水下波长随景深的衰减规律，可以对暗通道先验进行修正，得到适用于水下成像环境的红通道先验模型。

另一方面，水下成像若位于浅水，自然光源的照射使得水下图像靠近水面的部分亮度较高，远离水面的部分亮度较低。水下成像若位于深水，自然光源难以照射，若用人工光源辅助，以照射光束中心点为最强，向周围逐渐减弱。因此，水下图像往往存在光照不均的现象。而Retinex算法利用人眼感知亮度和彩色的恒常性，来实现不同照度下图像细节的增强，使得图像的整体亮度变得均衡，有利于消除不均匀光照，能较好地解决水下图像亮度不均匀的问题。

基于红通道先验对于水下图像去模糊的优势，同时引入颜色校正处理和Retinex算法消除光照不均，本发明提出了一种基于颜色校正和红通道先验的水下彩色图像复原方法，可以有效地增强水下图像的清晰度和对比度，消除不均匀光照，提高图像色彩的保真度。专利检索及对国内外各种科技文献的最新检索表明，尚未有一种结合Retinex、颜色校正与红通道先验的水下彩色图像复原方法见诸文献。

发明内容

目的：为了克服现有技术中存在的不足，本发明提供一种基于颜色校正和红通道先验的水下彩色图像复原方法。

技术方案：为解决上述技术问题，本发明采用的技术方案为：

一种基于颜色校正和红通道先验的水下彩色图像复原方法，包括以下步骤：

步骤一：对原彩色图像从RGB颜色空间转换为YIQ颜色空间，对其中的亮度分量Y进行Retinex算法处理，其它分量I、Q保持不变，然后再从YIQ颜色空间转换到RGB颜色空间，得到消除光照不均后的彩色图像。

步骤二：对步骤一得到的彩色图像计算红通道先验图像、背景光和景深。

步骤三：利用水的散射系数和不同颜色光的波长的关系，并结合步骤二得到的背景光，以蓝色光为参照，计算红、绿颜色通道相对于蓝颜色通道衰减系数的比值。再利用上述比值和步骤二得到的景深，计算红、绿、蓝色光在相同传播距离下的衰减因子。

步骤四：采用步骤三得到的RGB三个颜色通道的衰减因子，根据水下衰减成像模型对步骤一得到的彩色图像进行补偿，再结合朗伯特漫反射模型与灰度世界算法来估计光源颜色。再对经补偿后的图像消除光源颜色，得到颜色校正后的图像。

步骤五：由步骤四得到的颜色校正后的图像计算红通道先验图像、背景光和红通道的透射率。再根据绿、蓝颜色通道相对于红通道的衰减系数比值，来修正绿、蓝颜色通道的的透射率。

步骤六：由红通道先验图像复原的公式计算得到复原图像。

其中，所述步骤一中，RGB到YIQ颜色空间的转换公式为：

所述步骤一中，Retinex算法处理：

其中，采用的是Retinex算法中的多尺度加权平均的Retinex算法(MSR)。r(x,y)是输出图像，F(x,y)是高斯滤波函数，S(x,y)是输入图像，K是尺度的个数，w是每个尺度的权重。优选地，K＝3，并取w₁＝w₂＝w₃＝1/3。

所述步骤二和五中，红通道先验图像的求取：

其中，I_red是经步骤一得到的图像I的红通道先验图像。Ω(x)是以x为中心的小块。I_R,I_G,I_B分别是图像I的红、绿、蓝颜色通道。y表示Ω(x)像块中的任一像素点。

所述步骤二和五中，背景光的计算。首先在红通道先验图像中挑选前10％的最亮像素点，再在上述像素点中取一个由低到高排列在前四分之一处的像素点，其像素值即为背景光的值。

所述步骤二中，景深的计算：

其中，Ω(x)是以像素点x为中心的小块。I_λ,λ∈{R,G,B}分别是经步骤一得到的图像I的红、绿、蓝颜色通道。y表示Ω(x)像块中的任一像素点。

所述步骤三中，水中光的散射系数和不同颜色光的波长的关系为：

b_λ＝(-0.00113·m+1.62517)b_λr

其中，b_λ为所求光的波长的散射系数，b_λr为参考光的波长的散射系数，m为所求光的波长，单位为纳米(nm)。

不同颜色通道的相对衰减系数的比值为：

其中，b_λ,λ∈{R,G,B}为光在水下的散射系数，c_λ,λ∈{R,G,B}是光在水下的衰减系数，B_λ,λ∈{R,G,B}为背景光。

不同颜色通道的衰减因子为d_λ(x),λ∈{R,G,B}：

d_B(x)＝e^-dep(x)

其中，x为像素点，dep(x)为景深。

所述步骤四中，光源颜色计算公式为：

其中，I_λ(x),λ∈{R,G,B}是经步骤一得到的彩色图像，e_λ是光源的颜色，p,k是常数。p值取[1,10]之间的整数，优选地，取p＝6，k取[0,1]之间。

颜色校正公式为：

其中，I′_λ(x),λ∈{R,G,B}是颜色校正后的彩色图像。e_λ(x)是光源的颜色。

所述步骤五中，红通道的透射率计算公式为：

其中，w是一个介于[0,1]之间的常数，优选地，取w＝0.95。A_λ,λ∈{R,G,B}为校正后三个颜色通道的背景光。

透射率修正公式为：

其中，T_R(x)，T_G(x)，T_B(x)分别为红、绿、蓝颜色通道的透射率。

所述步骤六中，红通道先验图像复原公式为：

其中，t₀是一个介于[0,1]之间的常数。

本发明所达到的有益技术效果：

通过采用上述技术方案，本发明的优点是，引入Retinex算法消除水下光照不均的问题，再采用结合朗伯特漫反射模型与灰度世界算法的方式进行光源颜色的估计，并引入光在水下的衰减成像模型进行改进，消除光源颜色从而实现颜色校正，最后通过利用红通道先验方法对颜色校正后的图像进行复原。因此，本方法在对水下彩色图像有效复原的同时，消除了光照不均和颜色失真。

附图说明

图1为本发明的流程意图。

具体实施方式

为了审查员能更好地了解本发明的技术特征、技术内容及其达到的技术效果，现将本发明结合实施例进行更详细的说明。然而，所示附图，只是为了更好地说明本发明的技术方案，所以，请审查员不要就附图限制本发明的权利要求保护范围。

如图1所示，基于颜色校正和红通道先验的水下彩色图像复原方法，包括以下步骤：

(1)对原彩色图像从RGB颜色空间转换为YIQ颜色空间，对其中的亮度分量Y进行Retinex算法处理，其它分量I、Q保持不变，然后再从YIQ颜色空间转换到RGB颜色空间，得到消除光照不均后的彩色图像。

RGB到YIQ颜色空间的转换公式为：

Retinex算法处理：

其中，采用的是Retinex算法中的多尺度加权平均的Retinex算法(MSR)。r(x,y)是输出图像，F(x,y)是高斯滤波函数，S(x,y)是输入图像，K是尺度的个数，w是每个尺度的权重。优选地，K＝3，并取

w₁＝w₂＝w₃＝1/3。

(2)对步骤(1)得到的彩色图像计算红通道先验图像、背景光和景深。

景深的计算：

其中，Ω(x)是以像素点x为中心的小块。I_λ,λ∈{R,G,B}分别是经步骤(1)得到的图像I的红、绿、蓝颜色通道。y表示Ω(x)像块中的任一像素点。

(3)利用水的散射系数和不同颜色光的波长的关系，并结合步骤(2)得到的背景光，以蓝色光为参照，计算红、绿颜色通道相对于蓝颜色通道衰减系数的比值。再利用上述比值和步骤(2)得到的景深，计算红、绿、蓝色光在相同传播距离下的衰减因子。

水中光的散射系数和不同颜色光的波长的关系为：

b_λ＝(-0.00113·m+1.62517)b_λr

其中，b_λ为所求光的波长的散射系数，b_λr为参考光的波长的散射系数，m为所求光的波长，单位为纳米(nm)。

不同颜色通道的相对衰减系数的比值为：

其中，b_λ,λ∈{R,G,B}为光在水下的散射系数，c_λ,λ∈{R,G,B}是光在水下的衰减系数，B_λ,λ∈{R,G,B}为背景光。

不同颜色通道的衰减因子为d_λ(x),λ∈{R,G,B}：

d_B(x)＝e^-dep(x)

其中，x为像素点，dep(x)为景深。

(4)采用步骤(3)得到的RGB三个颜色通道的衰减因子，根据水下衰减成像模型对步骤(1)得到的彩色图像进行补偿，再结合朗伯特漫反射模型与灰度世界算法来估计光源颜色。再对经补偿后的图像消除光源颜色，得到颜色校正后的图像。

光源颜色计算公式为：

其中，I_λ(x),λ∈{R,G,B}是经步骤一得到的彩色图像，e_λ是光源的颜色，p,k是常数。p值取[1,10]之间的整数，优选地，取p＝6，k取[0,1]之间。

颜色校正公式为：

其中，I′_λ(x),λ∈{R,G,B}是颜色校正后的彩色图像。e_λ(x)是光源的颜色。

(5)由步骤(4)得到的颜色校正后的图像计算背景光和红通道的透射率。再根据绿、蓝颜色通道相对于红通道的衰减系数比值，来修正绿、蓝颜色通道的的透射率。

红通道的透射率计算公式为：

其中，w是一个介于[0,1]之间的常数，取w＝0.95。A_λ,λ∈{R,G,B}为校正后三个颜色通道的背景光。

透射率修正公式为：

其中，T_R(x)，T_G(x)，T_B(x)分别为红、绿、蓝颜色通道的透射率。

(6)由红通道先验图像复原的公式计算得到复原图像。

红通道先验图像复原公式为：

其中，t₀是一个介于[0,1]之间的常数。

本发明在具体实施过程中，所述步骤(2)和(5)中，红通道先验图像的求取：

其中，I_red是经步骤(1)得到的图像I的红通道先验图像。Ω(x)是以x为中心的小块。I_R,I_G,I_B分别是图像I的红、绿、蓝颜色通道。

所述步骤(2)和(5)中，背景光的计算是首先在红通道先验图像中挑选前10％的最亮像素点，再在上述像素点中取一个较亮的像素，其像素值即为背景光的值。该较亮的像素选取红通道强度值由低到高排列后的前四分之一处的像素点。

以上已以较佳实施例公布了本发明，然其并非用以限制本发明，凡采取等同替换或等效变换的方案所获得的技术方案，均落在本发明的保护范围内。

Claims (8)

1.一种基于颜色校正和红通道先验的水下彩色图像复原方法，其特征在于：包括如下步骤：

步骤一：对原彩色图像从RGB颜色空间转换为YIQ颜色空间，对其中的亮度分量Y进行Retinex算法处理，其它分量I、Q保持不变，然后再从YIQ颜色空间转换到RGB颜色空间，得到消除光照不均后的彩色图像；

步骤二：对步骤一得到的彩色图像计算红通道先验图像、背景光和景深；

步骤三：利用水的散射系数和不同颜色光的波长的关系，并结合步骤二得到的背景光，以蓝色光为参照，计算红、绿颜色通道相对于蓝颜色通道衰减系数的比值；再利用上述比值和步骤二得到的景深，计算红、绿、蓝色光在相同传播距离下的衰减因子；

步骤四：采用步骤三得到的RGB三个颜色通道的衰减因子，根据水下衰减成像模型对步骤一得到的彩色图像进行补偿，再结合朗伯特漫反射模型与灰度世界算法来估计光源颜色；再对经补偿后的图像消除光源颜色，得到颜色校正后的图像；

步骤五：由步骤四得到的颜色校正后的图像计算红通道先验图像、背景光和红通道的透射率；再根据绿、蓝颜色通道相对于红通道的衰减系数比值，来修正绿、蓝颜色通道的的透射率；

步骤六：由红通道先验图像复原的公式计算得到复原图像。

2.根据权利要求1所述的基于颜色校正和红通道先验的水下彩色图像复原方法，其特征在于：所述步骤一中，RGB到YIQ颜色空间的转换公式为：

$\left[\begin{array}{c}Y\\ I\\ Q\end{array}\right]=\left[\begin{array}{ccc}0.299& 0.587& 0.114\\ 0.596& -0.274& -0.322\\ 0.211& -0.523& 0.312\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

所述Retinex算法处理：

$r(x,y)=\underset{k=1}{\overset{K}{\Σ}}{w}_k\{\log S(x,y)-log\[F_k(x,y)*S(x,y)\]\}$

其中，采用的是Retinex算法中的多尺度加权平均的Retinex算法(MSR)，r(x,y)是输出图像，F(x,y)是高斯滤波函数，S(x,y)是输入图像，K是尺度的个数，w是每个尺度的权重。

3.根据权利要求2述的基于颜色校正和红通道先验的水下彩色图像复原方法，其特征在于：K＝3，取w₁＝w₂＝w₃＝1/3。

4.根据权利要求1所述的基于颜色校正和红通道先验的水下彩色图像复原方法，其特征在于：所述步骤二和五中，红通道先验图像的求取：

$I_{red}\left(x\right)=min\left(\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\right(1-I_R\left(y\right)),\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }(I_G\left(y\right)),\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }(I_B\left(y\right)\left)\right)\→0$

其中，I_red是经步骤一得到的图像I的红通道先验图像；Ω(x)是以x为中心的小块；I_R,I_G,I_B分别是图像I的红、绿、蓝颜色通道；y表示Ω(x)像块中的任一像素点；

背景光的计算：首先在红通道先验图像中挑选前10％的最亮像素点，再在上述像素点中取一个由低到高排列在前四分之一处的像素点，其像素值即为背景光的值；

所述步骤二中，景深的计算：

$dep\left(x\right)=\underset{y\∈\mathrm{\Ω}\left(x\right)}{min}\left(\underset{\mathrm{\λ}\∈\{R,G,B\}}{min}{I}_{\mathrm{\λ}}\right(y\left)\right)$

其中，Ω(x)是以像素点x为中心的小块；I_λ,λ∈{R,G,B}分别是经步骤一得到的图像I的红、绿、蓝颜色通道；y表示Ω(x)像块中的任一像素点；

所述步骤三中，水中光的散射系数和不同颜色光的波长的关系为：

b_λ＝(-0.00113·m+1.62517)b_λr

其中，b_λ为所求光的波长的散射系数，b_λr为参考光的波长的散射系数，m为所求光的波长，单位为纳米(nm)；

不同颜色通道的相对衰减系数的比值为：

$\frac{c_R}{c_B}=\frac{b_R{B}_B}{b_B{B}_R}$

$\frac{c_G}{c_B}=\frac{b_G{B}_B}{b_B{B}_G}$

$\frac{c_R}{c_G}=\frac{b_R{B}_G}{b_G{B}_R}$

其中，b_λ,λ∈{R,G,B}为光在水下的散射系数，c_λ,λ∈{R,G,B}是光在水下的衰减系数，B_λ,λ∈{R,G,B}为背景光；

不同颜色通道的衰减因子为d_λ(x),λ∈{R,G,B}：

d_B(x)＝e^-dep(x)

$d_R\left(x\right)=d_B{\left(x\right)}^{c_R/c_B}$

$d_G\left(x\right)=d_B{\left(x\right)}^{c_G/c_B}$

其中，x为像素点，dep(x)为景深。

5.根据权利要求1所述的基于颜色校正和红通道先验的水下彩色图像复原方法，其特征在于：所述步骤四中，光源颜色计算公式为：

${\left(\frac{\∫{\left(\frac{I_{\mathrm{\λ}}\left(x\right)}{d_{\mathrm{\λ}}\left(x\right)}\right)}^{p}dx}{\∫dx}\right)}^{1/p}={\mathrm{ke}}_{\mathrm{\λ}},\mathrm{\λ}\∈\{R,G,B\}$

其中，I_λ(x),λ∈{R,G,B}是经步骤一得到的彩色图像，e_λ是光源的颜色，p,k是常数；p值取[1,10]之间的整数，k值[0,1]之间；

颜色校正公式为：

$I_{\mathrm{\λ}}^{\′}\left(x\right)=\frac{\frac{I_{\mathrm{\λ}}\left(x\right)}{d_{\mathrm{\λ}}\left(x\right)}}{e_{\mathrm{\λ}}\left(x\right)},\mathrm{\λ}\∈\{R,G,B\}$

其中，I′_λ(x),λ∈{R,G,B}是颜色校正后的彩色图像；e_λ(x)是光源的颜色。

6.根据权利要求5述的基于颜色校正和红通道先验的水下彩色图像复原方法，其特征在于：所述p＝6。

7.根据权利要求1所述的基于颜色校正和红通道先验的水下彩色图像复原方法，其特征在于：所述步骤五中，红通道的透射率计算公式为：

$T_R\left(x\right)=1-w\·min(\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\frac{(1-I_R^{\′}(y\left)\right)}{1-A_R},\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\frac{I_G^{\′}\left(y\right)}{A_G},\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\frac{I_B^{\′}\left(y\right)}{A_B})$

其中，w是一个介于[0,1]之间的常数，A_λ,λ∈{R,G,B}为校正后三个颜色通道的背景光；

透射率修正公式为：

$T_G\left(x\right)={\left(T_R\right(x\left)\right)}^{c_G/c_R}$

$T_B\left(x\right)={\left(T_R\right(x\left)\right)}^{c_B/c_R}$

其中，T_R(x)，T_G(x)，T_B(x)分别为红、绿、蓝颜色通道的透射率；

所述步骤六中，红通道先验图像复原公式为：

$J_{\mathrm{\λ}}\left(x\right)=\frac{I_{\mathrm{\λ}}^{\′}\left(x\right)-A_{\mathrm{\λ}}}{\max \left(T_{\mathrm{\λ}}\right(x),t_0)}+A_{\mathrm{\λ}},\mathrm{\λ}\∈\{R,G,B\}$

其中，t₀是一个介于[0,1]之间的常数。

8.据权利要求7述的基于颜色校正和红通道先验的水下彩色图像复原方法，其特征在于：所述w＝0.95。