CN111833258A - 一种基于双透射率水下成像模型的图像颜色校正方法 - Google Patents

Abstract

本发明公开了一种基于双透射率水下成像模型的图像颜色校正方法。其中双透射率水下成像模型是指在原光学水下成像模型的基础上，按照物理规律在新水下成像模型的基础上，将透射率定义为直接分量透射率和后向散射分量透射率，通过单幅图像完成模型的求解，并通过单幅图像完成模型的求解，得到无色偏水下图像。采用双透射率水下成像模型能够更好地描述水下成像过程中的水体选择性吸收作用对光线传输的影响，实现水下色偏图像的颜色校正。本文采用的双透射率水下成像模型能更好地表达水下图像的物理成像过程，且本文在未引入其他信息，仅通过单幅图像完成了模型的求解。实验证明，该方法与经典水下图像清晰化方法相比，有较好的图像颜色校正能力。

Description

一种基于双透射率水下成像模型的图像颜色校正方法

技术领域

本发明涉及一种水下图像颜色校正算法，具体说是一种基于双透射率水下成像模型的图像颜色校正方法。

背景技术

海洋资源开发以及海洋生物多样性的研究中，水下机器人能够代替人进行水下作业，完成人类无法完成的观测任务，对海洋科学的发展起着积极的促进作用。在水下机器人环境感知中，通过视觉系统完成了引导水下机器人位姿估计，协助机械手进行目标物体抓取等重要任务。然而，水下视觉系统受到水质对光的散射和吸收作用的影响非常严重，水下图像多存在信噪比低、色偏、模糊不清等问题。

校正退化图像的颜色，消除图像中无用信息的干扰，进而促进图像进一步处理结果的可靠性是水下图像恢复的主要目的。水下图像增强和复原作为水下视觉系统预处理的一部分，在解决水下图像恢复问题上发挥着重要的作用。

现有图像复原方法由于使用原单透射率水下成像模型，因此在应对水下图像的色偏问题时，不能有效地还原真实图像的颜色。而增强方法则没有考虑成像模型，增强后图像容易出现色偏加剧或者颜色畸变等问题。

发明内容

目前，水下图像复原中多采用的成像模型为大气散射模型的简化模型，该模型未考虑传输介质的吸收作用对光线传输的影响，因此在图像存在严重色偏时，恢复效果不佳。针对上述技术不足，本发明的目的提供一种基于双透射率水下成像模型的图像颜色校正方法。该方法可以在严重色偏的水下环境中，高效地获得无色偏的水下图像。

实现本发明目的所采用的具体技术方案如下：

一种基于双透射率水下成像模型的图像颜色校正方法，包括以下步骤：

步骤一：将透射率定义为直接分量透射率和后向散射分量透射率，建立双透射率水下成像模型

式中，I_c表示水下退化图像，I′_c表示复原后的无退化水下图像，A_c表示背景光估计值；

为直接分量透射率，

为后向散射分量透射率；

步骤二：利用色偏对成像结果的影响，应用DCP的改进算法得到红色暗通道先验RDCP，用于估计图像深度信息，得到红色暗通道先验值；

步骤三：通过四叉树分级搜索方法找到背景光所在位置和背景光估计值；

步骤四：将红色暗通道先验值代入双透射率水下成像模型，获得后向散射分量透射率

步骤五：对背景光估计值进行校正，获得无退化像素点的值；将无退化像素点代入双透射率水下成像模型，得到无退化像素点的直接分量透射率；通过后向散射分量透射率和直接分量透射率的光线传输距离的相关性，将单点直接分量透射率扩展为全图直接分量透射率

步骤六：将双透射率水下成像模型变形，可得

式中，t₀表示为避免

过小设置的临界值，该值能有效地防止直接分量透射率过小造成的图像复原时的像素点过度增强；

步骤七：将上述步骤中获得的背景光估计值、后向散射分量透射率、直接分量透射率代入步骤六中的公式，得到颜色校正的水下图像。

所述红色暗通道先验值的计算如下：

式中：I′_R(y)、I′_G(y)、I′_B(y)分别表示中心像素点为x的像素区域Ω(x)的RGB三通道的值，I′^RDCP(x)表示红色暗通道先验值。

所述背景光所在位置和背景光估计值的计算包括：

由于水下图像的背景光多位于图像中的蓝色或者绿色色偏最为严重的区域，人工光源和白色物体对背景光区域的选取造成干扰，通过四叉树分级搜索方法找到图像中色偏最严重的颜色通道的像素均值与三颜色通道像素标准差之和相差最大的图像块，然后选取该图像块区域内与黑色像素点欧式距离最小的像素值作为背景光估计值，从而得到背景光所在位置的RGB三通道估计值A_R、A_G、A_B。

所述将红色暗通道先验值代入双透射率水下成像模型，获得后向散射分量透射率包括：

根据DCP透射率求解方法，将双透射率水下成像模型两边同时除以背景光，获得简化方程

将红色暗通道先验值I′^RDCP(x)代入方程(6)的I_c′(x)，消掉未知信息

获得后向散射分量透射率，其结果为

式中，I′_R(y)、I′_G(y)、I′_B(y)分别表示中心像素点为x的像素区域Ω(x)的RGB三通道的值，A_R、A_G、A_B分别是表示背景光A_c所在位置的RGB三通道估计值。

所述后向散射分量透射率的求解是应用局部极小值方法求解的，并运用导向滤波方法作为透射图的后处理算法，去除透射率图中出现的块效应。

所述无退化像素点的直接分量透射率的计算，包括：

对背景光估计值进行校正，获得无退化像素点的值I_c′(x_A)；

将无退化像素点代入双透射率水下成像模型，变形后可得x_A的直接分量透射率为

所述对背景光估计值进行校正包括：设置背景光的红通道值的下限阈值，调节背景光的三通道亮度值的平均值作为背景光校正的结果，得到校正的背景光值A'_R、A'_G、A'_B。

本发明的有益效果为：

1.本发明方法在新水下光学成像模型的基础上，将透射率定义为直接分量透射率和后向散射分量透射率，并在求解过程中保证了两个参数的独立性，，有效地实现了水体对光线选择性吸收的影响的物理描述，提高了成像模型的完整性。

2.本发明方法利用无雾大气环境的空中透视现象找到水下图像的无退化像素点或像素区域，并通过背景光分析，判断图像拍摄中是否存在人工光源的干扰。

3.本发明方法利用红色暗通道获取后向散射分量透射率，并通过得到的无退化像素点实现直接分量透射率的求解，将最终结果带入双透射率水下成像模型，完成图像的颜色校正。

4.本发明方法基于双透射率水下成像模型的图像颜色校正方法，可应对严重色偏的湖泊以及海洋的水下光学图像，不受人工光源的干扰，能够高效地对色偏图像进行颜色校正，获得水下目标物体的真实颜色信息。

5.本发明方法能够通过单幅图像实现双透射率水下模型的求解，在水下图像获取系统中拥有较好的兼容性，无需GPU等高级计算工具支持。

附图说明

图1是基于双透射率水下成像模型的图像颜色校正方法框架图；

图2是水对不同波长光线的选择性吸收；

图3是背景光估计的数值和位置；

图4是导向滤波去除块效应；

图5是图像透射率；

图6是水下图像颜色校正结果一；

图7是水下图像颜色校正结果二；

图8是水下图像颜色校正结果三。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。此处说明若涉及到具体实例时仅仅用以解释本发明，并不限定本发明。

本发明的具体框架如图1所示，方法主要分为五个步骤：双透射率水下成像模型的推导、红色暗通道先验、背景光估计、后向散射分量透射率获取、直接分量透射率获取。

步骤一：双透射率水下成像模型的推导，将透射率定义为直接分量透射率和后向散射分量透射率。

由在水下图像复原算法中所用的成像模型多为大气散射模型的简化模型，该模型虽然能够解决图像的散射退化问题，但无法描述水体对光线的选择性吸收作用。近几年已有学者尝试该方向的模型改进，将吸收作用参数化带入成像模型，该改进增加了模型的参数，使得原求解方法不再适用，改进方法要么无法通过单幅图像求解模型参数，要么需要代入其他先验信息辅助求解，不利于图像的自动处理。本文在新水下成像模型的基础上，定义了双透射率水下成像模型，如式所示

式中：I_c表示水下退化图像；I′_c表示复原后的无退化水下图像；A_c表示背景光；

表示直接分量；

表示后向散射分量；此时

因此

和

统称为透射率容易造成混淆，本文将

命名为直接分量透射率，

命名为后向散射分量透射率。

步骤二：红色暗通道先验，利用色偏对成像结果的影响，初步估计图像深度信息。

在自然场景中，无雾的非天空的局部区域内至少存在一个像素点在RGB三通道中有一个通道的值较低，该规律即为暗通道先验，其数学定义为

式中：I′^dark(x)表示暗通道先验值；Ω(x)表示中心像素点为x的像素区域；I_c′(y)表示y点的图像在RGB三通道的值。

雾图像和水下图像的相同点为均存在着介质对光的散射影响，而不同之处在于水对光的选择性吸收作用远大于空气，吸收作用导致了不同波长的光传播相同距离时衰减不同(如图2所示)，因此水下图像多存在色偏问题。色偏的出现导致了彩色图像的R通道值过低，暗通道先验失效，所得透射率不能有效地反映场景的深度信息，图像复原失败。为了解决该问题，应用DCP的改进算法得到红色暗通道先验RDCP：

式中：I′^RDCP(x)表示红色暗通道先验值。RDCP的核心理论为利用[1-I′_R(y)]代替原I′_R(y)，解决了水下图像红通道值较低的问题，避免了暗通道先验方法在水下图像存在严重色偏时失效，实现图像深度信息的初步估计。I′_R(y)、I′_G(y)、I′_B(y)分别表示中心像素点为x的像素区域Ω(x)的RGB三通道的值。

步骤三：背景光估计，基于四叉树分级的全图搜索策略。

由于水体对不同波长的光的选择性吸收作用，水下图像红色通道值往往远小于其他两个通道值，且随着深度的增加这种现象呈指数加剧趋势。从模型的定义中可知，背景光代表的点为理论上的无穷远点，因此水下图像的背景光多位于图像中的蓝色或者绿色色偏最为严重的区域。

背景光位于图像的背景区域，一般情况下该区域不存在梯度变化较大的边缘信息，局部亮度变化缓慢。本文考虑到人工光源和白色物体对背景光区域选取的干扰，未使用暗通道图来作为背景光选取的依据，而是通过四叉树分级搜索策略找到图像中色偏最严重的颜色通道的像素均值与三颜色通道像素标准差相差最大的图像块，然后选取该图像块区域内与黑色像素点欧式距离最小的像素值作为背景光估计值。估计结果如图3所示(其中的a、b、c、d分别为四幅实例)，其中黑色数字为背景光RGB三通道的数值，白线的交点为背景光所在位置。从而得到背景光所在位置的RGB三通道估计值A_R、A_G、A_B。

步骤四：后向散射分量透射率获取，导向滤波减弱块效应影响。

根据Lamber-Beer定律，假设成像过程中所经过的传输介质为均匀介质，水中光线传输规律的表达式为

t_c(x)＝exp[-σ_cz(x)]， (4)

式中：t_c(x)表示像素点x处的透射率；z(x)表示像素点x处拍摄到的物体与相机的直线距离；σ_c表示光线的衰减系数。

双透射率模型的后向散射分量透射率的表达式为

式中：

表示后向散射分量的衰减系数，该系数和散射介质中粒子的尺寸强相关，和入射光线的性质弱相关。在简化模型中，为了突出物理特性同时降低计算复杂度，默认粒子尺寸在光线传输过程中为不变因素。入射光线的性质为后向散射分量的衰减系数的弱相关因素，对最终图像复原结果的影响较小，为了满足实际求解的需要，在不引入其他先验信息复原单幅水下图像的情况下，本文忽略此处的弱相关因素。

根据DCP透射率求解方法，将双透射率水下成像模型两边同时除以背景光，获得简化方程

将红色暗通道先验值I′^RDCP(x)代入方程(6)的I_c′(x)，消掉未知信息

获得后向散射分量透射率，其结果为

式中，A_R、A_G、A_B分别是表示背景光A_c所在位置的RGB三通道估计值。

图4是导向滤波去除块效应，其中(a)原始图像；(b)未经处理的后向散射分量透射率；(c)导向滤波处理后的后向散射分量透射率。由于在透射率求解过程中应用了局部极小值方法，因此获得的透射率图容易出现块效应，如图4(b)所示。为了解决块效应问题，提高透射率图的精度，同时考虑到时间成本问题，本文选用导向滤波方法作为透射图的后处理算法，处理结果如图4(c)所示。

图5(b)所示为后向散射分量透射率，可以看出该透射率反映了图像受到背景光影响的强弱，图中像素点的值越大，表明该区域的背景光所占比例越大，色偏越严重，复原后图像的颜色变化越明显。

步骤五：直接分量透射率获取，空中透视现象指导背景光恢复。

由双透射率水下成像模型可知，后向散射分量透射率获取后，为了从单幅图像中获取直接分量透射率，实现图像的颜色校正，需要已知无退化图像I′_c(x)，然而在色偏较为严重的水下图像中无法直接得到该信息。为了解决模型求解的问题，成功获得无退化像素点或像素区域，本文利用符合无雾大气环境的空中透视现象指导背景光恢复。

符合无雾大气环境的空中透视现象表示为自然环境中，人眼通过该现象判断目标物体距离的远近还原三维立体世界。本文在获取无退化像素点时保留背景光部分的浑浊度，且为了图像颜色校正算法同时适用于人工光照环境和自然光照环境，根据光照环境的不同选取不同的处理策略:当原始图像中背景光所在区域为图像的最亮区域且该区域属于平滑区域时，表明该图像拍摄于自然光照环境，为了不破坏图像的原始光照环境，得到复原效果更加自然的图像，采用了背景光的三通道亮度值的平均值作为背景光校正的结果；当原始图像背景光亮度非图像的最亮区域且拍摄物中无自发光物体，表明该图像拍摄于人造光照环境，为了避免利用亮度值较低的无退化像素点恢复的图像整体亮度不足，影响图像复原的视觉效果，适当提高三通道亮度值的平均值作为背景光校正的结果可以有效解决该问题，这里给出的参考值为原亮度值的1.4倍。最终得到校正的背景光值(A'_R、A'_G、A'_B)。

步骤三获得了背景光所处位置以及背景光的三通道值(A_R、A_G、A_B)，在实际应用中为了避免背景光红通道值过低时，复原图像的红通道值被过度增强，需要设置背景光的阈值，本文将背景光的红通道值的下阈值设为25。定义背景光像素点为x_A，该点为图像中距离拍摄位置最远的像素点，同时也是图像中色偏最严重的像素点，该点所处背景区域受到图像的纹理信息影响较小，因此该点更易于用来校正图像的颜色。将校正的背景光值(A'_R、A'_G、A'_B)代入像素点x_A，获得无退化像素点的值为I′_c(x_A)，将无退化像素点代入式(6)可得x_A的直接分量透射率为

根据Lamber-Beer定律可知，直接分量透射率的表达式为

式中：

表示直接分量的衰减系数，该系数和光线波长、光线传输距离相关。由于本文的信息来源仅为单幅图像的数值信息，同时由于水体吸收作用的影响，水下拍摄时物体与相机距离不宜过大，光线传输距离较小，因此距离的变化对直接分量衰减系数的影响较小，所以本文忽略z(x)对

的影响，仅考虑

与光线波长的相关性。

从式(5)和式(9)可以看出后向散射分量透射率和直接分量透射率在参数z(x)上具有相关性，为了实现整幅图像的直接分量透射率获取，将式(9)代入式(5)，可得

图5两行图像分别是处理的两幅图像透射率，其中，(a)原始图像；(b)后向散射分量透射率；(c)R通道直接分量透射率；(d)G通道直接分量透射率；(e)B通道直接分量透射率。图5(c)、(d)和(e)分别反映了波长在620nm附近的红光、波长在540nm附近的绿光和450nm附近的蓝光在经过水体吸收后的衰减程度，可以看出三组图均符合衰减程度随着距离增加而增加的特点。通过三组图的比较可以看出红光的衰减最快，蓝光和绿光在不同水域衰减程度不同。蓝光受到水体的吸收作用比绿光小，因此海洋中拍摄图像多为蓝色；而湖泊以及近海水域中，浮游生物吸收蓝光进行光合作用，因此这些水域中的图像多为绿色。以上现象符合水中光线传输的规律，表明本文利用空中透视现象作为背景光恢复的指导符合物理成像规律。

将双透射率水下成像模型变形，可得

式中：t₀表示为避免

过小设置的临界值，该值能有效地防止直接分量透射率过小造成的图像复原时的像素点过度增强。将获得的背景光，后向散射分量透射率，直接分量透射率代入式(12)，得到颜色校正的水下图像。

图6是水下图像颜色校正结果一；图7是水下图像颜色校正结果二；图8是水下图像颜色校正结果三。本发明方法可应对严重色偏的湖泊以及海洋的水下光学图像，不受人工光源的干扰，能够高效地对色偏图像进行颜色校正，获得水下目标物体的真实颜色信息。本发明方法能够通过单幅图像实现双透射率水下模型的求解，在水下图像获取系统中拥有较好的兼容性，无需GPU等高级计算工具支持。

Claims (7)

1.一种基于双透射率水下成像模型的图像颜色校正方法，其特征在于包括以下步骤：

步骤一：将透射率定义为直接分量透射率和后向散射分量透射率，建立双透射率水下成像模型

式中，I_c表示水下退化图像，I′_c表示复原后的无退化水下图像，A_c表示背景光估计值；

为直接分量透射率，

为后向散射分量透射率；

步骤二：利用色偏对成像结果的影响，应用DCP的改进算法得到红色暗通道先验RDCP，用于估计图像深度信息，得到红色暗通道先验值；

步骤三：通过四叉树分级搜索方法找到背景光所在位置和背景光估计值；

步骤四：将红色暗通道先验值代入双透射率水下成像模型，获得后向散射分量透射率

步骤五：对背景光估计值进行校正，获得无退化像素点的值；将无退化像素点代入双透射率水下成像模型，得到无退化像素点的直接分量透射率；通过后向散射分量透射率和直接分量透射率的光线传输距离的相关性，将单点直接分量透射率扩展为全图直接分量透射率

步骤六：将双透射率水下成像模型变形，可得

式中，t₀表示为避免

过小设置的临界值，该值能有效地防止直接分量透射率过小造成的图像复原时的像素点过度增强；

步骤七：将上述步骤中获得的背景光估计值、后向散射分量透射率、直接分量透射率代入步骤六中的公式，得到颜色校正的水下图像。

2.根据权利要求1所述的一种基于双透射率水下成像模型的图像颜色校正方法，其特征在于所述红色暗通道先验值的计算如下：

式中：I′_R(y)、I′_G(y)、I′_B(y)分别表示中心像素点为x的像素区域Ω(x)的RGB三通道的值，I′^RDCP(x)表示红色暗通道先验值。

3.根据权利要求1所述的一种基于双透射率水下成像模型的图像颜色校正方法，其特征在于所述背景光所在位置和背景光估计值的计算包括：

由于水下图像的背景光多位于图像中的蓝色或者绿色色偏最为严重的区域，人工光源和白色物体对背景光区域的选取造成干扰，通过四叉树分级搜索方法找到图像中色偏最严重的颜色通道的像素均值与三颜色通道像素标准差之和相差最大的图像块，然后选取该图像块区域内与黑色像素点欧式距离最小的像素值作为背景光估计值，从而得到背景光所在位置的RGB三通道估计值A_R、A_G、A_B。

4.根据权利要求1所述的一种基于双透射率水下成像模型的图像颜色校正方法，其特征在于所述将红色暗通道先验值代入双透射率水下成像模型，获得后向散射分量透射率包括：

根据DCP透射率求解方法，将双透射率水下成像模型两边同时除以背景光，获得简化方程

将红色暗通道先验值I′^RDCP(x)代入方程(6)的I′_c(x)，消掉未知信息

获得后向散射分量透射率，其结果为

式中，I′_R(y)、I′_G(y)、I′_B(y)分别表示中心像素点为x的像素区域Ω(x)的RGB三通道的值，A_R、A_G、A_B分别是表示背景光A_c所在位置的RGB三通道估计值。

5.根据权利要求4所述的一种基于双透射率水下成像模型的图像颜色校正方法，其特征在于所述后向散射分量透射率的求解是应用局部极小值方法求解的，并运用导向滤波方法作为透射图的后处理算法，去除透射率图中出现的块效应。

6.根据权利要求1所述的一种基于双透射率水下成像模型的图像颜色校正方法，其特征在于所述无退化像素点的直接分量透射率的计算，包括：

对背景光估计值进行校正，获得无退化像素点的值I′_c(x_A)；

将无退化像素点代入双透射率水下成像模型，变形后可得x_A的直接分量透射率为

7.根据权利要求6所述的一种基于双透射率水下成像模型的图像颜色校正方法，其特征在于所述对背景光估计值进行校正包括：设置背景光的红通道值的下限阈值，调节背景光的三通道亮度值的平均值作为背景光校正的结果，得到校正的背景光值A'_R、A'_G、A'_B。

Images