CN110322410A

CN110322410A - 基于亮通道透射率补偿的水下图像去雾及偏色校正方法

Info

Publication number: CN110322410A
Application number: CN201910516942.8A
Authority: CN
Inventors: 时愈; 孙殿君; 华夏; 冯雅媛; 王梦琪
Original assignee: Wuhan Institute of Technology
Current assignee: Wuhan Institute of Technology
Priority date: 2019-06-14
Filing date: 2019-06-14
Publication date: 2019-10-11
Anticipated expiration: 2039-06-14
Also published as: CN110322410B

Abstract

本发明公开了一种基于亮通道透射率补偿的水下图像去雾及偏色校正方法，包括以下步骤：首先提取三个通道的亮通道图，然后根据最大亮度进行排序找出各个通道的前0.2％的最暗像素对应水下退化图像位置的像素灰度值作为背景光的估计值；针对水下退化图像的偏色问题，对红通道的透射率进行取反操作修正，根据衰减系数的关系对G、B的粗略透射率进行修正，获取G、B的透射率的精确估计；提取各像素点的R、G、B通道的透射率的最大值，并采用快速引导滤波，获取最终精细的透射率图；最后根据水下图像模型加权背景光偏色校正归一化处理获得复原后的图像。本发明图像处理方法可以在图像去雾的同时可以较好地解决因为透射率估计不精确带来的偏色问题。

Description

基于亮通道透射率补偿的水下图像去雾及偏色校正方法

技术领域

本发明涉及图像处理技术，尤其涉及一种基于亮通道透射率补偿的水下图像去雾及偏色校正方法。

背景技术

水下图像处理对于海洋探索开发、水下救援、军事应用等有着重要意义，但由于水下的颗粒、悬浮物等的干扰，且不同波长的颜色光在水下有着不同的衰减率，在成像过程中，可见光发生了散射、吸收、衰减速度快等问题，获取到的图像雾化，且在深海中偏色严重。导致水下图像可见度较差，水下目标检测与识别失败。

光线遇到水下的颗粒物会发生散射、衰减现象，导致获取到的水下图像有雾，景深越远，雾的影响越大。同时，由于光的波长越长吸收的越快，红色光最容易被吸收，导致水下图像往往会出现颜色失真的现象。为了解决这一问题，很多学者进行了深入地研究。尽管开发了许多图像增强技术，例如白平衡，色彩校正，直方图均衡和基于融合的方法，但它们并非基于水下图像的物理模型，因此不适用于由于物理性质的改变，导致的水下退化图像的复原问题。由于物理性质的变化，水下图像的复原具有极大地挑战性。水下光衰减导致不同程度的偏色问题，该问题和光的波长、溶解的有机化合物、水的盐度和浮游植物的浓度等有很大的关系。在水中，具有较长波长的红光比绿光和蓝光更多地被吸收。此外，来自不同通道的散射背景光与沿着视线的场景辐射混合，进一步地增加了水下退化图像复原的难度。

为了对水下图像进行去雾、偏色校正并增强对比度，人们使用水下图像物理模型(IFM)进行了多次尝试，背景光是由暗通道先验(DCP)导出的，它首先被提出用来去除大气图像中的雾度，大气场景中最暗通道的雾是均匀分布的。据观察，靠近相机的场景中的点场景深度较小，则近距离暗场景点灰度值较小，因为光线的散射较少。DCP可用于估计背景光和场景深度。然而，水下环境和大气环境具有较大的区别，具有更长波长和更低频率的红光比绿光、蓝光在水下衰减的速度更快。因此，在水下场景中基于RGB通道(DCPrgb)的DCP方法没考虑到光的不同衰减速度，导致错误的深度估计和较差的去雾结果。后来学者们提出了仅基于绿色和蓝色通道(DCPgb)的水下DCP来避免这个问题。同样Galdran等人提出了对红色通道特殊处理的方法。然而这些方法经常表现不佳。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于亮通道透射率补偿的水下图像去雾及偏色校正方法，本发明在水下图像物理模型的基础上，通过亮通道补偿精确地估计透射率，并采用加权背景光建立水下图像去雾和偏色校正模型，同时实现水下图像去雾和偏色校正，获取清晰无偏色的复原图像。

本发明解决其技术问题所采用的技术方案是：一种基于亮通道透射率补偿的水下图像去雾及偏色校正方法，包括以下步骤：

1)获取水下有雾偏色图像I；

2)对水下有雾偏色图像I的红、绿、蓝三个通道的灰度图图像分别进行滤波，获取红、绿、蓝三个通道的亮通道图I_L ^R、I_L ^G、I_L ^B；

3)求取背景光的估计值；

对亮通道图I_L ^R、I_L ^G、I_L ^B的像素值进行升序排列，分别从I_L ^R、I_L ^G、I_L ^B图中选取亮度最小的前0.2％的像素点，然后在初始输入有雾偏色图像I中找到这些像素点对应位置像素的灰度值，并对比这些像素点的灰度值，取最大值作为水下背景光的估计，记为A^R、A^G、A^B；

4)建立水下图像成像模型，将亮通道引入水下成像模型中，得到三通道的粗略透射率估计；

5)偏色处理：对三通道的粗略透射率估计进行修正；

6)去雾处理：将修正后三通道的透射率进行区域最大值比较得到精确的透射率图T；

7)根据水下图像成像模型，获得去雾及偏色校正后的复原图J。

按上述方案，所述步骤2)中采用最大值滤波器对水下有雾偏色图像I的红)、绿、蓝三个通道的灰度图像I^R、I^G、I^B分别进行滤波，获取三个通道的亮通道图I_L ^R、I_L ^G、I_L ^B；

I_L ^R＝max_y∈Ω(x)I^R(y)

I_L ^G＝max_y∈Ω(x)I^G(y)

I_L ^B＝max_y∈Ω(x)I^B(y)

其中，Ω(x)为x像素位置周围的像素领域；

按上述方案，所述步骤4)中水下图像成像模型如下

I_λ(x)＝J_λ(x)T_λ(x)+A_λ,∞(1-T_λ(x))λ∈(R,G,B)

其中，x代表水下图像的像素点；I_λ代表相机接收的能量；J_λ代表被观测物体的真实能量，即去雾后的水下图像；A_λ,∞表示全局背景光；T_λ代表透射率，即真实能量通过水的传播最终到达相机的能量的比。

按上述方案，所述步骤4)将亮通道引入水下成像模型中，得到三通道的粗略透射率估计表示如下：

按上述方案，所述步骤5)对三通道的粗略透射率估计进行修正，具体如下：

5.1)对红通道透射率进行取反操作,获得修正后的红通道透射率T_r’；

红通道的粗略透射率估计

取反操作后

5.2)对蓝绿通道投射率进行修正，根据衰减关系添加衰减权重得到绿蓝通道透射率的精确值T_g’和T_b’；

其中，衰减系数i₁＝-0.00113,i₂＝1.62517，λ_r、λ_g、λ_b为红蓝绿三色光的波长。

按上述方案，所述步骤6)中引入修正因子w₀用来进行去雾处理；

T＝1-w₀max(T_r′,T_g′,T_b′)

其中，当w₀为1是表示完全去雾，T_r′,T_g′,T_b′的动态范围为[0,1]。

按上述方案，w₀设置为0.85。

按上述方案，所述步骤7)中通过水下图像成像模型得到水下图像的复原模型如下：

为了防止透射率太小导致结果出现太大偏差，加入修正因子t₀,通常设置为0.1，其中q为透射率图T经过快速引导滤波后的得到的透射率图。

通过步骤3)中背景光的估计值确定A^R、A^G、A^B，这样可以限制水下各部分的影响得到以下公式：

三通道合并归一化到[0,255]即可得到去雾后的清晰图像J。

本发明产生的有益效果是：本发明提出了一种基于亮通道透射率补偿的水下图像去雾及偏色校正方法，利用亮原色理论对水下图像求取亮通道图以及背景光的估计，并对红通道进行透射率补偿的处理，这样可以使图像色彩更接近真实值，在此基础上，利用三通道水下衰减速率的关系，对蓝绿通道透射率进行修正，经过细节对比得到最终的透射率并实现水下图像的复原强化，使处理后的图像具有更真实的颜色，细节表现的更加自然。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的方法流程图；

图2是本发明实施例的水下图像去雾及偏色校正过程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，如图1所示，为本发明基于亮通道透射率补偿的水下图像去雾及偏色校正方法的实施流程图，具体步骤如下：

S1、输入水下有雾偏色图像I；

S2、对水下有雾偏色图像I进行归一化处理，使整幅图像的灰度值在0-255之间；

S3、采用最大值滤波器对I的红、绿、蓝三个通道的灰度图图像分别进行滤波，获取三个通道的亮通道图I_L ^R、I_L ^G、I_L ^B；

步骤S3具体包括步骤：

S31、将I分为R、G、B三个通道的灰度图像。

S32、以像素为单位，采用大小为3×3的窗口Ω，每个窗口内的图像像素个数为9个；将窗口的中心像素点与相邻的像素点的灰度值进行比较选取最大值作为区域的灰度值，在整个图片区域循环得到三个通道的亮通道图I_L ^R、I_L ^G、I_L ^B。

I_L ^R＝max_y∈Ω(x)I^R(y)

I_L ^G＝max_y∈Ω(x)I^G(y)

I_L ^B＝max_y∈Ω(x)I^B(y)

其中，Ω(x)为x像素位置周围的像素领域；

S4、求取背景光的估计值。对亮通道图I_L ^R、I_L ^G、I_L ^B的像素值进行升序排列，分别从I_L ^R、I_L ^G、I_L ^B图中选取亮度最小的0.2％的像素点，在初始输入有雾图像I^R、I^G、I^B中找到这些像素点对应位置的像素点，并对比这些像素点的灰度值，取最大值作为水下背景光的估计值记为A^R、A^G、A^B；

S5、经上述步骤处理后我们得到了亮通道图和背景光的估计值。接下来可以计算三通道的粗略透射率；

具体步骤如下：

S51、首先建立水下图像成像模型

相机接受的光可以分为两个分量：①直接分量D_λ：物体的反射光在传播过程中没有被散射的部分；②背景散射分量A_λ：背景光经悬浮颗粒散射后被相机接受的部分。表示为式1。

I_λ(x)＝J_λ(x)T_λ(x)+A_λ,∞(1-T_λ(x))λ∈(R,G,B) (式1)

其中x代表水下图像的像素点；I_λ代表相机接收的能量；J_λ代表被观测物体的真实能量，即去雾后的水下图像；A_λ,∞表示全局背景光；T_λ代表透射率，即真实能量通过水的传播最终到达相机的能量的比

S52、为了求得透射率，我们引入亮通道，对式1重写为

max_y∈Ω(x)(I^R(y))＝T_r(x)max_y∈Ω(x)(J^R(y))+A^R(x)(1-T_r(x))

max_y∈Ω(x)(I^G(y))＝T_g(x)max_y∈Ω(x)(J^G(y))+A^G(x)(1-T_g(x))

max_y∈Ω(x)(I^B(y))＝T_b(x)max_y∈Ω(x)(J^B(y))+A^B(x)(1-T_b(x))

其中1表示归一化的单位相应地，A、J和I需要归一化到范围[0,1]。鉴于其中A和T(x)可以被认为是常数，它们可以放在最大运算符之外。

S53、以G通道为例，我们继续将函数转换为:

1-max_y∈Ω(x)(I^G(y))＝T_g(x)(1-max_y∈Ω(x)(J^G(y)))+(1-A^G(x))(1-T_g(x))

两边同时除以(1-A^G(x))得到:

接近于0，整理可得:

S54、由于水下红通道的衰减速率较快，导致我们求得的红通道透射率有偏差，我们对红通道的透射率进行取反操作得到红通道的透射率图T_r′:

蓝绿通道不变，

S6、根据R、G、B三通道光波长对水下衰减的影响，对蓝绿通道投射率进行修正，根据衰减关系添加衰减权重及比尔定律衰减率与衰减系数成指数关系，进一步求出绿蓝通道透射率的精确值；

其中，衰减系数i₁＝-0.00113,i₂＝1.62517；

λ_r、λ_g、λ_b为红蓝绿三色光的波长，通常取620nm、550nm、460nm。

S7、将三通道的透射率图进行区域最大值比较得到精确的透射率图T；

T＝1-w₀max(T_r,T_g,T_b)

这里我们引入修正因子w₀用来修正去雾情况，当w₀为1是表示完全去雾通常我们设置为0.85。

S8、在引导图像为原始水下图像的基础上对透射率图T进行快速滤波处理，得到精细透射率图q在快速引导滤波中要注意窗口半径(r)和正则化参数(ε)的取值，在具体的问题中值得选取会略有不同。这里我们设置r＝16，ε＝0.01；

S9、根据水下图像成像原理得到三通道复原后的图J(x)具体步骤如下：

S91、通过式1可以求得

为了防止透射率太小导致结果出现太大偏差，我们加入修正因子t₀,通常设置为0.1

S92、由于水的类型不同水下的衰减系数不易确定。通常使用加权参数来限制它。构建基于加权参数的图像去雾及偏色校正模型得到以下公式：

这里β^R，β^G，β^B代表加权各部分的影响，这里需要恢复场景深部信息，同时添加部分参数去除偏色。利用背景光的估计值可以确定加权系数。可以得到以下公式：

得到了三通道复原后的图像J^a(x)

S10、三通道合并归一化处理得到最后的去雾及偏色校正后的复原图像J

图2为应用本发明方法的，其中，(a)为输入的有雾偏色图片，(b)(c)(d)分别为红绿蓝三通道的亮通道图，(e)为红通道的粗略透射率图，(f)为红通道精细透射率图，(g)为最终的透射率图，(h)为最终输出图像。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims

1.一种基于亮通道透射率补偿的水下图像去雾及偏色校正方法，其特征在于，包括以下步骤：

1)获取水下有雾偏色图像I；

3)求取背景光的估计值；

5)偏色处理：对三通道的粗略透射率估计进行修正；

2.根据权利要求1所述的基于亮通道透射率补偿的水下图像去雾及偏色校正方法，其特征在于，所述步骤2)中采用最大值滤波器对水下有雾偏色图像I的红)、绿、蓝三个通道的灰度图像I^R、I^G、I^B分别进行滤波，获取三个通道的亮通道图I_L ^R、I_L ^G、I_L ^B；

I_L ^R＝max_y∈Ω(x)I^R(y)

I_L ^G＝max_y∈Ω(x)I^G(y)

I_L ^B＝max_y∈Ω(x)I^B(y)

其中，Ω(x)为x像素位置周围的像素领域，I^R(y)、I^G(y)、I^B(y)分别代表三通道的灰度图。

3.根据权利要求1所述的基于亮通道透射率补偿的水下图像去雾及偏色校正方法，其特征在于，所述步骤4)中水下图像成像模型如下

I_λ(x)＝J_λ(x)T_λ(x)+A_λ,∞(1-T_λ(x)) λ∈(R,G,B)

4.根据权利要求3所述的基于亮通道透射率补偿的水下图像去雾及偏色校正方法，其特征在于，所述步骤4)将亮通道引入水下成像模型中，得到三通道的粗略透射率估计表示如下：

其中，Ω(x)为x像素位置周围的像素领域。

5.根据权利要求1所述的基于亮通道透射率补偿的水下图像去雾及偏色校正方法，其特征在于，所述步骤5)对三通道的粗略透射率估计进行修正，具体如下：

红通道的粗略透射率估计

取反操作后

6.根据权利要求1所述的基于亮通道透射率补偿的水下图像去雾及偏色校正方法，其特征在于，所述步骤6)中引入修正因子w₀用来进行去雾处理；

T＝1-w₀max(T_r′,T_g′,T_b′)

7.根据权利要求6所述的基于亮通道透射率补偿的水下图像去雾及偏色校正方法，其特征在于，w₀设置为0.85。

8.根据权利要求1所述的基于亮通道透射率补偿的水下图像去雾及偏色校正方法，其特征在于，所述步骤7)中通过水下图像成像模型得到水下图像的复原模型如下：

为了防止透射率太小导致结果出现太大偏差，加入修正因子t₀；其中q为透射率图T经过快速引导滤波后的得到的透射率图；

通过步骤3)中背景光的估计值确定A^R、A^G、A^B，限制水下各部分的影响得到以下公式：

三通道合并归一化到[0,255]即可得到去雾后的清晰图像J。