CN113284060A - 一种基于波长衰减识别的水下图像增强方法 - Google Patents

Abstract

本发明公开了一种基于波长衰减识别的水下图像增强方法，包括：输入退化的水下图像，并建立水下光学成像模型；采用四叉树分解技术将退化的水下图像划分为若干子区域，并构建评分公式；通过评分公式分别对子区域进行评分，选取分值最高的子区域作为候选后向散射区域；通过后向散射区域估计全局后向散射光值；采用暗通道先验算法根据全局后向散射光值估计透射图；将全局后向散射光值和透射图输入至水下光学成像模型，得到去雾图像；采用分段平滑假设对去雾图像进行色彩补偿；对色彩补偿后的去雾图像进行精细化处理，以使得退化的水下图像恢复清晰。从而，有效地解决水下图像对比度低、颜色失真等问题，提高水下图像质量。

Description

一种基于波长衰减识别的水下图像增强方法

技术领域

本发明涉及水下图像处理技术领域，尤其涉及一种基于波长衰减识别的水下图像增强方法。

背景技术

水下图像通常存在颜色失真、对比度低等问题，这是由水介质及水中微粒对光线产生的散射效应和吸收效应引起的。散射效应改变了光线传播的方向，使过多的散射光进入光学检测器，从而导致图像呈现低对比度并产生起雾的视觉效果。吸收效应不同程度上降低了不同波长信号光的能量，这使得图像在视觉上产生诸如绿色和蓝色的颜色失真。

现有的水下图像增强方法均基于水下光学成像模型得到清晰的水下图像。基于成像模型的水下图像增强需估计两个重要参数：全局后向散射光和透射图。而现有的水下图像增强方法更倾向于直接估计粗糙的全局后向散射光，这会导致透射图估计不准确。特别是，如果图像中有白色物体或噪点，则这些方法很容易导致全局后向散射光的错误估计。此外，忽略光的选择性衰减也会降低估计精度，导致最终很难得到清晰的水下图像。

发明内容

本发明提供一种基于波长衰减识别的水下图像增强方法，以克服上述技术问题。

本发明一种基于波长衰减识别的水下图像增强方法，包括：

输入退化的水下图像，并建立水下光学成像模型；

采用四叉树分解技术将所述退化的水下图像划分为若干子区域，并构建评分公式；

通过所述评分公式分别对所述子区域进行评分，选取分值最高的子区域作为候选后向散射区域；通过所述后向散射区域估计全局后向散射光值；

采用暗通道先验算法根据所述全局后向散射光值估计透射图；

将所述全局后向散射光值和所述透射图输入至所述水下光学成像模型，得到去雾图像；

采用分段平滑假设对所述去雾图像进行色彩补偿；

对色彩补偿后的所述去雾图像进行精细化处理，以使得所述退化的水下图像恢复清晰。

进一步地，所述输入退化的水下图像，并建立水下光学成像模型，包括：

所述退化的水下图像M^λ包括：场景反射光D^λ和后向散射光B^λ，表示为：

M^λ(i,j)＝D^λ(i,j)+B^λ(i,j) (1)

式中，λ∈{r,g,b}表示水下图像的RGB三个颜色通道，i,j为水下图像中像素点的坐标；

所述场景反射光，表示为：

D^λ(i,j)＝N^λ(i,j)T^λ(i,j) (2)

式中，N^λ(i,j)为待恢复的去雾图像，T^λ(i,j)为透射图，表示为：

T^λ(i,j)＝e^{-β(λ)d(i,j)} (3)

式中，β(λ)为衰减系数，d(i,j)是场景深度；

所述后向散射光，表示为：

B^λ(i,j)＝A^λ(1-T^λ(i,j)) (4)

式中，A^λ表示全局后向散射光；

结合式(1)-(4)得到所述水下光学成像模型，表示为：

M^λ(i,j)＝N^λ(i,j)T^λ(i,j)+A^λ(1-T^λ(i,j)) (5)。

进一步地，所述采用四叉树分解技术将所述退化的水下图像划分为若干子区域，并构建评分公式，包括：

基于随着场景深度不断增加，具有不同衰减速率的通道之间的强度差逐渐增大，构建所述评分公式的第一部分，表示为：

其中，k∈{1,2,3,4}表示通过所述四叉树分解技术，将所述退化的水下图像划分的四个子区域索引；E和F分别为子区域的长和宽；h,m,l分别代表以最高速率、中速率和最低速率衰减的通道，通过式(7)决定h,m,l在所述退化的水下图像M中所对应的r,g,b通道，取r,g,b通道中C值最大的通道为h通道，取r,g,b三通道中C值最小的通道为l通道；

分别对应第k个子区域内h通道、m通道和l通道的图像像素值；

式中，γ＝1.2，mean(·)表示取均值操作，C表示衰减因子，用来判断r,g,b通道的每个通道的衰减程度；

基于随着场景深度的增加，散射效应变得更加明显，距离成像系统越远的区域对比度越低，构建所述评分公式的第二部分，表示为：

式中，

与

分别代表第k个子区域中λ通道的图像像素值和图像像素均值；

结合式(6)和式(8)，构建所述评分公式Ω_k，表示为：

Ω_k＝ω_k-μ_k (9)。

进一步地，所述通过所述评分公式分别对所述子区域进行评分，选取分值最高的子区域作为候选后向散射区域；通过所述后向散射区域估计全局后向散射光值，包括：

预定义所述后向散射区域尺寸阈值；

通过式(9)得到所述后向散射区域的尺寸，并与所述后向散射区域尺寸阈值进行比较；若大于所述阈值，则将选取的后向散射区域继续执行四叉树分解并使用所述评分公式进行评分；若小于所述阈值，则选取该后向散射区域Ω，即

选取后向散射区域Ω内最大值的像素作为全局后向散射光值A^λ，表示为：

式中，(i^*,j^*)是最大值的像素的位置。

进一步地，所述采用暗通道先验算法根据所述全局后向散射光值估计透射图，包括：

所述采用暗通道先验算法估计透射图的表达式为：

式中，Δ(i,j)是以(i,j)为中心的窗口块；T^λ(i,j)表示透射图；将所述全局后向散射光值代入式(11)中，得到所述透射图。

进一步地，所述将所述全局后向散射光值和所述透射图输入至所述水下光学成像模型，得到去雾图像，包括：

将所述全局后向散射光值和所述透射图代入式(5)中，得到所述去雾图像，表示为：

式中，N^λ为恢复的去雾图像，

为常数。

进一步地，所述采用分段平滑假设对所述去雾图像进行色彩补偿，包括：

将所述去雾图像分成w个块状图像，通过式(13)-(15)对每个所述块状图像作颜色补偿；

式中，

和

分别代表第w个块图像

中λ通道的均值和标准差；

和

分别是第w个块图像

调整后λ通道的最大值和最小值；

是第w个块图像

颜色校正后λ通道的结果；μ是控制图像动态范围的参数。

进一步地，所述对色彩补偿后的所述去雾图像进行精细化处理，包括：

通过式(16)对色彩补偿后的所述去雾图像进行精细化处理，表示为：

式中，(x,y)∈N(i,j)表示(x,y)与(i,j)相邻；λ是控制平滑度的参数。

本发明根据光线不同波长之间的衰减差异确定R、G、B各通道的相对衰减速率；利用四叉树分解技术和评分公式将衰减图像均匀分解为若干子区域；自动定位子区域中评分最高的区域作为后向散射区域，选取后向散射区域内最亮的像素值作为全局后向散射光值；结合全局后向散射光值与暗通道先验方法获取透射图；将全局后向散射光值和透射图输入到水下光学成像模型中，对水下图像进行去雾；对去雾后的水下图像采用分段平滑假设对图像进行颜色补偿。有效地解决图像对比度低、颜色失真等问题，提高水下图像质量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的方法流程图；

图2为本发明中的四叉树分解示意图；

图3为传统的四叉树分解技术选取后向散射区域与本发明方法选取后向散射区域对比图；

图4为本发明与现有技术的方法处理水下图像的结果对比图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本实施例提供了一种基于波长衰减识别的水下图像增强方法，包括：

101、输入退化的水下图像，并建立水下光学成像模型；

具体而言，退化的水下图像M^λ包括：场景反射光D^λ和后向散射光B^λ，表示为：

M^λ(i,j)＝D^λ(i,j)+B^λ(i,j) (1)

式中，λ∈{r,g,b}表示水下图像的RGB三个颜色通道，i,j为水下图像中像素点的坐标；

场景反射光，表示为：

D^λ(i,j)＝N^λ(i,j)T^λ(i,j) (2)

式中，N^λ(i,j)为待恢复的去雾图像，T^λ(i,j)为透射图，表示为：

T^λ(i,j)＝e^{-β(λ)d(i,j)} (3)

式中，β(λ)为衰减系数，d(i,j)是场景深度；

后向散射光，表示为：

B^λ(i,j)＝A^λ(1-T^λ(i,j)) (4)

式中，A^λ表示全局后向散射光；

结合式(1)-(4)得到水下光学成像模型，表示为：

M^λ(i,j)＝N^λ(i,j)T^λ(i,j)+A^λ(1-T^λ(i,j)) (5)。

102、采用四叉树分解技术将退化的水下图像划分为若干子区域，并构建评分公式；

具体而言，为了准确地选取后向散射区域，采用后向散射区域自动定位方法。包括以下步骤：

(1)如图2所示，采用四叉树分解技术将水下图像均匀划分为若干子区域；

(2)构建评分公式，对划分的子区域进行评分，选取分值最高的子区域作为候选后向散射区域。

评分公式的构建基于两个重要的观察：

①红绿蓝三种不同波长之间的衰减速率有着显著差异，这说明随着场景深度不断增加，具有不同衰减速率的通道之间的强度差逐渐增大。基于此观察，构建评分公式的第一部分ω_k，表达式如下：

其中，k∈{1,2,3,4}表示通过四叉树分解技术，将退化的水下图像划分的四个子区域索引；E和F分别为子区域的长和宽；h,m,l分别代表以最高速率、中速率和最低速率衰减的通道，通过式(7)决定h,m,l在退化的水下图像M中所对应的r,g,b通道，取r,g,b通道中C值最大的通道为h通道，取r,g,b三通道中C值最小的通道为l通道；

分别对应第k个子区域内h通道、m通道和l通道的图像像素值；

式中，γ＝1.2，mean(·)表示取均值操作，C表示衰减因子，用来判断r,g,b通道的每个通道的衰减程度；

②随着场景深度的增加，散射效应变得更加明显，距离成像系统越远的区域对比度越低。因此，距离成像系统越远的区域，其标准偏差越小。基于此观察，构建评分公式第二部分μ_k，表达式如下：

基于随着场景深度的增加，散射效应变得更加明显，距离成像系统越远的区域对比度越低，构建评分公式的第二部分，表示为：

式中，

与

分别代表第k个子区域中λ通道的图像像素值和图像像素均值；

结合式(6)和式(8)，构建评分公式Ω_k，表示为：

Ω_k＝ω_k-μ_k (9)。

103、通过评分公式分别对子区域进行评分，选取分值最高的子区域作为候选后向散射区域；通过后向散射区域估计全局后向散射光值；

具体而言，预定义后向散射区域尺寸阈值；

通过式(9)得到后向散射区域的尺寸，并与后向散射区域尺寸阈值进行比较；若大于所述阈值，则将选取的后向散射区域继续执行四叉树分解并使用评分公式进行评分；若小于阈值，则选取该后向散射区域Ω，即

选取后向散射区域Ω内最大值的像素作为全局后向散射光值A^λ，表示为：

式中，(i^*,j^*)是最大值的像素的位置。

104、采用暗通道先验算法根据全局后向散射光值估计透射图；

具体而言，采用暗通道先验算法估计透射图的表达式为：

式中，Δ(i,j)是以(i,j)为中心的窗口块；T^λ(i,j)表示透射图；将所述全局后向散射光值代入式(11)中，得到所述透射图。

通过公式(11)可以看出透射图的准确估计直接取决于全局后向散射光的估计。而估计全局后向散射光的关键在于后向散射区域的选取。所谓的后向散射区域是指该区域的辐射光强全部来自于后向散射光，而无目标反射光。

105、将全局后向散射光值和透射图输入至水下光学成像模型，得到去雾图像；

具体而言，将全局后向散射光值和透射图代入式(5)中，得到去雾图像，表示为：

式中，N^λ为恢复的去雾图像，

为常数，以防止分母为0，本实施例设

106、采用分段平滑假设对去雾图像进行色彩补偿；

具体而言，尽管水下图像可以通过以上方法进行去雾处理，但是由于吸收效应的存在使得去雾后的图像仍然存在亮度低、颜色失真等问题，掩盖了许多有价值的图像信息。为了进一步提升水下图像质量，本发明采用分段平滑假设颜色补偿方法，用于校正水下图像的色偏问题。具体方法是：

将所述去雾图像分成w个块状图像，通过式(13)-(15)对每个所述块状图像作颜色补偿；

式中，

和

分别代表第w个块图像

中λ通道的均值和标准差；

和

分别是第w个块图像

调整后λ通道的最大值和最小值；

是第w个块图像

颜色校正后λ通道的结果；μ是控制图像动态范围的参数，本实施例设为μ＝2.3。

107、对色彩补偿后的去雾图像进行精细化处理，以使得退化的水下图像恢复清晰。

具体而言，由于上述操作是基于块状图像进行的，颜色校正后的图像

呈现明显的块效应，因此本实施例基于一个分段平滑假设，即在一个小的图像块中相邻的像素具有相似的颜色，构造一个代价函数，通过最小化代价函数对上述颜色校正后的图像进行精细化处理，代价函数公式表示为：

式中，(x,y)∈N(i,j)表示(x,y)与(i,j)相邻；λ是控制平滑度的参数，本实施例设置λ＝0.5，

为最终颜色校正结果图。

传统方法与本发明方法的实验结果对比：

1、后向散射区域选取结果对比

传统方法基于四叉树分解技术将平均灰度值和标准差作为评估标准选取后向散射区域，该方法选取的后向散射区域会产生误差；本发明方法将构建的评分公式作为评估标准，与传统方法相比选取后向散射区域更准确。如图3所示，传统方法与本发明方法选取后向散射区域的对比结果。

2、视觉效果对比

为了检验本发明方法解决水下退化图像对比度低、颜色失真等问题的有效程度，选取5幅水下退化图像分别与DCP、Retinex、IBLA及红通道四种传统方法进行处理结果对比，如图4所示。不难看出，DCP方法和IBLA方法可以提高原始水下图像的清晰度，但是这两种方法的结果亮度较暗，并且存在色偏；Retinex方法没有考虑水下成像机制，该方法生成的结果图细节较模糊；红通道方法去雾效果较差，且颜色仍存在偏差；本发明提出的方法增强了图像整体的对比度和色彩，提升了水下图像质量，得到清晰的水下图像。

3、图像质量评价

为了进一步定量验证本发明方法处理图像的性能，采用UIQM和UCIQE两种水下质量评估方法对图4中所有水下图像进行定量评价。

UIQM通过三个部分的线性组合来评估水下图像的增强性能：色彩度量(UICM)，清晰度度量(UISM)和对比度度量(UIConM)，其值越大，表示图像的颜色平衡、清晰度和对比度越佳。UIQM表达式为：

UIQM＝c₁×UICM+c₂×UISM+c₃×UIConM (17)

其中，c₁,c₂,c₃是比例参数，分别设置为c₁＝0.0282,c₂＝0.2953,c₃＝3.5753。

UCIQE是对水下图像的色彩浓度σ_c，平均饱和度con_l和亮度对比度μ_s的线性组合，其值越大，表明图像的质量越好。UCIQE用以下公式表示：

UCIQE＝m₁×σ_c+m₂×con_l+m₃×μ_s (18)

其中，m₁,m₂,m₃是比例参数，分别设置为m₁＝0.4680,m₂＝0.2745,c₃＝0.2576。

UIQM和UCIQE对比分析结果如表1所示，数据表明本发明方法在增强水下图像质量方面表现出更好的性能，能够使得处理后的图像具有更高的对比度、更真实的色彩。

表1

本发明的有益效果是：

(1)本发明考虑了散射效应和吸收效应，使得增强后的图像具有更真实的色彩，更好的整体对比度和更少的伪影。

(2)本发明利用一种衰减驱动的基于四叉树分解技术与新型评分公式相结合的方案实现自动定位后向散射区域和估计全局后向散射光，这一方案避免了图像中白色物体或噪点带来的不必要干扰，相比传统估计方法更加准确。

(3)本发明采用基于分段平滑假设的色彩补偿方法(即小图像块内的相邻像素具有相似的颜色)来进一步改善水下图像的外观，使得补偿后的图像外观更真实、自然。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种基于波长衰减识别的水下图像增强方法，其特征在于，包括：

输入退化的水下图像，并建立水下光学成像模型；

采用四叉树分解技术将所述退化的水下图像划分为若干子区域，并构建评分公式；

通过所述评分公式分别对所述子区域进行评分，选取分值最高的子区域作为候选后向散射区域；通过所述后向散射区域估计全局后向散射光值；

采用暗通道先验算法根据所述全局后向散射光值估计透射图；

将所述全局后向散射光值和所述透射图输入至所述水下光学成像模型，得到去雾图像；

采用分段平滑假设对所述去雾图像进行色彩补偿；

对色彩补偿后的所述去雾图像进行精细化处理，以使得所述退化的水下图像恢复清晰。

2.根据权利要求1所述的一种基于波长衰减识别的水下图像增强方法，其特征在于，所述输入退化的水下图像，并建立水下光学成像模型，包括：

所述退化的水下图像M^λ包括：场景反射光D^λ和后向散射光B^λ，表示为：

M^λ(i,j)＝D^λ(i,j)+B^λ(i,j) (1)

式中，λ∈{r,g,b}表示水下图像的RGB三个颜色通道，i,j为水下图像中像素点的坐标；

所述场景反射光，表示为：

D^λ(i,j)＝N^λ(i,j)T^λ(i,j) (2)

式中，N^λ(i,j)为待恢复的去雾图像，T^λ(i,j)为透射图，表示为：

T^λ(i,j)＝e^{-β(λ)d(i,j)} (3)

式中，β(λ)为衰减系数，d(i,j)是场景深度；

所述后向散射光，表示为：

B^λ(i,j)＝A^λ(1-T^λ(i,j)) (4)

式中，A^λ表示全局后向散射光；

结合式(1)-(4)得到所述水下光学成像模型，表示为：

M^λ(i,j)＝N^λ(i,j)T^λ(i,j)+A^λ(1-T^λ(i,j)) (5)。

3.根据权利要求2所述的一种基于波长衰减识别的水下图像增强方法，其特征在于，所述采用四叉树分解技术将所述退化的水下图像划分为若干子区域，并构建评分公式，包括：

基于随着场景深度不断增加，具有不同衰减速率的通道之间的强度差逐渐增大，构建所述评分公式的第一部分，表示为：

其中，k∈{1,2,3,4}表示通过所述四叉树分解技术，将所述退化的水下图像划分的四个子区域索引；E和F分别为子区域的长和宽；h,m,l分别代表以最高速率、中速率和最低速率衰减的通道，通过式(7)决定h,m,l在所述退化的水下图像M中所对应的r,g,b通道，取r,g,b通道中C值最大的通道为h通道，取r,g,b三通道中C值最小的通道为l通道；

分别对应第k个子区域内h通道、m通道和l通道的图像像素值；

式中，γ＝1.2，mean(·)表示取均值操作，C表示衰减因子，用来判断r,g,b通道的每个通道的衰减程度；

基于随着场景深度的增加，散射效应变得更加明显，距离成像系统越远的区域对比度越低，构建所述评分公式的第二部分，表示为：

式中，

与

分别代表第k个子区域中λ通道的图像像素值和图像像素均值；

结合式(6)和式(8)，构建所述评分公式Ω_k，表示为：

Ω_k＝ω_k-μ_k (9)。

4.根据权利要求3所述的一种基于波长衰减识别的水下图像增强方法，其特征在于，所述通过所述评分公式分别对所述子区域进行评分，选取分值最高的子区域作为候选后向散射区域；通过所述后向散射区域估计全局后向散射光值，包括：

预定义所述后向散射区域尺寸阈值；

通过式(9)得到所述后向散射区域的尺寸，并与所述后向散射区域尺寸阈值进行比较；若大于所述阈值，则将选取的后向散射区域继续执行四叉树分解并使用所述评分公式进行评分；若小于所述阈值，则选取该后向散射区域Ω，即

选取后向散射区域Ω内最大值的像素作为全局后向散射光值A^λ，表示为：

式中，(i^*,j^*)是最大值的像素的位置。

5.根据权利要求4所述的一种基于波长衰减识别的水下图像增强方法，其特征在于，所述采用暗通道先验算法根据所述全局后向散射光值估计透射图，包括：

所述采用暗通道先验算法估计透射图的表达式为：

式中，Δ(i,j)是以(i,j)为中心的窗口块；T^λ(i,j)表示透射图；将所述全局后向散射光值代入式(11)中，得到所述透射图。

6.根据权利要求1所述的一种基于波长衰减识别的水下图像增强方法，其特征在于，所述将所述全局后向散射光值和所述透射图输入至所述水下光学成像模型，得到去雾图像，包括：

将所述全局后向散射光值和所述透射图代入式(5)中，得到所述去雾图像，表示为：

式中，N^λ为恢复的去雾图像，

为常数。

7.根据权利要求6所述的一种基于波长衰减识别的水下图像增强方法，其特征在于，所述采用分段平滑假设对所述去雾图像进行色彩补偿，包括：

将所述去雾图像分成w个块状图像，通过式(13)-(15)对每个所述块状图像作颜色补偿；

式中，

和

分别代表第w个块图像

中λ通道的均值和标准差；

和

分别是第w个块图像

调整后λ通道的最大值和最小值；

是第w个块图像

颜色校正后λ通道的结果；μ是控制图像动态范围的参数。

8.根据权利要求7所述的一种基于波长衰减识别的水下图像增强方法，其特征在于，所述对色彩补偿后的所述去雾图像进行精细化处理，包括：

通过式(16)对色彩补偿后的所述去雾图像进行精细化处理，表示为：

式中，(x,y)∈N(i,j)表示(x,y)与(i,j)相邻；λ是控制平滑度的参数。

Images