CN109903250B - 基于多尺度梯度域对比度拉伸的水下图像清晰化处理方法 - Google Patents

Abstract

本发明公开了一种基于多尺度梯度域对比度拉伸的水下图像清晰化处理方法，包括：采用白平衡算法获得去除蓝色窗口效应后的水下图像，并将水下图像由RGB色彩空间转换为LAB色彩空间；将所述水下图像的LAB色彩空间的L通道图像进行基于加权最小二乘法分解得到粗略图像；根据粗略图像计算细节图像，并采用不同梯度对细节图像进行增强，得到增强后的细节图像；对粗略图像进行伽马校正，将校正后的粗略图像作为基础图像；将增强后的细节图像以及基础图像合成得到对比度增强后的图像；将水下图像的LAB色彩空间的A、B通道进行色彩饱和度补偿；将对比度增强后的图像和色彩饱和度补偿后的水下图像转换为RGB色彩空间。本发明提高了水下图像的清晰度。

Description

基于多尺度梯度域对比度拉伸的水下图像清晰化处理方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于多尺度梯度域对比度拉伸的水下图像清晰化处理方法。

背景技术

随着图像处理技术的发展，水下图像清晰化,以算法模块方式嵌入水下机器人光视觉系统，提高水下浑浊图像的能见度，便于后期进行目标精准识别。路上雾天图像清晰化以及水下图像清晰化，以算法模块方式嵌入机车远端瞭望系统、小型轿车驾驶辅助系统及行车记录仪、水下机器人光视觉系统，提高雾天图像或水下浑浊图像中的能见度，便于后期进行目标精准识别。

多参数估计病态问题：目前基于物理模型的水下图像复原本质上是一个求解病态方程，并且是一个不完全约束问题。假设条件和先验知识局限性大，处理效果取决于多参数估计精度，极易出现失真，仅针对特定条件下的水下图像或某种退化现象具有一定的实用性，面对真实复杂的海洋环境，其综合性、鲁棒性及准确性并不理想，在实际应用中严重受限。噪声放大问题：海洋环境中含有大量泥沙、溶解的有机质和微小的悬浮颗粒，导致水下拍摄图像富含噪声，同时也放大了后向散射对水下成像的影响。尤其在深海环境中，大量漂浮的“海洋雪”造成目标遮挡，严重破坏了水下成像质量。目前大量研究在有效提高水下图像能见度的同时也严重放大了噪声，使得感兴趣目标淹没噪声中，造成水下图像质量进一步恶化。

综上所述，水下图像的处理结果清晰度有待提高。

发明内容

本发明提供一种基于多尺度梯度域对比度拉伸的水下图像清晰化处理方法，以克服上述技术问题。

本发明基于多尺度梯度域对比度拉伸的水下图像清晰化处理方法，其特征在于，包括：

采用白平衡算法对水下图像进行色彩校正，获得去除蓝色窗口效应后的水下图像，并将所述去除蓝色窗口效应的后的水下图像由RGB色彩空间转换为LAB色彩空间；

将所述水下图像的LAB色彩空间的L通道图像进行基于加权最小二乘法分解得到粗略图像；

根据所述粗略图像计算细节图像，并采用不同梯度对所述细节图像进行增强，得到增强后的细节图像；

对所述粗略图像进行伽马校正，将校正后的粗略图像作为基础图像；

将所述增强后的细节图像以及所述基础图像合成得到对比度增强后的图像；

将所述水下图像的LAB色彩空间的A、B通道进行色彩饱和度补偿；

将所述对比度增强后的图像和色彩饱和度补偿后的水下图像转换为RGB色彩空间。

进一步地，所述根据所述粗略图像计算细节图像，包括：

根据公式

d_i＝u_i-1-u_i (1)

计算细节图像，所述细节图像为输入图像经过平滑处理后的残差图，其中，i＝1,2…，u₀为输入图像，u_i为第i个粗略图像，u_i-1为第i-1个粗略图像，d_i为细节图像。

进一步地，所述采用不同梯度对所述细节图像进行增强，得到增强后的细节图像，包括：

采用公式

对所述细节图像进行增强，得到增强后的细节图像，其中，

表示细节图像d_i的梯度，

表示d_i梯度拉伸后的结果，

为透射率的平均值，w_i为设置的参数，

为控制梯度拉伸的幅度的增强系数。

进一步地，所述将所述增强后的细节图像以及所述基础图像合成得到对比度增强后的图像，包括：

采用公式

L′_R＝u′_i+S(σ₁,d′₁)+S(σ₂,d′₂)+...+S(σ_i,d′_i) (3)

得到对比度增强后的图像，其中，L′_R为对比度增强后的图像，S(a,x)＝1/(1+exp(-ax))为Sigmoid函数，防止重建后图像出现硬剪裁现象，u′_i为伽马校正后的基础图像，σ₁、σ₂、…σ_i为放大系数，d′₁、d′₂、…d′_i是d₁、d₂…d_i进行梯度增强后的细节图像。

进一步地，所述将所述水下图像的LAB色彩空间的A、B通道进行色彩饱和度补偿，包括：

采用公式

Co l′_c＝e^θ(1-t)Col_c (4)

将水下图像的LAB色彩空间的A、B通道进行色彩饱和度补偿，其中，c＝I_A,I_B表示LAB色彩空间中与颜色相关的A、B两个通道，Col_c表示在A、B通道所对应的像素值，θ为调节色彩补偿程度的参数，t为透射率，e^x为以e为底的指数函数。

本发明将水下图像对应的不同对比度转换至单一参数的梯度域，减少了估计参数的数量，且不严格依赖于残余能量比和背景光等多参数的估计准确度，避免多参数估计误差导致的严重失真，提高了水下图像的清晰度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于多尺度梯度域对比度拉伸的水下图像清晰化处理方法流程图；

图2为本发明基于多尺度梯度域对比度拉伸的水下图像清晰化处理方法参数对应流程图；

图3a为本发明输入的水下图像原始图像；

图3b为本发明原始图像色彩校正后的图像；

图3c为本发明LAB色彩空间中的L通道的图像；

图3d为本发明粗略图像中的基础图像；

图3e为本发明根据粗略图像计算得到的细节图像；

图3f为本发明根据粗略图像计算得到的另一细节图像；

图3g为本发明根据增强细节图像和基础图像合成的图像；

图3h为本发明最终输出对比度增强后的图像；

图4a为现有技术暗通道优化算法处理后的水下图像；

图4b为现有技术去模糊网络算法处理后的水下图像。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明基于多尺度梯度域对比度拉伸的水下图像清晰化处理方法流程图，如图1所示，本实施例的方法可以包括：

步骤101、采用白平衡算法对水下图像进行色彩校正，获得去除蓝色窗口效应后的水下图像，并将所述去除蓝色窗口效应的后的水下图像由RGB色彩空间转换为LAB色彩空间；

具体而言，本实施例采用的水下图像白平衡算法使用以下方式估算：

其中，I_out是色彩校正后的图像，I为输入的原始水下图像，μ＝{μ_R,μ_G,μ_B}代表输入图像RGB每个通道像素的总和，其中，μ_R,μ_G,μ_B分别代表R，G，B通道的像素和，μ_ref＝((μ_R)²+(μ_G)²+(μ_B)²)^1/2,μ_ref为图像中像素的平均值，λ₁＝{λ_R,λ_G,λ_B}是RGB增益因子，它可以通过计算输入的水下图像每个通道像素的最大值来获得。该最大值对应不同图像，有不同像素的最大值，可以通过MATLAB软件计算得出。λ₂在[0,0.5]范围内。本实施例选用λ₂＝0.2。参数对应流程如图2所示。

步骤102、将所述水下图像的LAB色彩空间的L通道图像进行基于加权最小二乘法分解得到粗略图像；

步骤103、根据所述粗略图像计算细节图像，并采用不同梯度对所述细节图像进行增强，得到增强后的细节图像；

步骤104、对所述粗略图像进行伽马校正，将校正后的粗略图像作为基础图像；

步骤105、将所述增强后的细节图像以及所述基础图像合成得到对比度增强后的图像；

步骤106、将所述水下图像的LAB色彩空间的A、B通道进行色彩饱和度补偿；

步骤107、将所述对比度增强后的图像和色彩饱和度补偿后的水下图像转换为RGB色彩空间。

进一步地，所述根据所述粗略图像计算细节图像，包括：

根据公式

d_i＝u_i-1-u_i (2)

计算细节图像，所述细节图像为输入图像经过平滑处理后的残差图，其中，i＝1,2…，u₀为输入图像，u_i为第i个粗略图像，u_i-1为第i-1个粗略图像，d_i为细节图像。

具体而言，本实施例选用最小二乘法分解前两次平滑得到的粗略图像计算细节图像，即d₁＝u₀-u₁，d₂＝u₁-u₂，u₀为输入的水下图像，u₁为输入的水下图像经过第一次平滑得到的图像，u₂为输入的水下图像经过第二次平滑得到的图像。细节图像d₁是输入图像u₀与经过第一次平滑得到图像u₁的残差图，细节图像d₂是经过第一次平滑得到图像u₁与第二次平滑得到的图像u₂的残差图。在多尺度残差图像上进行处理，将水下图像具有高度可控灵活性，尤其在泥沙、“海洋雪”等噪声明显的海洋环境中尤为明显，通过控制图像分解过程中的平滑系数，根据图像实际质量确定噪声截获幅度，在有效增强重要轮廓信息的同时避免了噪声大幅增强的现象。

进一步地，所述采用不同梯度对所述细节图像进行增强，得到增强后的细节图像，包括：

采用公式

对所述细节图像进行增强，得到增强后的细节图像，其中，

表示细节图像d_i的梯度，

表示d_i梯度拉伸后的结果，

为透射率的平均值，w_i为设置的参数，

为控制梯度拉伸的幅度的增强系数。

具体而言，本实施例输入的水下图像的原始图像如图3a所示，对于该水下图取前两次经过平滑处理的粗略图像u₁和u₂得到的细节图像d₁和d₂已经包含了增强后的水下图像主要细节信息，两次平滑处理即可完成水下图像的处理，提高了算法的运行效率。

采用两个细节图进行梯度增强处理

其中，d₁细节图像是输入图像与经过第一次平滑得到图像的残差图，其中包含大量的小粒度细节及噪声，仅需较小幅度的增强，而d₂细节图像则包含着重要的边缘和结构信息，因此需要大幅度增强，体现在参数设置上即为w₁＜w₂。

进一步地，所述将所述增强后的细节图像以及所述基础图像合成得到对比度增强后的图像，包括：

采用公式

L′_R＝u′_i+S(σ₁,d′₁)+S(σ₂,d′₂)+...+S(σ_i,d′_i) (4)

得到对比度增强后的图像，其中，L′_R为对比度增强后的图像，S(a,x)＝1/(1+exp(-ax))为Sigmoid函数，防止重建后图像出现硬剪裁现象，u′_i为伽马校正后的基础图像，σ₁、σ₂、…σ_i为放大系数，d′₁、d′₂、…d′_i是d₁、d₂…d_i进行梯度增强后的细节图像。

进一步地，所述将所述水下图像的LAB色彩空间的A、B通道进行色彩饱和度补偿，包括：

采用公式

Col′_c＝e^θ(1-t)Col_c (5)

将水下图像的LAB色彩空间的A、B通道进行色彩饱和度补偿，其中，c＝I_A,I_B表示LAB色彩空间中与颜色相关的A、B两个通道，Col_c表示在A、B通道所对应的像素值，θ为调节色彩补偿程度的参数，t为透射率，e^x为以e为底的指数函数。

本实施例输入的水下图像的原始图像如图3a所示，进行色彩校正后的图像如图3b所示，L通道的图像如图3c所示，粗略图像中的基础图像如图3d所示，细节图像d₁,d₂如图3e、图3f所示，合成后的图像如图3g所示，经过处理后最终输出图像如图3h所示。

采用现有技术的暗通道优化算法(DCP)对图4a所示的水下图像原始图像处理的结果如图4a所示，去模糊网络算法(DehazeNet)处理的结果如图4b所示。表1为图像的各参数对比表。

表1

其中，指标e表示对比度恢复图像中新的可见边缘的比率，e的值越大，表示图像中物体或者人的边缘越清晰；r表示恢复对比度之后图像的质量，r的值越大，图像的对比度越高，图像的质量越好。通过对比可知，本发明使得输入的水下图像在边缘细节部分以及对比度等方面的清晰度增强效果很明显。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.一种基于多尺度梯度域对比度拉伸的水下图像清晰化处理方法，其特征在于，包括：

采用白平衡算法对水下图像进行色彩校正，获得去除蓝色窗口效应后的水下图像，并将所述去除蓝色窗口效应的后的水下图像由RGB色彩空间转换为LAB色彩空间；

将所述水下图像的LAB色彩空间的L通道图像进行基于加权最小二乘法分解得到粗略图像；

根据所述粗略图像计算细节图像，并采用不同梯度对所述细节图像进行增强，得到增强后的细节图像；

对所述粗略图像进行伽马校正，将校正后的粗略图像作为基础图像；

将所述增强后的细节图像以及所述基础图像合成得到对比度增强后的图像；

将所述水下图像的LAB色彩空间的A、B通道进行色彩饱和度补偿；

将所述对比度增强后的图像和色彩饱和度补偿后的水下图像转换为RGB色彩空间。

2.根据权利要求1所述的方法，其特征在于，所述根据所述粗略图像计算细节图像，包括：

根据公式

d_i＝u_i-1-u_i (1)

计算细节图像，所述细节图像为输入图像经过平滑处理后的残差图，其中，i＝1,2…，u₀为输入图像，u_i为第i个粗略图像，u_i-1为第i-1个粗略图像，d_i为细节图像。

3.根据权利要求1所述的方法，其特征在于，所述采用不同梯度对所述细节图像进行增强，得到增强后的细节图像，包括：

采用公式

对所述细节图像进行增强，得到增强后的细节图像，其中，

表示细节图像d_i的梯度，

表示d_i梯度拉伸后的结果，

为透射率的平均值，w_i为设置的参数，

为控制梯度拉伸的幅度的增强系数。

4.根据权利要求1所述的方法，其特征在于，所述将所述增强后的细节图像以及所述基础图像合成得到对比度增强后的图像，包括：

采用公式

L′_R＝u′_i+S(σ₁,d′₁)+S(σ₂,d′₂)+...+S(σ_i,d′_i) (3)

得到对比度增强后的图像，其中，L′_R为对比度增强后的图像，S(a,x)＝1/(1+exp(-ax))为Sigmoid函数，防止重建后图像出现硬剪裁现象，u′_i为伽马校正后的基础图像，σ₁、σ₂、…σ_i为放大系数，d′₁、d′₂、…d′_i是d₁、d₂…d_i进行梯度增强后的细节图像。

5.根据权利要求1所述的方法，其特征在于，所述将所述水下图像的LAB色彩空间的A、B通道进行色彩饱和度补偿，包括：

采用公式

Col′_c＝e^θ(1-t)Col_c (4)

将水下图像的LAB色彩空间的A、B通道进行色彩饱和度补偿，其中，c＝I_A,I_B表示LAB色彩空间中与颜色相关的A、B两个通道，Col_c表示在A、B通道所对应的像素值，θ为调节色彩补偿程度的参数，t为透射率，e^x为以e为底的指数函数。

Images