CN106971379A - 一种基于分层加权融合的水下图像增强方法 - Google Patents

Abstract

本发明公开了一种基于分层加权融合的水下图像增强方法，所述水下图像增强方法包括以下步骤：对原始的水下图像用引导图像滤波处理，然后采用拉普拉斯金字塔分解，得到不同层的图像；前一层图像大小是后一层图像大小的4倍；根据每一个退化特点，分别采用灰度世界和直方图均衡化处理得到输入图像；对权重引入权重影响因子，提高权重的分配比例；对每一幅输入图像和权重进行融合，通过拉普拉斯金字塔重建的方式增强水下图像。本发明采用先分解后融合的思想达到降低计算量的目的，并且运行效率高；在细节信息的提取和处理方面均优于现有技术中的其他算法。除此之外，本发明采用分层的方法对水下图像融合，目的是减少计算复杂度，有利于进一步的视频处理。

Description

一种基于分层加权融合的水下图像增强方法

技术领域

本发明涉及图像融合的水下图像增强领域，尤其涉及一种基于分层加权融合的水下图像增强方法。

背景技术

近些年来，海洋信息获取、传输和处理等理论技术越来越受到人们的关注，无论是在海洋开发、工程应用，还是军事中，水下视觉技术都具有及其重要的战略地位。但是由于水下成像过程中水体对光的散射和吸收效应带来的非线性影响，造成水下图像质量不理想，图像对比度低、纹理模糊，图像质量明显下降。现如今的水下图像增强技术尚不成熟，需要进一步的深入研究。

Bazeille等人[1]提出了一种水下图像预处理算法，它能够降低水下扰动，并提高了图像质量。该算法首先通过同态滤波的方法修正非均匀照明，然后利用小波去噪并采用非均匀滤波对边缘进行增强，最后通过均衡RGB通道来调整颜色。Petit等人[2]提出了一种基于四元法的水下图像增强算法，该算法主要用于提高水下图像的颜色显示和景物的对比度，首先用四元法对图像颜色空间进行压缩变换，然后基于光衰减逆求解出最终的颜色向量。经过该算法处理后的图像背景区域的像素点颜色变为灰色或低饱和颜色，而景物区域的像素点颜色则被保持。Fattal等人[3]利用图像表面阴影和大气传递函数在局部不相关的假设来估计场景的透射度复原水下图像。Xueyang Fu[4]等人提出了一种在变分框架下基于Retinex理论的水下图像增强方法。该算法根据图像自身的先验信息，在基于Retinex的变分框架下构造出一种新的目标函数，并采用交替优化的算法求解目标函数。

Ancuti等[5]提出了一种基于融合的水下图像增强算法。该算法主要是对输入图像和权重图的选取并通过多分辨率融合达到增强水下图像的目的。水下图像突出的特点是颜色失真和对比度下降，针对这一特点，Ancuti提出分别对每一个特点进行处理得到两幅输入图和权重图，再经过多分辨率融合恢复水下图像。首先，不同波长的光在传输过程中会被不同程度的吸收，导致图像的颜色偏移，而颜色恒常性算法是对偏移颜色的校正方法，针对水下图像的上述特点，Ancuti利用传统的Gray-World[6]方法对降质的图像处理得到输入图像I₁，其中，对光照度进行了调整：

μ_I＝0.5+λμ_ref (1)

其中，μ_ref是亮度平均值，μ_I是亮度估计值(在Gray-World中得到的值)。光线衰减后，图像的全局对比度明显减弱，为了得到清晰的图像，Ancuti采用传统的直方图均衡化的方法提高全局对比度，得到输入图像I₂。

在得到颜色校正和全局对比度提高的两幅输入图之后，考虑到退化的图像在显著性、局部和全局对比度以及曝光方面还有很多欠缺，因此，输入图像的权重将由以下四个权重因子决定：

(1)拉普拉斯对比度权重是通过对每一个亮度通道应用拉普拉滤波器，并计算其绝对值得到全局对比度的权重图。

(2)局部对比度权重由每个像素及其邻域像素获得：

W_LC(x,y)＝||I^k-I^k _whc|| (2)

其中，I^k是输入图像的亮度通道，I^k _whc是经过低通滤波器处理后的通道。

(3)图像的主要信息只集中在少数的关键区域中，而人们所关注的也通常集中在图像轮廓曲度最大或轮廓方向突然改变的区域，这些信息由显著图来体现，显著性权重图由Achanta[7]得到。

(4)曝光度权重用来衡量像素的曝光程度，它由一个高斯模型获得：

其中，I^k(x,y)代表在(x,y)处的亮度值；σ为0.25。

为了得到良好的效果，该方法对四幅权重图进行归一化得到两幅权重图，如下所示：

其中，n_W_Li，n_W_LCi，n_W_Si和n_W_Ei(i＝1,2)分别是归一化的拉普拉斯权重，局部对比度权重，显著性权重和曝光度权重。最后，将两幅输入图和两幅权重图用拉普拉斯金字塔多分辨率融合的方法处理，得到增强后的图像：

其中，L{I}是输入图像的拉普拉斯金字塔，是权重的高斯金字塔。

发明内容

本发明提供了一种基于分层加权融合的水下图像增强方法，本发明对图像分解的底层图像进行简单的像素操作，并且在图像融合的基础上引入权重影响因子，以提高图像的清晰度，更好的增强图像边缘，详见下文描述：

一种基于分层加权融合的水下图像增强方法，所述水下图像增强方法包括以下步骤：

对原始的水下图像先用引导图像滤波，然后用拉普拉斯金字塔分解，得到不同层的图像；前一层图像大小是后一层图像大小的4倍；

根据每一个退化特点，分别采用灰度世界和直方图均衡化处理得到输入图像；

对权重引入权重影响因子，提高权重的分配比例；

对每一幅输入图像和权重进行融合，通过拉普拉斯金字塔重建的方式增强水下图像。

其中，所述对权重引入权重影响因子，提高权重的分配比例的步骤具体为：

m_W₁＝a_1*n_W_LC1+b_1*n_W_S1+c_1*n_W_E1

m_W₂＝a_2*n_W_LC2+b_2*n_W_S2+c_2*n_W_E2

其中，a_i，b_i和c_i分别是每个权重的比例因子，n_W_LCi，n_W_Si和n_W_Ei分别为上述的局部对比度权重、显著性权重和曝光度权重的归一化权重结果；i＝1,2。

其中，所述对每一幅输入图像和权重进行融合的步骤具体为：

其中，fusion_top(i,j)为拉普拉斯金字塔最高层的融合图像；input_k(i,j)是输入图像，m_W_k(i,j)是输入图像的权重。

其中，所述通过拉普拉斯金字塔重建的方式增强水下图像的步骤具体为：

其中，LP_l是拉普拉斯金字塔分解后的细节部分，G^* _l+1是G_l经内插放大得到的；G_N为拉普拉金字塔分解后的最高层图像的融合图像；G_l为经过增强后的第l层拉普拉斯金字塔图像。

本发明提供的技术方案的有益效果是：本发明采用先分解后融合的思想达到降低计算量的目的，并且运行效率高；在细节信息的提取和处理方面均优于现有技术中的其他算法。除此之外，本发明采用分层的方法对水下图像融合，目的是减少计算复杂度，有利于进一步的视频处理。

附图说明

图1为一种基于分层加权融合的水下图像增强方法的流程图；

图2为不同水下图像增强算法结果示意图；

图3为不同算法运行时间结果示意图；

图4为不同分层的处理效果图；

其中，(a)源图像及其各通道直方图；(b)N＝1；(c)N＝2；(d)N＝默认分解层数。

图5为客观指标结果示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

水下环境中的恶劣条件导致水下图像对比度下降、模糊不清晰，严重阻碍了人们对海洋的研究。图像增强方法不考虑成像中的具体物理过程，不需要预先知道水体光学参数等信息，因此对水下图像恢复具有重要的价值，其中，图像融合技术能够显著提高图像的清晰度和对比度，使更多的图像细节表现出来，对降质的水下图像具有增强作用。

实施例1

基于Ancuti的融合方法，本发明实施例提出一种分层的加权融合方法。水下图像退化主要是颜色失真、对比度下降和清晰度下降。在基本的融合方法中，输入图像和权重图的获取均来自于源图像，这将提高了计算量，不利于水下视频的实时处理。因此，本发明实施例采用先分解后融合的思想达到降低计算量的目的，参见图1，该方法包括以下步骤：

101：对原始的水下图像先用引导图像滤波，再用拉普拉斯金字塔分解，得到不同层的图像L₀,L₁,...,L_N；

其中，L_N是最后一层的分辨率低的图像，L₀,L₁,...,L_N-1是每一层的高频部分，并且前一层的图像大小是后一层图像大小的4倍。

102：根据每一个退化特点，分别采用灰度世界(Gray-World)和直方图均衡化处理得到输入图像input₁和input₂；

103：对权重引入权重影响因子，提高权重的分配比例；

由于权重在融合过程中起了重要的作用，而单纯的将四幅权重图归一化并直接相加得到的结果无法权衡哪个特征在该像素上占主导地位，不能合理的分配图像的特征信息，从而使图像丢失部分细节。因此为了得到细节丰富的图像，对权重引入权重影响因子，提高权重的分配比例。

104：通过拉普拉斯金字塔重建的方式增强水下图像。

综上所述，本发明实施例通过上述步骤101-步骤104对图像分解的底层图像进行简单的像素操作，并且在图像融合的基础上引入权重影响因子，以提高图像的清晰度，更好的增强图像边缘。

实施例2

下面结合具体的计算公式、附图对实施例1中的方案进行进一步地介绍，详见下文描述：

201：对水下图像先用引导图像滤波，再采用拉普拉斯金字塔分解，得到各层图像L₀,L₁,...,L_N；

202：对分解后的最后一层图像L_N分别用Gray-World和直方图均衡化处理，得到输入图像input₁和input₂；

203：对每一幅输入图像分别计算其局部对比度权重、显著性权重和曝光度权重，引入影响因子，对权重修正如下所示：

m_W₁＝a_1*n_W_LC1+b_1*n_W_S1+c_1*n_W_E1 (7)

m_W₂＝a_2*n_W_LC2+b_2*n_W_S2+c_2*n_W_E2 (8)

其中，a_i，b_i和c_i分别是每个权重的比例因子，n_W_LCi，n_W_Si和n_W_Ei分别为上述的局部对比度权重、显著性权重和曝光度权重的归一化权重结果。

(n_W_LCi＝W_LCi/(W_LC1+W_LC2)，同理另外两个权重图n_W_Si和n_W_Ei，i＝1,2)。

为了增强边缘并且去除噪声的干扰，本发明实施例采用加权引导滤波的方法实现对权重因子的定义，即：

其中，ε是一个很小的正数，防止分母为零，K＝2。

该权重因子的意义在于当处于边界时，影响参数大于1，此时融合时更容易凸显边界，提高清晰度，增强边缘。

204：对每一幅输入图像和权重进行融合：

其中，fusion_top(i,j)为拉普拉斯金字塔最高层的融合图像；input_k(i,j)是输入图像，m_W_k(i,j)是输入图像的权重。

205：为了得到清晰的水下图像，采用拉普拉斯重建的方法重建水下图像。

其中，LP_l是拉普拉斯金字塔分解后的细节部分，G^* _l+1是G_l经内插放大得到的；G_N为拉普拉金字塔分解后的最高层图像的融合图像；G_l为经过增强后的第l层拉普拉斯金字塔图像。

综上所述，本发明实施例通过上述步骤201-步骤205对图像分解的底层图像进行简单的像素操作，并且在图像融合的基础上引入权重影响因子，以提高图像的清晰度，更好的增强图像边缘。

实施例3

下面结合具体的实例对实施例1和2中的方案进行可行性验证，详见下文描述：

为验证本方法的效果，应用如上所述的算法对真实的水下图像分层加权融合并分析。在图像融合过程中，本方法对R、G、B三个通道分别计算融合。

主观方面，图2显示了6组水下图像通过不同的增强算法(Fattal算法[3]，XueyangFu算法[4]，Ancuti算法[5]和本发明算法)得到的实验结果。文献[3]中在去雾方面有一定的效果，但是由于该方法需要足够的颜色信息来恢复图像，所以针对偏蓝绿色调的水下图像来说有一定的局限性。而文献[4]和文献[5]中整体偏暗，并且图像细节不清晰。采用本发明的技术方案从主观上看整体效果较好，颜色在一定程度上得到了校正并且细节更加清晰。

从客观方面，本发明在图像均值、彩色熵、平均梯度、信息熵以及标准差五个图像质量测量指标对实验结果进行测量。由于只对一幅图像测量不能代表整体的算法效果，因此，本发明采用将6组图像取均值的方法并与其它算法相比，表1显示了多种算法的客观结果，本发明算法结果除了标准差低于文献[3]之外，其它的指标均高于其他算法。同时，图3显示了不同算法运行时间的直方图，从直方图结果来看，本算法的运行时间均少于其他三种算法，这说明本发明算法在细节信息的提取和处理方面均优于其他三种算法并且计算复杂度低、运行效率高。

表1客观指标实验结果

除此之外，本发明采用分层的方法对水下图像融合，目的是减少计算复杂度，有利于进一步的视频处理。因此，图4显示了对水下图像分为不同层时的增强结果，从客观结果看来，分解层数越少越，其细节越丰富，当分解为最后一层时，图像丢失了太多信息，导致融合后的细节丢失，清晰度降低。图5显示了图4的客观指标，分解层数为1的均值和平均梯度均略高于分解层数为2的结果，而信息熵略低于分解层数为2时的增强结果，并且可以看出其运行时间下降较快。但是从其主观视觉效果上看，两者的视觉效果差距较小，因此，综合主观和客观分析，本方法选择分解层数为2时为最佳效果。

在实际应用中，为了得到最佳的增强结果，对本发明算法中涉及的参数进行如下设置：公式(3)中σ＝0.25，公式(9)、(10)和(11)中ε＝10^-4，分解层数为N＝2。以降质的水下图像为实验对象，采用本发明中描述的步骤，按上述参数值设置，可以得到视觉效果较好的融合图像。实验结果表明，本发明算法在主观视觉和客观定量指标等方面均有较好的效果。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于分层加权融合的水下图像增强方法，其特征在于，所述水下图像增强方法包括以下步骤：

对原始的水下图像用引导图像滤波处理，然后用拉普拉斯金字塔分解，得到不同层的图像；前一层图像大小是后一层图像大小的4倍；

根据每一个退化特点，分别采用灰度世界和直方图均衡化处理得到输入图像；

对权重引入权重影响因子，提高权重的分配比例；

对每一幅输入图像和权重进行融合，通过拉普拉斯金字塔重建的方式增强水下图像。

2.根据权利要求1所述的一种基于分层加权融合的水下图像增强方法，其特征在于，所述对权重引入权重影响因子，提高权重的分配比例的步骤具体为：

m-W₁＝a-1*n-W_LC1+b-1*n-W_S1+c-1*n-W_E1

m-W₂＝a-2*n-W_LC2+b-2*n-W_S2+c-2*n-W_E2

其中，a-i，b-i和c-i分别是每个权重的比例因子，n-W_LCi，n-W_Si和n-W_Ei分别为上述的局部对比度权重、显著性权重和曝光度权重的归一化权重结果；i＝1,2。

3.根据权利要求1所述的一种基于分层加权融合的水下图像增强方法，其特征在于，所述对每一幅输入图像和权重进行融合的步骤具体为：

其中，fusion-top(i,j)为拉普拉斯金字塔最高层的融合图像；input_k(i,j)是输入图像，m-W_k(i,j)是输入图像的权重。

4.根据权利要求3所述的一种基于分层加权融合的水下图像增强方法，其特征在于，所述通过拉普拉斯金字塔重建的方式增强水下图像的步骤具体为：

其中，LP_l是拉普拉斯金字塔分解后的细节部分，G^* _l+1是G_l经内插放大得到的；G_N为拉普拉金字塔分解后的最高层图像的融合图像；G_l为经过增强后的第l层拉普拉斯金字塔图像。