CN111047530A - 基于多特征融合的水下图像颜色校正和对比度增强方法 - Google Patents

Abstract

本发明提供一种基于多特征融合的水下图像颜色校正和对比度增强方法。本发明方法，包含以下五个过程：颜色校正、对比度增强、融合权重计算、多尺度融合以及细节增强。首先，对采集的水下退化图像采用白平衡进行颜色校正，获取第一幅输入图像；其次，对白平衡后效果图采用引导滤波进行对比度增强，获取第二幅输入图；然后，分别求取两幅输入图的四个特征权重；接着，对权重图进行归一化得到对应的标准化权重图，采用多尺度融合，得到融合结果图；最后，对融合结果图采用色阶处理，增强图像边缘细节，得到最后增强图像。该发明方法在无需任何先验信息条件下，有效实现水下图像颜色校正和对比度增强，提升图像视觉效果，可以应用于图像预处理。

Description

基于多特征融合的水下图像颜色校正和对比度增强方法

技术领域

本发明涉及一种基于多特征融合的水下图像颜色校正和对比度增强方法。

背景技术

随着陆地资源的日益缺乏，海洋资源的开发成为各国关注的焦点。水下探测技术对海洋资源的探索、环境监测以及海洋军事都具有重要意义。水下图像作为获取海洋信息的重要载体，其获取和与水下成像系统有着密切关系。水下退化图像直接影响各项应用。水下采集的图像与陆地拍摄图像不同，其成像环境和光照条件导致水下图像颜色偏色、对比度低以及细节模糊。

随着图像处理和计算机视觉技术的快速发展和成熟，采用上述技术处理水下图像，可以有效提升水下图像的视觉效果，使处理后的水下图像更符合人类的视觉感受。目前，水下图像处理的方法较多，主要被分为三类，水下图像增强、水下图像复原以及水下图像融合方法。在一定程度上，水下图像增强方法可以有效改善图像视觉效果，但存在噪声放大，伪影以及颜色失真现象，无法彻底解决水下图像退化问题。水下图像复原方法依赖水下退化模型，需要获取先验知识，算法存在一定局限性。水下图像融合方法可以通过多尺度融合，不仅增强水下图像对比度，解决偏色，而且可以克服光晕伪影现象。

发明内容

本发明克服上述现有技术的不足，提供一种基于多特征融合的水下图像颜色校正和对比度增强方法。本发明方法对采集的水下退化图像采用白平衡技术进行颜色校正，获取颜色校正输入图；其次，对白平衡后效果图采用引导滤波进行对比度增强，获取对比度增强输入图；然后，分别求取两幅输入图的四个特征权重；接着，对权重图进行归一化操作得到对应的标准化权重图，采用多尺度融合，得到融合结果图；最后，对融合结果图采用色阶处理，增强图像边缘细节，得到最后增强图像。本发明不仅能有效解决颜色偏色和增强对比度，而且可以保持细节信息，提升图像的视觉效果。

本发明采用的技术方案为：一种基于多特征融合的水下图像颜色校正和对比度增强方法，其特征在于，包括以下步骤：

步骤S01：将输入的原始图像进行白平衡处理，得到颜色校正图，作为输入图一；

步骤S02：通过引导滤波处理得到所述输入图一，的对比度增强图，作为输入图二；

步骤S03：对所述输入图一和所述输入图二分别提取四个特征权重图，所述特征权重图包括：饱和度权重，全局对比度权重，显著图权重，局部对比度权重；

步骤S04：对所述步骤S03中得到的所述四个特征权重图加权融合后进行归一化处理，得到标准化权重图一和标准化权重图二；

步骤S05：通过多尺度融合方法对所述步骤S04获取的所述标准化权重图一和所述标准化权重图二，得到融合后图像；

步骤S06：对所述步骤S05获取的所述融合图像采用色阶处理得到增强图像。

进一步地，所述步骤S01中的图像颜色校正的白平衡算法，通过计算求解，理论公式如下：

其中，K_R、K_G、K_B分别表示R、G、B通道的增益；λ表示动态参数，λ＝0.005；m、n分别表示图像的长和宽；

根据所述R、G、B通道的增益，求取个各通道的像素值区间[L_S,H_S]，S∈{R,G,B}；

其中，I(i,j,S)表示S通道像素值；L_S表示S通道的K_S分位数，H_S表示S通道的1-K_S分位数；

由于水下图像受光散射影响，导致获取图像模糊程度不同，因此，对色彩补偿后图像进行自适应对比度拉伸，为保证输出图像自然，对比度拉伸取决于分位数选取，具体为：

其中T_R(i,j)、T_G(i,j)、T_B(i,j)分别表示所述R、G、B通道的白平衡后的像素值。

进一步地，所述步骤S02中的引导滤波方法为：

基于局部线性模型的表达式为：

其中，q(x,y)表示滤波输出图像，T_L,i(x,y)表示引导图像，i和k均表示像素索引，a和b均表示当窗口中心位于k时该线性函数的系数；

求解滤波结果，即相当于最小化代价函数求解，最小化代价函数E(a_k,b_k)如下：

其中，ω_k是以像素k为中心的局部窗口，p(x,y)是q(x,y)滤波前结果，ε是正则化系数；

通过最小化代价函数求解，求解a_k、b_k的结果为：

其中u_k和

分别表示i在局部窗口ω中的均值和方差，ω表示窗口内像素个数。

更进一步地，所述步骤S04中的多尺度融合方法为：

W_k(x,y)＝W_La,k(x,y)+W_S,k(x,y)+W_LC,k(x,y)+W_Sat,k(x,y)；

其中，W_La,k(x,y)表示全局对比度权重；W_S,k(x,y)表示显著图权重；W_LC,k(x,y)表示局部对比度权重图；W_Sat,k(x,y)表示饱和度权重图；下标k表示第k个输入图像。

进一步地，所述步骤S06中的自动色阶函数表达形式如下所示：

C＝mgn；

其中，M表示将单通道的像素值，从小到大排序，得到的一维数组；T表示阈值，T＝0.01；m表示单通道像素矩阵的高；n表示单通道像素矩阵的宽；R'_E(x,y)表示自动色阶的结果图；

为了保证像素值有效输出范围[0,255]，对出现低通量或过流的某些像素值进行截断，截断为0或255；R_Enhance(x,y)表示细节提升结果：

本发明与现有技术相比具有以下优势：

本发明方法对采集的水下退化图像采用白平衡技术进行颜色校正，获取颜色校正输入图；其次，对白平衡后效果图采用引导滤波进行对比度增强，获取对比度增强输入图；然后，分别求取两幅输入图的四个特征权重；接着，对权重图进行归一化操作得到对应的标准化权重图，采用多尺度融合，得到融合结果图；最后，对融合结果图采用色阶处理，增强图像边缘细节，得到最后增强图像。本发明不仅能有效解决颜色偏色和增强对比度，而且可以保持细节信息，提升图像的视觉效果。

基于上述理由本发明可在图像预处理等领域推广应用。

附图说明

为了明确本发明或者技术方案，下面将对实施例或现有技术描述所需采用的附图进行简要概况说明。

图1为本发明的原理示意流程图；

图2为本发明与其他水下图像方法的效果图。图2-1为水下采集图像原图(潜水员)；图2-2为P et al.UDCP方法处理效果图；图2-3为Peng et al.GDCP方法处理效果图；图2-4为Peng et al.IBLA方法处理效果图；图2-5为本发明方法处理效果图。

图3为本发明与其他水下图像方法的效果图。图3-1为水下采集图像原图(珊瑚)；图3-2为P et al.UDCP方法处理效果图；图3-3为Peng et al.GDCP方法处理效果图；图3-4为Peng et al.IBLA方法处理效果图；图3-5为本发明方法处理效果图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了验证本发明图像增强的有效性，选择不同场景图像作为测试数据集，并与Pet al.UDCP，Peng et al.GDCP，Peng et al.IBLA算法的实验结果通过主客观两个方面对比分析验证。具体步骤和原理如下：

如图1所示，本发明提供了一种基于多特征融合的水下图像颜色校正和对比度增强方法，包括以下步骤：

步骤S01：将输入的原始图像进行白平衡处理，得到颜色校正图，作为输入图一；

步骤S02：通过引导滤波处理得到所述输入图一，的对比度增强图，作为输入图二；

步骤S03：对所述输入图一和所述输入图二分别提取四个特征权重图，所述特征权重图包括：饱和度权重，全局对比度权重，显著图权重，局部对比度权重；

步骤S04：对所述步骤S03中得到的所述四个特征权重图加权融合后进行归一化处理，得到标准化权重图一和标准化权重图二；

步骤S05：通过多尺度融合方法对所述步骤S04获取的所述标准化权重图一和所述标准化权重图二，得到融合后图像；

步骤S06：对所述步骤S05获取的所述融合图像采用色阶处理得到增强图像。

作为一种优选的实施方式，所述步骤S01中的图像颜色校正的白平衡算法，通过计算求解，理论公式如下：

其中，K_R、K_G、K_B分别表示R、G、B通道的增益；λ表示动态参数，λ＝0.005；m、n分别表示图像的长和宽；

根据所述R、G、B通道的增益，求取个各通道的像素值区间[L_S,H_S]，S∈{R,G,B}；

其中，I(i,j,S)表示S通道像素值；L_S表示S通道的K_S分位数，H_S表示S通道的1-K_S分位数；

由于水下图像受光散射影响，导致获取图像模糊程度不同，因此，对色彩补偿后图像进行自适应对比度拉伸，为保证输出图像自然，对比度拉伸取决于分位数选取，具体为：

其中T_R(i,j)、T_G(i,j)、T_B(i,j)分别表示所述R、G、B通道的白平衡后的像素值。

作为一种优选的实施方式，在本申请中，所述步骤S02中的引导滤波方法为：

基于局部线性模型的表达式为：

其中，q(x,y)表示滤波输出图像，T_L,i(x,y)表示引导图像，i和k均表示像素索引，a和b均表示当窗口中心位于k时该线性函数的系数；

求解滤波结果，即相当于最小化代价函数求解，最小化代价函数E(a_k,b_k)如下：

其中，ω_k是以像素k为中心的局部窗口，p(x,y)是q(x,y)滤波前结果，ε是正则化系数；

通过最小化代价函数求解，求解a_k、b_k的结果为：

其中u_k和

分别表示i在局部窗口ω中的均值和方差，|ω|表示窗口内像素个数。

更进一步地，所述步骤S04中的多尺度融合方法为：

W_k(x,y)＝W_La,k(x,y)+W_S,k(x,y)+W_LC,k(x,y)+W_Sat,k(x,y)；

其中，W_La,k(x,y)表示全局对比度权重；W_S,k(x,y)表示显著图权重；W_LC,k(x,y)表示局部对比度权重图；W_Sat,k(x,y)表示饱和度权重图；下标k表示第k个输入图像。

进一步地，所述步骤S06中的自动色阶函数表达形式如下所示：

C＝mgn；

其中，M表示将单通道的像素值，从小到大排序，得到的一维数组；T表示阈值，T＝0.01；m表示单通道像素矩阵的高；n表示单通道像素矩阵的宽；R'_E(x,y)表示自动色阶的结果图；

为了保证像素值有效输出范围[0,255]，对出现低通量或过流的某些像素值进行截断，截断为0或255；R_Enhance(x,y)表示细节提升结果：

实施例

如图2所示，本发明提供与其他算法对水下场景(潜水员)增强后的实验效果图。通过对比可以看出，本发明方法处理后的效果图中，铜像胸前五角星以及其他纹理细节明显，本文提出方法效果优于其他方法(P et al.UDCP，Peng et al.GDCP，Peng et al.IBLA)。因此本发明方法校正颜色和增强图像对比度，提升图像视觉效果。

如图3所示，本发明提供与其他算法对水下场景(珊瑚)增强后的实验效果图。通过与(P et al.UDCP，Peng et al.GDCP，Peng et al.IBLA)方法进行对比分析，本文处理后珊瑚边缘细节明显优于其他方法，并且图像清晰度更高。因此本发明方法校正颜色和增强图像对比度，提升图像视觉效果。

本实施例为了验证本发明的鲁棒性，采用平均梯度(AG)和无参考图像质量评价指标(UCIQE)进行对比分析，具体数据参见表1和表2。平均梯度值越大，表明处理后效果图包含信息越多。无参考图像质量评价指标越大，表明该方法较好的均衡图像色度、饱和度以及对比度，获得良好视觉效果。本发明方法处理后的图像的两个指标数据值优于其他方法。证明本发明方法可以有效提升图像的色彩以及对比度。

表1本发明算法和其他算法处理结果的平均梯度

Raw image	UDCP	GDCP	IBLA	Our
					1.4890	1.9508	1.9746	1.6077	4.3147
3.9110	3.9206	7.4805	5.6853	7.7977

表2本发明算法和其他算法处理结果的无参考图像质量评价指标

Raw image	UDCP	GDCP	IBLA	Our
					0.4230	0.4989	0.5900	0.5556	0.6378
0.4959	0.5069	0.6115	0.6149	0.6216

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (5)

1.一种基于多特征融合的水下图像颜色校正和对比度增强方法，其特征在于，包括以下步骤：

步骤S01：将输入的原始图像进行白平衡处理，得到颜色校正图，作为输入图一；

步骤S02：通过引导滤波处理得到所述输入图一，得到对比度增强图，作为输入图二；

步骤S03：对所述输入图一和所述输入图二分别提取四个特征权重图，所述特征权重图包括：饱和度权重，全局对比度权重，显著图权重，局部对比度权重；

步骤S04：对所述步骤S03中得到的所述四个特征权重图加权融合后进行归一化处理，得到标准化权重图一和标准化权重图二；

步骤S05：通过多尺度融合方法对所述步骤S04获取的所述标准化权重图一和所述标准化权重图二，得到融合后图像；

步骤S06：对所述步骤S05获取的所述融合图像采用色阶处理得到增强图像。

2.根据权利要求1所述的基于多特征融合的水下图像颜色校正和对比度增强方法，其特征在于：所述步骤S01中的图像颜色校正的白平衡算法，通过计算求解，理论公式如下：

其中，K_R、K_G、K_B分别表示R、G、B通道的增益；λ表示动态参数，λ＝0.005；m、n分别表示图像的长和宽；

根据所述R、G、B通道的增益，求取个各通道的像素值区间[L_S,H_S]，S∈{R,G,B}；

其中，I(i,j,S)表示S通道像素值；L_S表示S通道的K_S分位数，H_S表示S通道的1-K_S分位数；

由于水下图像受光散射影响，导致获取图像模糊程度不同，因此，对色彩补偿后图像进行自适应对比度拉伸，为保证输出图像自然，对比度拉伸取决于分位数选取，具体为：

其中T_R(i,j)、T_G(i,j)、T_B(i,j)分别表示所述R、G、B通道的白平衡后的像素值。

3.根据权利要求1所述的基于多特征融合的水下图像颜色校正和对比度增强方法，其特征在于：所述步骤S02中的引导滤波方法为：

基于局部线性模型的表达式为：

其中，q(x,y)表示滤波输出图像，T_L,i(x,y)表示引导图像，i和k均表示像素索引，a和b均表示当窗口中心位于k时该线性函数的系数；

求解滤波结果，即相当于最小化代价函数求解，最小化代价函数E(a_k,b_k)如下：

其中，ω_k是以像素k为中心的局部窗口，p(x,y)是q(x,y)滤波前结果，ε是正则化系数；

通过最小化代价函数求解，求解a_k、b_k的结果为：

其中u_k和

分别表示i在局部窗口ω中的均值和方差，|ω|表示窗口内像素个数。

4.根据权利要求1所述的基于多特征融合的水下图像颜色校正和对比度增强方法，其特征在于：所述步骤S04中的多尺度融合方法如下为：

W_k(x,y)＝W_La,k(x,y)+W_S,k(x,y)+W_LC,k(x,y)+W_Sat,k(x,y)；

其中，W_La,k(x,y)表示全局对比度权重；W_S,k(x,y)表示显著图权重；W_LC,k(x,y)表示局部对比度权重图；W_Sat,k(x,y)表示饱和度权重图；下标k表示第k个输入图像。

5.根据权利要求1所述的基于多特征融合的水下图像颜色校正和对比度增强方法，其特征在于，所述步骤S06中的自动色阶函数表达形式如下所示：

其中，M表示将单通道的像素值，从小到大排序，得到的一维数组；T表示阈值，T＝0.01；m表示单通道像素矩阵的高；n表示单通道像素矩阵的宽；R'_E(x,y)表示自动色阶的结果图；

为了保证像素值有效输出范围[0,255]，对出现低通量或过流的某些像素值进行截断，截断为0或255；R_Enhance(x,y)表示细节提升结果：

Images