CN110503617B - 一种基于高、低频信息融合的水下图像增强方法 - Google Patents

Abstract

本发明提供一种基于高、低频信息融合的水下图像增强方法，属于图像处理领域，为解决水下图像的偏色、对比度低、可视性差等问题，本发明方法，包括：基于Retinex模型利用多尺度提取法估计出原图像高频部分照射分量，对获取的照射分量进行对比度受限的自适应直方图均衡化拉伸操作在增强全局对比度的同时突出主特征边缘细节；再将原图像与原图像高频部分照射分量相除来获取原图像低频部分照射分量，采用多尺度局部细节增强算法再对原图像高、低频部分对照射分量进行处理得到各自的细节图；再利用线性加权融合的方法对原图像高、低频部分对照射分量的细节图进行融合；最后对融合后的图像进行颜色校正来获取清晰的水下增强图像。

Description

一种基于高、低频信息融合的水下图像增强方法

技术领域

本发明涉及图像处理技术领域，具体而言，尤其涉及一种基于高、低频信息融合的水下图像增强方法。

背景技术

近年来，随着人口不断的增长以及资源的日益短缺，有限的陆地资源已经无法满足人们逐渐增长的需求，人们将目光转向了蕴含着丰富矿产资源与生物资源的水下世界，致力于水下资源的开发。为了充分了解水下世界，合理地利用水下的各种资源，必须全面地掌握水下世界的各种信息。水下图像是人类获取水下有效信息的主要手段之一，在水下目标探测、水下环境保护、水下军事、在水下目标跟踪等方面均有着重要的应用。但在水下场景中，除吸收效应外，水介质中的悬浮颗粒还对入射光线产生散射效应，散射包括前向散射和后向散射，散射效应导致水下图像雾化和模糊。因此，为了能够解决水下图像偏色，对比度等问题，基于水下图像增强方法和基于水下图像复原方法是常用的方法。

基于水下图像复原方法是通过基于水下图像退化模型，通过逆求解水下成像模型对图像进行恢复。主要有基于偏振技术的图像复原技术和基于暗原色先验的图像复原技术。基于偏振技术的图像复原技术往往对设备仪器要求很高，成本巨大，暂时无法脱离对物理设备的依赖。基于暗原色先验的图像复原技术是当下主流的水下图像复原方法，但受先验条件限制，并不能适用于所有场景。在实际应用中不便。基于图像增强的水下图像处理算法可以脱离对物理设备的依赖，目前主要有直方图均衡化、Retinex算法。由于直方图均衡化对处理的数据不加选择，它可能增强背景杂讯的对比度并降低有用信号的对比度；基于Retinex理论的算法SSR、MSR和MSRCR等改进算法，照射分量可以较好的体现出原图的主特征，但要丢弃的照射分量中也包含着原图的部分细节信息，因此Retinex理论的算法不能很好的保留住细节信息。

发明内容

根据上述提出的技术问题，提供一种基于高、低频信息融合的水下图像增强方法。本发明主要根据Retinex视觉模型提取出原图像高、低频部分照射分量，融合直方图拉伸、高斯差分锐化，高、低频信息融合及图像的色彩校正有效的解决了水下图像的偏色，对比度低，可视性差等问题。

本发明采用的技术手段如下：

一种基于高、低频信息融合的水下图像增强方法，其特征在于，包括以下步骤：

步骤S1：基于Retinex模型利用多尺度提取法估计出原图像高频部分照射分量，将原图像与原图像高频部分照射分量相除来获取原图像低频部分照射分量；

步骤S2：对上述步骤S1获得的原图像高频部分照射分量和原图像低频部分照射分量进行对比度受限的自适应直方图均衡化拉伸处理，得到原图像高频部分照射分量和原图像低频部分照射分量拉伸后的对比度增强图；

步骤S3：采用多尺度局部细节增强算法，对上述步骤S01获取的原图像高频部分照射分量和原图像低频部分照射分量进行处理，得到原图像高频部分照射分量和原图像低频部分照射分量的细节图；

步骤S4：将步骤S2获得的原图像高频部分照射分量和原图像低频部分照射分量拉伸后的对比度增强图与步骤S3获得的原图像高频部分照射分量和原图像低频部分照射分量的细节图进行加权融合。

步骤S5：采用颜色校正算法对步骤S4获得的融合图像进行色彩校正。

进一步地，所述步骤S1中的基于Retinex模型利用多尺度提取法估计出原图像高频部分照射分量，其具体公式为：

其中,R_MSRi(x,y)表示照射分量,I_i(x,y)表示原始图像，i∈R,G,B表示3个颜色谱带,

表示环绕函数，W_n表示尺度的权重因子，N表示使用尺度的个数；

所述步骤S1中的将原图像与原图像高频部分照射分量相除来获取原图像低频部分照射分量，其具体公式为：

其中，L_i(x,y)表示入射分量图像，i∈R,G,B表示3个颜色谱带，I_i(x,y)表示原图像，

表示照射分量图像。

进一步地，所述步骤S2中对原图像高频部分照射分量和原图像低频部分照射分量进行对比度受限的自适应直方图均衡化拉伸处理的具体步骤如下：

步骤S21、将原图像分割为M×N个连续不重叠的子区域；

步骤S22、对每个子区域进行灰度直方图剪切,计算平均分配像素数的平均值：

步骤S23、对每个子区域对比度受限后的灰度直方图进行均衡化；

步骤S24、获得每个子区域中心点，将这些中心点作为样本点；

步骤S25、对每个子区域进行灰度线性插值。

进一步地，所述步骤S3中的多尺度局部细节增强算法，具体包括：

步骤S31、提取原图像高频部分照射分量和原图像低频部分照射分量的细节信息，提取公式如下：

DR₁＝R(x,y)-G₁*R(x,y)

DR₂＝G₁*R(x,y)-G₂*R(x,y)

DR₃＝G₂*R(x,y)-G₃*R(x,y)

DL₁＝L(x,y)-G₁*L(x,y)

DL₂＝G₁*L(x,y)-G₂*L(x,y)

DL₃＝G₂*L(x,y)-G₃*L(x,y)

其中，G₁、G₂和G₃高斯内核的标准差分别为σ1＝1.0、σ2＝2.0和σ3＝4.0；DR₁、DL₁表示照射分量R(x,y)和入射分量L(x,y)的高质量细节；DR₂、DL₂表示照射分量R(x,y)和入射分量L(x,y)的中等细节；DR₃、DL₃表示照射分量R(x,y)和入射分量L(x,y)的粗糙细节DL₃；

步骤S32、合并上述三个细节信息，生成照射分量R(x,y)的细节图像DR^*和入射分量L(x,y)的细节图像DL^*，公式如下：

DR^*＝(1-γ₁×sgn(DR₁))×DR₁+γ₂×DR₂+γ₃×DR₃

DL^*＝(1-γ₁×sgn(DL₁))×DL₁+γ₂×DL₂+γ₃×DL₃

其中，γ₁、γ₂、γ₃分别为0.5、0.5、0.25。

进一步地，所述步骤S4中加权融合的公式如下：

I^*＝R′(x,y)+κ*DR^*+(1-κ)*DL^*

其中，I^*表示高低频信息融合后的图像，κ表示加权系数。

进一步地，所述步骤S4中的加权系数κ取值为κ＝0.5。

进一步地，所述步骤S5中的颜色校正算法，其公式如下：

Min(I^* _i)＝Mean(I^* _i(x,y))-D×Var(I^* _i(x,y))

Max(I^* _i)＝Mean(I^* _i(x,y))+D×Var(I^* _i(x,y))

其中，i表示图像的某个通道；mean(I^* _i)表示第i个通道的均值；var(I^* _i)表示第i个通道的均方差；D表示控制图像动态的参数D来实现无色偏的调节；Min(I^* _i)表示i通道图像的最小值；Max(I^* _i)表示i通道图像的最大值；G_i(x,y)表示量化后的i通道图像。

进一步地，所述步骤S5中动态的参数D取值在2-3之间。

较现有技术相比，本发明具有以下优点：

1、本发明基于Retinex模型，分离出照射分量和照射分量，为了增强图像的对比度，对照射分量进行直方图拉伸，为了增强图像的细节，基于高斯差分获取照射分量和照射分量的细节图，并进行融合。解决了水下图像对比度低，偏色，色彩失真，可视性差等问题以及传统Retinex去雾算法增强效果不佳，颜色保真性较差，边缘区域光晕伪影的问题。

2、本发明将融合后的图像又进行了颜色校正，得到最真实的无色彩失真的水下增强图像。

基于上述理由本发明可在图像处理等领域广泛推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的流程示意图。

图2为本发明与其他算法针对不同场景水下图像的图像增强效果对比图。

图3为本发明实际应用测试，特征点匹配点图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例

为了验证本发明图像增强的有效性，选取不同场景的水下图像作为测试集，同时结合Peng算法、Iqbal算法、Li算法、Fu算法以及本文算法的实验结果从定性和定量两方面进行对比分析。具体步骤和原理如下：

如图1所示，本发明提供了一种基于高、低频信息融合的水下图像增强方法(Underwater image enhancement based on the fusion of high and low frequencyinformation)，包括以下步骤：

步骤S1：基于Retinex模型利用多尺度提取法估计出原图像高频部分照射分量，将原图像与原图像高频部分照射分量相除来获取原图像低频部分照射分量；

步骤S1中的基于Retinex模型利用多尺度提取法估计出原图像高频部分照射分量，其具体公式为：

其中,R_MSRi(x,y)表示照射分量,I_i(x,y)表示原始图像，i∈R,G,B表示3个颜色谱带,

表示环绕函数，W_n表示尺度的权重因子，N表示使用尺度的个数；

步骤S1中的将原图像与原图像高频部分照射分量相除来获取原图像低频部分照射分量，其具体公式为：

其中，

表示入射分量图像，i∈R,G,B表示3个颜色谱带，I_i(x,y)表示原图像，

表示照射分量图像。

步骤S2：对上述步骤S1获得的原图像高频部分照射分量和原图像低频部分照射分量进行对比度受限的自适应直方图均衡化拉伸处理，得到原图像高频部分照射分量和原图像低频部分照射分量拉伸后的对比度增强图；

通过该步骤,拉伸后的照射分量对比度增强图不仅可以增强全局对比度而且可以突出主特征边缘细节，其具体的拉伸处理步骤如下：

步骤S21、将原图像分割为M×N个连续不重叠的子区域；

步骤S22、对每个子区域进行灰度直方图剪切,计算平均分配像素数的平均值：

步骤S23、对每个子区域对比度受限后的灰度直方图进行均衡化；

步骤S24、获得每个子区域中心点，将这些中心点作为样本点；

步骤S25、对每个子区域进行灰度线性插值。

步骤S3：采用多尺度局部细节增强算法，对上述步骤S01获取的原图像高频部分照射分量和原图像低频部分照射分量进行处理，得到原图像高频部分照射分量和原图像低频部分照射分量的细节图；

步骤S3中的多尺度局部细节增强算法，具体包括：

步骤S31、提取原图像高频部分照射分量和原图像低频部分照射分量的细节信息，提取公式如下：

DR₁＝R(x,y)-G₁*R(x,y)

DR₂＝G₁*R(x,y)-G₂*R(x,y)

DR₃＝G₂*R(x,y)-G₃*R(x,y)

DL₁＝L(x,y)-G₁*L(x,y)

DL₂＝G₁*L(x,y)-G₂*L(x,y)

DL₃＝G₂*L(x,y)-G₃*L(x,y)

其中，G₁、G₂和G₃高斯内核的标准差分别为σ1＝1.0、σ2＝2.0和σ3＝4.0；DR₁、DL₁表示照射分量R(x,y)和入射分量L(x,y)的高质量细节；DR₂、DL₂表示照射分量R(x,y)和入射分量L(x,y)的中等细节；DR₃、DL₃表示照射分量R(x,y)和入射分量L(x,y)的粗糙细节DL₃；

步骤S32、合并上述三个细节信息，生成照射分量R(x,y)的细节图像DR^*和入射分量L(x,y)的细节图像DL^*，公式如下：

DR^*＝(1-γ₁×sgn(DR₁))×DR₁+γ₂×DR₂+γ₃×DR₃

DL^*＝(1-γ₁×sgn(DL₁))×DL₁+γ₂×DL₂+γ₃×DL₃

其中，γ₁、γ₂、γ₃分别为0.5、0.5、0.25。

步骤S4：将步骤S2获得的原图像高频部分照射分量和原图像低频部分照射分量拉伸后的对比度增强图与步骤S3获得的原图像高频部分照射分量和原图像低频部分照射分量的细节图进行加权融合。其加权融合的公式如下：

I^*＝R′(x,y)+κ*DR^*+(1-κ)*DL^*

其中，I^*表示高低频信息融合后的图像，κ表示加权系数，加权系数κ取值为κ＝0.5。

步骤S5：为防止最终增强图像发生颜色不均衡现象，采用颜色校正算法对步骤S4获得的融合图像进行色彩校正。

步骤S5中的颜色校正算法，其公式如下：

Min(I^* _i)＝Mean(I^* _i(x,y))-D×Var(I^* _i(x,y))

Max(I^* _i)＝Mean(I^* _i(x,y))+D×Var(I^* _i(x,y))

其中，i表示图像的某个通道；mean(I^* _i)表示第i个通道的均值；var(I^* _i)表示第i个通道的均方差；D表示控制图像动态的参数D来实现无色偏的调节；Min(I^* _i)表示i通道图像的最小值；Max(I^* _i)表示i通道图像的最大值；G_i(x,y)表示量化后的i通道图像。作为本实施例优选的实施方式，其动态的参数D取值在2-3之间。

如图2所示，本发明提供了与其他算法针对不同场景的水下图像的水下图像增强效果对比图，从实验效果图可以看出四种水下图像增强算法在一定程度上都提高了图像全局对比度，Peng算法和Iqbal算法对于偏绿的水下浑浊图像处理的不乐观，无法较好的解决偏色问题，Li算法会出现过度增强的现象，可视性一般，Fu算法能够较好的增强图像的对比度，但是处理后的图像偏暗，不宜观察。在局部细节方面，本发明有效的增强了局部细节，又提高了全局对比度。因此本发明具有较好的水下图像增强效果，提高全局对比度，实现了细节增强和色彩保真性。

如图3所示，本发明还提供了与原图相比较，基于应用方面的特征点匹配测试。经过本发明增强后的图像在特征点选取，匹配上都有较好的效果。

本实施例从AG、PCQI、UIQM和UCIQE四种客观指标对不同算法的实验结果进行对比；从表1的数据可知，本发明获得的AG、PCQI、UIQM和UCIQE的均值均高于其他算法，即表明本发明对原图像的色彩、对比度、细节纹理、清晰度都有较大的提升，且优于其它增强算法。

表1在图2中，本文和其它四种算法对应AG、PCQI、UIQM和UCIQE指数

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (8)

1.一种基于高、低频信息融合的水下图像增强方法,其特征在于,包括以下步骤：

步骤S1：基于Retinex模型利用多尺度提取法估计出原图像高频部分照射分量，将原图像与原图像高频部分照射分量相除来获取原图像低频部分照射分量；

步骤S2：对上述步骤S1获得的原图像高频部分照射分量和原图像低频部分照射分量进行对比度受限的自适应直方图均衡化拉伸处理，得到原图像高频部分照射分量和原图像低频部分照射分量拉伸后的对比度增强图；

步骤S3：采用多尺度局部细节增强算法，对上述步骤S01获取的原图像高频部分照射分量和原图像低频部分照射分量进行处理，得到原图像高频部分照射分量和原图像低频部分照射分量的细节图；

步骤S4：将步骤S2获得的原图像高频部分照射分量和原图像低频部分照射分量拉伸后的对比度增强图与步骤S3获得的原图像高频部分照射分量和原图像低频部分照射分量的细节图进行加权融合；

步骤S5：采用颜色校正算法对步骤S4获得的融合图像进行色彩校正。

2.根据权利要求1所述的基于高、低频信息融合的水下图像增强方法,其特征在于,所述步骤S1中的基于Retinex模型利用多尺度提取法估计出原图像高频部分照射分量，其具体公式为：

其中,R_MSRi(x,y)表示照射分量,I_i(x,y)表示原始图像，i∈R,G,B表示3个颜色谱带,

表示环绕函数，W_n表示尺度的权重因子，N表示使用尺度的个数；

所述步骤S1中的将原图像与原图像高频部分照射分量相除来获取原图像低频部分照射分量，其具体公式为：

其中，L_i(x,y)表示入射分量图像，i∈R,G,B表示3个颜色谱带，I_i(x,y)表示原图像，

表示照射分量图像。

3.根据权利要求1所述的基于高、低频信息融合的水下图像增强方法,其特征在于,所述步骤S2中对原图像高频部分照射分量和原图像低频部分照射分量进行对比度受限的自适应直方图均衡化拉伸处理的具体步骤如下：

步骤S21、将原图像分割为M×N个连续不重叠的子区域；

步骤S22、对每个子区域进行灰度直方图剪切,计算平均分配像素数的平均值：

步骤S23、对每个子区域对比度受限后的灰度直方图进行均衡化；

步骤S24、获得每个子区域中心点，将这些中心点作为样本点；

步骤S25、对每个子区域进行灰度线性插值。

4.根据权利要求1所述的基于高、低频信息融合的水下图像增强方法，其特征在于，所述步骤S3中的多尺度局部细节增强算法，具体包括：

步骤S31、提取原图像高频部分照射分量和原图像低频部分照射分量的细节信息，提取公式如下：

DR₁＝R(x,y)-G₁*R(x,y)

DR₂＝G₁*R(x,y)-G₂*R(x,y)

DR₃＝G₂*R(x,y)-G₃*R(x,y)

DL₁＝L(x,y)-G₁*L(x,y)

DL₂＝G₁*L(x,y)-G₂*L(x,y)

DL₃＝G₂*L(x,y)-G₃*L(x,y)

其中，G₁、G₂和G₃高斯内核的标准差分别为σ1＝1.0、σ2＝2.0和σ3＝4.0；DR₁、DL₁表示照射分量R(x,y)和入射分量L(x,y)的高质量细节；DR₂、DL₂表示照射分量R(x,y)和入射分量L(x,y)的中等细节；DR₃、DL₃表示照射分量R(x,y)和入射分量L(x,y)的粗糙细节DL₃；

步骤S32、合并上述三个细节信息，生成照射分量R(x,y)的细节图像DR^*和入射分量L(x,y)的细节图像DL^*，公式如下：

DR^*＝(1-γ₁×sgn(DR₁))×DR₁+γ₂×DR₂+γ₃×DR₃

DL^*＝(1-γ₁×sgn(DL₁))×DL₁+γ₂×DL₂+γ₃×DL₃

其中，γ₁、γ₂、γ₃分别为0.5、0.5、0.25。

5.根据权利要求1所述的基于高低频信息融合的水下图像增强方法,其特征在于,所述步骤S4中加权融合的公式如下：

I*＝R′(x,y)+κ*DR^*+(1-κ)*DL^*

其中，I*表示高低频信息融合后的图像，κ表示加权系数。

6.根据权利要求5所述的基于高、低频信息融合的水下图像增强方法，其特征在于，所述步骤S4中的加权系数κ取值为κ＝0.5。

7.根据权利要求1所述的基于高、低频信息融合的水下图像增强方法,其特征在于,所述步骤S5中的颜色校正算法，其公式如下：

Min(I*_i)＝Mean(I*_i(x,y))-D×Var(I*_i(x,y))

Max(I*_i)＝Mean(I*_i(x,y))+D×Var(I*_i(x,y))

其中，i表示图像的某个通道；mean(I*_i)表示第i个通道的均值；var(I*_i)表示第i个通道的均方差；D表示控制图像动态的参数D来实现无色偏的调节；Min(I*_i)表示i通道图像的最小值；Max(I*_i)表示i通道图像的最大值；G_i(x,y)表示量化后的i通道图像。

8.根据权利要求7所述的基于高、低频信息融合的水下图像增强方法，其特征在于，所述步骤S5中动态的参数D取值在2-3之间。

Images