CN113284058B - 一种基于迁移理论的水下图像增强方法 - Google Patents

Abstract

本发明公开了一种基于迁移理论的水下图像增强方法，其中主要包括：将水下拍摄到的图像通过加权最小二乘法进行分层处理，得到原始图像的基础层，细节层，对原始图像进行显著分离，得到显著层，然后对基础层进行亮度调整，得到自适应的基础层，在细节层中加入原始图像的透射图，得到增强后的细节层，这有利于很好的保留原始图像的细节信息。将初始参考图像与原始图像的细节层和显著图相加，得到自适应参考图像，然后与基础层进行颜色迁移，得到结果与增强后的细节层重构，得到最终增强后的水下图像。该方法不仅恢复了水下图像的颜色，而且还很好的去除了水下图像的雾度。

Description

一种基于迁移理论的水下图像增强方法

技术领域

本发明涉及水下图像处理领域，尤其涉及一种基于迁移理论的水下图像增强方法。

背景技术

颜色迁移是一种众所周知的图像处理方法，可以将一张图像的颜色迁移到另一张图像，而保持另一张图像的场景不发生变化，从而实现图像的色彩迁移，但在水下成像环境中，由于水中悬浮粒子吸收和散射的影响，颜色通道衰减的很厉害，尤其是红色通道信息，并且在求解透射图的过程中会出现不期望的颜色伪影，拉伸操作也会放大红色通道的颜色噪声，使得图像会产生严重的色偏和低对比度，降低了图像的质量。并且传统的方法不能在对水下图像进行增强的时候，同时实现对水下图像的去雾，水下图像增强的效果不佳。

发明内容

本发明提供一种基于迁移理论的水下图像增强方法，其中主要包括：将水下拍摄到的图像通过加权最小二乘法进行分层处理，得到原始图像的基础层，细节层，对原始图像进行显著分离，得到显著层，然后对基础层进行亮度调整，得到自适应基础层，在细节层中加入原始图像的透射图，得到增强后的细节层，这有利于很好的保留原始图像的细节信息。将初始参考图像与原始图像的细节层和显著图相加，得到自适应参考图像，然后与基础层进行颜色迁移，得到结果与增强后的细节层重构，得到最终增强后的水下图像。该方法不仅恢复了水下图像的颜色，而且还很好的去除了水下图像的雾度。具体如下：

本发明所公开的一种基于迁移理论的水下图像增强方法，包括以下步骤：

S1：输入拍摄到的水下图像I(x)，获取水下图像I(x)的基础层B(x)；

S2：对所述水下图像I(x)进行基础-细节分层处理以获取水下图像I(x)的细节层D(x)；

S3：将基础层B(x)经过计算处理，得到自适应基础层；

S4：采用透射图估计的方法处理细节层，其步骤如下：

首先，采用中值滤波器对水下图像I(x)中的每个像素的最小分量进行滤波：

然后，对滤波之后的图像消除纹理，求解透射图；

最后，将细节层进行增强；

S5：获取水下图像I(x)对应的显著图，并得到自适应参考图像：

S6：颜色迁移：将S5得到的自适应参考图像与S3得到的自适应基础层进行颜色迁移处理，获取颜色迁移后的传输结果图；

S7：将增强后的细节层d'与颜色迁移后的传输结果图O'(x)进行重构，得到增强后的水下图像O(x)。

进一步的，所述基础-细节分层处理的方法为：

将水下图像I(x)定义为基础层B(x)和细节层D(x)的叠加，即

I^c(x)＝D^c(x)+B^c(x),c∈{red,green,blue} (1)

于是，细节层D(x)由水下图像I(x)减去基础层B(x)得到。

进一步的，所述处理基础层的方法如下：

首先调整基础层B(x)的亮度，将基础层从RGB颜色空间转换为HSV颜色空间；

然后提取V通道作为亮度信息，得到照度图，在照度图中引入局部适应因子σ_l(x)和全局适应因子σ_g(x)，得到自适应的照度图I’_lum(x)，

在公式(2)中，I_lum(x)为基础层B(x)转换空间之后的V通道；

σ_g(x)是全局适应因子，定义为：

其中：M_g表示均值，S_g表示由公式(2)得到的照度图中所有像素强度的标准差，w_s是给定的控制标准差的参数；

σ_l(x)是局部适应因子，定义为：

其中：S_l是由照度图中给定的局部窗口求的标准差获得；

n表示系数，定义为：

n＝exp(σ_g(x)) (5)

w_g(x)是图像全局的权重，定义为：

w_g(x)＝I_lum(x)^k (6)

其中，k是给定的控制全局适应因子的参数；

w_l(x)是图像局部的权重，定义为；

w_l(x)＝1-w_g(x) (7)

最后，将自适应的照度图从HSV颜色空间转换到RGB颜色空间，得到自适应基础层O_b(x)，

s是表示控制水下图像颜色的饱和度的指数；

进一步的，所述处理细节层的步骤具体如下：

首先，采用中值滤波器对水下图像I(x)中的每个像素的最小分量W(x)进行滤波：

A(x)＝median_sv(W)(x) (9)

其中，sv是中值滤波器中使用的窗口尺寸；

然后，对滤波之后的图像消除纹理，以确定出水下图像I(x)中的属于雾的成分；

B(x)＝A(x)-median_sv(|W-A|)(x) (10)

因此，关于透射图t(x)进行求解如下：

t(x)＝1-(max(min(pB(x)，W(x))，0) (11)

其中，p的取值范围是[0，1]，代表控制可见度恢复强度的因子；

最后，将细节层进行增强：在不引入光晕的情况下，将细节层与透射层结合在一起，采用透射图的均值来对细节图进行增强，具体过程如下：

式中，d′表示增强后的细节图，表示细节图的梯度；w_i是非负数，用于控制细节图梯度的强度。

进一步的，所述显著图的获取方法如下：

求出输入图像的显著图S(x)公式为：

S(x)＝∑_Nd[m(x)，n(x)] (13)

式中：N表示像素点x的邻域，d是向量m(x)和n(x)之间的欧几里得距离；

将给定的初始参考图像R_ini(x)与细节层D(x)和显著图S(x)重构在一起，得到自适应参考图像R(x)，定义如下所示：

R(x)＝R_ini(x)+D(x)+S(x)I(x) (14)。

进一步的，所述颜色迁移的方法如下：

将自适应参考图像R(x)与自适应基础层O_b(x)进行颜色迁移处理，过程如下：

(1)将自适应参考图像R(x)与自适应基础层O_b(x)由RGB颜色空间转换为lαβ颜色空间；

(2)在lαβ颜色空间中，分通道计算自适应参考图像R(x)与自适应基础层O_b(x)的均值和方差；

(3)对自适应基础层O_b(x)逐像素减去均值，具体过程如下所示：

其中表示自适应基础层O_b(x)在lαβ颜色空间三个通道的均值，c∈{l，α，β}。

(4)通过自适应参考图像R(x)与自适应基础层O_b(x)的方差缩放数据点，得到图像O_o(x)，具体过程如下所示：

式中：

为自适应参考图像R(x)在lαβ颜色空间三个通道的均值，

为自适应参考图像R(x)在lαβ颜色空间三个通道的方差，

为自适应基础层O_b(x)在lαβ颜色空间三个通道的方差，c∈{l，α，β}；

(5)将在lαβ空间操作得到的图像O_o(x)转换到RGB空间，得到颜色迁移之后的传输结果图像O′(x)。

进一步的，所述步骤S7中，所述获取增强后的水下图像O(x)的具体过程如下：

O(x)＝d′+O′(x) (17)

进一步的，所述基础层B(x)采用加权最小二乘法即WLS得到。

进一步的，所述像素点x的邻域N选择的是3×3邻域。

本发明的优点在于：(1)对原始图像的基础层进行亮度调整，不仅能够提高图像的对比度，还能保证在加强暗部区域的同时保留较亮的区域；(2)在水下应用颜色迁移方法，可以在颜色迁移的基础上，同时实现水下图像的去雾，改善水下图像增强的效果，在复杂的海洋环境中具有优异的鲁棒性，准确性和有效性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的方法流程图；

图2为本发明输入的水下图像；

图3为本发明通过最小二乘法分层得到的基础图像；

图4为本发明通过最小二乘法分层得到的细节图像；

图5为本发明通过显著分离得到的显著图像；

图6为本发明将基础层从RGB颜色空间转为HSV空间之后的照度图像；

图7为本发明将照度图通过调整得到的自适应的照度图像；

图8为本发明将自适应的照度图从HSV颜色空间转到RGB颜色空间得到的自适应的基础图像；

图9为本发明现有技术暗通道先验算法得到的透射图像；

图10为本发明根据原始图像结合透射图像得到的增强后的细节图像；

图11本发明原始的参考图像；

图12为本发明根据显著图像、参考图像和细节图像得到的自适应参考图像；

图13为本发明通过颜色迁移方法得到的结果图像；

图14为本发明最终输出增强后的水下图像。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的一个实施方式为：一种基于迁移理论的水下图像增强方法，包括以下步骤，如附图1所示：

优选的，S1：输入拍摄到的水下图像I(x)，如附图2所示，采用加权最小二乘法(即WLS)计算出水下图像I(x)的基础层B(x)，如附图3所示；

优选的，S2：对水下图像I(x)进行基础-细节分层处理以获取水下图像I(x)的细节层D(x)；定义水下图像I(x)为基础层B(x)和细节层D(x)的叠加，即：

I^c(x)＝D^c(x)+B^c(x),c∈{red,green,blue} (1)

为了保留图像的细节信息且在抑制噪声的同时保持色调的自然性，通过公式(1)可得出，细节层D(x)由水下图像I(x)减去基础层B(x)得到，如附图4所示；

优选的，S3：将基础层B(x)经过计算处理，得到自适应基础层；首先，调整基础层B(x)的亮度。由于水下环境中，光照的范围有限，获取的水下图像经常会存在辨识度差，亮度、能见度和对比度低，区域特征不明显，细节模糊等问题，不同光谱区域的光在水中的衰减速率不同，导致图像出现色偏和伪影，因此，为了能够更好的处理低照度的图像，本发明对基础层B(x)进行亮度调节，其方法是，将基础层从RGB颜色空间转换为HSV颜色空间，附图6所示为将基础层从RGB颜色空间转为HSV空间之后的照度图像；然后提取V通道作为亮度信息，得到照度图I’_lum(x)，

其中，定义基础层B(x)转换空间之后的V通道为I_lum(x)；

为了更好的反应局部和全局的变化，公式(2)中引入了两个参数σ_g(x)和σ_l(x)，其中，σ_g(x)是全局适应因子，可以反映图像全局变化水平，定义为：

其中：M_g表示均值，S_g表示由公式(2)得到的照度图中所有像素强度的标准差，w_s是给定的控制标准差的参数，因此当水下图像的区域较暗时，全局适应因子σ_g(x)的值就会很小，从而可以提高亮度；

σ_l(x)是局部适应因子，可以反映图像局部区域变化水平，定义为：

其中：S_l是由照度图中给定的局部窗口求的标准差获得，从公式(4)中可以看出，局部适应因子σ_l(x)收到全局适应因子σ_g(x)的约束，可以在加强暗部区域的同时保留较亮的区域；

n表示系数，定义为：

n＝exp(σ_g(x)) (5)

w_g(x)是图像全局的权重，定义为：

w_g(x)＝I_lum(x)^k (6)

其中，k是给定的控制全局适应因子的参数；

w_l(x)是图像局部的权重，定义为；

w_l(x)＝1-w_g(x) (7)

最后，将自适应的照度图，如附图7所示，从HSV颜色空间转换到RGB颜色空间，得到自适应基础层O_b(x)，

s表示控制水下图像颜色的饱和度的指数，该步骤既提高了图像的对比度，又能在加强暗部区域的同时保留较亮的区域，附图8为本发明将自适应的照度图从HSV颜色空间转到RGB颜色空间得到的自适应的基础图像。

优选的，S4：采用透射图估计的方法处理细节层：为了能够更好的保留下图像的细节信息，同时保证准确性和效率，本发明采用透射图估计的方法，具体如下：

首先，优选的，由于中值滤波器可以用来保留边缘的平滑，所以采用中值滤波器对水下图像I(x)中的每个像素的最小分量W(x)进行滤波：

A(x)＝median_sv(W)(x) (9)

其中，sv是中值滤波器中使用的窗口尺寸；但是由于滤波只有的图像仍然会存在纹理，而这些纹理肯定不属于雾的，所以对滤波之后的图像消除纹理，以确定出水下图像I(x)中的属于雾的成分：

B(x)＝A(x)-median_sv(|W-A|)(x) (10)

这样便可消除纹理，确定剩下来的都属于雾的成分，

因此，关于透射图进行求解如下，附图9为暗通道先验算法得到的透射图像：

t(x)＝1-(max(min(pB(x)，W(x))，0) (11)

其中，p的取值范围是[0，1]，代表控制可见度恢复强度的因子；

最后，将细节层进行增强，在不引入光晕的情况下，将细节层与透射层结合在一起，具体过程如下：

式中，w_i是非负数，用于控制细节图梯度的强度，其值与雾的浓度有关，若雾度很高，则透射图的均值很小，w_i为较大的值，反之若雾度很低，则透射图的均值/>很大，w_i为较小的值。本发明采用透射图的均值/>代替投射图t作为增强系数来对细节图进行增强，可防止分母无限接近于0，可以避免可见度与饱和度之间产生的冲突，另外，在整个图像中，/>能表述雾度图像的衰减，/>越小，雾度越浓，衰减越大，此步骤能够更好的保留下图像的细节信息，减少噪声，为后续步骤去雾的过程提供了良好的基础，附图10为本发明根据原始图像结合透射图像得到的增强后的细节图像。

优选的，S5：获取水下图像I(x)对应的显著图：因为图像显著性是图像中最重要的视觉特征，体现了人眼对图像的某些区域的重视程度，它主要是从人类视觉的角度出发，通过对人类视觉的模拟，将优先的计算资源分配给图像中更重要的新型，即对图像中显著性的区域进行标注，本发明求出水下图像I(x)对应的显著图S(x)公式为：

S(x)＝∑_N d[m(x)，n(x)] (13)

式中：N表示像素点x的邻域，在本发明中，N选择的是3×3邻域，d是向量m(x)和n(x)之间的欧几里得距离，通过显著分离得到的显著图像如附图5所示；

为了能够较好的反应图像的显著变化情况，复合图像显著语义的特征，本发明将给定的初始参考图像R_ini(x)如附图11所示，与细节层D(x)和显著图S(x)重构在一起，得到自适应参考图像R(x)，定义如下所示：

优选的，本实施例的参考图像与输入图像的内容相似，可使增强后图像效果更好。

R(x)＝R_ini(x)+D(x)+S(x)I(x) (14)

图12为本发明根据显著图像、参考图像和细节图像得到的自适应参考图像；

S6：颜色迁移：

将自适应参考图像R(x)与自适应基础层O_b(x)进行颜色迁移处理，可以确保既能对水下图像进行颜色迁移，使得在迁移过程中能够妥善保存图像的详细信息，又能够很好的实现水下图像的去雾，具体过程如下：

(1)将自适应参考图像R(x)与自适应基础层O_b(x)由RGB颜色空间转换为lαβ颜色空间；

(2)在lαβ颜色空间中，分通道计算自适应参考图像R(x)与自适应基础层O_b(x)的均值和方差；

(3)对自适应基础层O_b(x)逐像素减去均值，具体过程如下所示：

其中表示基自适应础层O_b(x)在lαβ颜色空间三个通道的均值，c∈{l，α，β}。

(4)通过自适应参考图像R(x)与自适应基础层O_b(x)的方差缩放数据点，具体过程如下所示：

式中：

为自适应参考图像R(x)在lαβ颜色空间三个通道的均值，

为自适应参考图像R(x)在lαβ颜色空间三个通道的方差，

为自适应基础层O_b(x)在lαβ颜色空间三个通道的方差，c∈{l，α，β}。

(5)在lαβ空间对两张图像的操做完成后，将在lαβ空间操作得到的图像O_o(x)转换到RGB空间，得到颜色迁移之后的传输结果图像O′(x)，如图13为本发明通过颜色迁移方法得到的结果图像。

10、S7：将增强后的细节层与颜色迁移的传输结果图进行重构，得到增强后的水下图，如附图14所示，所述获取增强后的水下图像O(x)的具体过程如下：

O(x)＝d′+O′(x) (17)。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.一种基于迁移理论的水下图像增强方法，其特征在于，所述方法包括以下步骤：

S1：输入拍摄到的水下图像I(x)，获取水下图像I(x)的基础层B(x)；

S2：对所述水下图像I(x)进行基础-细节分层处理以获取水下图像I(x)的细节层D(x)；

S3：将基础层B(x)经过计算处理，得到自适应基础层；

处理所述基础层的方法如下：

首先调整基础层B(x)的亮度，将基础层从RGB颜色空间转换为HSV颜色空间；

然后提取V通道作为亮度信息，得到照度图，在照度图中引入局部适应因子σ_l(x)和全局适应因子σ_g(x)，得到自适应的照度图I′_lum(x)，

在公式(2)中，I_lum(x)为基础层B(x)转换空间之后的V通道；

σ_g(x)是全局适应因子，定义为：

其中：M_g表示均值，S_g表示由公式(2)得到的照度图中所有像素强度的标准差，w_s是给定的控制标准差的参数；

σ_l(x)是局部适应因子，定义为：

其中：S_l是由照度图中给定的局部窗口求的标准差获得；

n表示系数，定义为：

n＝exp(σ_g(x)) (5)

w_g(x)是图像全局的权重，定义为：

w_g(x)＝I_lum(x)^k (6)

其中，k是给定的控制全局适应因子的参数；

w_l(x)是图像局部的权重，定义为；

w_l(x)＝1-w_g(x) (7)

最后，将自适应的照度图从HSV颜色空间转换到RGB颜色空间，得到自适应基础层O_b(x)，

s表示控制水下图像颜色的饱和度的指数

S4：采用透射图估计的方法处理细节层，其步骤如下：

首先，采用中值滤波器对水下图像I(x)中的每个像素的最小分量W(x)进行滤波：

A(x)＝median_sv(W)(x) (9)

其中，sv是中值滤波器中使用的窗口的尺寸；

然后，对滤波之后的图像消除纹理，求解透射图；以确定出水下图像I(x)中的属于雾的成分，

B(x)＝A(x)-median_sv(|W-A|)(x) (10)

因此，关于透射图t(x)进行求解如下：

t(x)＝1-(max(min(pB(x),W(x)),0) (11)

其中，p的取值范围是[0，1]，代表控制可见度恢复强度的因子；

最后，将细节层进行增强；在不引入光晕的情况下，将细节层与透射层结合在一起，采用透射图的均值来对细节图进行增强，具体过程如下：

式中，d'表示增强后的细节图，表示细节图的梯度；w_i是非负数，用于控制细节图梯度的强度；

S5：获取水下图像I(x)对应的显著图，并得到自适应参考图像：

所述显著图的获取方法如下：

求出输入的水下图像I(x)的显著图S(x)公式为：

S(x)＝∑_Nd[m(x),n(x)] (13)

式中：N表示像素点x的邻域，d是向量m(x)和n(x)之间的欧几里得距离；

将给定的初始参考图像R_ini(x)与细节层D(x)和显著图S(x)重构在一起，得到自适应参考图像R(x)，定义如下所示：

R(x)＝R_ini(x)+D(x)+S(x)I(x) (14)；

S6：颜色迁移：将S5得到的自适应参考图像与S3得到的自适应基础层进行颜色迁移处理，获取颜色迁移后的传输结果图；

所述颜色迁移的方法如下：

将自适应参考图像R(x)与自适应基础层O_b(x)进行颜色迁移处理，过程如下：

将自适应参考图像R(x)与自适应基础层O_b(x)由RGB颜色空间转换为lαβ颜色空间；

在lαβ颜色空间中，分通道计算自适应参考图像R(x)与自适应基础层O_b(x)的均值和方差；

对自适应基础层O_b(x)逐像素减去均值，具体过程如下所示：

其中，表示自适应基础层O_b(x)在lαβ颜色空间三个通道的均值，c∈{l,α,β}；

通过自适应参考图像R(x)与自适应基础层O_b(x)的方差缩放数据点，得到图像O_o(x)，具体过程如下所示：

式中：

为自适应参考图像R(x)在lαβ颜色空间三个通道的均值，

为自适应参考图像R(x)在lαβ颜色空间三个通道的方差，

为自适应基础层O_b(x)在lαβ颜色空间三个通道的方差，c∈{l,α,β}；

将在lαβ空间操作得到的图像O_o(x)转换到RGB空间，得到颜色迁移之后的传输结果图像O^′(x)；

S7：将增强后的细节层d'与颜色迁移后的传输结果图O'(x)进行重构，得到增强后的水下图像O(x)。

2.如权利要求1所述的一种基于迁移理论的水下图像增强方法，其特征在于，所述基础-细节分层处理的方法为：

将水下图像I(x)定义为基础层B(x)和细节层D(x)的叠加，即

I^c(x)＝D^c(x)+B^c(x),c∈{red,green,blue} (1)

于是，细节层D(x)由水下图像I(x)减去基础层B(x)得到。

3.如权利要求1所述的一种基于迁移理论的水下图像增强方法，其特征在于，所述步骤S7中，所述获取增强后的水下图像O(x)的具体过程如下：

O(x) ＝ d^′ + O^′(x) (17)。

4.如权利要求1所述的一种基于迁移理论的水下图像增强方法，其特征在于，所述基础层B(x)采用加权最小二乘法即WLS得到。

5.如权利要求1所述的一种基于迁移理论的水下图像增强方法，其特征在于，所述像素点x的邻域N选择的是3×3邻域。