CN112561804A - 基于多尺度细节增强的低光照水下图像增强方法 - Google Patents

Abstract

本发明涉及水下图像处理技术领域，为提出低光照条件下的水下图像增强算法。为此，本发明采取的技术方案是，基于多尺度细节增强的低光照水下图像增强方法，步骤如下：首先通过对灰度世界算法的颜色校正系数改进对图像去除色偏，使图像有很好的视觉效果；引入的多尺度细节增强算法增强图像的细节信息，最后对颜色校正和对比度增强的两幅图像进行小波融合，进一步对图像降噪和增强。本发明主要应用于水下图像处理场合。

Description

基于多尺度细节增强的低光照水下图像增强方法

技术领域

本发明属于图像处理技术领域，涉及一种基于多尺度细节增强的低光照水下图像增强方 法。

背景技术

高质量的水下图像是完成水下计算机视觉任务的基础。然而由于水下环境能见度低，尤 其在夜间或光照较暗的低光照条件下，获取到的水下图像往往存在色偏、对比度低、细节模 糊等问题，给后续的研究和实际应用带来了很大的困难。因此，低光照条件下的水下图像增 强算法的研究具有重要的价值和现实意义。

低光照条件下的水下图像往往存在对比度低且细节模糊的问题，为解决该问题，提出一 种综合的水下图像增强算法。该算法通过对灰度世界算法的颜色校正系数改进来去除水下图 像色偏，从而得到颜色校正的图像；另外采用Retinex算法和多尺度细节增强算法对水下图像 进行处理得到对比度增强的图像；最后把颜色校正和对比度增强后的两幅图像进行小波融合 得到最后的增强图像。在对两幅图像进行融合时，对低频分量采用加权平均的融合规则，对 高频分量采用基于区域特性量测的融合规则，进一步增强了图像的视觉效果。实验结果表明， 本文算法处理得到的图像有更多的细节信息，而且有更好的视觉效果。

发明内容

为克服现有技术的不足，本发明旨在提出低光照条件下的水下图像增强算法。为此，本 发明采取的技术方案是，基于多尺度细节增强的低光照水下图像增强方法，步骤如下：首先 通过对灰度世界算法的颜色校正系数改进对图像去除色偏，使图像有很好的视觉效果；引入 的多尺度细节增强算法增强图像的细节信息，最后对颜色校正和对比度增强的两幅图像进行 小波融合，进一步对图像降噪和增强。

颜色校正具体步骤如下：

采用灰度世界法基于灰度变换去除色偏，每个颜色通道的变换公式如下：

其中

是每个颜色通道的平均像素值，

是绿色通道的平均像素值，I_c是每个颜色 通道灰度变换前的像素值，

是每个通道灰度变换后的像素值。

对比度增强具体步骤如下：

采用传统的Retinex算法去除图像的光照影响，图像分解为反射分量和照度分量，如式(3) 所示：

其中，

是卷积符号，I₂(x,y)是亮度增强后的图像，R(x,y)是反射分量，代表物体的 反射属性，是频域中的高频成分，L(x,y)是照度分量，具有空间平滑性，表现为低频成分；

通过近似估计得到照度分量L(x,y)，具体通过高斯卷积的方法解决，如式(4)所示：

其中G₀(x,y)是高斯函数，采用高斯滤波估计出图像的照度分量；

将(4)式代入(3)式，并进行对数变换：

对log₂(R(x,y))进行指数运算即可得到反射分量R(x,y)，即亮度增强后的图像；

然后采用CLAHE算法对图像进行对比度增强，该算法首先将图像分割成大小相同的块， 对每块统计得到的直方图进行裁剪，裁剪掉的像素均匀分配到每个像素级，得到对比度受限 的直方图，最后根据对比度受限直方图对原图进行双线性插值得到对比度增强图像；

小波融合具体步骤如下：

采用小波融合]方法对两幅图像进行处理，具体采用融合规则，对两幅图像的信息进行互 补合成得到一幅比原图像有更好的视觉效果的新图像，首先对两幅图像分别进行二层的小波 分解，分解得到的低频分量和高频分量分别采用不同的融合规则进行融合。低频分量在融合 时，为了更好地去除噪声和保留图像亮度信息，采用加权平均的融合规则，如式(14)所示：

A＝a₁×A₁+a₂×A₂， (14)

其中A₁、A₂分别表示两幅待融合的图像小波分解后的低频分量，因为采用的是加权平均 的融合规则，因此融合系数a₁＝a₂＝0.5，A是融合后的低频分量；

高频分量采用基于区域特性量测的融合规则，分别通过滤波函数与高频分量卷积，得到 两幅图像相应分解层上对应局部区域的能量：

其中H₁、H₂分别表示两幅待融合的图像小波分解后的高频分量，ω是滤波函数，

计算两幅图像对应局部区域的匹配度：

匹配度用于衡量两幅图像在该区域上的能量差，M＜0.7，说明两图像在该区域上的能量 相差较大，能量较大表明该区域有更多的细节信息，因此选择能量大的区域的像素作为融合 图像的像素值，则融合后的高频分量为：

如果M≥0.7，说明两图像在该区域上能量相差不大，此时采用加权的方法进行融合，融 合后的高频分量为：

其中α、β表示融合权重，

将融合后的的两幅图像进行小波重 构，得到最后增强的图像。

在Retinex算法和CLAHE算法增强了图像的全局对比度后，再采用多尺度细节增强算法 来增强图像细节，具体采用若干个尺度的高斯函数对图像进行模糊处理，再跟原图像相减， 得到不同程度的边缘信息，将其加权融合到原图像中，使图像有更强的边缘细节。

具体采用三个高斯函数，首先将高斯函数与对比度增强的图像R(x,y)进行卷积操作：

其中B₁、B₂、B₃是三个不同程度的模糊图像，G₁、G₂、G₃是三个不同尺度的高斯函数，该二维的高斯函数表达式如下：

其中(x,y)是像素点坐标，δ是标准差，G₁、G₂、G₃这三个不同尺度的高斯函数的δ分别为1、2、4；然后将B₁、B₂、B₃分别和对比度增强的图像R(x,y)相减：

D₁(x,y)＝R(x,y)-B₁(x,y)， (10)

D₂(x,y)＝B₁(x,y)-B₂(x,y)， (11)

D₃(x,y)＝B₂(x,y)-B₃(x,y)， (12)

其中D₁、D₂、D₃是不同程度的边缘信息；

最后将这些边缘信息通过不同的融合权重融合到原图中：

D(x,y)＝(1-b₁×sgn(D₁(x,y)))×D₁(x,y)+b₂×D₂(x,y)+b₃×D₃(x,y)+R(x,y)，(13)

式(13)中，b₁、b₂、b₃是融合权重，用于调节图像细节信息融合的程度，此处b₁、b₂取0.5，b₃取0.25，D(x,y)是细节增强后的图像。图像R(x,y)在和模糊图像D₁(x,y)相减时，D₁(x,y)扩大了边缘附近的灰度差，容易导致图像过饱和。因此采用1-b₁×sgn(D₁(x,y))作为D₁(x,y)的融合权重来增强图像细节的同时防止过饱和。该细节增强算法有效的去除了图像 边缘区域的伪影，增强图像细节。

改进的灰度变换公式如下：

其中

是每个颜色通道的最大像素值，

是每个颜色通道的最小像素值，

是每 个通道像素值的均值，

是本文改进的灰度世界算法对每个通道进行颜色变换后的像素值。

本发明的特点及有益效果是：

1)本发明提出了一种多尺度细节增强的低光照条件下的水下图像增强算法，与现有一些 算法相比，整体上有更好的视觉效果；

2)本发明提出了一种改进的灰度世界算法,去除了图像色偏，对图像有较好的颜色校正 效果；

3)本发明引入多尺度细节增强算法，提高了图像的对比度，也增强了图像的细节信息， 另外在对图像进行融合时，对低频分量采用加权平均的融合规则，对图像有一定的降噪效果。

附图说明：

图1给出了本发明提出的基于多尺度细节增强的低光照水下图像增强算法的框图。

具体实施方式

本发明通过对灰度世界算法的颜色校正系数改进对图像去除色偏，使图像有很好的视觉 效果；此外引入的多尺度细节增强算法增强了图像的细节信息，最后对颜色校正和对比度增 强的两幅图像进行小波融合，进一步对图像降噪和增强。。具体技术方案详述如下：

1颜色校正

由于不同光谱区域的光在水中传播时的衰减速率不同，红色光衰减最快，其次是绿色光， 最后是蓝色光，因此通常在水中拍摄到的图像会呈现蓝绿色偏。灰度世界法是水下图像去除 色偏最常用的方法，其假设物体对于光线的平均反射是一个定值。利用这一假设，可以有效 的校正由于水下光照特性引起的色偏。灰色世界法是基于灰度变换的方法，每个颜色通道的 变换公式如下：

其中

是每个颜色通道的平均像素值，

是绿色通道的平均像素值，I_c是每个颜色 通道灰度变换前的像素值，

是每个通道灰度变换后的像素值。

灰度世界假设法在处理地面上图像时，能得到较好的颜色校正效果，但是应用于水下图 像时，由于光照不足则会引起严重的颜色失真。水下环境光照不足，获取到的图像像素值均 值较低，因此将图像每个通道的最大值和最小值的差作为颜色校正系数的分子，以均衡每个 颜色通道的像素值，去除色偏，同时提高对比度，改进的灰度变换公式如下：

其中

是每个颜色通道的最大像素值，

是每个颜色通道的最小像素值，

是每 个通道像素值的均值，

是本文改进的灰度世界算法对每个通道进行颜色变换后的像素值。

2对比度增强

在低光照条件下，水下图像对比度较低，本文采用传统的Retinex算法去除图像的光照 影响，Retinex理论认为物体的颜色与光线的反射强度和非均匀性无关，主要取决于物体对 光线的反射能力，因此图像可以分解为反射分量和照度分量，如式(3)所示：

其中，

是卷积符号，I₂(x,y)是亮度增强后的图像，R(x,y)是反射分量，代表物体的 反射属性，是频域中的高频成分，L(x,y)是照度分量，具有空间平滑性，表现为低频成分。

Retinex算法的目的是去除图像的照度分量L(x,y)，从而得到其反射分量R(x,y)。但这 在数学上是一个病态问题，只能通过近似估计得到照度分量L(x,y)，如可以通过高斯卷积的 方法解决，如式(4)所示：

其中G₀(x,y)是高斯函数，采用高斯滤波估计出图像的照度分量。

将(4)式代入(3)式，并进行对数变换：

对log₂(R(x,y))进行指数运算即可得到反射分量R(x,y)，即亮度增强后的图像。

Retinex算法虽然能够去除图像的光照分量，但是对图像也有一定的平滑作用，因此采 用经典的CLAHE算法对图像进行对比度增强，该算法首先将图像分割成大小相同的块，对每 块统计得到的直方图进行裁剪，裁剪掉的像素均匀分配到每个像素级，得到对比度受限的直 方图，最后根据对比度受限直方图对原图进行双线性插值得到对比度增强图像。

Retinex算法和CLAHE算法有效的增强了图像的全局对比度，然而由于水下环境的光照 特性，传统的Retinex算法和CLAHE算法在处理图像明暗对比强烈的边缘区域会产生光晕伪 影，造成图像边缘模糊，细节信息丢失。针对这一问题，本文引入多尺度细节增强算法^[12]来 增强图像细节。图像边缘被模糊时，对应的残差幅值相对较大，为了保留更多的边缘信息， 以及防止异常噪声的影响，采用若干个尺度的高斯函数对图像进行模糊处理，再跟原图像相 减，得到不同程度的边缘信息，将其加权融合到原图像中，使图像有更强的边缘细节。本文 为了在提取有效的细节信息的同时减小计算量，采用了三个高斯函数，首先将高斯函数与对 比度增强的图像R(x,y)进行卷积操作：

其中B₁、B₂、B₃是三个不同程度的模糊图像，G₁、G₂、G₃是三个不同尺度的高斯函数，该二维的高斯函数表达式如下：

其中(x,y)是像素点坐标，δ是标准差，G₁、G₂、G₃这三个不同尺度的高斯函数的δ分别为1、2、4。

然后将B₁、B₂、B₃分别和对比度增强的图像R(x,y)相减：

D₁(x,y)＝R(x,y)-B₁(x,y)， (10)

D₂(x,y)＝B₁(x,y)-B₂(x,y)， (11)

D₃(x,y)＝B₂(x,y)-B₃(x,y)， (12)

其中D₁、D₂、D₃是不同程度的边缘信息。

最后将这些边缘信息通过不同的融合权重融合到原图中：

D(x,y)＝(1-b₁×sgn(D₁(x,y)))×D₁(x,y)+b₂×D₂(x,y)+b₃×D₃(x,y)+R(x,y)，(13)

式(13)中，b₁、b₂、b₃是融合权重，用于调节图像细节信息融合的程度，此处b₁、b₂取0.5，b₃取0.25，D(x,y)是细节增强后的图像。图像R(x,y)在和模糊图像D₁(x,y)相减时， D₁(x,y)扩大了边缘附近的灰度差，容易导致图像过饱和。因此采用1-b₁×sgn(D₁(x,y))作为D₁(x,y)的融合权重来增强图像细节的同时防止过饱和。该细节增强算法有效的去除了图像 边缘区域的伪影，增强图像细节。

3小波融合

前面我们得到了颜色校正图像和对比度增强图像，为了提取两幅图像的显著特征，同时 去除图像噪声，本文采用小波融合^[13]方法对两幅图像进行处理。小波融合采用融合规则，对 两幅图像的信息进行互补合成得到一幅比原图像有更好的视觉效果的新图像。首先对两幅图 像分别进行二层的小波分解，分解得到的低频分量和高频分量分别采用不同的融合规则进行 融合。低频分量在融合时，为了更好地去除噪声和保留图像亮度信息，采用加权平均的融合 规则，如式(14)所示：

A＝a₁×A₁+a₂×A₂， (14)

其中A₁、A₂分别表示两幅待融合的图像小波分解后的低频分量，因为采用的是加权平均 的融合规则，因此融合系数a₁＝a₂＝0.5，A是融合后的低频分量。

高频分量采用基于区域特性量测的融合规则^[14]，分别通过滤波函数与高频分量卷积，得 到两幅图像相应分解层上对应局部区域的能量：

其中H₁、H₂分别表示两幅待融合的图像小波分解后的高频分量，ω是滤波函数，

计算两幅图像对应局部区域的匹配度：

匹配度用于衡量两幅图像在该区域上的能量差，M＜0.7，说明两图像在该区域上的能量 相差较大，能量较大表明该区域有更多的细节信息，因此选择能量大的区域的像素作为融合 图像的像素值，则融合后的高频分量为：

如果M≥0.7，说明两图像在该区域上能量相差不大，此时采用加权的方法进行融合，融 合后的高频分量为：

其中α、β表示融合权重，

将融合后的的两幅图像进行小波重 构，得到最后增强的图像。

下面结合算法框图和算法流程图对本发明进行详细的描述。

如图1所示，本发明提供一种基于多尺度细节增强的低光照水下图像增强算法，在matlab 平台下运行。其包括以下步骤：

步骤1：改进的灰度世界算法校正水下图像色偏，得到图像I₁；

步骤2：采用Retinex算法和CLAHE算法对图像进行对比度提高，然后用多尺度细节增 强算法解决图像模糊问题，得到图像D；

步骤3：把颜色校正的图像I₁和对比度增强后的图像D进行小波融合得到最后的增强图 像。

Claims (5)

1.一种基于多尺度细节增强的低光照水下图像增强方法，其特征是，步骤如下：首先通过对灰度世界算法的颜色校正系数改进对图像去除色偏，使图像有很好的视觉效果；引入的多尺度细节增强算法增强图像的细节信息，最后对颜色校正和对比度增强的两幅图像进行小波融合，进一步对图像降噪和增强。

2.如权利要求1所述的基于多尺度细节增强的低光照水下图像增强方法，其特征是，颜色校正具体步骤如下：

采用灰度世界法基于灰度变换去除色偏，每个颜色通道的变换公式如下：

其中

是每个颜色通道的平均像素值，

是绿色通道的平均像素值，I_c是每个颜色通道灰度变换前的像素值，

是每个通道灰度变换后的像素值。

对比度增强具体步骤如下：

采用Retinex算法去除图像的光照影响，图像分解为反射分量和照度分量，如式(3)所示：

其中，

是卷积符号，I₂(x,y)是亮度增强后的图像，R(x,y)是反射分量，代表物体的反射属性，是频域中的高频成分，L(x,y)是照度分量，具有空间平滑性，表现为低频成分；

通过近似估计得到照度分量L(x,y)，具体通过高斯卷积的方法解决，如式(4)所示：

其中G₀(x,y)是高斯函数，采用高斯滤波估计出图像的照度分量；

将(4)式代入(3)式，并进行对数变换：

对log₂(R(x,y))进行指数运算即可得到反射分量R(x,y)，即亮度增强后的图像；

然后采用CLAHE算法对图像进行对比度增强，该算法首先将图像分割成大小相同的块，对每块统计得到的直方图进行裁剪，裁剪掉的像素均匀分配到每个像素级，得到对比度受限的直方图，最后根据对比度受限直方图对原图进行双线性插值得到对比度增强图像。

3.如权利要求1所述的基于多尺度细节增强的低光照水下图像增强方法，其特征是，小波融合具体步骤如下：

采用小波融合方法对两幅图像进行处理，具体采用融合规则，对两幅图像的信息进行互补合成得到一幅比原图像有更好的视觉效果的新图像，首先对两幅图像分别进行二层的小波分解，分解得到的低频分量和高频分量分别采用不同的融合规则进行融合。低频分量在融合时，为了更好地去除噪声和保留图像亮度信息，采用加权平均的融合规则，如式(14)所示：

A＝a₁×A₁+a₂×A₂， (14)

其中A₁、A₂分别表示两幅待融合的图像小波分解后的低频分量，因为采用的是加权平均的融合规则，因此融合系数a₁＝a₂＝0.5，A是融合后的低频分量；

高频分量采用基于区域特性量测的融合规则，分别通过滤波函数与高频分量卷积，得到两幅图像相应分解层上对应局部区域的能量：

其中H₁、H₂分别表示两幅待融合的图像小波分解后的高频分量，ω是滤波函数，

计算两幅图像对应局部区域的匹配度：

匹配度用于衡量两幅图像在该区域上的能量差，M＜0.7，说明两图像在该区域上的能量相差较大，能量较大表明该区域有更多的细节信息，因此选择能量大的区域的像素作为融合图像的像素值，则融合后的高频分量为：

如果M≥0.7，说明两图像在该区域上能量相差不大，此时采用加权的方法进行融合，融合后的高频分量为：

其中α、β表示融合权重，

α＝1-β，将融合后的的两幅图像进行小波重构，得到最后增强的图像。

4.如权利要求1所述的基于多尺度细节增强的低光照水下图像增强方法，其特征是，在Retinex算法和CLAHE算法增强了图像的全局对比度后，再采用多尺度细节增强算法来增强图像细节，具体采用若干个尺度的高斯函数对图像进行模糊处理，再跟原图像相减，得到不同程度的边缘信息，将其加权融合到原图像中，使图像有更强的边缘细节；具体采用三个高斯函数，首先将高斯函数与对比度增强的图像R(x,y)进行卷积操作：

其中B₁、B₂、B₃是三个不同程度的模糊图像，G₁、G₂、G₃是三个不同尺度的高斯函数，该二维的高斯函数表达式如下：

其中(x,y)是像素点坐标，δ是标准差，G₁、G₂、G₃这三个不同尺度的高斯函数的δ分别为1、2、4；然后将B₁、B₂、B₃分别和对比度增强的图像R(x,y)相减：

D₁(x,y)＝R(x,y)-B₁(x,y)， (10)

D₂(x,y)＝B₁(x,y)-B₂(x,y)， (11)

D₃(x,y)＝B₂(x,y)-B₃(x,y)， (12)

其中D₁、D₂、D₃是不同程度的边缘信息；

最后将这些边缘信息通过不同的融合权重融合到原图中：

D(x,y)＝(1-b₁×sgn(D₁(x,y)))×D₁(x,y)+b₂×D₂(x,y)+b₃×D₃(x,y)+R(x,y)， (13)

式(13)中，b₁、b₂、b₃是融合权重，用于调节图像细节信息融合的程度，此处b₁、b₂取0.5，b₃取0.25，D(x,y)是细节增强后的图像。图像R(x,y)在和模糊图像D₁(x,y)相减时，D₁(x,y)扩大了边缘附近的灰度差，容易导致图像过饱和。因此采用1-b₁×sgn(D₁(x,y))作为D₁(x,y)的融合权重来增强图像细节的同时防止过饱和。该细节增强算法有效的去除了图像边缘区域的伪影，增强图像细节。

5.如权利要求1所述的基于多尺度细节增强的低光照水下图像增强方法，其特征是，改进的灰度变换公式如下：

其中

是每个颜色通道的最大像素值，

是每个颜色通道的最小像素值，

是每个通道像素值的均值，

是本文改进的灰度世界算法对每个通道进行颜色变换后的像素值。

Images