CN112801925A - 基于信息熵最大化消除水波纹影响的水下图像增强方法 - Google Patents

Abstract

基于信息熵最大化消除水波纹影响的水下图像增强方法，属于水下图像增强方法技术领域。先拍摄得到标定板图像,将拍摄图像转换至HSV色彩空间，对于亮度V分量，基于多尺度Retinex方法分离出高频分量与低频分量，对所得高频分量进行对比度受限的自适应直方图拉伸和基于小波变换的阈值去噪，得到无水波纹影响的高频分量标定板图像；对于低频分量基于最大信息熵消除水波纹，再使用基于白平衡方法进行光照校正；对改进的高、低频信息按线性加权融合，得到融合后的图像；对图像进行对比度和亮度自适应增加，最后变换回RGB色彩空间，得到融合后的增强图像。该方法解决了水波纹对水下图像的影响，保证了水下图像拍摄的质量。

Description

基于信息熵最大化消除水波纹影响的水下图像增强方法

技术领域

本发明涉及一种水下图像增强方法，具体为基于信息熵最大化消除水波纹影响的水下图像增强方法，属于水下图像增强方法技术领域。

背景技术

水波纹是由于水下物体运动而产生，水波纹使拍摄的水下图像出现明显的鬼影区域，存在背景灰度不均、假轮廓、假细节和自阴影等情况。现有最好的方法是需要等待水面恢复平静后再进行拍摄，该方法对拍摄要求过于苛刻。

2017年，方亮等人提出一种图像融合方法及图像分离方法(专利申请公布号CN108053387 A,申请人:神思电子技术股份有限公司)，采用水纹图像的复杂性对图像进行细节保密，达到防破解的目的。该方法并没有解决水波纹对图像产生的视觉质量影响。

2019年6月，李昌利等人在“基于多通道均衡化的水下彩色图像增强方法(华中科技大学学报(自然科学版),2019(6))”一文中针对水下环境中图像颜色严重失真的问题，首先对原始图像在对数域上进行归一化处理后转换到HSI颜色空间；然后，对亮度分量利用McCann Retinex方法在四个方向(纵横)进行比较、实现增强，并根据图像全局亮度信息进行照度增强，计算各通道的累积分布函数并对密集部分进行拉伸处理。该方法适用于改善静水时水下图像照度信息，并保留了饱和度和色度信息；但该方法不能适用于物体运动产生水波纹的情况。

2019年，朱敦尧等人提出一种消除透明图片水波纹的方法和装置(专利申请公布号：CN 110992242A，申请人：武汉光庭信息技术股份有限公司)。通过获取RGBA32图像中的Alpha信息图像，并将图片对应像素点的Alpha值和RGB分量进行合并和误差扩散处理，该方法能有效解决低位深显示设备带来的水波纹现象。但是由于需要循环遍历Alpha信息图像和RGB信息图像的每个像素，运行时间较长，而且该方法通过误差扩散方法，不利于完全消除水波纹的影响，同时该方法不适用于彩色图片。

2020年，徐岩等人提出一种结合双边滤波与Retinex的水下图像增强方法(专利申请公布号：CN 108053374A，申请人：天津大学)。该发明将水波纹分量分为高频分量和低频分量，首先，对于高频分量结合双边滤波去噪；其次，对于低频分量，采用基于高斯中心环绕多尺度Retinex分离出反射分量与照射分量，假设水波纹的低频分量为该照射分量，采用伽马校正调整光照得到新的照射分量；最后，基于Retinex理论实现光照分量、反射分量的融合增强，得到校正后的水波纹分量。该方法能有效抑制水波纹对于图像质量的影响，但由于未考虑水波纹在不同水域的运动形式，所以不能达到消除水波纹的效果。

综上所述,现有的水下图像增强方法不能完全消除水波纹的影响，并且存在方法时间复杂度高、适用场景有限的问题，从而影响水下图像拍摄质量。

发明内容

为了克服现有技术和方法的不足，本发明提出一种基于信息熵最大化消除水波纹影响的水下图像增强方法，提取图像的高低频分量，利用信息熵最大化考虑水波纹的能量影响进行图像融合增强，通过引入水波纹的系数，该方法能很好的消除水波纹带来的影响，能够有效提高水下标定板的拍摄质量。

本发明的目的是通过以下技术方案实现的，基于信息熵最大化消除水波纹影响的水下图像增强方法，其数据处理对象为水下拍摄有水波纹影响的低照度图像，包括以下步骤：

步骤1：提高标定板高频分量

1.1将拍摄图像转换至HSV色彩空间；

1.2对于亮度V分量，基于多尺度Retinex(亦作MSR(Multi Scale Retinex))分离出高频分量与低频分量；

1.3对高频分量进行对比度受限的自适应直方图(CLAHE)拉伸；

1.4对拉伸后的高频分量进行基于小波变换的阈值去噪，得到无水波纹影响的高频分量标定板图像；

步骤2：改善标定板低频分量

2.1对于低频分量基于最大信息熵消除水波纹；

2.2基于白平衡方法进行光照校正；

步骤3：图像融合

3.1对改进的高、低频进行融合；

3.2将图像变换回RGB色彩空间。

进一步的，所述步骤

2.1对于低频分量基于最大信息熵消除水波纹，具体做法：

2.1.1计算低频分量图像的纹理能量

在彩色图像的低频分量

中，为消除其中颜色、光照、亮度等外界环境的变化带来的影响，需要从彩色图像重新构造对比度图。方法如下：

(1)将彩色图像的低频分量

变换为灰度图像记为

求出

图像中每行像素的局部灰度极值，设光学中心的图像坐标(u₀,v₀)，构造为极值图像表示为K_V(x,y)。

(2)对极值图像K_V(x,y)进行对比度提取，得到对比度图像T_V(x,y)，如式(10)所示：

T_V(x,y)＝||K_V(x,y)-K_V(x,y-1)|| (10)

采用区域卷积的方法构造能量图像，与单方向卷积相比，区域卷积不仅可以抑制噪声，并且还能起到行间能量滤波的作用，从而得到更好的纹理能量分布图。则能量图像P_I(x,y)计算公式如(11)为：

式中：T₀为卷积核；(s₀,t₀)表示为该卷积核中的每个元素位置坐标，其行和列大小分别为(2*λ₁+1)、(2*λ₂+1)；本发明中取卷积核的每个元素为：

W₀为求解函数。

2.1.2计算低频分量图像的水波纹能量

设水面波形为余弦形式，在X_wOZ_w坐标系中，其上某一点η在任意时刻t，水波自由面波形的传播可表示为：

式中：v₀——水波波速，表示单位时间内水波波形移动(传播)的距离；L₀——水波波长，一个波周期的水波传输距离；H₀——水波波高，水波峰值与谷值之差；

则两个振幅分别为H₁,H₂、波长分别为L₁,L₂，波速分别为v₁,v₂的单色波叠加成的多色波可表示为：

该多色波在X_wOZ_w坐标系中任意时刻t的能量P_W可以表示为公式(14)：

ρ为该水域的密度，g为重力加速度(一般取9.8kg/s²)。

2.1.3基于最大信息熵消除水波纹

在彩色图像的低频分量

中，信息熵E可表示为：

其中：p_κ——彩色图像中低频分量的某一通道内任意像素具有亮度κ的概率；

将能量图像的低频分量分别在X方向和Y方向对于水波纹的能量进行消除，则基于信息熵最大化消除水波纹可表示为：

式中σ₁——高斯函数的标准差。式中时刻t＝t₀为已知量，调整系数求解保证信息熵最大化的最优函数解下局部x,y值，对所得的x,y值构造出改善的灰度值图像，最后再变换到R、G、B三个分量，生成消除水波纹的低频分量彩色图像。

2.2基于白平衡方法进行光照校正,得到无水波纹影响的低频分量水下图像；

为了改善图像色彩视效，对图像消除水波纹的低频分量进行全局白平衡处理。根据灰色世界方法的假设，在图像上放置白平衡之后，让R_v、G_v、B_v表示RGB颜色通道中图像的平均值，R_c、G_c、B_c表示RGB颜色通道中的校正值。将灰色世界法中简单的求平均值利用范数p₀＝1求得巧可夫斯基距离，如式(17)所示：

式中：μ_v是图像平均颜色值；

为图像白平衡后的结果；R_v,G_v,B_v表示RGB颜色通道中图像的平均值，R_c,G_c,B_c表示RGB颜色通道中的校正值。

与现有技术相比，本发明有益效果是：基于信息熵最大化消除水波纹影响的水下图像增强方法，无需等待水波纹消失，且能依据环境影响设定参数，完全消除水波纹对图像的影响，提高了图像拍摄质量，具有方法复杂度低和适用性强的优点。

附图说明

图1：基于信息熵最大化消除水波纹影响的水下图像增强方法流程图；

图2：基于对比度受限的自适应直方图方法中双线性插值方法示意图；

图3：单色水波自由面波形示意图；

图4：软阈值法小波分析去噪示意图。

具体实施方式

下面结合附图1和基于信息熵最大化消除水波纹影响的水下图像增强方法对本发明的具体实施作进一步描述。

如图1所示，本发明一种基于信息熵最大化消除水波纹影响的水下图像增强方法，包括以下步骤：

步骤1：提高标定板高频分量

1.1将拍摄图像转换至HSV色彩空间；

设RGB颜色空间的图像

转化为HSV空间图像

转化公式如(1)所示，其中(x,y)为图像的像素坐标；H、S、V分别为色调、饱和度、亮度的通道值；R、G、B分别是红色、绿色、蓝色的通道值；c、C为RGB色彩空间、HSV色彩空间下不同的颜色通道：

式中：M_max为R,G,B中最大值；M_min为R,G,B中最小值；H∈[0,360)；S∈[0,1]；V∈[0,1]

1.2对于亮度V分量，基于多尺度Retinex分离出高频分量与低频分量；

依据单尺度Retinex方法(Single-scale Retinex)，水下图像可分离出高频分量与低频分量，表达式为：

式中：(x,y)为彩色图像的像素坐标。

分别为水下彩色图像实数域中的高频分量和低频分量；

分别代表水下彩色图像对数域中高频分量和低频分量；

在此基础上，将多尺度Retinex(Multi Scale Retinex)原理应用于V分量，提取图像的高频分量

和低频分量

表达式如(3)所示：

式中：V表示HSV色彩空间中的V分量；

空间中高频分量/水下原图的V分量；

为多尺度Retinex方法对V分量在对数域中水下图像的高频分量、低频分量。N₀——尺度个数；A_j——第j个尺度的加权系数；

——二维卷积运算；

为高斯形状中心环绕函数，其中

K₀——高斯滤波函数的系数；c₁为高斯函数尺度的系数。

1.3对高频分量进行对比度受限的自适应直方图(CLAHE)拉伸；

为了提升图像高频分量的局部对比度和细节部分，解决自适应直方图均衡化方法的噪声问题，采用对比度受限的自适应直方图方法，计算图像多个局部区域的直方图，并重新分布亮度，以此改变图像对比度。该方法分为三个步骤：

1.3.1图像分块

把原图像中高频分量水平方向分成8份，把垂直方向分成4份，即原图即被划分成8×4＝32块，每一块的高频分量记为

1.3.2计算各块的直方图，并进行直方图均衡化

采用大津法计算出灰度阈值Q₀，将每一块提取的高频分量分割为两个灰阶段P₁∈[0,Q₀],P₂∈(Q₀,255]，其中，欠曝光直方图P₁和过曝光直方图P₂：

式中：

表示图像中的某一灰度级，

表示第a块水下彩色图像V分量中高频分量的灰度值；W_1a、W_2a——灰度级在欠曝光和过曝光直方图出现的概率；n——原图像中灰度级出现的次数；N_1a、N_2a——原图像中高频分量第a块欠曝光和过曝光像素数量，Q₀为灰度阈值；则欠曝光和过曝光直方图均衡化图像像素值γ的计算方法为：

1.3.3通过双线性插值方法将这些小块重新连接起来

如图2所示，设A,B,C,D点的坐标值为

则插值点

的像素值γ表示为：

其中

为第a块图像拉伸后的高频分量；

α₁,α₂,β₁,β₂表示插值系数。

最后将各块的像素点累积拼合，得到直方图拉伸后的高频分量

T₁为拼合函数：

1.4对拉伸后的高频分量进行基于小波变换的阈值去噪，得到无水波纹影响的高频分量水下图像；

本发明采用VisuShrink进行阈值选取，该方法采用全局统一阈值

其中σ₀＝MAD/0.6745，MAD为首层小波分解系数绝对值的中间值，0.6745为高斯噪声方差的调整系数，N₃是信号的尺寸。

对小波系数采用软阈值的方法处理，当小波系数的绝对值小于给定的阈值λ₀时，令其为零；大于阈值λ₀时，令其减去阈值，如式(8)所示：

Sgn——阶跃函数；

——基于小波变换的阈值去噪后的高频分量，λ₀为全局统一阈值。

MATLAB调用XC＝wdencmp('gbl',r(x,y),'sym4',N,THR,SORH,KEEPAPP)，其中XC消噪后的信号，gbl(global的缩写)表示每层都采用同一个阈值进行处理，r(x,y)为图像的高频分量，'sym4'是所用的小波函数，N选择3，表示小波分解的层数，THR选择3，为阈值向量，SORH取λ，表示选择软阈值，参数KEEPAPP取值为1时，表示低频系数不进行阈值量化处理。

步骤2：改善标定板低频分量

2.1对于低频分量基于最大信息熵消除水波纹；

2.1.1计算低频分量图像的纹理能量

在彩色图像的低频分量

中，为消除其中颜色、光照、亮度等外界环境的变化带来的影响，需要从彩色图像重新构造对比度图。方法如下：

(1)将彩色图像的低频分量

变换为灰度图像记为

求出

图像中每行像素的局部灰度极值，设光学中心的图像坐标(u₀,v₀)，构造为极值图像表示为K_V(x,y)。

(2)对极值图像K_V(x,y)进行对比度提取，得到对比度图像T_V(x,y)，如式(10)所示：

T_V(x,y)＝||K_V(x,y)-K_V(x,y-1)|| (10)

采用区域卷积的方法构造能量图像，与单方向卷积相比，区域卷积不仅可以抑制噪声，并且还能起到行间能量滤波的作用，从而得到更好的纹理能量分布图。则能量图像P_I(x,y)计算公式如(11)为：

式中：T₀为卷积核；(s₀,t₀)表示为该卷积核中的每个元素位置坐标，其行和列大小分别为(2*λ₁+1)、(2*λ₂+1)；本发明中取卷积核的每个元素为：

W₀为求解函数。

2.1.2计算低频分量图像的水波纹能量

如图3所示，设水面波形为余弦形式，在X_wOZ_w坐标系中，其上某一点η在任意时刻t，水波自由面波形的传播可表示为：

式中：η表示水面波形上的一点，v₀——水波波速，表示单位时间内水波波形移动(传播)的距离；L₀——水波波长，一个波周期的水波传输距离；H₀——水波波高，水波峰值与谷值之差；

则两个振幅分别为H₁,H₂、波长分别为L₁,L₂，波速分别为v₁,v₂的单色波叠加成的多色波可表示为：

该多色波在X_wOZ_w坐标系中任意时刻t的能量P_W可以表示为公式(14)：

ρ为该水域的密度，g为重力加速度(一般取9.8kg/s²)。

2.1.3基于最大信息熵消除水波纹

在彩色图像的低频分量

中，信息熵E可表示为：

其中：p_κ——彩色图像中低频分量的某一通道内任意像素具有亮度κ的概率

将能量图像的低频分量分别在X方向和Y方向对于水波纹的能量进行消除，则基于信息熵最大化消除水波纹可表示为：

式中σ₁——高斯函数的标准差。式中时刻t＝t₀为已知量，调整系数求解保证信息熵最大化的最优函数解下局部x,y值，对所得的x,y值构造出改善的灰度值图像，最后再变换到R、G、B三个分量，生成消除水波纹的低频分量彩色图像。

2.2基于白平衡方法进行光照校正,得到无水波纹影响的低频分量水下图像；

为了改善图像色彩视效，对图像消除水波纹的低频分量进行全局白平衡处理。根据灰色世界方法的假设，在图像上放置白平衡之后，让R_v、G_v、B_v表示RGB颜色通道中图像的平均值，R_c、G_c、B_c表示RGB颜色通道中的校正值。将灰色世界法中简单的求平均值利用范数p₀＝1求得巧可夫斯基距离，如式(17)所示：

式中：μ_v是图像平均颜色值；

为图像白平衡后的结果；R_v,G_v,B_v表示RGB颜色通道中图像的平均值，R_c,G_c,B_c表示RGB颜色通道中的校正值。

步骤3：图像融合

3.1对改进的高、低频信息按线性加权融合，得到融合后的图像；

设W₃为高低频量融合后的输出图像：

α₃、β₃表示加权值的系数。对于该参数可以采用机器学习的方法。本发明取α₃＝0.2、β₃＝0.8：

3.2转换为灰度图像，增加对比度和亮度；

基于3.1所得图像光照已经比较均匀，但整体偏暗，对比度需要进一步提高。为此，采用基于归一化非完全Beta曲线的优化方法对该图像进行自适应拉伸处理，以增强V图像的对比度和亮度。设归一化非完全Beta变换曲线为：

式中：α₄>0,0<β₄<10，

调整参数α₄,β₄，以自适应实现图像的对比度和亮度的增强。

3.3将图像变换回RGB色彩空间，得到融合后存在畸变的水下图像；

将H、S、V分量重新转换成R、G、B分量，如式所示：

式中，h_i,p_i,t_i为HSV转换为RGB色彩空间系数；

p_i＝V×(1-f×S)；t_i＝V×(1-(1-f)×S)；H为色彩信息；红色对应于0°，绿色对应于120°，蓝色对应于240°。

Claims (3)

1.基于信息熵最大化消除水波纹影响的水下图像增强方法，其特征是，其数据处理对象为水下拍摄有水波纹影响的低照度图像，包括以下步骤：

步骤1)：提高标定板高频分量

1.1)将拍摄图像转换至HSV色彩空间；

1.2)对于亮度V分量，基于多尺度MSR分离出高频分量与低频分量；

1.3)对高频分量进行对比度受限的自适应直方图拉伸；

1.4)对拉伸后的高频分量进行基于小波变换的阈值去噪，得到无水波纹影响的高频分量标定板图像；

步骤2)：改善标定板低频分量

2.1)对于低频分量基于最大信息熵消除水波纹；

2.2)基于白平衡方法进行光照校正；

步骤3)：图像融合

3.1)对改进的高、低频信息按线性加权融合；

3.2)将图像变换回RGB色彩空间。

2.根据权利要求1所述的基于信息熵最大化消除水波纹影响的水下图像增强方法，其特征是，所述步骤2.1)对于低频分量基于最大信息熵消除水波纹的具体做法如下：

2.1.1)计算低频分量图像的纹理能量

在彩色图像的低频分量

中，为消除其中颜色、光照、亮度等外界环境的变化带来的影响，需要从彩色图像重新构造对比度图，方法如下：

(1)将彩色图像的低频分量

变换为灰度图像记为

求出

图像中每行像素的局部灰度极值，设光学中心的图像坐标(u₀,v₀)，构造为极值图像表示为K_V(x,y)；

(2)对极值图像K_V(x,y)进行对比度提取，得到对比度图像T_V(x,y)，如式(10)所示：

T_V(x,y)＝||K_V(x,y)-K_V(x,y-1)|| (10)

采用区域卷积的方法构造能量图像，与单方向卷积相比，区域卷积不仅可以抑制噪声，并且还能起到行间能量滤波的作用，从而得到更好的纹理能量分布图，则能量图像P_I(x,y)计算公式如(11)为：

式中：T₀为卷积核；(s₀,t₀)表示为该卷积核中的每个元素位置坐标，其行和列大小分别为(2*λ₁+1)、(2*λ₂+1)；本发明中取卷积核的每个元素为：

W₀为求解函数；

2.1.2)计算低频分量图像的水波纹能量

设水面波形为余弦形式，在X_wOZ_w坐标系中，其上某一点η在任意时刻t，水波自由面波形的传播可表示为：

式中：v₀——水波波速，表示单位时间内水波波形移动(传播)的距离；L₀——水波波长，一个波周期的水波传输距离；H₀——水波波高，水波峰值与谷值之差；

则两个振幅分别为H₁,H₂、波长分别为L₁,L₂，波速分别为v₁,v₂的单色波叠加成的多色波可表示为：

该多色波在X_wOZ_w坐标系中任意时刻t的能量P_W可以表示为公式(14)：

ρ为该水域的密度，g为重力加速度(一般取9.8kg/s²)；

2.1.3)基于最大信息熵消除水波纹

在彩色图像的低频分量

中，信息熵E可表示为：

其中：p_κ——彩色图像中低频分量的某一通道内任意像素具有亮度κ的概率；

将能量图像的低频分量分别在X方向和Y方向对于水波纹的能量进行消除，则基于信息熵最大化消除水波纹可表示为：

式中σ₁——高斯函数的标准差；式中时刻t＝t₀为已知量，调整系数求解保证信息熵最大化的最优函数解下局部x,y值，对所得的x,y值构造出改善的灰度值图像，最后再变换到R、G、B三个分量，生成消除水波纹的低频分量彩色图像。

3.根据权利要求2所述的基于信息熵最大化消除水波纹影响的水下图像增强方法，其特征是，所述步骤2.2)基于白平衡方法进行光照校正,得到无水波纹影响的低频分量水下图像，具体做法如下：

为了改善图像色彩视效，对图像消除水波纹的低频分量进行全局白平衡处理；根据灰色世界方法的假设，在图像上放置白平衡之后，让R_v、G_v、B_v表示RGB颜色通道中图像的平均值，R_c、G_c、B_c表示RGB颜色通道中的校正值；将灰色世界法中简单的求平均值利用范数p₀＝1求得巧可夫斯基距离，如式(17)所示：

式中：μ_v是图像平均颜色值；

为图像白平衡后的结果；R_v,G_v,B_v表示RGB颜色通道中图像的平均值，R_c,G_c,B_c表示RGB颜色通道中的校正值。

Images