CN108447028A - 基于多尺度融合的水下图像质量改善方法 - Google Patents

Abstract

为了解决现有水下图像质量改善方法过程复杂或者过于依赖退化型模型的技术问题，本发明提出了一种基于多尺度融合的水下图像质量改善方法，主要用于改善水下图像噪声大、色差大、对比度低的问题，以提高图像质量。本发明先对原始图像进行颜色修正，消除各种光源给图像造成的色偏，再对图像进行对比度增强，降低由体积散射引起的质量退化，最后对它们进行多尺度融合，可以得到细节和边缘显著增强、噪声减少、黑暗区域更清楚以及全局对比度更高的水下图像，计算成本低廉，能够在通用硬件上执行相对较快的速度。

Description

基于多尺度融合的水下图像质量改善方法

技术领域

本发明属于图像处理技术领域，涉及一种水下图像质量改善方法。本发明可应用于海洋资源勘探开发、海洋生态监测以及水下军事侦察等领域。

背景技术

水对光有着严重的吸收和散射作用，吸收会减少光能，而散射会引起光方向的变化，使得光随着距离和深度呈指数衰减，造成很大的图像噪声，使图像质量降低。并且光在水下的传播距离有限，对一般的水下成像系统的像差有影响，使得色差和畸变增大、成像质量差、图像质量低。虽然可以通过使用多幅图像、专用硬件和偏振滤波器等方法来改善水下图像的质量，但由于使用多幅图像的方法需要在不同环境条件下拍摄同一场景的多个图像，使用硬件的方法比较昂贵和复杂，使用偏振滤波器的方法对于水下情况而言相机设置比较麻烦等因素，这些用来改善水下图像质量的方法实用性不高。因此，研究方便、有效的水下图像质量改善方法具有重要的意义。

现有已公开中的水下图像质量改善方法大致可以分为两类：图像增强与图像复原。

图像增强是指根据特定的需求，来突出图像中的某些信息，并减弱甚至去除某些不需要的信息。图像增强的优点是使图像的某些特性方面更加突出，使处理后的图像更符合人眼视觉特性。缺点是局部区域的增强效果常常不够理想，噪声滤波和边缘增强这两者的矛盾较难得到解决；由于图像增强不考虑图像退化的原因，增强的结果不一定逼近原图像。

图像增强的方法主要包括：基于颜色恒常性的方法，该类方法涉及的技术有白平衡等；基于空域增强的方法，该类方法涉及的技术有灰度变换、直方图均衡化、对比度拉伸、平滑和锐化等；基于频域增强的方法，该类方法涉及的技术有低通滤波、高通滤波和同态滤波等；综合方法，即以上几种方法的组合。例如Qing等人在文献“C.Qing C，W.Huang，S.Zhu，and X.Xu，“Underwater image enhancement with an adaptive dehazing framework，”IEEE International Conference on Digital Signal Processing，pp.338-342，2015.”中提出了一种自适应的去雾框架来进行水下图像增强，该方法包含自适应估计和局部自适应水下亮度的直方图均衡化这两部分，得到的图像特点是对比度更强、细节更精细以及边缘显著增强。由于图像通常存在一定噪声，经过增强处理后噪声往往也增强，这就需要对图像进行去噪处理，而去噪时图像边缘又会变模糊，噪声滤波和边缘增强这两者的矛盾难以协调，故该方法具有过程较复杂的缺点。

图像复原是指利用退化先验来恢复原图像；图像复原的优点是恢复的图像接近原图像，缺点是必须先根据一定的先验知识对图像的退化过程建立相应的退化模型，然后通过求解该逆问题来恢复图像，该类方法过于依赖退化模型。

图像复原的目的在于，用有关点扩散函数和噪声特性的知识，将退化的图像恢复至原始图像。图像复原的方法主要包括：点扩散函数估计方法、反卷积方法、基于湍流模型的方法、基于散射传输模型的方法、利用偏振技术的方法等。例如Kanaev等人在文献“A.V.Kanaev，W.Hou，S.R.Restaino，S.Matt，et al，“Restoration of images degradedby underwater turbulence using structure tensor oriented image quality(STOIQ)metric，”Optics Express，vol.23，no.13，pp.17077–17090，2015.”中提出了一种基于湍流模型的水下图像复原方法，参考了大气湍流图像复原的算法，省略了盐分的影响，只考虑水中波动引起的湍流对水下成像的影响，应用一种自适应的平均各向异性的度量标准进行水下图像复原，该方法可以提高了水下目标物的可见性。由于该方法试图利用退化过程的先验知识使已退化的图像恢复本来面貌，必须先根据一定的先验知识对图像的退化过程建立相应的退化模型，故该方法具有过于依赖退化模型的缺点。

综上所述，现有的水下图像质量改善方法具有过程较复杂或过于依赖退化模型等缺点，存在一定的局限性。

发明内容

为了解决现有水下图像质量改善方法过程复杂或者过于依赖退化型模型的技术问题，本发明提出了一种基于多尺度融合的水下图像质量改善方法，主要用于改善水下图像噪声大、色差大、对比度低的问题，以提高图像质量。

本发明的技术解决方案是：

基于多尺度融合的水下图像质量改善方法，其特殊之处在于，包括以下步骤：

步骤1、对原始水下图像进行颜色修正，消除图像色偏，恢复图像的白色和灰色阴影，将所得图像记作图像I₁；

步骤2、对所述图像I₁进行对比度增强，将所得图像记作图像I₂；

步骤3、多尺度融合：

步骤3.1分别计算图像I₁和图像I₂的拉普拉斯对比权重W_L、局部对比权重W_LC、显著性权重W_S和暴露性权重W_E：

步骤3.1.1利用下述式1)-4)计算图像I₁和图像I₂所有像素点的拉普拉斯对比权重W_L(x,y)、局部对比权重W_LC(x,y)、显著性权重W_S(x,y)和暴露性权重W_E(x,y)：

W_L(x,y)＝|F(I^k)|， 式1)

W_S(x,y)＝||I_μ-I_g(x,y)||， 式3)

式1)-4)中，(x,y)表示像素的位置；

I^k表示输入的亮度通道；

F表示拉普拉斯滤波；

F(I^k)表示对输入的亮度通道进行拉普拉斯滤波后的结果；

表示I^k的低通形式；

I_μ表示输入的图像的特征平均值；

I_g(x,y)表示(x,y)位置的像素值经过高斯模糊后的像素值；

表示输入的图像；

表示(x,y)位置的像素值；

σ表示标准差，σ＝0.25；

步骤3.1.2根据图像I₁和I₂中所有像素点的上述四种权重，分别换算得到图像I₁和I₂的四种权重：W_L1、W_LC1、W_S1、W_E1和W_L2、W_LC2、W_S2、W_E2；

步骤3.2分别计算图像I₁和图像I₂的归一化权重W₁和W₂：

步骤3.3用拉普拉斯金字塔分解法，将图像I₁和I₂分别分解，得到L^l{I₁(x,y)}和L^l{I₂(x,y)}；用高斯金字塔分解法，将归一化权重W₁和W₂分解，得到G^l{W₁(x,y)}和G^l{W₂(x,y)}；

其中，l表示尺度的大小，取≥4的正整数；

L^l{I₁(x,y)}表示将图像I₁分解成l张不同尺度大小的图像的集合；

L^l{I₂(x,y)}表示将图像I₂分解成l张不同尺度大小的图像的集合；

G^l{W₁(x,y)}表示将权重W₁分解成l个不同尺度大小的权重的集合；

G^l{W₂(x,y)}表示将权重W₂分解成l个不同尺度大小的权重的集合；

步骤3.4按照式7)对图像I₁和图像I₂分别进行融合，得到l张尺度大小不同的图像R^l(x,y)，按照尺度从大到小依次记为R₁、R₂……R_l：

R^l(x,y)＝G^l{W₁(x,y)}L^l{I₁(x,y)}+G^l{W₂(x,y)}L^l{I₂(x,y)}， 式7)

步骤3.5根据步骤3.4的结果，按照下述式8)-11)，得到最终改善后的图像R；

R_l-1′＝R_l-1+resize(R_l)， 式8)

R_l-2′＝R_l-2+resize(R_l-1′)， 式9)

依次类推，

R₁′＝R₁+resize(R₂′)， 式10)

R＝R₁′， 式11)

其中，resize(R_l)表示把R_l上采样成和R_l-1相同尺度大小的图像；

resize(R_l-1′)表示把R_l-1′上采样成和R_l-2相同尺度大小的图像；

resize(R₂′)表示把R₂′上采样成和R₁相同尺度大小的图像。

进一步地，所述步骤1具体为：

步骤1.1对原始水下图像进行白平衡处理；

步骤1.2将白平衡处理后的图像从RGB颜色空间转换到Lab颜色空间，将所得图像记作图像I₁。

进一步地，所述步骤2具体为：

步骤2.1对图像I₁进行限制对比度直方图均衡化；

步骤2.2将限制对比度直方图均衡化后得到的图像从Lab颜色空间转换到RGB颜色空间，将所得图像记作图像I₂。

进一步地，所述步骤3.1.2中的换算方法具体为：首先将图像以矩阵的形式表示，所述矩阵中第x行第y列的元素表示图像中位置(x,y)的像素点，然后将矩阵中所有元素用其对应像素点的拉普拉斯对比权重、局部对比权重、显著性权重和暴露性权重依次替换，替换后所得四个矩阵即为图像的所述四种权重。

进一步地，所述步骤3.3)-3.5)中的l＝5。

与现有方法相比，本发明具有以下有益效果：

本发明不需要特殊的硬件设备和水下环境的先验知识，用基于多尺度融合的方法对低质量的水下图像进行质量改善，先对原始图像进行颜色修正，消除各种光源给图像造成的色偏，再对图像进行对比度增强，降低由体积散射引起的质量退化，最后对它们进行多尺度融合，可以得到细节和边缘显著增强、噪声减少、黑暗区域更清楚以及全局对比度更高的水下图像，计算成本低廉，能够在通用硬件上执行相对较快的速度。

本发明可应用于海洋资源勘探开发、海洋生态监测以及水下军事侦察等领域。

附图说明

图1为本发明基于多尺度融合的水下图像质量改善方法的流程图；

图2-图7为经本发明处理前后的水下图像对比；其中，图2、4、6为处理前的原始水下图像；图3、5、7为处理后的水下图像。

具体实施方式

以下结合附图，对本发明作进一步说明。

参见图1，本发明所提供的基于多尺度融合的水下图像质量改善方法，包括以下步骤：

步骤1、对原始水下图像(低质量的水下图像)进行颜色修正，以消除各种光源造成的图像色偏，恢复图像的白色和灰色阴影，具体方法为：

步骤1.1对原始水下图像进行白平衡处理。

步骤1.2将白平衡处理后的图像从RGB颜色空间转换到Lab颜色空间，将所得图像记作图像I₁。

步骤2、对所述图像I₁进行对比度增强，降低由体积散射引起的图像质量退化，具体方法为：

步骤2.1对图像I₁进行限制对比度直方图均衡化。

步骤2.2将限制对比度直方图均衡化后得到的图像从Lab颜色空间转换到RGB颜色空间，将所得图像记作图像I₂。

步骤3、多尺度融合，技术构思为：先计算出所述图像I₁和图像I₂的几种权重，然后分别用拉普拉斯金字塔分解法和高斯金字塔分解法把图像和权重分解到多个不同尺度，然后在不同尺度上对图像I₁和图像I₂分别进行融合，得到细节和边缘显著增强、噪声减少、黑暗区域更清楚以及全局对比度更高的水下图像。多尺度融合的具体方法为：

步骤3.1分别计算图像I₁和图像I₂的拉普拉斯对比权重W_L、局部对比权重W_LC、显著性权重W_S和暴露性权重W_E：

步骤3.1.1利用下述式1)-4)计算图像I₁和图像I₂所有像素点的拉普拉斯对比权重W_L(x,y)、局部对比权重W_LC(x,y)、显著性权重W_S(x,y)和暴露性权重W_E(x,y)：

W_L(x,y)＝|F(I^k)|， 式1)

式1)中，(x,y)表示像素的位置，I^k表示输入的亮度通道，F表示拉普拉斯滤波，F(I^k)表示对输入的亮度通道进行拉普拉斯滤波后的结果。

式2)中，(x,y)表示像素的位置，Ik表示输入的亮度通道，表示I^k的低通形式；

W_S(x,y)＝||I_μ-I_g(x,y)||， 式3)

式3)中，(x,y)表示像素的位置，I_μ表示输入的图像(图像I₁或I₂)的特征平均值，I_g(x,y)表示(x,y)位置的像素值经过高斯模糊后的像素值。

式4)中，(x,y)表示像素的位置，表示输入的图像(图像I₁或I₂)，表示(x,y)位置的像素值，σ表示标准差，这里取σ＝0.25。

步骤3.1.2根据图像I₁和I₂中所有像素点的上述四种权重，分别换算得到图像I₁和I₂的四种权重：W_L1、W_LC1、W_S1、W_E1和W_L2、W_LC2、W_S2、W_E2。，具体换算方法为：

首先将图像以矩阵的形式表示，矩阵中第x行第y列的元素表示图像中位置(x,y)的像素点，然后将矩阵中所有元素用其对应像素点的上述四种权重依次替换，则替换后所得四个矩阵即为图像的四种权重。

步骤3.2分别计算所述图像I₁和图像I₂的归一化权重W₁和W₂：

步骤3.3用拉普拉斯金字塔分解法，将图像I₁和I₂分别分解，得到L^l{I₁(x,y)}和L^l{I₂(x,y)}，其中l表示尺度的大小，按实际需求取正整数，为提高改善质量，通常取≥4的正整数；L^l{I₁(x,y)}表示将图像I₁分解成l张不同尺度大小的图像的集合；L^l{I₂(x,y)}表示将图像I₂分解成l张不同尺度大小的图像的集合；

用高斯金字塔分解法，将归一化权重W₁和W₂分解，得到G^l{W₁(x,y)}和G^l{W₂(x,y)}，其中l表示尺度的大小，按实际需求取正整数,为提高改善质量，通常取≥4的正整数；G^l{W₁(x,y)}表示将权重W₁分解成l个不同尺度大小的权重的集合；G^l{W₂(x,y)}表示将权重W₂分解成l个不同尺度大小的权重的集合；本实施例中取l＝5；

步骤3.4按照式7)对图像I₁和图像I₂进行融合，得到五张尺度大小不同的图像R^l(x,y)，按照尺度从大到小依次记为R₁、R₂……R₅；

R^l(x,y)＝G^l{W₁(x,y)}L^l{I₁(x,y)}+G^l{W₂(x,y)}L^l{I₂(x,y)}， 式7)

步骤3.5根据步骤3.4的结果，按照下述式8)-11)，得到最终改善后的图像R；

R₄′＝R₄+resize(R₅)， 式8)

R₃′＝R₃+resize(R₄′)， 式9)

R₂′＝R₂+resize(R₃′)， 式10)

R₁′＝R₁+resize(R₂′)， 式11)

R＝R₁′， 式12)

其中，resize(R₅)表示把R₅上采样成和R₄相同尺度大小的图像；resize(R₄′)表示把R₄′上采样成和R₃相同尺度大小的图像；resize(R₃′)表示把R₃′上采样成和R₂相同尺度大小的图像；resize(R₂′)表示把R₂′上采样成和R₁相同尺度大小的图像。

以下通过具体仿真实验说明本发明对水下图像的改善效果。

1、仿真条件

本发明是在中央处理器为Intel(R)Core(TM)i5-6500 3.2GHZ、内存16G、WINDOWS7操作系统上，运用MATLAB软件进行的仿真。

2、仿真内容

从国际公开水下图像质量改善数据库中选取三张代表图像分别为图2、4、6，利用本发明的方法处理后分别得到图3、5、7。从处理前后的图像对比可以看出，本发明能够很好地提高水下图像的质量。

Claims (5)

1.基于多尺度融合的水下图像质量改善方法，其特征在于，包括以下步骤：

步骤1、对原始水下图像进行颜色修正，消除图像色偏，恢复图像的白色和灰色阴影，将所得图像记作图像I₁；

步骤2、对所述图像I₁进行对比度增强，将所得图像记作图像I₂；

步骤3、多尺度融合：

步骤3.1分别计算图像I₁和图像I₂的拉普拉斯对比权重W_L、局部对比权重W_LC、显著性权重W_S和暴露性权重W_E：

步骤3.1.1利用下述式1)-4)计算图像I₁和图像I₂所有像素点的拉普拉斯对比权重W_L(x,y)、局部对比权重W_LC(x,y)、显著性权重W_S(x,y)和暴露性权重W_E(x,y)：

W_L(x,y)＝|F(I^k)|， 式1)

W_S(x,y)＝||I_μ-I_g(x,y)||， 式3)

式1)-4)中，(x,y)表示像素的位置；

I^k表示输入的亮度通道；

F表示拉普拉斯滤波；

F(I^k)表示对输入的亮度通道进行拉普拉斯滤波后的结果；

表示I^k的低通形式；

I_μ表示输入的图像的特征平均值；

I_g(x,y)表示(x,y)位置的像素值经过高斯模糊后的像素值；

表示输入的图像；

表示(x,y)位置的像素值；

σ表示标准差，σ＝0.25；

步骤3.1.2根据图像I₁和I₂中所有像素点的上述四种权重，分别换算得到图像I₁和I₂的四种权重：W_L1、W_LC1、W_S1、W_E1和W_L2、W_LC2、W_S2、W_E2；

步骤3.2分别计算图像I₁和图像I₂的归一化权重W₁和W₂：

步骤3.3用拉普拉斯金字塔分解法，将图像I₁和I₂分别分解，得到L^l{I₁(x,y)}和L^l{I₂(x,y)}；用高斯金字塔分解法，将归一化权重W₁和W₂分解，得到G^l{W₁(x,y)}和G^l{W₂(x,y)}；

其中，l表示尺度的大小，取≥4的正整数；

L^l{I₁(x,y)}表示将图像I₁分解成l张不同尺度大小的图像的集合；

L^l{I₂(x,y)}表示将图像I₂分解成l张不同尺度大小的图像的集合；

G^l{W₁(x,y)}表示将权重W₁分解成l个不同尺度大小的权重的集合；

G^l{W₂(x,y)}表示将权重W₂分解成l个不同尺度大小的权重的集合；

步骤3.4按照式7)对图像I₁和图像I₂进行融合，得到l张尺度大小不同的图像R^l(x,y)，按照尺度从大到小依次记为R₁、R₂……R_l；

R^l(x,y)＝G^l{W₁(x,y)}L^l{I₁(x,y)}+G^l{W₂(x,y)}L^l{I₂(x,y)}， 式7)

步骤3.5根据步骤3.4的结果，按照下述式8)-11)，得到最终改善后的图像R；

R_l-1′＝R_l-1+resize(R_l)， 式8)

R_l-2′＝R_l-2+resize(R_l-1′)， 式9)

依次类推，

R₁′＝R₁+resize(R₂′)， 式10)

R＝R₁′， 式11)

其中，resize(R_l)表示把R_l上采样成和R_l-1相同尺度大小的图像；

resize(R_l-1′)表示把R_l-1′上采样成和R_l-2相同尺度大小的图像；

resize(R₂′)表示把R₂′上采样成和R₁相同尺度大小的图像。

2.根据权利要求1所述的基于多尺度融合的水下图像质量改善方法，其特征在于，所述步骤1具体为：

步骤1.1对原始水下图像进行白平衡处理；

步骤1.2将白平衡处理后的图像从RGB颜色空间转换到Lab颜色空间，将所得图像记作图像I₁。

3.根据权利要求1所述的基于多尺度融合的水下图像质量改善方法，其特征在于，所述步骤2具体为：

步骤2.1对图像I₁进行限制对比度直方图均衡化；

步骤2.2将限制对比度直方图均衡化后得到的图像从Lab颜色空间转换到RGB颜色空间，将所得图像记作图像I₂。

4.根据权利要求1所述的基于多尺度融合的水下图像质量改善方法，其特征在于，所述步骤3.1.2中的换算方法具体为：首先将图像以矩阵的形式表示，所述矩阵中第x行第y列的元素表示图像中位置(x,y)的像素点，然后将矩阵中所有元素用其对应像素点的拉普拉斯对比权重、局部对比权重、显著性权重和暴露性权重依次替换，替换后所得四个矩阵即为图像的所述四种权重。

5.根据权利要求1所述的基于多尺度融合的水下图像质量改善方法，其特征在于，所述步骤3.3)-3.5)中的l＝5。