CN111462002A - 一种基于卷积神经网络的水下图像增强与复原方法 - Google Patents

Abstract

一种基于卷积神经网络的水下图像增强与复原方法，包括：使用该幅待处理水下图像退化多幅常规图像，然后将多幅常规图像与其对应退化之后的常规图像组成训练集，并依次输入到卷积神经网络中进行训练；之后，将前述待处理水下图像输入到训练完成的卷积神经网络中，输出第一图像；对该图像进行CIELAB颜色空间变换，提取该图像的L亮度通道、A颜色通道和B颜色通道；最后对前述的待处理水下图像进行纹理增强，并将纹理增强后的图像替换第一图像的L亮度通道，并与第一图像中的A颜色通道和B颜色通道共同组合得到最终的图像。该方法中解决了水下图像训练数据缺失的问题，且避免了传统水下成像模型复杂的计算，较好地改善了水下图像的质量。

Description

一种基于卷积神经网络的水下图像增强与复原方法

技术领域

本发明涉及水下图像增强与复原领域，特别涉及一种基于卷积神经网络的水下图像增强与复原方法。

背景技术

获取水下图像对水下环境的探测开发具有重要意义。在拍摄水下图像的过程中，由于红光在传播过程中迅速衰减，且水中的微粒造成光线散射，因而导致采集到的水下图像通常会有对比度低、亮度不均衡、纹理不清晰和色差严重等缺点。因此，人们通常对水下图像实施增强和复原等处理，以保证水下环境作业的顺利开展。

近年来，水下图像处理技术受到越来越多学者的关注，多种水下图像增强与复原方法已经被提出。基于水下成像模型提出的多种水下图像增强与复原方法虽然在一定程度上改善了水下图像的质量，但由于水下成像模型的准确度依赖于复杂多样的水体数据，所以这些方法具有复杂度高、灵活性差等缺点。空气中传统的去雾增强算法也被应用在水下图像处理中，He等人在分析大量大气雾天图像中提出了对常规大气图像暗通道先验去雾算法，Galdran等人针对水下红光衰减较强设计了基于红色暗通道先验算法的水下图像复原方法，Berman等人基于经典的灰度世界假设，结合两个全局参数建立了水下图像复原模型。这些方法对水下图像的颜色校正和提高纹理清晰度具有一定的效果，但是依然存在主观感觉不自然的色差和纹理失真。Ancuti等人提出将颜色改善、伽马校正和纹理增强三种方法处理后的水下图像进行参数融合，但这类算法复杂度较高而且图像易于出现过度增强造成的伪影。除此之外，传统方法需要大量环境数据例如水体散射系数、场景深度等，这些数据难以从单独一张图像中获取。因此，需要进一步改进水下图像增强和复原方法。

发明内容

本发明所要解决的技术问题是针对现有技术的现状，提供一种基于卷积神经网络的水下图像增强与复原方法，该方法能有效复原与增强水下图像的特征，提高图像质量。

本发明解决上述技术问题所采用的技术方案为：一种基于卷积神经网络的水下图像增强与复原方法，包括以下步骤：

步骤1、输入一幅待处理水下图像和多幅常规图像，并使用该幅待处理水下图像退化多幅常规图像，得到多幅退化之后的常规图像，其中多幅常规图像均在大气中拍摄而成，且待处理水下图像与所有常规图像的大小和像素均相同；

步骤2、将多幅常规图像与其对应退化之后的常规图像组成训练集，然后将训练集中的每对数据依次输入到卷积神经网络中进行训练，得到训练完成的卷积神经网络，其中，常规图像作为输入数据，其退化之后的常规图像作为输出数据；

步骤3、将步骤1中的待处理水下图像输入到步骤2训练完成的卷积神经网络中，输出第一图像；

步骤4、对步骤1中的待处理水下图像进行纹理增强，得到第二图像；

步骤5、对第一图像进行CIELAB颜色空间变换，得到颜色空间变换后的第一图像，并提取颜色空间变换后的第一图像的L亮度通道、A颜色通道和B颜色通道；

步骤6、将第二图像替换颜色空间变换后的第一图像的L亮度通道，并与颜色空间变换后的第一图像中的A颜色通道和B颜色通道共同组合得到第三图像，该第三图像为待处理水下图像复原与增强后的图像。

作为改进，所述步骤1中使用待处理水下图像退化任一幅常规图像的具体步骤为：

步骤1-1、将待处理水下图像和任一幅常规图像均分割成M×N个大小相同的小块，且待处理水下图像和常规图像的大小均为H×W；

步骤1-2、分别计算出待处理水下图像中的所有小块与常规图像的每个小块之间的纹理匹配度；待处理水下图像和常规图像中各小块之间的纹理匹配度d_n(i)的计算公式为：

其中，n为常规图像的小块编号，n∈[1,M×N]，i为待处理水下图像的小块编号，i∈[1,M×N]，p″_n为常规图像中第n个小块与拉普拉斯算子卷积后的结果，r_i″为常规图像中第i个小块与拉普拉斯算子卷积后的结果；|| ||²为范数的平方；

步骤1-3、在待处理水下图像中分别找出常规图像中每个小块的最佳匹配块：其中，寻找常规图像中某个小块的最佳匹配块的具体方法为：在常规图像的某个小块与待处理水下图像的所有小块之间的纹理匹配度中选出最小数值，则该最小数值对应的待处理水下图像中小块对应为常规图像中某个小块的最佳匹配块；

步骤1-4、采用直方图匹配的方式退化常规图像中的每个小块，并记录常规图像中的每个小块与退化后的图像之间的灰度值变换函数；

其中，常规图像中任一个小块退化的具体步骤为：以直方图的方式对常规图像中某个小块的灰度进行统计，常规图像中该小块的离散灰度值s_k的计算公式为：

其中，T(r_k)为灰度值r_k的灰度变换函数，L为直方图中的灰度级数，k＝0、1、2...L-1，r_j为常规图像中该小块的离散灰度值，p_r为直方图分布函数，h×w为最佳匹配块的大小，n_j为常规图像中该小块具有为灰度值r_j的像素数；

根据以下公式：

得到：z_q＝G^-1(s_k)

其中，G为变换函数，z_q为常规图像中该小块退化后得到的图像中对应小块的离散灰度值；p_z为待处理水下图像中与上述常规图像该小块对应的最佳匹配块的直方图分布函数，G^-1为变换函数G的反变换函数；

步骤1-5、将常规图像中的每个小块按照田字形划分为4个子小块，其中，常规图像中同一个小块中的4个子小块的变换函数均相同，并采用插值的方式计算出常规图像中某个子小块退化后的灰度值映射值z_m，计算公式为：

其中，w为预设的插值权重，G₁ ^-1为常规图像中任一子小块对应的反变换函数，

分别是常规图像中以反变换函数为G₁ ^-1的子小块为中心的上、下、左、右相邻子小块对应的反变换函数；

步骤1-6、采用步骤1-4～1-5计算出常规图像中的每个子小块的退化结果，并按照常规图像中每个子小块的位置顺序重新拼接得到该常规图像退化之后的图像。

进一步的，所述步骤4的具体步骤为：

步骤4-1、对待处理水下图像进行灰度化，得到灰度化之后的待处理水下图像I_u；

步骤4-2、将灰度化之后的待处理水下图像I_u进行对比度和亮度调整，得到图像I_c：计算公式为：

其中，σ_u为图像I_u像素灰度值的标准差，σ_o为第一图像像素灰度值的标准差，

为图像I_u像素灰度值的平均值，

为第一图像像素灰度值的平均值；

步骤4-3、采用单尺度Retinex的方法增强图像I_c的纹理，得到第二图像。

与现有技术相比，本发明的优点在于：利用待处理水下图像退化常规图像得到水下图像数据集，解决了水下图像训练数据缺失的问题，并将数据集输入到卷积神经网络中进行训练，且对卷积神经网络计算得到图像进行颜色复原和增强，因此该待处理水下图像复原与增强后的结果综合了水下图像数据库中自然的图像颜色特征，不会产生不自然的色差和伪影。另外，该方法中基于卷积神经网络的颜色复原算法结合纹理增强算法避免了传统水下成像模型复杂的计算，较好地改善了水下图像的质量。

附图说明

图1为本发明实施例中基于卷积神经网络的水下图像增强与复原方法的流程图。

图2为本发明实施例中待处理水下图像退化任一幅常规图像的示意图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

如图1所示，一种基于卷积神经网络的水下图像增强与复原方法，包括以下步骤：

步骤1、输入一幅待处理水下图像和多幅常规图像，并使用该幅待处理水下图像退化多幅常规图像，得到多幅退化之后的常规图像，其中多幅常规图像均在大气中拍摄而成，待处理水下图像为水下拍摄而成，且待处理水下图像与所有常规图像的大小和像素均相同；

具体的，使用待处理水下图像退化任一幅常规图像的具体步骤为：

步骤1-1、将待处理水下图像和任一幅常规图像均分割成M×N个大小相同的小块，且待处理水下图像和常规图像的大小均为H×W；

步骤1-2、分别计算出待处理水下图像中的所有小块与常规图像的每个小块之间的纹理匹配度；待处理水下图像和常规图像中各小块之间的纹理匹配度d_n(i)的计算公式为：

其中，n为常规图像的小块编号，n∈[1,M×N]，i为待处理水下图像的小块编号，i∈[1,M×N]，p″_n为常规图像中第n个小块与拉普拉斯算子卷积后的结果，r_i″为常规图像中第i个小块与拉普拉斯算子卷积后的结果，该拉普拉斯算子为预设值，p″_n和r_i″计算时使用的拉普拉斯算子为同一个值；|| ||²为范数的平方；

步骤1-3、在待处理水下图像中分别找出常规图像中每个小块的最佳匹配块：其中，寻找常规图像中某个小块的最佳匹配块的具体方法为：在常规图像的某个小块与待处理水下图像的所有小块之间的纹理匹配度中选出最小数值，则该最小数值对应的待处理水下图像中小块对应为常规图像中某个小块的最佳匹配块；

步骤1-4、采用直方图匹配的方式退化常规图像中的每个小块，并记录常规图像中的每个小块与退化后的图像之间的灰度值变换函数；

其中，常规图像中任一个小块退化的具体步骤为：以直方图的方式对常规图像中某个小块的灰度进行统计，常规图像中该小块的离散灰度值s_k的计算公式为：

其中，T(r_k)为灰度值r_k的灰度变换函数，L为直方图中的灰度级数，k＝0、1、2...L-1，r_j为常规图像中该小块的离散灰度值，p_r为直方图分布函数，h×w为最佳匹配块的大小，n_j为常规图像中该小块具有为灰度值r_j的像素数；

根据以下公式：

得到：z_q＝G^-1(s_k)

其中，G为变换函数，z_q为常规图像中该小块退化后得到的图像中对应小块的离散灰度值；p_z为待处理水下图像中与上述常规图像该小块对应的最佳匹配块的直方图分布函数，G^-1为变换函数G的反变换函数；

如图2所示为待处理水下图像退化任一幅常规图像的示意图，其中，以常规图像中第一个小块的退化为例进行说明，在图2中可以看到待处理水下图像中的第二个小块为常规图像中的第一个小块的最佳匹配块，则待处理水下图像中的第二个小块使用直方图匹配的方式对常规图像中的第一个小块进行退化，得到退化之后的第一个小块图像；同样地，依次使用相同的方法对常规图像中的每个小块进行退化，分别得到每个小块退化之后的图像，从而按照常规图像中每个小块的顺序进行拼接形成退化之后的整幅常规图像。

步骤1-5、将常规图像中的每个小块按照田字形划分为4个子小块，其中，常规图像中同一个小块中的4个子小块的变换函数均相同，并采用插值的方式计算出常规图像中某个子小块退化后的灰度值映射值z_m，计算公式为：

其中，w为预设的插值权重，G₁ ^-1为常规图像中任一子小块对应的反变换函数，

分别是常规图像中以反变换函数为G₁ ^-1的子小块为中心的上、下、左、右相邻子小块对应的反变换函数；

由于常规图像中的每个小块退化之后会有很明显的边界效应，不同小块之间会有较大的色差，为了增强图像的自然度，因此采用插值的方法能有效减少边界效应，提高图像的质量；

步骤1-6、采用步骤1-4～1-5计算出常规图像中的每个子小块的退化结果，并按照常规图像中每个子小块的位置顺序重新拼接得到该常规图像退化之后的图像；

步骤2、将多幅常规图像与其对应退化之后的常规图像组成训练集，然后将训练集中的每对数据依次输入到卷积神经网络中进行训练，得到训练完成的卷积神经网络，其中，常规图像作为输入数据，其退化之后的常规图像作为输出数据；

卷积神经网络的具体参数是由实验确定的，本实施例中，确定的最优的卷积神经网络为七层，第一层输入层大小为H×W×3，第二层卷积层采用大小为7×7×8的内核，第三层池化层采用大小为2×2的内核进行最大值池化，第四层卷积层采用5×5×8的内核，第五层为上采样层，第六层卷积层采用3×3×16的内核，第七层为输出层，大小与输入层一致。该卷积神经网络采用ReLU作为激活函数，MSE作为损失函数，采用Adam优化器；

步骤3、将步骤1中的待处理水下图像输入到步骤2训练完成的卷积神经网络中，输出第一图像；

步骤4、对步骤1中的待处理水下图像进行纹理增强，得到第二图像；

具体步骤为：

步骤4-1、对待处理水下图像进行灰度化，得到灰度化之后的待处理水下图像I_u；

步骤4-2、将灰度化之后的待处理水下图像I_u进行对比度和亮度调整，得到图像I_c：计算公式为：

其中，σ_u为图像I_u像素灰度值的标准差，σ_o为第一图像像素灰度值的标准差，

为图像I_u像素灰度值的平均值，

为第一图像像素灰度值的平均值；

步骤4-3、采用单尺度Retinex的方法增强图像I_c的纹理，得到第二图像；

步骤5、对第一图像进行CIELAB颜色空间变换，得到颜色空间变换后的第一图像，并提取颜色空间变换后的第一图像的L亮度通道、A颜色通道和B颜色通道；

步骤6、将第二图像替换颜色空间变换后的第一图像的L亮度通道，并与颜色空间变换后的第一图像中的A颜色通道和B颜色通道共同组合得到第三图像，该第三图像为待处理水下图像复原与增强后的图像。

本发明中通过一幅待处理水下图像退化多幅常规图像，在退化过程中通过将待处理水下图像和常规图像分割成大小相同的小块，并利用直方图匹配的方式将待处理水下图像为参考图像对常规图像进行色彩匹配，从而使退化后的常规图像具有待处理水下图像的特征，因此通过该退化方法建立的数据集用于后续卷积神经网络的训练，解决了水下图像训练数据缺失的问题；另外，卷积神经网络能较好地复原待处理水下图像的色彩，但复原的图像清晰程度有待提高，该方法中通过增强图像的纹理，从而使复原的图像更加自然，不会产生不自然的色差和伪影，具有良好的处理效果。

为测试本发明方法的性能，分别采用基于修改传统图像增强与复原算法形成的水下图像处理方法，基于融合的水下图像处理方法，基于神经网络的水下图像处理方法，与本发明算法进行对比。其上述算法的简要概述如下，Fu等人通过修改传统Retinex方法，提出了单个图像增强方法；Galdran等人基于传统暗通道先验算法，提出了红色暗通道先验算法；Berman等人基于灰度世界假设，通过对水体两个全局参数的估计进行复原算法；Ancuti等人将颜色改善、伽马校正和纹理增强三种方法处理后的图像基于四个参数进行融合最终的到复原图像；Pan等人通过CNN估计了水下光线传输特性图以此进行了水下图像的去雾。

分别采用上述算法和本发明算法对本发明所建立的水下图像数据库中的图像进行增强与复原性能测试，其中，水下图像数据库中用于测试和训练的图像是分开的，分别采用RMSE评价结果图像的失真度，PSNR评价结果图像的清晰度和CIEDE2000评价结果图像的色差，对比结果如表1所示。从表1可以看出采用本发明算法时各项指标均为最优。

表1 采用RMSE、PSNR和CIE2000进行的图像质量评价

针对真实水下图像，分别采用PCQI无参考图像清晰度评价方法和UIQM水下图像无参考评价方法，对比测试了上述算法和本发明算法进行图像增强与复原的性能，对比结果如表2所示。从表2可以看出采用本发明算法时在PCQI评价方法下结果良好，在UIQM评价方法下结果最优。

表2 采用PCQI和UIQM进行的图像质量评价

Claims (3)

1.一种基于卷积神经网络的水下图像增强与复原方法，其特征在于：包括以下步骤：

步骤1、输入一幅待处理水下图像和多幅常规图像，并使用该幅待处理水下图像退化多幅常规图像，得到多幅退化之后的常规图像，其中多幅常规图像均在大气中拍摄而成，且待处理水下图像与所有常规图像的大小和像素均相同；

步骤2、将多幅常规图像与其对应退化之后的常规图像组成训练集，然后将训练集中的每对数据依次输入到卷积神经网络中进行训练，得到训练完成的卷积神经网络，其中，常规图像作为输入数据，其退化之后的常规图像作为输出数据；

步骤3、将步骤1中的待处理水下图像输入到步骤2训练完成的卷积神经网络中，输出第一图像；

步骤4、对步骤1中的待处理水下图像进行纹理增强，得到第二图像；

步骤5、对第一图像进行CIELAB颜色空间变换，得到颜色空间变换后的第一图像，并提取颜色空间变换后的第一图像的L亮度通道、A颜色通道和B颜色通道；

步骤6、将第二图像替换颜色空间变换后的第一图像的L亮度通道，并与颜色空间变换后的第一图像中的A颜色通道和B颜色通道共同组合得到第三图像，该第三图像为待处理水下图像复原与增强后的图像。

2.根据权利要求1所述的水下图像增强与复原方法，其特征在于：所述步骤1中使用待处理水下图像退化任一幅常规图像的具体步骤为：

步骤1-1、将待处理水下图像和任一幅常规图像均分割成M×N个大小相同的小块，且待处理水下图像和常规图像的大小均为H×W；

步骤1-2、分别计算出待处理水下图像中的所有小块与常规图像的每个小块之间的纹理匹配度；待处理水下图像和常规图像中各小块之间的纹理匹配度d_n(i)的计算公式为：

其中，n为常规图像的小块编号，n∈[1,M×N]，i为待处理水下图像的小块编号，i∈[1,M×N]，p″_n为常规图像中第n个小块与拉普拉斯算子卷积后的结果，r″_i为常规图像中第i个小块与拉普拉斯算子卷积后的结果；|| ||²为范数的平方；

步骤1-3、在待处理水下图像中分别找出常规图像中每个小块的最佳匹配块：其中，寻找常规图像中某个小块的最佳匹配块的具体方法为：在常规图像的某个小块与待处理水下图像的所有小块之间的纹理匹配度中选出最小数值，则该最小数值对应的待处理水下图像中小块对应为常规图像中某个小块的最佳匹配块；

步骤1-4、采用直方图匹配的方式退化常规图像中的每个小块，并记录常规图像中的每个小块与退化后的图像之间的灰度值变换函数；

其中，常规图像中任一个小块退化的具体步骤为：以直方图的方式对常规图像中某个小块的灰度进行统计，常规图像中该小块的离散灰度值s_k的计算公式为：

其中，T(r_k)为灰度值r_k的灰度变换函数，L为直方图中的灰度级数，k＝0、1、2...L-1，r_j为常规图像中该小块的离散灰度值，p_r为直方图分布函数，h×w为最佳匹配块的大小，n_j为常规图像中该小块具有为灰度值r_j的像素数；

根据以下公式：

得到：z_q＝G^-1(s_k)

其中，G为变换函数，z_q为常规图像中该小块退化后得到的图像中对应小块的离散灰度值；p_z为待处理水下图像中与上述常规图像该小块对应的最佳匹配块的直方图分布函数，G^-1为变换函数G的反变换函数；

步骤1-5、将常规图像中的每个小块按照田字形划分为4个子小块，其中，常规图像中同一个小块中的4个子小块的变换函数均相同，并采用插值的方式计算出常规图像中某个子小块退化后的灰度值映射值z_m，计算公式为：

其中，w为预设的插值权重，G₁ ^-1为常规图像中任一子小块对应的反变换函数，

分别是常规图像中以反变换函数为G₁ ^-1的子小块为中心的上、下、左、右相邻子小块对应的反变换函数；

步骤1-6、采用步骤1-4～1-5计算出常规图像中的每个子小块的退化结果，并按照常规图像中每个子小块的位置顺序重新拼接得到该常规图像退化之后的图像。

3.根据权利要求1所述的水下图像增强与复原方法，其特征在于：所述步骤4的具体步骤为：

步骤4-1、对待处理水下图像进行灰度化，得到灰度化之后的待处理水下图像I_u；

步骤4-2、将灰度化之后的待处理水下图像I_u进行对比度和亮度调整，得到图像I_c：

计算公式为：

其中，σ_u为图像I_u像素灰度值的标准差，σ_o为第一图像像素灰度值的标准差，

为图像I_u像素灰度值的平均值，

为第一图像像素灰度值的平均值；

步骤4-3、采用单尺度Retinex的方法增强图像I_c的纹理，得到第二图像。

Images