CN110838092B - 一种基于卷积神经网络的水下图像复原方法 - Google Patents

Abstract

本发明公开一种基于卷积神经网络的水下图像复原方法，包括以下步骤：(1)建立水下光学成像模型；(2)利用水下成像模型和现有的室内深度数据集合成训练数据；(3)建立参数估计网络，包括共享层、全局背景光估计子网络和红通道透射率估计子网络三个部分；共享层为两个子网络提取共同特征，全局背景光估计子网络和红通道透射率子网络将共享层的输出作为输入，分别映射到全局背景光和红通道透射；(4)复原水下图像；通过参数估计网络得到预测的全局背景光与红通道透射率图之后，根据水体的固有特性，计算得到蓝绿通道的透射率，最后进行水下图像的复原，即可得到清晰化的水下图像。

Description

一种基于卷积神经网络的水下图像复原方法

技术领域

本发明属于图像处理、计算机视觉技术领域，涉及一种基于卷积神经网络的水下图像复原方法。

背景技术

在人口急剧膨胀、陆地资源日益枯竭、环境不断恶化的情况下，开发海洋资源是一项影响深远，面向二十一世纪的战略选择。因此海洋信息的获取、传输和处理等理论与技术的重要性更加突显。水下图像的视觉质量在海洋工程应用和科学研究中扮演着极其重要的角色，例如水下生态研究、海洋营救、水下输油管道泄漏监视等应用场景。由于受到特殊光照吸收和散射的影响，水下拍摄的图像往往具有低对比度、有限的清晰度、失真的颜色等缺点。水下图像的这些缺点严重影响其直接应用于海洋工程和科学研究。因此，如何清晰化水下图像，使其可以更好的应用于海洋工程和科学研究已经成为了一个研究热点。

针对如何清晰化水下图像这个问题，人们主要从以下两个方面展开研究：图像增强方法和图像复原方法。图像增强方法不依靠任何成像模型，仅仅通过改变图像的像素值来提高水下图像的对比度和亮度，从而提高其视觉质量。图像复原方法将图像复原视为一种反问题，通过估计成像模型参数并采用反补偿的技术来恢复退化的水下图像，从而恢复其清晰度、颜色以及对比度。虽然水下图像增强和复原方法已经取得了一些成绩，但增强和复原的结果并不十分令人满意。例如，在复原方法中所使用的一些假设条件和先验信息在很多水下场景中并不适用；一些增强方法常常产生过度增强或者欠增强的结果。

发明内容

本发明的目的是为了克服现有技术中的不足，提供一种基于卷积神经网络的水下图像复原方法，本发明在水下成像模型的基础上，通过学习水下图像与其相对应的背景光和透射率之间的关系，研究一种能够有效修正水下图像颜色偏差、解决其对比度和清晰度低、纹理和细节丢失等问题的水下图像复原方法。

本发明的目的是通过以下技术方案实现的：

一种基于卷积神经网络的水下图像复原方法，包括以下步骤：

(1)建立水下光学成像模型；

(2)利用水下光学成像模型和现有的室内深度数据集合成训练数据；

(3)建立参数估计网络，包括共享层、全局背景光估计子网络和红通道透射率估计子网络三个部分；共享层为两个子网络提取共同特征，全局背景光估计子网络和红通道透射率子网络将共享层的输出作为输入，分别映射到全局背景光和红通道透射；

(4)复原水下图像；通过参数估计网络得到预测的全局背景光与红通道透射率图之后，根据水体的固有特性，计算得到蓝绿通道的透射率，最后进行水下图像的复原，即可得到清晰化的水下图像。

进一步的，步骤(1)中根据光在水中传播特性，水下光学成像模型表示为：

I_c(x)＝J_c(x)t_c(x)+B_c(1-t_c(x)),c∈{r,g,b}

x表示场景中的点，c表示红(r)、蓝(b)、绿(g)3个颜色通道，I_c(x)是水下退化图像，J_c(x)是未退化的清晰图像，B_c是背景光，t_c(x)是媒介透射率；J_c(x)t_c(x)表示直接传输分量，B_c(1-t(x))表示后向散射分量，前向散射相比于后向散射可以忽略不计；假设介质是均匀的，媒介透射率可以表示为：

β_c是c颜色通道的衰减率，d(x)是相机到场景点的距离。

进一步的，步骤(2)中现有的室内深度数据集采用NYU-v2 Depth数据集，基于该数据集提供的原图和深度图，依据海洋光学参数，给定衰减率和背景光，即可得到传输图和退化水下图像。

进一步的，步骤(3)中共享层包含四个卷积层，每个卷积跟随ReLU激励函数；卷积层用于提取图像特征，卷积层的卷积过程为：使用n1个大小为h×w的卷积核对输入的n0个特征图进行卷积操作，输出n1个特征图，如式所示：

F_out＝σ(W*F_in+b)

式中，W为卷积层的权重，b为偏置，F_out表示卷积层的输出也是下一卷积层的输入，*表示卷积操作，F_in为卷积层的输入，σ表示ReLU激励函数。

步骤(3)中全局背景光估计子网络包含4个卷积层，除了最后一个卷积层，其余三层都有ReLU激励函数；全局背景光子网络的输出与输入图像的维度相同以便于训练，且全局背景光图中每个像素处的值相等；为避免出现像素值不等的情况，将估计的全局背景光与全局背景光标签之间的结构相似形指标(SSIM,Structural Simalarity Index)作为全局背景光估计子网络的损失函数。

步骤(3)中红通道透射率估计子网络由7层卷积稠密块组成，卷积稠密块能够加强特征传递并且减少梯度消失问题，并将预测的透射率与透射率标签之间的均方误差(MSE)作为损失函数；本参数估计网络的损失函数是全局背景光估计子网络的结构相似性损失函数与透射率估计子网络的均方误差损失函数的线性相加。

进一步的，步骤(4)具体包括以下步骤：

(401)计算蓝绿通道透射率；基于水下光线衰减的光学特性，使用红通道的透射率图和背景光计算蓝、绿通道的透射率图，对水下固有光学特性分析，蓝、绿通道的衰减率β_b,β_g与红通道的衰减率β_r的关系为：

λ_r＝620nm、λ_b＝450nm、λ_g＝540nm分别表示红光、蓝光、绿光的标准波长，m＝-0.00113，i＝1.62517；

得出蓝、绿通道透射率与红通道透射率之间的关系为：

/>

估计出全局背景光和红通道的透射率t_r(x)，计算蓝、绿通道的透射率：

(402)依据水下图像成像模型，在背景光和透射率已知的情况下，由原图像I_c(x)复原出清晰的水下图像J_c(x)：

与现有技术相比，本发明的技术方案所带来的有益效果是：

1)本发明采用基于深度学习的框架估计水下光学成像模型的物理参数，相较以往单纯采用假设条件或者先验知识估计模型参数的方法，本发明基于深度学习框架估计的模型参数具有更高的鲁棒性。

2)本发明基于卷积神经网络估计水下图像的全局背景光和红通道透射率，相比于其他水下图像到清晰图像的端到端映射，本发明可以恢复图像更多的纹理和细节。

3)本发明基于水下成像模型，对水下图像模型中的参数进行数理统计和分析，生成了不同颜色，不同清晰度的水下图像，为网络训练提供了完备的数据集。

附图说明

图1给出了本发明的流程图；

图2给出了本发明中参数估计网络的示意图；

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明提供一种基于卷积神经网络的水下图像复原方法，其包括以下步骤：

步骤1，合成水下图像

训练数据的质量很大程度上决定了网络性能的好坏，卷积神经网络的训练需要成对的水下图像以及对应的模型参数(背景光和透射率)，由于通过实验获得成对的数据集难度很大并且会有误差，所以本实施例中利用水下成像模型和现有的室内深度数据集合成训练数据。

NYU-v2 Depth数据集包含1449张室内原图和对应的深度图，基于该数据集提供的原图和深度图，依据海洋光学参数，给定一定范围内的衰减率和背景光，即可得到传输图和退化水下图像，虽然该图像仍是室内的图像，但是已经具有水下退化特征，可以作为水下图像。在水下图像合成的过程中，可以获得原图和退化的水下图像，以及相对应的物理模型参数标签，可以将成对的数据进行训练。

为了完善合成的数据集，使生成的水下图像尽量涵盖所有真实情况，需要精准控制衰减率和背景光的参数范围来生成更加符合水下环境的图像。在前人对海洋衰减系数研究的基础上，将衰减系数范围设定为[0.5,2.5]；目前对背景光范围研究的比较少，本实施例使用传统的先验算法估计真实水下图像的背景光进行并进行统计，根据统计的结果对背景光进行取值，生成蓝色背景光的图像占50％，生成绿色背景光的图像占25％，生成深蓝色背景光的图像占10％，生成低光照即黑色背景光的图像占10％，生成黄色背景光的图像占5％。

步骤2，预处理

将训练数据集图片尺寸调整到207×154，并将背景光映射为与输入图像维度相同的图像，再将图像切成64×64大小的小块作为网络输入。

步骤3，训练参数估计网络

本发明的参数估计网络结构包括三部分，共享层，全局背景光估计子网络和红通道透射率估计子网络，网络结构如图2所示。共享层为两个子网络提取共同特征，全局背景光估计子网络和红通道透射率子网络将共享层的输出作为输入，分别映射到全局背景光和红通道透射率。

共享层包含四个卷积层Conv，每个卷积跟随ReLU激励函数。卷积层是卷积神经网络的核心部分，用于提取图像特征，卷积层的卷积过程为：使用n1个大小为h×w的卷积核对输入的n0个特征图进行卷积操作，输出n1个特征图，如式所示：

F_out＝σ(W*F_in+b)

式中，W为卷积层的权重，b为偏置，F_out表示卷积层的输出也是下一卷积层的输入，*表示卷积操作，F_in为卷积层的输入，σ表示ReLU激励函数。

全局背景光估计子网络包含4个卷积层，除了最后一个卷积层，其余三层都有ReLU激励函数。为了便于训练，全局背景光子网络的输出与输入图像的维度相同，且全局背景光图中每个像素处的值相等。为了避免出现像素值不等的情况，将估计的全局背景光与全局背景光标签之间的结构相似形指标(SSIM,Structural Simalarity Index)作为全局背景光估计子网络的损失函数。

红通道透射率估计子网络由7层卷积稠密块(Densely Conv Block)组成，稠密连接可以加强特征传递并且有效减少梯度消失问题，将预测的透射率与透射率标签之间的均方误差(MSE,Mean Square Error)作为损失函数。

最终网络的损失函数是全局背景光估计子网络的结构相似性损失函数与透射率估计子网络的均方误差损失函数的线性相加。

在训练阶段，将数据集的70％作为训练集，30％作为测试集，首先进行网络模型的训练，然后依据网络模型的测试结果对网络性能进行评价，使用均方根误差(RMSE,RootMean Square Error)和峰值信噪比(PSNR,Peak Single to Noise Ratio)作为评价标准，调整网络参数直至到达最佳性能，最终确定最佳的网络参数。

步骤4，复原水下图像；通过网络得到预测的全局背景光与红通道透射率图之后，根据水体的固有特性，可以计算得到蓝绿通道的透射率，最后进行水下图像的复原，即可得到清晰化的水下图像。

步骤4.1，计算蓝绿通道透射率

基于水下光线衰减的光学特性，使用红通道的透射率图和背景光计算蓝、绿通道的透射率图，对水下固有光学特性分析，蓝、绿通道的衰减率β_b,β_g与红通道的衰减率β_r的关系为：

λ_r＝620nm、λ_b＝450nm、λ_g＝540nm表示红光、蓝光、绿光的标准波长，m＝-0.00113，i＝1.62517。

可以得出蓝、绿通道透射率与红通道透射率之间的关系为：

估计出全局背景光和红通道的透射率t_r(x)，计算蓝、绿通道的透射率：

步骤4.2，复原图像

依据水下图像成像模型，在背景光和透射率已知的情况下，可由原图像I_c(x)复原出清晰的水下图像J_c(x)：

本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。

Claims (3)

1.一种基于卷积神经网络的水下图像复原方法，其特征在于，包括以下步骤：

(1)建立水下光学成像模型；水下光学成像模型表示为：

I_c(x)＝J_c(x)t_c(x)+B_c(1-t_c(x)),c∈{r,g,b}

x表示场景中的点，c表示红(r)、蓝(b)、绿(g)3个颜色通道，I_c(x)是水下退化图像，J_c(x)是未退化的清晰图像，B_c是背景光，t_c(x)是媒介透射率；J_c(x)t_c(x)表示直接传输分量，B_c(1-t(x))表示后向散射分量，前向散射相比于后向散射可以忽略不计；假设介质是均匀的，媒介透射率可以表示为：

β_c是c颜色通道的衰减率，d(x)是相机到场景点的距离；

(2)利用水下光学成像模型和现有的室内深度数据集合成训练数据；

(3)建立参数估计网络，包括共享层、全局背景光估计子网络和红通道透射率估计子网络三个部分；共享层为两个子网络提取共同特征，全局背景光估计子网络和红通道透射率估计子网络将共享层的输出作为输入，分别映射到全局背景光和红通道透射；

全局背景光估计子网络包含4个卷积层，除了最后一个卷积层，其余三层都有ReLU激励函数；全局背景光子网络的输出与输入图像的维度相同以便于训练，且全局背景光图中每个像素处的值相等；为避免出现像素值不等的情况，将估计的全局背景光与全局背景光标签之间的结构相似形指标SSIM作为全局背景光估计子网络的损失函数；

红通道透射率估计子网络由7层卷积稠密块组成，卷积稠密块能够加强特征传递并且减少梯度消失问题，并将预测的透射率与透射率标签之间的均方误差作为损失函数；所述参数估计网络的损失函数是全局背景光估计子网络的结构相似性损失函数与透射率估计子网络的均方误差损失函数的线性相加；

(4)复原水下图像；通过参数估计网络得到预测的全局背景光与红通道透射率图之后，根据水体的固有特性，计算得到蓝绿通道的透射率，最后进行水下图像的复原，即可得到清晰化的水下图像；具体如下：

(401)计算蓝绿通道透射率；基于水下光线衰减的光学特性，使用红通道的透射率图和背景光计算蓝、绿通道的透射率图，对水下固有光学特性分析，蓝、绿通道的衰减率β_b,β_g与红通道的衰减率β_r的关系为：

λ_r＝620nm、λ_b＝450nm、λ_g＝540nm分别表示红光、蓝光、绿光的标准波长，m＝-0.00113，i＝1.62517；

得出蓝、绿通道透射率与红通道透射率之间的关系为：

估计出全局背景光和红通道的透射率t_r(x)，计算蓝、绿通道的透射率：

(402)依据水下图像成像模型，在背景光和透射率已知的情况下，由原图像I_c(x)复原出清晰的水下图像J_c(x)：

2.根据权利要求1所述一种基于卷积神经网络的水下图像复原方法，其特征在于，步骤(2)中现有的室内深度数据集采用NYU-v2 Depth数据集，基于该数据集提供的原图和深度图，依据海洋光学参数，给定衰减率和背景光，即可得到传输图和退化水下图像。

3.根据权利要求1所述一种基于卷积神经网络的水下图像复原方法，其特征在于，步骤(3)中共享层包含四个卷积层，每个卷积跟随ReLU激励函数；卷积层用于提取图像特征，卷积层的卷积过程为：使用n1个大小为h×w的卷积核对输入的n0个特征图进行卷积操作，输出n1个特征图，如式所示：

F_out＝σ(W*F_in+b)

式中，W为卷积层的权重，b为偏置，F_out表示卷积层的输出也是下一卷积层的输入，*表示卷积操作，F_in为卷积层的输入，σ表示ReLU激励函数。

Images