CN114758030B - 融合物理模型和深度学习的水下偏振成像方法 - Google Patents

Abstract

本发明公开了一种融合物理模型和深度学习的水下偏振图像去散射方法，包括构建浑浊水下的偏振图像数据集；进行原始偏振图像数据预处理；结合水下偏振成像模型构建特征提取的核心网络，得到输出的偏振调制参量和水下成像偏振去散射校正模型；并基于该偏振调制参量和水下成像偏振去散射校正模型计算得到复原的清晰图像；使用偏振感知损失函数对网络进行优化，利用预测图像与清晰偏振图像的深层特征更好地进行图像复原。本发明将水下偏振成像的物理模型融入深度神经网络中，通过物理模型更好地约束神经网络的训练，实现训练过程与物理规律的统一，并用偏振感知损失函数对模型加以约束，实现水体散射环境下成像对比度和成像距离的提升，尤其适用于高浑浊度水下环境的图像复原。

Description

融合物理模型和深度学习的水下偏振成像方法

技术领域

本发明涉及偏振成像技术领域，特别涉及一种融合物理模型和深度学习的水下偏振成像方法。

背景技术

在水下成像的过程，介质中的微粒对光的散射和吸收会造成成像质量下降。为描述这一过程，根据大气散射模型提出了水下成像模型，将传感器接收的光信号分成两部分，即反射项和散射项。目前的图像去散射技术大多基于此模型，例如暗通道先验方法。但这些技术对环境光和传输系数的非真实估计，导致最终的图像复原效果并不理想。此外，环境光和传输系数的非真实估计还会引起图像对比度低、色彩失真等问题。将偏振成像技术与水下成像模型结合的水下成像偏振去散射模型对目标和背景的偏振信息的利用能够有效提高图像复原质量，但效果提升仍然有限。目前深度学习已经成功应用于多种图像复原任务，而且效果大都强于传统方法，但是他们大多是端到端网络，复原过程不完全遵循物理规律，可解释性较差，而且这些方法使用的数据集多为数值模型计算生成的虚拟图像，因此这些网络的泛化能力较差，对于真实环境的图像并不适用。此外，这些方法的使用场景多为低浑浊度散射环境，而真实的大气或水体环境往往浑浊度较高，也导致这些算法的效果不够理想。

发明内容

本发明旨在解决浑浊水下的图像难以复原的问题，而提出与了一种融合物理模型和深度学习的水下偏振成像方法，实现了将浑浊水下拍摄的低对比度图像复原为高对比度的清晰图像，尤其适用于高浑浊度的水体环境。

本发明采用以下技术方案实现：

一种融合物理模型和深度学习的水下偏振图像去散射方法，该方法包括以下步骤：

步骤1，构建浑浊水下的偏振图像数据集，调节偏振相机合适的曝光时间，分别对同一目标在相应浓度下连续采集多张不同偏振方向的偏振图像，计算其同一偏振方向光强的平均值作为浑浊水体下的图像，在清水下连续采集相同数量的对应偏振方向的清晰偏振图像，计算其同一偏振方向光强平均值作为标签，形成浑浊水体下图像和清晰图像对，保存为图像数据集；

步骤2，进行原始偏振图像数据预处理：

步骤2.1，将多个偏振方向的单通道偏振图像沿通道方向合并成单幅三通道图像，为学习目标的偏振特征，用任意三个及以上不同偏振方向的单通道图像沿通道方向合并为多通道图像；

步骤2.2，将浑浊水体下图像和清晰图像都裁剪为子图像；

步骤2.3，最后将数据集按比例随机拆分为训练集、验证集和测试集；

步骤3，结合水下偏振成像模型构建特征提取的残差-密集神经网络，由所述残差-密集神经网络得到输出的偏振调制参量和水下成像偏振去散射校正模型：

步骤3.1，配置浅层特征提取模块，该模块包括两个卷积层，第一3×3卷积层的卷积核数量为64，第二3×3卷积层卷积核数量为32；

步骤3.2，配置残差-密集模组，该模组配置了16个残差-密集模块，所述残差-密集模块由卷积层、作为激活函数的线性修正单元ReLU函数和局部特征融合模块组成，每个残差-密集连接块中各层之间采用密集连接的方式进行特征组合，每个残差-密集模块都包含了6个卷积层及其对应的ReLU函数；

步骤3.3，配置局部特征融合模块，该模块包括Concat层和3×3卷积层，Concat层将残差-密集模块中输出的所有特征进行融合，3×3卷积层进一步对融合之后的结果进行特征提取，并将输出的结果与输入进行残差运算；

步骤3.4，配置全局特征融合模块，该模块包括一个Concat层，两个3×3卷积层和一个作为激活函数的ReLU层，通过该模块对残差-密集模块提取的不同层次的特征进行全局融合；

步骤3.5，建立水下偏振图像去散射模型如公式(1)所示：

其中，I(x,y)表示位于(x,y)处的像素的光强，ΔI(x,y)为I(x,y)的水平分量I_||(x,y)和垂直分量I_⊥(x，y)的差分结果，P_scat为后向散射光的线偏振度，A_∞为环境光，L(x,y)

为去散射图像，

偏振调制参量H(x,y)利用P_scat和A_∞对光强I(x,y)进行调制，将该参量作为水下偏振图像复原模型的残差-密集神经网络的输出，通过公式(2)进行约束，获得复原的清晰图像；

步骤4，通过偏振感知损失函数，计算复原图像与标签图像的偏振感知特征之间的均方误差，获得偏振感知损失，并利用该损失引导神经网络的训练过程，实现图像去散射。

在所述步骤3中：

优化后的水下成像偏振去散射校正模型如公式(2)所示：

L(x,y)＝H(x,y)·I(x,y)-H(x,y)+b (2)

其中，b为偏置参量，·表示逐像素的乘法运算，H(x,y)为偏振调制参量，如公式(3)所示：

所述步骤4中还包括：

设计增强偏振信息的偏振感知损失函数，所述偏振感知损失函数如公式(4)所示：

其中，C为图像的通道数，m和n分别为图像尺寸，为由网络输出的中间校正参量H(x,y)通过水下成像偏振去散射校正模型(公式(2))计算得到的预测清晰图像，表示清水下获取的高对比度清晰偏振图像，θ表示0°、45°和90°三个偏振方向，φ(·)为偏振特征感知函数，由预训练VGG网络的部分网络组成，用于提取输入图像的偏振特征。

该方法进一步包括以下步骤：

步骤5，根据去散射质量的要求调整水下成像偏振去散射模型的参数，包括初始学习率、批处理大小、损失函数约束项、残差-密集模块的数量以及卷积核数对基于偏振调制参量的水下偏振图像复原模型的残差-密集神经网络进行训练，在训练过程中对输入图像进行翻转和旋转实现数据扩充；具体设置为：最小批处理样本数为28，学习率初始化为0.0001，使用阶梯衰减学习率方法，设置衰减率为0.6，衰减步长为10，训练周期为90，使用Adam算法优化损失函数。

与现有技术相比，本发明公开了一种融合物理模型和深度学习的水下偏振成像方法，所能达成的有益效果及优点在于：

1)主要采用结合基于偏振调制参量的水下偏振图像复原模型的残差-密集结构进行网络搭建，偏振调制参量将水下偏振成像去散射模型中的传输系数和背向散射光的偏振度等参量对光强进行调制，减少待确定参量个数，结合了该模型的网络实现图像去散射的过程更符合物理规律，可解释性更强，实现的图像去散射效果也更好；

2)用于神经网络的基于预训练VGG网络的偏振感知损失函数，主要采用偏振特征的均方误差作为像素损失，可以有效的利用偏振图像中的偏振特征，从而更好实现高浑浊度水体下的偏振图像的复原；

3)可应用于水下光学成像，实现成像清晰度和成像距离的提升。

附图说明

图1为本发明的融合物理模型和深度学习的水下偏振图像去散射方法整体流程图；

图2为本发明的融合物理模型和深度学习的水下偏振图像去散射方法实施例流程图；

图3为本发明实施例的构建深度神经网络的结构示意图；

图4为本发明实施例的浑浊水下偏振图像的去散射效果示意图。

具体实施方式

下面将结合附图对本发明的具体实施方式做详细说明。

图1是本发明提供的一种融合物理模型和深度学习的水下偏振图像去散射方法的流程图，该流程具体包括以下步骤：

步骤1，构建浑浊水下的偏振图像数据集：向清水中加入不同量的浑浊介质模拟浑浊水体环境；调节偏振相机合适的曝光时间，对目标在相应浓度下连续采集多张不同偏振方向的偏振图像，计算其同一偏振方向光强平均值作为浑浊水体下的图像；对同一目标在清水下连续采集相同数量的对应偏振方向的清晰偏振图像，计算其同一偏振方向光强平均值作为标签；

采集浑浊水体下图像和清晰图像对的时候需要同时调节曝光时间让浑浊水体下的图像和清晰图像的光强值基本保持一致；

步骤2，进行原始偏振图像数据预处理：

步骤2.1，将多个偏振方向如0°、45°和90°三个方向的单通道偏振图像沿通道方向合并成单幅三通道图像，由于任意三个偏振方向的光强图均可解算出线斯托克斯矢量，为学习目标的偏振特征，用任意三个及以上不同偏振方向的单通道图像沿通道方向合并为多通道图像，本发明的一个实施例中以0°、45°和90°三个方向的单通道偏振图像沿通道方向合并成单幅三通道图像为例；

步骤2.2，将浑浊水体下图像和清晰图像都裁剪为适当尺寸(如64×64)的子图像；

步骤2.3，最后将数据集按照一定比例(如8:1:1)，随机拆分为训练集、验证集和测试集；

步骤3，结合水下偏振成像模型(如公式(4)所示)构建特征提取的残差-密集神经网络，由所述残差-密集神经网络得到输出的偏振调制参量和水下成像偏振去散射校正模型，如图3A所示，为本发明实施例的构建深度神经网络的结构示意图。该深度神经网络由多个如图3B所示的残差-密集模块组成，并结合了基于偏振调制参量的水下偏振图像复原模型；

步骤3.1，配置浅层特征提取模块100，该模块包括两个卷积层，第一3×3卷积层的卷积核数量为64，第二3×3卷积层卷积核数量为32；

步骤3.2，配置残差-密集模组200，该模块配置了16个残差-密集模块。具体地，所述残差-密集模块由卷积层、作为激活函数的线性修正单元ReLU函数和局部特征融合模块组成，每个残差-密集模块模块中各层之间采用密集连接的方式进行特征组合。在本实施例中，每个残差-密集模块都包含了6个卷积层及其对应的ReLU函数；

步骤3.3，配置局部特征融合模块300：该模块包括Concat层(即1×1卷积层)和3×3卷积层，Concat层将残差-密集模块中输出的所有特征进行融合，3×3卷积层进一步对融合之后的结果进行特征提取，并将输出的结果与输入进行残差运算；

步骤3.4，配置全局特征融合模块。具体地，所述全局特征融合模块包括一个Concat层(即1×1卷积层)，两个3×3卷积层和一个作为激活函数的ReLU层，通过该模块对残差-密集模块提取的不同层次的特征进行全局融合；

步骤3.5，水下偏振图像去散射模型如公式(1)所示：

其中，I(x,y)表示位于(x,y)处像素的光强，ΔI(x,y)为I(x,y)的水平分量I_||(x,y)和垂直分量I_⊥(x，y)的差分结果，P_scat为后向散射光的线偏振度，A_∞为环境光，L(x,y)为去散射图像；

进一步地，利用偏振图像由水下成像偏振去散射模型进行图像复原，需要明确P_scat和A_∞两个参量，而真实环境下标签图像的P_scat和A_∞难以计算。为减少参量数量，简化计算，优化后的水下成像偏振去散射校正模型如公式(2)所示：

L(x,y)＝H(x,y)·I(x,y)-H(x,y)+b (2)

其中，b为偏置参量(设置为1)，·表示逐像素的乘法运算，H(x,y)为偏振调制参量，如公式(3)所示：

偏振调制参量H(x,y)利用P_scat和A_∞对光强I(x,y)进行调制，将该参量作为水下偏振图像复原模型的残差-密集神经网络的输出，通过公式(2)进行约束，获得复原的清晰图像；

步骤4，设计增强偏振信息的偏振感知损失函数，所述偏振感知损失函数如公式(4)所示：

其中，C为图像的通道数，m和n分别为图像尺寸，为由网络输出的中间校正参量H(x,y)通过水下成像偏振去散射校正模型(公式(2))计算得到的预测清晰图像，表示清水下获取的高对比度清晰偏振图像，θ表示0°、45°和90°三个偏振方向，φ(·)为偏振特征感知函数，由预训练VGG网络的部分网络组成，用于提取输入图像的偏振特征。本发明实施例中，使用预训练VGG-16的第二个激活函数ReLU层之前的部分；

通过偏振感知损失函数，计算复原图像与标签图像的偏振感知特征之间的均方误差，获得偏振感知损失，并利用该损失引导神经网络的训练过程，实现图像去散射；

步骤5，根据去散射质量的要求调整水下成像偏振去散射模型的参数，包括初始学习率、批处理大小、损失函数约束项、残差-密集模块的数量以及卷积核数对基于偏振调制参量的水下偏振图像复原模型的残差-密集神经网络进行训练，在训练过程中对输入图像进行翻转和旋转实现数据扩充；具体地，在本实施例中最小批处理样本数为28，学习率初始化为0.0001，使用阶梯衰减学习率方法，设置衰减率为0.6，衰减步长为10，训练周期为90，使用Adam算法优化损失函数。

在本发明的实施例中，利用基于偏振调制参量的水下偏振图像复原模型的残差-密集网络计算偏振调制参量，之后得到经优化后的水下成像偏振去散射校正模型复原的光强图，如图4所示，为本发明实施例的浑浊水下偏振图像的去散射效果示意图。其中，4A为浑浊水体下的光强图，4B为使用本发明实施例去散射后重建的光强图，4C为清水下的高对比度光强图。从图可以看出本发明提出的融合无力模型和深度学习的水下偏振图像去散射方法能够有效对浑浊水体下的图像进行去散射。

综上所述，本发明的一种融合物理模型和深度学习的水下偏振图像去散射方法，包括制备浑浊水下的偏振图像数据集；对原始偏振图像数据预处理，利用卷积神经网络融合偏振信息；通过残差-密集模块结合水下偏振成像模型构建特征提取的核心网络，通过对该核心网络的训练得到输出的偏振调制参量，并基于该偏振调制参量和水下偏振程模型计算得到复原的清晰图像；使用偏振感知损失函数对网络进行优化，网络可以利用预测图像与清晰偏振图像的深层特征更好地进行图像复原。

以上所述仅为本申请的实施例，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种任何修改、等同替换或变型等，凡在本申请的精神和原理之内所作的修改、等同替换或变型等均落入由所附权利要求所限定的本发明的保护范围之内。

Claims (2)

1.一种融合物理模型和深度学习的水下偏振图像去散射方法，其特征在于，该方法包括以下步骤：

步骤1，构建浑浊水下的偏振图像数据集，调节偏振相机合适的曝光时间，分别对同一目标在相应浓度下连续采集多张不同偏振方向的偏振图像，计算其同一偏振方向光强的平均值作为浑浊水体下的图像，在清水下连续采集相同数量的对应偏振方向的清晰偏振图像，计算其同一偏振方向光强平均值作为标签，形成浑浊水体下图像和清晰图像对，保存为图像数据集；

步骤2，进行原始偏振图像数据预处理：

步骤2.1，将多个偏振方向的单通道偏振图像沿通道方向合并成单幅三通道图像，为学习目标的偏振特征，用任意三个及以上不同偏振方向的单通道图像沿通道方向合并为多通道图像；

步骤2.2，将浑浊水体下图像和清晰图像都裁剪为子图像；

步骤2.3，最后将数据集按比例随机拆分为训练集、验证集和测试集；

步骤3，结合水下偏振成像模型构建特征提取的残差-密集神经网络，由所述残差-密集神经网络得到输出的偏振调制参量和水下成像偏振去散射校正模型：

步骤3.1，配置浅层特征提取模块，该模块包括两个卷积层，第一3×3卷积层的卷积核数量为64，第二3×3卷积层卷积核数量为32；

步骤3.2，配置残差-密集模组，该模组配置了16个残差-密集模块，所述残差-密集模块由卷积层、作为激活函数的线性修正单元ReLU函数和局部特征融合模块组成，每个残差-密集连接块中各层之间采用密集连接的方式进行特征组合，每个残差-密集模块都包含了6个卷积层及其对应的ReLU函数；

步骤3.3，配置局部特征融合模块，该模块包括Concat层和3×3卷积层，Concat层将残差-密集模块中输出的所有特征进行融合，3×3卷积层进一步对融合之后的结果进行特征提取，并将输出的结果与输入进行残差运算；

步骤3.4，配置全局特征融合模块，该模块包括一个Concat层，两个3×3卷积层和一个作为激活函数的ReLU层，通过该模块对残差-密集模块提取的不同层次的特征进行全局融合；

步骤3.5，建立水下偏振图像去散射模型如公式(1)所示：

其中，I(x,y)表示位于(x,y)处的像素的光强，ΔI(x,y)为I(x,y)的水平分量I_P(x,y)和垂直分量I_⊥(x,y)的差分结果，P_scat为后向散射光的线偏振度，A_∞为环境光，L(x,y)为去散射图像，

偏振调制参量H(x,y)利用P_scat和A_∞对光强I(x,y)进行调制，将该参量作为水下偏振图像复原模型的残差-密集神经网络的输出，通过公式(2)进行约束，获得复原的清晰图像；优化后的水下成像偏振去散射校正模型如公式(2)所示：

L(x,y)＝H(x,y)·I(x,y)-H(x,y)+b (2)

其中，b为偏置参量，·表示逐像素的乘法运算，H(x,y)为偏振调制参量，如公式(3)所示：

步骤4，通过偏振感知损失函数，计算复原图像与标签图像的偏振感知特征之间的均方误差，获得偏振感知损失，并利用该损失引导神经网络的训练过程，实现图像去散射；设计增强偏振信息的偏振感知损失函数，所述偏振感知损失函数如公式(4)所示：

其中，C为图像的通道数，m和n分别为图像尺寸，为由网络输出的中间校正参量H(x,y)通过水下成像偏振去散射校正模型即公式(2)计算得到的预测清晰图像，表示清水下获取的高对比度清晰偏振图像，θ表示0°、45°和90°三个偏振方向，φ(·)为偏振特征感知函数，由预训练VGG网络的部分网络组成，用于提取输入图像的偏振特征。

2.如权利要求1所述的一种融合物理模型和深度学习的水下偏振图像去散射方法，其特征在于，该方法进一步包括以下步骤：

步骤5，根据去散射质量的要求调整水下成像偏振去散射模型的参数，包括初始学习率、批处理大小、损失函数约束项、残差-密集模块的数量以及卷积核数对基于偏振调制参量的水下偏振图像复原模型的残差-密集神经网络进行训练，在训练过程中对输入图像进行翻转和旋转实现数据扩充；具体设置为：最小批处理样本数为28，学习率初始化为0.0001，使用阶梯衰减学习率方法，设置衰减率为0.6，衰减步长为10，训练周期为90，使用Adam算法优化损失函数。