CN110570364B - 基于深度神经网络的分焦平面偏振图像去噪方法 - Google Patents

Abstract

本发明公开了一种基于深度神经网络的分焦平面偏振图像去噪方法，包括以下步骤：创建偏振图像数据集；设计深度神经网络PDRDN，该网络学习噪声图像和无噪图像之间的残差图；使用定制的损失函数优化网络参数，直到模型参数达到稳定为止；将待去噪的图像输入到训练好的网络中得到输出残差图，然后利用噪声图像和残差图预测干净图像。本发明能够达到更好的去噪效果，用于提升偏振图像质量、降低噪声对偏振信息的影响。

Description

基于深度神经网络的分焦平面偏振图像去噪方法

技术领域

本发明涉及偏振成像探测技术领域，特别涉及一种基于深度神经网络的分焦平面偏振图像去噪方法。

背景技术

偏振成像在许多领域有着十分广泛的应用。分焦平面相机能够在同一时间内采集四个偏振方向的图像，并在各个领域的应用越来越广泛，但是在实际应用中不可避免的是采集的偏振图像存在噪声干扰，影响偏振信息重构的准确性。因此针对分焦平面相机偏振成像的去噪技术具有重要意义。分焦平面相机采集的偏振图像记录了四个偏振方向的信息，且具有物理相关性，一般传统的去噪方法的简单复制虽然具有可行性，但是对偏振信息的重建效果受限。目前针对偏振图像的去噪方法主要在两个缺点：第一，简单的假设噪声类型是高斯型，但真实的环境噪声分布更加复杂，仅通过高斯噪声模拟真实的噪声会导致算法在真实噪声场景受限。第二，传统的偏振图像去噪需要依靠大量先验知识来确定算法参数，很难达到算法的最优解。

发明内容

针对传统的偏振图像去噪方法的技术不足，本发明提出了一种基于深度神经网络的偏振图像去噪方法，该方法从真实环境中制作偏振图像数据集，针对分焦平面相机的偏振图像去噪，从带噪声的偏振图像中重构出正确的偏振信息。

本发明的一种基于深度神经网络的分焦平面偏振图像去噪方法，该方法具体实现步骤如下：

步骤1、构建图像数据集，包括在高感光度和短曝光时间条件下采集图像作为噪声图像以及在低感光度和长曝光时间条件下采集图像作为无噪声图像；

步骤2、对采集的噪声图像和无噪图像对进行数据预处理，将预处理后的图像分为训练样本，即：先将采集的噪声图像和无噪图像进行亮度对齐，然后将图像的像素值归一化到0-1，再把每一张偏振图像拆分为四个子图，并合并成四个通道，最后将噪声图像和无噪图像都裁剪为64×64大小的图像块；

步骤3、将所述图像数据集分为训练集、验证集和测试集；

步骤4、构建深度神经网络PDRDN，具体包括以下处理：

将浅层特征提取模块配置为包括两层卷积层、第一层卷积层的卷积核大小为3×3、卷积核数量为64、第二层卷积层的卷积核大小为3×3、卷积核数量为32；

将残差-密集连接模块配置成由一个卷积层、作为激活函数的线性修正单元ReLU函数、特征融合Concat层、1×1卷积层和局部残差连接组成；每个模块中各层之间采用密集连接的方式进行特征组合；

将特征融合模块配置成包括特征融合Concat层、1×1卷积层和3×3卷积层；

将全局残差学习模块配置成在第一层浅层特征提取层和特征融合模块之间采用短路连接，实现全局残差学习；

步骤5、设计损失函数，损失函数l(Θ)定义如下：

其中，N表示由噪声图像

和无噪声图像I_θ组成的训练样本对的总数，θ＝0°,45°,90°,135°，R表示PDRDN网络通过训参数Θ从输入的噪声图像学习得到的残差映射；

步骤6、将训练样本送到深度神经网络PDRDN中进行训练，得到训练模型；利用去噪之后的偏振图像重构偏振信息，使用斯托克斯矢量

来表征偏振信息，表达式如下：

其中，S₀表示偏振光的总光强值，DoLP表示线性偏振度，AoP表示偏振角，I_θ表示不同偏振方向的光强值；S₁表示水平方向或者垂直方向的线偏分量，S₂表示+45°或者-45°的线偏分量；

步骤7、使用训练好的模型对测试样本进行测试，从PDRDN网络的输出层得到残差图，然后利用输入的噪声图像和残差图预测干净的图像。

本发明的有益效果及优点在于：

1、本发明在采集偏振成像数据时，采用调节分焦平面相机感光度和曝光时间来控制采集图像的噪声，该方法的优点在于噪声来自真实环境，可以更接近实际应用；

2、本发明采用的残差-密集连接可以组合并重复利用多个不同层级特征，增强网络的表达能力并提升去噪效果；学习残差图的策略是从神经网络中学习噪声图像和真实图像之间的差异信息，使用残差学习策略加快网络训练并可以加深网络的深度，达到的更好的去噪效果。

3、用于提升偏振图像质量、降低噪声对偏振信息的影响。

附图说明

图1为基于深度神经网络的分焦平面偏振图像去噪方法的流程图；

图2为构建深度神经网络PDRDN结构流程示意图；

图3为残差-密集连接模块的结构示意图；

图4为使用本发明去噪后的偏振图像重建的光强图；

图5为使用本发明去噪后的线性偏振度图；

图6为本发明去噪后的偏振角度图。

具体实施方式

下面结合附图说明和实施例对本发明作进一步说明。

本发明的一种基于深度神经网络的分焦平面偏振图像去噪方法。该方法提出的PDRDN网络采用卷积神经网络和残差密-集连接块串联的方式构建，该发明包括以下步骤：创建偏振图像数据集；设计深度神经网络PDRDN，该网络学习噪声图像和无噪图像之间的残差图；使用定制的损失函数优化网络参数，直到模型参数达到稳定为止；将待去噪的图像输入到训练好的网络中得到输出残差图，然后利用噪声图像和残差图预测干净图像。本发明方法使用的训练数据从真实环境采集，使用PDRDN网络模型可以有效抑制偏振图像噪声。本发明相对传统方法主要有两个优点：介绍一种获取偏振图像数据集的方法，噪声图像从真实世界中获取，更接近实际应用；二是本发明提出一种基于深度神经网络的分焦平面偏振图像去噪方法，该方法可以从噪声图像中自动提取特征而不需要更多的先验知识，同时该方法考虑了偏振图像具有不同方向的偏振信息，在训练前对输入图像进行了前期预处理。大量实验表明本发明提出的PDRDN网络可以有效抑制噪声的影响，重构出更准确的偏振信息。

如图1所示，为本发明的一种基于深度神经网络的分焦平面偏振图像去噪方法的流程图。该流程具体包括以下步骤：

步骤1、构建图像数据集：调节分焦平面相机的感光度和曝光时间，在高感光度和短曝光时间条件下采集的图像作为噪声图像，在低感光度和长曝光时间条件下采集的图像作为无噪声图像，同时将非噪声图像作为标签；采集噪声图像和无噪图像对的时候需要同时调节感光度和曝光时间让噪声图像和无噪图像的光强值基本保持一致；

步骤2、进行数据预处理，将预处理后的图像分为训练样本：先将采集的噪声图像和无噪图像进行亮度对齐，然后将图像的像素值归一化到0-1，再把每一张偏振图像拆分为四个子图，并合并成四个通道，最后将噪声图像和无噪图像都裁剪为64×64大小的图像块。假设输入图像每个通道中，噪声图像

无噪图像I_θ和噪声n_θ三者满足：

其中，θ＝0°，45°，90°，135°。

步骤3、将数据集按照6:2:2的比例拆分为训练集，验证集和测试集；

步骤4、构建深度神经网络PDRDN；

如图2所示，为构建深度神经网络PDRDN结构流程示意图，该流程具体步骤如下：

步骤401、配置浅层特征提取模块，所述浅层特征提取模块包括两层卷积层，第一层卷积层的卷积核大小为3×3，卷积核数量为64，第二层卷积层的卷积核大小为3×3，卷积核数量为32；

步骤402、配置残差-密集连接模块，在本实施例中，一共配置了10个残差-密集连接模块。如图3所示，为残差-密集连接模块的结构示意图。所述残差-密集连接模块由一个卷积层、作为激活函数的线性修正单元ReLU函数、特征融合Concat层、1×1卷积层和局部残差连接组成，每个模块中各层之间采用密集连接的方式进行特征组合。在本实施例中，每个残差-密集连接模块都包含了6个卷积层及其对应的ReLU函数；

步骤403、配置特征融合模块，所述特征融合模块包括特征融合Concat层、1×1卷积层和3×3卷积层，Concat层和1×1卷积层将残差-密集连接模块中输出的所有特征进行融合，3×3卷积层进一步对融合之后的结果进行特征提取；

步骤404、配置全局残差学习模块，所述全局残差学习模块是在第一层浅层特征提取层和特征融合模块之间采用短路连接实现全局残差学习，该策略可以加快训练速度并提升网络性能。

步骤5、设置卷积神经网络的训练参数，对所述神经网络进行训练，在训练过程中对输入图像进行翻转和旋转实现数据扩充。在本实施例中，最小批处理样本数为64，学习率初始化为0.0001，使用指数衰减学习率方法，设置衰减率为0.9，训练周期为100，使用Adam算法优化损失函数。使用网络输出残差图像和真实残差图像的均方误差作为损失函数，并且考虑每个输入图像的四个通道表达了不同的偏振信息。所述损失函数l(Θ)定义如下：

其中，N表示由噪声图像

和无噪声图像I_θ组成的训练样本对的总数，θ＝0°,45°,90°,135°，R表示PDRDN网络通过训练参数Θ从输入的噪声图像学习得到的残差映射。

步骤6、将噪声图像输入到训练好的网络模型中，最后从网络中输出的残差图像

由公式(1)可知去噪后的偏振图像用噪声图像和残差图像表示如下：

利用去噪之后的偏振图像重构偏振信息，包括总光强值S₀、线性偏振度DoLP和偏振角AoP，偏振信息用Stokes矢量

来表示，公式如下：

其中，I_θ表示不同偏振方向的光强值，θ＝0°,45°,90°,135°；S₀表示偏振光的总光强值，S₁表示水平方向或者垂直方向的线偏分量，S₂表示+45°或者-45°的线偏分量。

步骤7、使用训练好的模型对测试样本进行测试，从PDRDN网络的输出层得到残差图，然后利用输入的噪声图像和残差图预测干净的图像。

为了检验本发明所提出方法的性能，和现存的几种偏振图像去噪算法作比较，包括基于PCA的偏振图像去噪算法、基于K-SVD的偏振图像去噪算法以及基于BM3D的偏振图像去噪算法。使用峰值信噪比(PSNR)作为去噪质量评价标准，其定义如下：

其中，MSE为去噪后图像与原图的均方差，MAX_I为去噪后图像的灰度级，一般取255。使用分焦平面相机采集了10组图像作为测试，将本发明与上述几种主流去噪方法作对比，然后分别对去噪后的偏振图像利用公式(4)-(6)进行偏振信息重构，使用峰值信噪比作为评价指标，计算10组测试图片去噪后的S₀、DoLP和AoP的平均峰值信噪比如下表所示：

	Noisyimage	PCA	K-SVD	BM3D	本发明
						<![CDATA[S<sub>0</sub>]]>	26.35	30.47	33.75	37.64	39.89
DoLP	18.43	22.54	24.77	26.68	30.19
						AoP	8.72	9.35	9.64	10.08	12.72

实验结果表明，本发明对分焦平面偏振图像进行去噪后重构的偏振信息峰值信噪比能明显提升，并且本发明优于现存的偏振图像去噪算法。

如图4所示，为使用本发明去噪后的偏振图像重建的光强图，4A为噪声光强图，4B为无噪声光强图，4C为使用本发明去噪后光强图，如图5、6所示，分别为使用本发明去噪后的线性偏振度图和偏振角度图，其中图中5A、6A为噪声图，5B、6B为对应的无噪声图像，图5C、6C为本方法去噪后的结果。从而看出本发明提出的偏振图像去噪算法能够有效抑制噪声的干扰并能很好地重建偏振信息。

Claims (1)

1.一种基于深度神经网络的分焦平面偏振图像去噪方法，其特征在于，该方法具体实现步骤如下：

步骤1、构建图像数据集，包括在高感光度和短曝光时间条件下采集图像作为噪声图像以及在低感光度和长曝光时间条件下采集图像作为无噪声图像；

步骤2、对采集的噪声图像和无噪图像对进行数据预处理，将预处理后的图像分为训练样本，即：先将采集的噪声图像和无噪图像进行亮度对齐，然后将图像的像素值归一化到0-1，再把每一张偏振图像拆分为四个子图，并合并成四个通道，最后将噪声图像和无噪图像都裁剪为64×64大小的图像块；

步骤3、将所述图像数据集分为训练集、验证集和测试集；

步骤4、构建深度神经网络PDRDN，具体包括以下处理：

将浅层特征提取模块配置为包括两层卷积层、第一层卷积层的卷积核大小为3×3、卷积核数量为64、第二层卷积层的卷积核大小为3×3、卷积核数量为32；

将残差-密集连接模块配置成由一个卷积层、作为激活函数的线性修正单元ReLU函数、特征融合Concat层、1×1卷积层和局部残差连接组成；每个模块中各层之间采用密集连接的方式进行特征组合；

将特征融合模块配置成包括特征融合Concat层、1×1卷积层和3×3卷积层；

将全局残差学习模块配置成在第一层浅层特征提取层和特征融合模块之间采用短路连接，实现全局残差学习；

步骤5、设计损失函数，损失函数l(Θ)定义如下：

其中，N表示由噪声图像

和无噪声图像I_θ组成的训练样本对的总数，θ＝0°,45°,90°,135°，R表示PDRDN网络通过训参数Θ从输入的噪声图像学习得到的残差映射；

步骤6、将训练样本送到深度神经网络PDRDN中进行训练，得到训练模型；利用去噪之后的偏振图像重构偏振信息，使用斯托克斯矢量

来表征偏振信息，表达式如下：

其中，S₀表示偏振光的总光强值，DoLP表示线性偏振度，AoP表示偏振角，I_θ表示不同偏振方向的光强值；S₁表示水平方向或者垂直方向的线偏分量，S₂表示+45°或者-45°的线偏分量；

步骤7、使用训练好的模型对测试样本进行测试，从PDRDN网络的输出层得到残差图，然后利用输入的噪声图像和残差图预测干净的图像。

Images