CN115601552B - 一种基于生成对抗网络的无监督偏振图像去噪方法 - Google Patents

Abstract

本发明公开一种基于生成对抗网络的无监督偏振图像去噪方法，使用非配对数据集训练一个适用于偏振图像去噪的生成对抗网络，以获得泛化性能强的偏振图像去噪模型，包括以下步骤：搭建生成对抗网络；生成对抗网络包括去噪生成器、噪声生成器、光强判别器、线性偏振度判别器和偏振角判别器，其中去噪生成器、噪声生成器均由浅层特征提取模块、残差密集模块和转换模块组成，光强判别器、线性偏振度判别器和偏振角判别器均由5层卷积层组成；构建损失函数并训练生成对抗网络，得到生成对抗网络偏振图像去噪模型；将真实偏振噪声图像输入至生成对抗网络偏振图像去噪模型中即能够实现无监督偏振图像去噪。

Description

一种基于生成对抗网络的无监督偏振图像去噪方法

技术领域

本发明涉及偏振成像技术领域，特别涉及一种基于生成对抗网络的无监督偏振图像去噪方法。

背景技术

偏振成像技术基于偏振信息的获取和处理，可实现成像质量的提升，并增强对目标特性的感知，在国防、海洋、遥感等多个领域具有重要价值。但在弱光照条件下采集偏振图像时，往往需要通过增益获得高亮度图像，但增益会放大图像的噪声，图像的信噪比因而降低。此外，因为偏振度和偏振角计算时的非线性操作，图像噪声将被进一步放大，极大地影响了偏振信息的获取，因此偏振图像去噪具有重要的意义。在偏振图像去噪领域，深度学习方法取得了显著的效果，实现了复杂环境下图像噪声的去除以及偏振信息的恢复。但当前的深度学习偏振图像去噪方法均为监督学习方法，训练去噪模型需要大量的严格配对的偏振图像。对于偏振图像，获取大规模噪声图像和真值图像的配对图像数据集成本较高。同时监督学习训练的模型的泛化性较差，当它应用于不同环境时效果会出现退化。例如，使用室内图像训练的监督学习模型处理室外噪声图像时，效果会出现严重的退化。而无监督学习方法使用非配对的方式进行训练，在统计上学习偏振噪声图像和偏振清晰图像之间的转换，而不是一对一的关联，从而克服了监督学习的过度拟合问题。因此使用非配对图像进行无监督学习的偏振图像去噪技术，切合偏振成像技术实际的应用需求，具有重要意义。

发明内容

本发明旨在解决使用非配对数据集训练神经网络实现偏振图像去噪的问题，提供一种基于生成对抗网络的无监督偏振图像去噪方法。

本发明的目的是通过以下技术方案实现的：

一种基于生成对抗网络的无监督偏振图像去噪方法，使用非配对数据集训练一个适用于偏振图像去噪的生成对抗网络，以获得泛化性能强的偏振图像去噪模型，包括以下步骤：

S1.搭建生成对抗网络；生成对抗网络包括去噪生成器、噪声生成器、光强判别器、线性偏振度判别器和偏振角判别器，其中去噪生成器、噪声生成器均由浅层特征提取模块、残差密集模块和转换模块组成，光强判别器、线性偏振度判别器和偏振角判别器均由5层卷积层组成；去噪生成器用于将真实偏振噪声图像转换为生成偏振清晰图像，噪声生成器用于将生成偏振清晰图像转换为生成偏振噪声图像；光强判别器输出生成偏振清晰图像为真实图像的概率，线性偏振度判别器输出生成偏振清晰图像对应的线性偏振度图为真实图像的概率，偏振角判别器输出生成偏振清晰图像对应的偏振角图为真实图像的概率；

S2.构建损失函数并训练生成对抗网络；损失函数包括生成器损失和判别器损失两个部分，其中生成器损失在生成对抗网络原有损失的基础上，引入了自适应权重以及偏振梯度损失；训练生成对抗网络时，使用非配对偏振图像数据集无监督地训练生成对抗网络，同时使用构建的损失函数引导生成对抗网络，得到生成对抗网络偏振图像去噪模型；

S3.将真实偏振噪声图像输入至生成对抗网络偏振图像去噪模型中即能够实现无监督偏振图像去噪。

进一步的，去噪生成器和噪声生成器的结构相同，去噪生成器和噪声生成器均由一个浅层特征提取模块、六个残差密集模块和一个转换模块构成；

每个浅层特征提取模块包括两个3×3卷积层；每个残差密集模块包括六个3×3的卷积层和一个1×1的卷积层；每个转换模块包括五个3×3的卷积层；

浅层特征提取模块、残差密集模块用于对去噪生成器输入的真实偏振噪声图像或噪声生成器输入的生成偏振清晰图像提取特征并生成特征图，转换模块用于将特征图转换为生成偏振清晰图像或生成偏振噪声图像；

光强判别器、线性偏振度判别器和偏振角判别器的结构相同，均由5个4×4卷积层构成，分别判别生成偏振清晰图像以及其对应的线性偏振度图和偏振角图是否为真实图像；

生成多抗网络的所有卷积层后均设有批标准化层和线性修正单元函数。

进一步的，步骤S2中构建的生成器损失具体如下：

生成对抗网络生成器损失最重要部分为生成对抗损失，为同时为平衡三个判别器的损失，引入了自适应权重，因此生成器损失中的生成对抗损失为：

其中x_i表示真实偏振噪声图像，G_D表示去噪生成器，D_I表示光强判别器，D_DoLP表示线性偏振度判别器，D_AoP表示偏振角判别器，DoLP和AoP分别表示计算图像的线性偏振度和偏振角的函数，N表示一次训练输入的图像组数，表示光强判别器对应的生成对抗损失，表示线性偏振度判别器对应的生成对抗损失，表示偏振角判别器对应的生成对抗损失，L_GAN表示总的生成对抗损失，w_sub表示每个判别器对应的生成对抗损失的权重，sub表征权重对应的损失类型；Noise代表第一个子损失；

为保证偏振信息的真实性，损失函数中加入了线性偏振度和偏振角的梯度损失：

其中表示计算图像水平方向的梯度，表示计算图像竖直方向的梯度，G_N表示噪声生成器，L_GradD表示线性偏振度的梯度损失，表示偏振角的梯度损失。

进一步的，所述光强判别器、偏振角判别器和线性偏振度判别器的输入均为真实偏振清晰图像和生成偏振清晰图像。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述基于生成对抗网络的无监督偏振图像去噪方法的步骤。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述基于生成对抗网络的无监督偏振图像去噪方法的步骤。

与现有技术相比，本发明的技术方案所带来的有益效果是：

1、本发明方法使用非配对数据集实现了无监督的学习，摆脱了普通深度学习方法需要大量配对数据集的限制，同时无监督学习使用非配对数据集在统计上学习偏振噪声图像和偏振清晰图像之间的转换，而不是一对一的关联，从而克服监督学习的过度拟合问题，显著提高了去噪模型的泛化能力，使之能够在不同环境中实现偏振图像有效去噪。

2、本发明提供适用于偏振图像去噪的生成对抗网络结构，加入了两个分别针对线性偏振度图和偏振角图的判别器，同时加入了偏振梯度损失，可更好的引导生成对抗网络对偏振信息的恢复，提升了对偏振噪声图像的去噪效果，同时能够有效去除偏振噪声图像对应的线性偏振度图和偏振角图的噪声。

附图说明

图1为本发明实施例的生成对抗网络的整体框架结构示意图；

图2a和图2b分别为本发明实施例中生成器和判别器的结构示意图；

图3为本发明实施例的基于生成对抗网络的无监督偏振图像去噪方法的流程图；

图4a和图4b分别为本发明实施例中采集的室内图像和室外图像通过生成对抗网络偏振图像去噪模型后得到的去噪效果。

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

下面参照附图描述根据本发明实施例提出的基于生成对抗网络的无监督偏振图像去噪方法。

见图3，本实施例提供一种基于生成对抗网络的无监督偏振图像去噪方法，具体包括以下步骤：

S1，通过控制相机增益和曝光拍摄得到非配对偏振图像数据集，包括真实偏振清晰图像和真实偏振噪声图像。真实偏振清晰图像和真实偏振噪声图像均由偏振相机拍摄，包含不同偏振角度的强度信息，为求出偏振图像对应的线性偏振度图和偏振角图，本实施例使用分焦平面偏振相机采集0°、45°、90°、135°四个偏振角度的强度信息。对于室内拍摄，在高曝光无增益的条件下拍摄偏振清晰图像，在低曝光高增益的条件下拍摄真实偏振噪声图像。对于室外拍摄，在固定曝光的情况下，白天拍摄偏振清晰图像，夜晚通过固定增益拍摄真实偏振噪声图像。对于真实偏振清晰图像，在同一场景连续获取50张图像，将它们的平均光强图作为训练用的真实偏振清晰图像。其中，每一对真实偏振清晰图像和真实偏振噪声图像是非配对的，即两种偏振图像的场景和物体并不相同。生成对抗网络使用的两种偏振图像均为四通道，因此预先将采集的两种偏振图像拆分为四个不同偏振角度的子图，并合并为四个通道的图像用作生成对抗网络的训练。

S2，搭建生成对抗网络。生成对抗网络的整体框架图如图1所示，生成对抗网络的生成器和判别器的具体结构如图2a和图2b所示。生成对抗网络包括去噪生成器、噪声生成器和去噪生成器、噪声生成器、光强判别器、线性偏振度判别器和偏振角判别器，其中去噪生成器和噪声生成器结构相同，光强判别器、线性偏振度判别器和偏振角判别器结构相同；

如图2a所示，去噪生成器、噪声生成器均由一个浅层特征提取模块、六个残差密集模块和一个转换模块组成；每个浅层特征提取模块包含两个3×3卷积层；每个残差密集模块有六个3×3的卷积层和一个1×1的卷积层；而每个转换模块有五个3×3的卷积层。

浅层特征提取模块、残差密集模块用于对去噪生成器输入的真实偏振噪声图像或噪声生成器输入的生成偏振清晰图像提取特征并生成特征图，转换模块用于将特征图转换为生成偏振清晰图像或生成偏振噪声图像。

三个判别器结构相同，如图2b所示，均由5个4×4卷积层构成；本实施例中生成对抗网络每个卷积层后均有批标准化层和线性修正单元函数。

S3，训练整体流程如图3所示，首先将偏振噪声图像输入去噪生成器获得生成偏振清晰图像，之后将真实偏振清晰图像和生成偏振清晰图像一起输入光强判别器，训练光强判别器识别生成偏振清晰图像和真实偏振清晰图像，同时将真实偏振清晰图像和生成偏振清晰图像对应的线性偏振度图和偏振角图分别输入线性偏振度判别器和偏振角判别器器，训练线性偏振度判别器和偏振角判别器识别线性偏振度图和偏振角图真实性的能力。在训练三种判别器的同时，训练去噪生成器，使得它输出的生成偏振清晰图像被三个判别器识别为真实偏振清晰图像，同时为保证生成偏振清晰图像去噪结构与真实偏振噪声图像结构的连续性，将生成偏振清晰图像输入噪声生成器，训练噪声生成器使得其输出接近真实偏振噪声图像。

S4，设计损失函数。生成对抗网络训练过程中的判别器损失如下：

其中x_i表示真实偏振噪声图像，y_i表示真实偏振清晰图像，G_D表示去噪生成器，D_I表示光强判别器，D_DoLP表示线性偏振度判别器，D_AoP表示偏振角判别器，DoLP和AoP表示计算图像的线性偏振度和偏振角，N表示一次训练输入的图像数目，表示光强判别器对应的判别器损失，表示线性偏振度判别器对应的判别器损失，表示偏振角判别器对应的判别器损失；

对于生成器损失，损失由生成对抗损失、循环损失、本征损失构成，其中生成对抗损失为：

其中表示光强判别器对应的生成对抗损失，表示线性偏振度判别器对应的生成对抗损失，表示偏振角判别器对应的生成对抗损失，L_GAN表示总的生成对抗损失，w_sub表示每个判别器对应的生成对抗损失的权重，sub表征权重对应的损失类型；Noise代表第一个子损失。

循环损失为：

其中G_N为噪声生成器，L_cyc表示循环损失。此外，为保证偏振信息的真实性，加入了线性偏振度和偏振角的梯度损失：

其中表示计算图像水平方面的梯度，表示计算图像竖直方向的梯度，L_GradD表示线性偏振度的梯度损失，表示偏振角的梯度损失；

最后，为保证偏振信息不被扭曲加入了本征损失：

其中L_idt表示本征损失；

最后总的损失为：

L_total＝λ₁L_GAN+λ₂L_cyc+λ₃L_GradD+λ₄L_GradA+λ₅L_idt

其中λ₁、λ₂、λ₃、λ₄和λ₅表示各个损失的权重系数，其中L_total表示总的生成器损失；。

在本发明的实施例中，训练过程中将对真实偏振噪声图像和真实偏振清晰图像进行翻转和旋转以实现数据扩充。具体地，在本实施例中一次训练样本数为36，学习率初始化为0.0001，如果超过5个周期生成器损失没有下降，则学习率减小为原来的五分之一，训练周期为90，使用Adam算法优化损失函数。

在本发明的实施例中，训练完成后得到的生成对抗网络偏振图像去噪模型输出的光强图、线性偏振度图和偏振角度图如图4a和图4b所示，包括了室内室外两种图像的处理效果，其中图A为噪声光强图，图B为噪声线性偏振度图，图C为噪声偏振角图，图D、E、F分别为使用本发明实施例去噪后的光强图、噪声线性偏振度图和偏振角图。从图4a和图4b可以看出本发明提出的基于生成对抗网络的无监督偏振图像去噪方法对于室内、室外图像均有较好的去噪效果，并且对于噪声敏感性的偏振度图像与偏振角图像，能很好地恢复其偏振信息。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。

Claims (5)

1.一种基于生成对抗网络的无监督偏振图像去噪方法，其特征在于，使用非配对数据集训练一个适用于偏振图像去噪的生成对抗网络，以获得泛化性能强的偏振图像去噪模型，包括以下步骤：

S1. 搭建生成对抗网络；生成对抗网络包括去噪生成器、噪声生成器、光强判别器、线性偏振度判别器和偏振角判别器，其中去噪生成器、噪声生成器均由浅层特征提取模块、残差密集模块和转换模块组成，光强判别器、线性偏振度判别器和偏振角判别器均由5层卷积层组成；去噪生成器用于将真实偏振噪声图像转换为生成偏振清晰图像，噪声生成器用于将生成偏振清晰图像转换为生成偏振噪声图像；光强判别器输出生成偏振清晰图像为真实图像的概率，线性偏振度判别器输出生成偏振清晰图像对应的线性偏振度图为真实图像的概率，偏振角判别器输出生成偏振清晰图像对应的偏振角图为真实图像的概率；所述光强判别器、偏振角判别器和线性偏振度判别器的输入均为真实偏振清晰图像和生成偏振清晰图像；

S2. 构建损失函数并训练生成对抗网络；损失函数包括生成器损失和判别器损失两个部分，其中生成器损失在生成对抗网络原有损失的基础上，引入了自适应权重以及偏振梯度损失；训练生成对抗网络时，使用非配对偏振图像数据集进行无监督地训练，同时使用构建的损失函数引导生成对抗网络，得到生成对抗网络；

S3. 将真实偏振噪声图像输入至生成对抗网络的去噪生成器中即能够实现无监督偏振图像去噪。

2.根据权利要求书1所述的基于生成对抗网络的无监督偏振图像去噪方法，其特征在于，

所述去噪生成器和噪声生成器的结构相同，去噪生成器和噪声生成器均由一个浅层特征提取模块、六个残差密集模块和一个转换模块构成；

每个浅层特征提取模块包括两个3×3卷积层；每个残差密集模块包括六个3×3的卷积层和一个1×1的卷积层；每个转换模块包括五个3×3的卷积层；

浅层特征提取模块、残差密集模块用于对去噪生成器输入的真实偏振噪声图像或噪声生成器输入的生成偏振清晰图像提取特征并生成特征图，转换模块用于将特征图转换为生成偏振清晰图像或生成偏振噪声图像；

光强判别器、线性偏振度判别器和偏振角判别器的结构相同，均由5个4×4卷积层构成，分别判别生成偏振清晰图像以及其对应的线性偏振度图和偏振角图是否为真实图像；

生成多抗网络的所有卷积层后均设有批标准化层和线性修正单元函数。

3.根据权利要求书1所述的基于生成对抗网络的无监督偏振图像去噪方法，其特征在于，步骤S2中构建的生成器损失具体如下：

生成对抗网络生成器损失最重要部分为生成对抗损失，为同时为平衡三个判别器的损失，引入了自适应权重，因此生成器损失中的生成对抗损失为：

；

；

；

；

其中表示真实偏振噪声图像，表示去噪生成器，表示光强判别器，表示线性偏振度判别器，表示偏振角判别器，和分别表示计算图像的线性偏振度和偏振角的函数，表示一次训练输入的图像组数，表示光强判别器对应的生成对抗损失，表示线性偏振度判别器对应的生成对抗损失，表示偏振角判别器对应的生成对抗损失，表示总的生成对抗损失，表示每个判别器对应的生成对抗损失的权重，表征权重对应的损失类型；Noise代表第一个子损失；

为保证偏振信息的真实性，损失函数中加入了线性偏振度和偏振角的梯度损失：

；；

其中表示计算图像水平方向的梯度，表示计算图像竖直方向的梯度，表示噪声生成器，表示线性偏振度的梯度损失，表示偏振角的梯度损失。

4.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至3任一项所述基于生成对抗网络的无监督偏振图像去噪方法的步骤。

5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至3任一项所述基于生成对抗网络的无监督偏振图像去噪方法的步骤。