CN112862723B - 基于伪3d自相关网络的真实图像去噪方法 - Google Patents

Abstract

本发明公开了基于伪3D自相关网络的真实图像去噪方法，包括：基于一维快速卷积构建伪3D自相关模块P3AB，以用于：对输入特征图每个位置上的元素，通过一维快速卷积分别提取水平、垂直和通道方向的自相关特征，完成所有位置遍历后，分别得到三个方向的伪3D自相关特征；对三个方向的伪3D自相关特征进行通道级联、自适应特征融合，得到包含空间域自相关信息和通道域自相关信息的全局自相关特征；通过残差连接将全局自相关特征与输入特征图相加后作为P3AB的输出；构建伪3D自相关网络P3AN；P3AN包括浅层特征提取单元、堆叠的P3AB和末尾卷积层，并设置有两层跳跃连接；训练P3AN；利用训练好的P3AN对输入的真实噪声图像进行去噪，输出去噪后的图像。

Description

基于伪3D自相关网络的真实图像去噪方法

技术领域

本发明涉及计算机视觉和图像处理领域，特别涉及一种基于伪3D自相关网络的真实图像去噪方法。

背景技术

自然图像中的噪声往往具有多种来源，例如捕获仪器中的暗电流噪声和传输介质中的随机扰动等。目前大量先进的方法已经在去除合成的高斯白噪声方面取得了显著的效果。但是，真实图像中的噪声在CCD或CMOS相机系统中往往具有复杂的生成过程，他们通常是非高斯和不均匀的。因此，在真实噪声图像的复原任务中，基于合成数据的去噪算法很难准确地模拟和去除不规则噪点。对于盲图像去噪，由于缺少特定的噪声先验，输入的低质量噪声图像成为唯一的信息来源。因此，如何从原始图像中捕捉更完备的先验特征和相关性信息显得尤为重要。

图像的自相关性先验已经在许多传统降噪算法中得到了广泛探索并发挥了重要作用。为了使模型具有强大的学习和表示能力，最近的方法试图利用深度学习方法来积累更有效和全面的先验知识。目前，自相关特征在卷积神经网络中的提取可分为基于通道和基于空间的算法。基于空间的算法则围绕着被证明为自然图像的强大特性的空间自相似性展开。一种通用的做法是通过非本地块获得空间域中的全局自相关，再相应计算为所有像素方向特征的加权和特征图，以获得密集和像素级的远程全局上下文信息。

然而，图像自相关性在深度学习中的进一步探索遭遇了瓶颈。一方面，尽管在基础CNN中增加捕捉其中某种类型的全局自相关性的结构已经带来了更高的模型复杂度和较大的计算负担，大多数现有方法仍致力于构建更复杂的自相关模块以实现更好的性能。另一方面，CNN中的特征图通常是3维的，因此一个完备的自相关特征应该同时具备通道和空间两个方向。一个直观的方案是引入3D卷积，伴随参数的爆炸式增长。目前有一些方法通过串联或并联的结构结合通道中的自注意力和空间中的自相似性机制。这种分步操作不仅增加了模型的复杂度，也会破坏局部区域中连续的相关性。高模型复杂性使得大多数自相关模块只能在单个或几个卷积块中使用。

可见，现有技术对于真实噪声图像的去噪，存在去噪效果差、去噪模型复杂度高、计算负担大的问题。

发明内容

本发明的主要目的在于提出一种基于伪3D自相关网络的真实图像去噪方法，解决目前真实噪声图像的去噪方法所存在的去噪效果差、去噪模型复杂度高且计算负担大的问题。

本发明为解决上述问题所提出的技术方案如下：

一种基于伪3D自相关网络的真实图像去噪方法，包括：

S1、基于一维快速卷积构建伪3D自相关模块，所述伪3D自相关模块用于执行如下操作：

首先，对输入特征图每个位置上的元素，通过一维快速卷积分别提取水平方向、垂直方向和通道方向的自相关特征，完成所有位置的遍历后，分别得到水平方向、垂直方向和通道方向的伪3D自相关特征；其次，对水平方向、垂直方向和通道方向的伪3D自相关特征进行通道级联，再进行自适应特征融合，得到包含空间域自相关信息和通道域自相关信息的全局自相关特征；最后，通过残差连接将所述全局自相关特征与所述输入特征图相加后作为所述伪3D自相关模块的输出；

S2、基于所述伪3D自相关模块，构建伪3D自相关网络；

所述伪3D自相关网络包括从输入到输出端依次连接的浅层特征提取单元、多个串联的伪3D自相关模块和末尾卷积层，还包括从浅层特征提取单元的输出链接至最末一个伪3D自相关模块的输出的第一跳跃连接，以及从原始特征图链接至末尾卷积层的输出的第二跳跃连接；

S3、以L1损失作为优化目标，以峰值信噪比作为网络性能的评判指标，来训练所述伪3D自相关网络；

S4、利用训练好的伪3D自相关网络对输入的真实噪声图像进行去噪，输出去噪后的图像。

本发明上述技术方案与现有技术相比，具备如下有益效果：

首先，对于特征图每个方向上的元素，一维快速卷积可以在不更改维度大小的情况下从所有其他位置收集信息，并且一维快速卷积的参数共享和局部连接可快速降低计算复杂度，因此本发明将一维快速卷积这种聚合方法扩展到3D空间，以简单、快速地捕获水平、垂直和通道三个方向的自相关信息，避免大的注意力特征图带来高计算复杂度。

其次，一维快速卷积提取自相关特征的操作不改变特征图的尺寸，这使得跨方向的融合成为可能，只需要简单的通道级联和自适应特征融合就可以集成包含水平、垂直和通道三个方向自相关信息的全局自相关特征。

此外，本发明构建了轻量化的伪3D自相关网络，通过连续的伪3D自相关模块堆叠和跳跃连接，每个位置都可以考虑从3D空间的所有局部像素收集上下文信息，实现具有低时间和空间复杂性的跨方向信息交互，并获得用于真实图像去噪的更多判别特征。

总之，本发明的方法可以以较低的模型复杂度在多个真实世界噪声数据集中获得了出色的去噪性能。

附图说明

图1是一维快速卷积提取空间自相关特征的示意图；

图2是本发明实施例提取伪3D全局自相关特征的示意图；

图3是本发明实施例伪3D自相关模块的内部处理流程图；

图4是本发明实施例伪3D自相关网络的网络架构图。

具体实施方式

下面结合附图和具体的实施方式对本发明作进一步说明。

本发明的实施例提出一种基于伪3D自相关网络的真实图像去噪方法，主要包括步骤S1-S4：

S1、基于一维快速卷积构建伪3D自相关模块(pseudo 3D auto-correlationblocks，P3AB)，所述伪3D自相关模块用于执行如下操作：

首先，对输入特征图每个位置上的元素，通过一维快速卷积分别提取水平方向、垂直方向和通道方向的自相关特征，完成所有位置的遍历后，分别得到水平方向、垂直方向和通道方向的伪3D自相关特征；其次，对水平方向、垂直方向和通道方向的伪3D自相关特征进行通道级联，再进行自适应特征融合，得到包含空间域自相关信息和通道域自相关信息的全局自相关特征；最后，通过残差连接将所述全局自相关特征与所述输入特征图相加后作为所述伪3D自相关模块的输出。

图1为一维快速卷积提取空间自相关特征的示意图。如图1所示，对于一个大小为W×H的二维特征图10，采用一维快速卷积提取空间自相关特征的过程包括：对特征图的每个位置上的元素(或称“块”)，都去进行水平方向和垂直方向的自相关特征提取，比如图1中所示，是提取特征图10中的块05的空间自相关特征的过程示意图，首先将原始的特征图10与标记了块05的垂直方向和水平方向的特征图10’进行一维快速卷积，得到块05的水平方向自相关特征11和垂直方向自相关特征12；再将水平方向自相关特征11和垂直方向自相关特征12进行自适应融合，得到块05的空间自相关特征20。对于原始输入的特征图10，遍历完所有位置的块执行同样的提取操作，最后将所有块的空间自相关特征融合即可得到特征图10的空间域自相关信息。

由于一维快速卷积提取自相关信息的操作不改变特征的尺寸，因此只需要进行简单的通道级联和自适应融合就可以同时捕获水平、垂直和通道三个方向的自相关信息。基于此，可以将一维快速卷积提取自相关信息的操作引入到通道域，对包含水平、垂直和通道三个方向的三维特征图进行伪3D全局自相关特征的提取。图2是本发明实施例提取伪3D全局自相关特征的示意图，如图2所示，输入为大小W×H×C的三维特征图30，同样地，需要遍历每个位置去进行自相关信息的提取。对于特征图30的某个目标块，首先将原始的特征图30与标记了目标块的垂直方向、水平方向和通道方向的特征图30’进行一维快速卷积，分别得到目标块的水平、垂直和通道三个方向的自相关特征31、32、33，再将三个方向的自相关特征31、32、33进行融合，得到特征40；将水平方向、垂直方向、通道方向都分别遍历完，则得到对应三个方向的三个伪3D自相关特征41、42、43，见图3，再将三个伪3D自相关特征41、42、43进行通道级联，然后进行自适应特征融合，输出包含空间域自相关信息和通道域自相关信息的全局自相关特征50；最后将全局自相关特征50与输入的特征图30进行相加作为伪3D自相关模块的最终输出。

具体而言，假设使用x_t∈R^H×W×C(t∈[0,n])来表示第t个P3AB的输入特征图，对于每个位置，我们提取水平、垂直和通道三个方向上所有元素的自相关向量，长度分别为w，h和c。将一维快速卷积的函数定义为F_1DC。

表示不同方向上的原始特征向量，然后通过以下方法提取自相关信息：

代表不同方向捕获的自相关向量，而向量维度没有变化。不同方向的特征向量独立共享卷积参数；遍历所有位置：

如图3所示，由于一维快速卷积的良好可用性，

和

(分别对应图3中的41、42、43)具有相同的大小，因此可以在通道中进行级联，并获得具有通道数为3c的特征图。然后执行自适应特征融合，其定义为：

其中

和

分别代表两个不同的1×1卷积层，其内核分别为3c和c。f_a即为提取的全局自相关特征。

S2、基于所述伪3D自相关模块，构建伪3D自相关网络(pseudo 3Dauto-correlationnetwork，P3AN)。参考图4，所述伪3D自相关网络包括从输入到输出端依次连接的浅层特征提取单元、多个串联的伪3D自相关模块P3AB和末尾卷积层，还包括从浅层特征提取单元的输出链接至最末一个伪3D自相关模块的输出的第一跳跃连接，以及从原始特征图链接至末尾卷积层的输出的第二跳跃连接(此为全局残差连接)。浅层特征提取单元采用串联的卷积层构成，例如图4所示依次为3×3卷积层、1×1卷积层、3×3卷积层串联而成。末尾卷积层主要用于自适应调整融合特征，可为1×1卷积层。

对于噪声图像x，我们使用三个卷积层来提取浅层特征，卷积内核的大小分别为3×3、1×1和3×3。将F_S定义为提取浅层特征阶段相应的函数，则该阶段提取的浅层特征x₀可以表示为：

x₀＝F_S(x)

接下来，自相关特征学习过程由几个堆叠的P3AB和所述第一跳跃连接组成。将与P3AB对应的函数定义为F_P，假设整个网络中P3AB的数量为n，则网络第i个P3AB的输出为：

其中

对应第i个P3AB，第一个P3AB的输入为x₀，此过程是迭代执行的，最后一个P3AB的输出如下：

然后，我们在浅层和深层特征之间，也就是在浅层特征提取单元的输出与最末一个P3AB的输出之间，建立跳跃连接，以促进跨层流，则该跳跃连接表示为：

x_f＝x_n+x₀

在高质量无噪图像的重建中，还引入了全局残差连接以学习原始输入x与输出去噪图像y之间的残差信息。在第一跳跃连接之后，我们使用定义为

的3×3卷积层来自适应地调整融合特征。经过全局残差连接，最终，可以得到如下重建图像：

在图4所示的伪3D自相关网络中，通过两次跳跃连接形成多级残差机制。相距较远的层之间的跨层信息交换可以帮助网络保留低质量噪声图像中的更多先验信息。多层次的残差学习可以稳定训练并提高去噪性能。

S3、以L1损失作为优化目标，以峰值信噪比作为网络性能的评判指标，来训练所述伪3D自相关网络。

在一种实施例中，对包含20个P3AB的伪3D自相关网络进行训练。然后在P3AB的一维快速卷积中设置卷积核大小为5。我们对每个训练数据执行相同的数据增强，包括90、180、270度的随机旋转或水平翻转。在真实世界数据中，每个训练批次有32个裁剪的128×128噪声补丁。特征通道数为64。梯度优化使用自适应学习率的Adam算法(使用标准参数：β₁＝0.9,β₂＝0.999,ε＝10^-8)，训练可得到最优网络参数。学习率初始化为2×10^-4，并在每20个周期后线性降低一半，到1×10^-6后不再下降。我们在Pytorch框架上实现所有模型构建，并在4块NVIDIAGeForce RTX 2080 Ti GPU上进行优化训练。

网络优化时，我们选择L1损失作为优化目标。给定一组包含N对训练图像

的公开数据集(可选自DIV2K或Flickr2K数据集)，将噪声图像

和无噪图像

之间的相应函数定义为F_P3AN，并最大程度地减少预测的去噪图像和原始噪声图像之间的损失，L1损失函数定义如下：

其中，θ代表所述伪3D自相关网络的所有学习参数；N为训练集的大小，表示训练集包含N对训练图像，每对训练图像包含一张噪声图像

及对应的无噪图像

F_P3AN表示所述伪3D自相关网络的相应函数，

表示噪声图像

经过所述伪3D自相关网络进行去噪处理后的输出。

在迭代了设定的次数之后，该迭代次数可根据具体情况设置，比如设置为迭代500～1500次(优选1000次)之后停止迭代训练。以峰值信噪比作为评判P3AN网络性能的指标，来选择性能最优的网络参数。比如，选择在1000次迭代过程中峰值信噪比最大时的参数作为最优网络参数，完成训练。

S4、利用训练好的伪3D自相关网络对输入的真实噪声图像进行去噪，即可输出去噪后的清晰图像。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于伪3D自相关网络的真实图像去噪方法，其特征在于，包括：

S1、基于一维快速卷积构建伪3D自相关模块，所述伪3D自相关模块用于执行如下操作：

首先，对输入特征图每个位置上的元素，通过一维快速卷积分别提取水平方向、垂直方向和通道方向的自相关特征，完成所有位置的遍历后，分别得到水平方向、垂直方向和通道方向的伪3D自相关特征；其次，对水平方向、垂直方向和通道方向的伪3D自相关特征进行通道级联，再进行自适应特征融合，得到包含空间域自相关信息和通道域自相关信息的全局自相关特征；最后，通过残差连接将所述全局自相关特征与所述输入特征图相加后作为所述伪3D自相关模块的输出；

S2、基于所述伪3D自相关模块，构建伪3D自相关网络；

所述伪3D自相关网络包括从输入到输出端依次连接的浅层特征提取单元、多个串联的伪3D自相关模块和末尾卷积层，还包括从浅层特征提取单元的输出链接至最末一个伪3D自相关模块的输出的第一跳跃连接，以及从原始特征图链接至末尾卷积层的输出的第二跳跃连接；

S3、以L1损失作为优化目标，以峰值信噪比作为网络性能的评判指标，来训练所述伪3D自相关网络；

S4、利用训练好的伪3D自相关网络对输入的真实噪声图像进行去噪，输出去噪后的图像。

2.如权利要求1所述的真实图像去噪方法，其特征在于，所述浅层特征提取单元采用若干个卷积层提取原始特征图的浅层特征。

3.如权利要求2所述的真实图像去噪方法，其特征在于，所述浅层特征提取单元包含3个串联的卷积层，卷积内核的大小依次为3×3、1×1、3×3。

4.如权利要求1所述的真实图像去噪方法，其特征在于，所述末尾卷积层为一个3×3的卷积层，用以自适应调整融合特征。

5.如权利要求1所述的真实图像去噪方法，其特征在于，步骤S3中对所述伪3D自相关网络进行训练时，L1损失函数定义如下：

其中，θ代表所述伪3D自相关网络的所有学习参数；N为训练集的大小，表示训练集包含N对训练图像，每对训练图像包含一张噪声图像

及对应的无噪图像

F_P3AN表示所述伪3D自相关网络的相应函数，

表示噪声图像

经过所述伪3D自相关网络进行去噪处理后的输出。

6.如权利要求5所述的真实图像去噪方法，其特征在于，还包括在训练之前先对训练集进行数据增强，所述数据增强包括对训练集中的图像进行90度、180度或270度的随机旋转或水平翻转。

7.如权利要求1所述的真实图像去噪方法，其特征在于，步骤S3中对所述伪3D自相关网络进行训练时，迭代500～1500次之后停止训练，选择峰值信噪比最大时所对应的学习参数，作为伪3D自相关网络的最终网络参数，完成训练。

8.如权利要求1所述的真实图像去噪方法，其特征在于，步骤S3中训练所述伪3D自相关网络所使用的公开数据集包括DIV2K和Flickr2K。

9.如权利要求1所述的真实图像去噪方法，其特征在于，步骤S3中训练所述伪3D自相关网络时，使用自适应学习率的Adam算法进行优化，使用标准参数β₁＝0.9,β₂＝0.999,ε＝10^-8；初始学习率设置为2×10^-4，并在训练过程中周期性地逐渐降低学习率，直至1×10^-6后不再下降。

10.如权利要求1所述的真实图像去噪方法，其特征在于，构建所述伪3D自相关模块和所述伪3D自相关网络时，在Pytorch框架上实现构建；步骤S3中在4块NVIDIA GeForce RTX2080 Ti GPU上训练所述伪3D自相关网络。

Images