CN116051419A - 基于深度学习Relu和通道相关性注意力的图像去噪方法 - Google Patents

Abstract

本发明公开了一种基于深度学习Relu和通道相关性注意力的图像去噪方法，解决了现有技术中去噪模型效率低的问题，以及去噪后图像边缘轮廓信息被过度平滑和纹理信息丢失的问题。本发明的实现步骤如下：设计Relu激活层和通道相关性注意力层，分别用来构建多偏置Relu双分支模块和通道相关性注意力模块，通过多偏置Relu双分支模块和通道相关性注意力模块构建多路Unet去噪网络；利用生成的训练集训练多路Unet去噪网络；对图像进行去噪。本发明能够较好地整合有用特征，提高模型的去噪效率，较好地保持去噪后图像中的边缘轮廓信息和纹理信息。

Description

基于深度学习Relu和通道相关性注意力的图像去噪方法

技术领域

本发明属于图像处理技术领域，更进一步涉及图像恢复技术领域中的一种基于深度学习Relu和通道相关性注意力的图像去噪方法。本发明可用于图像去噪，在去除图像噪声信息的同时，恢复出更多的图像原始信息。

背景技术

图像去噪是图像处理的基本任务之一，在现实生活中有着重要的用途，包括有老旧照片和视频恢复、夜间手机拍摄算法和夜间自动驾驶。图像在采集和传输的过程中不可避免的会产生噪声，尤其是在夜间光线不足的情况下，曝光时间不足会导致图像中含有大量的噪声。目前的图像去噪方法主要分为两类：一类是传统图像去噪方法，该方法主要是在空间域和变换域对图像进行去噪处理；另一类是基于深度学习图像去噪方法，该方法是利用卷积神经网络对图像进行去噪。

Syed Waqas Zamir等人在其发表的论文“Multi-Stage Progressive ImageRestoration”(Published as a conference paper at CVPR 2021,简称MPRnet)中提出一种三个阶段的深度学习图像去噪方法。该方法前两个阶段使用基于编码器-解码器Unet子网络，学习广泛的上下文信息；然后第三阶段采用了一个对原始输入图像分辨率进行操作的子网络，从而在最终输出图像中保留所需的精细纹理；最后，在每两个阶段之间加入一个受监督的注意力模块，将它们传递到下一阶段之前重新调整前一阶段的特征图。该方法存在的不足之处是，前两个阶段均使用Unet网络，增大了模型的参数量和计算量，导致模型效率低。

重庆邮电大学在其申请的专利文献“一种综合局部信息和全局信息的空间注意力图像去噪方法”(申请号：202011305283.2申请日：2020.11.19申请公布号：CN 112419184A)中公开了一种端到端的图像去噪方法。该方法首先提出图像浅层特征提取模块、图像特征增强组以及图像重建模块；然后通过同时采用串联和并联方式将非局部模块、空间注意力残差块和扩张卷积相结合来实现同时捕获图像的局部特征和全局特征；最后通过和噪声图像做残差恢复出干净图像。但是，该方法仍然存在的不足之处是，端到端残差学习优化目标为单帧整体图像，未对目标图像边缘和平坦区域进行区域分割，所提出的空间注意力机制并不能聚焦到图像边缘，导致去噪后图像边缘轮廓信息被过度平滑。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于深度学习Relu和通道相关性注意力的图像去噪方法，用于解决使用Unet网络，增大了模型的参数量和计算量导致模型效率低，以及空间注意力机制并不能聚焦到图像边缘，导致去噪后图像边缘轮廓信息被过度平滑的问题。

实现本发明目的的思路是，由于本发明对通道间特征进行相似度计算，利用通道间的相似性来整合相似特征并减少冗余特征，提高模型的利用率，以此解决了现有技术中没有考虑通道间的相似性而导致去噪模型效率低的问题。由于本发明利用已去噪图像和真实图像的差异，获得难易程度不同的掩码，将单帧待优化图像划为难易去噪的两个区域，分别独立去噪。解决了现有技术中没有对目标图像的不同去噪难易程度进行区域分割而导致去噪后图像边缘轮廓信息被过度平滑和纹理信息丢失的问题。

为实现上述目的，本发明具体实现步骤如下：

步骤1，构建多偏置Relu双分支模块：

步骤1.1，搭建一个上分支电路，其结构依次串联为：层归一化层，卷积核大小为1*1的第一卷积层，卷积核大小为3*3的深度可分离卷积层，采用Relu激活层并联组成的多偏置激活组，卷积核大小为1*1的第二卷积层；

步骤1.2，搭建一个下分支电路，其结构依次串联为：层归一化层，卷积核大小为1*1的第一卷积层，卷积核大小为5*5的深度可分离卷积层，采用Relu激活层并联组成的多偏置激活组，卷积核大小为1*1的第二卷积层；

步骤1.3，将上、下分支电路的输入端并联后再与加法器相连，将上、下分支电路的输出端与矩阵乘法器相连后，再依次与卷积核大小为1*1的卷积层、加法器串联，组成多偏置Relu双分支模块；

步骤2，构建通道相关性注意力模块：

搭建一个包括三个分支的通道相关性注意力模块，第一个分支与第二个分支分别连接乘法器后再与第三个分支相连，其中，第一个分支是由层归一化层，卷积核大小为1*1的卷积层，卷积核大小为3*3的深度可分离卷积层，Relu激活层，通道相关性注意力层依次串联组成；第二个分支是由Relu激活层与通道相关性注意力层的输出端相连组成；第三个分支是由归一化层的输入端与加法器相连组成；

所述通道相关性注意力层实现过程依次为：对Relu激活层输出结果计算通道维度的余弦相似度矩阵，逐行对余弦相似度矩阵的像素值进行softmax，再逐行用余弦相似度矩阵像素值次最大值替换像素值最大值，再逐行将余弦相似度矩阵像素值小于该行均值的像素值置0；

步骤3，构建多路Unet去噪网络：

步骤3.1，搭建难去噪子网HardNet、易去噪子网EasyNet和主干去噪子网BackboneNet三个子网，每个子网由五个分支组成，其中，第一个分支是由卷积核大小为3*3的第一卷积层，第一级下采样模块，第二级下采样模块，第三级下采样模块，第一级上采样模块，第二级上采样模块，第三级上采样模块，卷积核大小为3*3的第二卷积层依次串联组成；第二个分支是由第一级下采样模块的输出端连接第三级上采样模块的输入端组成；第三个分支是由第二级下采样模块的输出端连接第二级上采样模块的输入端组成；第四个分支是由第一卷积层和第二卷积层串连组成；第五个分支是由第一卷积层的输入端和第二卷积层的输出端分别连接加法器；

第一至第三级上采样模块的结构相同，均由像素重组上采样层PixelUnshuffle、多偏置Relu双分支模块和通道相关性注意力模块依次串联组成；第一至第三级下采样模块的结构相同，均由像素重组下采样层PixelUnshuffle、多偏置Relu双分支模块和通道相关性注意力模块依次串联组成；

步骤3.2，将难去噪子网HardNet和易去噪子网EasyNet输入端并联，再将两个子网的输出端和主干去噪子网BackboneNet的输入端相连，组成多路Unet去噪网络；

步骤4，生成训练集：

步骤4.1，选取至少300对图像，每对图像由一张真实噪声图像和一张人工标注的干净图像组成；

步骤4.2，将每张图像裁剪成256*256大小的图像块，对每个图像块进行数据增广；

步骤4.3，将增广后的所有图像块组成训练集；

步骤5，训练多路Unet去噪网络：

训练集中随机抽取噪声图像块和对应的人工标注的干净图像块，将抽取的噪声图像块输入到多路Unet去噪网络，主干去噪子网BackboneNet使用平均绝对误差损失函数L1loss，难去噪子网HardNet使用难去噪损失函数hardloss，易去噪子网EasyNet使用易去噪损失函数easyloss，分别计算三个子网输出的图像块与干净图像块的损失值，采用梯度下降法，迭代更新多路Unet去噪网络各层参数，直至平均绝对误差损失函数收敛为止，得到训练好的多路Unet去噪网络；

步骤6，对图像进行去噪：

采用与步骤4.2相同的方法，对待去噪图像进行处理，将处理好的图像输入到训练好的多路Unet去噪网络中，输出去噪后的图像。

本发明与现有的技术相比具有以下优点：

第一，由于本发明对通道间特征进行相似度计算，克服了现有技术中没有考虑通道间的相似性而导致去噪模型效率低的问题，使得本发明能够较好地整合有用特征，提高模型的去噪效率。

第二，由于本发明利用已去噪图像和真实图像的差异，获得难易程度不同的掩码，克服了现有技术中没有对目标图像的不同去噪难易程度进行区域分割而导致去噪后图像边缘轮廓信息被过度平滑和纹理信息丢失的问题，使得本发明能够较好地保持去噪后图像中的边缘轮廓信息和纹理信息。

附图说明

图1是本发明的流程图；

图2是本发明的上分支电路的示意图；

图3是本发明的下分支电路的示意图；

图4是本发明的多偏置Relu双分支模块的示意图；

图5是本发明的通道相关性注意力模块的示意图；

图6是本发明的多路Unet去噪网络的示意图；

图7是本发明的难去噪子网HardNet、易去噪子网EasyNet和主干去噪子网BackboneNet的示意图；

图8是本发明的上采样模块的示意图；

图9是本发明的下采样模块的示意图。

具体实施方式

下面结合附图和实施例，对本发明做进一步的详细描述。

参照图1，对本发明实施例的实现步骤做进一步的详细描述。

步骤1，构建多偏置Relu双分支模块。

参照图2，对搭建的上分支电路的结构做进一步的描述。

搭建一个上分支电路，其结构依次串联为：层归一化层，卷积核大小为1*1的第一卷积层，卷积核大小为3*3的深度可分离卷积层，采用Relu激活层并联组成的多偏置激活组，卷积核大小为1*1的第二卷积层；Relu激活层由下式实现：

Relu(i)＝relu(i-bias)+bias

其中，i表示深度可分离卷积层的输出结果，relu表示线性整流函数，bias为和i相同尺寸的可学习偏置，初始化为正交化矩阵。

参照图3，对搭建的下分支电路的结构做进一步的描述。

搭建一个下分支电路，其结构依次串联为：层归一化层，卷积核大小为1*1的第一卷积层，卷积核大小为5*5的深度可分离卷积层，采用Relu激活层并联组成的多偏置激活组，卷积核大小为1*1的第二卷积层。

参照图4，对搭建的多偏置Relu双分支模块的结构做进一步的描述。

将上、下分支电路的输入端并联后再与加法器相连，将上、下分支电路的输出端与矩阵乘法器相连后，再依次与卷积核大小为1*1的卷积层、加法器串联，组成多偏置Relu双分支模块。

步骤2，构建通道相关性注意力模块。

参照图5，对搭建的通道相关性注意力模块的结构做进一步的描述。

搭建一个包括三个分支的通道相关性注意力模块，第一个分支与第二个分支分别连接乘法器后再与第三个分支相连，其中，第一个分支是由层归一化层，卷积核大小为1*1的卷积层，卷积核大小为3*3的深度可分离卷积层，Relu激活层，通道相关性注意力层依次串联组成；第二个分支是由Relu激活层与通道相关性注意力层的输出端相连组成；第三个分支是由归一化层的输入端与加法器相连组成。

所述通道相关性注意力层由Channel Similarity实现：

Channel Similarity(h)＝Z(R(softmax(Cosine(h))))

其中，h表示Relu激活层的输出结果，Cosine(·)表示计算通道维度的余弦相似度矩阵操作，softmax表示归一化指数函数，R表示逐行用余弦相似度矩阵像素值次最大值替换像素值最大值，Z(·)表示逐行将余弦相似度矩阵像素值小于该行均值的像素值置0。

所述通道相关性注意力层实现过程依次为：对Relu激活层输出结果计算通道维度的余弦相似度矩阵，逐行对余弦相似度矩阵的像素值进行softmax，再逐行用余弦相似度矩阵像素值次最大值替换像素值最大值，再逐行将余弦相似度矩阵像素值小于该行均值的像素值置0。

步骤3，构建多路Unet去噪网络。

参照图6，对搭建多路Unet去噪网络的结构做进一步的描述。

参照图7，对难去噪子网HardNet、易去噪子网EasyNet和主干去噪子网BackboneNet三个子网做进一步的描述。

搭建难去噪子网HardNet、易去噪子网EasyNet和主干去噪子网BackboneNet三个子网，每个子网由五个分支组成，其中，第一个分支是由卷积核大小为3*3的第一卷积层，第一级下采样模块，第二级下采样模块，第三级下采样模块，第一级上采样模块，第二级上采样模块，第三级上采样模块，卷积核大小为3*3的第二卷积层依次串联组成；第二个分支是由第一级下采样模块的输出端连接第三级上采样模块的输入端组成；第三个分支是由第二级下采样模块的输出端连接第二级上采样模块的输入端组成；第四个分支是由第一卷积层和第二卷积层串连组成；第五个分支是由第一卷积层的输入端和第二卷积层的输出端分别连接加法器；

参照图8，对搭建的上采样模块的结构做进一步的描述。

第一至第三级上采样模块的结构相同，均由像素重组上采样层PixelUnshuffle、多偏置Relu双分支模块和通道相关性注意力模块依次串联组成。

参照图9，对搭建的下采样模块的结构做进一步的描述。

第一至第三级下采样模块的结构相同，均由像素重组下采样层PixelUnshuffle、多偏置Relu双分支模块和通道相关性注意力模块依次串联组成；

将难去噪子网HardNet和易去噪子网EasyNet输入端并联，再将两个子网的输出端和主干去噪子网BackboneNet的输入端相连，组成多路Unet去噪网络。

步骤4，生成训练集。

选取公开数据集SIDD的320对图像，每对图像由一张真实噪声图像和一张人工标注的干净图像组成；将每张图像裁剪成256*256大小的图像块，对每个图像块进行数据增广；将增广后的所有图像块组成训练集。

步骤5，训练多路Unet去噪网络。

训练集中随机抽取噪声图像块和对应的人工标注的干净图像块，将抽取的噪声图像块输入到多路Unet去噪网络，主干去噪子网BackboneNet使用平均绝对误差损失函数L1loss，难去噪子网HardNet使用难去噪损失函数hardloss，易去噪子网EasyNet使用易去噪损失函数easyloss，分别计算三个子网输出的图像块与干净图像块的损失值，采用梯度下降法，迭代更新多路Unet去噪网络各层参数，直至平均绝对误差损失函数收敛为止，得到训练好的多路Unet去噪网络。

所述平均绝对误差损失函数L1loss、难去噪损失函数hardloss和易去噪损失函数easyloss如下：

L1loss(y，x)＝M(|y-x|)

如果|x-y|＞M(1x-y|)，则hardmask＝hardmask+1

否则hardmask＝hardmask

hardloss(z，x)＝L1loss(z*hardmask，x*hardmask)

easyloss(β，x)＝L1loss(β*(1-hardmask)，x*(1-hardmask))

其中，x表示干净图像块，y表示主干去噪子网输出的图像块，z表示难去噪子网输出的图像块，β表示易去噪子网输出的图像块，hardmask表示与x相同尺寸初始化为0的中间变量，|·|表示取绝对值操作，M(·)表示取平均值操作。

步骤6，对图像进行去噪。

将待去噪图像裁剪成256*256大小的图像块，将处理好的图像块输入到训练好的多路Unet去噪网络中，输出去噪后的图像。

Claims (4)

1.一种基于深度学习Relu和通道相关性注意力的图像去噪方法，其特征在于，设计Relu激活层和通道相关性注意力层，分别用来构建多偏置Relu双分支模块和通道相关性注意力模块；该方法的具体步骤包括如下：

步骤1，构建多偏置Relu双分支模块：

步骤1.1，搭建一个上分支电路，其结构依次串联为：层归一化层，卷积核大小为1*1的第一卷积层，卷积核大小为3*3的深度可分离卷积层，采用Relu激活层并联组成的多偏置激活组，卷积核大小为1*1的第二卷积层；

步骤1.2，搭建一个下分支电路，其结构依次串联为：层归一化层，卷积核大小为1*1的第一卷积层，卷积核大小为5*5的深度可分离卷积层，采用Relu激活层并联组成的多偏置激活组，卷积核大小为1*1的第二卷积层；

步骤1.3，将上、下分支电路的输入端并联后再与加法器相连，将上、下分支电路的输出端与矩阵乘法器相连后，再依次与卷积核大小为1*1的卷积层、加法器串联，组成多偏置Relu双分支模块；

步骤2，构建通道相关性注意力模块：

搭建一个包括三个分支的通道相关性注意力模块，第一个分支与第二个分支分别连接乘法器后再与第三个分支相连，其中，第一个分支是由层归一化层，卷积核大小为1*1的卷积层，卷积核大小为3*3的深度可分离卷积层，Relu激活层，通道相关性注意力层依次串联组成；第二个分支是由Relu激活层与通道相关性注意力层的输出端相连组成；第三个分支是由归一化层的输入端与加法器相连组成；

所述通道相关性注意力层实现过程依次为：对Relu激活层输出结果计算通道维度的余弦相似度矩阵，逐行对余弦相似度矩阵的像素值进行softmax，再逐行用余弦相似度矩阵像素值次最大值替换像素值最大值，再逐行将余弦相似度矩阵像素值小于该行均值的像素值置0；

步骤3，构建多路Unet去噪网络：

步骤3.1，搭建难去噪子网HardNet、易去噪子网EasyNet和主干去噪子网BackboneNet三个子网，每个子网由五个分支组成，其中，第一个分支是由卷积核大小为3*3的第一卷积层，第一级下采样模块，第二级下采样模块，第三级下采样模块，第一级上采样模块，第二级上采样模块，第三级上采样模块，卷积核大小为3*3的第二卷积层依次串联组成；第二个分支是由第一级下采样模块的输出端连接第三级上采样模块的输入端组成；第三个分支是由第二级下采样模块的输出端连接第二级上采样模块的输入端组成；第四个分支是由第一卷积层和第二卷积层串连组成；第五个分支是由第一卷积层的输入端和第二卷积层的输出端分别连接加法器；

第一至第三级上采样模块的结构相同，均由像素重组上采样层PixelUnshuffle、多偏置Relu双分支模块和通道相关性注意力模块依次串联组成；第一至第三级下采样模块的结构相同，均由像素重组下采样层PixelUnshuffle、多偏置Relu双分支模块和通道相关性注意力模块依次串联组成；

步骤3.2，将难去噪子网HardNet和易去噪子网EasyNet输入端并联，再将两个子网的输出端和主干去噪子网BackboneNet的输入端相连，组成多路Unet去噪网络；

步骤4，生成训练集：

步骤4.1，选取至少300对图像，每对图像由一张真实噪声图像和一张人工标注的干净图像组成；

步骤4.2，将每张图像裁剪成256*256大小的图像块，对每个图像块进行数据增广；

步骤4.3，将增广后的所有图像块组成训练集；

步骤5，训练多路Unet去噪网络：

训练集中随机抽取噪声图像块和对应的人工标注的干净图像块，将抽取的噪声图像块输入到多路Unet去噪网络，主干去噪子网BackboneNet使用平均绝对误差损失函数L1loss，难去噪子网HardNet使用难去噪损失函数hardloss，易去噪子网EasyNet使用易去噪损失函数easyloss，分别计算三个子网输出的图像块与干净图像块的损失值，采用梯度下降法，迭代更新多路Unet去噪网络各层参数，直至平均绝对误差损失函数收敛为止，得到训练好的多路Unet去噪网络；

步骤6，对图像进行去噪：

采用与步骤4.2相同的方法，对待去噪图像进行处理，将处理好的图像输入到训练好的多路Unet去噪网络中，输出去噪后的图像。

2.根据权利要求1所述的基于深度学习Relu和通道相关性注意力的图像去噪方法，其特征在于，步骤1.1中所述的Relu激活层由下式实现：

Relu(i)＝relu(i-bias)+bias

其中，i表示深度可分离卷积层的输出结果，relu表示线性整流函数，bias为和i相同尺寸的可学习偏置，初始化为正交化矩阵。

3.根据权利要求1所述的基于深度学习Relu和通道相关性注意力的图像去噪方法，其特征在于，步骤2中所述通道相关性注意力层由Channel Similarity实现：

Channel Similarity(h)＝Z(R(softmax(Cosine(h))))

其中，h表示Relu激活层的输出结果，Cosine(·)表示计算通道维度的余弦相似度矩阵操作，softmax表示归一化指数函数，R表示逐行用余弦相似度矩阵像素值次最大值替换像素值最大值，Z(·)表示逐行将余弦相似度矩阵像素值小于该行均值的像素值置0。

4.根据权利要求1所述的基于深度学习Relu和通道相关性注意力的图像去噪方法，其特征在于，步骤5中所述的平均绝对误差损失函数L1loss、难去噪损失函数hardloss和易去噪损失函数easyloss如下：

L1loss(y,x)＝M(|y-x|)

如果|x-y|>M(|x-y|),则hardmask＝hardmask+1

否则hardmask＝hardmask

hardloss(z,x)＝L1loss(z*hardmask,x*hardmask)

easyloss(β,x)＝L1loss(β*(1-hardmask),x*(1-hardmask))

其中，x表示干净图像块，y表示主干去噪子网输出的图像块，z表示难去噪子网输出的图像块，β表示易去噪子网输出的图像块，hardmask表示与x相同尺寸初始化为0的中间变量，|·|表示取绝对值操作，M(·)表示取平均值操作。

Images