CN111127331B - 基于像素级全局噪声估计编解码网络的图像去噪方法 - Google Patents

Abstract

本发明涉及一种基于像素级全局噪声估计编解码网络的图像去噪方法，包括：将原始含噪图片输入编码网络的输入模块，利用卷积对原始含噪图片进行初步特征提取，输出原始特征图；将原始特征图经过所述编码网络中的若干级联的编码模块进行处理，输出去噪后的空间尺寸较小、语义层次较高的高层次特征图；将高层次特征图经过与所述编码网络对称的解码网络中的多个跳连结构的解码模块进行处理，获取兼顾空间信息和语义信息的噪声去除后的输出特征图；将解码网络的输出特征图经过解码网络的输出模块，利用卷积处理映射到输出的特征维度，输出最终的清晰图像。本方法充分考虑真实图像噪声和全局信息以及本身像素值相关的特点，兼顾去噪效果和运行速度。

Description

基于像素级全局噪声估计编解码网络的图像去噪方法

技术领域

本发明涉及计算机视觉图像技术领域，尤其是涉及一种基于像素级全局噪声估计编解码网络的图像去噪方法。

背景技术

数字图像作为重要的信息载体在日常生产生活中扮演着越来越重要的角色，图像信息因其直观生动，包含信息量大的特点而广泛应用于航空航天，工业生产，军事，医疗，通信等领域，与我们的工作生活紧密相关。然而现实中的数字图像在数字化和传输过程中常受到成像设备与外部环境噪声干扰等影响，导致图像质量下降，为后续的研究处理带来困难。因此，图像去噪作为一项基础的同时又十分重要的低层次计算机视觉任务，具有很高的科学价值和实际意义。

图像去噪技术是指去除图像在获取过程中引入的噪声，从而得到原始清晰图像的技术，是从软件的角度解决图像噪声问题的重要技术手段。图像去噪作为重要的低层次计算机视觉任务，为使计算机能够更好地观察、分析、处理图片提供重要的技术支持，在医学影像、卫星成像、监控系统等很多领域都具有非常重要的应用价值。

目前最优的传统图像去噪算法包括非局部自相似算法，稀疏编码算法，块匹配模型等等，但是这些算法共同的缺点是在使用阶段涉及复杂的优化步骤，因此时间代价较高，此外这些算法使用过程中设计的可调参数较多，也为快速使用带来麻烦。随着深度学习的发展，更多的端到端的深度神经网络被用于处于图像去噪任务，比如深度去噪卷积神经网络(DnCNN)引入残差连接和批归一化操作降低深度网络训练的难度，获得较好的去除高斯噪声的效果；极深残差编解码网络(REDNet)使用全卷积组成的编解码网络，并且引入对称跳连结构来平衡空间信息和感受野信息。神经网络强大的学习能力和端到端的简洁性极大的提高了图像去噪的效果，降低了时间消耗。但是上述的深度学习方法针对的是人工添加高斯噪声的合成图像，图像中的高斯噪声是与像素值无关的，未能考虑到真实世界的图像的噪声除了高斯特性之外，还和像素值本身相关，因此上述方法在真实噪声图像上的泛化能力很差，从而取得了较为受限的效果。

发明内容

有鉴于此，有必要针对上述的问题，提供一种基于像素级全局噪声估计编解码网络的图像去噪方法，充分考虑真实图像噪声和全局信息以及本身像素值相关的特点，兼顾去噪效果和运行速度。

一种基于像素级全局噪声估计编解码网络的图像去噪方法，包括：

步骤1、将原始含噪图片输入编码网络的输入模块，利用卷积对原始含噪图片进行初步特征提取，输出原始特征图；

步骤2、将所述原始特征图经过所述编码网络中的若干级联的编码模块进行处理，每一所述编码模块由下采样层、卷积层和像素级全局噪声估计子模块构成，由下采样层和卷积层对原始特征图进行高层次特征提取，由像素级全局噪声估计子模块，对各级特征进行噪声估计和去除，最后输出去噪后的空间尺寸较小、语义层次较高的高层次特征图；

步骤3、将所述高层次特征图经过与所述编码网络对称的解码网络中的多个跳连结构的解码模块进行处理，每一所述解码模块由上采样层和卷积层构成，将前层的空间信息和编码模块输出的高层特征信息结合，最后获取兼顾空间信息和语义信息的噪声去除后的输出特征图；

步骤4、将解码网络的输出特征图经过解码网络的输出模块，利用卷积处理映射到输出的特征维度，输出最终的清晰图像。

具体在步骤1中，将原始含噪图片输入编码网络的输入模块，进行四次3×3×32的卷积的特征提取，输出原始特征图。

所述解码网络的输出模块的卷积核输出通道和输入模块输入原始含噪图片的通道数一致。

所述编码网络中包括四个级联的编码模块，编码模块由下采样层、四个卷积层和两个像素级全局噪声估计子模块构成。

所述步骤2的编码模块处理输入特征的具体方法包括以下步骤：

步骤⑴在每个编码模块的开头，使用最大值池化将输入特征的尺寸降低为原来的1/2，进行空间特征融合，提高卷积网络的感受野，提取更多语义信息；

步骤⑵使用两个级联的卷积层提取尺寸下降后的特征信息，并将特征的通道数增大两倍，提取更多特征，在级联的四个编码模块中，使用的卷积核分别依次是3×3×64，3×3×128，3×3×256，3×3×512，并且模块内部使用相同通道数的卷积核；

步骤⑶通过一个像素级全局噪声估计子模块，提取特征中包含的像素级全局噪声信息，并通过模块中的残差连接将提取到的噪声信息去除；

步骤⑷使用一个卷积层对初次去噪后的特征进行整合和缓冲为进一步去噪做准备，在级联的四个编码模块中，使用的卷积核分别依次是3×3×64，3×3×128，3×3×256，3×3×512；

步骤⑸再通过一个像素级全局噪声估计子模块，进一步提取特征中包含的像素级全局噪声信息，并通过模块中的残差连接将提取到的噪声信息去除；

步骤⑹模块最后再使用一个卷积层对二次去噪后的特征进行整合和缓冲为进入下一个模块做准备，在级联的四个编码模块中，使用的卷积核分别依次是3×3×64，3×3×128，3×3×256，3×3×512，因此四个级联的编码模块输出的通道数依次分别是64，128，256，512。

所述步骤⑶和⑸的像素级全局噪声估计子模块处理输入特征的具体方法包括以下步骤：

①像素级全局噪声估计子模块的输入为高度为H，宽度为W，通道数为C的特征图，长度和宽度和输入网络的噪声图像的尺寸以及下采样的次数相关，通道数和当前像素级全局噪声估计子模块所在的编码模块内部的特征通道数一致，四个编码模块内部通道数分别为64，128，256，512，输入特征首先进入第一个分支，并且作为残差分支直接输出，用于提供去噪前的特征图；

②输入特征同时进入第二个分支，全局通道信息融合分支，维度为H×W×C的特征图进入两个级联的1×1×1的卷积层，将C个通道的信息融合成一个通道的全局通道信息，同时特征的空间信息得以保留，得到尺寸为H×W×1的特征图，将该特征形变成HW×1，作为融合了全局通道信息的特征输出；

③输入特征同时进入第三个分支，全局空间信息融合分支，维度为H×W×C的特征图通过全局均值池化层，将尺寸为H×W的空间信息融合成单点信息，同时特征的通道信息得以保留，得到尺寸为1×C的特征图，然后依次连接一个维度为C/4的全连接层和一个维度为C的全连接层进行通道特征矫正，输出尺寸仍为1×C，得到融合了全局空间信息的特征输出；

④将尺寸为HW×1全局通道信息融合特征和尺寸为1×C的全局空间信息融合特征二者进行矩阵相乘，得到尺寸为HW×C的特征图，该特征既融合了通道和空间的全局特征，在计算过程中空间和通道像素级的部分信息又得以保留，完成了像素级的全局噪声估计，然后将噪声估计形变成H×W×C，使其和输入特征尺寸一致，最后使用一个1×1×1的卷积层进行特征映射，得到噪声估计特征并输出；

⑤将输出的像素级全局噪声估计和残差分支逐像素相加，从噪声图片中去除估计到的噪声值，得到像素级全局噪声估计子模块的最终输出。

所述解码网络中包括四个解码模块，解码模块由双线性插值上采样层、四个卷积层构成。

所述步骤3的解码模块处理输入特征的具体方法包括以下步骤：

a.在每个解码模块的开头，对于输入特征图，使用双线性插值法将其空间尺寸上采样为原来的2倍，通道数量不变，用以逐渐恢复输入原始图像的尺寸；

b.取输入模块以及编码模块中和当前解码模块中双线性插值输出空间尺寸一样的特征输出，和当前双线性插值的输出在通道维度进行拼接，输入模块和前三个级联的编码模块输出的通道数量依次分别为32，64，128，256，对称的，四个级联的解码模块输入的通道数量分别为256，128，64，32，拼接后通道维数变为512，256，128，64，依次分别作为解码网络后续卷积层的输入，综合利用去噪后特征图的语义信息和浅层特征图的空间信息；

c.将拼接后的通道数为512，256，128，64四个特征图依次分别输入四个级联的解码模块的解码卷积层进行特征融合，将浅层特征图的空间信息和深层的去噪后的语义信息融合得到大空间尺寸的噪声去除后的特征图，解码卷积层由四个相同卷积核的卷积层构成，在四个级联的解码模块中各自使用的卷积核依次分别是3×3×256，3×3×128，3×3×64，3×3×32，因此四个级联的解码模块输出的通道数依次分别是256，128，64，32。

本发明的优点和积极效果是：

1、本发明在编解码去噪网络中插入全新设计的像素级全局噪声估计模块，针对真实图像噪声的高斯特性，该模块两个分支分别融合输入特征的全局通道和全局空间中的噪声信息，同时这种融合方式也兼顾了真实图像噪声和单个像素值相关的特性，在融合通道和空间信息的同时保留了对应的空间和通道信息，最终两个分支相结合获得了像素级全局噪声估计，再通过残差分支将噪声信息去除，获得更优的去噪效果。

2、本发明设计合理，像素级全局噪声估计子模块利用多维度分部融合的方式，同时在各分支采用瓶颈结构，提高去噪效果的同时，控制了网络的参数量。本发明使用编解码网络作为主干网络，网络的输出是去噪后的清晰图像，使用输入噪声图像和实际拍摄的清晰图像对，以平均绝对损失函数为目标来训练网络，以输出图像和实际清晰图像对比来评价去噪效果，在提高单纯主干网络去噪效果的同时，兼顾了算法运行时间。

附图说明

图1是本发明的像素级全局噪声估计编解码网络的主干框架图；

图2本发明的像素级全局噪声估计子模块的框架图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合附图和具体的实施例对本发明的技术方案进行详细说明。需要指出的是，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的基于像素级全局噪声估计编解码网络的图像去噪方法，如图1和图2所示，包括以下步骤：

步骤S1、将原始含噪图片输入编码网络的输入模块，输入模块由四个3×3×32的卷积层组成，对含噪图片进行初步特征提取，输出原始特征图。

步骤S2、将原始特征图依次输入四个级联的编码模块，编码模块由下采样、四个卷积层、两个像素级全局噪声估计子模块构成，编码模块通过多个卷积层和下采样层对输入的原始特征图进行高层次特征提取，通过像素级全局噪声估计子模块，对各级特征进行噪声估计和去除，最后输出去噪后的空间尺寸较小、语义层次较高的特征图。

步骤S2的具体实现方法如下：

步骤S2.1、在每个编码模块的开头，使用最大值池化将输入特征的尺寸降低为原来的1/2，进行空间特征融合，提高卷积网络的感受野，提取更多语义信息。

步骤S2.2、使用两个级联的卷积层提取尺寸下降后的特征信息，并将特征的通道数增大两倍，提取更多特征，在级联的四个编码模块中，使用的卷积核分别依次是3×3×64，3×3×128，3×3×256，3×3×512，并且模块内部使用相同通道数的卷积核。

步骤S2.3、通过一个像素级全局噪声估计子模块，提取特征中包含的像素级全局噪声信息，并通过模块中的残差连接将提取到的噪声信息去除。

步骤S2.3的具体实现方法如下：

步骤S2.3.1、像素级全局噪声估计子模块的输入为高度为H，宽度为W，通道数为C的特征图，长度和宽度和输入网络的噪声图像的尺寸，以及下采样的次数相关，通道数和当前像素级全局噪声估计子模块所在的编码模块内部的特征通道数一致，四个编码模块内部通道数分别为64，128，256，512，该子模块输入的第一个分支直接作为残差分支输出，用于提供去噪前的特征图。

步骤S2.3.2、输入特征同时进入第二个分支，全局通道信息融合分支，维度为H×W×C的特征图进入两个级联的1×1×1的卷积层，将C个通道的信息融合成一个通道的全局通道信息，同时特征的空间信息得以保留，得到尺寸为H×W×1的特征图，然后将该特征形变成HW×1，得到融合了全局通道信息的均由受测试方通过线上系统提交含噪图像的处理结果，由系统统一计算测试效果；测试时以原始格式(raw)为网络输入，计算出的清晰图像保存成mat数据格式提交系统，由系统计算原始格式的去噪效果和原始格式转化为标准彩色格式(sRGB)后的去噪效果。

测试指标：本发明使用PSNR、SSIM和运行时间等指标进行评测。对当今流行的不同算法计算这些指标数据然后进行结果对比，证明本发明在真实图像去噪领域得到较好的结果。

测试结果如下：

通过以上对比数据可以看出，在去噪效果方面，本发明优于其他所有方法；并且实际测试时，在运行时间方面，本发明的处理速度也优于其余方法。综合分析，本发明较好地平衡了图像去噪效果与运行速度之间的关系，在获得较高的去噪水平的同时，拥有较快的运行速度。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种基于像素级全局噪声估计编解码网络的图像去噪方法，其特征在于，包括：

步骤1、将原始含噪图片输入编码网络的输入模块，利用卷积对原始含噪图片进行初步特征提取，输出原始特征图；

步骤2、将所述原始特征图经过所述编码网络中的若干级联的编码模块进行处理，每一所述编码模块由下采样层、卷积层和像素级全局噪声估计子模块构成，由下采样层和卷积层对原始特征图进行高层次特征提取，由像素级全局噪声估计子模块，对各级特征进行噪声估计和去除，最后输出去噪后的空间尺寸较小、语义层次较高的高层次特征图；

步骤3、将所述高层次特征图经过与所述编码网络对称的解码网络中的多个跳连结构的解码模块进行处理，每一所述解码模块由上采样层和卷积层构成，将前层的空间信息和编码模块输出的高层特征信息结合，最后获取兼顾空间信息和语义信息的噪声去除后的输出特征图；

步骤4、将解码网络的输出特征图经过解码网络的输出模块，利用卷积处理映射到输出的特征维度，输出最终的清晰图像。

2.根据权利要求1所述的基于像素级全局噪声估计编解码网络的图像去噪方法，其特征在于，具体在步骤1中，将原始含噪图片输入编码网络的输入模块，进行四次3×3×32的卷积的特征提取，输出原始特征图。

3.根据权利要求2所述的基于像素级全局噪声估计编解码网络的图像去噪方法，其特征在于，所述解码网络的输出模块的卷积核输出通道和输入模块输入原始含噪图片的通道数一致。

4.根据权利要求1至3任一项所述的基于像素级全局噪声估计编解码网络的图像去噪方法，其特征在于，所述编码网络中包括四个级联的编码模块，编码模块由下采样层、四个卷积层和两个像素级全局噪声估计子模块构成。

5.根据权利要求4所述的基于像素级全局噪声估计编解码网络的图像去噪方法，其特征在于，所述步骤2的编码模块处理输入特征的具体方法包括以下步骤：

步骤⑴在每个编码模块的开头，使用最大值池化将输入特征的尺寸降低为原来的1/2，进行空间特征融合，提高卷积网络的感受野，提取更多语义信息；

步骤⑵使用两个级联的卷积层提取尺寸下降后的特征信息，并将特征的通道数增大两倍，提取更多特征，在级联的四个编码模块中，使用的卷积核分别依次是3×3×64，3×3×128，3×3×256，3×3×512，并且模块内部使用相同通道数的卷积核；

步骤⑶通过一个像素级全局噪声估计子模块，提取特征中包含的像素级全局噪声信息，并通过模块中的残差连接将提取到的噪声信息去除；

步骤⑷使用一个卷积层对初次去噪后的特征进行整合和缓冲为进一步去噪做准备，在级联的四个编码模块中，使用的卷积核分别依次是3×3×64，3×3×128，3×3×256，3×3×512；

步骤⑸再通过一个像素级全局噪声估计子模块，进一步提取特征中包含的像素级全局噪声信息，并通过模块中的残差连接将提取到的噪声信息去除；

步骤⑹模块最后再使用一个卷积层对二次去噪后的特征进行整合和缓冲为进入下一个模块做准备，在级联的四个编码模块中，使用的卷积核分别依次是3×3×64，3×3×128，3×3×256，3×3×512，因此四个级联的编码模块输出的通道数依次分别是64，128，256，512。

6.根据权利要求5所述的基于像素级全局噪声估计编解码网络的图像去噪方法，其特征在于，所述步骤⑶和⑸的像素级全局噪声估计子模块处理输入特征的具体方法包括以下步骤：

①像素级全局噪声估计子模块的输入为高度为H，宽度为W，通道数为C的特征图，长度和宽度和输入网络的噪声图像的尺寸以及下采样的次数相关，通道数和当前像素级全局噪声估计子模块所在的编码模块内部的特征通道数一致，四个编码模块内部通道数分别为64，128，256，512，输入特征首先进入第一个分支，并且作为残差分支直接输出，用于提供去噪前的特征图；

②输入特征同时进入第二个分支，全局通道信息融合分支，维度为H×W×C的特征图进入两个级联的1×1×1的卷积层，将C个通道的信息融合成一个通道的全局通道信息，同时特征的空间信息得以保留，得到尺寸为H×W×1的特征图，将该特征形变成HW×1，作为融合了全局通道信息的特征输出；

③输入特征同时进入第三个分支，全局空间信息融合分支，维度为H×W×C的特征图通过全局均值池化层，将尺寸为H×W的空间信息融合成单点信息，同时特征的通道信息得以保留，得到尺寸为1×C的特征图，然后依次连接一个维度为C/4的全连接层和一个维度为C的全连接层进行通道特征矫正，输出尺寸仍为1×C，得到融合了全局空间信息的特征输出；

④将尺寸为HW×1全局通道信息融合特征和尺寸为1×C的全局空间信息融合特征二者进行矩阵相乘，得到尺寸为HW×C的特征图，该特征既融合了通道和空间的全局特征，在计算过程中空间和通道像素级的部分信息又得以保留，完成了像素级的全局噪声估计，然后将噪声估计形变成H×W×C，使其和输入特征尺寸一致，最后使用一个1×1×1的卷积层进行特征映射，得到噪声估计特征并输出；

⑤将输出的像素级全局噪声估计和残差分支逐像素相加，从噪声图片中去除估计到的噪声值，得到像素级全局噪声估计子模块的最终输出。

7.根据权利要求1至3任一项所述的基于像素级全局噪声估计编解码网络的图像去噪方法，其特征在于，所述解码网络中包括四个解码模块，解码模块由双线性插值上采样层、四个卷积层构成。

8.根据权利要求7所述的基于像素级全局噪声估计编解码网络的图像去噪方法，其特征在于，所述步骤3的解码模块处理输入特征的具体方法包括以下步骤：

a.在每个解码模块的开头，对于输入特征图，使用双线性插值法将其空间尺寸上采样为原来的2倍，通道数量不变，用以逐渐恢复输入原始图像的尺寸；

b.取输入模块以及编码模块中和当前解码模块中双线性插值输出空间尺寸一样的特征输出，和当前双线性插值的输出在通道维度进行拼接，输入模块和前三个级联的编码模块输出的通道数量依次分别为32，64，128，256，对称的，四个级联的解码模块输入的通道数量分别为256，128，64，32，拼接后通道维数变为512，256，128，64，依次分别作为解码网络后续卷积层的输入，综合利用去噪后特征图的语义信息和浅层特征图的空间信息；

c.将拼接后的通道数为512，256，128，64四个特征图依次分别输入四个级联的解码模块的解码卷积层进行特征融合，将浅层特征图的空间信息和深层的去噪后的语义信息融合得到大空间尺寸的噪声去除后的特征图，解码卷积层由四个相同卷积核的卷积层构成，在四个级联的解码模块中各自使用的卷积核依次分别是3×3×256，3×3×128，3×3×64，3×3×32，因此四个级联的解码模块输出的通道数依次分别是256，128，64，32。

Images