CN112967195A - 一种图像去噪方法、设备及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种图像去噪方法、设备及计算机可读存储介质，该图像去噪方法包括：获取第一图像和第二图像，第一图像是待处理噪声图，第二图像是对第一图像进行去噪处理得到的平滑图像；将第二图像作为引导图像对第一图像进行引导去噪，得到去噪图。通过上述方式，本发明能够很好地在去除图像的噪声信息的同时保留图像的细节信息。

Description

一种图像去噪方法、设备及计算机可读存储介质

技术领域

本发明涉及图像处理技术领域，特别是涉及一种图像去噪方法、设备及计算机可读存储介质。

背景技术

图像去噪是非常重要的预处理手段。它可以帮助改善画质，提高图像分割、图像配准等的精确度。对于医疗图像，还能辅助医生进行直观的视觉检测。然而，图像去噪也面临着巨大的挑战。原因是在去除噪声的同时不可以避免的去除掉部分细节信息，越深层次的去噪，去除掉的细节信息就越多。

发明内容

本发明主要解决的技术问题是提供一种图像处理方法，能够很好地在去除图像的噪声信息的同时保留图像的细节信息。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种图像去噪方法，该图像去噪方法包括：获取第一图像和第二图像，第一图像是待处理噪声图，第二图像是对第一图像进行去噪处理得到的平滑图像；将第二图像作为引导图像对第一图像进行引导去噪，得到去噪图。

其中，将第二图像作为引导图像对第一图像进行引导去噪包括：对比第一图像和第二图像，获取第一图像的细节信息和噪声信息；对第一图像进行去噪处理，得到去噪图。

其中，对比第一图像和第二图像，获取第一图像的细节信息和噪声信息包括：将第一图像和第二图像输入第一卷积神经网络，学习第一图像的细节信息和噪声信息，对第一图像进行去噪处理，输出去噪图。

其中，获取第二图像包括：对第一图像进行降维处理，得到第三图像；对第三图像进行去噪和升维处理，得到第二图像。

其中，对第一图像进行降维处理，得到第三图像包括：对第一图像进行逆图像信号处理，得到第三图像，第一图像为RGB或YUV格式的图像，第三图像为RAW格式的图像。

其中，对第三图像进行去噪和升维处理，得到第二图像包括：将第三图像输入第二卷积神经网络，学习第三图像的噪声信息，对第三图像进行去噪和升维处理，输出第二图像，第二图像为RGB或YUV格式的图像。

其中，对第三图像进行去噪和升维处理，得到第二图像包括：将第三图像输入第三卷积神经网络，学习第三图像的噪声信息，对第三图像进行去噪处理，输出第四图像；对第四图像进行升维处理，得到第二图像。

其中，对第四图像进行升维处理，得到第二图像包括：对第四图像进行图像信号处理，得到第二图像，第四图像为RAW格式的图像，第二图像为RGB或YUV格式的图像。

其中，将待处理图像输入卷积神经网络，提取待处理图像的编码特征和解码特征，输出处理后的图像，待处理图像包括第一图像和/或第二图像，处理后的图像包括第二图像和/或去噪图；卷积神经网络包括编码层和解码层，编码层和解码层为对称的网络结构，编码层和解码层以空间注意力机制的方式连接。

其中，编码层和解码层至少包括三个不同层级的网络层；将居间编码层输出的居间编码特征与相邻的上一编码层输出的编码特征和下一编码层输出的编码特征加权相加得到加权编码特征；将居间编码特征进行卷积操作得到卷积编码特征；居间编码层包括除位于两端的编码层以外的任一编码层；将输出居间解码层的解码特征与加权编码特征相乘后再与卷积编码特征相加得到加权解码特征，将加权解码特征作为居间解码层的输出，以实现编码层和解码层以空间注意力机制的方式连接，居间解码层包括除位于两端的解码层以外的任一解码层，且居间解码层与居间编码层相对应。

其中，将待处理图像输入卷积神经网络之前包括：获取样本图像，样本图像包括噪声图像和低噪标准图像；利用噪声图像和低噪标准图像对神经网络进行有监督的训练；训练的损失函数为L1损失和全变分损失的加权求和，或训练的损失函数为L1损失、全变分损失和感知损失的加权求和。

为解决上述技术问题，本发明采用的另一个技术方案是：一种图像去噪设备，该图像去噪设备包括处理器，处理器用于执行指令以实现上述的图像去噪方法。

为解决上述技术问题，本发明采用的另一个技术方案是：一种计算机可读存储介质，计算机可读存储介质用于存储指令/程序数据，指令/程序数据能够被执行以实现上述的图像去噪方法。

本发明的有益效果是：区别于现有技术的情况，本发明所提供的图像去噪方法，在对待处理噪声图像进行去噪处理时，先对图像进行深度去噪，得到一个噪声较小的平滑图像，再以平滑图像为引导图像，对比平滑图和待处理噪声图，进一步学习图像的细节信息和噪声信息，以对待处理噪声图进行精准去噪，能够在更好地去除噪声信息的同时保留更多的细节信息，能够解决真实场景的去噪问题。

附图说明

图1是本申请实施方式中一图像去噪方法的流程示意图；

图2是本申请实施方式中另一图像去噪方法的流程示意图；

图3是本申请实施方式中一卷积神经网络的结构示意图；

图4是本申请实施方式中一卷积神经网络的空间注意力机制连接的示意图；

图5是本申请实施方式中第四卷积神经网络的训练流程示意图；

图6是本申请实施方式中第四卷积神经网络和第二卷积神经网络的训练流程示意图；

图7是本申请实施方式中第一卷积神经网络训练流程示意图；

图8是本申请实施方式中又一图像去噪方法的流程示意图；

图9是本申请实施方式中图像去噪装置的结构示意图；

图10是本申请实施方式中图像去噪设备的结构示意图；

图11是本申请实施方式中计算机可读存储介质的结构示意图。

具体实施方式

为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。

本发明所提供的图像去噪方法，在对待处理噪声图像进行去噪处理时，先对图像进行深度去噪，得到一个噪声较小的平滑图像，再以平滑图像为引导图像，对比平滑图和待处理噪声图，进一步学习图像的细节信息和噪声信息，以对待处理噪声图进行精准去噪，能够在更好地去除噪声信息的同时保留更多的细节信息，能够解决真实场景的去噪问题。

请参阅图1，图1是本申请实施方式中一图像去噪方法的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。如图1所示，本实施方式包括：

S110：获取第一图像和第二图像。

第一图像是待处理噪声图，第二图像是对第一图像进行去噪处理得到的平滑图像。该平滑图像是指对第一图像进行了深度去噪得到的图像，深度去噪时不可避免地在去除噪声信息的同时去除了部分非噪声的细节信息，因此得到的第二图像较为平滑。而在此对具体的深度去噪方法不进行限定。

S130：将第二图像作为引导图像对第一图像进行引导去噪，得到去噪图。

对比第一图像和第二图像，第二图像相较第一图像失去了噪声信息和部分细节信息，因此，第二图像引导获取第一图像的细节信息和噪声信息，利用学习到的噪声信息对第一图像进行去噪处理，得到去噪图，去噪图相较第二图像保留了更多的细节信息。

本发明所提供的图像去噪方法，在对待处理噪声图像进行去噪处理时，先对图像进行深度去噪，得到一个噪声较小的平滑图像，再以平滑图像为引导图像，对比平滑图和待处理噪声图，进一步学习图像的细节信息和噪声信息，以对待处理噪声图进行精准去噪，能够在更好地去除噪声信息的同时保留更多的细节信息，能够解决真实场景的去噪问题。

请参阅图2，图2是本申请实施方式中另一图像去噪方法的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图2所示的流程顺序为限。如图2所示，本实施方式包括：

S210：获取第一图像。

第一图像是待处理噪声图，第一图像可以为RGB、YUV、RAW等图像格式。可以直接以当前图像格式进行去噪处理，也可以对第一图像进行图像格式转换后再进行去噪处理。

S230：对第一图像进行降维处理，得到第三图像。

该实施方式中，当第一图像为RGB、YUV格式的图像时，先对第一图像进行格式转换，将第一图像转换为更低维的图像，如将第一图像转换为RAW格式的图像。具体可以通过网络学习将RGB、YUV域的图像转到RAW域。也可以对第一图像进行逆图像信号处理，得到RAW格式的第三图像。

S250：对第三图像进行去噪和升维处理，得到第二图像。

将第一图像转回到RAW域后，在RAW域对第一图像进行深度去噪处理，即对第三图像进行深度去噪处理。具体可以通过网络学习对第三图像进行深度去噪处理。深度去噪后的平滑图像重新回到RGB域，可作为引导图像，对第一图像进行引导去噪。可以是通过一次网络学习同时对第三图像进行深度去噪和升维处理，直接得到RGB域的光滑图像；也可以是通过网络学习只对第三图像进行深度去噪处理，得到RAW域的平滑图像，再对RAW域的平滑图像进行升维处理，转换为RGB域的平滑图像(即第二图像)。

S270：将第二图像作为引导图像对第一图像进行引导去噪，得到去噪图。

将进行深度去噪处理得到的RGB域的平滑图像(即第二图像)作为引导图像，对第一图像进行引导去噪，对比学习第一图像中的噪声信息和细节信息，得到去噪图。具体可以通过网络学习对第一图像进行引导去噪处理，将第二图像引导第一图像经过去噪网络，得到去噪图。

例如，可以将经过ISP(Image Signal Processing，图像信号处理)处理过的YUV、RGB等格式的噪声图像Inoisy通过网络学习转到RAW域后进行初步去噪，经过初步的RAW域去噪后获得类bayer格式的RAW域图像Iraw_nr，Iraw_nr再经过常规的ISP处理重新回到RGB域获得Irgb_guide。可将Irgb_guide作为引导图像，引导噪声图Inoisy去噪得到最终的去噪图。此时可以将Irgb_guide引导噪声图Inoisy经过去噪网络，得到最终的去噪图。

在该实施方式中，通过先将RGB域的待处理噪声图转换回RAW域，在RAW域进行去噪，此时得到的图像是平滑且噪声很小，但保留了主要的细节信息，经过这类处理后的图像作为引导图，能够让去噪网络获得高泛化能力。在进行了深度去噪的基础上，在RGB域对比平滑图和待处理噪声图，进一步学习细节信息和噪声信息，以对待处理噪声图进行去噪。本申请结合RAW域和RGB域，进行由粗到细的去噪，能够更好地去除噪声信息，保留细节信息，同时，采用引导学习的方法，能够解决真实场景的去噪问题，解决去噪方法泛化能力差的问题。

在上述的方法中，可以通过网络学习对图像进行格式转换、去噪处理等。基于此，本发明提供一种卷积神经网络，请参阅图3，图3是本申请实施方式中一卷积神经网络的结构示意图。在本实施方式中，卷积神经网络为编码-解码的网络结构，即卷积神经网络包括编码层和解码层，编码层和解码层为对称的网络结构，该卷积神经网络可以更好地平衡细节信息和整体信息。

其中，D为编码层，可获取编码特征；其作用为更好地区分有效信息和伪影。E为解码层，可获取解码特征；其能够更好地重建细节，且使得平坦区域更光滑。

本申请的编码-解编码网络结构中的编码过程是基于一系列卷积-池化过程，其作用为特征提取，即获取局部特征，并做图片级分类。通过池化降采样可以增加对输入图像的一些小扰动的鲁棒性，比如图像平移，旋转等，减少过拟合的风险，降低运算量，和增加感受野的大小。

本申请的编码-解编码网络结构中的解码过程不同于直接将编码结构的输出层直接与解码结构上一层操作的输出层串联堆叠输入，本申请将对应的编码过程的输出通过一层卷积，获得与上一解码层相同的通道数的特征，将该特征与上一解码层输出相乘，获得空间注意力机制的连接。即本申请所提供的卷积神经网络，编码层和解码层以空间注意力机制的方式连接。该网络连接结构通过将对应编码结构的输出层作为信息补充，与上一层输出共同输入至卷积操作中，不仅能够用来减少因池化-上采样带来的信息损失问题，引导网络对边缘敏感，保留更多的边缘信息。还通过采用空间注意力连接代替常用的并联连接，能够在发挥补充信息的作用的同时，引导网络更关注梯度大的区域。该网络结构可用于图像超分、去噪、去模糊等像素级的计算机视觉任务中。

在一实施方式中，本申请进一步联合上一级更密集的语义特征和下一级更稀疏的语义特征相乘来获得加权注意机制的连接。即编码层和解码层以加权空间注意力机制的方式连接。

请继续参阅图3，本申请所提供的卷积神经网络中编码层和解码层至少包括三个不同层级的网络层，可获得不同等级的语义信息。例如，卷积神经网络具有四个编码层和解码层，分别为第一编码层D1、第二编码层D2、第三编码层D3和第四编码层D4。相对应地，卷积神经网络中有第四解码层E4、第三解码层E3、第二解码层E2和第一解码层E1。同一层次的编码层和解码层具有相同尺度的图像信息。本实施方式以包含四个不同层级的编码层和解码层为例进行说明，但不限于四个网络层。

编码层和解码层以加权空间注意力机制的方式连接具体包括：将待处理图像输入卷积神经网络，经过三次下采样，提取待处理图像四个层级的编码特征，经过相同尺度的上采样，提取对应尺度的四个层级的解码特征。将居间编码层输出的居间编码特征与相邻的上一层的编码特征和下一层的编码特征加权相加得到加权编码特征；同时将居间编码特征进行卷积操作得到卷积编码特征；将与居间编码层相对应的居间解码层的输入解码特征与加权编码特征相乘，相乘结果再与卷积编码特征相加得到加权解码特征，将加权解码特征作为居间解码层的输出，以实现编码层和解码层以空间注意力机制的方式连接。

其中，居间编码层包括除位于两端的编码层以外的任一编码层，居间解码层包括除位于两端的解码层以外的任一解码层。第二编码层D2和第三编码层D3都拥有上一层级和下一层级的编码层，因此将第二编码层D2和第三编码层D3称为居间编码层，同理第二解码层E2和第三解码层E3称为居间解码层。

请参阅图4，图4是本申请实施方式中一卷积神经网络的空间注意力机制连接的示意图。以第三编码层和第三解码层的空间注意力机制连接为例进行说明。

对第三编码层D3的特征进行步长为1的卷积操作，得到beta3；同时对第三编码层D3的特征进行步长为1的卷积操作，得到g3，对第二编码层的特征进行步长为2的卷积操作，得到g2，对第四编码层的特征进行补偿为2的反卷积操作，得到g4。g2，g3和g4都具有和第三编码层D3相同尺度的细节信息。将g2，g3和g4进行矩阵相加，得到加权编码特征。将加权编码特征与第三解码层E3的输入解码特征E_in_3进行矩阵点乘，点乘结果与beta3进行矩阵相加，得到第三解码层E3的输出解码特征E_out_3。输出解码特征E_out_3进行上采样操作，得到第二解码层E2的输入解码特征E_in_2。对第二编码层D2和第二解码层E2进行上述同样的空间注意力机制连接操作，得到第一解码层E1的输入解码特征E_in_1，将第一编码层D1的特征与第一解码层E1的输入解码特征E_in_1直接连接，输出得到去噪图。

具体地，本申请的空间注意连接方式可用如下公式表示：

E_out_x＝(1+gamma_x_-1+gamma_x_0+gamma_x_1)*E_x_0+beta_x_0，其中，

gamma_x_-1＝COVN_x_-1(D_x_-1)；

gamma_x_0＝COVN_x_0(D_x_0)；

gamma_x_1＝COVN_x_1(D_x_1)；

beta_0＝COVN_x(D_x_0)；

其中，公式中x表示不同层级的语义信息，如x为2时代表第二编码层和第二解码层的语义信息。公式中的-1,0,2代表的是与当前层级的相对关系，如D_x_0代表第二编码层的语义信息时，则D_x_-1代表第一编码层的语义信息，D_x_1代表第三编码层的语义信息。

在该实施方式中，使用加权空间注意力机制替代常用的skip connection连接方式，在发挥skip connection补充信息的作用的同时，还能够引导解码过程对边缘更加敏感。连接过程中使用三个层级的编码特征，gamma_x_-1相较于gamma_x_0拥有更多的细节，而gamma_x_1相较于gamma_x_0更稀疏，保留的都是更大的梯度信息。因此，此连接方式能够在解码过程含有更丰富的视野，帮助网络学习到重要的梯度信息，剔除噪声。

上述卷积神经网络可以用于对图像进行格式转换和/或去噪处理，具体地，将待处理图像输入卷积神经网络，提取待处理图像的编码特征和解码特征，输出处理后的图像。待处理图像可以是上文的第一图像和/或第二图像，对应地处理后的图像包括第二图像和/或去噪图。即，利用该卷积神经网络可以对第一图像进行格式转换和去噪处理，得到第二图像；对第二图像进行引导去噪处理，得到去噪图。通过调整卷积神经网络的输入和输出通道数，以及进行相应的模型训练，以对图像进行不同的处理操作。

在一实施方式中，可以使用上述卷积神经网络对第一图像进行降维处理，得到第三图像。具体地，将第一图像输入第四卷积神经网络，得到第三图像。第四卷积神经网络可以学习RGB域或YUV域图像逆ISP的过程来获得RAW数据。其输入是RGB域或YUV域的数据，其数据格式的主要特征为三通道；输出为RAW数据，其数据格式为单通道长宽保持不变，或4通道长宽是原来的二分之一。如输入的第一图像是大小为256*256*3的RGB图像，输出的第三图像可以是大小为256*256*1或256*256*4的RAW图像。

在利用第四卷积神经网络对第一图像进行降维处理前，先对第四卷积神经网络进行有监督的训练。请参阅图5，图5是本申请实施方式中第四卷积神经网络的训练流程示意图。

S510：获取样本图像。

样本图像包括噪声图像和低噪标准图像，噪声图像为作为第一图像的待处理噪声图，低噪标准图像为RAW格式的低噪图。低噪标准图像为噪声图像对应的低噪图，低噪图为基本没有噪声信息的光滑图像。

S530：建立训练损失函数对第四卷积神经网络进行训练。

利用RAW格式的低噪图对第四卷积神经网络进行有监督的训练，训练的损失函数为L1损失和全变分损失的加权求和。具体如下：

Totallos1＝L1_loss(第三图像,RAW格式的低噪图)+0.1*tv_loss(第三图像)。

在一实施方式中，可以使用上述卷积神经网络通过一次网络学习同时对第三图像进行去噪和升维处理，得到第二图像。具体地，将第三图像输入第二卷积神经网络，得到第二图像。第二卷积神经网络可以是学习去噪，同时进行ISP的过程，其数据格式输入为RAW，输出可以是RGB数据。如输入的第三图像是大小为256*256*4的RAW图像，输出的第二图像是大小为256*256*3的RGB图像。

第二卷积神经网络的训练可以独立完成，也可以联合第四卷积神经网络，对第二卷积神经网络和第四卷积神经网络一起进行训练。请参阅图6，图6是本申请实施方式中第四卷积神经网络和第二卷积神经网络的训练流程示意图。

S610：获取样本图像。

样本图像包括噪声图像和低噪标准图像，噪声图像为作为第一图像的待处理噪声图，低噪标准图像为RAW格式的低噪图和RGB格式的低噪图。低噪标准图像为噪声图像对应的低噪图。

S630：建立训练损失函数对第四卷积神经网络和第二卷积神经网络去噪进行训练。

若获取第三图像的过程为第四卷积神经网络和第二卷积神经网络结合，则利用RAW格式的低噪图和RGB格式的低噪图对第四卷积神经网络和第二卷积神经网络进行有监督的训练，训练的损失函数为L1损失和全变分损失的加权求和。具体如下：

Totallos2＝L1_loss(第三图像,RAW格式的低噪图)+0.1*tv_loss(第三图像)+L1_loss(第二图像,RGB格式的低噪图)。

该训练方式中，通过采用L1 loss损失函数和全变分损失来保证引导图(第二图像)的光滑性。

在一实施方式中，可以使用上述卷积神经网络通过一次网络学习仅对第三图像进行去噪处理，得到RAW格式的深度去噪图像。具体地，将RAW格式的第三图像输入第三卷积神经网络，学习第三图像的噪声信息，对第三图像进行去噪处理，输出RAW格式的第四图像。其数据格式输入为RAW，输出是RAW数据。如输入的第三图像是大小为256*256*4的RAW图像，输出的第四图像是大小为256*256*4的RAW图像。随后再对第四图像进行图像信号处理，得到RGB格式的第二图像，此时可以使用传统的图像信号处理流程对第四图像进行处理，也可以通过再建立神经网络结构对第四图像进行处理。同样的，第三卷积神经网络可以独立训练，也可以和第四卷积神经网络一起进行训练，训练方法与图5或图6所示方法相同，在此不再赘述。

在一实施方式中，可以使用上述卷积神经网络利用第二图像引导获取第一图像的细节信息和噪声信息，利用学习到的噪声信息对第一图像进行去噪处理，得到去噪图。具体地，如第一图像为大小为256*256*3的RGB图像，第二图像为大小为256*256*3的RGB图像，将第一图像和第二图像输入第一卷积神经网络，输出去噪图，去噪图为大小为256*256*3的RGB图像。

在此基础上，对使用的卷积神经网络进行有监督的训练。请参阅图7，图7是本申请实施方式中第一卷积神经网络训练流程示意图。

S710：获取样本图像。

样本图像包括噪声图像和低噪标准图像，其中，噪声图像包括作为第一图像的待处理噪声图作为第二图像的引导图。低噪标准图像为噪声图像对应的低噪图。

S730：建立训练损失函数对第一卷积神经网络进行训练。

将第一图像和第二图像输入第一卷积神经网络，输出得到去噪图，利用低噪标准图像对第一卷积神经网络进行有监督的训练，训练的损失函数为L1损失、全变分损失和感知损失的加权求和。具体如下：

Totallos3＝L1_loss(去噪图,低噪标准图像)+0.1*tv_loss(去噪图)+0.1*VGG_loss(去噪图,低噪标准图像)。

其中，采用的感知损失VGG loss是VGG的前四层输入。

在一实施方式中，将图5或图6所示方法中训练好的模型输出送入第一卷积神经网络，利用图7所示方法对第一卷积神经网络进行训练。

在本申请的模型训练过程中，采用L1损失和VGG感知损失学习从有噪声图到低噪声图的变换，同时使用全变分来保证去除图像中的伪影、伪色等异常值。

请参阅图8，图8是本申请实施方式中又一图像去噪方法的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图8所示的流程顺序为限。如图8所示，本实施方式包括：

S810：获取第一图像。

S830：将第一图像输入第四卷积神经网络，对第一图像进行降维处理，得到第三图像。

当同时对第三图像进行去噪和升维处理时，执行步骤S851，当分别对第三图像进行去噪和升维处理时，执行步骤S852。

S851：将第三图像输入第二卷积神经网络，对第三图像进行去噪和升维处理，得到第二图像。

S852：将第三图像输入第三卷积神经网络，对第三图像进行去噪，得到第四图像。

S853：对第四图像进行升维处理，得到第二图像。

S870：将第一图像和第二图像输入第一卷积神经网络，将第二图像作为引导图像对第一图像进行引导去噪，得到去噪图。

该实施方式中，通过在对待处理噪声图像进行去噪处理时，先使用卷积神经网络对图像进行降维的深度去噪，升维得到一个噪声较小的平滑图像，再以平滑图像为引导图像，对比平滑图和待处理噪声图，利用卷积神经网络进一步学习图像的细节信息和噪声信息，以对待处理噪声图进行精准去噪，使用加权注意力机制的神经网络结构可以更好的平衡细节和整体，同时引导去噪能够在更好地去除噪声信息的同时保留更多的细节信息，能够解决真实场景的去噪问题。

请参阅图9，图9是本申请实施方式中图像去噪装置的结构示意图。该实施方式中，图像去噪装置包括获取模块91和去噪模块92。

其中获取模块91用于获取第一图像和第二图像，第一图像是待处理噪声图，第二图像是对所述第一图像进行去噪处理得到的平滑图像；去噪模块92用于将所述第二图像作为引导图像对所述第一图像进行引导去噪，得到去噪图。通过在对待处理噪声图像进行去噪处理时，先对图像进行深度去噪，得到一个噪声较小的平滑图像，再以平滑图像为引导图像，对比平滑图和待处理噪声图，进一步学习图像的细节信息和噪声信息，以对待处理噪声图进行精准去噪，能够在更好地去除噪声信息的同时保留更多的细节信息，能够解决真实场景的去噪问题。

请参阅图10，图10是本申请实施方式中图像去噪设备的结构示意图。该实施方式中，图像去噪设备10包括处理器11。

处理器11还可以称为CPU(Central Processing Unit，中央处理单元)。处理器11可能是一种集成电路芯片，具有信号的处理能力。处理器11还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器11也可以是任何常规的处理器等。

图像去噪设备10可以进一步包括存储器(图中未示出)，用于存储处理器11运行所需的指令和数据。

处理器11用于执行指令以实现上述本申请图像去噪方法任一实施例及任意不冲突的组合所提供的方法。

请参阅图11，图11为本申请实施方式中计算机可读存储介质的结构示意图。本申请实施例的计算机可读存储介质12存储有指令/程序数据13，该指令/程序数据13被执行时实现本申请图像去噪方法任一实施例以及任意不冲突的组合所提供的方法。其中，该指令/程序数据13可以形成程序文件以软件产品的形式存储在上述计算机可读存储介质12中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质12包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (13)

1.一种图像去噪方法，其特征在于，所述方法包括：

获取第一图像和第二图像，所述第一图像是待处理噪声图，所述第二图像是对所述第一图像进行去噪处理得到的平滑图像；

将所述第二图像作为引导图像对所述第一图像进行引导去噪，得到去噪图。

2.根据权利要求1所述的图像去噪方法，其特征在于，所述将第二图像作为引导图像对所述第一图像进行引导去噪包括：

对比所述第一图像和所述第二图像，获取所述第一图像的细节信息和噪声信息；

对所述第一图像进行去噪处理，得到所述去噪图。

3.根据权利要求2所述的图像去噪方法，其特征在于，所述对比所述第一图像和所述第二图像，获取所述第一图像的细节信息和噪声信息包括：

将所述第一图像和所述第二图像输入第一卷积神经网络，学习所述第一图像的细节信息和噪声信息，对所述第一图像进行去噪处理，输出所述去噪图。

4.根据权利要求1所述的图像去噪方法，其特征在于，所述获取第二图像包括：

对所述第一图像进行降维处理，得到第三图像；

对所述第三图像进行去噪和升维处理，得到所述第二图像。

5.根据权利要求4所述的图像去噪方法，其特征在于，所述对所述第一图像进行降维处理，得到第三图像包括：

对所述第一图像进行逆图像信号处理，得到所述第三图像，所述第一图像为RGB或YUV格式的图像，所述第三图像为RAW格式的图像。

6.根据权利要求4或5所述的图像去噪方法，其特征在于，所述对第三图像进行去噪和升维处理，得到所述第二图像包括：

将所述第三图像输入第二卷积神经网络，学习所述第三图像的噪声信息，对所述第三图像进行去噪和升维处理，输出所述第二图像，所述第二图像为RGB或YUV格式的图像。

7.根据权利要求4或5所述的图像去噪方法，其特征在于，所述对第三图像进行去噪和升维处理，得到所述第二图像包括：

将所述第三图像输入第三卷积神经网络，学习所述第三图像的噪声信息，对所述第三图像进行去噪处理，输出第四图像；

对所述第四图像进行升维处理，得到所述第二图像。

8.根据权利要求7所述的图像去噪方法，其特征在于，所述对第四图像进行升维处理，得到所述第二图像包括：

对所述第四图像进行图像信号处理，得到所述第二图像，所述第四图像为RAW格式的图像，所述第二图像为RGB或YUV格式的图像。

9.根据权利要求1所述的图像去噪方法，其特征在于，所述方法包括：

将待处理图像输入卷积神经网络，提取所述待处理图像的编码特征和解码特征，输出处理后的图像，所述待处理图像包括第一图像和/或第二图像，所述处理后的图像包括第二图像和/或去噪图；

所述卷积神经网络包括编码层和解码层，所述编码层和所述解码层为对称的网络结构，所述编码层和所述解码层以空间注意力机制的方式连接。

10.根据权利要求9所述的图像去噪方法，其特征在于，所述编码层和所述解码层至少包括三个不同层级的网络层；

将居间编码层输出的居间编码特征与相邻的上一编码层输出的编码特征和下一编码层输出的编码特征加权相加得到加权编码特征；将所述居间编码特征进行卷积操作得到卷积编码特征；所述居间编码层包括除位于两端的编码层以外的任一编码层；

将输入居间解码层的解码特征与所述加权编码特征相乘后再与所述卷积编码特征相加得到加权解码特征，将所述加权解码特征作为所述居间解码层的输出，以实现所述编码层和所述解码层以空间注意力机制的方式连接，所述居间解码层包括除位于两端的解码层以外的任一解码层，且所述居间解码层与所述居间编码层相对应。

11.根据权利要求9所述的图像去噪方法，其特征在于，所述将待处理图像输入卷积神经网络之前包括：

获取样本图像，所述样本图像包括噪声图像和低噪标准图像；

利用所述噪声图像和所述低噪标准图像对所述神经网络进行有监督的训练；

训练的损失函数为L1损失和全变分损失的加权求和，或训练的损失函数为L1损失、全变分损失和感知损失的加权求和。

12.一种图像去噪设备，其特征在于，包括处理器，所述处理器用于执行指令以实现如权利要求1-11任一项所述的图像去噪方法。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储指令/程序数据，所述指令/程序数据能够被执行以实现如权利要求1-11任一项所述的图像去噪方法。

Images