CN113658073B - 图像去噪处理方法、装置、存储介质与电子设备 - Google Patents

Abstract

本公开提供一种图像去噪处理方法、装置、计算机可读存储介质与电子设备，涉及图像与视频处理技术领域。该图像去噪处理方法包括：获取当前图像以及当前图像的至少一帧参考图像；对当前图像进行金字塔分解，得到m个尺度的当前下采样图像，并根据不同尺度的当前下采样图像确定当前细节图像，对参考图像进行金字塔分解，得到m个尺度的参考下采样图像，并根据不同尺度的参考下采样图像确定参考细节图像，m为不小于2的正整数；将当前下采样图像与参考下采样图像融合为目标下采样图像，将当前细节图像与参考细节图像融合为目标细节图像；根据目标下采样图像与目标细节图像生成当前图像对应的去噪图像。本公开能够改善图像去噪效果。

Description

图像去噪处理方法、装置、存储介质与电子设备

技术领域

本公开涉及图像与视频处理技术领域，尤其涉及一种图像去噪处理方法、图像去噪处理装置、计算机可读存储介质与电子设备。

背景技术

图像去噪是指减少数字图像中噪声的处理技术。图像中噪声的来源通常是多方面的，包括图像采集过程中图像传感器的热噪声、暗电流噪声，图像传输过程中外部干扰导致的信号噪声等，因此，图像中噪声的类型通常也是多方面的，如高斯噪声、椒盐噪声等。

相关技术中，大多采用滤波等单一的方式进行图像去噪处理，无法针对到不同类型的噪声，导致去噪效果不佳。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域技术人员已知的现有技术的信息。

发明内容

本公开提供一种图像去噪处理方法、图像去噪处理装置、计算机可读存储介质与电子设备，进而至少在一定程度上解决相关技术中图像去噪效果不佳的问题。

根据本公开的第一方面，提供一种图像去噪处理方法，包括：获取当前图像以及所述当前图像的至少一帧参考图像；对所述当前图像进行金字塔分解，得到m个尺度的当前下采样图像，并根据不同尺度的当前下采样图像确定当前细节图像，对所述参考图像进行金字塔分解，得到所述m个尺度的参考下采样图像，并根据不同尺度的参考下采样图像确定参考细节图像，m为不小于2的正整数；将所述当前下采样图像与所述参考下采样图像融合为目标下采样图像，将所述当前细节图像与所述参考细节图像融合为目标细节图像；根据所述目标下采样图像与所述目标细节图像生成所述当前图像对应的去噪图像。

根据本公开的第二方面，提供一种图像去噪处理装置，包括：图像获取模块，被配置为获取当前图像以及所述当前图像的至少一帧参考图像；金字塔分解模块，被配置为对所述当前图像进行金字塔分解，得到m个尺度的当前下采样图像，并根据不同尺度的当前下采样图像确定当前细节图像，对所述参考图像进行金字塔分解，得到所述m个尺度的参考下采样图像，并根据不同尺度的参考下采样图像确定参考细节图像，m为不小于2的正整数；时域融合模块，被配置为将所述当前下采样图像与所述参考下采样图像融合为目标下采样图像，将所述当前细节图像与所述参考细节图像融合为目标细节图像；去噪图像生成模块，被配置为根据所述目标下采样图像与所述目标细节图像生成所述当前图像对应的去噪图像。

根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的图像去噪处理方法及其可能的实现方式。

根据本公开的第四方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述第一方面的图像去噪处理方法及其可能的实现方式。

本公开的技术方案具有以下有益效果：

本方案实现了多尺度去噪与时域去噪的联合，突破了单一去噪方式的局限，能够有效去除图像中不同类型、不同尺度的噪声，并消除帧间的随机噪声，改善去噪效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出本示例性实施方式中一种系统架构的示意图；

图2示出本示例性实施方式中一种电子设备的结构示意图；

图3示出本示例性实施方式中一种图像去噪处理方法的流程图；

图4示出本示例性实施方式中金字塔分解的示意图；

图5示出本示例性实施方式中获取运动信息的流程图；

图6示出本示例性实施方式中确定块运动信息与像素运动信息的示意性流程图；

图7示出本示例性实施方式中检测运动信息的示意性流程图；

图8示出本示例性实施方式中生成目标下采样图像与目标细节图像的流程图；

图9示出本示例性实施方式中融合当前下采样图像与参考下采样图像以及融合当前细节图像与参考细节图像的示意性流程图；

图10示出本示例性实施方式中融合当前下采样图像与参考下采样图像以及融合当前细节图像与参考细节图像的示意图；

图11示出本示例性实施方式中融合目标图像与去噪图像的流程图；

图12示出本示例性实施方式中图像去噪处理方法的示意性流程图；

图13示出本示例性实施方式中一种图像去噪处理装置的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

相关技术中，大多对单帧图像进行空域去噪，如采用高斯滤波等方式。去噪效果受限于滤波半径，可能遗留超出滤波半径尺度的低频噪声，且无法消除帧间的随机噪声，因此去噪效果较差。

鉴于上述问题，本公开的示例性实施方式提供一种图像去噪处理方法。下面结合图1对本示例性实施方式运行环境的系统架构与应用场景进行示例性说明。

图1示出了系统架构的示意图，该系统架构100可以包括终端110与服务器120。其中，终端110可以是智能手机、平板电脑、台式电脑、笔记本电脑等终端设备，服务器120泛指提供本示例性实施方式中图像去噪处理相关服务的后台系统，可以是一台服务器或多台服务器形成的集群。终端110与服务器120之间可以通过有线或无线的通信链路形成连接，以进行数据交互。

在一种实施方式中，可以由终端110执行本示例性实施方式中的图像去噪处理方法。例如，用户使用终端110拍摄视频或者用户在终端110的本地库中选取视频时，对视频中的一帧或多帧图像进行去噪处理，输出去噪后的视频。

在一种实施方式中，可以由服务器120可以执行图像去噪处理方法。例如，用户使用终端110拍摄视频或者用户在终端110的本地库中选取视频后，终端110将该视频上传至服务器120，由服务器120对该视频中的一帧或多帧图像进行去噪处理，向终端110返回去噪后的视频。

由上可知，本示例性实施方式中的图像去噪处理方法的执行主体可以是上述终端110或服务器120，本公开对此不做限定。

本公开的示例性实施方式还提供一种用于执行图像去噪处理方法的电子设备，该电子设备可以是上述终端110或服务器120。一般的，该电子设备可以包括处理器与存储器，存储器用于存储处理器的可执行指令，处理器配置为经由执行可执行指令来执行上述图像去噪处理方法。

下面以图2中的移动终端200为例，对该电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图2中的构造也能够应用于固定类型的设备。

如图2所示，移动终端200具体可以包括：处理器201、存储器202、总线203、移动通信模块204、天线1、无线通信模块205、天线2、显示屏206、摄像模块207、音频模块208、电源模块209与传感器模块210。

处理器201可以包括一个或多个处理单元，例如：处理器210可以包括AP(Application Processor，应用处理器)、调制解调处理器、GPU(Graphics ProcessingUnit，图形处理器)、ISP(Image Signal Processor，图像信号处理器)、控制器、编码器、解码器、DSP(Digital Signal Processor，数字信号处理器)、基带处理器和/或NPU(Neural-Network Processing Unit，神经网络处理器)等。本示例性实施方式中的图像去噪处理方法可以由AP、GPU或DSP来执行，当方法涉及到神经网络相关的处理时，可以由NPU来执行，例如NPU可以加载神经网络参数并执行神经网络相关的算法指令。

编码器可以对图像或视频进行编码(即压缩)，以减小数据大小，便于存储或发送。解码器可以对图像或视频的编码数据进行解码(即解压缩)，以还原出图像或视频数据。移动终端200可以支持一种或多种编码器和解码器。这样，移动终端200可以处理多种编码格式的图像或视频，例如：JPEG(Joint Photographic Experts Group，联合图像专家组)、PNG(Portable Network Graphics，便携式网络图形)、BMP(Bitmap，位图)等图像格式，MPEG(Moving Picture Experts Group，动态图像专家组)1、MPEG2、H.263、H.264、HEVC(HighEfficiency Video Coding，高效率视频编码)等视频格式。

处理器201可以通过总线203与存储器202或其他部件形成连接。

存储器202可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器201通过运行存储在存储器202的指令，执行移动终端200的各种功能应用以及数据处理。存储器202还可以存储应用数据，例如存储图像，视频等文件。

移动终端200的通信功能可以通过移动通信模块204、天线1、无线通信模块205、天线2、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块204可以提供应用在移动终端200上2G、3G、4G、5G等移动通信解决方案。无线通信模块205可以提供应用在移动终端200上的无线局域网、蓝牙、近场通信等无线通信解决方案。

显示屏206用于实现显示功能，如显示用户界面、图像、视频等。摄像模块207用于实现拍摄功能，如拍摄当前图像、视频等。音频模块208用于实现音频功能，如播放音频，采集语音等。电源模块209用于实现电源管理功能，如为电池充电、为设备供电、监测电池状态等。传感器模块210可以包括深度传感器2101、压力传感器2102、陀螺仪传感器2103、气压传感器2104等，以实现相应的感应检测功能。

下面结合图3对本示例性实施方式中的图像去噪处理方法进行说明，图3示出了该图像去噪处理方法的示例性流程，可以包括：

步骤S310，获取当前图像以及当前图像的至少一帧参考图像；

步骤S320，对当前图像进行金字塔分解，得到m个尺度的当前下采样图像，并根据不同尺度的当前下采样图像确定当前细节图像，对参考图像进行金字塔分解，得到m个尺度的参考下采样图像，并根据不同尺度的参考下采样图像确定参考细节图像，m为不小于2的正整数；

步骤S330，将当前下采样图像与参考下采样图像融合为目标下采样图像，将当前细节图像与参考细节图像融合为目标细节图像；

步骤S340，根据目标下采样图像与目标细节图像生成当前图像对应的去噪图像。

基于上述方法，实现了多尺度去噪与时域去噪的联合，突破了单一去噪方式的局限，能够有效去除图像中不同类型、不同尺度的噪声，并消除帧间的随机噪声，改善去噪效果。

下面对图3中的每个步骤进行具体说明。

参考图3，在步骤S310中，获取当前图像以及当前图像的至少一帧参考图像。

当前图像是需要进行去噪处理的图像。参考图像是与当前图像具有时空相关性，可提供去噪参考信息的图像。

本公开对于当前图像与参考图像的来源不做限定。在一种实施方式中，当前图像与参考图像可以是连续多帧图像中的不同帧图像，例如，对视频中的每一帧图像进行去噪处理时，可以将当前处理的一帧图像作为当前图像，将视频中当前图像的前一帧或多帧图像作为参考图像。

本公开对于参考图像的数量不做限定，一般来说，参考图像的数量越多，越有利于实现高质量的图像去噪处理，但是所需的计算量也越大，因此可以根据设备性能与实际场景需求确定参考图像的数量。示例性的，将当前图像表示为Img_Cur，获取其前n帧图像以作为参考图像，分别记为Img_Ref1，Img_Ref2，…，Img_Refn。

本公开对于当前图像与参考图像的颜色模式不做限定，当前图像与参考图像的颜色模式相同，例如可以采用RGB颜色模式，输入当前图像的RGB三通道数值与参考图像的RGB三通道数值以进行处理，也可以采用YUV颜色模式，输入当前图像的Y通道数值与参考图像的Y通道数值以进行处理，等等。

继续参考图3，在步骤S320中，对当前图像进行金字塔分解，得到m个尺度的当前下采样图像，并根据不同尺度的当前下采样图像确定当前细节图像，对参考图像进行金字塔分解，得到m个尺度的参考下采样图像，并根据不同尺度的参考下采样图像确定参考细节图像，m为不小于2的正整数。

金字塔分解是指将图像进行逐级下采样，以得到不同尺度的下采样图像。本示例性实施方式中，尺度的概念等同于图像的像素数，尺度越大，像素数越多，图像越清晰，细节越丰富；尺度越小，像素数越少，图像越模糊。

一般的，金字塔从底部向上，尺度越来越小，图像的像素数越来越少，细节信息越来越少。为便于区分，将当前图像对应的下采样图像称为当前下采样图像，参考图像对应的下采样图像称为参考下采样图像。图4示出了金字塔分解的示意图。设置m+1级的金字塔，底部为未经下采样的图像，即当前图像(或参考图像)，将当前图像的尺度称为原始尺度；将当前图像进行高斯滤波(也可以采用其他滤波方式，本公开不做具体限定)，再下采样至第1尺度，得到第1尺度的当前下采样图像(简称为第1当前下采样图像)；对第1当前下采样图像进行滤波并下采样至第2尺度，得到第2当前下采样图像；以此类推，直至得到第m当前下采样图像。第1尺度至第m尺度依次缩小，即第1当前下采样图像至第m当前下采样图像的像素数依次减少。

不同尺度的当前下采样图像具有不同的细节信息，因此通过提取不同尺度的当前下采样图像间的差异信息，可以得到目标图像对应的细节图像，称为当前细节图像。

在一种实施方式中，上述根据不同尺度的当前下采样图像确定当前细节图像，可以包括以下步骤：

将第i尺度的当前下采样图像上采样至第i-1尺度，得到第i-1尺度的当前上采样图像，并根据第i-1尺度的当前下采样图像与第i-1尺度的当前上采样图像间的差别确定第i-1尺度的当前细节图像，i为[2,m]内的任意正整数。

其中，第i尺度的当前下采样图像可表示第2当前下采样图像至第m当前下采样图像中的任意图像。将第i当前下采样图像上采样至第i-1尺度，可以恢复图像的像素数，却无法完全恢复出细节信息，即第i-1尺度的当前上采样图像(简称为第i-1当前上采样图像)是相比于第i-1当前下采样图像，缺少细节信息，两图像间的差别即为细节信息。具体地，将第i-1当前下采样图像与第i-1当前上采样图像进行像素级相减，得到第i-1尺度的当前细节图像(简称为第i-1当前细节图像)。

在一种实施方式中，对于第1当前下采样图像，可以继续将其上采样至当前图像所在的原始尺度，得到原始尺度的当前上采样图像，其与当前图像的像素数相同，然后根据当前图像与原始尺度的当前上采样图像间的差别确定原始尺度的当前细节图像。

参考图4所示，将第m当前下采样图像上采样至第m-1尺度并进行高斯滤波，得到第m-1当前上采样图像；将第m-1当前下采样图像上采样至第m-2尺度并进行高斯滤波，得到第m-2当前上采样图像；以此类推，直至得到第1当前下采样图像。进一步的，还可以将第1当前下采样图像上采样至原始尺度并进行高斯滤波，得到原始尺度的当前上采样图像。将第m-1当前下采样图像与第m-1当前上采样图像相减，得到第m-1当前细节图像；同理可得第m-2当前细节图像至第1当前细节图像。进一步的，还可以将当前图像与原始尺度的当前上采样图像相减，得到原始尺度的当前细节图像。

示例性的，对当前图像Img_Cur进行步骤S320的处理后，可以得到m张当前下采样图像，记为Cur_G_Pyrd[1]、Cur_G_Pyrd[2]、…、Cur_G_Pyrd[m]，以及m张当前细节图像，记为Cur_L_Pyrd[0](原始尺度的当前细节图像)、Cur_L_Pyrd[1]、…、Cur_L_Pyrd[m-1]。

针对参考图像，可采用与当前图像相同的处理方式，得到参考下采样图像以及参考图像对应的细节图像，称为参考细节图像。示例性的，以Img_Refj(j∈[1,n])表示任一张参考图像，可以得到m张参考下采样图像，记为Refj_G_Pyrd[1]、Refj_G_Pyrd[2]、…、Refj_G_Pyrd[m]，以及m张参考细节图像，记为Refj_L_Pyrd[0](原始尺度的参考细节图像)、Refj_L_Pyrd[1]、…、Refj_L_Pyrd[m-1]。

在一种实施方式中，在对当前图像进行金字塔分解之前，可以先对当前图像进行空域去噪，进而对空域去噪后的当前图像进行金字塔分解。空域去噪指基于当前图像中的空域信息进行单帧去噪。本公开对空域去噪的具体方式不做限定，例如可以采用NLM(Non-Local Mean，非局部均值)算法，也可以采用保边滤波(具体包括双边滤波，导向滤波等)等方式进行空域去噪。

在一种实施方式中，在对参考图像进行金字塔分解之前，可以先对参考图像进行空域去噪，进而对空域去噪后的参考图像进行金字塔分解。对参考图像进行空域去噪的具体方式，可以参考上述对当前图像进行空域去噪的内容。

继续参考图3，在步骤S330中，将当前下采样图像与参考下采样图像融合为目标下采样图像，将当前细节图像与参考细节图像融合为目标细节图像。

将当前下采样图像与参考下采样图像融合，实质上是利用参考下采样图像对当前下采样图像进行时域去噪。一般的，可以将当前下采样图像与参考下采样图像进行对应区域或像素的融合，以实现多帧时域范围内的平滑处理，降低帧间的随机噪声。同理，通过将当前细节图像与参考细节图像进行融合，实现对当前细节图像的时域去噪。

在一种实施方式中，图像去噪处理方法还可以包括以下步骤：

根据当前图像与参考图像间的差别确定当前图像的运动信息。

进而，在步骤S330中，可以基于运动信息，将当前下采样图像与参考下采样图像融合为目标下采样图像，以及将当前细节图像与参考细节图像融合为目标细节图像。

运动信息表示当前图像中的拍摄内容(如人、动物、建筑等)相对于参考图像的运动程度。一般的，当前图像与参考图像间的差别越大，表示运动程度越高，在步骤S330中进行融合时参考下采样图像与参考细节图像所占的权重越低；当前图像与参考图像间的差别越小，表示运动程度越低，在步骤S330中进行融合时参考下采样图像与参考细节图像所占的权重越高。

在一种实施方式中，运行信息可以表示当前图像中不同部分的拍摄内容相对于参考图像的运动程度。也就是说，对于当前图像中的不同部分，可以确定不同的运动程度，进而在进行上述融合时可以设置不同的权重。示例性的，可以将运动信息通过运动图像(motion map)的方式加以表示，运动图像可以与当前图像、参考图像的像素数相同，每个像素点表示当前图像中对应像素点的运动程度。

在一种实施方式中，参考图5所示，上述根据当前图像与参考图像间的差别确定当前图像的运动信息，可以包括以下步骤S510至S530：

步骤S510，将当前图像与参考图像均划分为多个图像块，根据当前图像的图像块与参考图像的图像块间的差别，确定块运动信息。

本公开对于划分图像块的具体方式不做限定，例如可以根据当前图像中的颜色分布，将颜色相近的部分划入同一图像块中，或者对当前图像进行边缘检测，根据检测到的边缘划分图像块。参考图6所示，在确定当前图像中的图像块后，采用相同的划分位置对参考图像进行图像块的划分，即当前图像与参考图像中的图像块是一一对应的。针对当前图像中的图像块，计算其与参考图像中对应图像块间的差别，包括但不限于图像块的最大像素值、平均像素值、像素值方差等的差别，可以综合多个指标值的差别确定能够表示图像块整体差别程度的数值(例如可以对两图像块的最大像素值差值、平均像素值差值、像素值方差的差值进行加权平均)，反映了该图像块的运动程度，例如图6中示出图像块的运动程度数值为3；基于同样的方式，可以对当前图像中的每个图像块计算运动程度数值，最后得到以图像块为单位的运动信息，即块运动信息。

在一种实施方式中，如果获取多帧参考图像，即n≥2，分别根据当前图像的图像块与每一帧参考图像的图像块间的差别，确定n帧参考图像对应的n组块运动信息，再将n组块运动信息融合为一组块运动信息，如可以对相同位置图像块的运动程度数值进行最大值融合、平均值融合等。

在一种实施方式中，为便于后续处理，在计算出当前图像的图像块与参考图像的图像块的差值(如可以是上述最大像素值差值、平均像素值差值、像素值方差的差值的加权平均结果)后，可以将图像块差值进行数值映射，映射方式包括但不限于：线性映射，硬阈值线性映射，区间映射等。示例性的，可以通过硬阈值线性映射，将图像块差值映射至标准化的运动程度数值区间(如可以是[0,1])。

步骤S520，根据当前图像的像素值与参考图像的像素值间的差别，确定像素运动信息。

参考图6所示，像素运动信息可视为块运动信息的一种特殊形式，当以每个像素点为一个图像块时，所得到的块运动信息即为像素运动信息。可见，像素运动信息是以像素点为单位的运动信息。一般的，将当前图像中每个像素点的像素值与参考图像中对应像素点的像素值相减，将差值的绝对值作为每个像素点的运动程度数值，由此得到像素运动信息。图6中示出部分像素点的运动程度数值，相比于图像块的运动程度数值，能够实现更加精细的区分。

在一种实施方式中，如果获取多帧参考图像，即n≥2，分别根据当前图像与每一帧参考图像的像素值差别，确定n帧参考图像对应的n组像素运动信息，再将n组像素运动信息融合为一组像素运动信息，如可以对相同位置像素点的运动程度数值进行最大值融合、平均值融合等。

在一种实施方式中，为便于后续处理，在计算出当前图像与参考图像的像素值差值后，也可以将像素值差值进行数值映射，映射方式包括但不限于：线性映射，硬阈值线性映射，区间映射等。应当理解，对像素值差值的映射方式与上述对图像块差值的映射方式可以相同，也可以不同。示例性的，可以通过硬阈值线性映射，将像素值差值映射至标准化的运动程度数值区间(如可以是[0,1])，其阈值可以不同于上述对图像块差值进行硬阈值线性映射的阈值。

步骤S530，融合块运动信息与像素运动信息，得到当前图像的运动信息。

块运动信息与像素运动信息是不同尺度上的运动程度信息，块运动信息较为稳定，像素运动信息较为精细。一般的，可以将块运动信息与像素运动信息中相同位置的像素值进行融合，如可以采用采用最大值融合、平均值融合等方式，将融合结果作为当前图像的运动信息。

图7示出了检测运动信息的示意性流程。输入当前图像与参考图像，一方面计算当前图像与参考图像的图像块差值，并通过数值映射将图像块差值映射为块运动信息，另一方面计算当前图像与参考图像的像素值差值，并通过数值映射将像素值差值映射为像素运动信息，再通过融合块运动信息与像素运动信息，输出当前图像的运动信息。

通过从图像块与像素点两个方面确定运动信息并进行融合，能够得到更为全面的运动信息，有利于实现更加高质量的时域去噪。

在一种实施方式中，参考图8所示，上述基于运动信息，将当前下采样图像与参考下采样图像融合为目标下采样图像，以及将当前细节图像与参考细节图像融合为目标细节图像，可以包括以下步骤S810至S830：

步骤S810，根据当前图像与参考图像的帧间距离确定帧融合权重。

由上可知，当获取多帧参考图像时，对每一帧参考图像均进行金字塔分解，得到对应的参考下采样图像与参考细节图像。在进行时域去噪时，考虑不同帧参考图像与当前图像的相关性，为不同帧参考图像设置不同的帧融合权重，相关性越高，参考图像对应的参考下采样图像与参考细节图像所占的权重越大。本示例性实施方式将帧间距离作为相关性考量的主要因素，帧间距离可以是参考图像与当前图像的时间戳距离，通常也等同于参考图像与当前图像之间相差的帧数。示例性的，可以将当前图像与每一帧参考图像的帧间距离的倒数进行归一化，以作为每一帧参考图像对应的帧融合权重。

步骤S820，根据运动信息确定像素融合权重。

像素融合权重表示将参考下采样图像向当前下采样图像融合时的像素级权重，以及将参考细节图像向当前细节图像融合时的像素级权重。运动信息包含了像素级的运动程度数值，一般来说，运动程度数值越大，对应的像素融合权重越小。因此可以将运动信息进行数值映射，如可以采用硬阈值映射，将运动信息中的运动程度数值通过负相关的映射关系映射至权重的数值区间内，得到像素融合权重。示例性的，将运动信息中各像素点的运动程度数值取倒数，然后将小于硬阈值的倒数值映射为0，将大于硬阈值的倒数值线性映射至[0,1]内，从而得到像素融合权重。

步骤S830，基于帧融合权重与像素融合权重，将当前下采样图像与参考下采样图像融合为目标下采样图像，以及将当前细节图像与参考细节图像融合为目标细节图像。

帧融合权重为针对整张参考图像的权重，像素融合权重是细分至像素级的权重。可以将帧融合权重与像素融合权重进行结合，得到不同帧参考图像中不同像素点的融合权重。示例性的，可以将每一帧参考图像对应的帧融合权重与像素融合权重进行点乘(即相同位置的像素点相乘)，得到每一帧参考图像对应的像素融合权重。然后利用每一帧参考图像对应的像素融合权重，将对应的参考下采样图像融合至当前下采样图像，以及将对应的参考细节图像融合至当前细节图像。

在一种实施方式中，可以采用Alpha混合(透明度混合)来实现步骤S830中的融合，例如，得到每一帧参考图像对应的像素融合权重，分别将当前下采样图像与每一帧参考图像对应的参考下采样图像进行融合，融合时对参考下采样图像中的像素值采用像素融合权重，对当前下采样图像中的像素值采用1与像素融合权重的差值作为权重，对当前细节图像与参考细节图像的融合同理。

图9示出了融合当前下采样图像与参考下采样图像以及融合当前细节图像与参考细节图像的示意性流程图。根据当前图像与参考图像的帧间距离确定每一帧的帧融合权重，根据当前图像的运动信息确定像素融合权重，将帧融合权重与像素融合权重合并，得到每一帧的像素融合权重。再利用每一帧的像素融合权重，对当前下采样图像与参考下采样图像进行融合，得到目标下采样图像，以及对当前细节图像与参考细节图像进行融合，得到目标细节图像。

通过运动信息来指导时域去噪，能够去除各尺度的噪声，同时准确定位“鬼影”位置，减少图像融合时产生的“鬼影”现象。

在一种实施方式中，上述将当前下采样图像与参考下采样图像融合为目标下采样图像，将当前细节图像与参考细节图像融合为目标细节图像，可以包括以下步骤：

将第m尺度的当前下采样图像与第m尺度的参考下采样图像融合为第m尺度的目标下采样图像；

分别将第1尺度至第m-1尺度中每个尺度的当前细节图像与参考细节图像进行融合，得到第1尺度至第m-1尺度的目标细节图像。

参考图10所示，可以仅将第m当前下采样图像与第m参考下采样图像进行融合，得到第m尺度的目标下采样图像(简称为第m目标下采样图像)。对第m-1尺度等其他尺度的当前下采样图像与参考下采样图像不进行处理。实际上，可以不使用第1尺度至第m-1尺度的当前下采样图像与参考下采样图像，因此在步骤S320中，输出第m当前下采样图像与第m参考下采样图像即可。对于当前细节图像与参考细节图像，则可以在第1尺度至第m-1尺度上分别进行融合，具体地，将第1当前细节图像与第1参考细节图像融合为第1尺度的目标细节图像(简称为第1目标细节图像)，将第2当前细节图像与第2参考细节图像融合为第2目标细节图像，…，将第m-1当前细节图像与第m-1参考细节图像融合为第m-1目标细节图像。

在一种实施方式中，还可以将原始尺度的当前细节图像与原始尺度的参考细节图像融合为原始尺度的目标细节图像，以提供原始尺度的细节信息。

在一种实施方式中，上述根据目标下采样图像与目标细节图像生成当前图像对应的去噪图像，可以包括以下步骤：

将第m尺度的目标下采样图像与第1尺度至第m-1尺度的目标细节图像进行金字塔融合，得到去噪图像。

具体地，可以将第m尺度的目标下采样图像上采样至第m-1尺度(在上采样后还可以进行高斯滤波，但本公对此不做限定)，得到第m-1尺度的目标上采样图像(简称为第m-1目标上采样图像)，然后将第m-1目标上采样图像与第m-1目标细节图像相加，得到第m-1尺度的恢复图像(简称为第m-1恢复图像)；再将第m-1恢复图像上采样至第m-2尺度，得到第m-2目标上采样图像，并与第m-1目标细节图像相加，得到第m-1恢复图像；以此类推，直至在第1尺度上，将第1目标上采样图像与第1目标细节图像相加得到第1恢复图像。进一步的，可以将第1恢复图像上采样至原始尺度，得到去噪图像，或者将第1恢复图像上采样至原始尺度后与原始尺度的目标细节图像相加，得到去噪图像。由此，通过逐级与目标细节图像相加的方式，一定程度上恢复了当前图像中的细节信息。

一般的，在进行去噪时，不可避免地会损失图像的细节信息。在一种实施方式中，为了改善细节信息损失的问题，参考图11所示，在得到去噪图像后，图像去噪处理方法还可以包括以下步骤S1110与S1120：

步骤S1110，获取目标图像中的非平坦区域信息；

步骤S1120，利用非平坦区域信息融合目标图像与去噪图像，得到输出图像。

图像中平坦区域与非平坦区域是一组相对的概念，某个区域的图像内容变化越大，图像信号的频率越高，该区域越“不平坦”，可能被划分为非平坦区域。举例来说，可以对图像中的不同区域计算平坦度(或非平坦度，非平坦度可以是1减去平坦度)，平坦度低于预定阈值(或非平坦度高于预定阈值)的区域为非平坦区域；或者，检测图像中的特殊区域，如边缘区域、角点区域等，将其确定为非平坦区域。非平坦区域信息可以包括非平坦区域的位置、平坦度(或非平坦度)等。

非平坦区域是细节较为丰富的区域，在进行去噪时，非平坦区域损失的细节信息相对较多。因此，可以将当前图像中的非平坦区域融合至去噪图像中的对应区域，以恢复非平坦区域的细节信息。利用非平坦区域信息可以实现融合，举例来说，非平坦区域信息可以包括当前图像中不同区域的非平坦度，对于非平坦度低于预定阈值的区域，将其融合权重设为0，对于非平坦度不低于预定阈值的区域，通过数值映射将非平坦度映射为[0,1]内的融合权重。所确定的融合权重为针对当前图像的融合权重。进而，通过该融合权重，将当前图像融合至去噪图像，以实现去噪图像的细节增强。

图12示出了本示例性实施方式中图像去噪处理方法的示意性流程，包括：

步骤S1210，将当前图像进行空域去噪，再进行金字塔分解，得到当前下采样图像与当前细节图像；将参考图像进行空域去噪，再进行金字塔分解，得到参考下采样图像与参考细节图像。

步骤S1220，基于当前图像与参考图像的差别进行运动检测，得到当前图像的运动信息。

步骤S1230，基于运动信息，将当前下采样图像与参考下采样图像融合为目标下采样图像，以实现对当前下采样图像的时域去噪，将当前细节图像与参考细节图像融合为目标细节图像，以实现对当前细节图像的时域去噪。

步骤S1240，将目标下采样图像与目标细节图像进行逐级的金字塔融合，得到去噪图像。

步骤S1250，将当前图像与去噪图像进行融合，得到输出图像，为当前图像经过完整去噪处理后输出的图像。

图12所示的流程结合了空域去噪、时域去噪与多尺度去噪，能够显著地改善图像去噪效果。

本公开的示例性实施方式还提供一种图像去噪处理装置。参考图13所示，该图像去噪处理装置1300可以包括：

图像获取模块1310，被配置为获取当前图像以及当前图像的至少一帧参考图像；

金字塔分解模块1320，被配置为对当前图像进行金字塔分解，得到m个尺度的当前下采样图像，并根据不同尺度的当前下采样图像确定当前细节图像，对参考图像进行金字塔分解，得到m个尺度的参考下采样图像，并根据不同尺度的参考下采样图像确定参考细节图像，m为不小于2的正整数；

时域融合模块1330，被配置为将当前下采样图像与参考下采样图像融合为目标下采样图像，将当前细节图像与参考细节图像融合为目标细节图像；

去噪图像生成模块1340，被配置为根据目标下采样图像与目标细节图像生成当前图像对应的去噪图像。

在一种实施方式中，上述m个尺度依次缩小。上述根据不同尺度的当前下采样图像确定当前细节图像，可以包括：

将第i尺度的当前下采样图像上采样至第i-1尺度，得到第i-1尺度的当前上采样图像，并根据第i-1尺度的当前下采样图像与第i-1尺度的当前上采样图像间的差别确定第i-1尺度的当前细节图像，i为[2,m]内的任意正整数。

在一种实施方式中，上述将当前下采样图像与参考下采样图像融合为目标下采样图像，将当前细节图像与参考细节图像融合为目标细节图像，可以包括：

将第m尺度的当前下采样图像与第m尺度的参考下采样图像融合为第m尺度的目标下采样图像；

分别将第1尺度至第m-1尺度中每个尺度的当前细节图像与参考细节图像进行融合，得到第1尺度至第m-1尺度的目标细节图像。

在一种实施方式中，上述根据目标下采样图像与目标细节图像生成当前图像对应的去噪图像，可以包括：

将第m尺度的目标下采样图像与第1尺度至第m-1尺度的目标细节图像进行金字塔融合，得到去噪图像。

在一种实施方式中，图像去噪处理装置1300还可以包括运动检测模块，被配置为：

根据当前图像与参考图像间的差别确定当前图像的运动信息。

上述将当前下采样图像与参考下采样图像融合为目标下采样图像，将当前细节图像与参考细节图像融合为目标细节图像，可以包括：

基于运动信息，将当前下采样图像与参考下采样图像融合为目标下采样图像，以及将当前细节图像与参考细节图像融合为目标细节图像。

在一种实施方式中，上述根据当前图像与参考图像间的差别确定当前图像的运动信息，可以包括：

将当前图像与参考图像均划分为多个图像块，根据当前图像的图像块与参考图像的图像块间的差别，确定块运动信息；

根据当前图像的像素值与参考图像的像素值间的差别，确定像素运动信息；

融合块运动信息与像素运动信息，得到当前图像的运动信息。

在一种实施方式中，上述基于运动信息，将当前下采样图像与参考下采样图像融合为目标下采样图像，以及将当前细节图像与参考细节图像融合为目标细节图像，可以包括：

根据当前图像与参考图像的帧间距离确定帧融合权重；

根据运动信息确定像素融合权重；

基于帧融合权重与像素融合权重，将当前下采样图像与参考下采样图像融合为目标下采样图像，以及将当前细节图像与参考细节图像融合为目标细节图像。

在一种实施方式中，图像去噪处理装置1300还可以包括空域去噪模块，被配置为：

在金字塔分解模块1320对当前图像进行金字塔分解之前，对当前图像进行空域去噪。

在一种实施方式中，去噪图像生成模块1340，还被配置为：

获取目标图像中的非平坦区域信息；

利用非平坦区域信息融合目标图像与去噪图像，得到输出图像。

上述装置中各部分的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。

本公开的示例性实施方式还提供了一种计算机可读存储介质，可以实现为一种程序产品的形式，其包括程序代码，当程序产品在电子设备上运行时，程序代码用于使电子设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。在一种可选的实施方式中，该程序产品可以实现为便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在电子设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的示例性实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方式。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限定。

Claims (12)

1.一种图像去噪处理方法，其特征在于，包括：

获取当前图像以及所述当前图像的至少一帧参考图像；

对所述当前图像进行金字塔分解，得到m个尺度的当前下采样图像，并根据不同尺度的当前下采样图像确定当前细节图像，对所述参考图像进行金字塔分解，得到所述m个尺度的参考下采样图像，并根据不同尺度的参考下采样图像确定参考细节图像，m为不小于2的正整数；

将所述当前下采样图像与所述参考下采样图像融合为目标下采样图像，将所述当前细节图像与所述参考细节图像融合为目标细节图像；

根据所述目标下采样图像与所述目标细节图像生成所述当前图像对应的去噪图像。

2.根据权利要求1所述的方法，其特征在于，所述m个尺度依次缩小；所述根据不同尺度的当前下采样图像确定当前细节图像，包括：

将第i尺度的当前下采样图像上采样至第i-1尺度，得到第i-1尺度的当前上采样图像，并根据第i-1尺度的当前下采样图像与第i-1尺度的当前上采样图像间的差别确定第i-1尺度的当前细节图像，i为[2,m]内的任意正整数。

3.根据权利要求2所述的方法，其特征在于，所述将所述当前下采样图像与所述参考下采样图像融合为目标下采样图像，将所述当前细节图像与所述参考细节图像融合为目标细节图像，包括：

将第m尺度的当前下采样图像与第m尺度的参考下采样图像融合为第m尺度的目标下采样图像；

分别将第1尺度至第m-1尺度中每个尺度的当前细节图像与参考细节图像进行融合，得到第1尺度至第m-1尺度的目标细节图像。

4.根据权利要求3所述的方法，其特征在于，所述根据所述目标下采样图像与所述目标细节图像生成所述当前图像对应的去噪图像，包括：

将第m尺度的目标下采样图像与第1尺度至第m-1尺度的目标细节图像进行金字塔融合，得到所述去噪图像。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述当前图像与所述参考图像间的差别确定所述当前图像的运动信息；

所述将所述当前下采样图像与所述参考下采样图像融合为目标下采样图像，将所述当前细节图像与所述参考细节图像融合为目标细节图像，包括：

基于所述运动信息，将所述当前下采样图像与所述参考下采样图像融合为目标下采样图像，以及将所述当前细节图像与所述参考细节图像融合为目标细节图像。

6.根据权利要求5所述的方法，其特征在于，所述根据所述当前图像与所述参考图像间的差别确定所述当前图像的运动信息，包括：

将所述当前图像与所述参考图像均划分为多个图像块，根据所述当前图像的图像块与所述参考图像的图像块间的差别，确定块运动信息；

根据所述当前图像的像素值与所述参考图像的像素值间的差别，确定像素运动信息；

融合所述块运动信息与所述像素运动信息，得到所述当前图像的运动信息。

7.根据权利要求5所述的方法，其特征在于，所述基于所述运动信息，将所述当前下采样图像与所述参考下采样图像融合为目标下采样图像，以及将所述当前细节图像与所述参考细节图像融合为目标细节图像，包括：

根据所述当前图像与所述参考图像的帧间距离确定帧融合权重；

根据所述运动信息确定像素融合权重；

基于所述帧融合权重与所述像素融合权重，将所述当前下采样图像与所述参考下采样图像融合为目标下采样图像，以及将所述当前细节图像与所述参考细节图像融合为目标细节图像。

8.根据权利要求1所述的方法，其特征在于，在对所述当前图像进行金字塔分解之前，所述方法还包括：

对所述当前图像进行空域去噪。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述目标图像中的非平坦区域信息；

利用所述非平坦区域信息融合所述目标图像与所述去噪图像，得到输出图像。

10.一种图像去噪处理装置，其特征在于，包括：

图像获取模块，被配置为获取当前图像以及所述当前图像的至少一帧参考图像；

金字塔分解模块，被配置为对所述当前图像进行金字塔分解，得到m个尺度的当前下采样图像，并根据不同尺度的当前下采样图像确定当前细节图像，对所述参考图像进行金字塔分解，得到所述m个尺度的参考下采样图像，并根据不同尺度的参考下采样图像确定参考细节图像，m为不小于2的正整数；

时域融合模块，被配置为将所述当前下采样图像与所述参考下采样图像融合为目标下采样图像，将所述当前细节图像与所述参考细节图像融合为目标细节图像；

去噪图像生成模块，被配置为根据所述目标下采样图像与所述目标细节图像生成所述当前图像对应的去噪图像。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9任一项所述的方法。

12.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至9任一项所述的方法。