CN115797194A - 图像降噪方法、装置、电子设备、存储介质和程序产品 - Google Patents

Abstract

本申请涉及一种图像降噪方法、装置、电子设备、存储介质和程序产品，所述方法包括：获取包含参考帧图像和多个非参考帧图像的多帧图像，并按照相同的划分策略将多帧图像分别划分为多个图像块，同一帧图像中相邻的图像块存在重叠区域。进一步地，对于参考帧图像的各个图像块，确定各个非参考帧图像中分别与图像块对应的目标块，并根据各个非参考帧图像中的目标块对图像块进行降噪处理，得到降噪图像块。进一步地，根据各个降噪图像块的重叠区域对各个降噪图像块进行合并，得到降噪图像。本申请实施例有利于提高图像降噪处理后的图像解析力。

Description

图像降噪方法、装置、电子设备、存储介质和程序产品

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像降噪方法、装置、电子设备、存储介质和程序产品。

背景技术

随着图像信号处理(Image Signal Process，ISP)技术的发展，出现了多帧降噪(Mutil-frame Noise Reduction，MFNR)技术，用于滤除图像的噪声。

传统技术中，通过将多帧图像分别划分为多个图像块，然后根据每帧图像的每个对应图像块之间的相似度进行加权融合降噪，其中，相似度越大的图像块的融合权重越大。

然而，传统技术处理后的图像的解析力不足。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提升图像解析力的图像降噪方法、装置、电子设备、存储介质和程序产品。

第一方面，本申请提供了一种图像降噪方法，所述方法包括：

获取多帧图像，多帧图像包括：参考帧图像和多个非参考帧图像；

按照相同的划分策略将多帧图像分别划分为多个图像块，且，同一帧图像中相邻的图像块存在重叠区域；

对于参考帧图像的各个图像块，确定各个非参考帧图像中分别与图像块对应的目标块，并根据各个非参考帧图像中的目标块对图像块进行降噪处理，得到降噪图像块；

根据各个降噪图像块的重叠区域对各个降噪图像块进行合并，得到降噪图像。

第二方面，本申请还提供了一种图像降噪装置，所述装置包括：

获取模块，用于获取多帧图像，多帧图像包括：参考帧图像和多个非参考帧图像；

划分模块，用于按照相同的划分策略将多帧图像分别划分为多个图像块，且，同一帧图像中相邻的图像块存在重叠区域；

确定模块，用于对于参考帧图像的各个图像块，确定各个非参考帧图像中分别与图像块对应的目标块；

降噪模块，用于根据各个非参考帧图像中的目标块对图像块进行降噪处理，得到降噪图像块；

合并模块，用于根据各个降噪图像块的重叠区域对各个降噪图像块进行合并，得到降噪图像。

第三方面，本申请还提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法的步骤。

第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法的步骤。

第五方面，本申请还提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现上述第一方面所述的方法的步骤。

上述图像降噪方法、装置、电子设备、存储介质和程序产品，通过获取包含参考帧图像和多个非参考帧图像的多帧图像，并按照相同的划分策略将多帧图像分别划分为多个图像块，其中，同一帧图像中相邻的图像块存在重叠区域。进一步地，对于参考帧图像的各个图像块，确定各个非参考帧图像中分别与图像块对应的目标块，并根据各个非参考帧图像中的目标块对图像块进行降噪处理，得到降噪图像块。进一步地，根据各个降噪图像块的重叠区域对各个降噪图像块进行合并，得到降噪图像。可见，本申请实施例中，一方面通过上述划分策略将多帧图像分别划分为多个图像块的方式，可以根据面积扩大后的多个非参考帧图像对面积扩大后的参考帧图像进行图像降噪处理，另一方面通过对参考帧图像中的任意图像块进行降噪处理时是根据各个非参考帧图像中与该图像块对应的目标块的信息进行降噪的，因此，有利于提高图像降噪处理后的图像解析力。

附图说明

图1为本申请实施例提供的应用环境示意图；

图2为本申请一个实施例中图像降噪方法的流程示意图；

图3为传统技术中的图像块划分的示意图；

图4为本申请实施例提供的图像块划分的示意图；

图5为本申请另一个实施例中图像降噪方法的流程示意图；

图6为本申请另一个实施例中图像降噪方法的流程示意图；

图7为本申请另一个实施例中图像降噪方法的流程示意图；

图8为本申请实施例提供的部分降噪图像块的示意图；

图9为本申请实施例提供的预设位置与权重之间的对应关系的示意图；

图10为传统图像降噪方法与本申请的图像降噪方法的对比示意图；

图11为本申请一个实施例中图像降噪装置的结构示意图；

图12为本申请一个实施例中电子设备的结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的图像降噪方法、装置、电子设备、存储介质和程序产品，可以应用于YUV域的多帧融合降噪、RGB域的多帧融合降噪或者RAW域的多帧融合降噪等图像降噪场景；当然还可以应用于其它场景，本申请实施例中对此并不作限定。

本申请实施例提供的图像降噪方法，可以应用于如图1所示的应用环境中，图1为本申请实施例提供的应用环境示意图，如图1所示，图像采集终端102通过网络与计算机设备104进行通信。示例性地，图像采集终端102可以将采集到的图像上传给计算机设备104，以便于计算机设备104根据本申请实施例提供的图像降噪方法对接收到的图像进行图像降噪。

示例性地，图像采集终端102可以但不限于是各种智能手机、智能手表和智能摄像头；当然还可以包括具有图像采集功能的其它设备，本申请实施例中对此并不作限定。

需要说明的是，本申请实施例提供的图像降噪方法，还可以应用于具有图像采集功能的电子设备中，电子设备可以根据本申请实施例提供的图像降噪方法对自己采集到的图像进行图像降噪。

示例性地，电子设备可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、智能车载设备和智能手表。

在ISP技术中，MFNR可以有效地滤除时域的高斯噪声，提升图像画质，增强图像表现。传统技术中，通过将多帧图像分别划分为多个图像块，然后根据每帧图像的每个对应图像块之间的相似度进行加权融合降噪，其中，相似度越大的图像块的融合权重越大。然而，传统技术处理后的图像的解析力不足。

本申请实施例提供的图像降噪方法、装置、电子设备、存储介质和程序产品，通过获取包含参考帧图像和多个非参考帧图像的多帧图像，并按照相同的划分策略将多帧图像分别划分为多个存在重叠区域的图像块。进一步地，对于参考帧图像的各个图像块，确定各个非参考帧图像中分别与图像块对应的目标块，并根据各个非参考帧图像中的目标块对图像块进行降噪处理，得到降噪图像块，然后根据各个降噪图像块的重叠区域对各个降噪图像块进行合并得到降噪图像。可见，本申请实施例中，一方面通过上述划分策略将多帧图像分别划分为多个图像块的方式，以便于可以根据面积扩大后的多个非参考帧图像对面积扩大后的参考帧图像进行图像降噪处理；另一方面通过对参考帧图像中的任意图像块进行降噪处理时是根据各个非参考帧图像中与该图像块对应的目标块的信息进行降噪的，从而有利于提高图像降噪处理后的图像解析力。

在一个实施例中，图2为本申请一个实施例中图像降噪方法的流程示意图，本申请实施例中以该方法应用于电子设备为例进行说明。如图2所示，本申请实施例的方法可以包括以下步骤：

步骤S201、获取多帧图像，多帧图像包括：参考帧图像和多个非参考帧图像。

本步骤中，电子设备可以从获取的多帧图像中选择一个在清晰度、亮度和运动幅度等方面综合表现最佳的帧图像作为参考帧图像，然后将多帧图像中除参考帧图像之外的其它帧图像作为非参考帧图像。

应理解，本申请实施例中，电子设备在选择清晰度、亮度和运动幅度等方面综合表现最佳的帧图像时，清晰度对应的权重会大于亮度对应的权重和运动幅度对应的权重。

一种可能的实现方式中，若本申请实施例的图像降噪方法应用于YUV域的多帧融合降噪，则本申请实施例中的任意帧图像可以为YUV域的Y通道图像。

另一种可能的实现方式中，若本申请实施例的图像降噪方法应用于RGB域的多帧融合降噪，则本申请实施例中的任意帧图像可以为RGB域的R通道图像、G通道图像，或者B通道图像。

另一种可能的实现方式中，若本申请实施例的图像降噪方法应用于RAW域的多帧融合降噪，则本申请实施例中的任意帧图像可以为RAW域的R通道图像、A通道图像，或者W通道图像。

步骤S202、按照相同的划分策略将多帧图像分别划分为多个图像块。

本步骤中，电子设备按照相同的划分策略将参考帧图像划分为多个图像块，以及将多个非参考帧图像分别划分为多个图像块，其中，每个图像块的大小相同(例如，图像块的大小可以为8像素*8像素)，同一帧图像中相邻的图像块存在重叠区域，每两个相邻图像块之间的重叠区域的大小相同。示例性地，同一帧中每两个相邻图像块之间的重叠区域等于图像块对应的区域的二分之一、四分之一或者八分之一。

为了便于理解，本申请下述实施例中以同一帧中每两个相邻图像块之间的重叠区域等于图像块对应的区域的二分之一为例，对图像块的划分方式进行介绍。

图3为传统技术中的图像块划分的示意图，如图3所示，传统技术中可以将3072像素*4096像素的图像划分为384列*512行的8像素*8像素的图像块，其中，位于第1列第1行的图像块(1,1)’包含像素pixel(x_1～8,y_1～8)，位于第1列第2行的图像块(1,2)’包含像素pixel(x_1～8,y_9～16)，位于第1列第3行的图像块(1,3)’包含像素pixel(x_1～8,y_17～24)，……，位于第2列第1行的图像块(2,1)’包含像素pixel(x_9～16,y_1～8)，……，位于第384列第512行的图像块(384,512)’包含像素pixel(x_3065～3072,y_4089～4096)。

图4为本申请实施例提供的图像块划分的示意图，如图4所示，电子设备可以根据划分策略将3072像素*4096像素的图像划分为768列*1024行的8像素*8像素的图像块，其中，位于第1列第1行的图像块(1,1)包含像素pixel(x_1～8,y_1～8)，位于第1列第2行的图像块(1,2)包含像素pixel(x_1～8,y_5～12)，位于第1列第3行的图像块(1,3)包含像素pixel(x_1～8,y_9～16)，……，位于第2列第1行的图像块(2,1)包含像素pixel(x_5～12,y_1～8)，……，位于第768列第1024行的图像块(768,1027)包含像素pixel(x_3065～3072,y_4089～4096)。即，每两个相邻图像块之间相隔4个像素，每两个相邻图像块之间的重叠区域占图像块的二分之一。

结合图3和图4所示，相对于传统技术，本申请实施例提供的图像块划分方式，因为横向方式(或者称之为水平方向)和纵向方向(或者称之为垂直方向)都有50％的重叠，使得本申请实施例的图像块挪动的步长(水平方向和垂直方向)从8像素缩短到了4像素，因此，本申请实施例提供的图像块划分方式所得到的图像块数量是传统技术中图像块数量的4倍，相当于对图像的面积相对于初始面积扩大了4倍，以便于根据面积扩大后的图像进行图像降噪处理，有利于提高图像降噪处理后的图像的解析力。

步骤S203、对于参考帧图像的各个图像块，确定各个非参考帧图像中分别与图像块对应的目标块，并根据各个非参考帧图像中的目标块对图像块进行降噪处理，得到降噪图像块。

本步骤中，对于参考帧图像的各个图像块，电子设备可以根据全局对齐方法或者局部对齐方法等，来确定各个非参考帧图像中分别与上述图像块最相似的目标块，以便于实现图像对齐(或者称之为图像配准)。需要说明的是，对于任意非参考帧图像，该非参考帧图像中的目标块位于该非参考帧图像中的位置，可能并不同于上述图像块位于参考帧图像中的位置。

进一步地，电子设备在对各个非参考帧图像对齐后，可以根据各个非参考帧图像中的目标块对上述图像块进行降噪处理，得到上述图像块对应的降噪图像块。

示例性地，电子设备可以根据各个非参考帧图像中的目标块，采用非局部均值(Non-Local mean，NLM)算法对上述图像块进行降噪处理；当然，还可以采用其它方式进行降噪处理，本申请实施例中对此并不作限定。

例如，假设上述多帧图像包括一个参考帧图像和7个非参考帧图像，对于参考帧图像的各个图像块(m，n)，电子设备可以分别确定第1个非参考帧图像中与上述图像块(m，n)对应的目标块1、第2个非参考帧图像中与上述图像块(m，n)对应的目标块2、……、第7个非参考帧图像中与上述图像块(m，n)对应的目标块7，其中，m为大于0且小于等于768的各个整数，n为大于0且小于等于1024的各个整数。进一步地，对于参考帧图像的各个图像块(m，n)，电子设备可以根据第1个非参考帧图像中的目标块1、第2个非参考帧图像中的目标块2、……，以及第7个非参考帧图像中的目标块7对上述图像块(m，n)进行降噪处理，得到上述图像块(m，n)对应的降噪图像块。

可见，本申请实施例中，对于参考帧图像的各个图像块，电子设备可以通过确定各个非参考帧图像中分别与上述图像块最相似的目标块，以便于可以根据各个非参考帧图像中与上述图像块最相似的目标块对上述图像块进行降噪处理，有利于提高图像降噪处理后的图像解析力。

步骤S204、根据各个降噪图像块的重叠区域对各个降噪图像块进行合并，得到降噪图像。

由于上述步骤S202中根据上述划分策略将多帧图像分别划分为多个图像块使得各帧图像的面积都扩大了，本步骤中电子设备根据各个降噪图像块的重叠区域对各个降噪图像块进行横向合并以及纵向合并的方式得到降噪图像，使得降噪图像的面积恢复到初始面积。

上述图像降噪方法中，通过获取包含参考帧图像和多个非参考帧图像的多帧图像，并按照相同的划分策略将多帧图像分别划分为多个图像块，其中，同一帧图像中相邻的图像块存在重叠区域。进一步地，对于参考帧图像的各个图像块，确定各个非参考帧图像中分别与图像块对应的目标块，并根据各个非参考帧图像中的目标块对图像块进行降噪处理，得到降噪图像块。进一步地，根据各个降噪图像块的重叠区域对各个降噪图像块进行合并，得到降噪图像。可见，本申请实施例中，一方面通过上述划分策略将多帧图像分别划分为多个图像块的方式，可以根据面积扩大后的多个非参考帧图像对面积扩大后的参考帧图像进行图像降噪处理；另一方面通过对参考帧图像中的任意图像块进行降噪处理时是根据各个非参考帧图像中与该图像块对应的目标块的信息进行降噪的，从而在实现图像降噪的基础上还进一步地可以提高图像降噪处理后的图像解析力。

在一个实施例中，图5为本申请另一个实施例中图像降噪方法的流程示意图，在上述实施例的基础上，本申请实施例中对上述步骤S203中“确定各个非参考帧图像中分别与上述图像块对应的目标块”的相关内容进行介绍说明。如图5所示，本申请实施例的方法可以包括：

步骤S501、分别在各非参考帧图像中确定位于图像块周围预设范围内的多个候选图像块。

本步骤中，电子设备可以分别在各非参考帧图像中确定位于上述图像块周围预设范围内的多个候选图像块，即各非参考帧图像中位于目标位置周围预设范围内的多个候选图像块，其中，目标位置可以为各非参考帧图像中与上述图像块位于上述参考帧图像中的位置所对应的位置，预设范围可以包括目标位置的上方至少一个图像块、下方至少一个图像块、左方至少一个图像块以及右方至少一个图像块。

例如，假设上述多帧图像包括一个参考帧图像和7个非参考帧图像，对于参考帧图像的各个图像块(m，n)，电子设备可以分别确定第1个非参考帧图像中位于图像块(m，n)周围预设范围内的多个候选图像块、第2个非参考帧图像中位于图像块(m，n)周围预设范围内的多个候选图像块、……、第7个非参考帧图像中位于图像块(m，n)周围预设范围内的多个候选图像块。

步骤S502、对于各非参考帧图像，将非参考帧图像的多个候选图像块中与图像块相似度最高的候选图像块作为目标块。

本步骤中，对于各非参考帧图像，电子设备可以将上述非参考帧图像的多个候选图像块中与上述参考帧图像中的上述图像块相似度最高的候选图像块作为对应的目标块。应理解，对于任意非参考帧图像，该非参考帧图像中的目标块位于该非参考帧图像中的位置，可能并不同于上述图像块位于参考帧图像中的位置。

例如，假设上述多帧图像包括一个参考帧图像和7个非参考帧图像，对于参考帧图像的各个图像块(m，n)，电子设备可以将第1个非参考帧图像中位于图像块(m，n)周围预设范围内的多个候选图像块中与上述参考帧图像的上述图像块(m，n)相似度最高的候选图像块作为第1个非参考帧图像中与上述图像块(m，n)对应的目标块、可以将第2个非参考帧图像中位于图像块(m，n)周围预设范围内的多个候选图像块中与上述参考帧图像的上述图像块(m，n)相似度最高的候选图像块作为第2个非参考帧图像中与上述图像块(m，n)对应的目标块、……、可以将第7个非参考帧图像中位于图像块(m，n)周围预设范围内的多个候选图像块中与上述参考帧图像的上述图像块(m，n)相似度最高的候选图像块作为第7个非参考帧图像中与上述图像块(m，n)对应的目标块。

示例性地，对于任意非参考帧图像的任意候选图像块，电子设备可以根据上述候选图像块与上述参考帧图像中的上述图像块中相应位置的各个像素点的像素值之间的差值绝对值的总和，得到上述候选图像块与上述图像块之间的相似度。应理解，上述候选图像块与上述图像块之间的相似度值越小，表明上述候选图像块与上述图像块越相似，即相似度越高。

当然，电子设备还可以通过其它方式确定上述候选图像块与上述图像块之间的相似度，本申请实施例中对此并不作限定。

本申请实施例中，通过分别在各非参考帧图像中确定位于图像块周围预设范围内的多个候选图像块；进一步地，对于各非参考帧图像，通过将非参考帧图像的多个候选图像块中与图像块相似度最高的候选图像块作为目标块，以便于根据各个非参考帧图像中的目标块对参考帧图像中的图像块进行降噪处理。可见，本申请实施例中，对参考帧图像中的任意图像块进行降噪处理时是根据各个非参考帧图像中与该图像块相似度最高的目标块的信息进行降噪的，因此，有利于提高降噪图像块的解析力，从而有利于提高降噪处理后的图像解析力。

在一个实施例中，图6为本申请另一个实施例中图像降噪方法的流程示意图，在上述实施例的基础上，本申请实施例中对上述步骤S203中“根据各个非参考帧图像中的目标块对上述图像块进行降噪处理”的相关内容进行介绍说明。如图6所示，本申请实施例的方法可以包括：

步骤S601、根据图像块和各个非参考帧图像中的目标块，分别确定各个非参考帧图像中的目标块对应的权重值。

本步骤中，对于参考帧图像的各个图像块，电子设备可以根据上述图像块和各个非参考帧图像中对应的目标块，分别确定各个非参考帧图像中的目标块对应的权重值。

可选地，对于参考帧图像的各个图像块，电子设备可以对上述图像块进行变换域变换，得到变换后的图像块，以及分别对各个非参考帧图像中对应的目标块进行变换域变换，得到各个非参考帧图像中变换后的目标块。示例性地，变换域变换可以包括但不限于：离散余弦变换(Discrete Cosine Transform，DCT)变换或者离散傅里叶变换(DiscreteFourier Transform，DFT)变换。需要说明的是，具体的变化域变换方式可以参考相关技术中的变换方式，本申请实施例中对此并不作限定。

进一步地，对于各个非参考帧图像中变换后的目标块，电子设备可以根据上述变换后的图像块中各像素点对应的变换值和上述变换后的目标块中各像素点对应的变换值，确定上述变换后的目标块对应的权重值。

示例性地，电子设备可以根据上述变换后的图像块中各像素点对应的变换值和上述变换后的目标块中各像素点对应的变换值，通过如下公式(1)确定上述变换后的目标块对应的权重值。

其中，w_j代表第j个变换后的目标块对应的权重值，diff_j代表第j个变换后的目标块与参考帧图像中对应的变换后的图像块中各像素点的变换值之间的差值绝对值之和，Noisescaling代表预设经验参数，L代表上述非参考帧图像中变换后的目标块的总数量。

当然，电子设备根据上述变换后的图像块中各像素点对应的变换值和上述变换后的目标块中各像素点对应的变换值，还可以通过上述公式(1)的其它变形或者等效公式确定上述变换后的目标块对应的权重值，本申请实施例中对此并不作限定。

步骤S602、根据图像块、各个非参考帧图像中的目标块以及对应的权重值，得到降噪图像块。

本步骤中，对于参考帧图像的各个图像块，电子设备可以根据上述图像块、各个非参考帧图像中对应的目标块以及对应的权重值进行加权融合，得到上述图像块对应的降噪图像块。

可选地，电子设备可以根据上述变换后的图像块、各个非参考帧图像中变换后的目标块以及对应的权重值进行加权融合，得到融合图像块，并对上述融合图像块进行变换域逆变换，得到降噪图像块。示例性地，变换域逆变换可以包括但不限于：DCT逆变换或者DFT逆变换。需要说明的是，具体的变化域逆变换方式可以参考相关技术中的逆变换方式，本申请实施例中对此并不作限定。

示例性地，电子设备可以根据上述变换后的图像块、各个非参考帧图像中变换后的目标块以及对应的权重值，通过如下公式(2)进行加权融合得到融合图像块。

其中，n代表参考帧图像和各个非参考帧图像的总帧数，w_i,k代表第i个帧图像中的第k个图像块对应的权重值(例如，上述参考帧图像中第k个变换后的图像块对应的权重值，或者任意上述非参考帧图像中对应的第k个变换后的目标块对应的权重值)，Patch_i，k代表第i个帧图像中的第k个图像块对应的变换值(例如，上述参考帧图像中第k个变换后的图像块对应的变换值，或者任意上述非参考帧图像中对应的第k个变换后的目标块对应的变换值)，Patch_de-noise,k代表第k个融合图像块，k为大于0且小于等于第i个帧图像的图像块总数量的任意整数。需要说明的是，上述参考帧图像中第k个变换后的图像块对应的权重值可以为1。

当然，电子设备可以根据上述变换后的图像块、各个非参考帧图像中变换后的目标块以及对应的权重值，还可以通过上述公式(2)的其它变形或者等效公式进行加权融合得到融合图像块，本申请实施例中对此并不作限定。

本申请实施例中，通过根据图像块和各个非参考帧图像中的目标块，分别确定各个非参考帧图像中的目标块对应的权重值；进一步地，根据图像块、各个非参考帧图像中的目标块以及对应的权重值，来对参考帧图像中的图像块进行降噪处理，其中，各个非参考帧图像中的目标块为各个非参考帧图像中与上述图像块相似度最高的块，因此，本申请实施例的图像降噪方法可以提高降噪处理后的图像解析力。另外，本申请实施例的图像降噪过程中，通过引入变换域融合方法，由于变换域变换过程增加了像素数据正反变换的步骤，有利于在图像降噪的均匀性方面有更好的表现，尤其是在运动场景中运动物体上的图像降噪效果更加均匀。

在一个实施例中，图7为本申请另一个实施例中图像降噪方法的流程示意图，在上述实施例的基础上，本申请实施例中对上述步骤S204中“对各个降噪图像块进行合并”的相关内容进行介绍说明。如图7所示，本申请实施例的方法可以包括：

步骤S701、对于各个降噪图像块中位于目标位置的各个第一降噪图像块，获取与第一降噪图像块相邻的各个第二降噪图像块，并将第一降噪图像块与各个第二降噪图像块进行合并，得到第一降噪图像块对应的目标降噪图像块。

本步骤中，对于各个降噪图像块中位于目标位置的各个第一降噪图像块(或者称之为基础降噪图像块)，电子设备获取与第一降噪图像块相邻的各个第二降噪图像块(或者称之为辅助降噪图像块)，其中，目标位置的各个第一降噪图像块可以包括但不限于：位于边界的降噪图像块，以及与边界的降噪图像块依次相连(直接相连和间接相连)的降噪图像块。需要说明的是，每两个相邻的第一降噪图像块之间的重叠区域为零。

例如，若步骤S202中同一帧中每两个相邻图像块之间的重叠区域等于图像块对应的区域的二分之一，则目标位置的各个第一降噪图像块可以包括：位于奇数列的降噪图像块和位于奇数行的降噪图像块。

为了便于理解，本申请下述实施例中以同一帧中每两个相邻图像块之间的重叠区域等于图像块对应的区域的二分之一的情形(即目标位置的各个第一降噪图像块可以包括：位于奇数列的降噪图像块和位于奇数行的降噪图像块)为例进行介绍。

图8为本申请实施例提供的部分降噪图像块的示意图，如图8所示，对于各个降噪图像块中位于目标位置的第一降噪图像块1，电子设备可以获取与第一降噪图像块1相邻的第二降噪图像块2、第二降噪图像块3、第二降噪图像块4和第二降噪图像块5。

进一步地，对于各个降噪图像块中位于目标位置的各个第一降噪图像块，电子设备可以将第一降噪图像块与各个第二降噪图像块进行横向合并和纵向合并，得到第一降噪图像块对应的目标降噪图像块。

结合图8所示，本申请实施例的各个第二降噪图像块可以包括：与上述第一降噪图像块横向相邻的各个横向降噪图像块(例如，第二降噪图像块2和第二降噪图像块4)，以及与上述第一降噪图像块纵向相邻的各个纵向降噪图像块(例如，第二降噪图像块3和第二降噪图像块5)。

本申请下述实施例中，对电子设备将第一降噪图像块与各个第二降噪图像块进行合并的可实现方式进行介绍。

一种可能的实现方式中，电子设备可以将第一降噪图像块与各个横向降噪图像块进行合并，得到第一中间降噪图像块；进一步地，电子设备可以将第一中间降噪图像块与各个纵向降噪图像块进行合并，得到目标降噪图像块。可见，本实现方式中，电子设备通过将第一降噪图像块与各个第二降噪图像块先横向合并然后纵向合并。

另一种可能的实现方式中，电子设备可以将第一降噪图像块与各个纵向降噪图像块进行合并，得到第二中间降噪图像块；进一步地，电子设备将第二中间降噪图像块与各个横向降噪图像块进行合并，得到目标降噪图像块。可见，本实现方式中，电子设备通过将第一降噪图像块与各个第二降噪图像块先纵向合并然后横向合并。

为了便于理解，本申请下述实施例中对先横向合并然后纵向合并的可实现方式进行详细地介绍。

本申请实施例中，电子设备将第一降噪图像块与各个横向降噪图像块进行合并，得到第一中间降噪图像块，可以包括如下步骤：

1a)对于第一降噪图像块的各个第一像素点，电子设备可以根据第一像素点的位置以及预设位置与权重之间的第一对应关系，确定第一像素点对应的第一权重值，以及各个横向降噪图像块中与第一像素点对应的第二像素点的第二权重值，其中，第二像素点的第二权重值为根据第一权重值确定的。例如，假设第一像素点对应的第一权重值为0.05，则第二像素点的第二权重值可以为0.95。

本申请实施例中的预设位置与权重之间的第一对应关系用于指示图像块中不同横向位置的像素点对应的权重值，其中，越靠近图像块中间位置的像素点对应的权重值越大，越靠近图像块两侧位置的像素点对应的权重值越小。

图9为本申请实施例提供的预设位置与权重之间的对应关系的示意图，如图9所示，越靠近图像块的中间横向位置的像素点对应的权重值越大，越靠近图像块的两侧横向位置的像素点对应的权重值越小。需要说明的是，由于图像块为8像素*8像素，因此，图9的横向坐标为0-7。

2a)对于第一降噪图像块的各个第一像素点，电子设备可以根据第一像素点对应的像素值、第一权重值、各个横向降噪图像块中的第二像素点的像素值以及第二权重值进行合并，得到第一像素点对应的中间像素值。

示例性地，电子设备可以根据第一像素点对应的像素值、第一权重值、各个横向降噪图像块中的第二像素点的像素值以及第二权重值，通过如下公式(3)进行合并，得到第一像素点对应的中间像素值。

其中，P₁代表上述第一像素点对应的像素值，Q₁代表上述第一像素点对应的第一权重值，P_2，s代表第s个横向降噪图像块中的第二像素点的像素值，M代表横向降噪图像块的总数量，Q₂代表第二像素点对应的第二权重值。

当然，电子设备可以根据第一像素点对应的像素值、第一权重值、各个横向降噪图像块中的第二像素点的像素值以及第二权重值，还可以通过上述公式(3)的其它变形或者等效公式进行合并，得到第一像素点对应的中间像素值，本申请实施例中对此并不作限定。

3a)电子设备可以根据各个第一像素点对应的中间像素值，便可得到第一中间降噪图像块。

进一步地，电子设备将第一中间降噪图像块与各个纵向降噪图像块进行合并，得到目标降噪图像块，可以包括：

1b)对于第一中间降噪图像块的各个第一像素点，电子设备可以根据第一像素的位置以及预设位置与权重之间的第二对应关系，确定第一像素点对应的第二权重值，以及各个纵向降噪图像块中对应的第三像素点的第三权重值，其中，第三像素点的第三权重值为根据第二权重值确定的。例如，假设第一像素点对应的第二权重值为0.3，则第三像素点的第三权重值可以为0.7。

本申请实施例中的预设位置与权重之间的第二对应关系用于指示图像块中不同纵向位置的像素点对应的权重值，其中，越靠近图像块中间位置的像素点对应的权重值越大，越靠近图像块两侧位置的像素点对应的权重值越小。如图9所示，越靠近图像块的中间纵向位置的像素点对应的权重值越大，越靠近图像块的两侧纵向位置的像素点对应的权重值越小。

2b)对于第一中间降噪图像块的各个第一像素点，电子设备可以根据第一像素点对应的中间像素值、第二权重值、各个纵向降噪图像块中的第三像素点的像素值以及第三权重值进行合并，得到第一像素点对应的目标像素值。

示例性地，电子设备根据第一像素点对应的中间像素值、第二权重值、各个纵向降噪图像块中的第三像素点的像素值以及第三权重值，可以参考上述公式(3)进行合并，得到第一像素点对应的目标像素值；当然，还可以参考上述公式(3)的其它变形或者等效公式进行合并，本申请实施例中对此并不作限定。

3b)电子设备可以根据各个第一像素点对应的目标像素值，便可得到目标降噪图像块。

应理解，关于先纵向合并然后横向合并的可实现方式，与先横向合并然后纵向合并的可实现方式类似，关于先纵向合并然后横向合并的可实现方式可以参考上述实施例中关于先横向合并然后纵向合并的可实现方式，此处不再赘述。

当然，电子设备还可以通过其它方式将第一降噪图像块与各个第二降噪图像块进行合并，本申请实施例中对此并不作限定。

步骤S702、根据各个第一降噪图像块对应的目标降噪图像块，得到降噪图像。

本步骤中，电子设备可以根据各个第一降噪图像块对应的目标降噪图像块，便可得到恢复初始面积的降噪图像。

本申请实施例中，对于各个降噪图像块中位于目标位置的各个第一降噪图像块，通过获取与第一降噪图像块相邻的各个第二降噪图像块，并将第一降噪图像块与各个第二降噪图像块进行合并，得到第一降噪图像块对应的目标降噪图像块；进一步地，根据各个第一降噪图像块对应的目标降噪图像块，便可得到降噪图像。一方面由于本申请实施例中的各个降噪图像块为根据面积扩大后的多个非参考帧图像对面积扩大后的参考帧图像进行图像降噪处理得到的，另一方面由于本申请实施例中的各个降噪图像块为根据各个非参考帧图像中与参考帧图像中的图像块相似度最高的目标块进行降噪得到的，因此，本申请实施例得到的降噪图像的解析力得到了进一步的提升。

图10为传统图像降噪方法与本申请的图像降噪方法的对比示意图，如图10所示，相对于传统图像降噪方法，根据本申请实施例提供的图像块扩展(或者称之为窗口扩展)、图像块对齐、多帧融合以及图像块合并(或者称之为窗口合并)等方式，可以提升降噪图像的解析力(如图10的左边图像所示可以更加清楚地保存图像中的更多弱纹理信息)。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的图像降噪方法的图像降噪装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像降噪装置实施例中的具体限定可以参见上文中对于图像降噪方法的限定，在此不再赘述。

在一个实施例中，图11为本申请一个实施例中图像降噪装置的结构示意图，本申请实施例提供的图像降噪装置可以应用于电子设备或者计算机设备中。如图11所示，本申请实施例的图像降噪装置，可以包括：获取模块1101、划分模块1102、确定模块1103、降噪模块1104和合并模块1105。

获取模块1101，用于获取多帧图像，多帧图像包括：参考帧图像和多个非参考帧图像；

划分模块1102，用于按照相同的划分策略将多帧图像分别划分为多个图像块，且，同一帧图像中相邻的图像块存在重叠区域；

确定模块1103，用于对于参考帧图像的各个图像块，确定各个非参考帧图像中分别与图像块对应的目标块；

降噪模块1104，用于根据各个非参考帧图像中的目标块对图像块进行降噪处理，得到降噪图像块；

合并模块1105，用于根据各个降噪图像块的重叠区域对各个降噪图像块进行合并，得到降噪图像。

在一个实施例中，确定模块1103具体用于：

分别在各非参考帧图像中确定位于图像块周围预设范围内的多个候选图像块；

对于各非参考帧图像，将非参考帧图像的多个候选图像块中与图像块相似度最高的候选图像块作为目标块。

在一个实施例中，降噪模块1104，包括：

第一确定单元，用于根据图像块和各个非参考帧图像中的目标块，分别确定各个非参考帧图像中的目标块对应的权重值；

第二确定单元，用于根据图像块、各个非参考帧图像中的目标块以及对应的权重值，得到降噪图像块。

在一个实施例中，第一确定单元具体用于：

对图像块进行变换域变换，得到变换后的图像块；

分别对各个非参考帧图像中的目标块进行变换域变换，得到各个非参考帧图像中变换后的目标块；

对于各个非参考帧图像中变换后的目标块，根据变换后的图像块中各像素点对应的变换值和变换后的目标块中各像素点对应的变换值，确定变换后的目标块对应的权重值。

在一个实施例中，第二确定单元具体用于：

根据变换后的图像块、各个非参考帧图像中变换后的目标块以及对应的权重值进行加权融合，得到融合图像块；

对融合图像块进行变换域逆变换，得到降噪图像块。

在一个实施例中，合并模块1105，包括：

第一获取单元，用于对于各个降噪图像块中位于目标位置的各个第一降噪图像块，获取与第一降噪图像块相邻的各个第二降噪图像块；

合并单元，用于将第一降噪图像块与各个第二降噪图像块进行合并，得到第一降噪图像块对应的目标降噪图像块；

第二获取单元，用于根据各个第一降噪图像块对应的目标降噪图像块，得到降噪图像。

在一个实施例中，各个第二降噪图像块包括：与第一降噪图像块横向相邻的各个横向降噪图像块，以及与第一降噪图像块纵向相邻的各个纵向降噪图像块，合并单元具体用于：

将第一降噪图像块与各个横向降噪图像块进行合并，得到中间降噪图像块；

将中间降噪图像块与各个纵向降噪图像块进行合并，得到目标降噪图像块。

在一个实施例中，合并单元具体用于：

对于第一降噪图像块的各个第一像素点，根据第一像素点的位置以及预设位置与权重之间的第一对应关系，确定第一像素点对应的第一权重值，以及各个横向降噪图像块中与第一像素点对应的第二像素点的第二权重值；

根据第一像素点对应的像素值、第一权重值、各个横向降噪图像块中的第二像素点的像素值以及第二权重值进行合并，得到第一像素点对应的中间像素值；

根据各个第一像素点对应的中间像素值，得到中间降噪图像块。

在一个实施例中，合并单元具体用于：

对于中间降噪图像块的各个第一像素点，根据第一像素的位置以及预设位置与权重之间的第二对应关系，确定第一像素点对应的第二权重值，以及各个纵向降噪图像块中对应的第三像素点的第三权重值；

根据第一像素点对应的中间像素值、第二权重值、各个纵向降噪图像块中的第三像素点的像素值以及第三权重值进行合并，得到第一像素点对应的目标像素值；

根据各个第一像素点对应的目标像素值，得到目标降噪图像块。

本申请实施例提供的图像降噪装置可以用于执行本申请上述图像降噪装置方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。

上述图像降噪装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中，也可以以软件形式存储于电子设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，图12为本申请一个实施例中电子设备的结构示意图，可选地，该电子设备可以是电子设备。如图12所示，本申请实施例提供的电子设备可以包括通过系统总线连接的处理器、存储器和通信接口。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的设备进行有线或无线方式的通信。该计算机程序被处理器执行时以实现本申请上述图像降噪方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。

示例性地，该电子设备还可以包括显示屏和输入装置，该显示屏可以是液晶显示屏或者电子墨水显示屏，该输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种电子设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现本申请上述图像降噪方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本申请上述图像降噪方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本申请上述图像降噪方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (13)

1.一种图像降噪方法，其特征在于，所述方法包括：

获取多帧图像，所述多帧图像包括：参考帧图像和多个非参考帧图像；

按照相同的划分策略将所述多帧图像分别划分为多个图像块，且，同一帧图像中相邻的图像块存在重叠区域；

对于所述参考帧图像的各个图像块，确定各个所述非参考帧图像中分别与所述图像块对应的目标块，并根据各个所述非参考帧图像中的所述目标块对所述图像块进行降噪处理，得到降噪图像块；

根据各个所述降噪图像块的重叠区域对各个所述降噪图像块进行合并，得到降噪图像。

2.根据权利要求1所述的方法，其特征在于，所述确定各个所述非参考帧图像中分别与所述图像块对应的目标块，包括：

分别在各所述非参考帧图像中确定位于所述图像块周围预设范围内的多个候选图像块；

对于各所述非参考帧图像，将所述非参考帧图像的所述多个候选图像块中与所述图像块相似度最高的候选图像块作为所述目标块。

3.根据权利要求1所述的方法，其特征在于，所述根据各个所述非参考帧图像中的所述目标块对所述图像块进行降噪处理，得到降噪图像块，包括：

根据所述图像块和各个所述非参考帧图像中的所述目标块，分别确定各个所述非参考帧图像中的所述目标块对应的权重值；

根据所述图像块、各个所述非参考帧图像中的所述目标块以及对应的所述权重值，得到所述降噪图像块。

4.根据权利要求3所述的方法，其特征在于，所述根据所述图像块和各个所述非参考帧图像中的所述目标块，分别确定各个所述非参考帧图像中的所述目标块对应的权重值，包括：

对所述图像块进行变换域变换，得到变换后的图像块；

分别对各个所述非参考帧图像中的所述目标块进行变换域变换，得到各个所述非参考帧图像中变换后的目标块；

对于各个所述非参考帧图像中变换后的目标块，根据所述变换后的图像块中各像素点对应的变换值和所述变换后的目标块中各像素点对应的变换值，确定所述变换后的目标块对应的权重值。

5.根据权利要求4所述的方法，其特征在于，所述根据所述图像块、各个所述非参考帧图像中的所述目标块以及对应的所述权重值，得到所述降噪图像块，包括：

根据所述变换后的图像块、各个所述非参考帧图像中变换后的目标块以及对应的权重值进行加权融合，得到融合图像块；

对所述融合图像块进行变换域逆变换，得到所述降噪图像块。

6.根据权利要求1-5中任一项所述的方法，其特征在于，所述根据各个所述降噪图像块的重叠区域对各个所述降噪图像块进行合并，得到降噪图像，包括：

对于所述各个降噪图像块中位于目标位置的各个第一降噪图像块，获取与所述第一降噪图像块相邻的各个第二降噪图像块，并将所述第一降噪图像块与所述各个第二降噪图像块进行合并，得到所述第一降噪图像块对应的目标降噪图像块；

根据各个所述第一降噪图像块对应的目标降噪图像块，得到所述降噪图像。

7.根据权利要求6所述的方法，其特征在于，所述各个第二降噪图像块包括：与所述第一降噪图像块横向相邻的各个横向降噪图像块，以及与所述第一降噪图像块纵向相邻的各个纵向降噪图像块，所述将所述第一降噪图像块与所述各个第二降噪图像块进行合并，得到所述第一降噪图像块对应的目标降噪图像块，包括：

将所述第一降噪图像块与所述各个横向降噪图像块进行合并，得到中间降噪图像块；

将所述中间降噪图像块与所述各个纵向降噪图像块进行合并，得到所述目标降噪图像块。

8.根据权利要求7所述的方法，其特征在于，所述将所述第一降噪图像块与所述各个横向降噪图像块进行合并，得到中间降噪图像块，包括：

对于所述第一降噪图像块的各个第一像素点，根据所述第一像素点的位置以及预设位置与权重之间的第一对应关系，确定所述第一像素点对应的第一权重值，以及所述各个横向降噪图像块中与所述第一像素点对应的第二像素点的第二权重值；

根据所述第一像素点对应的像素值、所述第一权重值、所述各个横向降噪图像块中的所述第二像素点的像素值以及所述第二权重值进行合并，得到所述第一像素点对应的中间像素值；

根据各个所述第一像素点对应的中间像素值，得到所述中间降噪图像块。

9.根据权利要求8所述的方法，其特征在于，所述将所述中间降噪图像块与所述各个纵向降噪图像块进行合并，得到所述目标降噪图像块，包括：

对于所述中间降噪图像块的各个第一像素点，根据所述第一像素的位置以及预设位置与权重之间的第二对应关系，确定所述第一像素点对应的第二权重值，以及所述各个纵向降噪图像块中对应的第三像素点的第三权重值；

根据所述第一像素点对应的中间像素值、所述第二权重值、所述各个纵向降噪图像块中的所述第三像素点的像素值以及所述第三权重值进行合并，得到所述第一像素点对应的目标像素值；

根据各个所述第一像素点对应的目标像素值，得到所述目标降噪图像块。

10.一种图像降噪装置，其特征在于，所述装置包括：

获取模块，用于获取多帧图像，所述多帧图像包括：参考帧图像和多个非参考帧图像；

划分模块，用于按照相同的划分策略将所述多帧图像分别划分为多个图像块，且，同一帧图像中相邻的图像块存在重叠区域；

确定模块，用于对于所述参考帧图像的各个图像块，确定各个所述非参考帧图像中分别与所述图像块对应的目标块；

降噪模块，用于根据各个所述非参考帧图像中的所述目标块对所述图像块进行降噪处理，得到降噪图像块；

合并模块，用于根据各个所述降噪图像块的重叠区域对各个所述降噪图像块进行合并，得到降噪图像。

11.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的方法的步骤。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。

13.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。

Images