CN115660976A

CN115660976A - 图像处理方法、装置、设备和计算机可读存储介质

Info

Publication number: CN115660976A
Application number: CN202211272707.9A
Authority: CN
Inventors: 李兴龙
Original assignee: Guangdong Oppo Mobile Telecommunications Corp Ltd
Current assignee: Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date: 2022-10-18
Filing date: 2022-10-18
Publication date: 2023-01-31

Abstract

本申请实施例公开了一种图像处理方法、装置、设备和计算机可读存储介质，该方法包括：确定待处理图像块对应的至少一个参考块以及至少一个参考块各自的滤波权重值；根据至少一个参考块以及至少一个参考块各自的滤波权重值对待处理图像块进行第一滤波处理，确定降噪图像块；根据待处理图像块和降噪图像块确定残差图像块，并对残差图像块进行细节处理，确定细节图像块；根据降噪图像块与细节图像块进行融合处理，确定目标图像块。这样，基于降噪和增强之间的相关性，能够有效区分图像中的细节信息和噪声干扰，不仅去除图像中存在的噪声，还能够增强图像中的细节信息，从而显著提升图像的画面质量。

Description

图像处理方法、装置、设备和计算机可读存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、设备和计算机可读存储介质。

背景技术

在相关技术中，图像画质的提升可以通过降噪和增强来实现。降噪可以看作为一种减法操作，即从图像中减去噪声；增强可以看作为一种加法操作，例如增加图像的锐度和对比度。在提升图像画质时，可以先对图像进行降噪处理得到降噪后的图像，再对降噪后的图像进行增强处理。

然而，已有的解决方案大多数是将降噪和增强看作是两项独立进行的操作。在图像画质的提升中，降噪过程势必会损失图像自身的细节信息，但是如果降噪损失了较多的细节信息，单纯的通过增强算法很难弥补，从而导致效果较差，降低了视频图像的画面质量。

发明内容

本申请提出一种图像处理方法、装置、设备和计算机可读存储介质，不仅能够去除图像中存在的噪声，还能够增强图像中的细节信息，从而显著提升视频图像的画面质量。

为达到上述目的，本申请的技术方案是这样实现的：

第一方面，本申请实施例提供了一种图像处理方法，该方法可以包括：

确定待处理图像块对应的至少一个参考块以及至少一个参考块各自的滤波权重值；

根据至少一个参考块以及至少一个参考块各自的滤波权重值对待处理图像块进行第一滤波处理，确定降噪图像块；

根据待处理图像块和降噪图像块确定残差图像块，并对残差图像块进行细节处理，确定细节图像块；

根据降噪图像块与细节图像块进行融合处理，确定目标图像块。

第二方面，本申请实施例提供了一种图像处理装置，该图像处理装置可以包括确定单元和处理单元，其中：

确定单元，配置为确定待处理图像块对应的至少一个参考块以及至少一个参考块各自的滤波权重值；

处理单元，配置为根据至少一个参考块以及至少一个参考块各自的滤波权重值对待处理图像块进行第一滤波处理，确定降噪图像块；

处理单元，还配置为根据待处理图像块和降噪图像块确定残差图像块，并对残差图像块进行细节处理，确定细节图像块；

处理单元，还配置为根据降噪图像块与细节图像块进行融合处理，确定目标图像块。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括存储器和处理器，其中：

存储器，配置为存储能够在处理器上运行的计算机程序；

处理器，配置为在运行计算机程序时，执行如第一方面所述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，计算机程序被至少一个处理器执行时实现如第一方面所述的方法。

本申请实施例所提供的一种图像处理方法、装置、设备和计算机可读存储介质，确定待处理图像块对应的至少一个参考块以及至少一个参考块各自的滤波权重值；根据至少一个参考块以及至少一个参考块各自的滤波权重值对待处理图像块进行第一滤波处理，确定降噪图像块；根据待处理图像块和降噪图像块确定残差图像块，并对残差图像块进行细节处理，确定细节图像块；根据降噪图像块与细节图像块进行融合处理，确定目标图像块。这样，由于降噪和增强的本质都是为了提升图像的画质和清晰度，基于两者之间的相关性，首先根据各参考块与待处理图像块的相似程度进行噪声滤波，确定降噪图像块；再根据待处理图像块和降噪图像块，能够得到降噪过程中去除的信息，具体可以是同时包含噪声和边缘细节等信息的残差图像块；然后对残差图像块进行二次处理，并根据二次处理后的图像块与降噪图像块的融合处理，即可得到最终的目标图像块；如此，该目标图像块不仅可以在保留细节信息的同时去除输入图像块中的噪声信息，又可以对输入图像块中的细节进一步增强，进而显著提升视频图像的画面质量。

附图说明

图1示出了本申请实施例提供的一种图像处理方法的流程示意图一；

图2示出了本申请实施例提供的一种确定至少一个参考块的图像示意图；

图3示出了本申请实施例提供的一种噪声标定结果的曲线示意图；

图4示出了本申请实施例提供的一种图像处理方法的流程示意图二；

图5示出了本申请实施例提供的一种图像处理方法的流程示意图三；

图6示出了本申请实施例提供的一种确定增强图像块的框架示意图；

图7示出了本申请实施例提供的一种图像处理方法的详细流程示意图；

图8示出了本申请实施例提供的一种图像处理装置的组成结构示意图；

图9示出了本申请实施例提供的一种电子设备的组成结构示意图；

图10示出了本申请实施例提供的另一种电子设备的组成结构示意图。

具体实施方式

为了能够更加详尽地了解本申请实施例的特点与技术内容，下面结合附图对本申请实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本申请实施例。

除非另有定义，本申请所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

还需要指出，本申请实施例所涉及的术语“第一\第二\第三”仅是用于区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

应理解，在成像过程中，往往会由于传感器器件、成像系统等诸多因素的限制，使得最终生成的图像仍然存在残留的噪声。一般在图像信号处理器(Image SignalProcessor，ISP)中都会设置降噪模块，诸如拜尔域降噪(Bayer Domain Denoise)模块、空间降噪(Spatial Denoise)模块、时间降噪(Temporal Denoise)模块等，这些降噪模块能够较为有效的应对图像中的噪声，但是降噪的同时不可避免的会损失图像的细节信息，导致最终的结果图像中存在明显的模糊问题。

在已有提升图像画质的方案中，大多数是将降噪和增强看作是两种任务，降噪是一种减法操作，即从输入图像中减去噪声；增强是一种加法操作，即增加图像的锐度和对比度等操作。通常在ISP中的做法是先对图像做降噪处理，然后将降噪后的图像送入到增强模块做画质增强处理，两者之间是相互独立的。

针对降噪算法而言，当降噪力度较大时，降噪后的图像可能会由于损失较多的细节信息而导致过于模糊，此时即使对降噪后的图像进行增强处理，图像模糊化也难以改善；当降噪力度较小时，降噪后的图像可以保留较多的细节信息，但可能会导致降噪后的图像仍然残留较多的噪声，此时即使对降噪后的图像进行增强处理，降噪后的图像中残留的噪声也难以消除。

也就是说，在降噪时，如果需要将噪声去除干净，则需要将降噪力度设置的较大，但是较大的降噪力度会导致结果图像过于模糊；如果需要尽可能的保留细节，则会使得结果图像中仍残留较多噪声，尤其是边缘纹理区域。另外，为了提升降噪的效果，大多算法都会使用搜索邻域相似块的方式，提升降噪的稳定和鲁棒性。直接在噪声图像上进行相似块的搜索，搜索结果的准确度会被噪声干扰，尤其是噪声较大时。如此，将降噪和增强分别独立进行的方式，限制了最终效果的上限。降噪过程势必会损失图像自身的细节和梯度信息，增强的目的是为了提升图像的细节和梯度信息，但是如果降噪损失了较多的细节信息，单纯的通过增强算法很难弥补，降低了视频图像的画面质量。

基于此，本申请提供了一种图像处理方法。通过该方法，基于降噪和增强之间的相关性，首先根据各参考块与待处理图像块的相似程度进行噪声滤波，确定降噪图像块；再根据待处理图像块和降噪图像块，能够得到降噪过程中去除的信息，具体可以是同时包含噪声和边缘细节等信息的残差图像块；然后对残差图像块进行二次处理，并根据二次处理后的图像块与降噪图像块的融合处理，即可得到最终的目标图像块；如此，该目标图像块不仅可以在保留细节信息的同时去除输入图像块中的噪声信息，又可以对输入图像块中的细节进一步增强，进而显著提升视频图像的画面质量。

下面将结合附图详细说明本申请提供的各个实施例。

在本申请的一实施例中，图1是本申请实施例提供的一种图像处理方法的流程示意图。如图1所示，该方法可以包括如下步骤：

S110：确定待处理图像块对应的至少一个参考块以及至少一个参考块各自的滤波权重值。

需要说明的是，在本申请实施例中，该图像处理方法可以应用于图像处理装置，或者集成有该装置的电子设备。其中，电子设备可以以各种形式来实施，例如，电子设备可以包括诸如智能手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal DigitalAssistant，PDA)、便捷式媒体播放器(Portable Media Player，PMP)、导航装置、可穿戴设备、数码相机等等，这里对此不作限定。

还需要说明的是，在本申请实施例中，该图像处理方法具体可以是一种同时实现降噪和增强的图像视频画质提升方法，在这里，本申请实施例的核心是降噪和增强的本质都是为了提升图像的画质和清晰度，基于两者之间具有较高的耦合特性，不应该将其看作两个独立的算法方案。

还需要说明的是，在本申请实施例中，至少一个参考块可以位于待处理图像块的预设邻域范围内，且待处理图像块与至少一个参考块的半径可以相同，或者也可以不相同。为了更方便计算两者的相似度，本申请实施例可以设置待处理图像块与参考块的半径相同，但是对此并不作限定。

另外，预设邻域范围可以是人为设置的，也可以是通过其它方式设置的，本申请实施例对此也不作限定。

示例性地，将待处理图像块的预设邻域范围作为一个较大图像块，将该较大图像块分为多个图像块，使得该多个图像块的半径相同，此时该多个图像块中的中心图像块即为待处理图像块，该多个图像块中除中心图像块以外的至少一个图像块即为至少一个参考块(也可称为“参考图像块”)。

在一些实施例中，确定待处理图像块对应的至少一个参考块，可以包括：确定待处理图像块的预设邻域范围；在待处理图像块的预设邻域范围内进行参考块搜索，确定至少一个参考块。

图2示出了本申请实施例提供的一种确定至少一个参考块的图像示意图。如图2所示，假设待处理图像块的预设邻域范围为用白色粗边缘框标识的区域，待处理图像块为用黑色粗边缘框标识的区域，且位于预设邻域范围的中心位置。具体地，假设待处理图像块的预设邻域范围的邻域半径为N，待处理图像块与至少一个参考块的半径均为n，则待处理图像块的预设邻域范围的大小为(2N)*(2N)，待处理图像块与至少一个参考块的大小均为(2n)*(2n)。在待处理图像块的预设领域范围内，大小为(2n)*(2n)的中心图像块即为待处理图像块，在待处理图像块的预设邻域范围内除待处理图像块以外的邻域范围进行大小为(2n)*(2n)的参考块搜索，从而能够确定出至少一个大小为(2n)*(2n)的参考块，详见图2所示的与中心图像块具有相同半径的其他四个块即为四个参考块。

还需要说明的是，图2在待处理图像块的预设邻域范围内示出了四个参考块，可以理解，图2示出的四个参考块作为示例性说明。在待处理图像块的预设邻域范围内，参考块可以有一个，也可以有多个，本申请实施例对参考块的数量不作限定。

S120：根据至少一个参考块以及至少一个参考块各自的滤波权重值对待处理图像块进行第一滤波处理，确定降噪图像块。

在这里，第一滤波可以是线性滤波，也可以是自适应滤波，甚至还可以是其它滤波，本申请实施例对此不作限定。

在一些实施例中，根据至少一个参考块以及至少一个参考块各自的滤波权重值对待处理图像块进行第一滤波处理，确定降噪图像块，可以包括：根据至少一个参考块以及至少一个参考块各自的滤波权重值，确定待处理图像块的滤波权重值；根据待处理图像块的滤波权重值，对待处理图像块进行第一滤波处理，确定降噪图像块。

示例性地，当第一滤波为自适应滤波时，根据至少一个参考块以及至少一个参考块各自的滤波权重值对待处理图像块进行第一滤波处理，可以包括：根据至少一个参考块中的每一个参考块与每一个参考块各自的滤波权重值的卷积和，确定待处理图像块的滤波权重值；根据待处理图像块的滤波权重值，对待处理图像块进行自适应滤波处理，确定降噪图像块。

S130：根据待处理图像块和降噪图像块确定残差图像块，并对残差图像块进行细节处理，确定细节图像块。

在一些实施例中，根据待处理图像块和降噪图像块确定残差图像块，可以包括：根据待处理图像块与降噪图像块进行差值计算，确定残差图像块。

在这里，待处理图像块与降噪图像块的差可以理解为，待处理图像块中像素点的像素值与降噪图像块中对应像素点的像素值的差。

应理解，根据待处理图像块和降噪图像块确定的残差图像块可以包括对待处理图像块进行降噪时去除的信息。其中，该去除的信息既可以包括去除的噪声信息，也可以包括去除的细节信息。

还应理解，对残差图像块进行细节处理确定的细节图像块可以包括对待处理图像块进行降噪时去除的细节信息。

S140：根据降噪图像块与细节图像块进行融合处理，确定目标图像块。

在这里，根据降噪图像块与细节图像块进行融合处理，确定目标图像块，可以包括：根据降噪图像块与细节图像块进行和值计算，确定目标图像块。

其中，降噪图像块与细节图像块的和可以理解为，降噪图像块中像素点的像素值与细节图像块中对应像素点的像素值的和。

应理解，在本申请实施例中，针对输入图像而言，可以划分出多个待处理图像块，每一个待处理图像块均可以采用图1所示的流程，从而能够确定出每一个待处理图像块对应的目标图像块；将这多个目标图像块进行拼接处理，即可以确定出输入图像对应的目标图像，该目标图像同时实现降噪和增强的图像视频画质的提升。另外，这多个待处理图像块可以并行处理，从而能够降低计算复杂度，加快图像处理速度。

本申请实施例提供了一种图像处理方法，可以根据待处理图像块与将待处理图像块进行第一滤波处理得到的降噪图像块确定残差图像块，并将该残差图像块进行细节处理后得到的细节图像块与降噪图像块进行融合处理确定目标图像块。通过该方法，基于降噪和增强之间的相关性，该目标图像块不仅可以在保留细节信息的同时去除输入图像块中的噪声信息，又可以对输入图像块中的细节进一步增强，进而显著提升视频图像的画面质量。

在本申请的另一实施例中，基于前述实施例所述的图像处理方法，对于步骤110而言，确定至少一个参考块各自的滤波权重值，可以有以下几种方式。

方式#A，至少一个参考块各自的滤波权重值可以是人为设置的。

示例性地，至少一个参考块各自的滤波权重值可以是人为通过分析设置的。例如，人为通过视觉分析确定至少一个参考块各自包含的噪声信息量，并根据该噪声信息量，确定至少一个参考块各自的滤波权重值，如对于包含噪声信息量较大的参考块可以设置较大的滤波权重值，对于包含噪声信息量较小的参考块可以设置较小的滤波权重值。

方式#B，确定待处理图像块与至少一个参考块之间的相似度；根据待处理图像块与至少一个参考块之间的相似度，确定至少一个参考块各自的滤波权重值。

示例性地，当待处理图像块与参考块之间的相似度较高时，该参考块的滤波权重值较大；当待处理图像块与参考块之间的相似度较低时，该参考块的滤波权重值较小。也就是说，参考块的滤波权重值与待处理图像块与参考块之间的相似度可以呈正相关。

在本申请实施例中，确定待处理图像块与至少一个参考块之间相似度的方式可以有多种。下面以确定待处理图像块与至少一个参考块中的其中一个参考块之间的相似度为例进行示例性说明，确定待处理图像块与其余参考块之间的相似度的方式与其类似，在此不再进行赘述。

在一种具体的实施例中，通过平均绝对差(mean absolute differences，MAD)算法计算待处理图像块与参考块之间的相似度。待处理图像块与参考块之间相似度的计算公式如下所示：

其中，

m＝(2n+1)² (2)

在这里，s为待处理图像块与参考块之间的相似度，m为待处理图像块或参考块中像素点的个数，y_k为待处理图像块中第k个像素点的像素值，ref_k为参考块中第k个像素点的像素值，n为待处理图像块或参考块的半径。

为了降低噪声对待处理图像块与参考块之间相似度计算的影响，在使用式(1)计算待处理图像块与参考块之间的相似度时，往往还需要引入权重值w，此时待处理图像块与参考块之间相似度的计算公式如下所示：

其中，

在这里，s₁为待处理图像块与参考块之间的相似度，权重值w用于表征参考块与待处理图像块之间的距离，δ为方差，该方差可以根据待处理图像块的噪声强度确定，i和j分别为参考块中心像素点的横坐标和纵坐标，x和y分别为待处理图像块中心像素点的横坐标和纵坐标，m、y_k、ref_k的含义与式(1)类似，在此不再进行赘述。

在另一种具体的实施例中，通过绝对误差和(Sum of Absolute Differences，SAD)算法计算待处理图像块与至少一个参考块之间的相似度。待处理图像块与参考块之间相似度的计算公式如下所示：

在这里，s₂为待处理图像块与参考块之间的相似度，m、y_k、ref_k的含义与式(1)类似，在此不再进行赘述。

为了降低噪声对待处理图像块与参考块之间相似度计算的影响，在使用式(5)计算待处理图像块与参考块之间的相似度时，往往还需要引入权重值w，此时待处理图像块与参考块之间相似度的计算公式如下所示：

其中，s₃为待处理图像块与参考块之间的相似度，权重值w、m、y_k、ref_k的含义与式(1)和式(4)类似，在此不再进行赘述。

通过方式#B，根据待处理图像块与至少一个参考块之间的相似度，确定至少一个参考块各自的滤波权重值，能够提高确定至少一个参考块各自的滤波权重值的准确性，进一步使得得到的降噪图像块和残差图像块更加准确，对于目标图像块的画质提升也更加显著。

方式#C，确定待处理图像块的噪声强度表征值；根据待处理图像块与至少一个参考块之间的相似度以及待处理图像块的噪声强度表征值，确定至少一个参考块各自的滤波权重值。

在一些实施例中，确定待处理图像块的噪声强度表征值，可以包括：确定待处理图像块的亮度分量值；确定待处理图像块的亮度分量值在第一预设映射关系下的第一取值；根据该第一取值，确定待处理图像块的噪声强度表征值。

其中，第一预设映射关系可以是基于查找表(Look-Up-Table，LUT)的表现形式，也可以是基于预设函数、计算模型等其它表现形式，本申请实施例对此不作限定。另外，这里的第一预设映射关系可以是指亮度分量值与第一取值之间的映射关系。

示例性地，确定待处理图像块的亮度分量值在第一预设映射关系下的第一取值，可以包括：在LUT表中，根据待处理图像块的亮度分量值，查找与待处理图像块的亮度分量值相对应的第一取值。

示例性地，根据该第一取值，确定待处理图像块的噪声强度表征值，可以包括：第一取值即为待处理图像块的噪声强度表征值。

示例性地，图3示出了本申请实施例提供的一种噪声标定结果的曲线示意图。如图3所示，横坐标为待处理图像块的亮度分量值，纵坐标为待处理图像块的噪声强度表征值，根据待处理图像块的亮度分量值，可以确定待处理图像块的噪声强度表征值。参见图3，当待处理图像块的亮度分量值为1000时，待处理图像块的噪声强度表征值即为100。也就是说，基于图3所示的曲线，可以建立第一预设映射关系，即亮度分量值与噪声强度表征值之间的映射关系；从而根据亮度分量值，能够确定出待处理图像块的噪声强度表征值。

应理解，根据待处理图像块与至少一个参考块之间的相似度以及待处理图像块的噪声强度表征值，确定至少一个参考块各自的滤波权重值，可以理解为，根据待处理图像块与至少一个参考块之间的相似度确定至少一个参考块各自的滤波权重值时，可以考虑待处理图像块的噪声强度表征值。

示例性地，以至少一个参考块中的其中一个参考块为例。当待处理图像块的噪声强度表征值较大时，即使待处理图像块与参考块之间的相似度较低，也可以适当增大该参考块的滤波权重值，以提升待处理图像块的降噪强度；当待处理图像块的噪声强度表征值较小时，即使待处理图像块与参考块之间的相似度较高，也可以适当减小该参考块的滤波权重值，以保留待处理图像块更多的细节信息。

这样，通过方式#C，根据待处理图像块与至少一个参考块之间的相似度以及待处理图像块的噪声强度表征值，确定至少一个参考块各自的滤波权重值，能够提高确定至少一个参考块各自的滤波权重值的准确性，进一步使得得到的降噪图像块和残差图像块更加准确，对于目标图像块的画质提升也更加显著。

方式#D，根据待处理图像块进行第二滤波处理，确定待处理图像块的第二滤波响应值；根据待处理图像块与至少一个参考块之间的相似度以及待处理图像块的第二滤波响应值，确定至少一个参考块各自的滤波权重值。

其中，第二滤波可以是sobel滤波，也可以是其它滤波，本申请实施例对此不作限定。

例如，当第二滤波为sobel滤波时，待处理图像块的第二滤波响应值为待处理图像块的sobel滤波响应值。

应理解，根据待处理图像块与至少一个参考块之间的相似度以及待处理图像块的第二滤波响应值，确定至少一个参考块各自的滤波权重值，可以理解为，根据待处理图像块与至少一个参考块之间的相似度确定至少一个参考块各自的滤波权重值时，可以考虑待处理图像块的第二滤波响应值。

示例性地，以至少一个参考块中的其中一个参考块为例。当待处理图像块的第二滤波响应值较大时，即使待处理图像块与参考块之间的相似度较大，也可以适当减小该参考块的滤波权重值，以保留待处理图像块更多的细节信息；当待处理图像块的第二滤波响应值较小时，即使待处理图像块与参考块之间的相似度较小，也可以适当增大该参考块的滤波权重值，以提升待处理图像块的降噪强度。

这样，通过方式#D，根据待处理图像块与至少一个参考块之间的相似度以及待处理图像块的第二滤波响应值，确定至少一个参考块各自的滤波权重值，能够提高确定至少一个参考块各自的滤波权重值的准确性，进一步使得得到的降噪图像块和残差图像块更加准确，对于目标图像块的画质提升也更加显著。

在一些实施例中，根据方式#B确定至少一个参考块各自的滤波权重值，并根据至少一个参考块以及至少一个参考块各自的滤波权重值对待处理图像块进行第一滤波处理，确定降噪图像块后，可以再次确定该降噪图像块与至少一个参考块之间的相似度，根据降噪图像块与至少一个参考块之间的相似度，可以再次确定至少一个参考块各自的滤波权重值，并根据至少一个参考块以及至少一个参考块各自的滤波权重值对待处理图像块进行再次第一滤波处理，可以得到二次降噪图像块。根据方式#C和方式#D得到二次降噪图像块的方式与方式#B类似，在此不在进行赘述。

本实施例提供了一种图像处理方法，通过上述实施例对前述实施例的具体实现进行了详细阐述，从中可以看出，相比于直接根据待处理图像块与至少一个参考块之间的相似度确定至少一个参考块各自的滤波权重值的方式，根据降噪图像块与至少一个参考块之间的相似度确定至少一个参考块各自的滤波权重值的方式，可以减小待处理图像块中的噪声对相似度计算的干扰，进一步提升降噪的稳定性和鲁棒性。

在本申请的又一实施例中，基于前述实施例所述的图像处理方法，本申请实施例可以对残差图像块进行细节处理确定细节图像块。如图4所示，该方法可以包括如下步骤：

S410：对降噪图像块进行纹理分析，确定纹理分析结果。

S420：根据纹理分析结果对残差图像块进行细节处理，确定细节图像块。

需要说明的是，在本申请实施例中，根据纹理分析结果可以确定降噪图像块中每个像素点的预设邻域范围的纹理细节强弱程度。例如，根据纹理分析结果可以确定降噪图像块中纹理细节强的像素点的预设邻域范围；再例如，根据纹理分析结果可以确定降噪图像块中纹理细节弱的像素点的预设邻域范围。

应理解，由于降噪图像块与残差图像块都是基于待处理图像块得到的，因此，对降噪图像块进行纹理分析确定的纹理分析结果同样适用于残差图像块。也就是说，本申请实施例可以根据对降噪图像块进行纹理分析确定的纹理分析结果，确定残差图像块中纹理细节强的像素点的预设邻域范围以及纹理细节弱的像素点的预设邻域范围。

还应理解，根据纹理分析结果对残差图像块进行细节处理，可以理解为，根据纹理分析结果，去除残差图像块中的噪声信息量，保留残差图像块中的细节信息量。

需要说明的是，在本申请实施例中，对降噪图像块进行纹理分析确定的纹理分析结果可以提升纹理分析结果的置信度。根据该纹理分析结果对残差图像块进行细节处理，可以使得残差图像块中纹理细节强的像素点的预设邻域范围保留更多的细节信息量，使得残差图像块中纹理细节弱的像素点的预设邻域范围去除更多的噪声信息量，从而使得细节图像块能够更准确。

在一些实施例中，对降噪图像块进行纹理分析，确定纹理分析结果，可以包括：根据降噪图像块进行方差计算，确定降噪图像块的方差值；根据降噪图像块进行第三滤波处理，确定降噪图像块的第三滤波响应值；根据降噪图像块进行第四滤波处理，确定降噪图像块的第四滤波响应值；根据降噪图像块的方差值、降噪图像块的第三滤波响应值和降噪图像块的第四滤波响应值，确定纹理分析结果。

需要说明的是，在本申请实施例中，第三滤波可以是带通滤波，也可以是其它滤波，本申请实施例对此不作限定。

示例性地，当第三滤波是带通滤波时，降噪图像块的第三滤波响应值为降噪图像块的带通滤波响应值。

还需要说明的是，在本申请实施例中，第四滤波可以是sobel滤波，也可以是其它滤波，本申请实施例对此不作限定。

示例性地，当第四滤波为sobel滤波时，降噪图像块的第四滤波响应值为降噪图像块的sobel滤波响应值。

下面以第三滤波是带通滤波、第四滤波是sobel滤波为例，针对根据降噪图像块的方差值、降噪图像块的带通滤波响应值和降噪图像块的sobel滤波响应值，确定纹理分析结果进行示例性说明。

示例性地，假设降噪图像块中每个像素点的预设邻域范围的邻域直径为M，则降噪图像块中每个像素点的预设邻域范围的大小为M*M，且M≤2n+1，n为降噪图像块的半径。以降噪图像块为例，其对应的纹理分析结果如下所示：

其中，act为降噪图像块中的一个像素点的纹理分析结果(即local activity值)，

为方差值，p_i为像素点的预设邻域范围中的第i个像素点的像素值，

为像素点的预设邻域范围中所有像素点的平均值，f_band(img)为降噪图像块img的带通滤波响应值，

为降噪图像块的sobel滤波响应值，s_x为降噪图像块的sobel滤波在水平方向的响应值，s_y为降噪图像块的sobel滤波在垂直平方向的响应值，α为方差值的权重，β为带通滤波响应值的权重，γ为sobel滤波响应值的权重。

在一些实施例中，根据纹理分析结果对残差图像块进行细节处理，确定细节图像块，可以包括：确定纹理分析结果在第二预设映射关系下的第二取值；根据第二取值和残差图像块，确定初始细节图像块；根据初始细节图像块进行钳位操作，确定细节图像块。

需要说明的是，在本申请实施例中，第二预设映射关系可以是基于LUT的表现形式，也可以是基于预设函数、计算模型等其它表现形式，本申请实施例对此不作限定。另外，这里的第二预设映射关系可以为纹理分析结果与第二取值之间的映射关系。

示例性地，确定纹理分析结果在第二预设映射关系下的第二取值，可以包括：在LUT表中，根据纹理分析结果，查找与该纹理分析结果相对应的第二取值。

应理解，根据初始细节图像块进行钳位操作，可以理解为，对初始细节图像块预设一个上下边界，对初始细节图像块进一步限制，使得初始细节图像块的最大值不超过预设的上边界，使得初始细节图像块的最小值不低于预设的下边界。

其中，对初始细节图像块预设一个上下边界可以是人为设置的，也可以是通过其它方式设置的，本申请实施例对此不作限定。

下面以第二预设映射关系是在LUT表中的映射关系为例，针对根据纹理分析结果对残差图像块进行细节处理，确定细节图像块进行示例性说明。

示例性地，以残差图像块为例，对残差图像块进行二次处理，确定细节图像块的计算公式如下所示：

out＝clamp(LUT(act)*res,min_val,max_val) (8)

其中，out为残差图像块中的细节信息，LUT(act)为纹理分析结果在LUT表中的映射关系下的第二取值，res为残差图像块中的残差信息，LUT(act)*res为初始细节图像块的输出值，min_val为对LUT(act)*res预设的下边界，max_val为对LUT(act)*res预设的上边界，clamp为对LUT(act)*res进行钳位(clip)操作，使得LUT(act)*res的最大值不超过max_val，使得LUT(act)*res的最小值不低于min_val。

本实施例提供了一种图像处理方法，通过上述实施例对前述实施例的具体实现进行了详细阐述，从中可以看出，对第二取值和残差图像块确定的初始细节图像块进行钳位操作，确定细节图像块，能够使得细节图像块在去除噪声信息量、保留细节信息量的同时，对初始细节图像块预设上下边界也能够使得细节图像块落在预设的范围中，进一步提高细节图像块的准确性。

在本申请的再一实施例中，基于前述实施例所述的图像处理方法，本申请实施例可以根据降噪图像块与细节图像块进行融合处理确定目标图像块。如图5所示，该方法可以包括如下步骤：

S510：根据降噪图像块进行纹理分析，确定纹理分析结果。

S520：根据纹理分析结果对降噪图像块进行增强处理，确定增强图像块。

S530：根据增强图像块与细节图像块进行融合处理，确定目标图像块。

需要说明的是，在本申请实施例中，根据降噪图像块进行纹理分析，确定纹理分析结果与前述实施例类似，在此不再进行赘述。

应理解，根据纹理分析结果对降噪图像块进行增强处理，可以理解为，根据纹理分析结果，对降噪图像块中纹理细节强的像素点的预设邻域范围进行高强度的锐化，对降噪图像块中纹理细节弱的像素点的预设邻域范围降低锐化力度，从而能够对降噪图像块的增强力度进行控制。

其中，根据增强图像块与细节图像块进行融合处理，确定目标图像块，可以包括：根据增强图像块与细节图像块的和，确定目标图像块。

其中，增强图像块与细节图像块的和可以理解为，增强图像块中像素点的像素值与细节图像块中对应像素点的像素值的和。

还需要说明的是，在本申请实施例中，根据纹理分析结果对降噪图像块进行增强处理，确定增强图像块，能够使得增强图像块保留更多的细节信息，进一步使得根据增强图像块与细节图像块进行融合处理确定的目标图像块也能够保留更多的细节信息。

在一些实施例中，根据纹理分析结果对降噪图像块进行增强处理，确定增强图像块，可以包括：根据降噪图像块中的高频信息和中频信息，确定高频降噪图像子块和中频降噪图像子块；根据纹理分析结果对高频降噪图像子块进行增强处理，确定高频增强图像子块；根据纹理分析结果对中频降噪图像子块进行增强处理，确定中频增强图像子块；根据降噪图像块、高频增强图像子块与中频增强图像子块进行融合处理，确定增强图像块。

其中，根据纹理分析结果对高频降噪图像子块进行增强处理和根据纹理分析结果对中频降噪图像子块进行增强处理，与前文提及的根据纹理分析结果对降噪图像块进行增强处理类似，在此不再进行赘述。

其中，根据降噪图像块、高频增强图像子块与中频增强图像子块进行融合处理，确定增强图像块，可以理解为，使用高频增强图像子块与中频增强图像子块替换降噪图像块中的相应图像子块，得到增强图像块。

在本申请实施例中，将降噪图像块中的高频信息和中频信息进一步区分确定的高频增强图像子块和中频增强图像子块，与降噪图像块进行融合处理，确定增强图像块，可以进一步控制降噪图像块的增强力度，使得增强图像块保留更多的细节信息。

在一些实施例中，根据降噪图像块、高频增强图像子块与中频增强图像子块进行融合处理，确定增强图像块，可以包括：根据纹理分析结果对高频降噪图像子块进行增强处理，确定初始高频增强图像子块；对初始高频增强图像子块进行钳位操作，确定高频增强图像子块；根据纹理分析结果对中频降噪图像子块进行增强处理，确定初始中频增强图像子块；对初始中频增强图像子块进行钳位操作，确定中频增强图像子块；根据降噪图像块、高频增强图像子块与中频增强图像子块进行融合处理，确定增强图像块。

其中，对初始高频增强图像子块进行钳位操作和对初始中频增强图像子块进行钳位操作，与前文提及的对初始细节图像块进行钳位操作类似，在此不再进行赘述。

在本申请实施例中，对初始高频增强图像子块进行钳位操作，以及对初始中频增强图像子块进行钳位操作，能够为初始高频增强图像子块以及初始中频增强图像子块预设上下边界，从而使得高频增强图像子块以及中频增强图像子块落在预设的范围中，进一步控制增强力度，有效避免了晕轮问题。

在一些实施例中，根据降噪图像块、高频增强图像子块与中频增强图像子块进行融合处理，确定增强图像块，可以包括：根据降噪图像块、高频增强图像子块与中频增强图像子块进行融合处理，确定初始增强图像块；对降噪图像块进行边缘检测处理，确定边缘检测结果；根据边缘检测结果对初始增强图像块进行边缘平滑处理，确定增强图像块。

在本申请实施例中，根据边缘检测结果对初始增强图像块进行边缘平滑处理，确定增强图像块，能够提高初始增强图像块边缘的连续性，从而进一步提高增强图像块的准确性。

示例性地，图6示出了本申请实施例提供的一种确定增强图像块的框架示意图。如图6所示，该框架可以包括高频提取单元610、中频提取单元620、力度控制单元630、第一静态&动态控制单元640、第二静态&动态控制单元650、边缘检测单元660、边缘增强计算单元670和边缘平滑单元680。其中，对于输入的降噪图像块，在经过高频提取单元610的提取处理之后可以得到高频降噪图像子块，在经过中频提取单元620的提取处理之后可以得到中频降噪图像子块；在力度控制单元630接收到根据纹理分析结果(local activity值)之后，可以产生第一增强力度(gain1)和第二增强力度(gain2)，再利用第一增强力度对高频降噪图像子块进行增强处理，得到初始高频增强图像子块，利用第二增强力度对中频降噪图像子块进行增强处理，得到初始中频增强图像子块；紧接着利用第一静态&动态控制单元640对初始高频增强图像子块进行静态控制和动态控制(Dynamic and Static Clamp)处理，得到高频增强图像子块；利用第二静态&动态控制单元650对初始中频增强图像子块进行静态控制和动态控制(Dynamic and Static Clamp)处理，得到中频增强图像子块；对高频增强图像子块、中频增强图像子块和输入的降噪图像块进行求和处理，得到初始增强图像块；根据边缘检测单元660的检测结果，利用边缘平滑单元680对初始增强图像块进行边缘平滑处理，最终输出增强图像块。其中，对于第一静态&动态控制单元640和第二静态&动态控制单元650而言，在增强力度控制中，会受到边缘增强计算单元670的输出结果控制。

具体来讲，根据降噪图像块中的高频信息和中频信息，确定高频降噪图像子块和中频降噪图像子块。根据力度控制单元包括的降噪图像块的纹理分析结果，对高频降噪图像子块和中频降噪图像块分别进行增强处理，确定初始高频增强图像子块和初始中频增强图像子块。静态控制单元对初始高频增强图像子块和初始中频增强图像子块分别预设一个上下边界。动态控制单元根据初始高频增强图像子块和初始中频增强图像子块各自预设的上下边界，对初始高频增强图像子块和初始中频增强图像子块分别进行限制，使得初始高频增强图像子块的最大值和初始中频增强图像子块的最大值均不超过各自预设的上边界，使得初始高频增强图像子块的最小值和初始中频增强图像子块的最小值均不低于各自预设的下边界，并结合边缘增强计算确定高频增强图像子块以及中频增强图像子块。根据降噪图像块、高频增强图像子块与中频增强图像子块进行融合处理，确定初始增强图像块。为了实现对初始增强图像块的边缘增强(Edge Enhancement，EE)，还可以对降噪图像块进行边缘检测(Edge Detection，ED)处理，确定边缘检测结果。然后根据边缘检测结果对初始增强图像块进行边缘平滑处理，确定增强图像块。

其中，对初始高频增强图像子块预设一个上下边界，以及对初始中频增强图像子块预设一个上下边界可以是人为设置的，也可以是通过其它方式设置的，本申请实施例对此不作限定。

其中，结合边缘增强计算确定高频增强图像子块以及中频增强图像子块，可以理解为，对于边缘需要增强的初始高频增强图像子块和初始中频增强图像子块，该初始高频增强图像子块的最大值和初始中频增强图像子块的最大值可以不受各自预设的上边界的限制；对于边缘需要弱化的初始高频增强图像子块和初始中频增强图像子块，该初始高频增强图像子块的最小值和初始中频增强图像子块的最小值可以不受各自预设的下边界的限制。

其中，根据降噪图像块、高频增强图像子块与中频增强图像子块进行融合处理，确定初始增强图像块，可以理解为，使用高频增强图像子块与中频增强图像子块替换降噪图像块中的相应图像子块，得到初始增强图像块。

如此，通过图6所示的框架示意图，可以进一步控制降噪图像块的增强力度，使得增强图像块保留更多的细节信息，提高了增强图像块边缘的连续性以及准确性。

在一种具体的实施例中，基于前述实施例的图像处理方法，参见图7，其示出了本申请实施例提供的一种图像处理方法的详细流程示意图。如图7所示，该流程示意图可以包括如下步骤：

S710，块匹配处理(Block Matching)。

在本申请实施例中，以图2为例，首先对于输入图像中每一个像素点，会确定一个邻域范围，邻域半径定义为N；在进行块匹配的相似度计算时，以每个参考像素(pixel)为中心，选取一个半径为n的图像块，然后依次计算中心图像块和各参考块的相似度。其中，相似度的评判准则可以使用常用的MAD或SAD等计算方式，如前述的式(1)、式(2)所示。

为了降低噪声对相似度计算的影响，在块匹配过程中计算相似度时，计算出的客观参数值s还会乘以一个权重值，这里的权重值表征的是参考块距离中心图像块的距离，如前述的式(3)、式(4)所示。

其中，方差δ可以根据图像中的噪声强度确定，i和j分别表示参考块的中心像素点的横坐标和纵坐标，x和y分别表示中心图像块的中心像素点的横坐标和纵坐标。

S720，自适应滤波计算(Adaptive Filter Kernel Calculation)。

在本申请实施例中，在每个中心像素的邻域范围内，计算出各参考像素点(可看作参考块)与中心像素点(可看作中心图像块)的匹配度后，需要根据相似度确定在滤波时该参考像素点的权重。为了自适应处理图像中的亮区和暗区，在滤波权重确定过程中，还需要引入该像素点的噪声强度表征量。其中，在强噪声区域，即使相似度较低，也需要提供给一个较大的滤波权重，以提升该区域的降噪强度；在弱噪声强度区域，即便相似度较高，这时候也需要提供一个相对较小的滤波权重，以保留该区域的细节信息。

以图3为例，其示出噪声强度的计算可以通过噪声标定，然后根据中心像素点的局部亮度去查找标定后的LUT表，确定当前区域的噪声强度表征值。也可以通过直接对输入图像进行sobel滤波，然后根据sobel的计算值确定每个像素点所处的区域，在sobel响应值较高的区域，应该降低最终的滤波强度，以保证图像的边缘细节信息，在sobel响应值较低的区域，应该提升最终的滤波强度，以增加平坦区域的降噪力度。

S730，计算纹理分析结果(Local Activity Calculation)。

在本申请实施例中，Local activity的计算是为了统计出图像中每个像素点所处区域的纹理细节强弱程度。由于是在降噪后的图像上进行统计，进一步提升了统计结果的置信度。首先，统计以每个像素点为中心，邻域大小为M*M图像块的方差信息，作为localactivity表征量中的第一项；其次，使用带通滤波器对图像进行滤波，提取出图像中的带通响应值，将响应值作为local activity表征量中的第二项；最后，同样使用sobel滤波器，对输入图像进行sobel滤波，然后将sobel滤波响应值作为local activity表征量中的第三项。在这里，local activity的计算如前述的式(7)所示。

其中，α和β以及γ分别表示local activity计算过程中三个子项的权重；

表示图像邻域范围的均值，p_i表示邻域范围中每个像素点的像素值，f_band(img)表示对图像进行带通滤波得到的带通响应值，s_x和s_y分别表示sobel滤波在水平方向和垂直方向的响应值。

S740，对残差的二次处理(Residual Reprocessing)。

在本申请实施例中，Residual Reprocessing主要的功能是对计算得到的残差图像块(residual)进行二次处理，提取其中的噪声分量，而保留其中存在的图像边缘细节信息。具体的是根据local activity模块中计算出的响应值去自适应的调整不同区域需要保留的信息量，在低local activity区域，说明图像中该区域较为平坦，需要降低该区域需要加回输出图像的量；在高local activity区域，说明该区域属于纹理细节区域，需要多保留一些信息量。

示例性地，在一种Reprocessing的方式中，Residual Reprocessing可以如前述的式(8)所示。

其中，res表示残差信息，LUT是一条预设的gain值查找表，使用最终的localactivity值进行查表，逐像素得到对应的gain值，然后将gain值乘以残差信息，最后会预设出一个上下边界，clamp表示clip操作，限制要添加到最终结果信息量的最大和最小值。

S750，基于增强的锐化处理(Un-sharp Mask Based Enhancement)。

在本申请实施例中，还需要对降噪后的图像进行边缘增强处理，经过ResidualReprocessing处理后，得到了在降噪过程中损失的细节信息，直接添加回降噪后的图像可以得到一个理想降噪后的结果，在该过程中没有损失图像自身的细节信息。为了进一步增强图像中的边缘，得到一张比原始无噪图像更清晰更锐利的图像，本申请实施例还设计了一种边缘增强的锐化方案，设计的锐化方案框架示意图如图6所示。

应理解，整个锐化方案是基于非锐化掩膜(Un-Sharp Mask，USM)进行的，主要思想是分别提取图像中的中频和高频信息，然后设计对应的力度控制单元，以实现分别控制图像中频和高频增强的力度。同时将前述计算的local activity值传入力度控制单元，以决定图像中局部区域的增强力度控制。当local activity值较大，表明该区域的纹理细节特征较明显，因此可以适当进行较高强度的锐化；当local activity值较小，表明该区域较为平坦，可以适当降低该区域的锐化力度。最后还会有一个静态&动态控制单元，主要用于最终控制增强力度，防止产生halo问题。

还应理解，由于增强可能会降低图像边缘的连续性，因此在锐化流程中，还可以进行一次边缘检测以及沿边缘平滑的处理。

简单来说，如图7所示的流程示意图，对于输入图像首先会进行相似块的搜索，通过在一定的邻域范围内搜索相似块，根据设定的相似度判定准则，确定邻域内各参考块与待处理图像块的相似程度。然后，根据相似程度赋予每个参考块一个滤波权重，也即是流程图中的步骤S720。经过自适应滤波后，即可得到一个初步降噪后的图像。由于在输入图像中的噪声对图像块相似度计算，具有较大的影响。因此，当得到初步降噪后的图像后，还可以重新进行参考块的相似度计算，使用初步降噪后的图像作为引导信息，在输入噪声图像上进行二次相似度计算。然后根据计算的相似度信息再进行自适应的滤波处理。

在降噪操作执行结束后，首先使用输入噪声图像减去降噪图像，得到降噪过程中去除的信息。实际上去除的信息中同时包含着噪声和图像的边缘细节等信息。首先基于去噪后的图像逐像素计算local activity属性，local activity可以表征当前像素点是处于平坦区域还是边缘区域等。然后根据local activity同时指导residual的处理以及图像的锐化处理。然后将residual经过reprocessing处理后的值加到锐化增前后的图像上，即可得到最终的结果图像。

这样，经过上述的处理后，既可以在保留细节信息的同时消除输入图像中的噪声信息，又可以对原始输入图像中的细节进一步的增强；进而实现整体视频图像画质的提升。

可以理解，在本申请实施例中使用降噪和增强相耦合的方式来提升图像画质，然而，可以理解，将降噪和增强相耦合并不局限于本申请实施例，任何使用本申请实施例提供的将降噪和增强相耦合的实施方式都将落入本申请的保护范围之内。

还可以理解，对降噪图像块进行纹理分析确定的纹理分析结果，可以对残差图像块进行细节处理以及对降噪图像块进行增强处理，还可以根据纹理分析结果对降噪图像块进行处理，使得降噪图像块去除更多的噪声信息量，保留更多的细节信息量，进一步使得获得的降噪图像块更加准确。

还可以理解，Local Activity计算出的图像纹理细节丰富程度的表征量，不仅仅可以用于后续的增强以及residual的reprocessing，还可以反馈指导降噪模块，根据不同区域activity响应值的不同，进行强度自适应的降噪处理。

还可以理解，本申请实施例提供的图像处理方法可以适用于视频图像增强算法，也可以适用于基于卷积神经网络的增强算法，如MemNet/VDSR/CBDNet等，甚至还可以适用于其它算法，本申请实施例对此不予限制。

还可以理解，本申请的各实施例中的技术方案可以进行合理的组合使用，且实施例中出现的各个术语的解释或说明可以在各个实施例中参考或解释，本申请实施例对此不作限定。

还可以理解，在本申请的各实施例中的各种数字序号的大小并不意味着执行顺序的先后，仅为描述方便进行的区分，不应对本申请实施例的实施过程构成任何限定。而且在本申请的各实施例中涉及到的名称，如第一滤波处理、第二滤波处理等等，应理解，其命名不对本申请实施例的保护范围造成限定。

在本申请实施例中，这里提出了一种同时实现降噪和增强的图像视频画质提升技术方案，一方面，设计了一种算法处理架构，充分利用了降噪和画质增强两者间的相关性，最终实现同时兼顾视频图像的降噪和画质增强处理；另一方面，设计了一种迭代降噪算法，第一步获取得到初步的降噪图像，然后根据初步降噪图像和原始输入图像进行最终的降噪处理，通过这种方式可以有效提升相似度判断的准确性；又一方面，提出并设计了residualreprocessing和USM锐化方案，对降噪后的图像进行增强处理，增强过程使用了降噪损失的细节信息，同时也利用了降噪后图像自身的梯度信息，能够比较明显的提升画质增强的效果和质量。

本实施例提供了一种图像处理方法，通过上述实施例对前述实施例的具体实现进行了详细阐述，从中可以看出，通过分析降噪和增强算法的特性，以及两者之间的相关性，本申请实施例提出了一种两者协同作用的技术方案，能够在不降低噪声图像清晰度的同时，去除其中的噪声，并增强其中的边缘细节等信息。而且本申请实施例克服了传统降噪方案会损失图像清晰度的缺陷，并在此基础上提升了降噪能力，能有有效的区分图像中的细节信息和噪声干扰。同时根据初步降噪后的图像去指导原始输入噪声图像的降噪过程，能够有效的增加与参考块进行相似度计算的准确度，进一步提升降噪表现；最后还提出了一种边缘增强锐化算法，不仅能够去除图像中存在的噪声，还能对真实图像细节信息有进一步的增强作用。

在本申请的再一实施例中，相应于各方法实施例给出的方法，本申请实施例还提供了相应的装置，所述装置包括配置为执行上述各个方法实施例相应的模块。该模块可以是软件，也可以是硬件，或者是软件和硬件的结合，应理解，上述方法实施例所描述的特征同样适用于以下装置实施例。

以上，结合图1至图7详细说明了本申请实施例提供的图像处理方法。以下，结合图8至图10详细说明本申请实施例提供的图像处理装置。

图8示出了本申请实施例提供的一种图像处理装置的组成结构示意图。如图8所示，图像处理装置800可以包括：确定单元810和处理单元820，其中：

确定单元810，配置为确定待处理图像块对应的至少一个参考块以及至少一个参考块各自的滤波权重值；

处理单元820，配置为根据至少一个参考块以及至少一个参考块各自的滤波权重值对待处理图像块进行第一滤波处理，确定降噪图像块；

处理单元820，还配置为根据待处理图像块和降噪图像块确定残差图像块，并对残差图像块进行细节处理，确定细节图像块；

处理单元820，还配置为根据降噪图像块与细节图像块进行融合处理，确定目标图像块。

在一些实施例中，确定单元810，还配置为确定待处理图像块的预设邻域范围；以及在预设邻域范围内进行参考块搜索，确定至少一个参考块。

在一些实施例中，确定单元810，还配置为确定待处理图像块与至少一个参考块之间的相似度；以及根据待处理图像块与至少一个参考块之间的相似度，确定至少一个参考块各自的滤波权重值。

在一些实施例中，确定单元810，还配置为确定待处理图像块的噪声强度表征值；以及根据待处理图像块与至少一个参考块之间的相似度以及待处理图像块的噪声强度表征值，确定至少一个参考块各自的滤波权重值。

在一些实施例中，确定单元810，还配置为确定待处理图像块的亮度分量值；以及确定待处理图像块的亮度分量值在第一预设映射关系下的第一取值；以及根据第一取值，确定待处理图像块的噪声强度表征值。

在一些实施例中，处理单元820，还配置为根据待处理图像块进行第二滤波处理，确定待处理图像块的第二滤波响应值；以及根据待处理图像块与至少一个参考块之间的相似度以及待处理图像块的第二滤波响应值，确定至少一个参考块各自的滤波权重值。

在一些实施例中，参见图8，图像处理装置800还可以包括分析单元830，配置为对降噪图像块进行纹理分析，确定纹理分析结果；

处理单元820，还配置为根据纹理分析结果对残差图像块进行细节处理，确定细节图像块。

在一些实施例中，参见图8，图像处理装置800还可以包括计算单元840，配置为根据降噪图像块进行方差计算，确定降噪图像块的方差值；

处理单元820，还配置为根据降噪图像块进行第三滤波处理，确定降噪图像块的第三滤波响应值；以及根据降噪图像块进行第四滤波处理，确定降噪图像块的第四滤波响应值；以及根据降噪图像块的方差值、降噪图像块的第三滤波响应值和降噪图像块的第四滤波响应值，确定纹理分析结果。

在一些实施例中，确定单元810，还配置为确定纹理分析结果在第二预设映射关系下的第二取值；以及根据第二取值和残差图像块，确定初始细节图像块；以及根据初始细节图像块进行钳位操作，确定细节图像块。

在一些实施例中，分析单元830，还配置为根据降噪图像块进行纹理分析，确定纹理分析结果；

处理单元820，还配置为根据纹理分析结果对降噪图像块进行增强处理，确定增强图像块；以及根据增强图像块与细节图像块进行融合处理，确定目标图像块。

在一些实施例中，确定单元810，还配置为根据降噪图像块中的高频信息和中频信息，确定高频降噪图像子块和中频降噪图像子块；

处理单元820，还配置为根据纹理分析结果对高频降噪图像子块进行增强处理，确定高频增强图像子块；以及根据纹理分析结果对中频降噪图像子块进行增强处理，确定中频增强图像子块；以及根据降噪图像块、高频增强图像子块与中频增强图像子块进行融合处理，确定增强图像块。

在一些实施例中，处理单元820，还配置为根据降噪图像块、高频增强图像子块与中频增强图像子块进行融合处理，确定初始增强图像块；以及对降噪图像块进行边缘检测处理，确定边缘检测结果；以及根据边缘检测结果对初始增强图像块进行边缘平滑处理，确定增强图像块。

可以理解地，在本实施例中，“单元”可以是部分电路、部分处理器、部分程序或软件等等，当然也可以是模块，还可以是非模块化的。而且在本实施例中的各组成部分可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

因此，本实施例提供了一种计算机存储介质，该计算机存储介质存储有计算机程序，所述计算机程序被至少一个处理器执行时实现前述实施例中任一项所述的方法的步骤。

基于上述图像处理装置800的组成以及计算机存储介质，参见图9，其示出了本申请实施例提供的一种电子设备的组成结构示意图。如图9所示，电子设备900可以包括：通信接口910、存储器920和处理器930；各个组件通过总线系统940耦合在一起。可理解，总线系统940配置为实现这些组件之间的连接通信。总线系统940除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图9中将各种总线都标为总线系统940。其中，通信接口910，配置为在与其他外部网元之间进行收发信息过程中，信号的接收和发送；

存储器920，配置为存储能够在处理器930上运行的计算机程序；

处理器930，配置为在运行所述计算机程序时，执行：

可以理解，本申请实施例中的存储器920可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步链动态随机存取存储器(Synchronous link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例描述的系统和方法的存储器920旨在包括但不限于这些和任意其它适合类型的存储器。

而处理器930可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器930中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器930可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器920，处理器930读取存储器920中的信息，结合其硬件完成上述方法的步骤。

可以理解的是，本申请描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(Application Specific Integrated Circuits，ASIC)、数字信号处理器(Digital SignalProcessing，DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(ProgrammableLogic Device，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。

对于软件实现，可通过执行本申请所述功能的模块(例如过程、函数等)来实现本申请所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

可选地，作为另一个实施例，处理器930还配置为在运行所述计算机程序时，执行前述实施例中任一项所述的方法的步骤。

基于上述图像处理装置800的组成以及计算机存储介质，参见图10，其示出了本申请实施例提供的另一种电子设备的组成结构示意图。如图10所示，电子设备900可以包括前述实施例中任一项所述的图像处理装置800。

在本申请实施例中，对于电子设备900而言，可以根据待处理图像块与将待处理图像块进行第一滤波处理得到的降噪图像块确定残差图像块，并将该残差图像块进行细节处理后得到的细节图像块与降噪图像块进行融合处理确定目标图像块。这样，基于降噪和增强之间的相关性，能够有效区分图像中的细节信息和噪声干扰，不仅去除图像中存在的噪声，还能够增强图像中的细节信息，从而显著提升图像的画面质量。

需要说明的是，在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种图像处理方法，其特征在于，包括：

确定待处理图像块对应的至少一个参考块以及所述至少一个参考块各自的滤波权重值；

根据所述至少一个参考块以及所述至少一个参考块各自的滤波权重值对所述待处理图像块进行第一滤波处理，确定降噪图像块；

根据所述待处理图像块和所述降噪图像块确定残差图像块，并对所述残差图像块进行细节处理，确定细节图像块；

根据所述降噪图像块与所述细节图像块进行融合处理，确定目标图像块。

2.根据权利要求1所述的方法，其特征在于，确定所述待处理图像块对应的至少一个参考块，包括：

确定所述待处理图像块的预设邻域范围；

在所述预设邻域范围内进行参考块搜索，确定所述至少一个参考块。

3.根据权利要求1或2所述的方法，其特征在于，确定所述至少一个参考块各自的滤波权重值，包括：

确定所述待处理图像块与所述至少一个参考块之间的相似度；

根据所述待处理图像块与所述至少一个参考块之间的相似度，确定所述至少一个参考块各自的滤波权重值。

4.根据权利要求3所述的方法，其特征在于，根据所述待处理图像块与所述至少一个参考块之间的相似度，确定所述至少一个参考块各自的滤波权重值，包括：

确定所述待处理图像块的噪声强度表征值；

根据所述待处理图像块与所述至少一个参考块之间的相似度以及所述待处理图像块的噪声强度表征值，确定所述至少一个参考块各自的滤波权重值。

5.根据权利要求4所述的方法，其特征在于，确定所述待处理图像块的噪声强度表征值，包括：

确定所述待处理图像块的亮度分量值；

确定所述待处理图像块的亮度分量值在第一预设映射关系下的第一取值；

根据所述第一取值，确定所述待处理图像块的噪声强度表征值。

6.根据权利要求3所述的方法，其特征在于，根据所述待处理图像块与所述至少一个参考块之间的相似度，确定所述至少一个参考块各自的滤波权重值，包括：

根据所述待处理图像块进行第二滤波处理，确定所述待处理图像块的第二滤波响应值；

根据所述待处理图像块与所述至少一个参考块之间的相似度以及所述待处理图像块的第二滤波响应值，确定所述至少一个参考块各自的滤波权重值。

7.根据权利要求1或2所述的方法，其特征在于，对所述残差图像块进行细节处理，确定所述细节图像块，包括：

对所述降噪图像块进行纹理分析，确定纹理分析结果；

根据所述纹理分析结果对所述残差图像块进行细节处理，确定所述细节图像块。

8.根据权利要求7所述的方法，其特征在于，对所述降噪图像块进行纹理分析，确定所述纹理分析结果，包括：

根据所述降噪图像块进行方差计算，确定所述降噪图像块的方差值；

根据所述降噪图像块进行第三滤波处理，确定所述降噪图像块的第三滤波响应值；

根据所述降噪图像块进行第四滤波处理，确定所述降噪图像块的第四滤波响应值；

根据所述降噪图像块的方差值、所述降噪图像块的第三滤波响应值和所述降噪图像块的第四滤波响应值，确定所述纹理分析结果。

9.根据权利要求7所述的方法，其特征在于，根据所述纹理分析结果对所述残差图像块进行细节处理，确定所述细节图像块，包括：

确定所述纹理分析结果在第二预设映射关系下的第二取值；

根据所述第二取值和所述残差图像块，确定初始细节图像块；

根据所述初始细节图像块进行钳位操作，确定所述细节图像块。

10.根据权利要求1或2所述的方法，其特征在于，根据所述降噪图像块与所述细节图像块进行融合处理，确定所述目标图像块，包括：

根据所述降噪图像块进行纹理分析，确定纹理分析结果；

根据所述纹理分析结果对所述降噪图像块进行增强处理，确定增强图像块；

根据所述增强图像块与所述细节图像块进行融合处理，确定所述目标图像块。

11.根据权利要求10所述的方法，其特征在于，根据所述纹理分析结果对所述降噪图像块进行增强处理，确定所述增强图像块，包括：

根据所述降噪图像块中的高频信息和中频信息，确定高频降噪图像子块和中频降噪图像子块；

根据所述纹理分析结果对所述高频降噪图像子块进行增强处理，确定高频增强图像子块；

根据所述纹理分析结果对所述中频降噪图像子块进行增强处理，确定中频增强图像子块；

根据所述降噪图像块、所述高频增强图像子块与所述中频增强图像子块进行融合处理，确定所述增强图像块。

12.根据权利要求11所述的方法，其特征在于，根据所述降噪图像块、所述高频增强图像子块与所述中频增强图像子块进行融合处理，确定所述增强图像块，包括：

根据所述降噪图像块、所述高频增强图像子块与所述中频增强图像子块进行融合处理，确定初始增强图像块；

对所述降噪图像块进行边缘检测处理，确定边缘检测结果；

根据所述边缘检测结果对所述初始增强图像块进行边缘平滑处理，确定所述增强图像块。

13.一种图像处理装置，其特征在于，所述图像处理装置包括确定单元和处理单元，其中：

所述确定单元，配置为确定待处理图像块对应的至少一个参考块以及所述至少一个参考块各自的滤波权重值；

所述处理单元，配置为根据所述至少一个参考块以及所述至少一个参考块各自的滤波权重值对所述待处理图像块进行第一滤波处理，确定降噪图像块；

所述处理单元，还配置为根据所述待处理图像块和所述降噪图像块确定残差图像块，并对所述残差图像块进行细节处理，确定细节图像块；

所述处理单元，还配置为根据所述降噪图像块与所述细节图像块进行融合处理，确定目标图像块。

14.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，其中：

所述存储器，配置为存储能够在所述处理器上运行的计算机程序；

所述处理器，配置为在运行所述计算机程序时，执行如权利要求1至12中任一项所述的方法。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被至少一个处理器执行时实现如权利要求1至12中任一项所述的方法。