CN113240607A - 图像去噪方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例公开一种图像去噪方法、装置、电子设备及存储介质，该方法包括：获取与当前帧图像对应的多帧色彩分量图像，所述多帧色彩分量图像分别对应于不同的颜色通道；分别对各帧所述色彩分量图像进行空域去噪，得到各个颜色通道的空域去噪图像；根据所述各个颜色通道的空域去噪图像中的图像特征，确定所述当前帧图像对应的时域去噪权重图；根据所述时域去噪权重图，分别将所述各个颜色通道的空域去噪图像与参考帧图像相同颜色通道的参考分量图像进行融合，得到所述各个颜色通道的时域去噪图像。实施本申请实施例，能够提高图像去噪效果，改善图像质量。

Description

图像去噪方法、装置、电子设备及存储介质

技术领域

本申请涉及影像技术领域，具体涉及一种图像去噪方法、装置、电子设备及存储介质。

背景技术

现有的图像去噪技术，可分为时域去噪、频域去噪、空域去噪或者多种域联合的联合去噪等。联合去噪根据采用的架构不同，又可进一步分为拓扑型的联合去噪、先空域后时域的联合去噪以及先时域后空域的联合去噪等。然而，在实践中发现，即使对视频图像进行联合去噪，仍然存在去噪效果不佳的问题。

发明内容

本申请实施例公开了一种图像去噪方法、装置、电子设备及存储介质，能够提高图像去噪效果。

本申请实施例公开一种应用使用管理方法，所述方法包括：获取与当前帧图像对应的多帧色彩分量图像，所述多帧色彩分量图像分别对应于不同的颜色通道；分别对各帧所述色彩分量图像进行空域去噪，得到各个颜色通道的空域去噪图像；根据所述各个颜色通道的空域去噪图像中的图像特征，确定所述当前帧图像对应的时域去噪权重图；根据所述时域去噪权重图，分别将所述各个颜色通道的空域去噪图像与参考帧图像相同颜色通道的参考分量图像进行融合，得到所述各个颜色通道的时域去噪图像。

本申请实施例公开一种图像去噪装置，所述装置包括：获取模块，用于获取与当前帧图像对应的多帧色彩分量图像，所述多帧色彩分量图像分别对应于不同的颜色通道；空域去噪模块，用于分别对各帧所述色彩分量图像进行去噪，得到各个颜色通道的空域去噪图像；时域去噪模块，用于根据所述各个颜色通道的空域去噪图像中的图像特征，确定所述当前帧图像对应的时域去噪权重图；以及，根据所述时域去噪权重图，分别将所述各个颜色通道的空域去噪图像与参考帧图像相同颜色通道的参考分量图像进行融合，得到所述各个颜色通道的时域去噪图像。

本申请实施例公开一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现本申请实施例公开的任意一种图像去噪方法。

本申请实施例公开一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例公开的任意一种图像去噪方法。

与相关技术相比，本申请实施例具有以下有益效果：

电子设备可先获取当前帧图像在不同颜色通道下的多个色彩分量图像，并分别对各个色彩分量图像进行空域去噪，以得到各个颜色通道的空域去噪图像。在进一步对空域去噪图像进行时域去噪时，电子设备可以根据多个空域去噪图像中的图像特征确定当前帧图像对应的时域去噪权重图。即，时域去噪权重图是结合不同颜色通道的特性确定的。电子设备进一步根据时域去噪权重图，将各个颜色通道的空域去噪图像与参考帧图像相同颜色通道的参考分量图像进行融合，得到各个颜色通道的时域去噪图像。即，电子设备可以在不同的颜色通道中使用相同的时域去噪权重图进行时域去噪，从而减少各个颜色通道单独去噪可能产生的去噪副作用，有利于提高去噪效果，改善图像质量。此外，还有利于减少时空联合去噪所需的计算量。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A是一个实施例公开的一种图像处理电路的结构示意图；

图1B是一个实施例公开的一种图像去噪系统的结构示意图；

图2是一个实施例公开的一种图像去噪方法的流程示意图；

图3是一个实施例公开的一种空域去噪方法的流程示意图；

图4A是一种实施例公开的一种第一颜色通道的色彩分量图像包括的各种图像块的示例图；

图4B是一种实施例公开的一种第二颜色通道的色彩分量图像包括的各种图像块的示例图；

图4C是一个实施例公开的一种从多个中间融合参考块中选取出目标融合参考块的示例图；

图5是一个实施例公开的步骤320的一种实施方式的流程示意图；

图6A为一个实施例公开R通道的色彩分量图中分量图像块及搜索窗的示例图；

图6B是一个实施例公开的搜索窗内部分参考图像块的示例图；

图7是一个实施例公开的一种时域去噪方法的流程示意图；

图8A是一个实施例公开的生成饱和度权重图的方法流程示意图；

图8B是一个实施例公开的生成亮度权重图的方法流程示意图；

图8C是一个实施例公开的生成边界权重图的方法流程示意图；

图9是一个实施例公开的一种图像去噪装置的结构示意图；

图10是一个实施例公开的另一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在相关技术中，存在基于拜耳(Bayer)格式图像的时空联合去噪方法，该方法可先根据颜色通道的种类将Bayer图像分解为不同的色彩分量图像，例如分解为三分量图像，包括：红色(Red，R)分量图像、绿色(Green，G)分量图像以及蓝色(Blue，B)分量图像。然后，再对每个颜色通道对应的色彩分量图像单独进行时空联合去噪，再将不同颜色通道去噪后的图像还原至彩色图像。然而，由于该方法单独对每个颜色通道对应的色彩分量图像进行去噪，因此需要每个颜色通道需要单独计算相应的去噪参数，复杂度较高，计算量较大，不利于在手机等计算能力有限的移动终端上应用，也难以满足视频去噪的实时性要求。此外，在特殊情况下还有可能出现不同颜色通道计算出的去噪力度不同的问题，从而导致去噪后的图像出现伪彩或者摩尔纹，图像去噪产生了副作用，反而导致了图像质量的下降。

本申请实施例公开了一种图像去噪方法、装置、电子设备及存储介质，能够提高图像去噪效果，改善图像质量。以下分别进行详细说明。

请参阅图1A，图1A是一个实施例公开的一种图像处理电路的结构示意图。该图像处理电路可应用于智能手机、智能平板、智能手表等电子设备，但不限于此。如图1A所示，图像处理电路可包括成像设备(摄像头)110、姿态传感器120、图像存储器130、图像信号处理(Image Signal Processing，ISP)处理器140、逻辑控制器150以及显示器160。

图像处理电路包括ISP处理器140和控制逻辑器150。成像设备110捕捉的图像数据首先由ISP处理器140处理，ISP处理器140对图像数据进行分析以捕捉可用于确定成像设备110的一个或多个控制参数的图像统计信息。成像设备110可包括一个或多个透镜112和图像传感器114。图像传感器114可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器114可获取每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器140处理的一组原始图像数据。姿态传感器120(如三轴陀螺仪、霍尔传感器、加速度计等)可基于姿态传感器120接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器140。姿态传感器120接口可以采用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行摄像头接口或上述接口的组合。

此外，图像传感器114也可将原始图像数据发送给姿态传感器120，姿态传感器120可基于姿态传感器120接口类型把原始图像数据提供给ISP处理器140，或者姿态传感器120将原始图像数据存储到图像存储器130中。

ISP处理器140按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器140可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器140还可从图像存储器130接收图像数据。例如，姿态传感器120接口将原始图像数据发送给图像存储器130，图像存储器130中的原始图像数据再提供给ISP处理器140以供处理。图像存储器130可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器114接口或来自姿态传感器120接口或来自图像存储器130的原始图像数据时，ISP处理器140可进行一个或多个图像处理操作，如空域滤波或者时域滤波。处理后的图像数据可发送给图像存储器130，以便在被显示之前进行另外的处理。ISP处理器140从图像存储器130接收处理数据，并对该处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器140处理后的图像数据可输出给显示器160，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器140的输出还可发送给图像存储器130，且显示器160可从图像存储器130读取图像数据。在一个实施例中，图像存储器130可被配置为实现一个或多个帧缓冲器。

ISP处理器140确定的统计数据可发送给控制逻辑器150。例如，统计数据可包括陀螺仪的振动频率、自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜112阴影校正等图像传感器114统计信息。控制逻辑器150可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备110的控制参数及ISP处理器140的控制参数。例如，成像设备110的控制参数可包括姿态传感器120控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、照相机防抖位移参数、透镜112控制参数(例如聚焦或变焦用焦距)或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜112阴影校正参数。

在一个实施例中，通过成像设备(摄像头)110中图像传感器114可根据获取到每个成像像素捕捉的光强度和波长信息生成Bayer格式的一组原始图像数据。图像传感器114可将实时生成的一组原始图像数据作为当前帧图像输入至由ISP处理器140。ISP处理器140可读取当前帧图像的各个像素点在不同颜色通道下对应的分量值，从而得到当前帧图像对应的多个色彩分量图像，每个色彩分量图像可对应于当前帧图像的一种颜色通道。示例性的，图像传感器114输出的当前帧图像可为Bayer格式中的RGGB格式或者RYYB格式，ISP处理器140可将RGGB格式或者RYYB格式中重复的颜色分量进行加权平均，得到重复的颜色分量对应的分量值。假设当前帧图像为RGGB格式，针对R通道，ISP处理器140可通过插值的方式计算出当前帧图像包括的每个像素点对应的R分量值，从而得到R通道对应的色彩分量图像。以此类推，ISP处理器140可计算出G通道和B通道分别对应的色彩分量图像。

ISP处理器140在得到各个颜色通道的色彩分量图像之后，可分别对每个颜色通道的色彩分量图像进行空域去噪，如执行空域滤操作，以得到各个颜色通道的空域去噪图像。

ISP处理器140可进一步对不同颜色通道的空域去噪图像进行时域去噪，如执行时域滤波操作，包括：根据各个颜色通道的空域去噪图像中的图像特征，确定当前帧图像对应的时域去噪权重图，并根据时域去噪权重图，分别将各个颜色通道的空域去噪图像与参考帧图像相同颜色通道的参考分量图像进行融合，得到各个颜色通道的时域去噪图像。即，ISP处理器140可融合不同颜色通道的特性生成时域去噪权重图，在对不同颜色通道的空域去噪图像进行时域去噪时，可使用相同的时域去噪权重图。

请参阅图1B，图1B是一个实施例公开的一种图像去噪系统的结构示意图。如图1B所示，可包括空域去噪(Spatial Domain Noise Reduction，SNR)模块170和时域去噪(TimeDomain Noise Reduction，TNR)模块180。

当前帧图像对应的R分量图像curfrmR、G分量图像curfrmG和B分量图像curfrmB可输入至SNR模块170。SNR模块170可对R分量图像进行空域去噪，得到R通道的空域去噪图像snrfrmR；以此类推，SNR模块170可分别对G分量图像和B分量分量图像进行空域去噪，得到G通道的空域去噪图像snrfrmG，以及B通道的空域去噪图像snrfrmB。

将三种不同颜色通道的空域去噪图像，以及参考帧图像在三种不同颜色通道的分量图像输入至TNR模块180。其中，参考帧图像在三种不同颜色通道的分量图像可包括R通道的参考分量图像reffrmR、G通道的参考分量图像reffrmG、B通道的参考分量图像reffrmB。TNR模块180根据RGB三种颜色通道的空域去噪图像中的图像特征，确定当前帧图像对应的时域去噪权重图。针对R通道，TNR模块180可根据计算出的时域去噪权重图将R通道的空域去噪图像snrfrmR与R通道的参考帧分量图像reffrmR进行融合，得到R通道的时域去噪图像outfrmR。以此类推，针对G通道和B通道，TNR模块180可根据计算出的时域去噪权重图分别将G通道的空域去噪图像snrfrmG与G通道的参考帧分量图像reffrmG，以及B通道的空域去噪图像snrfrmB与B通道的参考帧分量图像reffrmB，从而得到G通道的时域去噪图像outfrmG以及B通道的时域去噪图像outfrmB。

可选的，当前帧图像各个颜色通道的时域去噪图像可被记录至参考帧列表，以作为在当前帧图像之后的下一帧图像通过TNR模块120进行时域去噪时的参考分量图像。

请参阅图2，图2是一个实施例公开的一种图像去噪方法的流程示意图，该方法可应用于智能手机、个人电脑等电子设备，具体不做限定。如图2所示，该方法可包括以下步骤：

210、获取与当前帧图像对应的多帧色彩分量图像。

在本申请实施例中，当前帧图像可以是电子设备通过成像设备进行视频拍摄、动图拍摄、多图连拍等拍摄场景下实时采集到的任意一帧图像，具体不做限定。当前帧图像对应的色彩分量图像的数量可根据当前帧图像对应的颜色通道的数量确定，每帧色彩分量图像可对应于当前帧图像的一种颜色通道，多帧色彩分量图像可对应不同的颜色通道，电子设备可获取至少两帧色彩分量图像。此外，当前帧图像对应的颜色通道可基于当前帧图像的图像格式确定，例如颜色通道可包括R通道、G通道和B通道；或者，颜色通道可包括R通道、G通道、B通道和W通道，其中W通道为白色通道，但不限于此。

220、分别对各帧色彩分量图像进行空域去噪，得到各个颜色通道的空域去噪图像。

电子设备对每帧色彩分量图像进行空域去噪的方式可包括但不限于：邻域平均、中值滤波、低通滤波、非局部均值(Non-Local Mean，NLM)滤波等。

230、根据各个颜色通道的空域去噪图像中的图像特征，确定当前帧图像对应的时域去噪权重图。

电子设备可从各个颜色通道的空域去噪图像中分别提取图像特征，提取的图像特征可包括但不限于：饱和度特征、亮度特征、边界特征等一种或多种特征。

电子设备可根据多个空域图像中的图像特征确定当前帧图像对应的时域去噪权重图，时域去噪权重图可当前帧图像中各个像素点对应的权重值。时域去噪权重图包括的权重值可根据多个空域去噪图像中的图像特征计算得到，因此，时域去噪权重图是结合了当前帧图像不同颜色通道的特性确定出的。

240、根据时域去噪权重图，分别将各个颜色通道的空域去噪图像与参考帧图像相同颜色通道的参考分量图像进行融合，得到各个颜色通道的时域去噪图像。

针对相同颜色通道的空域去噪图像和参考帧图像的分量图像，电子设备可根据时域去噪权重图进行融合，上述的时域去噪权重图可以在不同的颜色通道中通用。即，电子设备在对各个颜色通道的空域去噪图像和参考分量图像进行融合时，可使用相同的时域去噪权重图。

参考帧图像可以是时间上在当前帧图像之前的任意一帧图像，参考帧图像可以是执行前述步骤210-步骤240进行去噪后得到的图像，或者可以是通过其它去噪方法进行去噪后得到的图像，具体不做限定。电子设备也可按照当前帧图像对应的各种颜色通道对参考帧图像进行分解，以得到多个参考分量图像。

电子设备对相同颜色通道的空域去噪图像和参考分量图像进行融合，可指对空域去噪图像和参考分量图像中相同位置像素点的像素值进行加权平均，加权平均对应的权重值可为时域去噪权重图中，上述的相同位置像素点对应的权重值。

示例性，像素点ij在时域去噪图像中的像素值tnrfrm_ij可通过以下公式进行计算：

其中，snrfrm_ij可为像素点ij在空域去噪图像snrfrm中的像素值，jnt_wgt_ij可为像素点ij在时域去噪权重图jnt_wgt中的权重值，ref_frm_ij可为像素点ij在参考分量图像ref_frm中的像素值。需要说明的时，空域去噪图像snrfrm和参考分量图像ref_frm对应于同一个颜色通道。

可见，在前述实施例中，电子设备可通过执行步骤220对各个色彩分量图像进行空域去噪，以得到各个空域去噪图像；以及，电子设备可通过执行步骤230-步骤240对各个空域去噪图像进行时域去噪，以得到各个颜色通道时域去噪图像，从而实现对当前帧图像的时空联合去噪。需要说明的是，在得到各个颜色通道的时域去噪图像之后，若电子设备进一步对各个时域去噪图像进行融合，则可得到与当前帧图像对应的彩色去噪图像。

电子设备可先分开不同的颜色通道对当前帧图像进行空域去噪，以得到不同颜色通道的空域去噪图像。在进一步对空域去噪图像进行时域去噪时，电子设备可以结合不同颜色通道的特性计算用于时域去噪的时域去噪权重图，并在不同的颜色通道中使用相同的时域去噪权重图进行时域去噪，有利于减少时空联合去噪所需的计算量，还可以减少各个颜色通道单独去噪可能产生的去噪副作用，有利于提高去噪效果，改善图像质量。

为了更清楚地说明本申请实施例公开的图像去噪方法，以下内容分别对空域去噪和时域去噪的流程进行进一步介绍。

首先说明空域去噪的流程。请参阅图3，图3是一个实施例公开的一种空域去噪方法的流程示意图。如图3所示，该方法可包括以下步骤：

310、确定当前帧图像中的目标图像块。

目标图像块可为当前帧图像中多个邻近像素点的集合，电子设备可从当前帧图像中选取任意一个像素点为基础构建目标图像块。目标图像块的面积可指目标图像块包括的像素点数量，可根据实际的业务务求设置，具体不做限定。例如，目标图像块的大小可为7×7，即目标图像块可为长为7个像素点，宽为7个像素点的矩形。

可选的，电子设备可以当前帧图像的中心像素点为基础构建目标图像块；或者，电子设备可对当前帧图像进行噪点检测，以被识别为噪点的像素点为基础构建目标图像块，具体不做限定。

320、基于目标图像块，分别确定各帧色彩分量图像对应的中间融合参考块，并根据各帧色彩分量图像对应的中间融合参考块确定出目标融合参考块。

电子设备在确定出目标图像块之后，可进一步确定目标图像块在每个颜色通道的色彩分量图像中对应的分量图像块。即，确定目标图像块包括的各个像素点在不同颜色通道上的分量值。示例性的，针对R通道，R分量图像中分量图像块包括的各个像素点的像素值，可为目标图像块包括的各个像素点在R通道上的分量值；针对G通道，G分量图像中分量图像块包括的各个像素点的像素值，可为目标图像块包括的各个像素点在G通道上的分量值；针对B通道，B分量图像中分量图像块包括的各个像素点的像素值，可为目标图像块包括的各个像素点在B通道上的分量值。

每个颜色通道的色彩分量图像可包括多个像素点，除了分量图像块包括的像素点以外，每个色彩分量图像中其余的像素点又可划分为一个或多个不同的参考图像块，每个参考图像块可包括多个像素点。可选的，每个参考图像块的面积可与分量图像块的面积相同。针对单个颜色通道的色彩分量图像，电子设备在确定出与目标图像块对应的分量图像块之后，可以该分量图像块为基础，在色彩分量图像包括的一个或多个参考图像块中确定出一个或多个中间融合参考块。因此，每个色彩分量图像可对应一个或多个中间融合参考块，不同的色彩分量图像对应的中间融合参考块可能相同，也可能不同。

示例性的，请参阅图4A和图4B。

图4A是一种实施例公开的一种第一颜色通道的色彩分量图像包括的各种图像块的示例图。第一颜色通道可以为当前帧图像包括的各个颜色通道中的任意一种颜色通道。如图4A所示，第一颜色通道的色彩分量图像41可包括分量图像块410、中间融合参考块411a-411d。其中，中间融合参考块411a-411d可以是从第一颜色通道的色彩分量图像包括的多个参考图像块中选取出的。

图4B是一种实施例公开的一种第二颜色通道的色彩分量图像包括的各种图像块的示例图。第二颜色通道可为当前帧图像除第一颜色通道以外的另一种颜色通道。如图4B所示，第二颜色通道的色彩分量图像42可包括分量图像块420以及中间融合参考块421b和中间融合参考块421d。其中，中间融合参考块421b和中间融合参考块421d可以是从第二颜色通道的色彩分量图像包括的多个参考图像块中选取出的。

结合图4A和图4B可以看出，在第一颜色通道的色彩分量图像41和第二颜色通道的色彩分量图像42中，分量图像块41和分量图像块42的图像位置相同。分量图像块41内各个像素点的像素值为第一颜色通道的分量值，分量图像块42内各个像素点的像素值为第二颜色通道的分量值，因此分量图像块41和分量图像块42内各个像素点的像素值可能不同。

在第一颜色通道的色彩分量图像41和第二颜色通道的色彩分量图像42中，中间融合参考块411b与中间融合参考块421b的图像位置相同，中间融合参考块411d与中间融合参考块421d的图像位置相同。可见，第一颜色通道和第二颜色通道的色彩分量图像对应有两对相同的中间融合参考块，分别为中间融合参考块411b和中间融合参考块421b，以及中间融合参考块411d和中间融合参考块421d。需要说明的是，每一对相同的中间融合参考块中，每个中间融合参考块内各个像素点的像素值可能不同。

电子设备在确定出每个色彩分量图像对应的中间融合参考块之后，可根据各个色彩分量图像分别对应的所有中间融合参考块确定出一个或多个目标融合参考块。目标融合参考块可以是按照预设规则从所有中间融合参考块中选取出的，例如目标融合参考块可以是所有中间融合参考块中像素点的平均像素值最大的中间融合参考块，或者可以是所有中间融合参考块的交集，具体不做限定。

示例性的，请参阅图4C，图4C是一个实施例公开的一种从多个中间融合参考块中选取出目标融合参考块的示例图。如图4C所示，当前帧图像40可分解为三种颜色通道的色彩分量图像，分别为R通道的色彩分量图像43、G通道的色彩分量图像44和B通道的色彩分量图像45。当前帧图像40中的目标图像块430在R通道的色彩分量图像43中对应有分量图像块433，在G通道的色彩分量图像44中对应有分量图像块434，在B通道的色彩分量图像45中对应有分量图像块435。

R通道的色彩分量图像43可对应有四个中间融合参考块，分别为中间融合参考块a-d；G通道的色彩分量图像44可对应有三个中间融合参考块，分别为中间融合参考块a-c；B通道的色彩分量图像45可对应有三个中间融合参考块分别为中间融合参考块b-c。其中，标号相同的中间融合参考块在不同的色彩分量图像中图像位置相同。例如，R通道的中间融合参考块a与G通道的中间融合参考块a的图像位置相同。

若目标融合参考块是RGB三种颜色通道的色彩分量图像分别对应的中间融合参考块的交集，则目标融合参考块可为每个色彩分量图像对应的中间融合参考块b和中间融合参考块c。

330、基于目标融合参考块，分别对各帧色彩分量图像进行空域去噪，得到各个颜色通道的空域去噪图像。

电子设备可利用目标融合参考块对每个颜色通道的色彩分量图像进行空域去噪，空域去噪可包括：将相同颜色通道的目标融合参考块和分量图像块进行融合，并将融合后得到的融合图像块作为对色彩分量图像块进行空域去噪的结果。其中，将目标融合参考块和分量图像块进行融合可指，对目标融合参考块和分量图像块内相同位置像素点的像素值进行平均。

示例性的，在对R通道的色彩分量图像进行空域去噪时，假设像素点i在目标融合参考块内的像素值为vR(i)，在R通道的分量图像块内的像素值为uR(i)，则像素点i进行空域去噪后的像素值可为[vR(i)+uR(j)]/2。

需要说明的是，虽然同一个目标融合参考块在不同颜色通道的色彩分量图像中的图像位置相同，但同一个目标融合参考块在不同的色彩分量图像中的像素值可能不同。

示例性的，在对G通道的色彩分量图像进行空域去噪时，假设像素点i在目标融合参考块内的像素值为vG(i)，在G通道的分量图像块内的像素值为uG(i)，则像素点i进行空域去噪后的像素值可为[vG(i)+uG(j)]/2。其中，对于同一个像素点i，vR(i)可不同于vG(i)，uR(i)可不同于uG(i)。

电子设备可从当前帧图像中确定出一个或多个目标图像块，针对每个目标图像块，电子设备可执行如前述步骤320-步骤330所示的图像处理操作，以对整个当前帧图像进行空域去噪。前述步骤320-步骤330所示的图像处理操作，其关键在于从不同颜色通道对应的多个中间融合参考块中确定出目标融合参考块，从而可以结合不同颜色通道的特性，对当前帧图像的各个色彩分量图像进行空域去噪，既可以降低空域去噪的计算量，又可以减少各个颜色通道单独去噪可能产生的去噪副作用，有利于提高空域去噪效果。

为了更清楚地说明前述步骤320中如何确定出目标融合参考块，请参阅图5，图5是一个实施例公开的步骤320的一种实施方式的流程示意图。如图5所示，可包括以下步骤：

510、从第一颜色通道的色彩分量图像中搜索出N个与目标图像块的面积相同的参考图像块。

其中，N可为大于或等于2的正整数。参考图像块与目标图像块的面积相同，可指参考图像块与目标图像块包括的像素点数量相同。

在一个实施例中，步骤510的实施方式可包括以下步骤：

S1、电子设备可以在第一颜色通道的色彩分量图像中，建立以目标图像块在第一颜色通道的色彩分量图像中对应的分量图像块为中心的搜索窗。搜索窗的面积可大于分量图像块的面积，即搜索窗的面积可大于目标图像块的面积。

示例性的，请参阅图6A，图6A为一个实施例公开R通道的色彩分量图中分量图像块及搜索窗的示例图。如图6A所示，在R通道的色彩分量图像60中，分量图像块610的大小与目标图像块的大小相同，可为7×7，搜索窗620的大小可为21×21。

S2、电子设备可以目标步长遍历上述的搜索窗内包含的图像区域，以在搜索窗中生成N个与目标图像块的面积相同的参考图像块。目标步长可根据实际的业务需求设置，具体不做限定。以目标步长遍历搜索窗，可指以一个面积与目标图像块相同的滑动窗口为基准，在水平方向和垂直方向上将移动滑动窗口，每次移动目标步长。将每次移动后滑动窗口内包括的像素点划分为一个参考图像块，直至搜索窗内除分量图像块以外的其余像素点均被划分为对应的参考图像块。此外，按照水平方向和垂直方向进行遍历时的目标步长可以相同，也可以不同，具体不做限定。

示例性的，请参阅图6B，图6B是一个实施例公开的搜索窗内部分参考图像块的示例图。如图6B所示，在搜索窗620中，参考图像块630a、参考图像块630b和参考图像块630c的面积均与分量图像块610的面积相同，即均与目标图像块的面积相同。参考图像块630a可以位于搜索窗620左上角的滑动窗口生成的，以参考图像块630a的位置为基准，滑动窗口在水平方向上移动目标步长，可得到参考图像块630b，在垂直方向上移动目标步长，可得到参考图像块630c。

520、将目标图像块在第一颜色通道的色彩分量图像中对应的分量图像块与N个参考图像块进行比对，并从N个参考图像块中选取出与分量图像块之间的图像差异小于差异阈值的参考图像块，作为第一颜色通道的色彩分量图像对应的中间融合参考块。

电子设备可比对每个参考图像块与分量图像块之间的内容差异、距离差异、纹理方向差异中的任意一种或多种图像差异。

内容差异，可指参考图像块与当前图像块包括的像素点的像素值之间的差异，可通过参考图像块和当前图像块之间的差异绝对值总和(Sum of Absolute Difference)、均方误差(Mean Square Error，MSE)等指标进行表征，具体不做限定。

距离差异，可指参考图像块与当前图像块之间的距离，可通过任何涉及到二者中心点距离的计算方法计算得到，例如可计算二者中心点距离的平方等，具体不做限定。

纹理方向差异，可指参考图像块与当前图像块之间纹理方向的角度差异，可利用任何涉及到二者之间的纹理角度差异的计算方法进行计算，具体不做限定。

可预先设置不同种类的像素差异对应的阈值：内容差异可对应有内容差异阈值、距离差异可对应有内容差异阈值、纹理方向差异可对应有纹理方向差异阈值。上述的内容差异阈值、内容差异阈值和纹理方向差异阈值可根据实际业务需求设置，具体不做限定。

在一个实施例中，若电子设备只对每个参考图像块与分量图像块之间的一种图像差异进行了比对，则可以从N个参考图像块中选取出与分量图像块之间进行了比对的图像差异小于对应的差异阈值的参考图像块，作为第一颜色通道的色彩分量图像对应的中间融合参考块。示例性的，若电子设备只计算了每个参考图像块与分量图像块之间的内容差异，则可以将N个参考图像块中内容差异小于内容差异阈值的参考图像块选取为中间融合图像块。

在一个实施例中，若电子设备对每个参考图像块与分量图像块之间的至少两种图像差异进行了比对，则可以从N个参考图像块中选取出与分量图像块之间的各种图像差异均小于对应的差异阈值的参考图像块，作为第一颜色通道的色彩分量图像对应的中间融合参考图像块。示例性的，若电子设备计算了每个参考图像块和分量图像块之间的内容差异、距离差异和纹理方向差异，则可以将内容差异小于内容差异阈值、距离差异小于距离差异阈值、并且纹理方向差异也小于纹理方向差异阈值的参考图像块选取为中间融合图像块。

530、获得各帧色彩分量图像对应的中间融合参考块。

在前述的步骤510-步骤520中，第一颜色通道可为当前帧图像对应的各种颜色通道中的任意一种颜色通道。针对当前帧图像对应的每一种颜色通道，电子设备均可执行如前述的步骤510-步骤520，得到每个颜色通道的色彩分量图像对应的一个或多个中间融合块。

540、求取各帧色彩分量图像分别对应的中间融合参考块的交集，得到目标融合参考块。

各个色彩分量图像对应的所有中间融合参考块的交集，可指在存在于所有色彩分量图像中的中间融合参考块。因此，目标融合参考块是结合了不同颜色通道的特性确定出的，利用目标融合参考块对当前帧图像的各个颜色分量图像进行空域去噪，既可以降低计算量，又能够有效提高去噪效果。

电子设备在对各个颜色通道的色彩分量图像进行空域去噪之后，可得到各个颜色通道的空域去噪图像。电子设备可进一步对各个颜色通道的空域去噪图像执行时域去噪操作，以下内容对时域去噪的流程进行介绍。

请参阅图7，图7是一个实施例公开的一种时域去噪方法的流程示意图。如图7所示，可包括以下步骤：

710、根据各个颜色通道的空域去噪图像中的图像特征，生成当前帧图像的特征映射图，并根据特征映射图确定当前帧图像的特征权重图，特征权重图包括饱和度权重图、亮度权重图和边界权重图中的至少一种。

电子设备从空域去噪图像中提取的图像特征，可包括饱和度特征、亮度特征、边界特征中的至少一种。饱和度特征，可指像素点的颜色深浅。由于每个空域去噪图像可与一个颜色通道对应，因此像素点的颜色深浅可与空域去噪图像中像素点的像素值相关；亮度特征，可指像素点的明暗程度，可与空域去噪图像中像素点的灰度值相关，像素点的灰度值越接近0，则像素点的亮度越低；边界特征，可指图像中的物体边缘，可通过求取两帧图像的差分图像，或者基于边缘检测滤波器对空域去噪图像进行滤波得到。

电子设备可根据从每个空域去噪图像中提取出的一种或多种图像特征，生成当前帧图像的一种或多种特征映射图。其中，特征映射图可与图像特征对应：饱和度映射图是根据从各个颜色通道的空域去噪图像中提取出饱和度特征的特征值确定的；亮度映射图是根据从各个颜色通道的空域去噪图像中分别提取出亮度特征的特征值确定的，边界映射图是根据从各个颜色通道的空域去噪图像中分别提取出边界特征的特征值确定的。

需要说明的是，当前帧图像的每种特征映射图，是根据多个颜色通道的空间去噪图像中的图像特征生成的，即特征映射图是融合了不同颜色通道的特性生成的。

基于此，电子设备可根据每种特征映射图生成对应的特征权重图。其中，饱和度权重图可根据饱和度映射图确定，饱和度权重图可包括当前帧图像中各个像素点对应的权重值，同一像素点在饱和度权重图中的权重值与该像素点在饱和度映射图中的饱和度特征值相关。可选的，同一像素点在饱和度权重图中的权重值与饱和度映射图中的饱和度特征值可呈负相关关系。

亮度权重图可根据亮度映射图确定，亮度权重图可包括当前帧图像中各个像素点对应的权重值，同一像素点在亮度权重图中的权重值与该像素点在亮度映射图中的亮度特征值相关。可选的，同一像素点在亮度权重图中的权重值与亮度映射图中的亮度特征值可呈负相关关系。

边界权重图可根据边界映射图确定，边界权重图可包括当前帧图像中各个像素点对应的权重值，同一像素点在边界权重图中的权重值与该像素点在边界映射图中的边界特征值相关。可选的，同一像素点在边界权重图中的权重值与边界映射图中的边界特征值可呈负相关关系。

需要说明的是，不同图像中的同一像素点可指图像位置相同的像素点。此外，前述的特征映射图和特征权重图的分辨率可与当前帧图像的分辨率相同，但也可以为当前帧图像的分辨率的等比例缩小，具体不做限定。

720、根据饱和度权重图、亮度权重图和边界权重图中的至少一种计算当前帧图像的时域去噪权重图。

在本申请实施例中，当特征权重图只包括饱和度权重图、亮度权重图和边界权重图中的一种时，电子设备可直接将饱和度权重图、亮度权重图或者边界权重图确定为时域去噪权重图。

当特征权重图包括饱和度权重图、亮度权重图和边界权重图中的至少两种时，电子设备可对至少两种特征权重图进行融合，以生成时域去噪权重图。其中，对至少两种特征权重图进行融合，可包括但不限于至少两种特征权重图中相同位置像素点对应的权重值进行平均；或者，对至少两种特征权重图进行相乘。

示例性的，当特征权重图包括饱和度权重图、亮度权重图和边界权重图时，电子设备可对饱和度权重图、亮度权重图和边界权重图进行相乘，并将相乘结果确定为时域去噪权重图。

730、根据时域去噪权重图，分别将各个颜色通道的空域去噪图像与参考帧图像相同颜色通道的参考分量图像进行融合，得到各个颜色通道的时域去噪图像。

电子设备可利用时域去噪权重图，对相同颜色通道的空域去噪图像和参考分量图像进行融合。即，电子设备可对空域去噪图像和参考分量图像中同一像素点的像素值进行加权平均，加权平均对应的权重值可为该像素点在时域去噪权重图中对应的权重值。

在一个实施例中，电子设备在得到各个颜色通道的时域去噪图像之后，可以根据各个颜色通道的时域去噪图像确定下一帧图像的参考帧图像，下一帧图像在时间上位于当前帧之后。

在前述实施例中，电子设备可根据从不同颜色通道的空域去噪图像中提取出的图像特征生成时域去噪权重图，从而可以结合不同颜色通道的特性，对当前帧图像的各个颜色通道的空域去噪图像进行时域去噪。电子设备无需单独计算每个颜色通道对应的时域去噪权重，既能降低时域去噪的计算量，又可以减少各个颜色通道单独去噪可能产生的去噪副作用，有利于提高去噪效果，改善图像质量。

为了更清楚地说明前述步骤710中根据从不同颜色通道的空域去噪图像中提取出的图像特征生成时域去噪权重图的实施方式，以下内容对生成饱和度权重图、亮度权重图和边界特征权重图的方法流程进行介绍。

请参阅图8A，图8A是一个实施例公开的生成饱和度权重图的方法流程示意图。如图8A所示，可包括以下步骤：

811、根据各个颜色通道的空域去噪图像中像素点的像素值计算当前帧图像中像素点的饱和度，以得到与当前帧图像对应的饱和度映射图。

每个空域去噪图像中像素点的像素值可为当前帧图像中像素点的色彩分量值。例如，R通道的空域去噪图像中像素点的像素值可为当前帧图像中像素点的红色分量值。因此，电子设备可将各个空域去噪图像映射至HSI颜色空间，HSI颜色空间中的S为饱和度。映射至HSI颜色空间的操作可包括：根据各个空域去噪图像中像素点的像素值计算当前帧图像中像素点的饱和度，从而得到饱和度映射图。

示例性的，当饱和度映射图中像素点ij的饱和度特征值S_ij可通过以下公式进行计算：

其中，snrfrmR_ij可为像素点ij在R通道的空域去噪图像snrfrmR中的像素值，snrfrmG_ij可为像素点ij在G通道的空域去噪图像snrfrmG中的像素值，snrfrmB_ij可为像素点ij在B通道的空域去噪图像snrfrmB中的像素值，min(·)可为选取最小值的操作。

可见，饱和度映射图可用于指示当前帧图像中各个像素点的饱和度，像素点的饱和度越高，该像素点在饱和度映射图中的饱和度特征值越大。

813、根据饱和度映射图和饱和度阈值生成饱和度权重图。

电子设备可根据饱和度映射图中各个像素点的饱和度特征值与预设的饱和度阈值计算得到饱和度权重图中的权重值。饱和度阈值可根据实际的业务务求设置，饱和度阈值的数量可以为一个或多个，具体不做限定。

可选的，同一像素点在饱和度权重图中的权重值与饱和度映射图中的饱和度特征值可呈负相关关系。即，像素点在饱和度映射图中的饱和度特征值越高，该像素点在饱和度权重图中的权重值越小；反之，像素点在饱和度映射图中的饱和度特征值越低，该像素点在饱和度权重图中的权重值越大。

请参阅图8B，图8B是一个实施例公开的生成亮度权重图的方法流程示意图。如图8B所示，可包括以下步骤：

821、根据各个颜色通道的空域去噪图像中像素点的亮度生成各个颜色通道的亮度分量图。

电子设备可根据每个空域去噪图像中像素点的亮度生成一个亮度分量图。电子设备可直接将空域去噪图像中像素点的亮度确定为亮度分量图中的亮度值，或者也可以对空域去噪图像中像素点的亮度进行映射，以将映射后的亮度确定为亮度分量图像中的亮度值。映射的操作可包括但不限于：求取亮度值的平方、求取亮度值的开方等。

可见，亮度分量图可用于指示空域去噪图像中各个像素点的亮度，像素点的亮度越高，该像素点在亮度映射图中的亮度特征值越大。

823、求取各个亮度分量图的并集，得到与当前帧图像对应的亮度映射图。

电子设备在执行步骤步骤821之后，当前帧图像包括的每个颜色通道可对应有一个亮度分量图。求取各个亮度分量图的并集，可综合各个颜色通道的亮度，得到当前帧图像中各个像素点的整体亮度。因此，亮度映射图可用于指示当前帧图像中各个像素点的亮度，像素点的亮度越高，该像素点在亮度映射图中的亮度特征值越大。

825、根据亮度映射图和亮度阈值生成亮度权重图。

电子设备可根据亮度映射图中各个像素点的亮度特征值与预设的亮度阈值计算得到亮度权重图中的权重值。亮度阈值可根据实际的业务务求设置，亮度阈值的数量可以为一个或多个，具体不做限定。

可选的，同一像素点在亮度权重图中的权重值与亮度映射图中的饱和度特征值可呈负相关关系。即，像素点在亮度映射图中的亮度特征值越高，该像素点在亮度权重图中的权重值越小；反之，像素点在亮度映射图中的亮度特征值越低，该像素点在亮度权重图中的权重值越大。

请参阅图8C，图8C是一个实施例公开的生成边界权重图的方法流程示意图。如图8C所示，可包括以下步骤：

831、根据各个颜色通道的空域去噪图像以及参考帧图像相同颜色通道的参考分量图像生成各个颜色通道的边界分量图。

电子设备可求取相同颜色通道的空域去噪图像和参考分量图像的差分图像，并根据差分图像得到该颜色通道的边界分量图。

可选的，电子设备可直接将求取得到的差分图像作为边界分量图。或者，电子设备可对差分图像进行膨胀和滤波中的至少一种图像处理操作，并将膨胀和/或滤波后得到的差分图像作为边界分量图，以使边界分量图中的物体边缘更加平滑和粗壮。示例性的，电子设备可现对差分图像进行平滑滤波，再对平滑滤波后的差分图像进行膨胀处理，从而得到边界分量图。

可见，边界分量图可用于指示相同颜色通道的空域去噪图像和参考分量图像的差异，相同位置的像素点在空域去噪图像和参考图像中的差异越大，该像素点在边界分量图中的边界特征值越大。

833、对各个颜色通道的边界分量图中相同位置像素点的边界特征值进行比对，并根据比对出的最大边界特征值生成与当前帧图像对应的边界映射图。

电子设备在执行步骤831之后，可得到多个边界分量图，每个边界分量图可与一个颜色通道对应。针对同一像素点，电子设备可对比该像素点在各个边界分量图中的边界特征值，以确定出最大边界特征值，并将的最大边界特征值确定为该像素点在边界映射图中的边界特征值。

示例性的，像素点ij在边界映射图中的边界特征值bdr_map_ij可通过以下公式进行计算：

bdr_map_ij＝max(bdr_map_cpt_R，bdr_map_cpt_G，bdr_map_cpt_B)； 公式(3)

其中，bdr_map_cpt_R_ij可为像素点ij在R通道的边界分量图中的边界特征值；bdr_map_cpt_G_ij可为像素点ij在G通道的边界分量图中的边界特征值；bdr_map_cpt_B_ij可为像素点ij在B通道的边界分量图中的边界特征值；

max(·)可为选取最大值的操作。

可见，边界映射图可用于指示当前帧图像与参考帧图像的差异，同一像素点在当前帧图像与参考帧图像中的差异越大，该像素点在边界映射图中的边界特征值越大。

835、根据边界映射图和边界阈值生成边界权重图。

电子设备可根据边界映射图中各个像素点的边界特征值与预设的边界阈值计算得到边界权重图中的权重值。边界阈值可根据实际的业务务求设置，边界阈值的数量可以为一个或多个，具体不做限定。

可选的，同一像素点在边界权重图中的权重值与边界映射图中的边界特征值可呈负相关关系。即，像素点在边界映射图中的边界特征值越高，该像素点在边界权重图中的权重值越小；反之，像素点在边界映射图中的亮度特征值越低，该像素点在边界权重图中的权重值越大。

在前述实施例中，步骤812、步骤825和步骤835均是根据特征映射图与对应的特征阈值生成特征权重图。例如，在步骤812中，特征映射图为饱和度映射图，对应的特征阈值可为饱和度阈值，步骤812可根据饱和度映射图和饱和度阈值生成饱和度权重图。

在一个实施例中，可预先根据多个特征阈值设置多个阈值区间，并设置每个阈值区间与权重值之间的对应关系。针对特征映射图中的每个像素点，电子设备可识别像素点在特征映射图中的特征值落入的阈值区间，并将落入的阈值区间对应的权重值确定为该像素点在特征权重图中的权重值。

示例性的，像素点ij在特征权重图中的权重值wgt_ij可按照以下规则计算：

若map_ij＞thr_0，则wgt_ij＝d_0；

若map_ij＞thr_k+1且map_ij≤thr_k，则wgt_ij＝d_k+1；

若map_ij＜thr_k+1，则wgt_ij＝d_k+2；

其中，map_ij可为像素点ij在特征映射图中的特征值，thr_0，thr_k和thr_k+1可为特征阈值，d_0，d_k+1，d_k+2可为预设的权重值，k可为大于或等于0的正整数。

在一个实施例中，可预先根据多个特征阈值设置多个阈值区间，并预先设置多个权重值。针对特征映射图中的每个像素点，电子设备可识别像素点在特征映射图中的特征值落入的阈值区间，并根据落入的阈值区间的上限值和下限值、预先设置的一个或多个权重值、以及像素点的特征值计算出该像素点在特征权重图中的权重值。

示例性的，像素点ij在特征权重图中的权重值wgt_ij可按照以下规则计算：

若map_ij＞thr_0，则wgt_ij＝d_0；

若map_ij＞thr_k+1且map_ij≤thr_k，则wgt_ij可按照以下公式计算：

wgt_ij＝d_k+1+(map_ij-thr_k+1)*(d_k+1-d_k)/(thr_k-thr_k+1)； 公式(4)

若map_ij＜thr_k+1，则wgt_ij可按照以下公式计算：

wgt_ij＝d_k+2+(map_ij-thr_k+2)*(d_k+2-d_k+1)/(thr_k+1)； 公式(5)

其中，map_ij可为像素点ij在特征映射图中的特征值，thr_0，thr_k和thr_k+1可为特征阈值，d_0，d_k+1，d_k+2可d_0，d_k+1，d_k+2可为预设的权重值，k可为大于或等于0的正整数。

在一个实施例中，可构建特征映射图中的特征值和特征阈值与特征权重图中的权重值之间的拟合函数。电子设备可根据拟合函数、特征映射图和预设阈值生成特征权重图。

示例性的，特征权重图wgt＝f(thr，map)。其中，f(·)可为拟合函数，thr可为特征阈值，map可为特征映射图。

在前述实施例中，电子设备可根据从多个颜色通道的空域去噪图像中提取出的饱和度特征、亮度特征或者边界特征生成饱和度权重图、亮度权重图和边界权重图中的至少一种，从而可进一步根据饱和度权重图、亮度权重图和边界权重图中的至少一种生成时域去噪权重图。结合不同颜色通道的特性计算用于时域去噪的时域去噪权重图，并在不同的颜色通道中使用相同的时域去噪权重图进行时域去噪，既可以降低时域去噪的计算量，又可以减少各个颜色通道单独去噪可能产生的去噪副作用，有利于提高时域去噪效果。

综上，在前述实施例中，电子设备既可以在空域去噪时结合不同颜色颜色通道的特性选取目标融合参考块，以利用目标融合参考块对各个色彩分量图像进行空域去噪；还可以在时域去噪时结合不同颜色颜色通道的特性生成时域去噪权重图，以利用时域去噪权重图对各个空域去噪图像进行时域去噪。在空域去噪和时域去噪时均可以减少计算量，从而可以在整体上减少时空联合去噪的计算量。并且，可以提高空域去噪的去噪效果，使得时域去噪可以在去噪效果更好的空域去噪图像的基础上进行，结合时域去噪自身的去噪性能提升，可以从整体上提高对当前图像帧进行时空联合去噪的去噪效果，改善当前帧图像的图像质量。

请参阅图9，图9是一个实施例公开的一种图像去噪装置的结构示意图，该图像去噪装置可应用于前述实施例公开的任意一种电子设备。如图9所示，该图像去噪装置900，可包括：获取模块910、空域去噪模块920和时域去噪模块930。

获取模块910，可用于获取与当前帧图像对应的多帧色彩分量图像，多帧色彩分量图像分别对应于不同的颜色通道；

空域去噪模块920，可用于分别对各帧色彩分量图像进行空域去噪，得到各个颜色通道的空域去噪图像；

时域去噪模块930，可根据各个颜色通道的空域去噪图像中的图像特征，确定当前帧图像对应的时域去噪权重图；以及，根据时域去噪权重图，分别将各个颜色通道的空域去噪图像与参考帧图像相同颜色通道的参考分量图像进行融合，得到各个颜色通道的时域去噪图像。

在一个实施例中，空域去噪模块920，可包括：第一确定单元、第二确定单元和空域去噪单元。

第一确定单元，可用于确定当前帧图像中的目标图像块。

第二确定单元，可用于基于目标图像块，分别确定各帧色彩分量图像对应的中间融合参考块，并根据各帧色彩分量图像对应的中间融合参考块确定出目标融合参考块。

空域去噪单元，可用于基于目标融合参考块，分别对各帧色彩分量图像进行空域去噪，得到各个颜色通道的空域去噪图像。

在一个实施例中，第二确定单元，还可用于求取各帧色彩分量图像分别对应的中间融合参考块的交集，得到目标融合参考块。

在一个实施例中，上述的第一确定单元，可包括：搜索子单元和选取子单元。

搜索子单元，可用于从第一颜色通道的色彩分量图像中搜索出N个与目标图像块的面积相同的参考图像块；第一颜色通道为当前帧图像包括的任意一种颜色通道，N为大于或等于2的正整数。

选取子单元，可用于将目标图像块在第一颜色通道的色彩分量图像中对应的分量图像块与N个参考图像块进行比对，并从N个参考图像块中选取出与分量图像块之间的图像差异小于差异阈值的参考图像块，作为第一颜色通道的色彩分量图像对应的中间融合参考块。

在一个实施例中，图像差异包括内容差异、距离差异、纹理方向差异中的至少两种；上述的选取子单元，还可用于从N个参考图像块中选取出与分量图像块之间的各种图像差异均小于对应的差异阈值的参考图像块，作为第一颜色通道的色彩分量图像对应的中间融合参考图像块。

在一个实施例中，上述的搜索子单元，还可用于在第一颜色通道的色彩分量图像中，建立以目标图像块在第一颜色通道的色彩分量图像中对应的分量图像块为中心的搜索窗；以及，以目标步长遍历搜索窗内包含的图像区域，以在搜索窗中生成N个与目标图像块的面积相同的参考图像块。

在一个实施例中，图像特征可包括：饱和度特征、亮度特征、边界特征中的至少一种时域。上述的去噪模块930，可包括：生成单元和计算单元。

生成单元，可用于根据各个颜色通道的空域去噪图像中的图像特征，生成当前帧图像的特征映射图，并根据特征映射图确定当前帧图像的特征权重图。

其中，特征映射图包括饱和度映射图、亮度映射图和边界映射图中的至少一种，饱和度映射图是根据从各个颜色通道的空域去噪图像中提取出饱和度特征确定的，亮度映射图是根据从各个颜色通道的空域去噪图像中分别提取出亮度特征确定的，边界映射图是根据从各个颜色通道的空域去噪图像中分别提取出边界特征确定的。

特征权重图包括饱和度权重图、亮度权重图和边界权重图中的至少一种，饱和度权重图是根据饱和度映射图确定的，亮度权重图是根据亮度映射图确定的，边界权重图是根据边界权重图确定的。

上述的计算单元，可用于根据饱和度权重图、亮度权重图和边界权重图中的至少一种计算当前帧图像的时域去噪权重图。

在一个实施例中，同一像素点在饱和度权重图中的权重值与饱和度映射图中的饱和度特征值呈负相关关系；或者，

同一像素点在亮度权重图中的权重值与亮度映射图中的亮度特征值呈负相关关系；或者，

同一像素点在边界权重图中的权重值与边界映射图中的边界特征值呈负相关关系。

在一个实施例中，图像特征可包括：饱和度特征。

上述的生成单元，还可用于根据各个颜色通道的空域去噪图像中像素点的像素值计算当前帧图像中像素点的饱和度，以得到与当前帧图像对应的饱和度映射图；以及，根据饱和度映射图和饱和度阈值生成饱和度权重图。

在一个实施例中，图像特征可包括：亮度特征。

上述的生成单元，还可用于根据各个颜色通道的空域去噪图像中像素点的亮度生成各个颜色通道的亮度分量图；以及，求取各个亮度分量图的并集，得到与当前帧图像对应的亮度映射图；以及，根据亮度映射图和亮度阈值生成亮度权重图。

在一个实施例中，图像特征可包括：边界特征。

上述的生成单元，还可用于根据各个颜色通道的空域去噪图像以及参考帧图像相同颜色通道的参考分量图像生成各个颜色通道的边界分量图；以及，对各个颜色通道的边界分量图中相同位置的像素点的边界特征值进行比对，并根据比对出的最大边界特征值生成与当前帧图像对应的边界映射图；以及，根据边界映射图和边界阈值生成边界权重图。

可选的，生成单元，还可用于求取各个颜色通道的空域去噪图像以及参考帧图像相同颜色通道的参考分量图像之间的差分图像；以及，对各个颜色通道的差分图像进行膨胀或者滤波操作，将膨胀或滤波后的差分图像作为各个颜色通道的边界分量图。

在一个实施例中，图像去噪装置900还可包括：记录模块。

记录模块，可用于在时域去噪模块930根据时域去噪权重图，分别将各个颜色通道的空域去噪图像与参考帧图像相同颜色通道的分量图像进行融合，得到各个颜色通道的时域去噪图像之后，将当前帧图像各个颜色通道的时域去噪图像确定为下一帧图像的参考帧图像；下一帧图像为时间上在当前帧图像之后的任意一帧图像。

可见，实施前述实施例中的图像去噪装置，可先分开不同的颜色通道对当前帧图像进行空域去噪，以得到不同颜色通道的空域去噪图像。在进一步对空域去噪图像进行时域去噪时，图像去噪装置可以结合不同颜色通道的特性计算用于时域去噪的时域去噪权重图，并在不同的颜色通道中使用相同的时域去噪权重图进行时域去噪，有利于减少时空联合去噪所需的计算量，还可以减少各个颜色通道单独去噪可能产生的去噪副作用，有利于提高去噪效果，改善图像质量。

请参阅图10，图10是一个实施例公开的另一种电子设备的结构示意图。如图10所示，该电子设备可以包括：

存储有可执行程序代码的存储器1010；

与存储器1010耦合的处理器1020；

其中，处理器1020调用存储器1010中存储的可执行程序代码，执行本申请实施例公开的任意一种图像去噪方法。

需要说明的是，图10所示的电子设备端还可以包括电源、输入按键、摄像头、扬声器、屏幕、RF电路、Wi-Fi模块、蓝牙模块、传感器等未显示的组件，本实施例不作赘述。

本申请实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序被处理器执行时，使得处理器执行本申请实施例公开的任意一种图像去噪方法。

本申请实施例公开一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可操作来使计算机执行本申请实施例公开的任意一种图像去噪方法。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在本申请的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本申请的各个实施例上述方法的部分或全部步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本申请实施例公开的一种图像去噪方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (16)

1.一种图像去噪方法，其特征在于，所述方法包括：

获取与当前帧图像对应的多帧色彩分量图像，所述多帧色彩分量图像分别对应于不同的颜色通道；

分别对各帧所述色彩分量图像进行空域去噪，得到各个颜色通道的空域去噪图像；

根据所述各个颜色通道的空域去噪图像中的图像特征，确定所述当前帧图像对应的时域去噪权重图；

根据所述时域去噪权重图，分别将所述各个颜色通道的空域去噪图像与参考帧图像相同颜色通道的参考分量图像进行融合，得到所述各个颜色通道的时域去噪图像。

2.根据权利要求1所述的方法，其特征在于，所述分别对各帧所述色彩分量图像进行空域去噪，得到各个颜色通道的空域去噪图像，包括：

确定所述当前帧图像中的目标图像块；

基于所述目标图像块，分别确定各帧所述色彩分量图像对应的中间融合参考块，并根据各帧所述色彩分量图像对应的中间融合参考块确定出目标融合参考块；

基于所述目标融合参考块，分别对各帧所述色彩分量图像进行空域去噪，得到各个颜色通道的空域去噪图像。

3.根据权利要求2所述的方法，其特征在于，所述基于所述目标图像块，分别确定各帧所述的色彩分量图像对应的中间融合参考图像块，包括：

从第一颜色通道的色彩分量图像中搜索出N个与所述目标图像块的面积相同的参考图像块；所述第一颜色通道为所述当前帧图像的任一颜色通道，N为大于或等于2的正整数；

将所述目标图像块在所述第一颜色通道的色彩分量图像中对应的分量图像块与N个所述参考图像块进行比对，并从N个所述参考图像块中选取出与所述分量图像块之间的图像差异小于差异阈值的参考图像块，作为所述第一颜色通道的色彩分量图像对应的中间融合参考块。

4.根据权利要求3所述的方法，其特征在于，所述图像差异包括内容差异、距离差异、纹理方向差异中的至少两种；以及，所述从N个所述参考图像块中选取出与所述分量图像块之间的图像差异小于差异阈值的参考图像块，作为所述第一颜色通道的色彩分量图像对应的中间融合参考图像块，包括：

从N个所述参考图像块中选取出与所述分量图像块之间的各种图像差异均小于对应的差异阈值的参考图像块，作为所述第一颜色通道的色彩分量图像对应的中间融合参考图像块。

5.根据权利要求3所述的方法，其特征在于，所述从第一颜色通道的色彩分量图像中搜索出N个与所述目标图像块的面积相同的参考图像块，包括：

在第一颜色通道的色彩分量图像中，建立以所述目标图像块在所述第一颜色通道的色彩分量图像中对应的分量图像块为中心的搜索窗；

以目标步长遍历所述搜索窗内包含的图像区域，以在所述搜索窗中生成N个与所述目标图像块的面积相同的参考图像块。

6.根据权利要求2所述的方法，其特征在于，所述根据各帧所述色彩分量图像对应的中间融合参考图像块确定出目标融合参考块，包括：

求取各帧所述色彩分量图像分别对应的中间融合参考块的交集，得到目标融合参考块。

7.根据权利要求1所述的方法，其特征在于，所述图像特征包括：饱和度特征、亮度特征、边界特征中的至少一种；以及，所述根据所述各个颜色通道的空域去噪图像中的图像特征，确定所述当前帧图像对应的时域去噪权重图，包括：

根据所述各个颜色通道的空域去噪图像中的图像特征，生成所述当前帧图像的特征映射图，并根据所述特征映射图确定所述当前帧图像的特征权重图；所述特征映射图包括饱和度映射图、亮度映射图和边界映射图中的至少一种，所述饱和度映射图是根据从所述各个颜色通道的空域去噪图像中提取出的饱和度特征确定的，所述亮度映射图是根据从所述各个颜色通道的空域去噪图像中分别提取出亮度特征确定的，所述边界映射图是根据从所述各个颜色通道的空域去噪图像中分别提取出边界特征确定的；所述特征权重图包括饱和度权重图、亮度权重图和边界权重图中的至少一种，所述饱和度权重图是根据所述饱和度映射图确定的，所述亮度权重图是根据所述亮度映射图确定的，所述边界权重图是根据所述边界权重图确定的；

根据所述饱和度权重图、所述亮度权重图和所述边界权重图中的至少一种计算所述当前帧图像的时域去噪权重图。

8.根据权利要求7所述的方法，其特征在于，同一像素点在所述饱和度权重图中的权重值与所述饱和度映射图中的饱和度特征值呈负相关关系；或者，

同一像素点在所述亮度权重图中的权重值与所述亮度映射图中的亮度特征值呈负相关关系；或者，

同一像素点在所述边界权重图中的权重值与所述边界映射图中的边界特征值呈负相关关系。

9.根据权利要求7所述的方法，其特征在于，图像特征包括：饱和度特征；以及，所述根据所述各个颜色通道的空域去噪图像中的图像特征，生成所述当前帧图像的特征映射图，并根据所述特征映射图确定所述当前帧图像的特征权重图，包括：

根据所述各个颜色通道的空域去噪图像中像素点的像素值计算所述当前帧图像中像素点的饱和度，以得到与所述当前帧图像对应的饱和度映射图；

根据所述饱和度映射图和饱和度阈值生成饱和度权重图。

10.根据权利要求7所述的方法，其特征在于，图像特征包括：亮度特征；以及，所述根据所述各个颜色通道的空域去噪图像中的图像特征，生成所述当前帧图像的特征映射图，并根据所述特征映射图确定所述当前帧图像的特征权重图，包括：

根据所述各个颜色通道的空域去噪图像中像素点的亮度生成各个颜色通道的亮度分量图；

求取各个亮度分量图的并集，得到与所述当前帧图像对应的亮度映射图；

根据所述亮度映射图和亮度阈值生成亮度权重图。

11.根据权利要求7所述的方法，其特征在于，图像特征包括：图像特征包括：边界特征；以及，所述根据所述各个颜色通道的空域去噪图像中的图像特征，生成所述当前帧图像的特征映射图，并根据所述特征映射图确定所述当前帧图像的特征权重图，包括：

根据各个颜色通道的空域去噪图像以及参考帧图像相同颜色通道的参考分量图像生成各个颜色通道的边界分量图；

对所述各个颜色通道的边界分量图中相同位置的像素点的边界特征值进行比对，并根据比对出的最大边界特征值生成与所述当前帧图像对应的边界映射图；

根据所述边界映射图和边界阈值生成边界权重图。

12.根据权利要求10所述的方法，其特征在于，所述根据各个颜色通道的空域去噪图像以及参考帧图像相同颜色通道的参考分量图像生成各个颜色通道的边界分量图，包括：

求取所述各个颜色通道的空域去噪图像以及参考帧图像相同颜色通道的参考分量图像之间的差分图像；

对各个颜色通道的差分图像进行膨胀或者滤波操作，将膨胀或滤波后的差分图像作为各个颜色通道的边界分量图。

13.根据权利要求1-12任一项所述的方法，其特征在于，在所述根据所述时域去噪权重图，分别将所述各个颜色通道的空域去噪图像与参考帧图像相同颜色通道的参考分量图像进行融合，得到所述各个颜色通道的时域去噪图像之后，所述方法还包括：

将所述当前帧图像各个颜色通道的时域去噪图像确定为下一帧图像的参考帧图像；下一帧图像为时间上在所述当前帧图像之后的任意一帧图像。

14.一种图像去噪装置，其特征在于，所述装置包括：

获取模块，用于获取与当前帧图像对应的多帧色彩分量图像，所述多帧色彩分量图像分别对应于不同的颜色通道；

空域去噪模块，用于分别对各帧所述色彩分量图像进行去噪，得到各个颜色通道的空域去噪图像；

时域去噪模块，用于根据所述各个颜色通道的空域去噪图像中的图像特征，确定所述当前帧图像对应的时域去噪权重图；以及，根据所述时域去噪权重图，分别将所述各个颜色通道的空域去噪图像与参考帧图像相同颜色通道的参考分量图像进行融合，得到所述各个颜色通道的时域去噪图像。

15.一种电子设备，其特征在于，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如权利要求1至13任一项所述的方法。

16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至13任一项所述的方法。

Images