CN114092562A - 噪声模型标定方法、图像去噪方法、装置、设备和介质 - Google Patents

Abstract

本申请涉及图像处理技术领域，公开了一种噪声模型标定方法、图像去噪方法、装置、设备和介质。该方法包括：获取多帧RAW域图像；基于所述多帧RAW域图像进行非线性噪声去噪处理，生成目标图像；基于所述目标图像对预设RAW域噪声模型进行标定，生成目标RAW域噪声模型。通过上述技术方案，提高了目标RAW域噪声模型的去噪精度，从而提高了RAW域图像的图像清晰度和图像质量。

Description

噪声模型标定方法、图像去噪方法、装置、设备和介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种噪声模型标定方法、图像去噪方法、装置、设备和介质。

背景技术

RAW域图像是指传感器输出的图像源文件，其因未经过任何图像处理(如锐化、色彩增强等)和压缩而保留了图像中的大量细节信息，故而被应用于诸多场景中，例如高清夜景图像拍摄场景、HDR图像拍摄场景等。RAW域图像在传感器成像过程中会引入各种噪声，例如传感器数据采集过程中引入的光子噪声和暗噪声、模拟放大器电路引入的读取噪声、模数转换引入的ADC噪声等等，这些噪声会使得图像模糊，降低RAW域图像质量。所以，非常有必要对RAW域图像进行去噪处理，以提高图像质量。

目前，对RAW域图像进行去噪的方式之一是获得高斯泊松噪声模型，进而利用该模型对RAW域图像进行噪声估计与去噪。高斯泊松噪声模型的主要获取方式是利用实验室拍摄所得的、图像噪声较小的RAW域图像对高斯泊松噪声模型进行标定。

但是，上述方式所获得的高斯泊松噪声模型的噪声估计结果的准确性较低，导致RAW域图像的去噪精度较低，无法获得高质量的RAW域图像。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高去噪精度的噪声模型标定方法、图像去噪方法、装置、设备和介质。

第一方面，本申请提供了一种声模型标定方法，该方法包括：

获取多帧RAW域图像；

基于所述多帧RAW域图像进行非线性噪声去噪处理，生成目标图像；

基于所述目标图像对预设RAW域噪声模型进行标定，生成目标RAW域噪声模型。

在一些实施例中，所述基于所述多帧RAW域图像进行非线性噪声去噪处理，生成目标图像包括：

从所述多帧RAW域图像中确定参考图像；

针对每个图像处理块，确定每个其他图像中的所述图像处理块相对于所述参考图像的所述图像处理块的水平偏移量和垂直偏移量；其中，所述其他图像为所述多帧RAW域图像中除了所述参考图像之外的图像；

基于各所述图像处理块的所述水平偏移量和所述垂直偏移量，将各所述其他图像融合至所述参考图像，生成所述目标图像。

在一些实施例中，所述针对每个图像处理块，确定每个其他图像中的所述图像处理块相对于所述参考图像的所述图像处理块的水平偏移量和垂直偏移量包括：

按照预设采样步幅，对所述多帧RAW域图像中的每帧图像进行设定数量次的下采样处理，得到每帧所述图像对应的多层金字塔图像；

针对每个所述其他图像对应的最顶层图像中的每个所述图像处理块，确定所述其他图像对应的最顶层图像中的所述图像处理块，相对于所述参考图像对应的最顶层图像中的所述图像处理块的第一水平偏移量和第一垂直偏移量；

针对每个所述其他图像对应的剩余层图像中的每个所述图像处理块，基于所述其他图像对应的上一层图像中的所述图像处理块的第二水平偏移量和第二垂直偏移量，确定所述其他图像对应的剩余层图像中的所述图像处理块的初始块中心位置，并基于所述初始块中心位置，确定所述其他图像对应的剩余层图像中的所述图像处理块，相对于所述参考图像对应的剩余层图像中的所述图像处理块的第三水平偏移量和第三垂直偏移量；

其中，若所述上一层图像为所述最顶层图像，则所述第二水平偏移量和所述第二垂直偏移量分别为所述第一水平偏移量和所述第一垂直偏移量；若所述剩余层图像为最底层图像，则所述第三水平偏移量和所述第三垂直偏移量分别为所述水平偏移量和所述垂直偏移量。

在一些实施例中，所述基于各所述图像处理块的所述水平偏移量和所述垂直偏移量，将各所述其他图像融合至所述参考图像，生成所述目标图像包括：

针对每个所述其他图像，基于每个所述图像处理块的所述水平偏移量和所述垂直偏移量确定对应图像处理块的空域权重值，并基于各所述空域权重值合并各所述图像处理块，生成处理后的其他图像；

基于像素与所述像素所在的图像处理块的块中心之间的距离，确定每个所述处理后的其他图像中的每个像素的像素权重值；

基于各所述像素权重值，将各所述处理后的其他图像与所述参考图像融合，生成所述目标图像。

在一些实施例中，所述基于所述多帧RAW域图像进行非线性噪声去噪处理，生成目标图像包括：

在所述多帧RAW域图像为多帧对齐的图像的情况下，对所述多帧RAW域图像进行加权平均处理，生成所述目标图像。

在一些实施例中，所述基于所述目标图像对预设RAW域噪声模型进行模型标定，生成目标RAW域噪声模型包括：

对所述目标图像进行像素值统计，并利用统计结果标定所述预设RAW域噪声模型，生成所述目标RAW域噪声模型。

第二方面，本申请提供了一种图像去噪方法，该方法包括：

获取待处理的RAW域图像；

基于目标RAW域噪声模型，对所述待处理图像进行去噪处理，生成去噪后的待处理的RAW域图像；其中，所述目标RAW域噪声模型通过本申请任意实施例所说明的噪声模型标定方法而获得。

第三方面，本申请提供了一种噪声模型标定装置，该装置包括：

图像获取模块，用于获取多帧RAW域图像；

目标图像生成模块，用于基于所述多帧RAW域图像进行非线性噪声去噪处理，生成目标图像；

噪声模型标定模块，用于基于所述目标图像对预设RAW域噪声模型进行标定，生成目标RAW域噪声模型。

在一些实施例中，目标图像生成模块包括：

参考图像确定子模块，用于从所述多帧RAW域图像中确定参考图像；

偏移量确定子模块，用于针对每个图像处理块，确定每个其他图像中的所述图像处理块相对于所述参考图像的所述图像处理块的水平偏移量和垂直偏移量；其中，所述其他图像为所述多帧RAW域图像中除了所述参考图像之外的图像；

目标图像生成子模块，用于基于各所述图像处理块的所述水平偏移量和所述垂直偏移量，将各所述其他图像融合至所述参考图像，生成所述目标图像。

在一些实施例中，偏移量确定子模块具体用于：

按照预设采样步幅，对所述多帧RAW域图像中的每帧图像进行设定数量次的下采样处理，得到每帧所述图像对应的多层金字塔图像；

针对每个所述其他图像对应的最顶层图像中的每个所述图像处理块，确定所述其他图像对应的最顶层图像中的所述图像处理块，相对于所述参考图像对应的最顶层图像中的所述图像处理块的第一水平偏移量和第一垂直偏移量；

针对每个所述其他图像对应的剩余层图像中的每个所述图像处理块，基于所述其他图像对应的上一层图像中的所述图像处理块的第二水平偏移量和第二垂直偏移量，确定所述其他图像对应的剩余层图像中的所述图像处理块的初始块中心位置，并基于所述初始块中心位置，确定所述其他图像对应的剩余层图像中的所述图像处理块，相对于所述参考图像对应的剩余层图像中的所述图像处理块的第三水平偏移量和第三垂直偏移量；

其中，若所述上一层图像为所述最顶层图像，则所述第二水平偏移量和所述第二垂直偏移量分别为所述第一水平偏移量和所述第一垂直偏移量；若所述剩余层图像为最底层图像，则所述第三水平偏移量和所述第三垂直偏移量分别为所述水平偏移量和所述垂直偏移量。

在一些实施例中，目标图像生成子模块具体用于：

针对每个所述其他图像，基于每个所述图像处理块的所述水平偏移量和所述垂直偏移量确定对应图像处理块的空域权重值，并基于各所述空域权重值合并各所述图像处理块，生成处理后的其他图像；

基于像素与所述像素所在的图像处理块的块中心之间的距离，确定每个所述处理后的其他图像中的每个像素的像素权重值；

基于各所述像素权重值，将各所述处理后的其他图像与所述参考图像融合，生成所述目标图像。

在一些实施例中，目标图像生成模块具体用于：

在所述多帧RAW域图像为多帧对齐的图像的情况下，对所述多帧RAW域图像进行加权平均处理，生成所述目标图像。

在一些实施例中，噪声模型标定模块具体用于：

对所述目标图像进行像素值统计，并利用统计结果标定所述预设RAW域噪声模型，生成所述目标RAW域噪声模型。

第四方面，本申请提供了一种图像去噪装置，该装置包括：

图像获取模块，用于获取待处理的RAW域图像；

图像去噪模块，用于基于目标RAW域噪声模型，对所述待处理图像进行去噪处理，生成去噪后的待处理的RAW域图像；其中，所述目标RAW域噪声模型通过本申请任意实施例所说明的噪声模型标定方法而获得。

第五方面，本申请提供了一种计算机设备，该计算机设备包括：存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现本申请任意实施例所说明的噪声模型标定方法，或者实现本申请任意实施例所说明的图像去噪方法。

第六方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请任意实施例所说明的噪声模型标定方法，或者实现本申请任意实施例所说明的图像去噪方法。

本申请实施例提供的噪声模型标定方案，能够在噪声模型的标定过程中，先对获取的多帧RAW图像进行高斯去噪处理，获得削弱高斯噪声的目标图像，再利用该目标图像对预设RAW域噪声模型进行线性标定，获得以线性形式表征图像像素值与其对应的噪声强度的目标RAW域噪声模型，解决了实验室标定诸如高斯泊松噪声模型的预设RAW域噪声模型过程中，忽略非线性分布的高斯噪声而仅标定线性分布的泊松噪声，导致模型去噪精度差的问题，提高了目标RAW域噪声模型的去噪精度，从而提高了RAW域图像的图像清晰度和图像质量。

本申请实施例提供的图像去噪方案，能够利用去噪精度更高的目标RAW域噪声模型对待处理图像进行去噪，提高了去噪后的待处理的RAW域图像的图像清晰度和图像质量。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种噪声模型标定方法的流程示意图；

图2为本申请实施例提供的一种噪声模型标定方法中生成目标图像的方法的流程示意图；

图3为本申请实施例提供的一种图像去噪方法的流程示意图；

图4为本申请实施例提供的一种噪声模型标定装置的结构框图；

图5为本申请实施例提供的一种图像去噪装置的结构框图；

图6为本申请实施例提供的一种计算机设备的内部结构图；

图7为本申请实施例提供的另一种计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的噪声模型标定方法，主要适用于对包含非线性噪声和线性噪声的噪声模型进行标定的场景，例如适用于对RAW域图像中存在的噪声对应的高斯泊松噪声模型进行模型标定的场景。该噪声模型标定方法可以由噪声模型标定装置来执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在具有一定的图像处理能力的电子设备中，例如笔记本电脑、台式电脑、单台服务器或服务器集群等。

图1是本申请实施例提供的一种噪声模型标定方法的流程示意图。参见图1，该方法具体包括：

S110、获取多帧RAW域图像。

其中，RAW域图像为传感器获取的图像源文件/原始图像。例如，摄像头进行图像采集过程所得的图像源文件。

具体地，RAW域图像中存在非线性分布的噪声(如高斯噪声)，而非线性分布的噪声无法在噪声模型的标定过程中进行标定，所以，本申请实施例中在进行模型标定之前，先对RAW域图像中存在的非线性分布的噪声进行去噪处理，使得去噪处理后的RAW域图像(即目标图像)中尽可能地仅包含线性分布的噪声(如泊松噪声)。本申请实施例中以高斯噪声为例来说明非线性分布的噪声去噪过程。

对RAW域图像中存在的高斯噪声，可以借助多帧RAW域图像进行加权融合的方式进行去噪处理。所以，首先要获取连续多帧RAW域图像。

在一些实施例中，多帧RAW域图像可以是在实验室针对同一静态场景进行拍摄得到。这样的多帧RAW域图像中的场景不变、所含物体无运动、光线也基本无变化。

在另一些实施例中，多帧RAW域图像可以是在实际场景中拍摄所得。这样的多帧RAW域图像中存在非刚体变换、场景移动、光线变化等情现象。

S120、基于多帧RAW域图像进行非线性噪声去噪处理，生成目标图像。

具体地，电子设备根据多帧RAW域图像的图像特征(如内容变化情况、整体亮度变化情况等)执行相应的非线性噪声去噪处理，获得处理后的图像，即目标图像。

在一些实施例中，当非线性噪声为高斯噪声时，S120为对多帧RAW域图像进行高斯噪声去噪处理，生成目标图像。

S130、基于目标图像对预设RAW域噪声模型进行标定，生成目标RAW域噪声模型。

其中，预设RAW域噪声模型是预先设定的、对RAW域图像进行噪声强度估计或去噪的线性模型，其模型形式可以为相对简单的线性函数，能够利用测量数据对其进行模型参数的求解。预设RAW域噪声模型的模型参数是未知参数或缺省参数，其需要根据传感器的输出RAW域图像进行标定。

示例性地，因为摄像头等图像采集传感器在成像过程中引入的各种噪声可归纳为高斯泊松噪声模型，所以，可以将预设RAW域噪声模型确定为高斯泊松噪声模型。

具体地，经过非线性噪声去噪所得的目标图像中不存在非线性噪声，故可以利用该目标图像对预设RAW域噪声模型的模型参数进行标定，获得标定的模型参数和预设RAW域噪声模型(即目标RAW域噪声模型)。

在一些实施例中，当预设RAW域噪声模型确定为高斯泊松噪声模型时，S130可实现为：对目标图像进行像素值统计，并利用统计结果标定预设RAW域噪声模型，生成目标RAW域噪声模型。

具体地，目标图像中的每个像素值中均包含线性噪声，且各像素值中的线性噪声之间具有独立性，其服从泊松分布。本申请实施例中采用能够表征数据离散程度的相关指标来表征图像中的线性噪声强度。示例性地，可以采用方差来表征图像中的线性噪声强度。

基于上述情况，电子设备对目标图像中的各像素值进行统计，获得多个期望值及每个期望值对应的方差。例如，按照像素值大小将所有像素值划分为多个数据组，每个数据组中包含多个像素值。然后，对每个数据组进行期望和方差的计算，得到目标图像对应的多个期望值及其方差。然后，电子设备将各期望值和每个期望值对应的方差代入高斯泊松噪声模型中，对其进行最优解求解，得到的最优解便是高斯泊松噪声模型的模型参数。将所得的模型参数代入高斯泊松噪声模型，便可获得目标RAW域噪声模型。

本申请实施例提供的上述噪声模型标定方案，能够在噪声模型的标定过程中，先对获取的多帧RAW图像进行高斯去噪处理，获得削弱高斯噪声的目标图像，再利用该目标图像对预设RAW域噪声模型进行线性标定，获得以线性形式表征图像像素值与其对应的噪声强度的目标RAW域噪声模型，解决了实验室标定诸如高斯泊松噪声模型的预设RAW域噪声模型过程中，忽略非线性分布的高斯噪声而仅标定线性分布的泊松噪声，导致模型去噪精度差的问题，提高了目标RAW域噪声模型的去噪精度，从而提高了RAW域图像的图像清晰度和图像质量。

在本申请提供的一种实施方式中，多帧RAW域图像为多帧对齐的图像，即获得的各帧RAW域图像已经是互相配准的图像。例如，多帧RAW域图像是在实验室针对同一静态场景进行拍摄得到，或者多帧RAW域图像是在拍摄场景内物体近乎静止的实际环境中快速连拍获得。该情况下，上述S120可实现为：对多帧RAW域图像进行加权平均处理，生成目标图像。

具体地，该实施方式中多帧RAW域图像之间不存在物体错位等情况，电子设备可以直接对各帧RAW域图像中的每个像素值进行加权平均的融合处理，便可很大程度上削弱各帧RAW域图像中存在的高斯噪声，得到一张融合后的目标图像。

通过该实施方式的技术方案，可以直接利用简单的加权平均方式来融合各帧RAW域图像得到目标图像，省去了高斯噪声去噪过程中图像对齐和边界融合等复杂的处理步骤，简化了高斯噪声去噪流程，提高了高斯噪声的去噪速度，从而提高了噪声模型的标定速度。

在本申请提供的另一实施方式中，多帧RAW域图像可以是在实际场景中拍摄所得，且其中存在非刚体变换、场景移动、光线变化等现象。在该情况下，S120可实现为如图2所示的S1201～S1203：

S1201、从多帧RAW域图像中确定参考图像。

其中，参考图像是多帧RAW域图像中图像最为清晰或者最为锐化的一帧图像，其作为多帧RAW域图像中除了参考图像之外的各其他图像进行图像对齐(或称图像配准)的基准图像以及图像融合过程中的主体图像。

具体地，多帧RAW域图像未对齐时，需要先进行图像对齐处理操作。此时，电子设备先要从多帧RAW域图像中选择一个参考图像，作为后续多帧RAW域图像中除了参考图像之外的各其他图像进行图像对齐(或称图像配准)的基准图像，以及作为后续进行图像融合以生成目标图像的主体图像。

具体实施时，电子设备可以选择相关梯度函数、相关方差函数、熵函数等计算图像清晰度的算法，对每帧RAW域图像进行相关函数值的计算，并根据计算所得的各函数值从各帧RAW域图像中选择出参考图像。

S1202、针对每个图像处理块，确定每个其他图像中的图像处理块相对于参考图像的图像处理块的水平偏移量和垂直偏移量。

其中，图像处理块是指图像的局部区域，其是进行图像处理的基本单位。述其他图像为多帧RAW域图像中除了参考图像之外的图像。

具体地，因传感器的平移、旋转等原因使得参考图像和每帧其他图像之间存在偏差，增加了图像对齐的难度。所以，电子设备先计算图像之间的偏移量，该偏移量包含水平方向上的偏移量(即水平偏移量)和垂直方向上的偏移量(即垂直偏移量)。而为了降低计算量且提高偏移量计算准确性，本申请实施例中将整个图像划分为多个图像块，并以图像块为处理单位进行偏移量的计算。参考图像和每个其他图像的图像处理块的划分方式和划分数量一致。

具体实施时，针对某个图像处理块和某个其他图像，电子设备以参考图像中的该图像处理块为基准，在该其他图像中确定多个候选匹配块。例如，先将该其他图像中的该图像处理块作为一个候选匹配块，然后在该候选匹配块的周边一定范围(如上下左右各2个)内逐像素移动与图像处理块同尺寸的窗口，每移动一次，窗口对应区域便可确定一个候选匹配块。然后，电子设备采用表征两个图像相似程度的指标，如差的绝对值的和(Sum ofAbsolute Differences，SAD)、差的平方和(Sum of Squared Differences，SSD)、相关性(Normalized Cross Correlation，NCC)等，计算参考图像中该图像处理块的指标值以及该其他图像中每个候选匹配块的指标值。再然后，根据各指标值从各候选匹配块中选出与参考图像中的该图像处理块匹配度最高的候选匹配块，作为该其他图像中该图像处理块的目标匹配块。之后，根据参考图像中该图像处理块和该其他图像中的该目标匹配块，确定该其他图像在该图像处理块处相对于参考图像的水平偏移量和垂直偏移量。

对于任一个其他图像和任一个图像处理块，均采用上述过程，便可获得每个其他图像在每个图像处理块相对于参考图像的水平偏移量和垂直偏移量。

上述计算偏移量的过程，可以在多帧RAW域图像的原始图像尺寸上进行；也可以对RAW域图像进行多次下采样生成多级金字塔图像，再在该多级金字塔图像中由图像粗尺度(图像尺寸最小)到图像细尺度(图像尺寸最大)的顺序逐级计算偏移量，得到原始图像尺寸上的偏移量。

S1203、基于各图像处理块的水平偏移量和垂直偏移量，将各其他图像融合至参考图像，生成目标图像。

具体地，获得上述各其他图像的各图像处理块的水平偏移量和垂直偏移量后，可以根据这些水平偏移量和垂直偏移量将每个其他图像在空域上与参考图像对齐。然后，将对齐后的每个其他图像均融合至参考图像，获得目标图像。

通过上述实施方式的技术方案，能够对未对齐的多帧RAW域图像进行对齐和融合，得到去除高斯噪声的目标图像，使得本申请实施例提供的噪声模型标定方法可在实际环境下实施，解决了传统的噪声模型标定须在实验室环境下执行的局限性问题，提高了噪声模型标定方法的普适性。

在一些实施例中，上述S1202可具体实现为如下步骤A～步骤C：

步骤A：按照预设采样步幅，对多帧RAW域图像中的每帧图像进行设定数量次的下采样处理，得到每帧图像对应的多层金字塔图像。

其中，预设采样步幅是指图像下采样的缩小倍数，例如可以是2或4等。设定数量是预先设定的数值。预设采样步幅和设定数量均其可根据偏移量的计算精度和计算速度来设置。例如，业务需求侧重计算精度，则预设采样步幅和设定数量设置为较小的数值，以在相对较大的图像尺度上进行初次偏移量的计算；业务需求侧重计算速度，则预设采样步幅和设定数量设置为较大的数值，以在相对较小的图像尺度上进行初次偏移量的计算。

具体地，对每帧RAW域图像进行设定数量次的下采样操作，每次下采样均会将图像缩小预设采样步幅。这样，每帧RAW域图像对应有设定数量+1层的金字塔图像，且最底层的金字塔图像(即最底层图像)为原始的RAW域图像，图像尺寸最大，图像尺度最细，最顶层的金字塔图像(即最顶层图像)的图像尺寸最小，即图像尺度最粗。

步骤B：针对每个其他图像对应的最顶层图像中的每个图像处理块，确定其他图像对应的最顶层图像中的图像处理块，相对于参考图像对应的最顶层图像中的图像处理块的第一水平偏移量和第一垂直偏移量。

具体地，因为图像尺寸最小的最顶层图像中包含的像素最少，其每个图像处理块中包含的像素也相应最少，那么在该图像尺度上进行偏移量计算时，计算量相对最小。基于此，本实施例中在图像尺寸最小的最顶层图像中进行偏移量计算。偏移量计算的具体过程可参见上述步骤1202的说明。计算所得的初始的偏移量可称为第一水平偏移量和第一垂直偏移量，其将作为后续偏移量计算的初始估计值。

步骤C：针对每个其他图像对应的剩余层图像中的每个图像处理块，基于其他图像对应的上一层图像中的图像处理块的第二水平偏移量和第二垂直偏移量，确定其他图像对应的剩余层图像中的图像处理块的初始块中心位置，并基于初始块中心位置，确定其他图像对应的剩余层图像中的图像处理块，相对于参考图像对应的剩余层图像中的图像处理块的第三水平偏移量和第三垂直偏移量。

其中，若上一层图像为最顶层图像，则第二水平偏移量和第二垂直偏移量分别为第一水平偏移量和第一垂直偏移量；若剩余层图像为最底层图像，则第三水平偏移量和第三垂直偏移量分别为水平偏移量和垂直偏移量。

具体地，对于最顶层图像的上一层金字塔图像(简称次顶层图像)的图像尺度上的参考图像和某一个其他图像中的某一个图像处理块，电子设备先确定该其他图像的该图像处理块对应的第二水平偏移量和第二垂直偏移量，即上述第一水平偏移量和第一垂直偏移量，如(1,2)。然后，按照预设采样步幅(如2倍)放大该第二水平偏移量和第二垂直偏移量，获得放大后的第二水平偏移量和第二垂直偏移量，如(2,4)。再然后，基于放大后的第二水平偏移量和第二垂直偏移量确定在次顶层图像的图像尺度上该其他图像的该图像处理块的初始块中心位置，如默认块中心位置为(1,1)，那么初始块中心位置为(3,5)。再然后，以该初始块中心位置为基础，按照上述步骤1202来计算在次顶层图像的图像尺度上该其他图像的该图像处理块的水平偏移量和垂直偏移量，即第三水平偏移量和第三垂直偏移量。

按照上述过程，逐级放大上一层金字塔图像所得的偏移量，并计算初始块中心位置以及重新计算新的偏移量，直至计算至最底层图像，便获得RAW域图像尺度上每个其他图像的每个图像块的水平偏移量和垂直偏移量。

应该理解的是，在上述逐级计算的过程中，按照上下层金字塔图像的相对变换，不断更新上述第二水平偏移量和第二垂直偏移量、以及第三水平偏移量和第三垂直偏移量。

通过上述多级金字塔图像的处理，可以在图像尺度最粗的最顶层图像中计算初始的偏移量，而后逐级放大该初始的偏移量来计算获得最终的水平偏移量和垂直偏移量，很大程度上减少了偏移量计算过程的计算量，提高了计算速度，从而进一步提高噪声模型标定的速度。

在一些实施例中，上述S1203可实现为如下步骤D～步骤F：

步骤D：针对每个其他图像，基于每个图像处理块的水平偏移量和垂直偏移量确定对应图像处理块的空域权重值，并基于各空域权重值合并各图像处理块，生成处理后的其他图像。

具体地，对于某个其他图像的某个图像处理块，电子设备可以据其水平偏移量和垂直偏移量，计算将该其他图像中的该图像处理块对齐至参考图像中的对应图像处理块的空域权重值。例如，先根据水平偏移量和垂直偏移量计算图像相似度指标值，如SAD值、SSD值等；再按照空域权重值和图像相似度指标值呈负相关的数值关系，根据图像相似度指标值计算得到空域权重值。然后，电子设备根据该空域权重值将该其他图像中的该图像处理块对齐至参考图像中的对应图像处理块。

按照上述过程，可以将每个其他图像中的每个图像处理块均对齐至参考图像，完成每个其他图像的空域合并，得到处理后的其他图像。

步骤E：基于像素与像素所在的图像处理块的块中心之间的距离，确定每个处理后的其他图像中的每个像素的像素权重值。

具体地，上述各图像处理块之间具有一定的重叠区域，那么上述处理后的其他图像中可能存在合并后的明显边界。所以，为了削弱目标图像中的边界、提高后续图像融合的准确性，本实施例中根据图像处理块中的每个像素与块中心位置之间的距离，按照距离与权重值正相关的计算关系，计算每个处理后的其他图像中的每个像素的像素权重值。

步骤F：基于各像素权重值，将各处理后的其他图像与参考图像融合，生成目标图像。

具体地，按照上述确定的某个处理后的其他图像每个像素的像素权重值，将该处理后的其他图像融合至参考图像。按照该过程，将每个处理后的其他图像均融合至参考图像，便可得到目标图像。

本申请实施例提供的图像去噪方法，主要适用于利用预设RAW域噪声模型对RAW域图像进行去噪的场景，例如适用于利用高斯泊松噪声模型对RAW域图像进行去噪的场景。该图像去噪方法可以由图像去噪装置来执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在具有一定的图像处理能力的电子设备中，例如智能手机、智能可穿戴设备、掌上电脑PDA、平板电脑PAD、笔记本电脑、台式电脑等。

图3是本申请实施例提供的一种图像去噪方法的流程示意图。参见图3，该方法具体包括：

S310、获取待处理的RAW域图像。

具体地，电子设备利用摄像头等图像采集装置采集得到待处理的RAW域图像。或者，电子设备从网络端下载得到待处理的RAW域图像。或者，电子设备从存储介质中读取待处理的RAW域图像。

S320、基于目标RAW域噪声模型，对待处理图像进行去噪处理，生成去噪后的待处理的RAW域图像；其中，目标RAW域噪声模型通过本申请任意实施例的噪声模型标定方法而获得。

具体地，根据上述说明，目标RAW域噪声模型是利用削弱了高斯噪声的目标图像进行标定而得到的，其可以更加准确地估计RAW域图像中的噪声。所以，对于上述获得的待处理的RAW域图像中的每个像素值输入目标RAW域噪声模型，可得到每个像素值对应的噪声估计值。然后，根据该噪声估计值对待处理的RAW域图像进行去噪处理，得到去噪后的待处理的RAW域图像。

通过本申请实施例提供的图像去噪方法，能够利用去噪精度更高的目标RAW域噪声模型对待处理图像进行去噪，提高了去噪后的待处理的RAW域图像的图像清晰度和图像质量。

应该理解的是，虽然图1-3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图4为本申请实施例中一种噪声模型标定装置的结构框图，该装置包括：

图像获取模块410，用于获取多帧RAW域图像；

目标图像生成模块420，用于基于多帧RAW域图像进行非线性噪声去噪处理，生成目标图像；

噪声模型标定模块430，用于基于目标图像对预设RAW域噪声模型进行标定，生成目标RAW域噪声模型。

在一些实施例中，目标图像生成模块420包括：

参考图像确定子模块，用于从多帧RAW域图像中确定参考图像；

偏移量确定子模块，用于针对每个图像处理块，确定每个其他图像中的图像处理块相对于参考图像的图像处理块的水平偏移量和垂直偏移量；其中，其他图像为多帧RAW域图像中除了参考图像之外的图像；

目标图像生成子模块，用于基于各图像处理块的水平偏移量和垂直偏移量，将各其他图像融合至参考图像，生成目标图像。

在一些实施例中，偏移量确定子模块具体用于：

按照预设采样步幅，对多帧RAW域图像中的每帧图像进行设定数量次的下采样处理，得到每帧图像对应的多层金字塔图像；

针对每个其他图像对应的最顶层图像中的每个图像处理块，确定其他图像对应的最顶层图像中的图像处理块，相对于参考图像对应的最顶层图像中的图像处理块的第一水平偏移量和第一垂直偏移量；

针对每个其他图像对应的剩余层图像中的每个图像处理块，基于其他图像对应的上一层图像中的图像处理块的第二水平偏移量和第二垂直偏移量，确定其他图像对应的剩余层图像中的图像处理块的初始块中心位置，并基于初始块中心位置，确定其他图像对应的剩余层图像中的图像处理块，相对于参考图像对应的剩余层图像中的图像处理块的第三水平偏移量和第三垂直偏移量；

其中，若上一层图像为最顶层图像，则第二水平偏移量和第二垂直偏移量分别为第一水平偏移量和第一垂直偏移量；若剩余层图像为最底层图像，则第三水平偏移量和第三垂直偏移量分别为水平偏移量和垂直偏移量。

在一些实施例中，目标图像生成子模块具体用于：

针对每个其他图像，基于每个图像处理块的水平偏移量和垂直偏移量确定对应图像处理块的空域权重值，并基于各空域权重值合并各图像处理块，生成处理后的其他图像；

基于像素与像素所在的图像处理块的块中心之间的距离，确定每个处理后的其他图像中的每个像素的像素权重值；

基于各像素权重值，将各处理后的其他图像与参考图像融合，生成目标图像。

在一些实施例中，目标图像生成模块420具体用于：

在多帧RAW域图像为多帧对齐的图像的情况下，对多帧RAW域图像进行加权平均处理，生成目标图像。

在一些实施例中，噪声模型标定模块430具体用于：

对目标图像进行像素值统计，并利用统计结果标定预设RAW域噪声模型，生成目标RAW域噪声模型。

通过本申请实施例提供的噪声模型标定装置，能够在噪声模型的标定过程中，先对获取的多帧RAW图像进行高斯去噪处理，获得削弱高斯噪声的目标图像，再利用该目标图像对预设RAW域噪声模型进行线性标定，获得以线性形式表征图像像素值与其对应的噪声强度的目标RAW域噪声模型，解决了实验室标定诸如高斯泊松噪声模型的预设RAW域噪声模型过程中，忽略非线性分布的高斯噪声而仅标定线性分布的泊松噪声，导致模型去噪精度差的问题，提高了目标RAW域噪声模型的去噪精度，从而提高了RAW域图像的图像清晰度和图像质量。

关于噪声模型标定装置的具体限定可以参见上文中对于噪声模型标定方法的限定，在此不再赘述。上述噪声模型标定装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。

图5为本申请实施例中一种图像去噪装置的结构框图，该装置包括：

图像获取模块510，用于获取待处理的RAW域图像；

图像去噪模块520，用于基于目标RAW域噪声模型，对待处理图像进行去噪处理，生成去噪后的待处理的RAW域图像；其中，目标RAW域噪声模型通过本申请任意实施例所说明的噪声模型标定方法而获得。

本申请实施例提供的图像去噪装置，能够利用去噪精度更高的目标RAW域噪声模型对待处理图像进行去噪，提高了去噪后的待处理的RAW域图像的图像清晰度和图像质量。

关于图像去噪装置的具体限定可以参见上文中对于图像去噪方法的限定，在此不再赘述。上述图像去噪装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。

上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

本申请实施例还提供了一种计算机设备，该计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现本申请任意实施例所说明的噪声模型标定方法，或者实现本申请任意实施例所说明的图像去噪方法。

在一些实施例中，计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储目标RAW域噪声模型及其模型参数等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。

在另一些实施例中，计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、近场通信(NFC)或其他技术实现。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图6和图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一些实施例中，本申请提供的噪声模型标定装置可以实现为一种计算机程序的形式，计算机程序可在如图6所示的计算机设备上运行。计算机设备的存储器中可存储组成该噪声模型标定装置的各个程序模块，比如，图4所示的图像获取模块410、目标图像生成模块420和噪声模型标定模块430。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请任意实施例的噪声模型标定方法中的步骤。

例如，图6所示的计算机设备可以通过如图4所示的噪声模型标定装置中的图像获取模块410执行获取多帧RAW域图像的步骤。计算机设备可通过目标图像生成模块420执行基于多帧RAW域图像进行非线性噪声去噪处理，生成目标图像的步骤。计算机设备可通过噪声模型标定模块430执行基于目标图像对预设RAW域噪声模型进行标定，生成目标RAW域噪声模型的步骤。

在一些实施例中，本申请提供的图像去噪装置可以实现为一种计算机程序的形式，计算机程序可在如图7所示的计算机设备上运行。计算机设备的存储器中可存储组成该图像去噪装置的各个程序模块，比如，图5所示的图像获取模块510和图像去噪模块520。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请任意实施例的图像去噪方法中的步骤。

例如，图7所示的计算机设备可以通过如图5所示的图像去噪装置中的图像获取模块510执行获取待处理的RAW域图像的步骤。计算机设备可通过图像去噪模块520执行基于目标RAW域噪声模型，对待处理图像进行去噪处理，生成去噪后的待处理的RAW域图像的步骤。

在一些实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本申请任意实施例中所说明的噪声模型标定方法的步骤，或者实现本申请任意实施例中所说明的图像去噪方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，比如静态随机存取存储器(Static Random Access Memory，SRAM)和动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种噪声模型标定方法，其特征在于，包括：

获取多帧RAW域图像；

基于所述多帧RAW域图像进行非线性噪声去噪处理，生成目标图像；

基于所述目标图像对预设RAW域噪声模型进行标定，生成目标RAW域噪声模型。

2.根据权利要求1所述的方法，其特征在于，所述基于所述多帧RAW域图像进行非线性噪声去噪处理，生成目标图像包括：

从所述多帧RAW域图像中确定参考图像；

针对每个图像处理块，确定每个其他图像中的所述图像处理块相对于所述参考图像的所述图像处理块的水平偏移量和垂直偏移量；其中，所述其他图像为所述多帧RAW域图像中除了所述参考图像之外的图像；

基于各所述图像处理块的所述水平偏移量和所述垂直偏移量，将各所述其他图像融合至所述参考图像，生成所述目标图像。

3.根据权利要求2所述的方法，其特征在于，所述针对每个图像处理块，确定每个其他图像中的所述图像处理块相对于所述参考图像的所述图像处理块的水平偏移量和垂直偏移量包括：

按照预设采样步幅，对所述多帧RAW域图像中的每帧图像进行设定数量次的下采样处理，得到每帧所述图像对应的多层金字塔图像；

针对每个所述其他图像对应的最顶层图像中的每个所述图像处理块，确定所述其他图像对应的最顶层图像中的所述图像处理块，相对于所述参考图像对应的最顶层图像中的所述图像处理块的第一水平偏移量和第一垂直偏移量；

针对每个所述其他图像对应的剩余层图像中的每个所述图像处理块，基于所述其他图像对应的上一层图像中的所述图像处理块的第二水平偏移量和第二垂直偏移量，确定所述其他图像对应的剩余层图像中的所述图像处理块的初始块中心位置，并基于所述初始块中心位置，确定所述其他图像对应的剩余层图像中的所述图像处理块，相对于所述参考图像对应的剩余层图像中的所述图像处理块的第三水平偏移量和第三垂直偏移量；

其中，若所述上一层图像为所述最顶层图像，则所述第二水平偏移量和所述第二垂直偏移量分别为所述第一水平偏移量和所述第一垂直偏移量；若所述剩余层图像为最底层图像，则所述第三水平偏移量和所述第三垂直偏移量分别为所述水平偏移量和所述垂直偏移量。

4.根据权利要求2所述的方法，其特征在于，所述基于各所述图像处理块的所述水平偏移量和所述垂直偏移量，将各所述其他图像融合至所述参考图像，生成所述目标图像包括：

针对每个所述其他图像，基于每个所述图像处理块的所述水平偏移量和所述垂直偏移量确定对应图像处理块的空域权重值，并基于各所述空域权重值合并各所述图像处理块，生成处理后的其他图像；

基于像素与所述像素所在的图像处理块的块中心之间的距离，确定每个所述处理后的其他图像中的每个像素的像素权重值；

基于各所述像素权重值，将各所述处理后的其他图像与所述参考图像融合，生成所述目标图像。

5.根据权利要求1所述的方法，其特征在于，所述基于所述多帧RAW域图像进行非线性噪声去噪处理，生成目标图像包括：

在所述多帧RAW域图像为多帧对齐的图像的情况下，对所述多帧RAW域图像进行加权平均处理，生成所述目标图像。

6.根据权利要求1所述的方法，其特征在于，所述基于所述目标图像对预设RAW域噪声模型进行模型标定，生成目标RAW域噪声模型包括：

对所述目标图像进行像素值统计，并利用统计结果标定所述预设RAW域噪声模型，生成所述目标RAW域噪声模型。

7.一种图像去噪方法，其特征在于，包括：

获取待处理的RAW域图像；

基于目标RAW域噪声模型，对所述待处理图像进行去噪处理，生成去噪后的待处理的RAW域图像；其中，所述目标RAW域噪声模型通过权利要求1至6中任一项所述的噪声模型标定方法而获得。

8.一种噪声模型标定装置，其特征在于，包括：

图像获取模块，用于获取多帧RAW域图像；

目标图像生成模块，用于基于所述多帧RAW域图像进行非线性噪声去噪处理，生成目标图像；

噪声模型标定模块，用于基于所述目标图像对预设RAW域噪声模型进行标定，生成目标RAW域噪声模型。

9.一种图像去噪装置，其特征在于，包括：

图像获取模块，用于获取待处理的RAW域图像；

图像去噪模块，用于基于目标RAW域噪声模型，对所述待处理图像进行去噪处理，生成去噪后的待处理的RAW域图像；其中，所述目标RAW域噪声模型通过权利要求1至6中任一项所述的噪声模型标定方法而获得。

10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的噪声模型标定方法，或者实现权利要求7所述的图像去噪方法。

Images