CN110290289A - 图像降噪方法、装置、电子设备以及存储介质 - Google Patents

Abstract

本申请提出一种图像降噪方法、装置、电子设备以及存储介质，其中，方法包括：根据拍摄场景，确定曝光参数，采用曝光参数拍摄得到拍摄图像，根据用于拍摄的成像设备的设备属性，确定匹配的降噪模型，将曝光参数和拍摄图像输入降噪模型，以对拍摄图像进行降噪；其中，降噪模型，已学习得到曝光参数与噪声特性之间的映射关系。该方法根据用于拍摄的成像设备的设备属性，确定匹配的降噪模型后，对当前拍摄场景下拍摄得到的拍摄图像进行降噪处理，在保证图像纯净度的同时保留了更多的图像细节。另外，通过与设备属性匹配的降噪模型对拍摄图像进行降噪，能够更好的识别噪声特性，达到降噪的目的，提高了图像的降噪效果，能够得到更加清晰的图像。

Description

图像降噪方法、装置、电子设备以及存储介质

技术领域

本申请涉及成像技术领域，尤其涉及一种图像降噪方法、装置、电子设备以及存储介质。

背景技术

随着科技的发展，依托于科技的摄像头技术已经越来越成熟，在日常生产和生活中，使用智能移动终端(如智能手机、平板电脑等)的内置摄像头进行拍照已经成为一种常态。因此，随着拍照的需求的常态化发展，如何更优的满足用户的拍照需求成为发展的主要方向，比如，满足用户在夜间、日间的多场场景中的清晰拍照需求。

相关技术中，在拍摄图像时，为了达到较好的成像效果，通过采集多帧原始图像，并基于多张原始图像进行合成来提供更多的动态范围和图像细节的拍摄图像。然而，在采集多帧原始图像的过程中不可避免的会引入噪声，导致最终合成的拍摄图像不清晰。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

本申请实施例提出了一种图像降噪方法、装置、电子设备以及存储介质，实现了根据用于拍摄图像的成像设备的设备属性，确定匹配的降噪模型后，以对拍摄图像进行降噪处理，不仅能够更好的识别噪声特性，达到降噪的目的，提高了图像的降噪效果，还可以使得降噪后的拍摄图像在保证图像纯净度的同时保留了更多的图像细节。

本申请第一方面实施例提出了一种图像降噪方法，包括：

根据拍摄场景，确定曝光参数；

采用所述曝光参数拍摄得到拍摄图像；

根据用于拍摄的成像设备的设备属性，确定匹配的降噪模型；

将所述曝光参数和所述拍摄图像输入所述降噪模型，以对所述拍摄图像进行降噪；其中，所述降噪模型，已学习得到所述曝光参数与噪声特性之间的映射关系。

本申请实施例的图像降噪方法，通过根据拍摄场景，确定曝光参数，采用曝光参数拍摄得到拍摄图像，根据用于拍摄的成像设备的设备属性，确定匹配的降噪模型，将曝光参数和拍摄图像输入降噪模型，以对拍摄图像进行降噪；其中，降噪模型，已学习得到曝光参数与噪声特性之间的映射关系。该方法根据用于拍摄的成像设备的设备属性，确定匹配的降噪模型后，对当前拍摄场景下拍摄得到的拍摄图像进行降噪处理，在保证图像纯净度的同时保留了更多的图像细节。另外，本申请中通过与设备属性匹配的降噪模型对拍摄图像进行降噪，能够更好的识别噪声特性，达到降噪的目的，提高了图像的降噪效果，能够得到更加清晰的图像。

本申请第二方面实施例提出了一种图像降噪装置，包括：

确定模块，用于根据拍摄场景，确定曝光参数；

拍摄模块，用于采用所述曝光参数拍摄得到拍摄图像；

匹配模块，用于根据用于拍摄的成像设备的设备属性，确定匹配的降噪模型；

降噪模块，用于将所述曝光参数和所述拍摄图像的特征输入所述降噪模型，以对所述拍摄图像进行降噪。

本申请实施例的图像降噪装置，通过根据拍摄场景，确定曝光参数，采用曝光参数拍摄得到拍摄图像，根据用于拍摄的成像设备的设备属性，确定匹配的降噪模型，将曝光参数和拍摄图像输入降噪模型，以对拍摄图像进行降噪；其中，降噪模型，已学习得到曝光参数与噪声特性之间的映射关系。该方法根据用于拍摄的成像设备的设备属性，确定匹配的降噪模型后，对当前拍摄场景下拍摄得到的拍摄图像进行降噪处理，在保证图像纯净度的同时保留了更多的图像细节。另外，本申请中通过与设备属性匹配的降噪模型对拍摄图像进行降噪，能够更好的识别噪声特性，达到降噪的目的，提高了图像的降噪效果，能够得到更加清晰的图像。

本申请第三方面实施例提出了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如上述实施例中所述的图像降噪方法。

本申请第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例中所述的图像降噪方法。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例提供的第一种图像降噪方法的流程示意图；

图2为本申请实施例提供的第二种图像降噪方法的流程示意图；

图3为本申请实施例提供的第三种图像降噪方法的流程示意图；

图4为本申请实施例提供的一种图像降噪装置的结构示意图；

图5为本申请实施例提供的一种电子设备的结构示意图；

图6为本申请实施例提供的一种电子设备的原理示意图；

图7为本申请实施例提供的一种图像处理电路的原理示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

针对上述背景技术中的采集多帧原始图像的过程中不可避免的会引入噪声，导致最终合成的拍摄图像不清晰的情况，现有技术通过降噪模型对合成后的拍摄图像进行降噪处理。现有技术中，由于不同场景下拍摄得到的图像之间的噪声差异很大，但是，在不同拍摄场景拍摄得到的图像均采用相同降噪模型进行降噪处理，存在降噪效果较差的技术问题。

针对上述技术问题，本申请实施例提出了一种图像降噪方法，通过根据拍摄场景，确定曝光参数，采用曝光参数拍摄得到拍摄图像，根据用于拍摄的成像设备的设备属性，确定匹配的降噪模型，将曝光参数和拍摄图像输入降噪模型，以对拍摄图像进行降噪；其中，降噪模型，已学习得到曝光参数与噪声特性之间的映射关系。

下面参考附图描述本申请实施例的图像降噪方法、装置、电子设备以及存储介质。

图1为本申请实施例提供的一种图像降噪方法的流程示意图。

如图1所示，该图像降噪方法包括以下步骤：

步骤101，根据拍摄场景，确定曝光参数。

其中，曝光参数包括曝光补偿模式、感光度和曝光时长。

本申请实施例中，可以根据拍摄场景的抖动程度，或者，拍摄场景中是否包含人脸，或者，拍摄场景的类型，确定曝光参数。当然，也可以采用拍摄场景的其他信息，或者上述方式的结合，来确定曝光参数，本实施例中对此不做限定。

作为一种可能的实现方式，在确定成像设备的抖动程度后，根据抖动程度，确定采集拍摄图像时预设的感光度和曝光补偿模式，根据拍摄场景的环境亮度信息和感光度，确定采集拍摄图像的曝光时长。进而，根据曝光补偿模式，对曝光时长进行补偿，确定各帧拍摄图像对应的补偿曝光时长。

本申请实施例中，为了确定成像设备的抖动程度，可以根据成像设备中设置的位移传感器，采集位移信息，进而，根据采集到的成像设备的位移信息，确定成像设备的抖动程度。此外，还可以根据连续采集的多帧预览画面中同一对象的位移程度，确定成像设备的抖动程度。移位程度越大，则抖动程度越大；反之，位移程度越小，抖动程度越小。

作为一种示例，可以通过获取电子设备当前的陀螺仪(Gyro-sensor)信息，确定电子设备当前的抖动程度，即成像设备当前的抖动程度。

其中，陀螺仪又叫角速度传感器，可以测量物理量偏转、倾斜时的转动角速度。在电子设备中，陀螺仪可以很好的测量转动、偏转的动作，从而可以精确分析判断出使用者的实际动作。电子设备的陀螺仪信息(gyro信息)可以包括手机在三维空间中三个维度方向上的运动信息，三维空间的三个维度可以分别表示为X轴、Y轴、Z轴三个方向，其中，X轴、Y轴、Z轴为两两垂直关系。

需要说明的是，在本申请实施例一种可能的实现形式中，可以根据电子设备当前的gyro信息，确定成像设备当前的抖动程度。电子设备在三个方向上的gyro运动的绝对值越大，则成像设备的抖动程度越大。可以预设在三个方向上gyro运动的绝对值阈值，并根据获取到的当前在三个方向上的gyro运动的绝对值之和，与预设的阈值的关系，确定成像设备的当前的抖动程度。

作为另一种可能的实现方式，也可以根据拍摄场景中是否包含人脸，来确定曝光补偿模式。再根据抖动程度，确定采集拍摄图像时预设的感光度，根据拍摄场景的环境亮度信息和感光度，确定采集拍摄图像的曝光时长。进而，根据曝光补偿模式，对曝光时长进行补偿，确定各帧拍摄图像对应的补偿曝光时长。

作为又一种可能的实现方式，可以确定当前拍摄场景的类型是否属于夜景场景，以确定曝光参数。

本实施例中，在当前拍摄场景下，利用图像采集模块获取当前场景的预览图像，对预览图像进行图像特征提取，将提取的图像特征输入识别模型，根据识别模型输出的场景类型确定当前拍摄场景是否属于夜景场景，其中，识别模型已学习得到图像特征与场景类型之间的对应关系。

此外，还可以通检测环境亮度，以确定当前拍摄场景是否为夜景场景。作为一种可能的实现方式，可通过电子设备内置的测光模块对当前的环境亮度进行检测，确定当前环境的亮度信息。根据亮度信息，确定当前拍摄场景属于夜景场景，例如，可通过亮度指数Lix_index衡量亮度高低。其中，亮度信息的值越大，代表当前场景亮度越低，将获取的亮度信息和预设的亮度值比对，若获取的亮度信息大于预设亮度值时，确定当前拍摄场景属于夜景场景。进一步，若获取的亮度信息小于预设亮度值，则确定当前拍摄场景属于非夜景场景。在非夜景场景下，可通过设置不同的曝光补偿值，获取较高的动态范围，例如，可以采集3帧图像，曝光补偿值的区间为[-4，+1]。

还可以，通过获取当前拍摄场景的预览图像，以确定当前拍摄场景是否属于夜景场景。由于不同场景下环境亮度值不同，预览图像内容也不相同，可以根据当前拍摄场景预览图像的画面内容以及各区域的环境亮度值，确定当前拍摄场景属于夜景场景后，以确定夜景拍摄场景下的曝光参数。

例如，预览图像的画面内容包括夜晚天空或者夜景灯源等，或者预览图像的各区域中环境亮度值符合夜景环境下图像的亮度分布特性，即可确定当前拍摄场景属于夜景场景。

步骤102，采用曝光参数拍摄得到拍摄图像。

具体地，根据拍摄场景，确定对应的曝光参数后，控制成像设备采用确定的曝光参数进行曝光控制，进而拍摄得到拍摄图像。

步骤103，根据用于拍摄的成像设备的设备属性，确定匹配的降噪模型。

可以理解的是，由于电子设备中的图像传感器在拍摄的过程中会受到不同程度的来自周边电路和本身像素间的光电磁干扰，因此拍摄得到的拍摄图像不可避免的存在噪声，并且，干扰程度的不同，拍摄得到的拍摄图像的清晰度也不相同。因此，采用曝光参数拍摄得到拍摄图像后，需要进一步对拍摄图像进行降噪处理。例如，在夜景拍摄场景中，通常使用较大的光圈和较长的曝光时间拍摄得到拍摄图像，此时如果选择较高的感光度来减少了曝光时间，拍摄得到的图像必然会产生噪声。

可以理解的是，为了获得较佳的人工智能的降噪效果，在选用降噪模型进行降噪时，采用训练样本集对该降噪模型进行训练，以提高降噪模型识别噪声特性的能力。其中，训练样本集中包括具有不同设备属性的成像设备拍摄的样本图。

作为一种可能的实现方式，从训练样本集中，选取相同设备属性的成像设备拍摄的目标样本图，将目标样本图根据拍摄时采用的感光度划分为多组，训练各组感光度对应的降噪模型。

其中，设备属性包括用于拍摄图像的成像设备的摄像头个数和/或焦距信息。并且，焦距信息包括：长焦或混合变焦。

作为一种示例，可以选取成像设备的设备属性为双摄像头，长焦的情况下，拍摄的图像作为目标样本图。

需要说明的是，在目标样本图中已经标注统计特性对降噪模型进行训练，是因为已标注的目标样本图能够清楚的表示出图像的噪声位置和噪声类型，从而将标注的统计特性作为模型训练的特性，将拍摄图像输入降噪模型后，能够识别出图像中的统计特性。

本申请实施例中，噪声特性，可以是由于图像传感器引起的随机噪声的统计特性。这里说的噪声主要包括热噪声和散粒噪声，其中，热噪声符合高斯分布，散粒噪声符合泊松分布，本申请实施例中的统计特性可以指噪声的方差值，当然也可以是其他可能情况的值，在此不做限定。由于基于噪声特性进行降噪，使得不同的噪声特性对应的噪点得到不同的去噪处理，降噪处理后的拍摄图像更加真实可以保留更多的动态信息，相对于传统的使用插值法等统一的降噪方法，可以区分不同的噪点，并对不同的噪点适配不同的降噪处理方式，实现了降噪后的拍摄图像更加生动的效果。

本申请实施例中，采用各组目标样本图对降噪模型进行训练，直至降噪模型识别出的噪声特性与相应目标样本图中标注的噪声特性匹配，完成对各组降噪模型的训练。

同样的道理，对于训练样本集中不同设备属性的成像设备拍摄的样本图，从训练样本集中，选取相同设备属性的成像设备拍摄的目标样本图，将目标样本图根据拍摄时采用的感光度划分为多组，进而训练各组对应的降噪模型。具体地训练过程如上述过程，在此不再赘述。其中，感光度，又称为ISO值，是指衡量底片对于光的灵敏程度的指标。ISO值越低，采集的图像质量越高，图像细节表现越细腻，ISO值越高，光线感应性能越强，也就越能接收更多的光线，从而产生更多的热量，因此，使用相对较高的感光度通常会引入较多的噪声，从而导致图像质量降低。

进一步的，对各组对应的降噪模型进行训练后，对各降噪模型的降噪效果进行评估，以得到各降噪模型的准确度。进而，根据降噪模型的准确度和训练采用的目标样本图的感光度，从各组对应的降噪模型中，确定的与采集拍摄图像相应设备属性匹配的降噪模型，以根据降噪模型对拍摄图像降噪，从而提高图像质量。

作为本申请实施例的一种可能的实现方式，根据降噪模型的准确度和训练采用的目标样本图的感光度，从各组对应的降噪模型中，确定与采集拍摄图像时的成像设备的设备属性匹配的降噪模型时，可以从各组对应的降噪模型中，确定准确度大于阈值的降噪模型，作为候选降噪模型。进而，从候选降噪模型中，选取训练采用的目标样本图感光度最大的候选降噪模型作为与相应设备属性匹配的降噪模型。

作为一种可能的情况，本实施例的降噪模型可以为基于人工智能的降噪模型(AINoise Reduction，AINR)。

步骤104，将曝光参数和拍摄图像输入降噪模型，以对拍摄图像进行降噪。

本申请实施例中，根据用于拍摄的成像设备的设备属性，确定匹配的降噪模型后，将曝光参数和拍摄图像输入降噪模型，以采用降噪模型对拍摄图像进行降噪处理。由于降噪模型是由不同设备属性的成像设备在不同拍摄场景下采集得到的训练样本集训练得到的，因此，将拍摄图像输入匹配的降噪模型进行降噪后，得到降噪后的拍摄图像，能够同时对拍摄图像中的高光区域和暗光区域进行降噪，进而可以得到较佳的降噪效果的拍摄图像。

作为一种可能的实现方式，可以采用降噪模型，对拍摄图像进行噪声特性识别；其中，降噪模型，已学习得到曝光参数与噪声特性之间的映射关系。进而，根据识别出的噪声特性，对拍摄图像降噪，以得到降噪后的拍摄图像。

由于降噪模型已学习得到曝光参数与噪声特性之间的映射关系。因此，可以将拍摄图像输入降噪模型中，以采用降噪模型对拍摄图像进行噪声特性识别，从而识别出拍摄图像的噪声特性，根据识别出的噪声特性，对拍摄图像进行降噪，得到降噪后的拍摄图像，从而达到了降噪的目的，提高了图像的信噪比。

当然，本实施例中的降噪模型仅仅是实现基于人工智能的降噪的一种可能的实现方式，在实际执行过程中，可以通过其他任意可能的方式来实现基于人工智能的降噪，比如，还可以采用传统的编程技术(比如模拟法和工程学方法)实现，又比如，还可以遗传学算法来实现。

本申请实施例的图像降噪方法，通过根据拍摄场景，确定曝光参数，采用曝光参数拍摄得到拍摄图像，根据用于拍摄的成像设备的设备属性，确定匹配的降噪模型，将曝光参数和拍摄图像输入降噪模型，以对拍摄图像进行降噪；其中，降噪模型，已学习得到曝光参数与噪声特性之间的映射关系。该方法根据用于拍摄的成像设备的设备属性，确定匹配的降噪模型后，对当前拍摄场景下拍摄得到的拍摄图像进行降噪处理，在保证图像纯净度的同时保留了更多的图像细节。另外，本申请中通过与设备属性匹配的降噪模型对拍摄图像进行降噪，能够更好的识别噪声特性，达到降噪的目的，提高了图像的降噪效果，能够得到更加清晰的图像。

在图1所述实施例的基础上，在一种坑你的场景下，在上述步骤102中采用曝光参数拍摄得到拍摄图像时，可以采集多帧原始图像，以将多帧原始图像合成得到高动态范围的拍摄图像。以便后续能够对高动态合成得到的拍摄图像中的亮光区域和暗光区域均进行降噪，提高了降噪的有效性，使得降噪得到的图像在降低画面噪声的同时保留图像细节，得到清晰度更好的成像效果。

下面结合图2对上述过程进行详细介绍，图2为本申请实施例提供的第二种图像降噪方法的流程示意图，如图2所示，步骤102具体可以包括以下步骤：

步骤201，根据曝光参数，采集多帧原始图像。

其中，多帧原始图像具有至少两种曝光度。

其中，原始图像，是指通过电子设备的图像传感器采集得到的未做任何处理的RAW图像，其中，RAW图像就是图像传感器将捕捉到的光源信号转化为数字信号的原始图像。RAW图像记录了数码相机传感器采集到的原始信息，同时记录了由相机拍摄所产生的一些元数据，如感光度的设置、快门速度、光圈值、白平衡等。

在图1所述实施例中的步骤101中，根据拍摄场景确定曝光参数后，以采用确定的曝光参数采集多帧原始图像。

在一种可能的场景下，确定当前拍摄场景属于夜景场景后，由于在夜景拍摄时，拍摄场景中光线强度等环境因素的限制，电子设备在拍摄图像时，若采集单帧原始图像无法较好同时顾及到夜景中的灯光等高亮区域，以及夜景中的低亮区域。因此，电子设备可以通过拍摄多帧原始图像，用于图像合成，另外还可以用于选取画面清晰的图像进行合成成像。为了同时顾及到夜景中的灯光等高亮区域，以及夜景中的低亮区域，需要控制电子设备的图像传感器在至少两种曝光度下，采集多帧原始图像。例如：采用低曝光量拍摄以对高亮区清晰成像，采用高曝光量拍摄以对低亮区清晰成像。

步骤202，将多帧原始图像合成得到高动态范围的拍摄图像。

其中，图像合成，即通过相同场景拍摄得到的不同曝光的画面进行合成，以得到高动态范围图像(High-Dynamic Range，简称HDR)的拍摄图像。需要说明的是，相比普通的图像，HDR图像，可以提供更多的动态范围和图像细节，根据不同的曝光时间的低动态范围图像(Low-Dynamic Range，简称LDR)，利用每个曝光时间相对应最佳细节的LDR图像来合成最终HDR图像，能够更好的反映出真实环境中的视觉效果。

具体地，通过提取多帧原始图像中的画面信息，并针对相应的画面信息进行叠加，以得到高动态范围的拍摄图像。

需要说明的是，由于多帧原始图像是在不同曝光度的情况下拍摄得到的，因此，多帧原始图像中包含有不同亮度的画面信息。对于同一景物，不同的原始图像中可能是过曝的，可能是欠曝的，还可能是恰当曝光的。对于这些原始图像进行高动态合成后，尽量使得高动态范围的拍摄图像中各景物恰当曝光，与实际场景也更加相近。

本申请实施例的图像降噪方法，通过根据曝光参数，采集多帧原始图像；多帧原始图像具有至少两种曝光度，将多帧原始图像合成得到高动态范围的拍摄图像。由此，通过在不同曝光度下拍摄得到多帧原始图像合成得到的高动态范围的拍摄图像，不仅最大限度的保留了图像画面信息，并且在高动态合成时，能够使得拍摄图像的各区域均能够实现恰当曝光效果，提高了成像质量。

在图1所述实施例的基础上，在步骤101中根据拍摄场景确定曝光参数时，可以根据拍摄场景的抖动情况和/或所述拍摄场景中是否包含人脸，确定曝光补偿模式，并根据拍摄场景的亮度信息和设定的基准感光度，确定基准曝光时长，进而根据曝光补偿模式，对基准曝光时长进行补偿，确定各帧原始图像对应的补偿曝光时长。下面结合图3对上述过程进行详细介绍，图3为本申请实施例提供的第三种图像降噪方法的流程示意图。

如图3所示，步骤101具体还可以包括以下步骤：

步骤301，根据拍摄场景的抖动情况和/或拍摄场景中是否包含人脸，确定曝光补偿模式。

其中，曝光补偿模式，用于指示原始图像的帧数和各帧原始图像对应的曝光补偿等级。

作为一种可能的实现形式，可以通过当前拍摄场景的成像设备的抖动程度与曝光补偿等级的映射关系，以根据成像设备当前的抖动程度，确定出与当前待采集的图像帧数和多帧待采集图像设定的曝光补偿等级。

需要说明的是，成像设备的抖动程度的确定过程，可以参见上述实施例中步骤101的实现过程，在此不再赘述。

作为另一种可能的实现方式，可以通过人脸识别技术识别拍摄场景中是否包含人脸，以确定曝光补偿模式。

其中，人脸识别技术，是通过分析比较人脸视觉特征信息进行身份鉴别，它属于生物特征识别技术，是对生物体(一般特指人)本身的生物特征来区分生物体个体。

需要说明的是，当检测到拍摄场景中包含人脸时，成像设备的测光模块会自动以人脸区域为主进行测光，并根据人脸区域的测光结果确定基准曝光量。然而，在夜景模式中，人脸区域的光照度通常较低，从而导致确定的基准曝光量，与未包含人脸时确定的基准曝光量相比较高，若在包含人脸时仍然采集过多的过曝帧，则容易导致人脸区域过曝，从而导致目标图像的效果较差。因此，对于相同的抖动程度，拍摄场景中包含人脸与未包含人脸时相比，其对应的曝光补偿模式需要具有较低的曝光补偿范围。

本申请实施例中，通过人脸识别技术确定拍摄场景中包含人脸，确定曝光补偿模式为符合调整后帧数的第一模式。若不包含人脸，确定曝光补偿模式为符合调整后帧数的第二模式。其中，第二模式对应的曝光补偿等级取值范围大于第一模式对应的曝光补偿等级取值范围。

对拍摄场景的成像设备处于相同的抖动程度时，可以根据拍摄场景中是否包含人脸，采用不同的曝光补偿策略。因此，对于相同的抖动程度，可以对应于多个曝光补偿模式。比如，摄像模组的抖动程度为“轻微抖动”，对应的预设的曝光补偿模式有第一模式和第二模式，其中，第一模式对应的各EV值为[0、0、0、0、-2、-4、-6]，第二模式对应的各EV值为[+1、+1、+1、+1、0、-3、-6]。在确定了成像设备当前的抖动程度，以及根据成像设备当前采集的图像中是否包含人脸之后，即可确定出与当前的实际情况相符的预设的曝光补偿模式。

举例来说，假设成像设备当前的抖动程度为“轻微抖动”，对应的预设的曝光补偿模式有第一模式和第二模式，其中，第一模式对应的各EV值为[0、0、0、0、-2、-4、-6]，第二模式对应的各EV值为[+1、+1、+1、+1、0、-3、-6]，可见，第一模式的曝光补偿范围小于第二模式的曝光补偿范围。若检测到拍摄图像中包含人脸，则确定预设的曝光补偿模式为符合调整后帧数的第一模式，即各EV值为[0、0、0、0、-2、-4、-6]；若检测到拍摄场景中未包含人脸，则确定预设的曝光补偿模式为符合调整后帧数的第二模式，即各EV值为[+1、+1、+1、+1、0、-3、-6]。

作为又一种可能的实现方式，还可以首先确定成像设备的防抖性能，以结合成像设备的抖动程度和防抖性能，调整曝光补偿等级。

需要说明的是，成像设备的防抖性能与成像设备中各元器件的属性信息有一定的关系，因此可以根据成像设备中各元器件的属性信息以确定成像设备的防抖性能，以结合成像设备的抖动程度和防抖性能，调整曝光补偿等级。

步骤302，根据拍摄场景的亮度信息和设定的基准感光度，确定基准曝光时长。

其中，曝光时长，是指光线通过镜头的时间。

本申请实施例中，拍摄场景的亮度信息，可以利用成像设备中的测光模块测光得到，也可以是通过预览图像中的亮度信息获取到的，在此不做限定。该亮度信息通常以拍摄场景的光照度作为亮度衡量指标，本领域技术人员可以知晓，还可以采用其他指标进行亮度衡量，均在本实施例的范围之内。

可以理解的是，采集图像的感光度会影响到整体的拍摄时长，拍摄时长过长，可能会导致手持拍摄时成像设备的抖动程度加剧，从而影响图像质量。因此，可以根据成像设备当前的抖动程度，调整各帧待采集图像对应的基准感光度，以使得拍摄时长控制在合适的范围内。

若成像设备当前的抖动程度较小，则可以将每帧待采集图像对应的基准感光度可以适当压缩为较小的值，以有效抑制每帧图像的噪声、提高拍摄图像的质量；若成像设备当前的抖动程度较大，则可以将每帧待采集图像对应的基准感光度可以适当提高为较大的值，以缩短拍摄时长。

举例来说，若确定成像设备当前的抖动程度为“无抖动”，则可以将基准感光度确定为较小的值，以尽量获得更高质量的图像，比如确定基准感光度为100；若确定成像设备当前的抖动程度为“轻微抖动”，则可以将基准感光度确定为较大的值，以降低拍摄时长，比如确定基准感光度为200；若确定成像设备当前的抖动程度为“小抖动”，则可以进一步增大基准感光度，以降低拍摄时长，比如确定基准感光度为220；若确定成像设备当前的抖动程度为“大抖动”，则可以确定当前的抖动程度过大，此时可以进一步增大基准感光度，以降低拍摄时长，比如确定基准感光度为250。

需要说明的是，上述举例仅为示例性的，不能视为对本申请的限制。实际使用时，当成像设备的抖动程度变化时，可以通过调整基准感光度，以获得最优的方案。其中，成像设备的抖动程度与每帧待采集图像对应的基准感光度的映射关系，可以根据实际需要预设。

需要说明的是，根据成像设备的抖动程度，调整与抖动程度相应的基准感光度时，如果当前基准感光度与抖动程度刚好相适应，则调整的结果是基准感光度保持不变。此种情形也属于本申请实施例中“调整”的范畴。

此外，在一种可能的应用场景下，成像设备的摄像模组是由多个镜头构成的，从而不同的镜头在同一拍摄环境下也可以对应不同的感光度，本步骤中调整的基准感光度应当是针对多个镜头中的一个镜头执行的拍摄过程来说，在这个拍摄过程中，采集多帧图像均采用同一基准感光度。

此外，本申请实施例中，不限于仅根据成像设备的抖动程度调整基准感光度，还可以根据抖动程度以及拍摄场景的亮度信息等多个参数综合确定基准感光度，在此不做限定。

具体地，利用自动曝光控制(Auto Exposure Control，简称AEC)算法，确定当前亮度信息对应的曝光量，进而，根据拍摄场景的亮度信息和设定的基准感光度这两方面信息，确定多帧待采集图像中每一帧待采集图像的基准曝光时长。

需要说明的是，曝光量与光圈、曝光时长和感光度有关。其中，光圈也就是通光口径，决定单位时间内光线通过的数量。当每一帧待采集图像对应的基准感光度相同，并且光圈大小相同时，当前拍摄场景的光照度对应的曝光量越大，每一帧待采集图像对应的曝光时长越大。

步骤303，根据曝光补偿模式，对基准曝光时长进行补偿，确定各帧原始图像对应的补偿曝光时长。

本申请实施例中，成像设备采集多帧原始图像采用的曝光方式不同时，确定出的各帧待采集的图像预设的曝光补偿时长也不相同。在这种情况下，可以预设成像设备的抖动程度与曝光补偿时长之间的映射关系，以根据成像设备的抖动程度，确定出当前各帧待采集的图像预设的曝光补偿模式，根据曝光补偿模式，对基准曝光时长进行补偿，确定各帧原始图像对应的补偿曝光时长。

作为另一种可能的实现形式，检测成像设备的预览画面是否包含人脸，预览画面中包含人脸与不包含人脸时，适用当前拍摄场景的夜景模式不相同，由此确定的当前拍摄场景的曝光补偿模式也不相同。进而，可以根据曝光补偿模式，对基准曝光时长进行补偿，确定各帧原始图像对应的补偿曝光时长。

作为又一种可能的实现方式，对于相同的抖动程度，可以根据预览画面中是否包含人脸，确定各帧待采集图像采用不同的曝光补偿时长。因此，对于相同的抖动程度，可以对应于多个曝光补偿时长。比如，成像设备的抖动程度为“轻微抖动”，各帧待采集图像预设的曝光补偿时长有包含人脸和不含人脸两种情况。

在夜景模式中，当待采集图像中包含人脸时，人脸区域的光照强度通常较低，从而导致确定的基准曝光量，与未包含人脸时确定的基准曝光量相比较高，若在包含人脸时仍然采集过多的过曝帧，则容易导致人脸区域过曝，从而导致采集图像的成像效果较差，其对应的曝光补偿模式需要具有较低的曝光补偿范围。因此，对于相同的抖动程度，预览画面中包含人脸与未包含人脸时相比，在确定了成像设备当前的抖动程度，以及预览画面是否包含人脸之后，即可确定出与当前的实际情况相符的预设的曝光补偿时长。

本申请实施例中，在确定各帧原始图像的基准感光度和对应的补偿曝光时长后，控制成像设备根据各帧原始图像的基准感光度和对应的补偿曝光时长采集图像，在此不做具体赘述。

需要说明的是，在采集多帧图像时，基于同一基准感光度进行图像采集，不仅有助于减少多帧图像的噪点，还避免了由于感光度增大导致采集的多帧图像噪声增加的技术问题。

本实施例的图像降噪方法，通过根据拍摄场景的抖动情况和/或拍摄场景中是否包含人脸，确定对应的曝光补偿模式，根据拍摄场景的亮度信息和设定的基准感光度，确定基准曝光时长，根据曝光补偿模式，对基准曝光时长进行补偿，确定各帧原始图像对应的补偿曝光时长。进而，根据基准感光度和各帧原始图像对应的补偿曝光时长进行图像采集，由此，不仅提升了夜景拍摄图像的动态范围和整体亮度，有效抑制了图像中的噪声，而且抑制了手持抖动导致的鬼影，提高了夜景拍摄图像的质量，改善了用户体验。

为了实现上述实施例，本申请还提出一种图像降噪装置。

图4为本申请实施例提供的一种图像降噪装置的结构示意图。

如图4所示，该图像降噪装置100包括：确定模块110、拍摄模块120、匹配模块130以及降噪模块140。

确定模块110，用于根据拍摄场景，确定曝光参数。

拍摄模块120，用于采用曝光参数拍摄得到拍摄图像。

匹配模块130，用于根据用于拍摄的成像设备的设备属性，确定匹配的降噪模型。

降噪模块140，用于将曝光参数和拍摄图像的特征输入降噪模型，以对所述拍摄图像进行降噪。

作为一种可能的实现方式，降噪模型，是通过获取训练样本集，训练样本集中包括具有不同设备属性的成像设备拍摄的样本图。

图像降噪装置100，还可以包括：

选取模块，用于从训练样本集中，选取相同设备属性的成像设备拍摄的目标样本图。

训练模块，用于将目标样本图根据拍摄时采用的感光度划分为多组，训练各组对应的降噪模型。

选定模块，用于根据降噪模型的准确度和训练采用的目标样本图的感光度，从各组对应的降噪模型中，选定的与相应设备属性匹配的降噪模型。

作为另一种可能的实现方式，选定模块，还可以用于：

从各组对应的降噪模型中，确定准确度大于阈值的候选降噪模型；

将训练采用的目标样本图感光度最大的候选降噪模型作为所述与相应设备属性匹配的降噪模型。

作为另一种可能的实现方式，训练模块，还可以用于采用各组目标样本图训练降噪模型，直至经过训练的降噪模型识别出的噪声特性与相应样本图中标注的噪声特性匹配时，训练完成。

作为另一种可能的实现方式，设备属性包括摄像头个数和/或焦距信息。

作为另一种可能的实现方式，焦距信息包括：长焦或混合变焦。

作为另一种可能的实现方式，拍摄模块120，包括：

采集单元，用于根据曝光参数，采集多帧原始图像；多帧原始图像具有至少两种曝光度。

合成单元，用于将多帧原始图像合成得到高动态范围的拍摄图像。

作为另一种可能的实现方式，确定模块110，具体用于：

根据拍摄场景的抖动情况和/或拍摄场景中是否包含人脸，确定曝光补偿模式；其中，曝光补偿模式，用于指示原始图像的帧数和各帧原始图像对应的曝光补偿等级；

根据拍摄场景的亮度信息和设定的基准感光度，确定基准曝光时长；

根据曝光补偿模式，对基准曝光时长进行补偿，确定各帧原始图像对应的补偿曝光时长。

作为另一种可能的实现方式，采集单元，还可以用于：

根据所述基准感光度和各帧原始图像对应的补偿曝光时长采集相应原始图像。

需要说明的是，前述对图像降噪方法实施例的解释说明也适用于该实施例的图像降噪装置，此处不再赘述。

本申请实施例的图像降噪方法，通过根据拍摄场景，确定曝光参数，采用曝光参数拍摄得到拍摄图像，根据用于拍摄的成像设备的设备属性，确定匹配的降噪模型，将曝光参数和拍摄图像输入降噪模型，以对拍摄图像进行降噪；其中，降噪模型，已学习得到曝光参数与噪声特性之间的映射关系。该方法根据用于拍摄的成像设备的设备属性，确定匹配的降噪模型后，对当前拍摄场景下拍摄得到的拍摄图像进行降噪处理，在保证图像纯净度的同时保留了更多的图像细节。另外，本申请中通过与设备属性匹配的降噪模型对拍摄图像进行降噪，能够更好的识别噪声特性，达到降噪的目的，提高了图像的降噪效果，能够得到更加清晰的图像。

为了实现上述实施例，本申请还提出一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如上述实施例中所述的图像降噪方法。

作为一种示例，本申请还提出一种电子设备200，参见图5，包括：图像传感器210、处理器220、存储器230及存储在存储器230上并可在处理器220上运行的计算机程序，所述图像传感器210与所述处理器220电连接，所述处理器220执行所述程序时，实现如上述实施例中所述的图像降噪方法。

作为一种可能的情况，处理器220可以包括：图像信号处理(Image SignalProcessor，简称ISP)处理器、与ISP处理器连接的图形处理器(Graphics ProcessingUnit，简称GPU)。

作为一种示例，请参阅图6，在图5所述电子设备的基础上，图6中为本申请实施例提供的一种电子设备的原理示例图。电子设备200的存储器230包括非易失性存储器80、内存储器82和处理器220。存储器230中存储有计算机可读指令。计算机可读指令被存储器执行时，使得处理器230执行上述任一实施方式的图像降噪方法。

如图6所示，该电子设备200包括通过系统总线81连接的处理器220、非易失性存储器80、内存储器82、显示屏83和输入装置84。其中，电子设备200的非易失性存储器80存储有操作系统和计算机可读指令。该计算机可读指令可被处理器220执行，以实现本申请实施方式的图像降噪方法。该处理器220用于提供计算和控制能力，支撑整个电子设备200的运行。电子设备200的内存储器82为非易失性存储器80中的计算机可读指令的运行提供环境。电子设备200的显示屏83可以是液晶显示屏或者电子墨水显示屏等，输入装置84可以是显示屏83上覆盖的触摸层，也可以是电子设备200外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。该电子设备200可以是手机、平板电脑、笔记本电脑、个人数字助理或穿戴式设备(例如智能手环、智能手表、智能头盔、智能眼镜)等。本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的示意图，并不构成对本申请方案所应用于其上的电子设备200的限定，具体的电子设备200可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

为了实现上述实施例，本申请还提出一种图像处理电路，请参阅图7，图7为本申请实施例提供的一种图像处理电路的原理示意图，如图7所示，图像处理电路90包括图像信号处理ISP处理器91(ISP处理器91作为处理器220)和图形处理器GPU。

摄像头93捕捉的图像数据首先由ISP处理器91处理，ISP处理器91对图像数据进行分析以捕捉可用于确定摄像头93的一个或多个控制参数的图像统计信息。摄像模组310可包括一个或多个透镜932和图像传感器934。图像传感器934可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器934可获取每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器91处理的一组原始图像数据。传感器94(如陀螺仪)可基于传感器94接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器91。传感器94接口可以为SMIA(StandardMobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外，图像传感器934也可将原始图像数据发送给传感器94，传感器94可基于传感器94接口类型把原始图像数据提供给ISP处理器91，或者传感器94将原始图像数据存储到图像存储器95中。

ISP处理器91按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器91可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器91还可从图像存储器95接收图像数据。例如，传感器94接口将原始图像数据发送给图像存储器95，图像存储器95中的原始图像数据再提供给ISP处理器91以供处理。图像存储器95可为存储器330、存储器330的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器934接口或来自传感器94接口或来自图像存储器95的原始图像数据时，ISP处理器91可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器95，以便在被显示之前进行另外的处理。ISP处理器91从图像存储器95接收处理数据，并对处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器91处理后的图像数据可输出给显示器97(显示器97可包括显示屏83)，以供用户观看和/或由图形引擎或GPU进一步处理。此外，ISP处理器91的输出还可发送给图像存储器95，且显示器97可从图像存储器95读取图像数据。在一个实施例中，图像存储器95可被配置为实现一个或多个帧缓冲器。此外，ISP处理器91的输出可发送给编码器/解码器96，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器97设备上之前解压缩。编码器/解码器96可由CPU或GPU或协处理器实现。

ISP处理器91确定的统计数据可发送给控制逻辑器92单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜932阴影校正等图像传感器934统计信息。控制逻辑器92可包括执行一个或多个例程(如固件)的处理元件和/或微控制器，一个或多个例程可根据接收的统计数据，确定摄像头93的控制参数及ISP处理器91的控制参数。例如，摄像头93的控制参数可包括传感器94控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜932控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜932阴影校正参数。

为了实现上述实施例，本申请还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例中所述的图像降噪方法。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种图像降噪方法，其特征在于，所述方法包括以下步骤：

根据拍摄场景，确定曝光参数；

采用所述曝光参数拍摄得到拍摄图像；

根据用于拍摄的成像设备的设备属性，确定匹配的降噪模型；

将所述曝光参数和所述拍摄图像输入所述降噪模型，以对所述拍摄图像进行降噪；其中，所述降噪模型，已学习得到所述曝光参数与噪声特性之间的映射关系。

2.根据权利要求1所述的图像降噪方法，其特征在于，所述降噪模型，是通过获取训练样本集，所述训练样本集中包括具有不同设备属性的成像设备拍摄的样本图；从所述训练样本集中，选取相同设备属性的成像设备拍摄的目标样本图；将所述目标样本图根据拍摄时采用的感光度划分为多组，训练各组对应的降噪模型；根据降噪模型的准确度和训练采用的目标样本图的感光度，从各组对应的降噪模型中，选定的与相应设备属性匹配的降噪模型。

3.根据权利要求2所述的图像降噪方法，其特征在于，所述根据降噪模型的准确度和训练采用的目标样本图的感光度，从各组对应的降噪模型中，选定与相应设备属性匹配的降噪模型，包括：

从各组对应的降噪模型中，确定准确度大于阈值的候选降噪模型；

将训练采用的目标样本图感光度最大的候选降噪模型作为所述与相应设备属性匹配的降噪模型。

4.根据权利要求2所述的图像降噪方法，其特征在于，所述训练各组对应的降噪模型，包括：

采用各组目标样本图训练降噪模型，直至经过训练的降噪模型识别出的噪声特性与相应样本图中标注的噪声特性匹配时，训练完成。

5.根据权利要求1-4任一项所述的图像降噪方法，其特征在于，所述设备属性包括摄像头个数和/或焦距信息。

6.根据权利要求5所述的图像降噪方法，其特征在于，所述焦距信息包括：长焦或混合变焦。

7.根据权利要求1-4任一项所述的图像降噪方法，其特征在于，所述采用所述曝光参数拍摄得到拍摄图像，包括：

根据所述曝光参数，采集多帧原始图像；所述多帧原始图像具有至少两种曝光度；

将所述多帧原始图像合成得到高动态范围的所述拍摄图像。

8.根据权利要求7所述的图像降噪方法，其特征在于，所述根据拍摄场景，确定曝光参数包括：

根据拍摄场景的抖动情况和/或所述拍摄场景中是否包含人脸，确定曝光补偿模式；其中，所述曝光补偿模式，用于指示原始图像的帧数和各帧原始图像对应的曝光补偿等级；

根据拍摄场景的亮度信息和设定的基准感光度，确定基准曝光时长；

根据所述曝光补偿模式，对所述基准曝光时长进行补偿，确定各帧原始图像对应的补偿曝光时长。

9.根据权利要求8所述的图像降噪方法，其特征在于，所述根据所述曝光参数，采集多帧原始图像，包括：

根据所述基准感光度和各帧原始图像对应的补偿曝光时长采集相应原始图像。

10.一种图像降噪装置，其特征在于，所述装置包括：

确定模块，用于根据拍摄场景，确定曝光参数；

拍摄模块，用于采用所述曝光参数拍摄得到拍摄图像；

匹配模块，用于根据用于拍摄的成像设备的设备属性，确定匹配的降噪模型；

降噪模块，用于将所述曝光参数和所述拍摄图像的特征输入所述降噪模型，以对所述拍摄图像进行降噪。

11.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-9中任一所述的图像降噪方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一所述的图像降噪方法。