CN110166709A - 夜景图像处理方法、装置、电子设备以及存储介质 - Google Patents

Abstract

本申请提出一种夜景图像处理方法、装置、电子设备以及存储介质，其中，方法包括：通过采集多帧原始图像，根据至少两帧第一图像，生成用于多帧降噪以得到合成降噪图像的第一任务，根据至少两帧第一图像中选取的目标图像以及至少一帧第二图像，生成用于确定高动态合成权重信息的第二任务，并行执行第一任务和执行第二任务，根据第二任务确定的高动态合成权重信息，合成至少一帧第二图像和合成降噪图像，以得到高动态范围图像。由此，通过并行执行第一任务和执行第二任务，使得合成降噪图像与生成高动态合成权重信息并行处理，从而缩短了图像处理的时间，提高了夜景图像处理速度，并提高了夜景成像速度，改善了用户的拍照体验。

Description

夜景图像处理方法、装置、电子设备以及存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种夜景图像处理方法、装置、电子设备以及存储介质。

背景技术

随着智能终端技术的发展，移动终端设备(如智能手机、平板电脑等)的使用越来越普及。绝大多数移动终端设备都内置有摄像头，并且随着移动终端处理能力的增强以及摄像头技术的发展，内置摄像头的性能越来越强大，拍摄图像的质量也越来越高。如今，移动终端设备均操作简单又便于携带，在日常生活中越来越多的用户使用智能手机、平板电脑等移动终端设备拍照。

智能移动终端在给人们的日常拍照带来便捷的同时，人们对拍摄的图像质量的要求也越来越高，尤其在夜景这一特殊场景中，图像质量较低。

目前，在夜景拍摄时，通常采集多帧原始图像进行合成，以得到成像质量高的图像。但是，多帧图像处理过程较为复杂，处理耗时较长，导致用户在夜景模式下拍照，成像速度较慢的技术问题。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

本申请提出一种夜景图像处理方法、装置、电子设备以及存储介质，以实现通过并行执行第一任务和执行第二任务，使得合成降噪图像与生成高动态合成权重信息并行处理，提高了夜景图像处理速度，从而提高了夜景成像速度，改善了用户的拍照体验。

本申请第一方面实施例提出了一种夜景图像处理方法，包括：

采集多帧原始图像；其中，所述多帧原始图像中包括至少两帧相同曝光量的第一图像，以及包括曝光量低于所述第一图像的至少一帧第二图像；

根据所述至少两帧第一图像，生成用于多帧降噪以得到合成降噪图像的第一任务；

根据所述至少两帧第一图像中选取的目标图像以及所述至少一帧第二图像，生成用于确定高动态合成权重信息的第二任务；

并行执行所述第一任务和执行所述第二任务；

根据所述第二任务确定的所述高动态合成权重信息，合成所述至少一帧第二图像和所述合成降噪图像，以得到高动态范围图像。

本申请实施例的夜景图像处理方法，通过采集多帧原始图像；其中，多帧原始图像中包括至少两帧相同曝光量的第一图像，以及包括曝光量低于第一图像的至少一帧第二图像，根据至少两帧第一图像，生成用于多帧降噪以得到合成降噪图像的第一任务，根据至少两帧第一图像中选取的目标图像以及至少一帧第二图像，生成用于确定高动态合成权重信息的第二任务，并行执行第一任务和执行第二任务，根据第二任务确定的高动态合成权重信息，合成至少一帧第二图像和合成降噪图像，以得到高动态范围图像。由此，通过并行执行第一任务和执行第二任务，使得合成降噪图像与生成高动态合成权重信息并行处理，从而缩短了图像处理的时间，提高了夜景图像处理速度，并提高了夜景成像速度，改善了用户的拍照体验。

本申请第二方面实施例提出了一种夜景图像处理装置，包括：

采集模块，用于采集多帧原始图像；其中，所述多帧原始图像中包括至少两帧相同曝光量的第一图像，以及包括曝光量低于所述第一图像的至少一帧第二图像；

第一生成模块，用于根据所述至少两帧第一图像，生成用于多帧降噪以得到合成降噪图像的第一任务；

第二生成模块，用于根据所述至少两帧第一图像中选取的目标图像以及所述至少一帧第二图像，生成用于确定高动态合成权重信息的第二任务；

执行模块，用于并行执行所述第一任务和执行所述第二任务；

合成模块，用于根据所述第二任务确定的所述高动态合成权重信息，合成所述至少一帧第二图像和所述合成降噪图像，以得到高动态范围图像。

本申请实施例的夜景图像处理装置，通过采集多帧原始图像；其中，多帧原始图像中包括至少两帧相同曝光量的第一图像，以及包括曝光量低于第一图像的至少一帧第二图像，根据至少两帧第一图像，生成用于多帧降噪以得到合成降噪图像的第一任务，根据至少两帧第一图像中选取的目标图像以及至少一帧第二图像，生成用于确定高动态合成权重信息的第二任务，并行执行第一任务和执行第二任务，根据第二任务确定的高动态合成权重信息，合成至少一帧第二图像和合成降噪图像，以得到高动态范围图像。由此，通过电子设备中不同的处理器并行执行第一任务和执行第二任务，使得合成降噪图像与生成高动态合成权重信息并行处理，从而缩短了图像处理的时间，提高了夜景图像处理速度，并提高了夜景成像速度，改善了用户的拍照体验。

本申请第三方面实施例提出了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如上述实施例中所述的夜景图像处理方法。

本申请第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例中所述的夜景图像处理方法。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例提供的第一种夜景图像处理方法的流程示意图；

图2为本申请实施例提供的第二种夜景图像处理方法的流程示意图；

图3为本申请实施例提供的第三种夜景图像处理方法的流程示意图；

图4为本申请实施例提供的第四种夜景图像处理方法的流程示意图；

图5为本申请实施例提供的第五种夜景图像处理方法的流程示意图；

图6为本申请实施例提供的一种夜景图像处理方法示例图；

图7为本申请实施例提供的一种夜景图像处理装置的结构示意图；

图8为本申请实施例提供的一种电子设备的结构示意图；

图9为本申请实施例提供的一种电子设备的原理示意图；

图10为本申请实施例提供的一种图像处理电路的原理示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

现有技术中，在夜景拍摄时，为了提高成像质量，通常采集多帧图像对齐后进行降噪。但是，多帧图像处理过程较为复杂，涉及到多帧对齐、运动检测、时空域降噪、高动态范围合成、色调映射等多个环节，处理耗时较长，导致在夜景模式下拍照，往往需要手持稳定4秒钟以上才能出图，体验不够友好。

针对上述现有技术中的问题，本申请实施例提出了一种夜景图像处理方法，通过采集多帧原始图像；其中，多帧原始图像中包括至少两帧相同曝光量的第一图像，以及包括曝光量低于第一图像的至少一帧第二图像，根据至少两帧第一图像，生成用于多帧降噪以得到合成降噪图像的第一任务，根据至少两帧第一图像中选取的目标图像以及至少一帧第二图像，生成用于确定高动态合成权重信息的第二任务，并行执行第一任务和执行第二任务，根据第二任务确定的高动态合成权重信息，合成至少一帧第二图像和合成降噪图像，以得到高动态范围图像。

下面参考附图描述本申请实施例的夜景图像处理方法、装置、电子设备以及存储介质。

图1为本申请实施例提供的第一种夜景图像处理方法的流程示意图。

本申请实施例的夜景图像处理方法，应用于电子设备，该电子设备可以为手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、成像设备的硬件设备。

如图1所示，该夜景图像处理方法包括以下步骤：

步骤101，采集多帧原始图像。

本申请实施例中，原始图像，是指通过电子设备的图像传感器采集得到的未做任何处理的RAW图像，其中，RAW图像就是图像传感器将捕捉到的光源信号转化为数字信号的原始图像。RAW图像记录了数码相机传感器采集到的原始信息，同时记录了由相机拍摄所产生的一些元数据，如感光度的设置、快门速度、光圈值、白平衡等。

可以通过获取当前拍摄场景的预览图像，以确定当前拍摄场景是否属于夜景场景。由于不同场景下环境亮度值不同，预览图像内容也不相同，可以根据当前拍摄场景预览图像的画面内容以及各区域的环境亮度值，确定当前拍摄场景属于夜景场景后，启动夜景拍摄模式，在不同曝光下采集多帧原始图像。

例如，预览图像的画面内容包括夜晚天空或者夜景灯源等，或者预览图像的各区域中环境亮度值符合夜景环境下图像的亮度分布特性，即可确定当前拍摄场景属于夜景场景。

由于在夜景拍摄时，拍摄场景中光线强度等环境因素的限制，电子设备在拍摄图像时，若采集单帧原始图像无法较好同时顾及到夜景中的灯光等高亮区域，以及夜景中的低亮区域。因此，电子设备可以通过拍摄多帧原始图像，用于图像合成，另外还可以用于选取画面清晰的图像进行合成成像。为了同时顾及到夜景中的灯光等高亮区域，以及夜景中的低亮区域，需要控制电子设备的图像传感器在不同曝光量下，拍摄得到的多帧原始图像。例如：采用低曝光量拍摄以对高亮区清晰成像，采用高曝光量拍摄以对低亮区清晰成像。

作为一种可能的场景，采集得到的多帧原始图像，包括至少两帧相同曝光量的第一图像，以及包括曝光量低于所述第一图像的至少一帧第二图像。

步骤102，根据至少两帧第一图像，生成用于多帧降噪以得到合成降噪图像的第一任务。

其中，多帧降噪就是在夜景或者暗光环境下，通过图像传感器采集多帧图像，在不同的帧数下找到不同的带有噪点性质的像素点，通过加权合成后得到一张较为干净、纯净的夜景或者暗光照片。

本申请实施例中，为了降低夜景图像中的噪点，可以根据至少两帧第一图像，生成用于多帧降噪以得到合成降噪图像的第一任务，进而通过电子设备的处理器执行第一任务，对至少两帧第一图像进行多帧降噪得到合成降噪图像。

步骤103，根据至少两帧第一图像中选取的目标图像以及至少一帧第二图像，生成用于确定高动态合成权重信息的第二任务。

本申请实施例中，可以根据图像的清晰度判断至少两帧第一图像的清晰度，进而对至少两帧第一图像进行筛选，选取清晰度最高的图像作为目标图像。进而，根据目标图像以及至少一帧第二图像，生成用于确定高动态合成权重信息的第二任务。

步骤104，并行执行第一任务和执行第二任务。

本申请实施例中，在夜景拍摄过程中，根据至少两帧第一图像，生成用于多帧降噪以得到合成降噪图像的第一任务，以及根据至少两帧第一图像中选取的目标图像以及至少一帧第二图像，生成用于确定高动态合成权重信息的第二任务。可以将第一任务和第二任务分配至电子设备的中央处理器(Central Processing Unit/Processor，简称CPU)，图形处理器(Graphics Processing Unit，简称GPU)以及数字信号处理器(Digital SignalProcessing,简称DSP)中的不同处理器并行执行，以提高夜景图像处理速度。

举例来说，可以将第一任务分配至电子设备的CPU，通过CPU执行第一任务，以实现根据至少两帧第一图像，进行多帧降噪以得到合成降噪图像的目的。具体地，电子设备通过图像传感器在拍摄夜景或者暗光环境的时候，采集至少两帧第一图像，对至少两帧图像中多个帧数的噪点数量和位置进行计算和筛选，将有噪点的地方用没有噪点的帧数替换位置，经过反复加权、替换，就得到一张很干净的合成降噪图像。由此，通过CPU执行第一任务，能够将图像中暗部细节处理的非常柔和，实现了降低噪声的同时更多的保留图像细节。

同时，可以将第二任务分配至电子设备的DSP，通过DSP执行第二任务，以实现根据至少两帧第一图像中选取的目标图像以及至少一帧第二图像，确定高动态合成权重信息。

具体地，对至少一帧第二图像和目标图像进行高动态合成，以确定在合成得到的图像中不同区域，至少一帧第二图像和目标图像所占的权重。由于目标图像为至少两帧第一图像中清晰度最高的图像，最大限度的保留了图像的信息，因此，可以将目标图像的权重作为合成降噪图像的权重。进而，根据合成降噪图像的权重，以及至少一帧第二图像的权重，生成高动态合成权重信息。

步骤105，根据第二任务确定的高动态合成权重信息，合成至少一帧第二图像和合成降噪图像，以得到高动态范围图像。

本申请实施例中，根据第二任务确定的高动态合成权重信息，合成至少一帧第二图像和合成降噪图像，以得到高动态范围图像。例如：合成降噪图像若是采用若干帧EV0的原始图像多帧降噪得到的，该高动态范围图像对于高亮区域可能存在过曝，对于中低亮度区域可能是恰当曝光，而该至少一帧第二图像的EV值通常为负，从而该第二图像中对于高亮区域可能是恰当曝光，中低亮度区域可能是欠曝光。通过将不同图像中对应同一区域的部分依权重信息进行合成，能够使得图像能够在各区域均能够实现恰当曝光，提高成像质量。

需要说明的是，由于合成降噪图像中已经有效地降低了图像的噪声，最大限度的保留图像的信息，因此，在与至少一帧第二图像进行高动态合成后，得到的高动态范围图像中包含有更多的画面信息，与实际场景也更加相近。

本申请实施例的夜景图像处理方法，通过采集多帧原始图像；其中，多帧原始图像中包括至少两帧相同曝光量的第一图像，以及包括曝光量低于第一图像的至少一帧第二图像，根据至少两帧第一图像，生成用于多帧降噪以得到合成降噪图像的第一任务，根据至少两帧第一图像中选取的目标图像以及至少一帧第二图像，生成用于确定高动态合成权重信息的第二任务，并行执行第一任务和执行第二任务，根据第二任务确定的高动态合成权重信息，合成至少一帧第二图像和合成降噪图像，以得到高动态范围图像。由此，通过并行执行第一任务和执行第二任务，使得合成降噪图像与生成高动态合成权重信息并行处理，从而缩短了图像处理的时间，提高了夜景图像处理速度，并提高了夜景成像速度，改善了用户的拍照体验。

在图1所述实施例的基础上，作为一种可能的实现方式，在步骤101中采集多帧原始图像时，可以在基准感光度下，采用不同的曝光时长分别采集第一图像和第二图像。下面结合图2对上述过程进行详细介绍，图2为本申请实施例提供的第二种夜景图像处理方法的流程示意图。如图2所示，步骤101还可以包括：

步骤201，根据拍摄场景的亮度，确定基准曝光量。

其中，曝光量，是指电子设备中的感光器件在曝光时长内接受到光的多少，曝光量与光圈、曝光时长和感光度有关。其中，光圈也就是通光口径，决定单位时间内光线通过的数量；曝光时长，是指光线通过镜头的时间；感光度，又称为ISO值，是衡量底片对于光的灵敏程度的指标，用于表示感光元件的感光速度，ISO数值越高就说明该感光元器件的感光能力越强。

具体地，通过图像传感器获取当前拍摄场景的预览图像，进一步的通过感光器件测量得到预览图像各区域的环境光亮度，进而根据预览图像的亮度信息，确定基准曝光量。其中，在光圈固定的情况下，基准曝光量具体可以包括基准曝光时长和基准感光度。

本申请实施例中，基准曝光量，是指通过对预览图像进行测光获取的当前拍摄场景的亮度信息后，确定的与当前环境的亮度信息相适应的曝光量，基准曝光量的取值可以是基准感光度与基准曝光时长之间的乘积。

步骤202，根据基准曝光量和设定的基准感光度，确定基准曝光时长。

本申请实施例中，基准感光度，可以是根据预览图像的画面抖动程度，设定与当前的抖动程度相适应的感光度；也可以是根据采集预览图像的图像传感器当前的抖动程度，设定与当前的抖动程度相适应的基准感光度，在此不做限定。其中，基准感光度的取值范围可以为100ISO至200ISO。

举例来说，若确定采集预览图像的图像传感器的抖动程度为“无抖动”，则可以将基准感光度确定为较小的值，以尽量获得更高质量的图像，比如确定基准感光度为100ISO；若确定采集预览图像的图像传感器的抖动程度为“轻微抖动”，则可以将基准感光度确定为较大的值，以降低拍摄时长，比如确定基准感光度为120ISO；若确定采集预览图像的图像传感器的抖动程度为“小抖动”，则可以进一步增大基准感光度，以降低拍摄时长，比如确定基准感光度为180ISO；若确定采集预览图像的图像传感器的抖动程度为“大抖动”，则可以确定当前的抖动程度过大，此时可以进一步增大基准感光度，以降低拍摄时长，比如确定基准感光度为200ISO。

需要说明的是，上述举例仅为示例性的，不能视为对本申请的限制。实际使用时，当采集预览图像的图像传感器的抖动程度变化时，即可以改变基准感光度，以获得最优的方案。其中，采集预览图像的图像传感器的抖动程度与每帧待采集图像对应的基准感光度的映射关系，可以根据实际需要预设。

本申请实施例中，预览图像的画面抖动程度与采集预览图像的图像传感器的抖动程度呈正相关关系，根据预览图像的画面抖动程度，设定基准感光度的实现过程参见上述过程，在此不再赘述。

本申请实施例中，基准曝光量的取值可以是基准感光度与基准曝光时长之间的乘积。因此，在根据拍摄场景的亮度，确定基准曝光量，以及根据抖动程度确定基准感光度后，即可根据基准曝光量及基准感光度，确定基准曝光时长。

步骤203，根据基准曝光时长和基准感光度，采集第一图像。

本申请实施例中，在确定基准曝光时长和基准感光度后，根据基准曝光时长和基准感光度控制图像传感器进行图像采集，以得到至少两帧相同曝光量的第一图像，在此不做具体赘述。

步骤204，根据设定的曝光补偿等级，对基准曝光时长进行补偿，得到短于基准曝光时长的补偿曝光时长。

其中，曝光补偿是通过光圈与快门速度来提高或加暗图像画面的。即在光圈优先模式下，如果增加曝光补偿，实际上是通过降低快门速度来实现的；反之，则是通过提高快门速度来实现的。在快门优先模式下，如果增加曝光补偿，实际上是通过增大光圈来实现的(直至达到镜头所能达到的最大光圈)。

本申请实施例中，可以根据预览画面中图像的亮度，设定曝光补偿等级，进而根据设定的曝光补偿等级对基准曝光时长进行补偿，得到短于基准曝光时长的补偿曝光时长。

举例来说，如果预览画面中图像的明暗比例为1:1，则无须进行曝光补偿；如果明暗比例为1:2，则进行-0.3档曝光补偿；如果明暗比例是2:1，则进行+0.3档曝光补偿；如果明暗比例为1:3，则进行-0.3档曝光补偿；如果明暗比例是2:1，则该做+0.3档曝光补偿；如果明暗比例为1:2，则进行-0.3档曝光补偿；如果明暗比例是2:1，则该做+0.3档曝光补偿；总之，明暗比例越大，则曝光补偿数值越大，当然，不能超过相机曝光补偿范围。

步骤205，根据补偿曝光时长和基准感光度，采集第二图像。

本申请实施例中，在采集曝光量低于第一图像的至少一帧第二图像时，可以根据设定的曝光补偿等级，对基准曝光时长进行补偿，得到少于基准曝光时长的补偿曝光时长，进而根据补偿曝光时长和基准感光度，采集至少一帧原始图像。

可以理解为，通过曝光补偿等级，对至少一帧第二图像分别采取不同的曝光补偿策略，使得待采集的第二图像对应于不同的曝光量，以获得具有不同动态范围的图像。

作为一种示例，采集低于基准曝光量的至少一帧第二图像时，假如具体为两帧第二图像，此时两帧第二图像对应不同的曝光补偿等级，且两帧第二图像的曝光补偿等级小于EV0。具体地，根据两帧第二图像对应的曝光补偿等级对基准曝光时长进行补偿，得到少于基准曝光时长的补偿曝光时长，进而，根据补偿曝光时长和基准感光度，采集两帧第二图像。

本申请实施例的夜景图像处理方法，通过根据拍摄场景的亮度，确定基准曝光量，根据基准曝光量和设定的基准感光度，确定基准曝光时长，根据基准曝光时长和基准感光度，采集第一图像，根据设定的曝光补偿等级，对基准曝光时长进行补偿，得到短于基准曝光时长的补偿曝光时长，根据补偿曝光时长和基准感光度，采集第二图像。由此，通过采集基准曝光量的第一图像，同时采集低于基准曝光量的第二图像，确定采集的多帧原始图像，进而提高了图像的成像质量，得到清晰度较高的成像效果。

在图2所述实施例的基础上，在又一种可能的场景下，根据设定的曝光补偿等级，对基准曝光时长进行补偿，得到短于基准曝光时长的补偿曝光时长后，将补偿曝光时长与设定的时长下限进行比较，以根据曝光时长下限对小于时长下限的补偿曝光时长进行调整。下面结合图3对上述过程进行详细介绍，图3为本申请实施例提供的第三种夜景图像处理方法的流程示意图，如图3所示，步骤204之后还包括以下步骤：

步骤301，将补偿曝光时长与设定的时长下限比较。

作为一种可能的情况，曝光时长下限可以根据电子设备的抖动程度确定的。具体地，为了确定抖动程度，可以根据电子设备中设置的位移传感器，采集位移信息，进而，根据采集到的电子设备的位移信息，确定电子设备的抖动程度。进一步地，根据确定的电子设备的抖动程度与预设的抖动阈值进行比较，以确定曝光时长下限。

本申请实施例中，在根据设定的曝光补偿等级，对基准曝光时长进行补偿，得到短于基准曝光时长的补偿曝光时长后，将补偿曝光时长与设定的时长下限比较，以根据时长下限对小于时长下限的补偿曝光时长进行调整。其中，时长下限大于或等于10ms。

步骤302，若存在补偿曝光时长小于时长下限的第二图像，将补偿曝光时长增大至时长下限。

本申请实施例中，若待采集的第二图像对应的补偿曝光时长小于时长下限的图像，则可能导致图像中的噪声过大难以消除。因此，当某一帧待采集第二图像对应的补偿曝光时长小于时长下限时，将该帧待采集的第二图像对应的补偿曝光时长增大为时长下限。

步骤303，确定补偿曝光时长增大后与增大前的比值。

举例来说，预设的时长下限等于10ms，补偿曝光时长增大前的曝光时长为8ms，将第二图像对应的补偿曝光时长增大为预设的时长下限10ms，则可以确定第二图像对应的补偿曝光时长增大后与增大前的比值为10/8。

步骤304，对补偿曝光时长不小于时长下限的其余各帧第二图像，根据比值，更新对应的补偿曝光时长或基准感光度。

具体地，对于补偿曝光时长不小于时长下限的其余各帧第二图像，在确定小于时长下限的第二图像补偿曝光时长增大后与增大前的比值后，将该比值与其余各帧第二图像更新前的感光度或曝光时长乘积，作为其余各帧第二图像更新后的感光度或曝光时长。

作为一种示例，假如补偿曝光时长不小于时长下限的待采集图像为4帧，根据摄像模组的抖动程度确定各帧预设的感光度值均为100ISO，且4帧待采集图像的曝光时长分别为100ms、200ms、400ms和800ms。鉴于小于时长下限的第二图像更新后的补偿曝光时长与更新前的补偿曝光时长之间的比值为10ms/1.5ms，即20/3，由此，确定这4帧待采集图像的曝光时长扩大为原来100ms、200ms、400ms和800ms的20/3倍。

对感光度的更新方式与补偿曝光时长的更新方式类似，仅需要将补偿曝光时长替换为感光度即可。但需要注意的是，仅可根据前述小于时长下限的第二图像更新后的补偿曝光时长与更新前的补偿曝光时长之间的比值，更新补偿曝光时长和感光度中的一个，若需要对补偿曝光时长和感光度同时更新，则需要依权重对该比值进行分配后，进行更新。例如：对补偿曝光时长和感光度各占一半权重，若前述小于时长下限的第二图像更新后的补偿曝光时长与更新前的补偿曝光时长之间的比值为R，将补偿曝光时长扩大为原来的R/2倍，将感光度扩大为原来的R/2倍。

步骤305，对基准曝光时长不小于时长下限的各帧第一图像，根据比值，更新对应的基准曝光时长或基准感光度。

本申请实施例中，在确定小于时长下限的第二图像补偿曝光时长增大后与增大前的比值后，根据该比值，对基准曝光时长不小于时长下限的各帧第一图像对应的基准曝光时长或基准感光度进行更新，具体的过程可以参考步骤304的实现过程，在此不再赘述。

本申请实施例中，将补偿曝光时长与设定的时长下限比较，若存在补偿曝光时长小于时长下限的第二图像，将补偿曝光时长增大至时长下限，确定补偿曝光时长增大后与增大前的比值，对补偿曝光时长不小于时长下限的其余各帧第二图像，根据比值，更新对应的补偿曝光时长或基准感光度，对基准曝光时长不小于时长下限的各帧第一图像，根据比值，更新对应的基准曝光时长或基准感光度。由此，确定了采集第二图像的补偿曝光时长，进而根据曝光时长下限更新各帧第二图像的基准感光度和补偿曝光时长，以及更新基准曝光时长不小于时长下限的各帧第一图像对应的基准曝光时长或基准感光度，最终根据更新后的各帧图像的曝光时长和感光度，进行曝光控制，进而成像，不仅提升了夜景拍摄模式下拍摄图像的动态范围和整体亮度，而且有效抑制了拍摄图像中的噪声，提高了夜景拍摄图像的质量，改善了用户体验。

由于电子设备中的图像传感器在拍摄的过程中会受到不同程度的来自周边电路和本身像素间的光电磁干扰，因此拍摄得到的原始图像不可避免的存在噪声，并且，干扰程度的不同，拍摄得到的图像的清晰度也不相同。因此对采集的多帧图像合成得到的高动态范围图像也必然存在噪声，需要进一步对高动态范围图像进行降噪处理。例如，在夜景拍摄场景中，通常使用较大的光圈和较长的曝光时间拍摄得到图像，此时如果选择较高的感光度来减少了曝光时间，拍摄得到的图像必然会产生噪声。

作为一种可能的实现方式，可以采用神经网络模型对合成得到的高动态范围图像进行降噪处理，能够同时对高动态范围图像中的高光区域和暗光区域进行降噪，进而可以得到较佳的降噪效果的目标图像。下面结合图4对上述过程进行详细介绍，图4为本申请实施例提供的第四种夜景图像处理方法的流程示意图。

如图4所示，该方法具体包括以下步骤：

步骤401，采用神经网络模型，对高动态范围图像进行噪声特性识别。

本申请实施例中，神经网络模型，已学习得到基准感光度与噪声特性之间的映射关系。

本申请实施例中，噪声特性，可以是由于图像传感器引起的随机噪声的统计特性。这里说的噪声主要包括热噪声和散粒噪声，其中，热噪声符合高斯分布，散粒噪声符合泊松分布，本申请实施例中的统计特性可以指噪声的方差值，当然也可以是其他可能情况的值，在此不做限定。

作为一种可能的实现方式，可以获取到不同环境光亮度下拍摄得到的各感光度的样本图像后，采用各感光度的样本图像对神经网络模型进行训练。将样本图像中标注的噪声特性作为模型训练的特性，将经过噪声特性标注的样本图像输入神经网络模型，以对神经网络模型进行训练，进而识别出图像的噪声特性。当然，神经网络模型仅仅是实现基于人工智能的降噪的一种可能的实现方式，在实际执行过程中，可以通过其他任意可能的方式来实现基于人工智能的降噪，比如，还可以采用传统的编程技术(比如模拟法和工程学方法)实现，又比如，还可以遗传学算法来实现。

由于神经网络模型已学习得到基准感光度与噪声特性之间的映射关系。因此，可以将经过合成的目标图像输入神经网络模型中，以采用神经网络模型对高动态范围图像进行噪声特性识别，从而识别出高动态范围图像的噪声特性。

步骤402，根据识别出的噪声特性，对高动态范围图像降噪，以得到目标图像。

本申请实施例中，根据神经网络模型识别出的噪声特性，对高动态范围图像进行降噪，得到目标图像，从而达到了降噪的目的，提高了图像的信噪比。

本申请实施例的夜景图像处理方法，通过采用神经网络模型，对高动态范围图像进行噪声特性识别，进而，根据识别出的噪声特性，对高动态范围图像降噪，以得到目标图像。由此，能够对合成得到高动态范围图像中的亮光区域和暗光区域均进行降噪，提高了降噪的有效性，使得降噪得到的目标图像在降低画面噪声的同时保留图像细节，得到清晰度更好的成像效果。

为了获得较佳的人工智能的降噪效果，可以选用神经网络模型进行降噪，并采用各感光度的样本图像对该神经网络模型进行训练，以提高神经网络模型识别噪声特性的能力，具体的训练过程参见图5，如图5所示，具体包括以下步骤：

步骤501，获取各感光度的样本图像。

其中，样本图像中已经标注了图像的噪声特性。

本申请实施例中，样本图像可以是在不同的环境亮度下，设置不同的感光度拍摄得到的图像。也就是说，环境亮度应为多种，在每一种环境亮度下，分别在不同感光度情况下拍摄多帧图像，作为样本图像。

为了获得更佳准确的噪声特性识别结果，可以对环境亮度和ISO进行细分，还可以增加样本图像的帧数，以使合成的高动态范围图像输入神经网络模型后，该神经网络能准确的识别出图像的噪声特性。

步骤502，采用各感光度的样本图像对神经网络模型进行训练。

本申请实施例中，获取到不同环境光亮度下拍摄得到的各感光度的样本图像后，采用样本图像对神经网络模型进行训练。将样本图像中标注的噪声特性作为模型训练的特性，将经过噪声特性标注的样本图像输入神经网络模型，以对神经网络模型进行训练，进而识别出图像的噪声特性。当然，神经网络模型仅仅是实现基于人工智能的降噪的一种可能的实现方式，在实际执行过程中，可以通过其他任意可能的方式来实现基于人工智能的降噪，比如，还可以采用传统的编程技术(比如模拟法和工程学方法)实现，又比如，还可以遗传学算法和人工神经网络的方法来实现，在此不做限定。

需要说明的是，在样本图像中标注噪声特性对神经网络模型进行训练，是因为已标注的样本图像能够清楚的表示出图像的噪声位置和噪声类型，从而将标注的噪声特性作为模型训练的特性，将高动态范围图像输入神经网络模型后，能够识别出图像中的噪声特性。

步骤503，直至神经网络模型识别出的噪声特性与相应样本图像中标注的噪声特性匹配时，神经网络模型训练完成。

本申请实施例中，采用各感光度的样本图像对神经网络模型进行训练，直至神经网络模型识别出的噪声特性与相应样本图像中标注的统计特性匹配，

本申请实施例中，通过获取各感光度的样本图像，采用各感光度的样本图像对神经网络模型进行训练，直至神经网络模型识别出的噪声特性与相应样本图像中标注的噪声特性匹配时，神经网络模型训练完成。由于，采用各感光度下经过标注噪声特性的样本图像对神经网络模型进行训练，能够实现将图像输入神经网络模型后，准确的识别出图像的噪声特性，以实现对图像进行降噪处理，从而提高图像的拍摄质量。

作为一种示例，参见图6，图6为本申请实施例提供的一种夜景图像处理方法的示例图。由图6可知，通过对预览画面进行检测后，确定拍摄场景为夜景场景时，控制图像传感器采集至少两帧感光度值为EV0的原始图像，一张EV-2的原始图像和一张EV-4的原始图像。其中，原始图像，为未经任何处理的RAW图像。对至少两帧EV0的原始图像进行降噪处理，得到合成降噪图像，以提高画面的信噪比。将合成降噪图像与一张EV-2的原始图像和一张EV-4的原始图像进行高动态合成，得到高动态范围图像。其中，高动态范围图像同样为RAW格式图像。进一步地，对高动态范围图像进行人工智能的降噪处理，得到降噪后的目标降噪图像，将降噪后的目标降噪图像输入ISP处理器进行格式转换，将RAW格式的目标降噪图像转换为YUV格式图像。最终将YUV合适的目标降噪图像输入JPEG编码器，以得到最终的JPG图像。

需要说明的是，在图6中的夜景图像处理中，电子设备的处理器需要对图像进多帧降噪以及高动态范围合成，处理耗时较长，使得用户拍摄体验较差。针对图6中的夜景图像处理方法，可以将多帧降噪和高动态范围合成并行处理，以提高夜景成像的速度，进而改善了用户的使用体验。

为了实现上述实施例，本申请还提出一种夜景图像处理装置。

图7为本申请实施例提供的一种夜景图像处理装置的结构示意图。

如图7所示，该夜景图像处理装置100包括：采集模块110、第一生成模块120、第二生成模块130、执行模块140以及合成模块150。

采集模块110，用于采集多帧原始图像；其中，多帧原始图像中包括至少两帧相同曝光量的第一图像，以及包括曝光量低于第一图像的至少一帧第二图像。

第一生成模块120，用于根据至少两帧第一图像，生成用于多帧降噪以得到合成降噪图像的第一任务。

第二生成模块130，用于根据至少两帧第一图像中选取的目标图像以及至少一帧第二图像，生成用于确定高动态合成权重信息的第二任务。

执行模块140，用于并行执行第一任务和执行第二任务。

合成模块150，用于根据第二任务确定的高动态合成权重信息，合成至少一帧第二图像和合成降噪图像，以得到高动态范围图像。

作为一种可能的实现方式，执行模块140，还可以具体用于：

对至少一帧第二图像和目标图像进行高动态合成，以确定在合成得到的图像中不同区域，至少一帧第二图像和目标图像所占的权重；将目标图像的权重作为合成降噪图像的权重；根据合成降噪图像的权重，以及至少一帧第二图像的权重，生成高动态合成权重信息。

作为另一种可能的实现方式，夜景图像处理装置100，还包括：

选取模块，用于从至少两帧第一图像中，选取清晰度最高的图像作为目标图像。

作为另一种可能的实现方式，执行模块140，还可以具体用于：

将第一任务和第二任务分配至CPU、GPU和DSP中的不同处理器执行。

作为另一种可能的实现方式，采集模块110，还可以具体用于：

根据拍摄场景的亮度，确定基准曝光量；根据基准曝光量和设定的基准感光度，确定基准曝光时长；根据基准曝光时长和基准感光度，采集第一图像；根据设定的曝光补偿等级，对基准曝光时长进行补偿，得到短于基准曝光时长的补偿曝光时长；根据补偿曝光时长和基准感光度，采集第二图像。

作为另一种可能的实现方式，夜景图像处理装置100，还包括：

识别模块，用于采用神经网络模型，对高动态范围图像进行噪声特性识别；其中，神经网络模型，已学习得到感光度与噪声特性之间的映射关系。

降噪模块，用于根据识别出的噪声特性，对高动态范围图像降噪，以得到目标图像。

作为另一种可能的实现方式，采集模块110，还可以具体用于：

将所述补偿曝光时长与设定的时长下限比较；

若存在所述补偿曝光时长小于时长下限的第二图像，将所述补偿曝光时长增大至所述时长下限。

作为另一种可能的实现方式，采集模块110，还可以具体用于：

确定补偿曝光时长增大后与增大前的比值；对补偿曝光时长不小于时长下限的其余各帧第二图像，根据比值，更新对应的补偿曝光时长或基准感光度；对基准曝光时长不小于时长下限的各帧第一图像，根据比值，更新对应的基准曝光时长或基准感光度。

需要说明的是，前述对夜景图像处理方法实施例的解释说明也适用于该实施例的夜景图像处理装置，此处不再赘述。

本申请实施例的夜景图像处理装置，通过采集多帧原始图像；其中，多帧原始图像中包括至少两帧相同曝光量的第一图像，以及包括曝光量低于第一图像的至少一帧第二图像，根据至少两帧第一图像，生成用于多帧降噪以得到合成降噪图像的第一任务，根据至少两帧第一图像中选取的目标图像以及至少一帧第二图像，生成用于确定高动态合成权重信息的第二任务，并行执行第一任务和执行第二任务，根据第二任务确定的高动态合成权重信息，合成至少一帧第二图像和合成降噪图像，以得到高动态范围图像。由此，通过电子设备中不同的处理器并行执行第一任务和执行第二任务，使得合成降噪图像与生成高动态合成权重信息并行处理，从而缩短了图像处理的时间，提高了夜景图像处理速度，并提高了夜景成像速度，改善了用户的拍照体验。

为了实现上述实施例，本申请还提出一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如上述实施例中所述的夜景图像处理方法。

作为一种示例，本申请还提出一种电子设备200，参见图8，包括：图像传感器210、处理器220、存储器230及存储在存储器230上并可在处理器220上运行的计算机程序，所述图像传感器210与所述处理器220电连接，所述处理器220执行所述程序时，实现如上述实施例中所述的夜景图像处理方法。

作为一种可能的情况，处理器220可以包括：图像信号处理(Image SignalProcessor，简称ISP)处理器、与ISP处理器连接的GPU。

作为一种示例，请参阅图9，在图8所述电子设备的基础上，图9中为本申请实施例提供的一种电子设备的原理示例图。电子设备200的存储器230包括非易失性存储器80、内存储器82和处理器220。存储器230中存储有计算机可读指令。计算机可读指令被存储器执行时，使得处理器230执行上述任一实施方式的夜景图像处理方法。

如图9所示，该电子设备200包括通过系统总线81连接的处理器220、非易失性存储器80、内存储器82、显示屏83和输入装置84。其中，电子设备200的非易失性存储器80存储有操作系统和计算机可读指令。该计算机可读指令可被处理器220执行，以实现本申请实施方式的曝光控制方法。该处理器220用于提供计算和控制能力，支撑整个电子设备200的运行。电子设备200的内存储器82为非易失性存储器80中的计算机可读指令的运行提供环境。电子设备200的显示屏83可以是液晶显示屏或者电子墨水显示屏等，输入装置84可以是显示屏83上覆盖的触摸层，也可以是电子设备200外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。该电子设备200可以是手机、平板电脑、笔记本电脑、个人数字助理或穿戴式设备(例如智能手环、智能手表、智能头盔、智能眼镜)等。本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的示意图，并不构成对本申请方案所应用于其上的电子设备200的限定，具体的电子设备200可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

为了实现上述实施例，本申请还提出一种图像处理电路，请参阅图10，图10为本申请实施例提供的一种图像处理电路的原理示意图，如图10所示，图像处理电路90包括图像信号处理ISP处理器91(ISP处理器91作为处理器220)和图形处理器GPU。

摄像头93捕捉的图像数据首先由ISP处理器91处理，ISP处理器91对图像数据进行分析以捕捉可用于确定摄像头93的一个或多个控制参数的图像统计信息。摄像模组310可包括一个或多个透镜932和图像传感器934。图像传感器934可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器934可获取每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器91处理的一组原始图像数据。传感器94(如陀螺仪)可基于传感器94接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器91。传感器94接口可以为SMIA(StandardMobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外，图像传感器934也可将原始图像数据发送给传感器94，传感器94可基于传感器94接口类型把原始图像数据提供给ISP处理器91，或者传感器94将原始图像数据存储到图像存储器95中。

ISP处理器91按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器91可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器91还可从图像存储器95接收图像数据。例如，传感器94接口将原始图像数据发送给图像存储器95，图像存储器95中的原始图像数据再提供给ISP处理器91以供处理。图像存储器95可为存储器330、存储器330的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器934接口或来自传感器94接口或来自图像存储器95的原始图像数据时，ISP处理器91可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器95，以便在被显示之前进行另外的处理。ISP处理器91从图像存储器95接收处理数据，并对处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器91处理后的图像数据可输出给显示器97(显示器97可包括显示屏83)，以供用户观看和/或由图形引擎或GPU进一步处理。此外，ISP处理器91的输出还可发送给图像存储器95，且显示器97可从图像存储器95读取图像数据。在一个实施例中，图像存储器95可被配置为实现一个或多个帧缓冲器。此外，ISP处理器91的输出可发送给编码器/解码器96，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器97设备上之前解压缩。编码器/解码器96可由CPU或GPU或协处理器实现。

ISP处理器91确定的统计数据可发送给控制逻辑器92单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜932阴影校正等图像传感器934统计信息。控制逻辑器92可包括执行一个或多个例程(如固件)的处理元件和/或微控制器，一个或多个例程可根据接收的统计数据，确定摄像头93的控制参数及ISP处理器91的控制参数。例如，摄像头93的控制参数可包括传感器94控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜932控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜932阴影校正参数。

以下为运用图10中图像处理技术实现夜景图像处理方法的步骤：通过采集多帧原始图像；其中，多帧原始图像中包括至少两帧相同曝光量的第一图像，以及包括曝光量低于第一图像的至少一帧第二图像，根据至少两帧第一图像，生成用于多帧降噪以得到合成降噪图像的第一任务，根据至少两帧第一图像中选取的目标图像以及至少一帧第二图像，生成用于确定高动态合成权重信息的第二任务，并行执行第一任务和执行第二任务，根据第二任务确定的高动态合成权重信息，合成至少一帧第二图像和合成降噪图像，以得到高动态范围图像。

为了实现上述实施例，本申请还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例中所述的夜景图像处理方法。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (11)

1.一种夜景图像处理方法，其特征在于，所述方法包括以下步骤：

采集多帧原始图像；其中，所述多帧原始图像中包括至少两帧相同曝光量的第一图像，以及包括曝光量低于所述第一图像的至少一帧第二图像；

根据所述至少两帧第一图像，生成用于多帧降噪以得到合成降噪图像的第一任务；

根据所述至少两帧第一图像中选取的目标图像以及所述至少一帧第二图像，生成用于确定高动态合成权重信息的第二任务；

并行执行所述第一任务和执行所述第二任务；

根据所述第二任务确定的所述高动态合成权重信息，合成所述至少一帧第二图像和所述合成降噪图像，以得到高动态范围图像。

2.根据权利要求1所述的夜景图像处理方法，其特征在于，所述执行所述第二任务，包括：

对所述至少一帧第二图像和所述目标图像进行高动态合成，以确定在合成得到的图像中不同区域，所述至少一帧第二图像和所述目标图像所占的权重；

将所述目标图像的权重作为所述合成降噪图像的权重；

根据所述合成降噪图像的权重，以及所述至少一帧第二图像的权重，生成所述高动态合成权重信息。

3.根据权利要求1所述的夜景图像处理方法，所述根据所述至少两帧第一图像中选取的目标图像以及所述至少一帧第二图像，生成用于确定高动态合成权重信息的第二任务之前，还包括：

从所述至少两帧第一图像中，选取清晰度最高的图像作为所述目标图像。

4.根据权利要求1所述的夜景图像处理方法，其特征在于，所述并行执行所述第一任务和执行所述第二任务，包括：

将所述第一任务和所述第二任务分配至CPU、GPU和DSP中的不同处理器执行。

5.根据权利要求1-4任一项所述的夜景图像处理方法，其特征在于，所述采集多帧原始图像，包括：

根据拍摄场景的亮度，确定基准曝光量；

根据所述基准曝光量和设定的基准感光度，确定基准曝光时长；

根据所述基准曝光时长和所述基准感光度，采集所述第一图像；

根据设定的曝光补偿等级，对所述基准曝光时长进行补偿，得到短于所述基准曝光时长的补偿曝光时长；

根据所述补偿曝光时长和所述基准感光度，采集所述第二图像。

6.根据权利要求5所述的夜景图像处理方法，其特征在于，所述根据所述第二任务确定的所述高动态合成权重信息，合成所述至少一帧第二图像和所述合成降噪图像之后，还包括：

采用神经网络模型，对所述高动态范围图像进行噪声特性识别；其中，所述神经网络模型，已学习得到感光度与噪声特性之间的映射关系；

根据识别出的噪声特性，对所述高动态范围图像降噪，以得到所述目标图像。

7.根据权利要求5所述的夜景图像处理方法，其特征在于，所述根据设定的曝光补偿等级，对所述基准曝光时长进行补偿，得到短于所述基准曝光时长的补偿曝光时长之后，还包括：

将所述补偿曝光时长与设定的时长下限比较；

若存在所述补偿曝光时长小于时长下限的第二图像，将所述补偿曝光时长增大至所述时长下限。

8.根据权利要求7所述的夜景图像处理方法，其特征在于，所述将所述补偿曝光时长增大至所述时长下限之后，还包括：

确定所述补偿曝光时长增大后与增大前的比值；

对补偿曝光时长不小于所述时长下限的其余各帧第二图像，根据所述比值，更新对应的补偿曝光时长或基准感光度；

对基准曝光时长不小于所述时长下限的各帧第一图像，根据所述比值，更新对应的基准曝光时长或基准感光度。

9.一种夜景图像处理装置，其特征在于，所述装置包括：

采集模块，用于采集多帧原始图像；其中，所述多帧原始图像中包括至少两帧相同曝光量的第一图像，以及包括曝光量低于所述第一图像的至少一帧第二图像；

第一生成模块，用于根据所述至少两帧第一图像，生成用于多帧降噪以得到合成降噪图像的第一任务；

第二生成模块，用于根据所述至少两帧第一图像中选取的目标图像以及所述至少一帧第二图像，生成用于确定高动态合成权重信息的第二任务；

执行模块，用于并行执行所述第一任务和执行所述第二任务；

合成模块，用于根据所述第二任务确定的所述高动态合成权重信息，合成所述至少一帧第二图像和所述合成降噪图像，以得到高动态范围图像。

10.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-8中任一所述的夜景图像处理方法。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的夜景图像处理方法。