CN109756681A - 图像合成方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本申请提出一种图像合成方法、装置、电子设备及可读存储介质，其中，方法包括：通过响应于第一操作，控制图像传感器逐帧采集多帧原始图像，对采集到的多帧原始图像进行预览显示，响应于第二操作，从多帧原始图像中，确定至少两帧目标图像，对至少两帧目标图像进行合成，得到合成图像。该方法通过将采集的原始图像进行预览显示，使得用户能够确定出符合需求的至少两帧目标图像，进而对确定的至少两帧目标图像进行合成，使得合成图像达到用户需求，解决了现有技术中在图像采集的过程中无法对采集到的图像进行删减，只能被动的对采集到的所有图像进行合成的技术问题，进而提升了用户的拍摄体验。

Description

图像合成方法、装置、电子设备及可读存储介质

技术领域

本申请涉及成像技术领域，尤其涉及一种图像合成方法、装置、电子设备及可读存储介质。

背景技术

随着智能终端技术的不断发展，移动终端设备(如智能手机、平板电脑等)的使用越来越普及。绝大多数移动终端设备都内置有摄像头，并且随着移动终端处理能力的增强以及摄像头技术的发展，内置摄像头的性能越来越强大，拍摄图像的质量也越来越高。移动终端设备在给人们的日常拍照带来便捷的同时，人们对拍摄的图像质量的要求也越来越高。

目前，为了提高夜景的成像质量，往往需要拍摄多帧图像以用于合成，但是在实际拍摄过程中，多帧图像的图像质量存在一定差异性，进而影响合成图像的质量。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请提出一种图像合成方法、装置、电子设备及可读存储介质，以解决相关技术中多帧图像的图像质量存在一定差异性，从而影响最终合成图像成像质量的技术问题，实现了在采集图像的过程中，当预览的图像不满足用户需求时，可以对该图像进行删除，进而得到满足用户需求的图像，改善了用户的拍摄体验。

本申请一方面实施例提出了一种图像合成方法，包括：

响应于第一操作，控制图像传感器逐帧采集多帧原始图像；

对采集到的多帧原始图像进行预览显示；

响应于第二操作，从所述多帧原始图像中，确定至少两帧目标图像；

对所述至少两帧目标图像进行合成，得到合成图像。

本申请实施例的图像合成方法，通过响应于第一操作，控制图像传感器逐帧采集多帧原始图像，对采集到的多帧原始图像进行预览显示，响应于第二操作，从多帧原始图像中，确定至少两帧目标图像，对至少两帧目标图像进行合成，得到合成图像。该方法通过将采集的原始图像进行预览显示，使得用户能够确定出符合需求的至少两帧目标图像，进而对确定的至少两帧目标图像进行合成，使得合成图像达到用户需求，解决了现有技术中在图像采集的过程中无法对采集到的图像进行删减，只能被动的对采集到的所有图像进行合成的技术问题，进而提升了用户的拍摄体验。

本申请另一方面实施例提出了一种图像合成装置，包括：

控制模块，用于响应于第一操作，控制图像传感器逐帧采集多帧原始图像；

显示模块，用于对采集到的多帧原始图像进行预览显示；

确定模块，用于响应于第二操作，从所述多帧原始图像中，确定至少两帧目标图像；

合成模块，用于对所述至少两帧目标图像进行合成，得到合成图像。

本申请实施例的图像合成装置，通过响应于第一操作，控制图像传感器逐帧采集多帧原始图像，对采集到的多帧原始图像进行预览显示，响应于第二操作，从多帧原始图像中，确定至少两帧目标图像，对至少两帧目标图像进行合成，得到合成图像。该方法通过将采集的原始图像进行预览显示，使得用户能够确定出符合需求的至少两帧目标图像，进而对确定的至少两帧目标图像进行合成，使得合成图像达到用户需求，解决了现有技术中在图像采集的过程中无法对采集到的图像进行删减，只能被动的对采集到的所有图像进行合成的技术问题，进而提升了用户的拍摄体验。

本申请又一方面实施例提出了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如上述实施例中所述的图像合成方法。

本申请又一方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例中所述的图像合成方法。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例所提供的一种图像合成方法的流程示意图；

图2为本申请实施例所提供的一种图像传感器采集多帧原始图像的流程示意图；

图3为本申请实施例所提供的一种确定各帧原始图像的目标曝光量的方法的流程示意图；

图4为本申请实施例所提供的一种图像合成装置的结构示意图；

图5为本申请某些实施方式的电子设备的模块示意图；

图6为本申请某些实施方式的图像处理电路的模块示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

现有技术中，用户在使用具有拍摄功能的电子设备进行拍摄图像时，对于采集到的不同曝光的图像，只能依赖于摄像硬件设备和芯片供应商提供的相关处理算法进行效果处理。当采集到比较模糊的图像时，用户也无法进行删减，因此，拍摄得到的图像质量不佳，影响用户的拍摄体验。

针对上述问题，本申请实施例提出了一种图像合成方法，通过响应于第一操作，控制图像传感器逐帧采集多帧原始图像，对采集到的多帧原始图像进行预览显示，响应于第二操作，从多帧原始图像中，确定至少两帧目标图像，对至少两帧目标图像进行合成，得到合成图像。

下面参考附图描述本申请实施例的图像合成方法、装置、电子设备及可读存储介质。

图1为本申请实施例所提供的一种图像合成方法的流程示意图。

本申请实施例的图像合成方法，可以应用于具体拍摄功能的电子设备，其中，电子设备可以为智能手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、成像设备的硬件设备。

如图1所示，该图像合成方法包括以下步骤：

步骤101，响应于第一操作，控制图像传感器逐帧采集多帧原始图像。

其中，原始图像是指直接从图像传感器CCD或CMOS上得到的几乎是未经过处理过的图像，例如为RAW格式的原始图像，原始图像中包含了更多了图像细节，通过对原始图像的获取和处理得到成像图像，可以使得成像图像中亮度和暗部的细节更清晰，可提高成像质量。

本申请实施例中，由于拍摄场景中光线强度等环境因素的限制，通过具有拍摄功能的电子设备在拍摄图像时，一般采集多帧原始图像，用于合成成像。因此，当电子设备探测到用户触发的第一操作时，响应于该第一操作，通过对图像传感器进行曝光控制，以逐帧采集得到多帧原始图像。其中，第一操作，可以是用户触发的打开摄像头的操作，也可以是用户触发的成像设备开始采集图像的操作。

需要说明的是，拍摄场景的环境光亮度不同时，各帧原始图像的曝光量也不相同，因此，需要对图像传感器进行曝光控制，以逐帧采集得到多帧原始图像。

本申请实施例中，电子设备可以包括可见光图像传感器，可以基于电子设备中的可见光图像传感器采集多帧原始图像。具体地，可见光图像传感器可以包括可见光摄像头，可见光摄像头可以捕获由成像对象反射的可见光进行成像。

本申请实施例中，电子设备还可以包括结构光图像传感器，可以基于电子设备中的结构光图像传感器采集多帧原始图像。可选地，结构光图像传感器可以包括镭射灯以及激光摄像头。脉冲宽度调制(Pulse Width Modulation，简称PWM)可以调制镭射灯以发出结构光，结构光照射至成像对象，激光摄像头可以捕获由成像对象反射的结构光进行成像，得到成像对象对应的结构光图像。

步骤102，对采集到的多帧原始图像进行预览显示。

本申请实施例中，在图像传感器逐帧采集多帧原始图像的过程中，对已采集到的原始图像，在电子设备的显示界面进行预览显示，使得在图像采集的过程中用户能够清晰的看到各帧原始图像的成像效果。

其中，采集的各帧原始图像可能是过曝光、欠曝光或者正常曝光，也可能是图像的显示效果比较模糊。

需要说明的是，图像传感器采集的多帧原始图像为RAW格式，RAW格式图像就是图像传感器将捕捉到的光源信号转化为数字信号的原始图像。RAW格式图像记录了数码相机传感器的原始信息，同时记录了由相机拍摄所产生的一些元数据，如感光度的设置、快门速度、光圈值、白平衡等。

本申请实施例中，图像传感器输出的图像格式为YUV格式，因此，对采集到的多帧原始图像进行预览显示之前，首先对采集到的多帧原始图像进行格式转换，将RAW格式的原始图像转换为YUV格式图像。由于电子设备的显示界面的尺寸有限，为了达到更好的预览效果，将转换得到的YUV格式图像压缩至预览尺寸，进而，在电子设备的显示界面对压缩后的YUV格式图像进行预览显示。

需要说明的是，将采集的多帧原始图像由RAW格式转换为YUV格式图像的方法均属于现有技术，本实施例中不再赘述。

步骤103，响应于第二操作，从多帧原始图像中，确定至少两帧目标图像。

其中，第二操作，可以为用户触发的对采集的多帧原始图像中部分图像进行删除的操作。

本申请实施例中，电子设备的显示界面对图像传感器采集到的多帧原始图像进行逐一显示，当显示的各帧原始图像中噪点较多，或者图像比较模糊时，电子设备探测到用户触发的删除该原始图像的操作时，响应于用户触发的第二操作，对该帧原始图像进行删除，从而从多帧原始图像中，保留满足用户需求的原始图像。

作为另一种可能的实现方式，电子设备可以基于用户触发的第二操作主动识别图像传感器采集的多帧原始图像，进而识别多帧原始图像的成像效果是否正常，根据识别的结果对成像效果差的原始图像进行自动删除。

举例来说，由于夜景模式下拍摄时间较长，当拍摄对象为人脸图像，容易出现眨眼的情况，因此图像传感器采集的多帧原始图像中可能会存在闭眼的原始图像，进而响应于第二操作，删除该帧闭眼的原始图像。具体地，当电子设备探测到用户触发的删除闭眼的原始图像的操作时，响应于用户触发的第二操作，确定用户选择的原始图像，对该帧原始图像进行删除。也可以是电子设备基于用户触发的第二操作主动识别图像传感器采集的多帧原始图像中是否存在闭眼的原始图像，根据识别的结果对存在闭眼的原始图像进行自动删除。

需要说明的是，电子设备响应于用户的第二操作，从多帧原始图像中删除掉一部分图像，剩余的原始图像为用于合成图像的目标图像。由于环境光亮度的影响，成像设备的图像传感器采集的多帧原始图像的不同区域的亮度不同，为了获得更高质量的合成图像，保留的目标图像至少为两帧。

步骤104，对至少两帧目标图像进行合成，得到合成图像。

具体地，电子设备探测到用户触发的第二操作时，从多帧原始图像中，确定至少两帧目标图像，对至少两帧目标图像分区域进行加权合成得到合成图像。

可以理解的是，由于环境光亮度的影响，成像设备的图像传感器采集的多帧原始图像的不同区域的亮度不完全相同，因此根据多帧原始图像的亮度对图像进行区域的划分，在不同区域内各帧原始图像进行图像合成的权重也不相同。

作为一种示例，假设拍摄图像的过程中，图像传感器采集的到20帧原始图像，用户触发第二操作对采集到的20帧原始图像进行删减，保留满足需求的原始图像，电子设备探测到用户触发的第二操作后，对20帧原始图像进行删减，保留剩余的原始图像作为目标图像，进而对目标图像进行合成成像。具体地，根据各帧目标图像的图像亮度将至少两帧目标图像均划分为不同的区域，再对不同区域的目标图像分别赋予不同的权值，进而根据不同权值合成成像。

需要说明的是，在拍摄图像时，当拍摄场景的环境光亮度较暗时，拍摄得到的原始图像可能会存在噪点，因此在图像合成的过程中，要对合成的图像进行降噪处理，进而对合成降噪处理后的图像进行输出。

本申请实施例的图像合成方法，通过响应于第一操作，控制图像传感器逐帧采集多帧原始图像，对采集到的多帧原始图像进行预览显示，响应于第二操作，从多帧原始图像中，确定至少两帧目标图像，对至少两帧目标图像进行合成，得到合成图像。该方法通过将采集的原始图像进行预览显示，使得用户能够确定出符合需求的至少两帧目标图像，进而对确定的至少两帧目标图像进行合成，得到用户想要的图像效果，解决了现有技术中在图像采集的过程中无法对采集到的图像进行删减，只能被动的对采集到的所有的图像进行合成的技术问题，进而提升了用户的拍摄体验。

作为一种可能的实现方式，如图2所示，上述步骤101中控制图像传感器逐帧采集多帧原始图像的实现过程，具体可以包括以下步骤：

步骤201，测光以确定各帧原始图像的目标曝光量。

其中，曝光量，是指成像设备中的感光器件在曝光时长内接受到光的多少，曝光量与光圈、曝光时长和感光度有关。其中，光圈也就是通光口径，决定单位时间内光线通过的数量；曝光时长，是指光线通过镜头的时间；感光度，又称为ISO值，是衡量底片对于光的灵敏程度的指标，用于表示感光元件的感光速度，ISO数值越高就说明该感光元器件的感光能力越强。

需要说明的是，当成像设备的感光度较低时，需要曝光更长的时间以达到与感光度较高时相同的成像效果。当然，为了减少曝光时间，使用相对较高的感光度通常会引入较多的噪声，从而会导致图像质量降低。因此，在夜景场景下，为了得到较佳的噪声抑制效果，希望设置较低的感光度，例如100ISO或200ISO等，同时，由于手机等电子设备的光圈通常采用固定值，从而需要相应提高曝光时长，即快门时长。

步骤202，根据各帧原始图像的目标曝光量和各帧原始图像预设的感光度，确定各帧原始图像的曝光时长。

本申请实施例中，作为一种可能的实现方式，当各帧原始图像预设的感光度相同时，可以根据拍摄场景的环境光亮度，确定各帧原始图像预设的感光度。在拍摄场景光线比较暗的情况下，提高感光度，可以使快门的速度加快，从而减少画面抖动。

作为另一种可能的实现方式，当各帧原始图像预设的感光度相同时，可以根据成像设备的抖动程度，确定各帧原始图像预设的感光度。

具体地，为了确定抖动程度，可以根据成像设备中设置的位移传感器，采集位移信息，进而，根据采集到的成像设备的位移信息，确定成像设备的抖动程度。当成像设备的抖动程度大于或等于抖动阈值时，确定当前拍摄场景中各帧原始图像预设的感光度取值为第一感光值；当成像设备的抖动程度小于抖动阈值时，确定当前拍摄场景中各帧原始图像预设的感光度取值为第二感光值。其中，抖动阈值，为成像设备中预先设定的用于确定预设感光度取值的抖动值。

其中，第一感光值大于第二感光值，第一感光值为第二感光值的预设倍数，预设倍数的取值大于等于2。作为一种可能的实现方式，为了获得较低的噪声，第二感光值可以为成像设备的最小感光度，即第二感光值的取值为100ISO，相应地，第一感光值的取值范围可以为200、400、800或者更高。

由于曝光量等于感光度乘以曝光时长，因此，本申请实施例中，根据各帧原始图像的目标曝光量和各帧原始图像预设的感光度，可以确定各帧原始图像的曝光时长。

作为一种示例，假如测光确定的一帧待采集图像的目标曝光量为800，确定的该帧待采集图像预设的感光度为400ISO，此时采集该帧原始图像的曝光时长则为2s。通过此方法，可确定各帧原始图像的曝光时长。

步骤203，若至少一帧原始图像的曝光时长大于设定时长上限，根据时长上限，更新至少一帧原始图像的曝光时长。

作为一种可能的实现方式，本申请实施例中，各帧原始图像的曝光时长上限可以根据成像设备的抖动程度确定。

具体地，为了确定抖动程度，可以根据成像设备中设置的位移传感器，采集位移信息，进而，根据采集到的成像设备的位移信息，确定成像设备的抖动程度。当成像设备的抖动程度大于或等于抖动阈值时，确定当前拍摄场景中各帧原始图像的曝光时长上限为第一曝光时长；当成像设备的抖动程度小于抖动阈值时，确定当前拍摄场景中各帧原始图像曝光时长上限为第二曝光时长。其中，抖动阈值，为成像设备中预先设定的用于确定预设感光度取值的抖动值。

其中，时长上限的取值范围为4.5s至5.5s。

本申请实施例中，当至少一帧待采集图像的曝光时长大于曝光时长上限，此时，将该至少一帧原始图像的曝光时长设定为时长上限。进而，根据至少一帧待采集图像的目标曝光量和时长上限，以及曝光量与感光度和曝光时长之间的关系，更新该至少一帧待采集图像的感光度。进而根据曝光时长上限，更新该至少一帧原始图像的曝光时长。

可以理解的是，若至少一帧原始图像对应的曝光时长大于预设的时长上限，则可能导致整体的拍摄时长延长，加剧成像设备的抖动程度，从而使得最终拍摄到的图像中可能出现由于抖动导致的鬼影和图像明显模糊；若待采集图像对应的曝光时长小于预设的时长下限，则可能导致图像中的噪声过大难以消除。

因此，在确定出各帧原始图像对应的曝光时长之后，即可将各曝光时长与预设的时长范围相比较，以判断各帧原始图像对应的曝光时长是否在预设时长范围内。其中，曝光时长上限的取值范围为4.5s至5.5s，时长下限大于或等于10ms。当某一帧原始图像对应的曝光时长小于设定的曝光时长下限时，将该帧原始图像对应的曝光时长设定为时长下限的最小值，即10ms；当某一帧待采集图像对应的曝光时长大于曝光时长上限时，将该帧原始图像对应的曝光时长设定为时长上限的最大值，即5.5s。

作为一种可能的情况，如果某帧原始图像的曝光时长大于时长上限，将该帧原始图像的曝光时长更新为时长上限，进一步的，确定更新后的曝光时长与更新前的曝光时长之间的比值，对曝光时长大于或等于时长下限的其余各帧原始图像，根据比值，更新其余各帧原始图像的感光度或曝光时长。

作为另一种可能的场景，当待采集图像的曝光时长小于时长下限时，将该曝光时长设定为曝光时长下限的最小值，由于曝光量为感光度与曝光时长的乘积，进而根据对应的目标曝光量与曝光时长下限，更新其余各帧原始图像的感光度或曝光时长。

本申请实施例中，若至少一帧原始图像的曝光时长小于设定时长下限，将该曝光时长设定为曝光时长下限的最小值，确定更新后的曝光时长与更新前的曝光时长之间的比值，将比值与其余各帧原始图像更新前的感光度乘积，作为其余各帧原始图像更新后的感光度。也可以将比值与其余各帧原始图像更新前的曝光时长乘积，作为其余各帧原始图像更新后的曝光时长。

举例来说，假设设定某一帧原始图像的曝光时长小于时长下限，将曝光时长取值为时长下限的最小值，即10ms，进而确定更新后的曝光时长与更新前的曝光时长之间的比值，并相应更新其余各帧原始图像的感光度值或曝光时长。例如：根据当前拍摄场景的亮度信息，确定当前的曝光值为EV0。当待采集图像的曝光值为EV+2时，则曝光时长和感光度分别为8ms和100ISO，由于曝光时长为8ms时小于时长下限10ms，则将EV+2的曝光时长取值为10ms，ISO值确定为8/10*100ISO，即为80ISO。由此，通过对该帧待采集图像的曝光时长进行更新，在保证曝光量的同时，提高了图像亮度，避免了曝光时间过长引起的过曝导致图像失真。

步骤204，根据各帧原始图像的曝光时长和感光度，对图像传感器进行曝光控制，以逐帧采集得到多帧原始图像。

本申请实施例中，成像设备可以根据确定的各帧原始图像的曝光时长和感光度，对图像传感器进行曝光控制得到各帧原始图像。

作为一种可能的实现方式，步骤201中所述的测光以确定各帧原始图像的目标曝光量，还可以通过获取预览画面，根据预览画面的画面内容，确定属于夜景场景，根据成像设备的抖动程度和/或预览画面是否包含人脸，识别适用的夜景模式，根据夜景模式，确定各帧原始图像设定的曝光补偿值，根据预览图像的亮度信息，确定基准曝光量，根据基准曝光量和各帧原始图像设定的曝光补偿值，确定各帧原始图像的目标曝光量。具体地的实现过程包括以下步骤：

步骤301，获取预览画面。

步骤302，根据预览画面的画面内容，确定属于夜景场景。

本申请实施例中，可以通过成像设备获取当前拍摄场景的预览画面，用于确定当前拍摄场景是否属于夜景场景。

具体地，由于不同场景下环境亮度值不同，预览画面内容也不相同，根据当前拍摄场景预览画面的画面内容以及各区域的环境亮度值，判断当前拍摄场景是否属于夜景场景。

例如，预览画面的画面内容包括夜晚天空或者夜景灯源等，或者预览画面的各区域中环境亮度值符合夜景环境下图像的亮度分布特性，即可确定当前拍摄场景属于夜景场景。

步骤303，根据成像设备的抖动程度和/或预览画面是否包含人脸，识别适用的夜景模式。

在本申请实施例中，可以通过成像设备设置的位移传感器，采集得到成像设备在拍摄过程中的位移信息，进而根据获取的位移信息确定成像设备当前的抖动程度。由此，可通过成像设备的抖动程度判断使用者是将成像设备固定在脚架上进行拍摄还是通过手持模式拍摄。进而，根据成像设备当前的抖动程度，识别当前拍摄场景适用的夜景模式。其中，夜景模式，即采用脚架模式或者手持模式。

作为一种示例，可以通过获取电子设备当前的陀螺仪(Gyro-sensor)信息，确定成像设备当前的抖动程度。

其中，陀螺仪又叫角速度传感器，可以测量物理量偏转、倾斜时的转动角速度。在成像设备中，陀螺仪可以很好的测量转动、偏转的动作，从而可以精确分析判断出使用者的实际动作。电子设备的陀螺仪信息(gyro信息)可以包括成像设备在三维空间中三个维度方向上的运动信息，三维空间的三个维度可以分别表示为X轴、Y轴、Z轴三个方向，其中，X轴、Y轴、Z轴为两两垂直关系。

由此，本申请实施例中，可以根据电子设备当前的gyro信息，确定成像设备当前的抖动程度。电子设备在三个方向上的gyro运动的绝对值越大，则成像设备的抖动程度越大。具体的，可以预设在三个方向上gyro运动的绝对值阈值，并根据获取到的当前在三个方向上的gyro运动的绝对值之和，与预设的阈值的关系，确定成像设备的当前的抖动程度。

举例来说，假设预设的阈值为第一阈值A、第二阈值B、第三阈值C，且A<B<C，当前获取到的在三个方向上gyro运动的绝对值之和为S。若S<A，则确定成像设备当前的抖动程度为“无抖动”；若A<S<B，则可以确定成像设备当前的抖动程度为“轻微抖动”；若B<S<C，则可以确定成像设备当前的抖动程度为“小抖动”；若S>C，则可以确定成像设备当前的抖动程度为“大抖动”。

需要说明的是，上述举例仅为示例性的，不能视为对本申请的限制。实际使用时，可以根据实际需要预设阈值的数量和各阈值的具体数值，以及根据gyro信息与各阈值的关系，预设gyro信息与成像设备抖动程度的映射关系。

作为另一种可能的实现方式，可通过确定成像设备的预览画面是够包含人脸，进而识别当前拍摄场景适用的夜景模式。

在本申请实施例中，预览画面是否包含人脸可通过人脸识别技术来确定。人脸识别技术，是通过分析比较人脸视觉特征信息进行身份鉴别，它属于生物特征识别技术，是对生物体(一般特指人)本身的生物特征来区分生物体个体。目前，人脸识别技术已应用在众多领域当中，例如，数码相机人脸自动对焦和笑脸快门技术；企业、住宅安全和管理；门禁系统；摄像监视系统等。

需要说明的是，当检测到预览画面包含人脸时，成像设备的测光模块会自动以人脸区域为主进行测光，并根据人脸区域的测光结果确定基准曝光量。然而，在夜景场景中，人脸区域的光照度通常较低，从而导致确定的基准曝光量，与未包含人脸时确定的基准曝光量相比较高，若在包含人脸时仍然采集过多的过曝帧，则容易导致人脸区域过曝，从而导致采集图像的成像效果较差。因此，对于相同的抖动程度，预览画面中包含人脸与未包含人脸时相比，采用的夜景模式不相同。

步骤304，根据夜景模式，确定各帧原始图像设定的曝光补偿值。

其中，预设的曝光补偿值，是指根据当前拍摄场景的环境光亮度预先设定的曝光值(Exposure Value,EV)。在曝光值最初的定义中，曝光值并不是指一个准确的数值，而是指“能够给出统一的曝光量的所有相机光圈与曝光时长的组合”。感光度、光圈和曝光时长确定了相机的曝光量，不同的参数组合可以产生相等的曝光量，即这些不同组合的EV值是一样的，比如，在感光度相同的情况下，使用1/125秒曝光时长和f11的光圈组合，与使用1/250秒曝光时间与f8快门的组合，获得的曝光量是相同的，即EV值是相同的。

作为一种可能的实现方式，成像设备的抖动程度不同，适用当前拍摄场景的夜景模式也不相同，因此，确定出的各帧原始图像预设的曝光补偿值也不相同。在本申请实施例中，可以预设成像设备的抖动程度与曝光补偿值之间的映射关系，以根据成像设备的抖动程度，确定出当前各帧原始图像预设的曝光补偿值。

例如，可以将成像设备的抖动程度为“无抖动”时，各帧原始图像对应的曝光补偿值的EV值范围预设为-6～2，且相邻的EV值之间的差值为0.5；将成像设备的抖动程度为“轻微抖动”，各帧原始图像对应的曝光补偿值的EV值范围预设为-5～1，且相邻的EV值之间的差值为1，等等。

作为另一种可能的实现形式，检测成像设备的预览画面是否包含人脸，预览画面中包含人脸与不包含人脸时，适用当前拍摄场景的夜景模式不相同，由此确定的各帧原始图像预设的曝光补偿值也不相同。

作为另一种可能的实现方式，对于相同的抖动程度，可以根据预览画面中是否包含人脸，确定各帧原始图像采用不同的曝光补偿值。因此，对于相同的抖动程度，可以对应于多个曝光补偿值。比如，成像设备的抖动程度为“轻微抖动”，各帧原始图像预设的曝光补偿值有包含人脸和不含人脸两种情况。

在夜景模式中，当原始图像中包含人脸时，人脸区域的光照强度通常较低，从而导致确定的基准曝光量，与未包含人脸时确定的基准曝光量相比较高，若在包含人脸时仍然采集过多的过曝帧，则容易导致人脸区域过曝，从而导致采集图像的成像效果较差，其对应的曝光补偿模式需要具有较低的曝光补偿范围。因此，对于相同的抖动程度，预览画面中包含人脸与未包含人脸时相比，在确定了成像设备当前的抖动程度，以及预览画面是否包含人脸之后，即可确定出与当前的实际情况相符的预设的曝光补偿值。

步骤305，根据预览图像的亮度信息，确定基准曝光量。

具体地，通过成像设备获取当前拍摄场景的预览图像，进一步的通过感光器件测量得到预览图像各区域的环境光亮度，进而根据预览图像的亮度信息，确定基准曝光量。其中，在光圈固定的情况下，基准曝光量具体可以包括基准曝光时长和基准感光度。

本申请实施例中，基准曝光量，是指通过对预览图像进行测光获取的当前拍摄场景的亮度信息，确定的与当前拍摄场景的亮度信息相适应的曝光量。基准曝光量的取值可以是基准感光度与基准曝光时长之间的乘积。

其中，基准感光度，可以是根据成像设备当前的抖动程度，确定的与当前的抖动程度相适应的感光度，还可以是通过测光得到的感光度，本实施例中对此不作限定。可以理解的是，由于曝光量与感光度会影响到整体的拍摄时长，拍摄时长过长时，可能会导致手持拍摄时成像设备的抖动程度加剧，从而影响图像质量。因此，在根据成像设备当前的抖动程度，确定基准感光度时，应当使得拍摄时长控制在合适的范围内。

步骤306，根据基准曝光量和各帧原始图像设定的曝光补偿值，确定各帧原始图像的目标曝光量。

具体来说，由于曝光量与光圈、曝光时长和感光度有关，当光圈的大小固定时，可根据基准曝光量以及基准感光度，确定出基准曝光时长。将基准曝光时长为EV0，根据各帧原始图像预设的曝光补偿值，可确定各帧原始图像的目标曝光量。

作为一种示例，假如成像设备根据测量得到的预览图像的亮度信息，确定各帧原始图像的基准曝光量为400，此时基准感光度ISO值为100，则基准曝光时长为4s。如果各帧原始图像预设的曝光补偿值均为EV+1，可确定此时的目标曝光量均为800。其中，EV+1的曝光补偿是指相对于成像设备测光数据对应的曝光量增加一档曝光，即实际曝光量为测光数据对应的曝光量的两倍。

在本申请实施例中，预设曝光补偿值时，可以将确定的基准曝光量对应的EV值预设为0，EV+1是指增加一档曝光，即曝光量为基准曝光量的2倍，EV+2是指增加两档曝光，即曝光量为基准曝光量的4倍，EV-1是指减少一档曝光，即曝光量为基准曝光量的0.5倍等等。

举例来说，若图像传感器采集的原始图像数量为7帧，则对应的预设曝光补偿值EV值可以是[+1,+1,+1,+1,0,-3,-6]。其中，预设曝光补偿值为EV+1的帧，可以解决噪声问题，通过亮度比较高的帧进行时域降噪，在提升暗部细节的同时抑制噪声；预设曝光补偿值为EV-6的帧，可以解决高光过曝的问题，保留高光区域的细节；预设曝光补偿值为EV0和EV-3的帧，则可以用于保持高光到暗区之间的过渡，保持较好的明暗过渡的效果。

本申请实施例的图像合成方法，通过测光以确定各帧原始图像的目标曝光量，根据各帧原始图像的目标曝光量和各帧原始图像预设的感光度，确定各帧原始图像的曝光时长，若至少一帧原始图像的曝光时长大于时长上限，根据时长上限，更新至少一帧原始图像的曝光时长，最终根据各帧原始图像的曝光时长和感光度，进行曝光控制。由此，通过根据成像设备的抖动程度，确定了各帧原始图像的曝光时长，进而根据时长上限更新至少一帧原始图像的曝光时长，最终根据更新后的各帧原始图像的曝光时长和感光度，进行曝光控制，得到各帧原始图像，不仅提升了夜景拍摄模式下拍摄图像的动态范围和整体亮度，而且有效抑制了拍摄图像中的噪声，提高了夜景拍摄图像的质量，改善了用户体验。

为了实现上述实施例，本申请还提出一种图像合成装置。

图4为本申请实施例提供的一种图像合成装置的结构示意图。

如图4所示，该图像合成装置100包括：控制模块110、显示模块120、确定模块130以及合成模块140。

控制模块110，用于响应于第一操作，控制图像传感器逐帧采集多帧原始图像。

显示模块120，用于对采集到的多帧原始图像进行预览显示。

确定模块130，用于响应于第二操作，从多帧原始图像中，确定至少两帧目标图像。

合成模块140，用于对至少两帧目标图像进行合成，得到合成图像。

作为一种可能的实现方式，控制模块110，具体用于：测光以确定各帧原始图像的目标曝光量，根据各帧原始图像的目标曝光量和各帧原始图像预设的感光度，确定各帧原始图像的曝光时长，根据各帧原始图像的曝光时长和感光度，对图像传感器进行曝光控制，以逐帧采集得到多帧原始图像。

作为另一种可能的实现方式，控制模块110，还可以具体用于：若至少一帧原始图像的曝光时长大于设定时长上限，根据时长上限，更新至少一帧原始图像的曝光时长；时长上限取值范围为4.5s至5.5s。

作为另一种可能的实现方式，控制模块110，还可以具体用于：若至少一帧原始图像的曝光时长小于设定时长下限，根据时长下限，更新曝光时长小于设定时长下限的各帧原始图像的曝光时长，时长下限大于或等于10ms，进而确定更新后的曝光时长与更新前的曝光时长之间的比值，对曝光时长大于或等于时长下限的其余各帧原始图像，根据比值，更新其余各帧原始图像的感光度或曝光时长。

作为另一种可能的实现方式，控制模块110，还可以包括：

第一处理单元，用于将比值与其余各帧原始图像更新前的感光度乘积，作为其余各帧原始图像更新后的感光度。

或者，用于将比值与其余各帧原始图像更新前的曝光时长乘积，作为其余各帧原始图像更新后的曝光时长。

作为另一种可能的实现方式，控制模块110，还可以包括：

获取单元，用于获取预览画面。

第一确定单元，用于根据预览画面的画面内容，确定属于夜景场景。

识别单元，用于根据成像设备的抖动程度和/或预览画面是否包含人脸，识别适用的夜景模式。

第二确定单元，用于根据夜景模式，确定各帧原始图像设定的曝光补偿值。

第三确定单元，用于根据预览图像的亮度信息，确定基准曝光量。

第四确定单元，用于根据基准曝光量和各帧原始图像设定的曝光补偿值，确定各帧原始图像的目标曝光量。

作为另一种可能的实现方式，显示模块120，具体用于：对采集到的多帧原始图像进行格式转换，得到YUV格式图像，将YUV格式图像压缩至预览尺寸，进而对压缩后的YUV格式图像进行预览显示。

作为另一种可能的实现方式，合成模块140，具体用于：对至少两帧目标图像，分区域进行加权合成得到合成图像。

本申请实施例的图像合成装置，通过响应于第一操作，控制图像传感器逐帧采集多帧原始图像，对采集到的多帧原始图像进行预览显示，响应于第二操作，从多帧原始图像中，确定至少两帧目标图像，对至少两帧目标图像进行合成，得到合成图像。该方法通过将采集的原始图像进行预览显示，使得用户能够确定出符合需求的至少两帧目标图像，进而对确定的至少两帧目标图像进行合成，得到用户想要的图像效果，解决了现有技术中在图像采集的过程中无法对采集到的图像进行删减，只能被动的对采集到的所有的图像进行合成的技术问题，进而提升了用户的拍摄体验。

需要说明的是，前述对图像合成方法实施例的解释说明也适用于该实施例的图像合成装置，此处不再赘述。

为了实现上述实施例，本申请还提出一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如上述实施例中所述的图像合成方法。

请参阅图5，本申请还提供另一种电子设备200。电子设备200包括存储器50和处理器60。存储器50中存储有计算机可读指令。计算机可读指令被存储器50执行时，使得处理器60执行上述任一实施方式的曝光控制方法。

图5为一个实施例中电子设备200的内部结构示意图。该电子设备200包括通过系统总线81连接的处理器60、存储器50(例如为非易失性存储介质)、内存储器82、显示屏83和输入装置84。其中，电子设备200的存储器50存储有操作系统和计算机可读指令。该计算机可读指令可被处理器60执行，以实现本申请实施方式的曝光控制方法。该处理器60用于提供计算和控制能力，支撑整个电子设备200的运行。电子设备200的内存储器50为存储器52中的计算机可读指令的运行提供环境。电子设备200的显示屏83可以是液晶显示屏或者电子墨水显示屏等，输入装置84可以是显示屏83上覆盖的触摸层，也可以是电子设备200外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。该电子设备200可以是手机、平板电脑、笔记本电脑、个人数字助理或穿戴式设备(例如智能手环、智能手表、智能头盔、智能眼镜)等。本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的示意图，并不构成对本申请方案所应用于其上的电子设备200的限定，具体的电子设备200可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

请参阅图6，本申请实施例的电子设备200中包括图像处理电路90，图像处理电路90可利用硬件和/或软件组件实现，包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图6为一个实施例中图像处理电路90的示意图。如图6所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图6所示，图像处理电路90包括ISP处理器91(ISP处理器91可为处理器60)和控制逻辑器92。摄像头93捕捉的图像数据首先由ISP处理器91处理，ISP处理器91对图像数据进行分析以捕捉可用于确定摄像头93的一个或多个控制参数的图像统计信息。摄像头93可包括一个或多个透镜932和图像传感器934。图像传感器934可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器934可获取每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器91处理的一组原始图像数据。传感器94(如陀螺仪)可基于传感器94接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器91。传感器94接口可以为SMIA(StandardMobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外，图像传感器934也可将原始图像数据发送给传感器94，传感器94可基于传感器94接口类型把原始图像数据提供给ISP处理器91，或者传感器94将原始图像数据存储到图像存储器95中。

ISP处理器91按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器91可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器91还可从图像存储器95接收图像数据。例如，传感器94接口将原始图像数据发送给图像存储器95，图像存储器95中的原始图像数据再提供给ISP处理器91以供处理。图像存储器95可为存储器50、存储器50的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器934接口或来自传感器94接口或来自图像存储器95的原始图像数据时，ISP处理器91可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器95，以便在被显示之前进行另外的处理。ISP处理器91从图像存储器95接收处理数据，并对处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器91处理后的图像数据可输出给显示器97(显示器97可包括显示屏83)，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器91的输出还可发送给图像存储器95，且显示器97可从图像存储器95读取图像数据。在一个实施例中，图像存储器95可被配置为实现一个或多个帧缓冲器。此外，ISP处理器91的输出可发送给编码器/解码器96，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器97设备上之前解压缩。编码器/解码器96可由CPU或GPU或协处理器实现。

ISP处理器91确定的统计数据可发送给控制逻辑器92单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜932阴影校正等图像传感器934统计信息。控制逻辑器92可包括执行一个或多个例程(如固件)的处理元件和/或微控制器，一个或多个例程可根据接收的统计数据，确定摄像头93的控制参数及ISP处理器91的控制参数。例如，摄像头93的控制参数可包括传感器94控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜932控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜932阴影校正参数。

以下为运用图6中图像处理技术实现图像合成方法的步骤：

响应于第一操作，控制图像传感器逐帧采集多帧原始图像；

对采集到的多帧原始图像进行预览显示；

响应于第二操作，从所述多帧原始图像中，确定至少两帧目标图像；

对所述至少两帧目标图像进行合成，得到合成图像。

为了实现上述实施例，本申请还提出一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上述实施例所述的图像合成方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (11)

1.一种图像合成方法，其特征在于，所述方法包括以下步骤：

响应于第一操作，控制图像传感器逐帧采集多帧原始图像；

对采集到的多帧原始图像进行预览显示；

响应于第二操作，从所述多帧原始图像中，确定至少两帧目标图像；

对所述至少两帧目标图像进行合成，得到合成图像。

2.根据权利要求1所述的图像合成方法，其特征在于，所述控制图像传感器逐帧采集多帧原始图像，包括：

测光以确定各帧原始图像的目标曝光量；

根据各帧原始图像的目标曝光量和各帧原始图像预设的感光度，确定各帧原始图像的曝光时长；

根据各帧原始图像的曝光时长和感光度，对所述图像传感器进行曝光控制，以逐帧采集得到所述多帧原始图像。

3.根据权利要求2所述的图像合成方法，其特征在于，所述根据各帧原始图像的目标曝光量和各帧原始图像预设的感光度，确定各帧原始图像的曝光时长之后，还包括：

若至少一帧原始图像的曝光时长大于设定时长上限，根据所述时长上限，更新所述至少一帧原始图像的曝光时长；所述时长上限取值范围为4.5s至5.5s。

4.根据权利要求2所述的图像合成方法，其特征在于，所述根据各帧原始图像的目标曝光量和各帧原始图像预设的感光度，确定各帧原始图像的曝光时长之后，还包括：

若至少一帧原始图像的曝光时长小于设定时长下限，根据所述时长下限，更新曝光时长小于设定时长下限的各帧原始图像的曝光时长；所述时长下限大于或等于10ms；

确定更新后的曝光时长与更新前的曝光时长之间的比值；

对曝光时长大于或等于所述时长下限的其余各帧原始图像，根据所述比值，更新所述其余各帧原始图像的感光度或曝光时长。

5.根据权利要求4所述的图像合成方法，其特征在于，所述根据所述比值，更新所述其余各帧原始图像的感光度或曝光时长，包括：

将所述比值与所述其余各帧原始图像更新前的感光度乘积，作为所述其余各帧原始图像更新后的感光度；

或者，将所述比值与所述其余各帧原始图像更新前的曝光时长乘积，作为所述其余各帧原始图像更新后的曝光时长。

6.根据权利要求2所述的图像合成方法，其特征在于，所述测光以确定各帧原始图像的目标曝光量，包括：

获取预览画面；

根据所述预览画面的画面内容，确定属于夜景场景；

根据成像设备的抖动程度和/或所述预览画面是否包含人脸，识别适用的夜景模式；

根据所述夜景模式，确定各帧原始图像设定的曝光补偿值；

根据预览图像的亮度信息，确定基准曝光量；

根据所述基准曝光量和各帧原始图像设定的曝光补偿值，确定各帧原始图像的目标曝光量。

7.根据权利要求1-6任一项所述的图像合成方法，其特征在于，所述对采集到的多帧原始图像进行预览显示，包括：

对采集到的多帧原始图像进行格式转换，得到YUV格式图像；

将所述YUV格式图像压缩至预览尺寸；

对压缩后的YUV格式图像进行预览显示。

8.根据权利要求1-6任一项所述的图像合成方法，其特征在于，所述对所述至少两帧目标图像进行合成，得到合成图像，包括：

对所述至少两帧目标图像，分区域进行加权合成得到所述合成图像。

9.一种图像合成装置，其特征在于，所述装置包括：

控制模块，用于响应于第一操作，控制图像传感器逐帧采集多帧原始图像；

显示模块，用于对采集到的多帧原始图像进行预览显示；

确定模块，用于响应于第二操作，从所述多帧原始图像中，确定至少两帧目标图像；

合成模块，用于对所述至少两帧目标图像进行合成，得到合成图像。

10.一种电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-8中任一所述的图像合成方法。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的图像合成方法。