CN110198419A

CN110198419A - 图像处理方法、装置、存储介质及电子设备

Info

Publication number: CN110198419A
Application number: CN201910579952.6A
Authority: CN
Inventors: 康健
Original assignee: Guangdong Oppo Mobile Telecommunications Corp Ltd
Current assignee: Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date: 2019-06-28
Filing date: 2019-06-28
Publication date: 2019-09-03

Abstract

本申请公开了一种图像处理方法、装置、存储介质及电子设备。该方法包括：获取初始曝光值，并根据该初始曝光值确定第一曝光值和第二曝光值；按照该第一曝光值和该第二曝光值，交替获取第一RAW图像和第二RAW图像，其中，该第一RAW图像具有该第一曝光值，该第二RAW图像具有该第二曝光值；将该第一RAW图像和该第二RAW图像进行合成，得到具有高动态范围的RAW合成图像；利用该RAW合成图像，进行图像的预览或拍照或录像操作。本申请处理得到的图像能够适用于预览、拍照和录像。

Description

图像处理方法、装置、存储介质及电子设备

技术领域

本申请属于图像技术领域，尤其涉及一种图像处理方法、装置、存储介质及电子设备。

背景技术

相比于普通的图像，高动态范围图像(High-Dynamic Range，简称HDR)可以提供更多的动态范围和图像细节。电子设备可以在同一场景下拍摄具有不同曝光程度的多帧图像，将过曝光图像的暗部细节、正常曝光图像的中间细节和欠曝光图像的亮部细节合成得到HDR图像。然而，相关的HDR技术处理得到的图像难以同时适用于预览、拍照和录像。

发明内容

本申请实施例提供一种图像处理方法、装置、存储介质及电子设备，其处理得到的图像能够适用于预览、拍照和录像。

本申请实施例提供一种图像处理方法，包括：

获取初始曝光值，并根据所述初始曝光值确定第一曝光值和第二曝光值；

按照所述第一曝光值和所述第二曝光值，交替获取第一RAW图像和第二RAW图像，其中，所述第一RAW图像具有所述第一曝光值，所述第二RAW图像具有所述第二曝光值；

将所述第一RAW图像和所述第二RAW图像进行合成，得到具有高动态范围的RAW合成图像；

利用所述RAW合成图像，进行图像的预览或拍照或录像操作。

本申请实施例提供一种图像处理装置，包括：

第一获取模块，用于获取初始曝光值，并根据所述初始曝光值确定第一曝光值和第二曝光值；

第二获取模块，用于按照所述第一曝光值和所述第二曝光值，交替获取第一RAW图像和第二RAW图像，其中，所述第一RAW图像具有所述第一曝光值，所述第二RAW图像具有所述第二曝光值；

合成模块，用于将所述第一RAW图像和所述第二RAW图像进行合成，得到具有高动态范围的RAW合成图像；

处理模块，用于利用所述RAW合成图像，进行图像的预览或拍照或录像操作。

本申请实施例提供一种存储介质，其上存储有计算机程序，当所述计算机程序在计算机上执行时，使得所述计算机执行本申请实施例提供的图像处理方法。

本申请实施例还提供一种电子设备，包括存储器，处理器，所述处理器通过调用所述存储器中存储的计算机程序，用于执行本申请实施例提供的图像处理方法。

本实施例中，由于第一RAW图像和第二RAW图像均是完整曝光的RAW图像，因此用该第一RAW图像和第二RAW图像去做高动态范围合成处理后得到的图像其分辨率就不会有损失，其信噪比也较高，即本实施例中得到的具有高动态范围的RAW合成图像具有分辨率高和信噪比高的优点。这种分辨率高、信噪比高的具有高动态范围的RAW合成图像可以直接用于图像预览、拍照和录像。

附图说明

下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其有益效果显而易见。

图1是本申请实施例提供的图像处理方法的流程示意图。

图2为电子设备按照第一曝光值和第二曝光值交替获取第一RAW图像和第二RAW图像的示意图。

图3是本申请实施例提供的图像处理方法的另一流程示意图。

图4为电子设备按照第一曝光时间和第二曝光时间交替获取第一RAW图像和第二RAW图像的示意图。

图5为电子设备将前后相邻获取到的第一RAW图像和第二RAW图像合成的示意图。

图6为拍摄场景的移动物体在合成图像中出现重影现象的示意图。

图7为本申请实施例提供的图像处理方法中的图像合成示意图。

图8至图11是本申请实施例提供的图像处理方法的场景示意图。

图12是本申请实施例提供的图像处理装置的结构示意图。

图13是本申请实施例提供的电子设备的结构示意图。

图14是本申请实施例提供的电子设备的另一结构示意图。

图15为本实施例中图像处理电路的结构示意图。

具体实施方式

请参照图示，其中相同的组件符号代表相同的组件，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。

可以理解的是，本申请实施例的执行主体可以是诸如智能手机或平板电脑等具有摄像模组的电子设备。

请参阅图1，图1是本申请实施例提供的图像处理方法的流程示意图，流程可以包括：

101、获取初始曝光值，并根据该初始曝光值确定第一曝光值和第二曝光值。

相比于普通的图像，高动态范围图像(High-Dynamic Range，简称HDR)可以提供更多的动态范围和图像细节。电子设备可以在同一场景下拍摄具有不同曝光程度的多帧图像，将过曝光图像的暗部细节、正常曝光图像的中间细节和欠曝光图像的亮部细节合成得到HDR图像。然而，相关的HDR技术处理得到的图像难以同时适用于预览、拍摄和录像。

比如，利用zzHDR技术进行图像处理时，因为zzHDR技术是在同一帧图像中既有进行长曝光的像素又有进行短曝光的像素，长、短曝光像素合并生成高动态范围图像时，会降低至少一半的分辨率。因此利用zzHDR技术得到的高动态范围图像无法用于拍照或者录像，否则用户会明显看出分辨率降低的图像显示效果。即，zzHDR技术无法适用于拍照和录像的场景。相关技术中的另一些HDR技术也存在着诸如分辨率降低或者信噪比较低的问题，使得这些HDR技术处理得到的图像无法同时适用于预览、拍照和录像。

本实施例提供的图像处理方法可以应用于具有摄像模组的电子设备。电子设备的摄像模组由透镜和图像传感器构成，其中透镜用于采集外部的光源信号提供给图像传感器，图像传感器感应来自于透镜的光源信号，将其转换为数字化的原始图像数据，即RAW图像数据。RAW是未经处理、也未经压缩的格式，可以将其形象地称为“数字底片”。

在本申请实施例中，比如，电子设备可以先获取一初始曝光值，并根据该初始曝光值确定第一曝光值和第二曝光值。可以理解的是，第一曝光值和第二曝光值为不同的曝光值。

102、按照第一曝光值和第二曝光值，交替获取第一RAW图像和第二RAW图像，其中，该第一RAW图像具有该第一曝光值，该第二RAW图像具有该第二曝光值。

比如，在确定出第一曝光值和第二曝光值之后，电子设备可以按照该第一曝光值和第二曝光值交替获取第一RAW图像和第二RAW图像。其中，该第一RAW图像具有第一曝光值，该第二RAW图像具有第二曝光值。本实施例中将电子设备获取到的具有第一曝光值的图像统一记为第一RAW图像，将电子设备获取到的具有第二曝光值的图像统一记为第二RAW图像。

请参阅图2，图2为电子设备按照第一曝光值和第二曝光值交替获取第一RAW图像和第二RAW图像的示意图。电子设备可以先按照第一曝光值获取第一RAW图像X₁(电子设备获取到的第一帧图像)，再按照第二曝光值获取第二RAW图像X₂(电子设备获取到的第二帧图像)，再按照第一曝光值获取第一RAW图像X₃(电子设备获取到的第三帧图像)，再按照第二曝光值获取第二RAW图像X₄(电子设备获取到的第四帧图像)，等等。

103、将第一RAW图像和第二RAW图像进行合成，得到具有高动态范围的RAW合成图像。

比如，在获取到第一RAW图像和第二RAW图像之后，电子设备可以将第一RAW图像和第二RAW图像进行合成，从而得到具有高动态范围的RAW合成图像。

104、利用RAW合成图像，进行图像的预览或拍照或录像操作。

比如，在得到具有高动态范围的RAW合成图像后，电子设备可以利用该RAW合成图像进行图像的预览或拍照或录像操作。

例如，电子设备可以在对该RAW合成图像进行一定处理后显示在该电子设备的相机应用的预览界面供用户预览。或者，当电子设备接收到拍照指令，例如用户按下拍照按钮时，该电子设备可以在对该RAW合成图像进行一定的处理后作为照片输出显示在显示屏上供用户查看。或者，当电子设备接收到录像指令时，电子设备可以在对该RAW合成图像进行一定处理后将其作为录像得到的视频的其中一帧。

需要说明的是，本实施例中，由于第一RAW图像和第二RAW图像均是完整曝光的RAW图像，因此用该第一RAW图像和第二RAW图像去做高动态范围合成处理后得到的图像其分辨率就不会有损失，其信噪比也较高，即本实施例中得到的具有高动态范围的RAW合成图像具有分辨率高和信噪比高的优点。这种分辨率高、信噪比高的具有高动态范围的RAW合成图像可以直接用于图像预览、拍照和录像。

此外，本申请实施例中，电子设备可以根据一初始曝光值来确定第一曝光值和第二曝光值，并利用该第一曝光值和第二曝光值来交替获取用于HDR合成的第一RAW图像和第二RAW图像。因此，本实施例可以提高电子设备合成具有高动态范围的图像的灵活性。

请参阅图3，图3为本申请实施例提供的图像处理方法的另一流程示意图，流程可以包括：

201、电子设备获取初始曝光值，并按照该初始曝光值获取参考图像。

202、电子设备获取参考图像的预设参数的数值，并根据该预设参数的数值确定第二曝光值，其中，初始曝光值大于该第二曝光值，该预设参数为图像中亮度大于预设阈值的像素点数量与亮度小于预设阈值的像素点数量之间的比值。

203、电子设备根据第二曝光值确定第一曝光值，其中，该第一曝光值大于该第二曝光值。

比如，201、202以及203可以包括：

电子设备可以先获取一初始曝光值，并按照该初始曝光值拍摄一帧图像，该图像即为参考图像。在拍摄得到该参考图像后，电子设备可以获取该参考图像的预设参数的数值，并根据该预设参数的数值确定第二曝光值。其中，该初始曝光值可以大于该第二曝光值。在确定出第二曝光值之后，电子设备可以根据该第二曝光值确定出第一曝光值。其中，该第一曝光值可以大于该第二曝光值。该预设参数为图像中亮度大于预设阈值的像素点数量与亮度小于预设阈值的像素点数量之间的比值。

例如，电子设备获取的初始曝光值可以为一曝光时间，例如为初始曝光时间T₀。在获取到该初始曝光时间T₀之后，电子设备可以拍摄一帧曝光时间为T₀的图像，并将其确定为参考图像，例如为Y₁。在拍摄得到参考图像Y₁后，电子设备可以获取该参考图像Y1的预设参数的数值。需要说明的是，预设参数为图像中亮度大于预设阈值的像素点数量与亮度小于预设阈值的像素点数量之间的比值，该比值越大，表示图像中的过曝区域越大。在这种情况下，电子设备可以将用于进行短曝光的曝光时间设置得较小一些，从而保证能够获取到较多的过曝区域的图像信息(图像细节)。

例如，电子设备可以预先设置不同的预设参数的数值或范围与第二曝光时间的对应关系。其中，该第二曝光时间为用于进行短曝光的曝光时间。那么，在获取到参考图像的预设参数的数值后，电子设备即可以根据该参考图像的预设参数的数值确定出对应的第二曝光时间。例如，预设参数的数值为1:1时，其对应的第二曝光时间为t₁。预设参数的数值为2:1时，其对应的第二曝光时间为t₂。预设参数的数值为3:1时，其对应的第二曝光时间为t₃，等等。在本实施例中，初始曝光时间T₀可以大于所有的第二曝光时间。

在确定出第二曝光时间后，电子设备可以根据该第二曝光时间确定出第一曝光时间。其中，该第一曝光时间可以是确定出来的用于电子设备进行长曝光的曝光时间。该第一曝光时间可以大于该第二曝光时间。

在一种实施方式中，电子设备可以通过如下方式来根据第二曝光时间确定第一曝光时间：根据第二曝光时间确定第一曝光时间，其中，该第一曝光时间为该第二曝光时间的预设倍数，该预设倍数为大于1的正数。

例如，电子设备确定的用于进行短曝光的第二曝光时间为t₁，预设倍数为2。那么，电子设备可以将第一曝光时间确定为2t₁。或者，预设倍数为3，那么电子设备可以将第一曝光时间确定为3t₁，等等。

204、按照第一曝光值和第二曝光值，电子设备交替获取第一RAW图像和第二RAW图像，其中，该第一RAW图像具有该第一曝光值，该第二RAW图像具有该第二曝光值。

比如，在确定出第一曝光值和第二曝光值后，电子设备可以按照该第一曝光值和第二曝光值交替获取第一RAW图像和第二RAW图像。例如，在其它曝光参数相同的情况下，电子设备可以按照第一曝光时间和第二曝光时间交替获取第一RAW图像和第二RAW图像。其中，第一RAW图像的曝光时间为所述第一曝光时间，第二RAW图像的曝光时间为所述第二曝光时间。本实施例中，由于第一曝光时间大于第二曝光时间，因此本实施例中可以将第一RAW图像称为长曝光图像，将第二RAW图像称为短曝光图像。并且，本实施例中将电子设备获取到的具有第一曝光时间的图像统一记为第一RAW图像，将电子设备获取到的具有第二曝光时间的图像统一记为第二RAW图像。

可以理解的是，本实施例中，第一RAW图像、第二RAW图像和参考图像可以是仅有曝光时间不同而其它曝光参数相同的图像。

在本申请实施例中，电子设备在获取RAW图像时可以具有较高的帧率。例如，帧率为30fps或者60fps。较高的帧率可以保证电子设备后续合成得到的RAW合成图像应用于预览或视频时，用户可以在相机界面看到流畅的画面。

请参阅图4，图4为电子设备按照第一曝光时间和第二曝光时间交替获取第一RAW图像和第二RAW图像的示意图。电子设备可以先按照第一曝光时间获取第一RAW图像L1(电子设备获取到的第一帧图像)，再按照第二曝光时间获取第二RAW图像S1(电子设备获取到的第二帧图像)，再按照第一曝光时间获取第一RAW图像L2(电子设备获取到的第三帧图像)，再按照第二曝光时间获取第二RAW图像S2(电子设备获取到的第四帧图像)，再按照第一曝光时间获取第一RAW图像L3(电子设备获取到的第五帧图像)，再按照第二曝光时间获取第二RAW图像S3(电子设备获取到的第六帧图像)，等等。

205、电子设备将前后相邻获取到的第一RAW图像和第二RAW图像合成，得到具有高动态范围的RAW合成图像。

比如，在交替且不断地获取到具有第一曝光时间的第一RAW图像以及具有第二曝光时间的第二RAW图像的过程中，电子设备可以将前后相邻获取到的第一RAW图像和第二RAW图像进行合成，从而得到具有高动态范围的RAW合成图像。例如，电子设备可以将前后相邻获取到的长曝光图像和短曝光图像这两帧图像进行HDR合成，从而不断地得到具有高动态范围的RAW合成图像。

例如，请参阅图5，电子设备在获取到长曝光图像L1和短曝光图像S1后，电子设备可以将这两帧图像进行HDR合成，从而得到具有高动态范围的图像P1。在得到长曝光图像L2后，电子设备可以将S2和L2进行HDR合成，从而得到具有高动态范围的图像P2。在得到短曝光图像S2后，电子设备可以将L2和S2进行HDR合成，从而得到具有高动态范围的图像P3。在得到长曝光图像L3后，电子设备可以将S2和L3进行HDR合成，从而得到具有高动态范围的图像P4。在得到长曝光图像S3后，电子设备可以将L3和S3进行HDR合成，从而得到具有高动态范围的图像P5，等等。

在另一种实施方式中，电子设备也可以将每顺序进行一次长曝光和短曝光得到的图像确定为一组图像，并将同一组图像中的长曝光图像和短曝光图像进行HDR合成，从而得到具有高动态范围的RAW合成图像。例如，在得到长曝光图像L1和短曝光图像S1后，电子设备可以将L1和S1进行HDR合成，得到HDR图像。在得到长曝光图像L2和短曝光图像S2后，电子设备可以将L2和S2进行HDR合成，得到HDR图像。在得到长曝光图像L3和短曝光图像S3后，电子设备可以将L3和S3进行HDR合成，得到HDR图像。但电子设备不会将不同组的长曝光图像和短曝光图像进行HDR合成。例如，电子设备不会将S1和L2进行HDR合成。

206、电子设备对RAW合成图像进行降噪处理，得到降噪后的RAW合成图像。

207、电子设备利用降噪后的RAW合成图像，进行图像的预览或拍照或录像操作。

比如，206和207可以包括：

在得到具有高动态范围的RAW合成图像后，电子设备可以对该RAW合成图像进行降噪处理，从而得到降噪后的RAW合成图像。之后，电子设备可以利用降噪后的RAW合成图像进行图像的预览或拍照或录像操作。

例如，在得到具有高动态范围的RAW合成图像P1后，电子设备可以对图像P1进行降噪处理，得到降噪后的图像P1。之后，电子设备可以利用降噪后的图像P1进行图像的预览或拍照或录像操作。例如，电子设备可以在对该图像P1进行一定处理(如图像锐化等)后显示在该电子设备的相机应用的预览界面供用户预览。或者，当电子设备接收到拍照指令，例如用户按下拍照按钮时，该电子设备可以在对该图像P1进行一定的处理(如图像锐化等)后作为照片输出显示在显示屏上供用户查看。或者，当电子设备接收到录像指令时，电子设备可以在对该图像P1进行一定处理(如图像锐化等)后将其作为录像得到的视频的其中一帧。

在得到具有高动态范围的RAW合成图像P2后，电子设备可以对图像P2进行降噪处理，得到降噪后的图像P2。之后，电子设备可以利用降噪后的图像P2进行图像的预览或拍照或录像操作。在得到具有高动态范围的RAW合成图像P3后，电子设备可以对图像P3进行降噪处理，得到降噪后的图像P3。之后，电子设备可以利用降噪后的图像P3进行图像的预览或拍照或录像操作，等等。

需要说明的是，由于RAW图像尚未经过图像信号处理器ISP的处理，因此RAW图像具有更多的原始图像信息(细节)，但同时RAW图像的噪声有可能比较大。因此，本实施例中，在得到具有高动态范围的RAW合成图像后，电子设备可以对该RAW合成图像进行降噪处理，得到降噪后的RAW合成图像，再利用该降噪后的RAW合成图像进行图像的预览或拍照或录像操作。这样可以是用户得到具有更好的成效效果的图像。

在另一种实施方式中，电子设备也可以在HDR合成前对第一RAW图像和第二RAW图像先进行降噪，从而得到降噪后的第一RAW图像和降噪后的第二RAW图像。之后，电子设备再将降噪后的第一RAW图像和降噪后的第二RAW图像进行HDR合成，从而得到具有高动态范围的RAW合成图像，并利用该RAW合成图像进行图像的预览或拍照或录像等操作。

在一种实施方式中，电子设备在执行将第一RAW图像和第二RAW图像进行合成，得到具有高动态范围的RAW合成图像时，可以执行：

根据第一RAW图像和第二RAW图像，电子设备检测在图像获取过程中是否存在移动物体；

当检测到在图像获取过程中不存在移动物体时，电子设备将第一RAW图像和第二RAW图像进行合成，得到具有高动态范围的RAW合成图像；

当检测到在图像获取过程中存在移动物体时，电子设备识别第一位置区域和第二位置区域，其中该第一位置区域包含该移动物体在各帧RAW图像中的位置，该第二位置区域为各帧RAW图像中除该第一位置区域之外的区域；电子设备从第一RAW图像和第二RAW图像中选取基准图像；基于各帧RAW图像中的第二位置区域，以及基准图像中的第一位置区域，电子设备将第一RAW图像和第二RAW图像进行合成，得到具有高动态范围的RAW合成图像。

比如，由于第一RAW图像为长曝光图像，第二RAW图像为短曝光图像，即电子设备时交替进行长曝光和短曝光的，因此若拍摄场景中有物体发生移动时，将容易出现重影或鬼影问题。请参阅图6，图6为拍摄场景的移动物体在合成图像中出现重影现象的示意图。

在本实施例中，为了有效避免合成图像中出现重影现象，在获取到第一RAW图像和第二RAW图像后，电子设备可以检测在图像的拍摄过程中是否存在移动物体。

若检测到在图像的拍摄过程中不存在移动物体，那么电子设备可以直接将第一RAW图像和第二RAW图像进行合成，从而得到具有高动态范围的RAW合成图像。

若检测到在图像的拍摄过程中存在移动物体，那么电子设备可以先识别移动物体在各帧RAW图像中所在的位置，并根据移动物体在各帧RAW图像中的位置确定出第一位置区域。其中，该第一位置区域包含该移动物体在各帧RAW图像中的位置。在确定出第一位置区域后，电子设备可以据此确定出第二位置区域，该第二位置区域为各帧RAW图像中出第一位置区域之外的区域。请参阅图7，图7为本申请实施例提供的图像处理方法中的图像合成示意图。其中的椭圆形虚线圈出的区域为第一位置区域，为移动物体在两帧RAW图像中的位置的合并。椭圆形虚线圈出的区域之外的区域为不包含移动物体的第二位置区域。在进行图像合成时，电子设备可以从第一RAW图像和第二RAW图像中选择一帧图像作为基准图像。例如，电子设备可以将第一RAW图像和第二RAW图像中的任意一帧确定为基准图像。或者，电子设备可以将第一RAW图像确定为基准图像。

之后，电子设备可以进行图像的HDR合成。在进行图像的HDR合成时，基准图像中的第一位置区域的图像保持不变，第二位置区域使用第一RAW图像和第二RAW图像进行合成，得到一帧RAW合成图像。即第一位置区域中的信息只来自于基准图像，不需要使用其他图像进行合成。通过这种方式得到的合成图像中移动物体所在的区域就不会出现重影。

在一种实施方式中，电子设备可以通过如下方式来检测在图像获取过程中是否存在移动物体：

电子设备计算第一RAW图像和第二RAW图像的相似度；

若所述相似度小于预设相似度阈值，则判定在图像获取过程中存在移动物体；

若所述相似度不小于所述预设相似度阈值，则判定在图像获取过程中不存在移动物体。

比如，电子设备可以先计算用于进行HDR合成的第一RAW图像和第二RAW图像的相似度，并检测该相似度是否小于预设相似度阈值。若是，则电子设备可以判定在图像获取过程中拍摄场景中存在移动物体。若否，则电子设备可以判定在图像获取过程中拍摄场景中不存在移动物体。

当然，在本申请实施例中还可以通过其它方式来判断在图像获取过程中是否存在移动物体，本申请实施例对此不做限定，只要能检测出在图像获取过程中拍摄场景里是否存在移动物体即可。

在一些实施方式中，第一RAW图像和第二RAW图像可以是直接从图像传感器输出的RAW数据对应的RAW图像，也可以是基于MIPI RAW数据恢复而来的RAW数据对应的RAW图像，或者也可以是从图像传感器输出的RAW数据经过诸如坏点检测和修复等处理后得到的数据(Ideal RAW)所对应的RAW图像，本实施例对此不做具体限定。

在一些实施方式中，电子设备在对第一RAW图像和第二RAW图像进行HDR合成时也可以按照预设的策略方式来选取HDR合成时的基准图像。例如，电子设备可以先计算第一RAW图像和第二RAW图像的信噪比，并将信噪比的数值较大的图像确定为HDR合成的基准图像。比如，第一RAW图像的信噪比较高，那么电子设备可以将第一RAW图像确定为HDR合成的基准图像。即，在进行HDR合成时，电子设备可以从第二RAW图像中获取亮部细节，并将该亮部细节与第一RAW图像进行合成。又如，第二RAW图像的信噪比较高，那么电子设备可以将第二RAW图像确定为HDR合成的基准图像。即，在进行HDR合成时，电子设备可以从第一RAW图像中获取暗部细节，并将该暗部细节与第一RAW图像进行合成。

当然，电子设备也可以指定以第一RAW图像作为基准图像，或指定以第二RAW图像作为基准图像。

请参阅图8至图11，图8至图11为本申请实施例提供的图像处理方法的场景示意图。

比如，如图8所示，用户点击了相机应用的图标，并将摄像头对准某一场景。此时电子设备进入相机应用的预览界面。当检测到进入预览界面后，电子设备可以获取一预先设置的初始曝光时间T₀。在获取到该初始曝光时间T₀之后，电子设备可以拍摄一帧曝光时间为T₀的图像，并将其确定为参考图像，例如为Y₁。在拍摄得到参考图像Y₁后，电子设备可以获取该参考图像Y1的预设参数的数值。该预设参数为图像中亮度大于预设阈值的像素点数量与亮度小于预设阈值的像素点数量之间的比值，该比值越大，表示图像中的过曝区域越大。

在获取到参考图像Y1的预设参数的数值后，电子设备可以根据该预设参数的数值确定出用于进行短曝光的第二曝光时间。例如，电子设备获取到的预设参数的数值为2:1，电子设备预先设置了与2:1的数值对应的曝光时间为T₁。那么，电子设备可以将T₁确定为第二曝光时间。

在确定出第二曝光时间T₁后，电子设备可以获取预设倍数。例如，预设倍数为2。那么，电子设备可以将用于进行长曝光的第一曝光时间确定为2T₁。

在确定出第一曝光时间和第二曝光时间后，电子设备可以按照该第一曝光时间和第二曝光时间进行交替曝光，从而交替获取到第一RAW图像和第二RAW图像。其中，第一RAW图像具有第一曝光时间，第二RAW图像具有第二曝光时间。本实施例中，将具有第一曝光时间的图像统一记为第一RAW图像，将具有第二曝光时间的图像统一记为第二RAW图像。可以理解的是，参考图像Y1、第一RAW图像和第二RAW图像除了曝光时间不同外，其它曝光参数可以相同。

在交替且不断地获取到具有第一曝光时间的第一RAW图像以及具有第二曝光时间的第二RAW图像的过程中，电子设备可以将前后相邻获取到的第一RAW图像和第二RAW图像进行合成，从而得到具有高动态范围的RAW合成图像。

例如，请参阅图5，电子设备在获取到长曝光图像L1和短曝光图像S1后，电子设备可以将这两帧图像进行HDR合成，从而得到具有高动态范围的图像P1。在获取到图像P1后，电子设备可以将图像P1转换为YUV格式的图像，并对格式转换后的图像进行诸如图像锐化、图像降噪等预设处理，得到处理后的图像。之后，电子设备可以将该处理后的图像显示在显示屏上，即在预览界面中显示给用户查看。

在得到长曝光图像L2后，电子设备可以将S1和L2进行HDR合成，从而得到具有高动态范围的图像P2。在得到短曝光图像S2后，电子设备可以将L2和S2进行HDR合成，从而得到具有高动态范围的图像P3。在得到长曝光图像L3后，电子设备可以将S2和L3进行HDR合成，从而得到具有高动态范围的图像P4，等等。

在依次得到图像P2、P3和P4后，电子设备同样可以将图像P2、P3和P4转换为YUV格式的图像，并对格式转换后的图像进行诸如图像锐化、图像降噪等预设处理，得到处理后的图像。之后，电子设备可以将该处理后的图像显示在显示屏上，即在预览界面中显示给用户查看。即，预览界面上会依次显示由图像P1、P2、P3和P4等经过格式转换和预设处理后的图像。

可以理解的是，本实施例中可以将显示在预览界面上的图像记为预览帧图像。电子设备在每得到一张预览帧图像后，可以将对应的预览帧图像存入预设图像缓存队列中。该预设图像缓存队列可以是定长队列，也可以是非定长队列。

例如，本实施例中，预设图像缓存队列为定长队列，队列长度为30帧。例如，电子设备依次得到用于预览的图像Y1、Y2、Y3、Y4等等。那么，电子设备可以将得到的图像Y1、Y2、Y3、Y4依次存入预设图像缓存队列中。可以理解的是，预设图像缓存队列中存储的始终是最新得到的30帧预览帧图像，如图9所示。

之后，例如如图10所示，用户点击了相机应用界面中的拍照按钮，此时电子设备可以从预设图像缓存队列中获取一帧预览帧，并将该获取的预览帧作为照片显示在显示屏上供用户查看拍照效果。例如，电子设备从预设图像缓存队列中获取到图像Y60。那么，电子设备可以将图像Y60作为照片显示给用户查看，如图11所示。

可以理解的是，本实施例中，当拍照时，电子设备可以直接从预设图像缓存队列中获取具有高动态范围的图像，并展示给用户查看，从而可以达到零延时拍照的效果。

请参阅图12，图12为本申请实施例提供的图像处理装置的结构示意图。图像处理装置300可以包括：第一获取模块301，第二获取模块302，合成模块303，处理模块304。

第一获取模块301，用于获取初始曝光值，并根据所述初始曝光值确定第一曝光值和第二曝光值。

第二获取模块302，用于按照所述第一曝光值和所述第二曝光值，交替获取第一RAW图像和第二RAW图像，其中，所述第一RAW图像具有所述第一曝光值，所述第二RAW图像具有所述第二曝光值。

合成模块303，用于将所述第一RAW图像和所述第二RAW图像进行合成，得到具有高动态范围的RAW合成图像。

处理模块304，用于利用所述RAW合成图像，进行图像的预览或拍照或录像操作。

在一种实施方式中，所述第一获取模块301用于：

按照所述初始曝光值获取参考图像；

获取所述参考图像的预设参数的数值，并根据所述预设参数的数值确定第二曝光值，其中，所述初始曝光值大于所述第二曝光值，所述预设参数为图像中亮度大于预设阈值的像素点数量与亮度小于预设阈值的像素点数量之间的比值；

根据所述第二曝光值确定第一曝光值，其中，所述第一曝光值大于所述第二曝光值。

在一种实施方式中，曝光值包括曝光时间；

所述第一获取模块301用于：根据所述第二曝光时间确定第一曝光时间，其中，所述第一曝光时间为所述第二曝光时间的预设倍数，所述预设倍数为大于1的正数。

在一种实施方式中，所述将合成模块303用于：

将前后相邻获取到的第一RAW图像和第二RAW图像合成，得到具有高动态范围的RAW合成图像。

在一种实施方式中，所述合成模块303用于：

对所述第一RAW图像和所述第二RAW进行降噪处理，得到降噪后的第一RAW图像和降噪后的第二RAW图像；

将所述降噪后的第一RAW图像和所述降噪后的第二RAW图像进行合成，得到具有高动态范围的RAW合成图像。

在一种实施方式中，所述合成模块303还用于：对所述RAW合成图像进行降噪处理，得到降噪后的RAW合成图像；

所述处理模块301用于：利用所述降噪后的RAW合成图像，进行图像的预览或拍照或录像操作。

在一种实施方式中，所述合成模块303用于：

根据所述第一RAW图像和所述第二RAW图像检测在图像获取过程中是否存在移动物体；

当检测到在图像获取过程中不存在移动物体时，将所述第一RAW图像和所述第二RAW图像进行合成，得到具有高动态范围的RAW合成图像；

当检测到在图像获取过程中存在移动物体时，识别第一位置区域和第二位置区域，其中所述第一位置区域包含所述移动物体在各帧RAW图像中的位置，所述第二位置区域为各帧RAW图像中除所述第一位置区域之外的区域；

从所述第一RAW图像和所述第二RAW图像中选取基准图像；

基于各帧RAW图像中的第二位置区域，以及所述基准图像中的第一位置区域，将所述第一RAW图像和所述第二RAW图像进行合成，得到具有高动态范围的RAW合成图像。

在一种实施方式中，所述合成模块303用于：

获取所述第一RAW图像的第一信噪比，以及所述第二RAW图像的第二信噪比；

若所述第一信噪比大于或等于所述第二信噪比，则将所述第一RAW图像确定为合成的基准图像；

若所述第一信噪比小于所述第二信噪比，则将所述第二RAW图像确定为合成的基准图像；

基于确定的基准图像，将所述第一RAW图像和所述第二RAW图像进行合成。

本申请实施例提供一种计算机可读的存储介质，其上存储有计算机程序，当所述计算机程序在计算机上执行时，使得所述计算机执行如本实施例提供的图像处理方法中的流程。

本申请实施例还提供一种电子设备，包括存储器，处理器，所述处理器通过调用所述存储器中存储的计算机程序，用于执行本实施例提供的图像处理方法中的流程。

例如，上述电子设备可以是诸如平板电脑或者智能手机等移动终端。请参阅图13，图13为本申请实施例提供的电子设备的结构示意图。

该电子设备400可以包括摄像模组401、存储器402、处理器403等部件。本领域技术人员可以理解，图13中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

摄像模组401可以包括透镜和图像传感器，其中透镜用于采集外部的光源信号提供给图像传感器，图像传感器感应来自于透镜的光源信号，将其转换为数字化的原始图像数据，即RAW图像数据。RAW是未经处理、也未经压缩的格式，可以将其形象地称为“数字底片”。

存储器402可用于存储应用程序和数据。存储器402存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器403通过运行存储在存储器402的应用程序，从而执行各种功能应用以及数据处理。

处理器403是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器402内的应用程序，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。

在本实施例中，电子设备中的处理器403会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器402中，并由处理器403来运行存储在存储器402中的应用程序，从而执行：

利用所述RAW合成图像，进行图像的预览或拍照或录像操作。

请参阅图14，电子设备500可以包括摄像模组501、存储器502、处理器503、触摸显示屏504、扬声器505、麦克风506等部件。

摄像模组501可以包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义图像信号处理(Image Signal Processing)管线的各种处理单元。图像处理电路至少可以包括：摄像头、图像信号处理器(Image Signal Processor，ISP处理器)、控制逻辑器、图像存储器以及显示器等。其中摄像头至少可以包括一个或多个透镜和图像传感器。图像传感器可包括色彩滤镜阵列(如Bayer滤镜)。图像传感器可获取用图像传感器的每个成像像素捕捉的光强度和波长信息，并提供可由图像信号处理器处理的一组原始图像数据。

图像信号处理器可以按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，图像信号处理器可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。原始图像数据经过图像信号处理器处理后可存储至图像存储器中。图像信号处理器还可从图像存储器处接收图像数据。

图像存储器可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像存储器的图像数据时，图像信号处理器可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器，以便在被显示之前进行另外的处理。图像信号处理器还可从图像存储器接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，图像信号处理器的输出还可发送给图像存储器，且显示器可从图像存储器读取图像数据。在一种实施方式中，图像存储器可被配置为实现一个或多个帧缓冲器。

图像信号处理器确定的统计数据可发送给控制逻辑器。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜阴影校正等图像传感器的统计信息。

控制逻辑器可包括执行一个或多个例程(如固件)的处理器和/或微控制器。一个或多个例程可根据接收的统计数据，确定摄像头的控制参数以及ISP控制参数。例如，摄像头的控制参数可包括照相机闪光控制参数、透镜的控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵等。

请参阅图15，图15为本实施例中图像处理电路的结构示意图。如图15所示，为便于说明，仅示出与本发明实施例相关的图像处理技术的各个方面。

例如图像处理电路可以包括：摄像头、图像信号处理器、控制逻辑器、图像存储器、显示器。其中，摄像头可以包括一个或多个透镜和图像传感器。在一些实施例中，摄像头可为长焦摄像头或广角摄像头中的任一者。

摄像头采集的第一图像传输给图像信号处理器进行处理。图像信号处理器处理第一图像后，可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器。控制逻辑器可根据统计数据确定摄像头的控制参数，从而摄像头可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过图像信号处理器进行处理后可存储至图像存储器中。图像信号处理器也可以读取图像存储器中存储的图像以进行处理。另外，第一图像经过图像信号处理器进行处理后可直接发送至显示器进行显示。显示器也可以读取图像存储器中的图像以进行显示。

此外，图中没有展示的，电子设备还可以包括CPU和供电模块。CPU和逻辑控制器、图像信号处理器、图像存储器和显示器均连接，CPU用于实现全局控制。供电模块用于为各个模块供电。

存储器502存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器503通过运行存储在存储器502的应用程序，从而执行各种功能应用以及数据处理。

处理器503是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器502内的应用程序，以及调用存储在存储器502内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。

触摸显示屏504可以用于接收用户对电子设备的触摸控制操作。扬声器505可以播放声音信号。麦克风506可以用于拾取声音信号。

在本实施例中，电子设备中的处理器503会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器502中，并由处理器503来运行存储在存储器502中的应用程序，从而执行：

利用所述RAW合成图像，进行图像的预览或拍照或录像操作。

在一种实施方式中，电子设备执行所述获取初始曝光值，并根据所述初始曝光值确定第一曝光值和第二曝光值时，可以执行：按照所述初始曝光值获取参考图像；获取所述参考图像的预设参数的数值，并根据所述预设参数的数值确定第二曝光值，其中，所述初始曝光值大于所述第二曝光值，所述预设参数为图像中亮度大于预设阈值的像素点数量与亮度小于预设阈值的像素点数量之间的比值；根据所述第二曝光值确定第一曝光值，其中，所述第一曝光值大于所述第二曝光值。

在一种实施方式中，曝光值包括曝光时间；

电子设备执行根据所述第二曝光值确定第一曝光值时，可以执行：根据所述第二曝光时间确定第一曝光时间，其中，所述第一曝光时间为所述第二曝光时间的预设倍数，所述预设倍数为大于1的正数。

在一种实施方式中，电子设备执行将所述第一RAW图像和所述第二RAW图像进行合成，得到具有高动态范围的RAW合成图像时，可以执行：将前后相邻获取到的第一RAW图像和第二RAW图像合成，得到具有高动态范围的RAW合成图像。

在一种实施方式中，电子设备执行将所述第一RAW图像和所述第二RAW图像进行合成，得到具有高动态范围的RAW合成图像时，可以执行：对所述第一RAW图像和所述第二RAW进行降噪处理，得到降噪后的第一RAW图像和降噪后的第二RAW图像；将所述降噪后的第一RAW图像和所述降噪后的第二RAW图像进行合成，得到具有高动态范围的RAW合成图像。

在一种实施方式中，在所述得到具有高动态范围的RAW合成图像之后，电子设备还可以执行：对所述RAW合成图像进行降噪处理，得到降噪后的RAW合成图像；

那么，电子设备执行利用所述RAW合成图像，进行图像的预览或拍照或录像操作时，可以执行：利用所述降噪后的RAW合成图像，进行图像的预览或拍照或录像操作。

在一种实施方式中，电子设备执行将所述第一RAW图像和所述第二RAW图像进行合成，得到具有高动态范围的RAW合成图像时，可以执行：根据所述第一RAW图像和所述第二RAW图像检测在图像获取过程中是否存在移动物体；当检测到在图像获取过程中不存在移动物体时，将所述第一RAW图像和所述第二RAW图像进行合成，得到具有高动态范围的RAW合成图像；当检测到在图像获取过程中存在移动物体时，识别第一位置区域和第二位置区域，其中所述第一位置区域包含所述移动物体在各帧RAW图像中的位置，所述第二位置区域为各帧RAW图像中除所述第一位置区域之外的区域；从所述第一RAW图像和所述第二RAW图像中选取基准图像；基于各帧RAW图像中的第二位置区域，以及所述基准图像中的第一位置区域，将所述第一RAW图像和所述第二RAW图像进行合成，得到具有高动态范围的RAW合成图像。

在一种实施方式中，电子设备执行将所述第一RAW图像和所述第二RAW图像进行合成时，可以执行：获取所述第一RAW图像的第一信噪比，以及所述第二RAW图像的第二信噪比；若所述第一信噪比大于或等于所述第二信噪比，则将所述第一RAW图像确定为合成的基准图像；若所述第一信噪比小于所述第二信噪比，则将所述第二RAW图像确定为合成的基准图像；基于确定的基准图像，将所述第一RAW图像和所述第二RAW图像进行合成。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对图像处理方法的详细描述，此处不再赘述。

本申请实施例提供的所述图像处理装置与上文实施例中的图像处理方法属于同一构思，在所述图像处理装置上可以运行所述图像处理方法实施例中提供的任一方法，其具体实现过程详见所述图像处理方法实施例，此处不再赘述。

需要说明的是，对本申请实施例所述图像处理方法而言，本领域普通技术人员可以理解实现本申请实施例所述图像处理方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，所述计算机程序可存储于一计算机可读取存储介质中，如存储在存储器中，并被至少一个处理器执行，在执行过程中可包括如所述图像处理方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)等。

对本申请实施例的所述图像处理装置而言，其各功能模块可以集成在一个处理芯片中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中，所述存储介质譬如为只读存储器，磁盘或光盘等。

以上对本申请实施例所提供的一种图像处理方法、装置、存储介质以及电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims

1.一种图像处理方法，其特征在于，包括：

利用所述RAW合成图像，进行图像的预览或拍照或录像操作。

2.根据权利要求1所述的图像处理方法，其特征在于，所述获取初始曝光值，并根据所述初始曝光值确定第一曝光值和第二曝光值，包括：

按照所述初始曝光值获取参考图像；

3.根据权利要求2所述的图像处理方法，其特征在于，曝光值包括曝光时间；

根据所述第二曝光值确定第一曝光值，包括：根据所述第二曝光时间确定第一曝光时间，其中，所述第一曝光时间为所述第二曝光时间的预设倍数，所述预设倍数为大于1的正数。

4.根据权利要求1所述的图像处理方法，其特征在于，将所述第一RAW图像和所述第二RAW图像进行合成，得到具有高动态范围的RAW合成图像，包括：

5.根据权利要求1所述的图像处理方法，其特征在于，将所述第一RAW图像和所述第二RAW图像进行合成，得到具有高动态范围的RAW合成图像，包括：

6.根据权利要求1所述的图像处理方法，其特征在于，在所述得到具有高动态范围的RAW合成图像之后，还包括：对所述RAW合成图像进行降噪处理，得到降噪后的RAW合成图像；

利用所述RAW合成图像，进行图像的预览或拍照或录像操作，包括：利用所述降噪后的RAW合成图像，进行图像的预览或拍照或录像操作。

7.根据权利要求1所述的图像处理方法，其特征在于，将所述第一RAW图像和所述第二RAW图像进行合成，得到具有高动态范围的RAW合成图像，包括：

从所述第一RAW图像和所述第二RAW图像中选取基准图像；

8.根据权利要求1所述的图像处理方法，其特征在于，将所述第一RAW图像和所述第二RAW图像进行合成，包括：

9.一种图像处理装置，其特征在于，包括：

10.一种存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序在计算机上执行时，使得所述计算机执行如权利要求1至8中任一项所述的方法。

11.一种电子设备，包括存储器，处理器，其特征在于，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如权利要求1至8中任一项所述的方法。