CN110033421B - 图像处理方法、装置、存储介质及电子设备 - Google Patents

Abstract

本申请实施例公开了一种图像处理方法、装置、存储介质及电子设备，其中，电子设备可以通过图像传感器获取到目标场景的RAW图像包，并将该RAW图像包解包为依次曝光的第一RAW图像和第二RAW图像，且第一RAW图像的曝光时间长于第二RAW图像的曝光时间，然后对第一RAW图像和第二RAW图像进行格式转换，得到对应的第一YUV图像和第二YUV图像，然后再根据第一YUV图像和第二YUV图像进行合成得到高动态范围的第一YUV图像，将其作为预览图像进行展示，从而实现图像拍摄时对高动态范围图像的预览。

Description

图像处理方法、装置、存储介质及电子设备

技术领域

本申请涉及计算机技术领域，具体涉及一种图像处理方法、装置、存储介质及电子设备。

背景技术

由于电子设备本身的硬件限制，目前的电子设备只能拍摄亮度范围比较小的场景，若在场景明暗相差太大时进行拍摄，拍摄出来的图像容易丢失明处和/或暗处的细节。为此，相关技术提出了高动态范围(或称宽动态范围)合成技术，通过拍摄多张图像合成一张高动态范围的图像。然而，相关技术在拍摄过程中，无法预览到拍摄图像的高动态范围的效果。

发明内容

本申请实施例提供了一种图像处理方法、装置、存储介质及电子设备，能够实现图像拍摄时对高动态范围效果的预览。

第一方面，本申请实施例提供了一种图像处理方法，应用于电子设备，所述电子设备包括图像传感器，所述图像传感器具有第一工作模式和第二工作模式，所述图像处理方法包括：

通过工作在所述第一工作模式的所述图像传感器获取目标场景的RAW图像包，所述RAW图像包包括依次曝光的第一RAW图像和第二RAW图像；

对所述RAW图像包进行解包处理后得到所述第一RAW图像和所述第二RAW图像，所述第一RAW图像的曝光时间长于所述第二RAW图像的曝光时间；

对所述第一RAW图像以及所述第二RAW图像进行格式转换，得到对应的第一YUV图像和第二YUV图像；

根据所述第一YUV图像以及所述第二YUV图像合成得到第一YUV合成图像，将所述第一YUV合成图像作为所述目标场景的预览图像进行展示。

第二方面，本申请实施例提供了一种图像处理装置，应用于电子设备，所述电子设备包括图像传感器，所述图像传感器具有第一工作模式和第二工作模式，所述图像处理装置包括：

图像获取模块，用于通过工作在所述第一工作模式的所述图像传感器获取目标场景的RAW图像包，所述RAW图像包包括依次曝光的第一RAW图像和第二RAW图像；

图像解包模块，用于对所述RAW图像包进行解包处理后得到所述第一RAW图像和所述第二RAW图像，所述第一RAW图像的曝光时间长于所述第二RAW图像的曝光时间；

格式转换模块，用于对所述第一RAW图像以及所述第二RAW图像进行格式转换，得到对应的第一YUV图像和第二YUV图像；

图像合成模块，用于根据所述第一YUV图像以及所述第二YUV图像合成得到第一YUV合成图像，将所述第一YUV合成图像作为所述目标场景的预览图像进行展示。

第三方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如本申请实施例提供的图像处理方法中的步骤。

第四方面，本申请实施例提供了一种电子设备，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器通过调用所述计算机程序，用于执行如本申请实施例提供的图像处理方法中的步骤。

本申请实施例中，电子设备可以通过图像传感器获取到目标场景的RAW图像包，并将该RAW图像包解包为依次曝光的第一RAW图像和第二RAW图像，且第一RAW图像的曝光时间长于第二RAW图像的曝光时间，然后对第一RAW图像和第二RAW图像进行格式转换，得到对应的第一YUV图像和第二YUV图像，然后再根据第一YUV图像和第二YUV图像进行合成得到高动态范围的第一YUV图像，将其作为预览图像进行展示，从而实现图像拍摄时对高动态范围图像的预览。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的图像处理方法的一流程示意图。

图2是本申请实施例中电子设备获取到的RAW图像包的示例图。

图3是本申请实施例中用户向电子设备输入拍照指令的一示意图。

图4是本申请实施例提供的图像处理方法的另一流程示意图。

图5是本申请实施例提供的图像处理装置的一结构示意图。

图6是本申请实施例提供的电子设备的一结构示意图。

图7是本申请实施例提供的电子设备的另一结构示意图。

具体实施方式

请参照图式，其中相同的组件符号代表相同的组件，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。

本申请实施例首先提供一种图像处理方法，该图像处理方法应用于电子设备。其中，该图像处理方法的执行主体可以是本申请实施例提供的图像处理装置，或者集成了该图像处理装置的电子设备，该图像处理装置可以采用硬件或者软件的方式实现，电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等配置有处理器而具有处理能力的设备。

请参照图1，图1为本申请实施例提供的图像处理方法的流程示意图。该图像处理方法应用于本申请实施例提供的电子设备，该电子设备包括具有第一工作模式和第二工作模式的图像传感器，如图1所示，本申请实施例提供的图像处理方法的流程可以如下：

在101中，通过工作在第一工作模式的图像传感器获取目标场景的RAW图像包，RAW图像包包括依次曝光的第一RAW图像和第二RAW图像。

在本申请实施例中，电子设备的摄像头由透镜和图像传感器构成，其中透镜用于采集外部的光源信号提供给图像传感器，图像传感器感应来自于透镜的光源信号，将其转换为数字化的原始图像数据，即RAW图像数据。RAW是未经处理、也未经压缩的格式，可以将其形象的称为“数字底片”。

应当说明的是，本申请实施例中的图像传感器具有第一工作模式和第二工作模式，其中，第一工作模式为数字重叠模式，在该模式下，图像传感器将在一帧图像的时间内产生两帧曝光时间不同的RAW图像，并以RAW图像包的形式输出，比如，请参照图2，工作在第一工作模式的图像传感器输出的RAW图像包中包括两个RAW图像，且其中一个RAW图像的曝光时间为另一个RAW图像曝光时间的两倍。第二工作模式为普通工作模式，在该模式下，图像传感器在一帧图像的时间内将产生一个单独的RAW图像，而不是RAW图像包。可选的，该图像传感器的型号可以为IMX290LQR或者IMX291LQR等具有数字重叠工作模式的图像传感器。

本申请实施例中，电子设备首先通过工作在第一工作模式的图像传感器获取目标场景的RAW图像包，其中，来源于目标场景的光信号经过摄像头的透镜后汇聚到图像传感器上，图像传感器将进行长、短交替曝光，持续输出包括两个RAW图像的RAW图像包。应当说明的是，在以下描述中，本申请实施例中将RAW图像包中曝光时间较长的RAW图像记为第一RAW图像，将曝光时间较短的RAW图像记为第二RAW图像。

比如，当用户操作电子设备开启摄像应用后，电子设备使能图像传感器，并使其工作在第一工作模式，若用户操作电子设备的摄像头对准某一场景，该场景即为目标场景，与此同时，电子设备将通过该工作在第一工作模式的图像传感器持续获取到目标场景的RAW图像包，该RAW图像包包括第一RAW图像和第二RAW图像。

在102中，对RAW图像包进行解包处理后得到第一RAW图像和第二RAW图像，第一RAW图像的曝光时间长于第二RAW图像的曝光时间。

应当说明的是，RAW图像包可以看做是将两个RAW图像压缩后得到“压缩包”，无法直接对RAW图像包进行处理。因此，电子设备在获取到目标场景的RAW图像包之后，对获取到的RAW图像包进行解包处理，得到第一RAW图像和第二RAW图像，该第一RAW图像的曝光时间长于第二RAW图像的曝光时间。

可以理解的是，由于第一RAW图像和第二RAW图像由图像传感器在短时间内连续曝光得到，可以将第一RAW图像和第二RAW图像的图像内容看做相同。

在103中，对第一RAW图像以及第二RAW图像进行格式转换，得到对应的第一YUV图像和第二YUV图像。

应当说明的是，YUV是一种颜色编码方法，其中Y表示亮度，UV表示色度，人眼从YUV图像中可以直观的感受到其中所包含的自然特征。本申请实施例中，对于解包后得到的第一RAW图像和第二RAW图像，电子设备分别对第一RAW图像和第二RAW图像进行格式转换，从而将第一RAW图像和第二RAW图像转换到YUV颜色空间，得到适于人眼查看的第一YUV图像和第二YUV图像，其中，第一YUV图像由第一RAW图像转换得到，第二YUV图像由第二RAW图像转换得到。

根据以上相关描述，本领域普通技术人员可以理解的是，第一YUV图像和第二YUV图像的图像内容相同，均为目标场景的图像内容。

在104中，根据第一YUV图像以及第二YUV图像合成得到高动态范围的第一YUV合成图像，将第一YUV合成图像作为目标场景的预览图像进行展示。

对于目标场景而言，由于第一RAW图像的曝光时间长于第二RAW图像的曝光时间，则第一RAW图像相较于第二RAW图像而言，第一RAW图像保留了目标场景中较暗区域的特征，而第二RAW图像则保留了目标场景中较亮区域的特征。相应的，在将第一RAW图像转换为第一YUV图像，将第二RAW图像转换为第二YUV图像之后，第一YUV图像相较于第二YUV图像而言，第一YUV图像保留了目标场景中较暗区域中的特征，第二YUV图像保留了目标场景中较亮区域的特征。

本申请实施例中，根据第一YUV图像以及第二YUV图像进行图像合成，得到高动态范围的第一YUV合成图像，高动态范围图像相比普通的图像，能够提供更大的动态范围和图像细节，可以利用第一RAW图像和第二RAW图像中各自最佳的细节来合成得到第一YUV合成图像。

其中，由于第一RAW图像保留了目标场景中较暗区域的特征，第二RAW图像则保留了目标场景中较亮区域的特征，则在合成时，可以利用第一RAW图像保留的目标场景中较暗区域的特征以及第二RAW图像保留的目标场景中较亮区域的特征进行合成得到第一YUV合成图像，这样，第一YUV合成图像即保留了目标场景中较暗区域的特征，又保留了目标场景中较亮区域的特征，从而实现高动态范围的效果。

应当说明的是，本申请实施例对于采用何种高动态范围合成技术不做具体限制，可由本领域技术人员根据实际需要进行选择，比如，本申请实施例中，可以利用以下公式进行高动态范围图像合成：

HDR(i)＝m*LE(i)+n*HE(i)；

其中，HDR表示合成得到的高动态范围图像，HDR(i)表示合成得到的第一YUV合成图像的第i个像素点，LE表示第二RAW图像，LE(i)表示第二RAW图像上第i个像素点，m表示第二RAW图像对应的补偿权值，HE表示第一RAW图像，HE(i)表示第一RAW图像上第i个像素点，n表示第一RAW图像对应的补偿权值。

在根据第一RAW图像以及第二RAW图像合成得到第一YUV合成图像之后，将第一YUV合成图像作为目标场景的预览图像进行展示。根据以上描述，对于图像传感器输出的对应目标场景的每一个RAW图像包，电子设备将合成得到其对应的高动态范围效果的合成图像，从而可以实现对图像拍摄的持续的实时高动态范围效果的预览。

由上可知，本申请实施例中，电子设备可以通过图像传感器获取到目标场景的RAW图像包，并将该RAW图像包解包为依次曝光的第一RAW图像和第二RAW图像，且第一RAW图像的曝光时间长于第二RAW图像的曝光时间，然后对第一RAW图像和第二RAW图像进行格式转换，得到对应的第一YUV图像和第二YUV图像，然后再根据第一YUV图像和第二YUV图像进行合成得到高动态范围的第一YUV图像，将其作为预览图像进行展示，从而实现图像拍摄时对高动态范围图像的预览。

在一实施例中，“将第一YUV合成图像作为目标场景的预览图像进行展示”之后，还包括：

(1)若接收到对目标场景的拍照指令，则切换图像传感器至第二工作模式；

(2)通过工作在第二工作模式的图像传感器获取目标场景的第三RAW图像，第三RAW图像的曝光时间长于第一RAW图像的曝光时间，或者第三RAW图像的曝光时间短于第二RAW图像的曝光时间；

(3)对第三RAW图像进行格式转换，得到对应的第三YUV图像；

(4)根据第一YUV图像、第二YUV图像以及第三YUV图像合成得到高动态范围的第二YUV合成图像；

(5)对第二YUV合成图像进行图像编码，得到拍照指令的结果图像。

本领域普通技术人员可以理解的是，预览在于使得用户提前得知拍摄图像的效果，目的在于更好的拍摄。相应的，若用户确定电子设备展示的目标场景的预览图像满足其拍摄需求，即可向电子设备输入对目标场景的拍照指令。比如，用户可以通过语音指令的方式向电子设备输入拍照指令，也可以通过点击电子设备提供的“拍照”控件的方式向电子设备输入拍照指令，如图3所示，还可以通过按压电子设备通过实体拍照按钮的方式向电子设备输入拍照指令，还可以通过其它电子设备向电子设备远程下达拍照指令等。

相应的，电子设备在接收到对目标场景的拍照指令之后，即切换图像传感器至第二工作模式。根据以上相关描述，本领域普通技术人员可以理解的是，当在图像传感器工作在第二工作模式(即普通模式)，电子设备图像传感器将输出单独的RAW图像，而不是RAW图像包。相应的，电子设备通过工作在第二工作模式的图像传感器将直接获取到目标场景的RAW图像，将该RAW图像记为第三RAW图像，且该第三RAW图像的曝光时间长于第一RAW图像的曝光时间，或者该第三RAW图像的曝光时间短于第二RAW图像的曝光时间。

在获取到目标场景的第三RAW图像之后，对该第三RAW图像进行格式转换，得到对应的第三YUV图像，至此，对于目标场景，此时共得到内容相同但三种不同曝光时间的YUV图像。本领域普通技术人员可以理解的是，对于这三种不同曝光时间的YUV图像，曝光时间最短的第二YUV图像可以看做是欠曝光图像，曝光时间长于第二YUV图像的第一YUV图像可以看做是正常曝光图像，而曝光时间最长的第三YUV图像可看做是过曝光图像，由此，电子设备可以利用包围曝光合成技术，根据第一YUV图像、第二YUV图像以及第三YUV图像合成得到高动态范围的第二YUV合成图像，该第二YUV合成图像相较于第一YUV合成图像具有更好的高动态范围效果。

最后，电子设备对合成得到的第二YUV合成图像进行图像编码(比如JPG编码等)，得到拍照指令的结果图像，即完成对拍照指令的执行。

应当说明的是，本申请实施例中对电子设备获取到第三RAW图像的数量不做限制，可以是一个，也可以是多个，具体可由本领域普通技术人员根据实际需要进行设置，其中，获取到第三RAW图像的数量越多，合成得到第二YUV合成图像的高动态范围效果越好。

可选的，在一实施例中，“对第二YUV合成图像进行图像编码，得到拍照指令的结果图像”包括：

(1)获取当前的拍照分辨率，根据拍照分辨率对第二YUV合成图像进行降采样处理；

(2)对降采样后的第二YUV合成图像进行图像编码，得到拍照指令的结果图像。

其中，拍照分辨率可由用户预先设置，包括但不限于1080P、2K以及4K等。比如，拍照分辨率被用户预先设置为2K，则电子设备在对第二YUV合成图像进行图像编码时，首先对第二YUV图像进行降采样处理，得到2K分辨率的第二YUV合成图像，然后再对2K分辨率的第二YUV合成图像进行图像编码，得到拍照指令的结果图像，其分辨率为2K。

在一实施例中，“对第一RAW图像以及第二RAW图像进行格式转换”，包括：

(1)获取屏幕的当前分辨率，并根据当前分辨率对第一RAW图像以及第二RAW图像进行降采样处理；

(2)对降采样后的第一RAW图像以及第二RAW图像进行格式转换，得到第一YUV图像和第二YUV图像。

本领域普通技术人员可以理解的是，将RAW图像转换为YUV图像仅为颜色空间的转换，转换得到的YUV图像与RAW图像的分辨率相同，而RAW图像为的分辨率为图像传感器的原始分辨率。比如，图像传感器的为4K分辨率，则转换得到的YUV图像同样为4K分辨率。

相应的，在本申请实施例中，如果直接对转换得到第一YUV图像和第二YUV图像进行合成，将花费较长的合成时间。因此，电子设备在对第一RAW图像和第二RAW图像进行格式转换时，首先获取到屏幕的当前分辨率，并根据屏幕的当前分辨率对第一RAW图像和第二RAW图像进行降采样处理，使得第一RAW图像和第二RAW图像的分辨率与屏幕的当前分辨率一致。

然后，电子设备对降采样后的第一RAW图像以及第二RAW图像进行格式转换，得到对应第一RAW图像的第一YUV图像和对应第二RAW图像的第二YUV图像，相应的，第一YUV图像以及第二YUV图像的分辨率也是与屏幕的当前分辨率所一致的。这样，在对第一YUV图像和第二YUV图像进行合成时，将能够在更短的时间内完成合成，且由于第一YUV图像以及第二YUV图像的分辨率是与屏幕的当前分辨率所一致的，那么合成得到的第一合成YUV图像的分辨率同样是与屏幕的当前分辨率所一致的，将该第一合成YUV图像作为预览图像进行展示，并不会降低预览效果。

在一实施例中，“将第一YUV合成图像作为目标场景的预览图像进行展示”之前，还包括：

(1)识别当前为预览模式或是为录像模式；

(2)若当前为预览模式，则将第一YUV合成图像作为目标场景的预览图像进行展示。

本申请实施例中，电子设备在将第一YUV合成图像作为目标场景的预览图像进行展示之前，识别当前为预览模式或是为录像模式。

其中，若识别到当前为预览模式，则将第一YUV合成图像作为目标场景的预览图像进行展示。具体可参照以上相关描述，此处不再赘述。

若识别到当前为录像模式，则根据第一YUV合成图像进行视频编码，得到目标场景的视频。

其中，对于采用何种视频编码格式进行视频编码，本申请实施例中不做具体限制，可由本领域普通技术人员根据实际需要选取视频编码格式，包括但不限于H.264、H.265、MPEG-4等等。

在一实施例中，“对第一RAW图像以及第二RAW图像进行格式转换”，包括：

(1)获取当前的录像分辨率，根据录像分辨率对第一RAW图像以及第二RAW图像进行降采样处理；

(2)对降采样后的第一RAW图像以及第二RAW图像进行格式转换，得到对应的第一YUV图像和第二YUV图像。

其中，录像分辨率可由用户预先设置，包括但不限于1080P、2K以及4K等。比如，录像分辨率被用户预先设置为1080P，则电子设备在录像模式下对第一RAW图像以及第二RAW图像进行格式转换时，首先对第一RAW图像和第二RAW图像进行降采样处理，得到1080P分辨率的第一RAW图像和第二RAW图像，然后再对1080P分辨率的第一RAW图像和第二RAW图像进行格式转换，得到1080P分辨率的第一YUV图像和第二YUV图像。

在一实施例中，本申请提供的图像处理方法还包括：

对第一YUV合成图像进行质量优化处理；

或者，对第二YUV合成图像进行质量优化处理；

或者，对第一YUV图像、第二YUV图像和/或第三YUV图像进行质量优化处理。

其中，电子设备可以在合成得到第一YUV合成图像之后，对第一YUV合成图像进行质量优化处理，以提升其图像质量。

电子设备还可以在合成得到第二YUV合成图像之后，对第二YUV合成图像进行质量优化处理，以提升其图像质量。

电子设备还可以在合成得到第一YUV合成图像之前，对第一YUV图像和/或第二YUV图像进行质量优化处理。

电子设备还可以在合成得到第二YUV合成图像之前，对第一YUV图像、第二YUV图像和/或第三YUV图像进行质量优化处理。

应当说明的是，本申请实施例中所进行的质量优化处理包括但不限于锐化和降噪等，具体可由本领域普通技术人员根据实际需要选取合适的质量优化处理方式。

请结合参照图4，图4为本申请实施例提供的图像处理方法的另一种流程示意图，该图像处理方法的流程可以包括：

在201中，电子设备通过工作在第一工作模式的图像传感器获取目标场景的RAW图像包，RAW图像包包括依次曝光的第一RAW图像和第二RAW图像。

在本申请实施例中，电子设备的摄像头由透镜和图像传感器构成，其中透镜用于采集外部的光源信号提供给图像传感器，图像传感器感应来自于透镜的光源信号，将其转换为数字化的原始图像数据，即RAW图像数据。RAW是未经处理、也未经压缩的格式，可以将其形象的称为“数字底片”。

应当说明的是，本申请实施例中的图像传感器具有第一工作模式和第二工作模式，其中，第一工作模式为数字重叠模式，在该模式下，图像传感器将在一帧图像的时间内产生两帧曝光时间不同的RAW图像，并以RAW图像包的形式输出，比如，请参照图2，工作在第一工作模式的图像传感器输出的RAW图像包中包括两个RAW图像，且其中一个RAW图像的曝光时间为另一个RAW图像曝光时间的两倍。第二工作模式为普通工作模式，在该模式下，图像传感器在一帧图像的时间内将产生一个单独的RAW图像，而不是RAW图像包。可选的，该图像传感器的型号可以为IMX290LQR或者IMX291LQR等具有数字重叠工作模式的图像传感器。

本申请实施例中，电子设备首先通过工作在第一工作模式的图像传感器获取目标场景的RAW图像包，其中，来源于目标场景的光信号经过摄像头的透镜后汇聚到图像传感器上，图像传感器将进行长、短交替曝光，持续输出包括两个RAW图像的RAW图像包。应当说明的是，在以下描述中，本申请实施例中将RAW图像包中曝光时间较长的RAW图像记为第一RAW图像，将曝光时间较短的RAW图像记为第二RAW图像。

比如，当用户操作电子设备开启摄像应用后，电子设备使能图像传感器，并使其工作在第一工作模式，若用户操作电子设备的摄像头对准某一场景，该场景即为目标场景，与此同时，电子设备将通过该工作在第一工作模式的图像传感器持续获取到目标场景的RAW图像包，该RAW图像包包括第一RAW图像和第二RAW图像。

在202中，电子设备对RAW图像包进行解包处理后得到第一RAW图像和第二RAW图像，第一RAW图像的曝光时间长于第二RAW图像的曝光时间。

应当说明的是，RAW图像包可以看做是将两个RAW图像压缩后得到“压缩包”，无法直接对RAW图像包进行处理。因此，电子设备在获取到目标场景的RAW图像包之后，对获取到的RAW图像包进行解包处理，得到第一RAW图像和第二RAW图像，该第一RAW图像的曝光时间长于第二RAW图像的曝光时间。

可以理解的是，由于第一RAW图像和第二RAW图像由图像传感器在短时间内连续曝光得到，可以将第一RAW图像和第二RAW图像的图像内容看做相同。

在203中，电子设备对第一RAW图像以及第二RAW图像进行格式转换，得到对应的第一YUV图像和第二YUV图像。

应当说明的是，YUV是一种颜色编码方法，其中Y表示亮度，UV表示色度，人眼从YUV图像中可以直观的感受到其中所包含的自然特征。本申请实施例中，对于解包后得到的第一RAW图像和第二RAW图像，电子设备分别对第一RAW图像和第二RAW图像进行格式转换，从而将第一RAW图像和第二RAW图像转换到YUV颜色空间，得到适于人眼查看的第一YUV图像和第二YUV图像，其中，第一YUV图像由第一RAW图像转换得到，第二YUV图像由第二RAW图像转换得到。

根据以上相关描述，本领域普通技术人员可以理解的是，第一YUV图像和第二YUV图像的图像内容相同，均为目标场景的图像内容。

在204中，电子设备根据第一YUV图像以及第二YUV图像合成得到高动态范围的第一YUV合成图像，识别当前为预览模式或是为录像模式，若为预览模式，则转入206，若为录像模式，则转入205。

对于目标场景而言，由于第一RAW图像的曝光时间长于第二RAW图像的曝光时间，则第一RAW图像相较于第二RAW图像而言，第一RAW图像保留了目标场景中较暗区域的特征，而第二RAW图像则保留了目标场景中较亮区域的特征。相应的，在将第一RAW图像转换为第一YUV图像，将第二RAW图像转换为第二YUV图像之后，第一YUV图像相较于第二YUV图像而言，第一YUV图像保留了目标场景中较暗区域中的特征，第二YUV图像保留了目标场景中较亮区域的特征。

本申请实施例中，根据第一YUV图像以及第二YUV图像进行图像合成，得到高动态范围的第一YUV合成图像，高动态范围图像相比普通的图像，能够提供更大的动态范围和图像细节，可以利用第一RAW图像和第二RAW图像中各自最佳的细节来合成得到第一YUV合成图像。

其中，由于第一RAW图像保留了目标场景中较暗区域的特征，第二RAW图像则保留了目标场景中较亮区域的特征，则在合成时，可以利用第一RAW图像保留的目标场景中较暗区域的特征以及第二RAW图像保留的目标场景中较亮区域的特征进行合成得到第一YUV合成图像，这样，第一YUV合成图像即保留了目标场景中较暗区域的特征，又保留了目标场景中较亮区域的特征，从而实现高动态范围的效果。

应当说明的是，本申请实施例对于采用何种高动态范围合成技术不做具体限制，可由本领域技术人员根据实际需要进行选择，比如，本申请实施例中，可以利用以下公式进行高动态范围图像合成：

HDR(i)＝m*LE(i)+n*HE(i)；

其中，HDR表示合成得到的高动态范围图像，HDR(i)表示合成得到的第一YUV合成图像的第i个像素点，LE表示第二RAW图像，LE(i)表示第二RAW图像上第i个像素点，m表示第二RAW图像对应的补偿权值，HE表示第一RAW图像，HE(i)表示第一RAW图像上第i个像素点，n表示第一RAW图像对应的补偿权值。

在合成得到第一YUV合成图像之后，电子设备识别当前为预览模式或是为录像模式，若为预览模式，则转入206，若为录像模式，则转入205。

在205中，电子设备根据第一YUV合成图像进行视频编码，得到目标场景的视频。

其中，对于采用何种视频编码格式进行视频编码，本申请实施例中不做具体限制，可由本领域普通技术人员根据实际需要选取视频编码格式，包括但不限于H.264、H.265、MPEG-4等等。

在206中，电子设备将第一YUV合成图像作为目标场景的预览图像进行展示。

根据以上描述，在预览模式下，对于图像传感器输出的对应目标场景的每一个RAW图像包，电子设备将合成得到其对应的高动态范围效果的合成图像，从而可以实现对图像拍摄的持续的实时高动态范围效果的预览。

在207中，电子设备若接收到对目标场景的拍照指令，则切换图像传感器至第二工作模式。

本领域普通技术人员可以理解的是，预览在于使得用户提前得知拍摄图像的效果，目的在于更好的拍摄。相应的，若用户确定电子设备展示的目标场景的预览图像满足其拍摄需求，即可向电子设备输入对目标场景的拍照指令。比如，用户可以通过语音指令的方式向电子设备输入拍照指令，也可以通过点击电子设备提供的“拍照”控件的方式向电子设备输入拍照指令，如图3所示，还可以通过按压电子设备通过实体拍照按钮的方式向电子设备输入拍照指令，还可以通过其它电子设备向电子设备远程下达拍照指令等。

相应的，电子设备在接收到对目标场景的拍照指令之后，即切换图像传感器至第二工作模式。根据以上相关描述，本领域普通技术人员可以理解的是，当在图像传感器工作在第二工作模式(即普通模式)，电子设备图像传感器将输出单独的RAW图像，而不是RAW图像包。

在208中，电子设备通过工作在第二工作模式的图像传感器获取目标场景的第三RAW图像，第三RAW图像的曝光时间长于第一RAW图像的曝光时间，或者第三RAW图像的曝光时间短于第二RAW图像的曝光时间。

其中，电子设备通过工作在第二工作模式的图像传感器将直接获取到目标场景的RAW图像，将该RAW图像记为第三RAW图像，且该第三RAW图像的曝光时间长于第一RAW图像的曝光时间，或者该第三RAW图像的曝光时间短于第二RAW图像的曝光时间。

在209中，电子设备对第三RAW图像进行格式转换，得到对应的第三YUV图像。

在获取到目标场景的第三RAW图像之后，对该第三RAW图像进行格式转换，得到对应的第三YUV图像，至此，对于目标场景，此时共得到内容相同但三种不同曝光时间的YUV图像。

在210中，电子设备根据第一YUV图像、第二YUV图像以及第三YUV图像合成得到高动态范围的第二YUV合成图像。

本领域普通技术人员可以理解的是，对于这三种不同曝光时间的YUV图像，曝光时间最短的第二YUV图像可以看做是欠曝光图像，曝光时间长于第二YUV图像的第一YUV图像可以看做是正常曝光图像，而曝光时间最长的第三YUV图像可看做是过曝光图像，由此，电子设备可以利用包围曝光合成技术，根据第一YUV图像、第二YUV图像以及第三YUV图像合成得到高动态范围的第二YUV合成图像，该第二YUV合成图像相较于第一YUV合成图像具有更好的高动态范围效果。

在211中，电子设备对第二YUV合成图像进行图像编码，得到拍照指令的结果图像。

最后，电子设备对合成得到的第二YUV合成图像进行图像编码(比如JPG编码等)，得到拍照指令的结果图像，即完成对拍照指令的执行。

应当说明的是，本申请实施例中对电子设备获取到第三RAW图像的数量不做限制，可以是一个，也可以是多个，具体可由本领域普通技术人员根据实际需要进行设置，其中，获取到第三RAW图像的数量越多，合成得到第二YUV合成图像的高动态范围效果越好。

本申请实施例还提供一种图像处理装置。请参照图5，图5为本申请实施例提供的图像处理装置的结构示意图。其中该图像处理装置应用于电子设备，该电子设备包括图像传感器，该图像传感器具有第一工作模式和第二工作模式，该图像处理装置包括图像获取模块501、图像解包模块502、格式转换模块503以及图像合成模块504，如下：

图像获取模块501，用于通过工作在第一工作模式的图像传感器获取目标场景的RAW图像包，RAW图像包包括依次曝光的第一RAW图像和第二RAW图像；

图像解包模块502，用于对RAW图像包进行解包处理后得到第一RAW图像和第二RAW图像，第一RAW图像的曝光时间长于第二RAW图像的曝光时间；

格式转换模块503，用于对第一RAW图像以及第二RAW图像进行格式转换，得到对应的第一YUV图像和第二YUV图像；

图像合成模块504，用于根据第一YUV图像以及第二YUV图像合成得到高动态范围的第一YUV合成图像，将第一YUV合成图像作为目标场景的预览图像进行展示。

在一实施例中，图像处理装置还包括拍照模块，在将第一YUV合成图像作为目标场景的预览图像进行展示之后，用于在接收到对目标场景的拍照指令时，切换图像传感器至第二工作模式；

图像获取模块501还用于通过工作在第二工作模式的图像传感器获取目标场景的第三RAW图像，第三RAW图像的曝光时间长于第一RAW图像的曝光时间，或者第三RAW图像的曝光时间短于第二RAW图像的曝光时间；

格式转换模块503还用于对第三RAW图像进行格式转换，得到对应的第三YUV图像；

图像合成模块504还用于根据第一YUV图像、第二YUV图像以及第三YUV图像合成得到高动态范围的第二YUV合成图像；

拍照模块还用于对第二YUV合成图像进行图像编码，得到拍照指令的结果图像。

在一实施例中，在对第二YUV合成图像进行图像编码，得到拍照指令的结果图像时，拍照模块可以用于：

获取当前的拍照分辨率，根据拍照分辨率对第二YUV合成图像进行降采样处理；

对降采样后的第二YUV合成图像进行图像编码，得到拍照指令的结果图像。

在一实施例中，在对第一RAW图像以及第二RAW图像进行格式转换时，格式转换模块503可以用于：

获取屏幕的当前分辨率，并根据当前分辨率对第一RAW图像以及第二RAW图像进行降采样处理；

对降采样后的第一RAW图像以及第二RAW图像进行格式转换，得到第一YUV图像和第二YUV图像。

在一实施例中，图像处理装置还包括模式识别模块，用于在将第一YUV合成图像作为目标场景的预览图像进行展示之前，识别当前为预览模式或是为录像模式；

图像合成模块504还用于在当前为预览模式时，将第一YUV合成图像作为目标场景的预览图像进行展示。

在一实施例中，图像处理装置还包括录像模块，用于在识别当前为预览模式或是为录像模式之后，若当前为录像模式，则根据第一YUV合成图像进行视频编码，得到目标场景的视频。

在一实施例中，在对第一RAW图像以及第二RAW图像进行格式转换时，格式转换模块503可以用于：

获取当前的录像分辨率，根据录像分辨率对第一RAW图像以及第二RAW图像进行降采样处理；

对降采样后的第一RAW图像以及第二RAW图像进行格式转换，得到对应的第一YUV图像和第二YUV图像。

在一实施例中，图像处理装置还包括图像优化模块，用于：

对第一YUV合成图像进行质量优化处理；

或者，对第二YUV合成图像进行质量优化处理；

或者，对第一YUV图像、第二YUV图像和/或第三YUV图像进行质量优化处理。

应当说明的是，本申请实施例提供的图像处理装置与上文实施例中的图像处理方法属于同一构思，在图像处理装置上可以运行图像处理方法实施例中提供的任一方法，其具体实现过程详见图像处理方法实施例，此处不再赘述。

本申请实施例提供一种计算机可读的存储介质，其上存储有计算机程序，当其存储的计算机程序在计算机上执行时，使得计算机执行如本申请实施例提供的图像处理方法中的步骤。其中，存储介质可以是磁碟、光盘、只读存储器(Read Only Memory，ROM，)或者随机存取器(Random Access Memory，RAM)等。

本申请实施例还提供一种电子设备，请参照图6，电子设备包括处理器701和存储器702。其中，处理器701与存储器702电性连接。

处理器701是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或加载存储在存储器702内的计算机程序，以及调用存储在存储器702内的数据，执行电子设备的各种功能并处理数据。

存储器702可用于存储软件程序以及模块，处理器701通过运行存储在存储器702的计算机程序以及模块，从而执行各种功能应用以及数据处理。存储器702可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的计算机程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器702还可以包括存储器控制器，以提供处理器701对存储器702的访问。

在本申请实施例中，电子设备中的处理器701会按照如下的步骤，将一个或一个以上的计算机程序的进程对应的指令加载到存储器702中，并由处理器701运行存储在存储器702中的计算机程序，从而实现各种功能，如下：

通过工作在第一工作模式的图像传感器获取目标场景的RAW图像包，RAW图像包包括依次曝光的第一RAW图像和第二RAW图像；

对RAW图像包进行解包处理后得到第一RAW图像和第二RAW图像，第一RAW图像的曝光时间长于第二RAW图像的曝光时间；

对第一RAW图像以及第二RAW图像进行格式转换，得到对应的第一YUV图像和第二YUV图像；

根据第一YUV图像以及第二YUV图像合成得到高动态范围的第一YUV合成图像，将第一YUV合成图像作为目标场景的预览图像进行展示。

请参照图7，图7为本申请实施例提供的电子设备的另一结构示意图，与图6所示电子设备的区别在于，电子设备还包括输入单元703和输出单元704等组件。

其中，输入单元703可用于接收输入的数字、字符信息或用户特征信息(比如指纹)，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入等。

输出单元704可用于显示由用户输入的信息或提供给用户的信息，如屏幕。

在本申请实施例中，电子设备中的处理器701会按照如下的步骤，将一个或一个以上的计算机程序的进程对应的指令加载到存储器702中，并由处理器701运行存储在存储器702中的计算机程序，从而实现各种功能，如下：

通过工作在第一工作模式的图像传感器获取目标场景的RAW图像包，RAW图像包包括依次曝光的第一RAW图像和第二RAW图像；

对RAW图像包进行解包处理后得到第一RAW图像和第二RAW图像，第一RAW图像的曝光时间长于第二RAW图像的曝光时间；

对第一RAW图像以及第二RAW图像进行格式转换，得到对应的第一YUV图像和第二YUV图像；

根据第一YUV图像以及第二YUV图像合成得到高动态范围的第一YUV合成图像，将第一YUV合成图像作为目标场景的预览图像进行展示。

在一实施例中，在将第一YUV合成图像作为目标场景的预览图像进行展示之后，处理器701可以执行：

若接收到对目标场景的拍照指令，则切换图像传感器至第二工作模式；

通过工作在第二工作模式的图像传感器获取目标场景的第三RAW图像，第三RAW图像的曝光时间长于第一RAW图像的曝光时间，或者第三RAW图像的曝光时间短于第二RAW图像的曝光时间；

对第三RAW图像进行格式转换，得到对应的第三YUV图像；

根据第一YUV图像、第二YUV图像以及第三YUV图像合成得到高动态范围的第二YUV合成图像；

对第二YUV合成图像进行图像编码，得到拍照指令的结果图像。

在一实施例中，在对第二YUV合成图像进行图像编码，得到拍照指令的结果图像时，处理器701可以执行：

获取当前的拍照分辨率，根据拍照分辨率对第二YUV合成图像进行降采样处理；

对降采样后的第二YUV合成图像进行图像编码，得到拍照指令的结果图像。

在一实施例中，在对第一RAW图像以及第二RAW图像进行格式转换时，处理器701还可以执行：

获取屏幕的当前分辨率，并根据当前分辨率对第一RAW图像以及第二RAW图像进行降采样处理；

对降采样后的第一RAW图像以及第二RAW图像进行格式转换，得到第一YUV图像和第二YUV图像。

在一实施例中，在将第一YUV合成图像作为目标场景的预览图像进行展示之前，处理器701可以执行：

识别当前为预览模式或是为录像模式；

若当前为预览模式，则将第一YUV合成图像作为目标场景的预览图像进行展示。

在一实施例中，在识别当前为预览模式或是为录像模式之后，处理器701可以执行：

若当前为录像模式，则根据第一YUV合成图像进行视频编码，得到目标场景的视频。

在一实施例中，在对第一RAW图像以及第二RAW图像进行格式转换时，处理器701可以执行：

获取当前的录像分辨率，根据录像分辨率对第一RAW图像以及第二RAW图像进行降采样处理；

对降采样后的第一RAW图像以及第二RAW图像进行格式转换，得到对应的第一YUV图像和第二YUV图像。

在一实施例中，处理器701还可以执行：

对第一YUV合成图像进行质量优化处理；

或者，对第二YUV合成图像进行质量优化处理；

或者，对第一YUV图像、第二YUV图像和/或第三YUV图像进行质量优化处理。

应当说明的是，本申请实施例提供的电子设备与上文实施例中的图像处理方法属于同一构思，在电子设备上可以运行图像处理方法实施例中提供的任一方法，其具体实现过程详见特征提取方法实施例，此处不再赘述。

需要说明的是，对本申请实施例的图像处理方法而言，本领域普通测试人员可以理解实现本申请实施例的图像处理方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，所述计算机程序可存储于一计算机可读取存储介质中，如存储在电子设备的存储器中，并被该电子设备内的至少一个处理器执行，在执行过程中可包括如图像处理方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。

对本申请实施例的图像处理装置而言，其各功能模块可以集成在一个处理芯片中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中，所述存储介质譬如为只读存储器，磁盘或光盘等。

以上对本申请实施例所提供的一种图像处理方法、装置、存储介质及电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种图像处理方法，应用于电子设备，其特征在于，所述电子设备包括图像传感器，所述图像传感器具有第一工作模式和第二工作模式，其中，第一工作模式下所述图像传感器在一帧图像的时间内产生两帧依次曝光但曝光时间不同的RAW图像以RAW图像包的形式输出，第二工作模式下所述图像传感器在一帧图像的时间内产生一帧单独的RAW图像，所述图像处理方法包括：

通过工作在所述第一工作模式的所述图像传感器持续获取目标场景的RAW图像包，所述RAW图像包包括依次曝光的第一RAW图像和第二RAW图像；

针对获取到每一RAW图像包，对其进行解包处理后得到所述第一RAW图像和所述第二RAW图像，所述第一RAW图像的曝光时间长于所述第二RAW图像的曝光时间；

对所述第一RAW图像以及所述第二RAW图像进行格式转换，得到对应的第一YUV图像和第二YUV图像；

根据所述第一YUV图像以及所述第二YUV图像合成得到高动态范围的第一YUV合成图像，将所述第一YUV合成图像作为所述目标场景的预览图像实时进行展示。

2.根据权利要求1所述的图像处理方法，其特征在于，所述将所述第一YUV合成图像作为所述目标场景的预览图像进行展示之后，还包括：

若接收到对所述目标场景的拍照指令，则切换所述图像传感器至所述第二工作模式；

通过工作在所述第二工作模式的图像传感器获取所述目标场景的第三RAW图像，所述第三RAW图像的曝光时间长于所述第一RAW图像的曝光时间，或者所述第三RAW图像的曝光时间短于所述第二RAW图像的曝光时间；

对所述第三RAW图像进行格式转换，得到对应的第三YUV图像；

根据所述第一YUV图像、所述第二YUV图像以及所述第三YUV图像合成得到高动态范围的第二YUV合成图像；

对所述第二YUV合成图像进行图像编码，得到所述拍照指令的结果图像。

3.根据权利要求1或2所述的图像处理方法，其特征在于，所述对所述第一RAW图像以及所述第二RAW图像进行格式转换，包括：

获取屏幕的当前分辨率，并根据所述当前分辨率对所述第一RAW图像以及所述第二RAW图像进行降采样处理；

对降采样后的所述第一RAW图像以及所述第二RAW图像进行格式转换，得到所述第一YUV图像和所述第二YUV图像。

4.根据权利要求1所述的图像处理方法，其特征在于，所述将所述第一YUV合成图像作为所述目标场景的预览图像进行展示之前，还包括：

识别当前为预览模式或是为录像模式；

若当前为预览模式，则将所述第一YUV合成图像作为所述目标场景的预览图像进行展示。

5.根据权利要求4所述的图像处理方法，其特征在于，所述识别当前为预览模式或是为录像模式之后，还包括：

若当前为录像模式，则根据所述第一YUV合成图像进行视频编码，得到所述目标场景的视频。

6.根据权利要求5所述的图像处理方法，其特征在于，所述对所述第一RAW图像以及所述第二RAW图像进行格式转换，包括：

获取当前的录像分辨率，根据所述录像分辨率对所述第一RAW图像以及所述第二RAW图像进行降采样处理；

对降采样后的所述第一RAW图像以及所述第二RAW图像进行格式转换，得到对应的第一YUV图像和第二YUV图像。

7.根据权利要求5所述的图像处理方法，其特征在于，所述图像处理方法还包括：

对所述第一YUV合成图像进行质量优化处理。

8.一种图像处理装置，应用于电子设备，其特征在于，所述电子设备包括图像传感器，所述图像传感器具有第一工作模式和第二工作模式，其中，第一工作模式下所述图像传感器在一帧图像的时间内产生两帧依次曝光但曝光时间不同的RAW图像以RAW图像包的形式输出，第二工作模式下所述图像传感器在一帧图像的时间内产生一帧单独的RAW图像，所述图像处理装置包括：

图像获取模块，用于通过工作在所述第一工作模式的所述图像传感器持续获取目标场景的RAW图像包，所述RAW图像包包括依次曝光的第一RAW图像和第二RAW图像；

图像解包模块，用于针对获取到每一RAW图像包，对其进行解包处理后得到所述第一RAW图像和所述第二RAW图像，所述第一RAW图像的曝光时间长于所述第二RAW图像的曝光时间；

格式转换模块，用于对所述第一RAW图像以及所述第二RAW图像进行格式转换，得到对应的第一YUV图像和第二YUV图像；

图像合成模块，用于根据所述第一YUV图像以及所述第二YUV图像合成得到高动态范围的第一YUV合成图像，将所述第一YUV合成图像作为所述目标场景的预览图像实时进行展示。

9.一种存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1至7任一项所述的图像处理方法中的步骤。

10.一种电子设备，包括处理器和存储器，所述存储器储存有计算机程序，其特征在于，所述处理器通过调用所述计算机程序，用于执行如权利要求1至7任一项所述的图像处理方法中的步骤。

Images