CN110381263A - 图像处理方法、装置、存储介质及电子设备 - Google Patents

Abstract

本申请实施例公开了一种图像处理方法、装置、存储介质及电子设备，其中，本申请实施例通过图像传感器对拍摄场景进行曝光，获取具有多个不同曝光时长的第一RAW图像，其中，第一RAW图像包括多个像素单元，多个像素单元与多个多级感光单元一一对应，且每一像素单元包括多个具有不同曝光时长的像素点；对第一RAW图像中的每一像素单元内的多个具有不同曝光时长的像素点进行合成处理，得到具有高动态范围的第二RAW图像；基于第二RAW图像，对拍摄场景进行预览或拍照或录像，提高了高动态范围图像的拍摄效率。

Description

图像处理方法、装置、存储介质及电子设备

技术领域

本申请涉及图像处理技术领域，具体涉及一种图像处理方法、装置、存储介质及电子设备。

背景技术

随着智能终端技术的不断发展，电子设备(如智能手机、平板电脑等)的使用越来越普及。绝大多数电子设备都内置有摄像头，并且随着移动终端处理能力的增强以及摄像头技术的发展，用户对拍摄的图像质量的要求也越来越高。

例如，现在越来越多的电子设备支持高动态范围图像的拍摄。但是相关技术中的高动态范围图像的拍摄都需要摄像头获取在同一场景下拍摄的多帧图像，将该多帧图像进行高动态范围合成，得到一帧HDR(High-Dynamic Range，高动态范围)图像，导致高动态范围图像的拍摄效率低下。

发明内容

本申请实施例提供一种图像处理方法、装置、存储介质及电子设备，能够提高高动态范围图像的拍摄效率。

第一方面，本申请实施例提供一种图像处理方法，所述方法应用于电子设备，所述电子设备包括图像传感器，所述图像传感器包括呈阵列分布的多个多级感光单元，所述方法包括：

通过所述图像传感器对拍摄场景进行曝光，获取具有多个不同曝光时长的第一RAW图像，其中，所述第一RAW图像包括多个像素单元，所述多个像素单元与所述多个多级感光单元一一对应，且每一像素单元包括多个具有不同曝光时长的像素点；

对所述第一RAW图像中的每一像素单元内的多个具有不同曝光时长的像素点进行合成处理，得到具有高动态范围的第二RAW图像；

基于所述第二RAW图像，对所述拍摄场景进行预览或拍照或录像。

第二方面，本申请实施例提供一种图像处理装置，所述装置应用于电子设备，所述电子设备包括图像传感器，所述图像传感器包括呈阵列分布的多个多级感光单元，所述装置包括：

图像获取模块，用于通过所述图像传感器对拍摄场景进行曝光，获取具有多个不同曝光时长的第一RAW图像，其中，所述第一RAW图像包括多个像素单元，所述多个像素单元与所述多个多级感光单元一一对应，且每一像素单元包括多个具有不同曝光时长的像素点；

图像合成模块，用于对所述第一RAW图像中的每一像素单元内的多个具有不同曝光时长的像素点进行合成处理，得到具有高动态范围的第二RAW图像；

图像输出模块，用于基于所述第二RAW图像，对所述拍摄场景进行预览或拍照或录像。

第三方面，本申请实施例提供一种存储介质，其上存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如本申请任一实施例提供的图像处理方法。

第四方面，本申请实施例提供一种电子设备，包括处理器和存储器，所述存储器有计算机程序，所述处理器通过调用所述计算机程序，用于执行如本申请任一实施例提供的图像处理方法。

本申请实施例提供的方案，通过电子设备的图像传感器对拍摄场景进行曝光，获取具有多个不同曝光时长的第一RAW图像，该图像传感器包括呈阵列分布的多个多级感光单元，得到的第一RAW图像包括多个像素单元，所述多个像素单元与所述多个多级感光单元一一对应，且每一像素单元包括多个具有不同曝光时长的像素点，对第一RAW图像中的每一像素单元内的多个具有不同曝光时长的像素点进行合成处理，得到具有高动态范围的第二RAW图像，基于第二RAW图像，对拍摄场景进行预览或拍照或录像，本方案在拍摄具有高动态范围图像时，无需多次曝光得到多帧图像进行合成，基于传感器的多个多级感光单元进行一次曝光，即可得到一帧具有多个不同曝光时长的第一RAW图像，基于该帧第一RAW图像在每一个像素单元内部进行合成处理，即可得到具有高动态范围的图像，提高了高动态范围图像的拍摄效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的图像处理方法的第一种流程示意图。

图2为本申请实施例提供的图像处理方法中图像传感器的多级感光单元分布示意图。

图3为本申请实施例提供的图像处理方法中第一RAW图像的示意图。

图4为本申请实施例提供的图像处理方法中第一RAW图像的第一合成示意图。

图5为本申请实施例提供的图像处理方法中第一RAW图像的第二合成示意图。

图6为本申请实施例提供的图像处理装置的结构示意图。

图7为本申请实施例提供的电子设备的结构示意图。

图8为本申请实施例提供的电子设备的图像处理电路的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本申请的保护范围。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请实施例提供一种图像处理方法，该图像处理方法的执行主体可以是本申请实施例提供的图像处理装置，或者集成了该图像处理装置的电子设备，其中该图像处理装置可以采用硬件或者软件的方式实现。其中，电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等设备。

请参照图1，图1为本申请实施例提供的图像处理方法的第一种流程示意图。本申请实施例提供的图像处理方法的具体流程可以如下：

101、通过图像传感器对拍摄场景进行曝光，获取具有多个不同曝光时长的第一RAW图像，其中，第一RAW图像包括多个像素单元，多个像素单元与多个多级感光单元一一对应，且每一像素单元包括多个具有不同曝光时长的像素点。

本申请实施例中，电子设备的摄像头由透镜和图像传感器构成，其中透镜用于采集外部的光源信号提供给图像传感器，图像传感器感应来自于透镜的光源信号，将其转换为数字化的原始图像数据，即RAW图像。其中，RAW图像是图像感应器将捕捉到的光源信号转化为数字信号的原始数据，是未经处理、也未经压缩的格式，可以将RAW图像理解为“RAW图像编码数据”或者形象地称为“数字底片”。

请参照图2，图2为本申请实施例提供的图像处理方法中图像传感器的多级感光单元分布示意图。该图像传感器包括多个呈阵列分布的多级感光单元。例如，如图2所示，作为一种实施方式，一个多级感光单元包括多个可以实现多个不同曝光时长的感光像素，例如，一个多级感光单元包括十六个感光像素。此外，在呈4*4阵列分布的多级感光单元上覆盖设置有对应的呈阵列分布的滤光单元。其中，R(红)、G(绿)、B(蓝)三色像素可以分别与长中短三种曝光时长对应，在一个像素单元内也呈4*4阵列分布。

在使用图像传感器进行曝光时，可以通过调节进光量控制模组来控制每一个感光像素上进光量的大小，使得一个多级感光单元内的多个感光像素具有不同的曝光时长。如图2所示，灰色粗线框中的十六个感光像素构成一个像素单元，这十六个感光像素可以具有三种不同的曝光时长，分别为长曝光(L)、中曝光(M)和短曝光(S)。比如，第一行的四个感光像素和第三行的四个感光像素按照长曝光、中曝光、长曝光、中曝光的方式交替排列；第二行的四个感光像素和第四行的四个感光像素按照中曝光、短曝光、中曝光、短曝光的方式交替排列。

或者，在其他实施例中，还可以根据需要设置不同的曝光时长，并对应的设置进光量控制模组。例如，这十六个感光像素可以具有两种不同的曝光时长，分别为中曝光和短曝光。比如，每一行的四个感光像素都按照中曝光、短曝光、中曝光、短曝光的方式交替排列。

基于此，通过该图像传感器对拍摄场景进行曝光，即可得到一帧同时具有多个不同曝光时长的RAW图像。其中，曝光(Exposure)是指摄影的过程中允许进入镜头照在感光媒体(胶片相机的底片或是数码照相机的图像传感器)上的光量。“曝光”可以经由光圈、快门和感光媒体的感光度的组合来控制。在一些实施例中，本申请通过控制进光量，使得对应的感光像素按照不同的曝光时长进行曝光，那么曝光得到的图像中，每一像素单元可以包括多个具有不同曝光时长的像素点。

上述多个曝光时长可以预先设置，也可以在用户设置了其中一个曝光值后，根据用户输入或者选择的设定曝光时长以及预先设置的曝光差值生成三个不同的曝光时长。例如，可以将设定曝光时长作为中曝光对应的曝光时长，然后通过将设定曝光时长与预设曝光差值进行加、减运算分别得到长曝光的曝光时长和短曝光的曝光时长。

在使用电子设备进行拍摄照片、视频录制或者拍摄预览时，都可以基于本申请提出的方案进行拍摄输出。

其中，电子设备在根据用户操作启动摄像头进行拍摄时，摄像头对准的场景即为拍摄场景。例如，用户开启电子设备上的相机应用程序，将摄像头对准某一物体进行拍照或者录像，则电子设备的摄像头对准的包含有该物体的场景即为拍摄场景。因此，可以理解的是，拍摄场景并不一定是固定不变的一个特定场景，而是会随着摄像头的移动而变化的场景。

电子设备在启动摄像头进行拍摄时，会在电子设备的取景框中实时地显示摄像头对准的拍摄场景的图像，即进行拍摄预览。当电子设备需要进行拍摄预览时，通过图像传感器对拍摄场景进行曝光，获取具有多个不同曝光时长的第一RAW图像。请参照图3，图3为本申请实施例提供的图像处理方法中第一RAW图像的示意图。图3中的左侧为拍摄得到的第一RAW图像，假设图像传感器的尺寸为w*h，则得到未经任何处理的第一RAW图像的尺寸也为w*h。该第一RAW图像中，每一个像素单元内，第一行的四个像素点的曝光时长和第三行的四个像素点的曝光时长均按照长曝光、中曝光、长曝光、中曝光的方式交替排列；第二行的四个像素点的曝光时长和第四行的四个像素点的曝光时长均按照中曝光、短曝光、中曝光、短曝光的方式交替排列。第一RAW图像种多个像素单元呈阵列分布。可以理解的是，长曝光的曝光时长大于中曝光的曝光时长，中曝光的曝光时长大于短曝光的曝光时长。

102、对第一RAW图像中的每一像素单元内的多个具有不同曝光时长的像素点进行合成处理，得到具有高动态范围的第二RAW图像。

103、基于第二RAW图像，对拍摄场景进行预览或拍照或录像。

针对不同的拍摄模式，可以采用相同或者不同的合成策略对第一RAW图像进行合成。

例如，在预览模式下，在进行高动态范围合成时，可以将第一RAW图像进行一定比例的缩小。例如，请参照图4，图4为本申请实施例提供的图像处理方法中第一RAW图像的第一合成示意图。对于每一个像素单元内的16个像素点，按照1：4的比例进行合成，得到大小为w/2*h/2的第二RAW图像。可以理解的是，对于未经任何处理的第一RAW图像来说，其具有较高的亮度动态范围。其中，针对第一RAW图像中的每一个像素单元，在像素单元的内部对这16个像素点进行高动态范围合成。比如，一个像素单元内的16个像素点包括四个长曝光的像素点、四个短曝光的像素点以及八个中曝光的像素点，按照1：4的比例进行合成，得到大小为w/2*h/2的第二RAW图像，该第二RAW图像中的每一个像素单元有一个长曝光像素点、一个短曝光像素点和两个中曝光像素点。合成策略可以为：计算四个长曝光像素点的亮度值的均值作为合成后的一个长曝光像素点的亮度值；计算四个短曝光像素点的亮度值的均值作为合成后的一个短曝光像素点的亮度值；计算八个中曝光像素点的亮度值的均值作为合成后的两个中曝光像素点的亮度值。或者，在一些实施例中，可以计算第二行第三列的中曝光像素点及其周边的四个其他像素点的均值作为合成后的一个中曝光像素点的亮度值。计算第三行第二列的中曝光像素点及其周边的四个其他像素点的均值作为合成后的另一个中曝光像素点的亮度值。按照该合成策略，可以得到第二RAW图像中每一个像素单元。

又例如，在拍照时，当检测到拍照指令时，可以通过图像传感器对拍摄场景进行曝光，获取具有多个不同曝光时长的第一RAW图像，此时可以采用与拍照预览不同的合成策略。例如，对于每一个像素单元内的16个像素点，按照1：1的比例进行合成，得到大小为w*h的第二RAW图像。请参照图5，图5为本申请实施例提供的图像处理方法中第一RAW图像的第二合成示意图。合成策略可以为：对于每一个长曝光像素点，可以使用该长曝光像素点所在像素单元内的其他长曝光像素点的亮度补偿该长曝光像素点的亮度；同理的，中曝光像素点和短曝光像素点也可以采用同样的原理进行亮度补偿，以实现高动态范围合成。采用这种方式进行高动态范围的合成，合成前后图像的尺寸并未发生变化，但是合成后的图像相对于合成前的图像具有更高的动态范围。

可以理解的是，在录像时，可以按照与拍摄预览或者拍照时的合成策略对第一RAW图像进行合成，得到第二RAW图像，再基于第二RAW图像进行视频编码处理，以输出拍摄场景对应的视频。

具体实施时，本申请不受所描述的各个步骤的执行顺序的限制，在不产生冲突的情况下，某些步骤还可以采用其它顺序进行或者同时进行。

由上可知，本申请实施例提出的图像处理方法，通过电子设备的图像传感器对拍摄场景进行曝光，获取具有多个不同曝光时长的第一RAW图像，该图像传感器包括呈阵列分布的多个多级感光单元，得到的第一RAW图像包括多个像素单元，多个像素单元与多个多级感光单元一一对应，且每一像素单元包括多个具有不同曝光时长的像素点，对第一RAW图像中的每一像素单元内的多个具有不同曝光时长的像素点进行合成处理，得到具有高动态范围的第二RAW图像，基于第二RAW图像，对拍摄场景进行预览或拍照或录像，本方案在拍摄具有高动态范围图像时，无需多次曝光得到多帧图像进行合成，基于传感器的多个多级感光单元进行一次曝光，即可得到一帧具有多个不同曝光时长的第一RAW图像，基于该帧第一RAW图像在每一个像素单元内部进行合成处理，即可得到具有高动态范围的图像，提高了高动态范围图像的拍摄效率。

在一些实施例中，“通过图像传感器对拍摄场景进行曝光，获取具有多个不同曝光时长的第一RAW图像”可以包括：获取设定曝光时长，根据设定曝光时长和预设曝光差值生成多个不同的曝光时长；根据多个不同的曝光时长控制图像传感器对拍摄场景进行曝光，以获取具有多个曝光时长的第一RAW图像。

该实施例中，用户可以预先设定曝光时长，电子设备将该曝光时长作为中间曝光对应的曝光值，然后根据然后通过将该曝光时长与预设曝光差值进行加、减运算分别得到长曝光的曝光时长和短曝光的曝光时长。其中，预设曝光差值是根据图像处理器预先设置好的，在使用电子设备进行拍照时，该数据不会发生变化。

在一些实施例中，通过图像传感器获取具有多个不同曝光时长的第一RAW图像之前，该方法还包括：通过图像传感器获取拍摄场景的预览图像，并计算预览图像的动态范围分数；若动态范围分数不大于预设阈值，则执行通过图像传感器对拍摄场景进行曝光，获取具有多个不同曝光时长的第一RAW图像；若动态范围分数大于预设阈值，则将图像传感器划分为多个区域，并根据区域的亮度分布设置区域的曝光时长；基于每个区域的曝光时长，执行通过图像传感器对拍摄场景进行曝光，获取具有多个不同曝光时长的第一RAW图像。

其中，计算预览图像的动态范围分数包括：统计预览图像中亮度大于第一亮度阈值的第一区域面积，以及亮度小于第二亮度阈值的第二区域面积，其中，第一亮度阈值大于第二亮度阈值；计算第一区域面积与第二区域面积之和在所述预览图像中所占的比例，作为预览图像的动态范围分数。

该实施例中，采用预览图像中的过曝区域(亮度过高)和欠曝区域(亮度过低)的面积之和，在整个预览图像的面积中所占的比例，来计算该预览图像的动态范围分数，该动态范围分数可以理解为对预览图像的动态范围的一个评分，如果该预览图像的动态范围分数越大，说明该预览图像中有较多的过曝区域和/或过曝区域，预览图像具有较高的动态范围的概率也越大。其中，在获取该预览图像时，可以使用同一曝光时长进行曝光。即在获取预览图像时，控制图像传感器的各个感光像素具有相同的进光量。

基于此，当动态范围分数大于预设阈值时，可以将图像传感器划分为多个区域，即将图2所示的呈阵列分布的多个多级感光单元分为多个区域，其中，每个区域的大小可以根据需要预先设定，例如，假设图像传感器包括呈600*400阵列分布的多个多级感光单元，每个预设区域的大小均为150*100。则当动态范围分数大于预设阈值时，将图像传感器的受光面划分为四个150*100的区域，即每个区域内包括呈150*100阵列分布的多个多级感光单元。然后根据每个区域的亮度分布情况设置该区域对应的曝光参数。例如，若某一区域的亮度较高，比如平均亮度大于一个预设的亮度阈值，则将该区域的曝光参数设置为仅有中曝光和短曝光，不在该区域的感光像素上进行长曝光，以避免该区域的亮度过高。反之，当该区域较暗时，将该区域的曝光参数设置为仅有中曝光和长曝光，不在该区域的感光像素上进行短曝光，以提高该区域的亮度。

针对划分后的每个区域，执行通过所述图像传感器对拍摄场景进行曝光，获取具有多个不同曝光时长的第一RAW图像，即该实施例方案实现的是，针对同一个图像传感区，根据拍摄场景的亮度情况，将拍摄长江划分为多个区域，每个区域可以按照不同的曝光时长进行曝光，以使得到的第二RAW图像具有更好的动态范围效果。

在一些实施例中，基于第二RAW图像，对拍摄场景进行预览之后，还包括：当检测对拍摄场景的拍照指令或录像指令时，对第一RAW图像中的每一像素单元内的多个具有不同曝光时长的像素点进行合成处理，得到具有高动态范围的第三RAW图像，其中，第二RAW图像的尺寸小于第一RAW图像的尺寸，第三RAW图像的尺寸等于第一RAW图像的尺寸；基于第三RAW图像，响应拍照指令或录像指令。

该实施例中，预览与拍照采用不同的合成策略。在图像预览时，可以适当地缩小图像地尺寸，而在拍照时，在合成过程中，合成后图像的尺寸没有发生变化，尽可能地保留图像中的信息。

在一些实施例中，每一感光像素单元包括多个长曝光像素点、多个中曝光像素点和多个短曝光像素点；

对第一RAW图像中的每一像素单元内的多个具有不同曝光时长的像素点进行合成处理，得到具有高动态范围的第三RAW图像，包括：

对第一RAW图像中的每一像素单元，分别对多个长曝光像素点、多个中曝光像素点和多个短曝光像素点进行合成处理，得到具有高动态范围的第三RAW图像。

其中，分别对多个长曝光像素点、多个中曝光像素点和多个短曝光像素点进行合成处理，包括：对像素单元内的每一目标长曝光像素点，使用像素单元内除目标长曝光像素点外的其他一个或多个长曝光像素点与目标长曝光像素点进行合成处理；对像素单元内的每一目标中曝光像素点，使用像素单元内除目标中曝光像素点外的其他一个或多个中曝光像素点与目标中曝光像素点进行合成处理；对像素单元内的每一目标短曝光像素点，使用像素单元内除目标短曝光像素点外的其他一个或多个短曝光像素点与目标短曝光像素点进行合成处理。

例如，对于像素单元内的每一个目标长曝光像素点，使用其所在像素单元内除该目标长曝光像素点外的其他一个或者多个长曝光像素点对该目标长曝光像素点进行亮度补偿，比如，对于位置在R(1，1)处的长曝光像素点，可以计算R(1，1)处的长曝光像素点与R(1，3)处的长曝光像素点的亮度均值，作为R(1，1)处的长曝光像素点合成后的亮度值。对于位置在R(1，3)处的长曝光像素点，可以计算R(1，3)处的长曝光像素点与R(1，5)处的长曝光像素点的亮度均值，作为R(1，3)处的长曝光像素点合成后的亮度值。对于位置在R(3，1)处的长曝光像素点，可以计算R(3，1)处的长曝光像素点与R(3，3)处的长曝光像素点的亮度均值，作为R(3，1)处的长曝光像素点合成后的亮度值。依次类推，可以计算得到每一个长曝光像素点处进行合成后的亮度值。其中，对于中曝光像素点和短曝光像素点处，可以按照同样的方式进行合成处理。其中，R(i，j)为第i行第j列处的像素点的位置坐标。

又例如，在一些实施例中，由于一个像素单元内的中曝光像素点较多，因此，对于中曝光像素点来说，可以使用较多的像素点进行合成。对于某一中曝光像素点，可以使用以该中曝光像素点为中心的3*3区域的其他中曝光像素点与该中曝光像素点进行合成。比如，对于位置在R(2，3)处的中曝光像素点，可以计算R(1，2)处的中曝光像素点、R(1，4)处的中曝光像素点、R(2，3)处的中曝光像素点、R(3，2)处的中曝光像素点、R(3，4)处的中曝光像素点的亮度均值，作为R(2，3)处的中曝光像素点合成后的亮度值。

在一些实施例中，基于第二RAW图像，对拍摄场景进行预览或拍照或录像，包括：获取当前的拍摄分辨率，并根据拍摄分辨率对第二RAW图像进行降采样处理；对经过降采样处理后的第二RAW图像进行格式转换处理，得到YUV图像，基于YUV图像对拍摄场景进行预览或拍照或录像。

在经过高动态范围合成处理之后，得到的仍然是RAW格式的图像，将第二RAW图像输入ISP(Image Signal Processing，图像信号处理)中，进行色彩校正、白平衡校正、伽马校正以及颜色空间转换等处理，得到YUV图像，再对YUV图像进行处理，得到RGB图像并输出给用户查看。

在一实施例中还提供了一种图像处理装置。请参阅图6，图6为本申请实施例提供的图像处理装置200的结构示意图。其中该图像处理装置200应用于电子设备，该图像处理装置200包括图像获取模块201、图像合成模块202以及图像输出模块203，如下：

图像获取模块201，用于通过所述图像传感器对拍摄场景进行曝光，获取具有多个不同曝光时长的第一RAW图像，其中，所述第一RAW图像包括多个像素单元，所述多个像素单元与所述多个多级感光单元一一对应，且每一像素单元包括多个具有不同曝光时长的像素点；

图像合成模块202，用于对所述第一RAW图像中的每一像素单元内的多个具有不同曝光时长的像素点进行合成处理，得到具有高动态范围的第二RAW图像；

图像输出模块203，用于基于所述第二RAW图像，对所述拍摄场景进行预览或拍照或录像。

在一些实施例中，图像获取模块201还用于：获取设定曝光时长，根据所述设定曝光时长和预设曝光差值生成多个不同的曝光时长；

根据所述多个不同的曝光时长控制所述图像传感器对拍摄场景进行曝光，以获取具有所述多个曝光时长的第一RAW图像。

在一些实施例中，该图像处理装置200还包括图像检测模块和区域划分模块，其中：

图像检测模块用于：通过所述图像传感器获取所述拍摄场景的预览图像，并计算所述预览图像的动态范围分数；

若所述动态范围分数不大于预设阈值，则图像合成模块202执行对所述第一RAW图像中的每一像素单元内的多个具有不同曝光时长的像素点进行合成处理，得到具有高动态范围的第二RAW图像；

区域划分模块用于：若所述动态范围分数大于所述预设阈值，则将所述图像传感器划分为多个区域，并根据区域的亮度分布设置区域的曝光时长；

图像合成模块202基于每个区域的曝光时长，执行通过所述图像传感器对拍摄场景进行曝光，获取具有多个不同曝光时长的第一RAW图像。

在一些实施例中，图像输出模块203还用于：

当检测对所述拍摄场景的拍照指令或录像指令时，对所述第一RAW图像中的每一像素单元内的多个具有不同曝光时长的像素点进行合成处理，得到具有高动态范围的第三RAW图像，其中，所述第二RAW图像的尺寸小于所述第一RAW图像的尺寸，所述第三RAW图像的尺寸等于所述第一RAW图像的尺寸；

基于所述第三RAW图像，响应所述拍照指令或录像指令。

在一些实施例中，每一感光像素单元包括多个长曝光像素点、多个中曝光像素点和多个短曝光像素点；

图像合成模块202还用于：对所述第一RAW图像中的每一像素单元，分别对所述多个长曝光像素点、多个中曝光像素点和多个短曝光像素点进行合成处理，得到具有高动态范围的第三RAW图像。

在一些实施例中，图像合成模块202还用于：

对所述像素单元内的每一目标长曝光像素点，使用所述像素单元内除所述目标长曝光像素点外的其他一个或多个长曝光像素点与所述目标长曝光像素点进行合成处理；

对所述像素单元内的每一目标中曝光像素点，使用所述像素单元内除所述目标中曝光像素点外的其他一个或多个中曝光像素点与所述目标中曝光像素点进行合成处理；

对所述像素单元内的每一目标短曝光像素点，使用所述像素单元内除所述目标短曝光像素点外的其他一个或多个短曝光像素点与所述目标短曝光像素点进行合成处理。

在一些实施例中，图像输出模块203还用于：

获取当前的拍摄分辨率，并根据所述拍摄分辨率对所述第二RAW图像进行降采样处理；

对经过降采样处理后的所述第二RAW图像进行格式转换处理，得到YUV图像，基于所述YUV图像对所述拍摄场景进行预览或拍照或录像。

具体实施时，以上各个模块可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个模块的具体实施可参见前面的方法实施例，在此不再赘述。

应当说明的是，本申请实施例提供的图像处理装置与上文实施例中的图像处理方法属于同一构思，在图像处理装置上可以运行图像处理方法实施例中提供的任一方法，其具体实现过程详见图像处理方法实施例，此处不再赘述。

由上可知，本申请实施例提出的图像处理装置，图像获取模块201通过电子设备的图像传感器对拍摄场景进行曝光，获取具有多个不同曝光时长的第一RAW图像，该图像传感器包括呈阵列分布的多个多级感光单元，得到的第一RAW图像包括多个像素单元，所述多个像素单元与所述多个多级感光单元一一对应，且每一像素单元包括多个具有不同曝光时长的像素点，图像合成模块202对第一RAW图像中的每一像素单元内的多个具有不同曝光时长的像素点进行合成处理，得到具有高动态范围的第二RAW图像，图像输出模块203基于第二RAW图像，对拍摄场景进行预览或拍照或录像，本方案在拍摄具有高动态范围图像时，无需多次曝光得到多帧图像进行合成，基于传感器的多个多级感光单元进行一次曝光，即可得到一帧具有多个不同曝光时长的第一RAW图像，基于该帧第一RAW图像在每一个像素单元内部进行合成处理，即可得到具有高动态范围的图像，提高了高动态范围图像的拍摄效率。

本申请实施例还提供一种电子设备，该电子设备可以是诸如平板电脑或者智能手机等移动终端。请参阅图7，图7为本申请实施例提供的电子设备的结构示意图。电子设备800可以包括摄像模组801、存储器802、处理器803、触摸显示屏804、扬声器805、麦克风806等部件。

摄像模组801可以包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义图像信号处理(Image Signal Processing)管线的各种处理单元。图像处理电路至少可以包括：摄像头、图像信号处理器(Image Signal Processor，ISP处理器)、控制逻辑器、图像存储器以及显示器等。其中摄像头至少可以包括一个或多个透镜和图像传感器。图像传感器可包括色彩滤镜阵列(如Bayer滤镜)。图像传感器可获取用图像传感器的每个成像像素捕捉的光强度和波长信息，并提供可由图像信号处理器处理的一组原始图像数据。图像传感器还包括呈阵列分布的多个多级感光单元，图像传感器可以通过控制进光量，使得多级感光单元中的多个感光像素点具有不同的曝光时长。

图像信号处理器可以按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，图像信号处理器可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。原始图像数据经过图像信号处理器处理后可存储至图像存储器中。图像信号处理器还可从图像存储器处接收图像数据。

图像存储器可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像存储器的图像数据时，图像信号处理器可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器，以便在被显示之前进行另外的处理。图像信号处理器还可从图像存储器接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，图像信号处理器的输出还可发送给图像存储器，且显示器可从图像存储器读取图像数据。在一种实施方式中，图像存储器可被配置为实现一个或多个帧缓冲器。

图像信号处理器确定的统计数据可发送给控制逻辑器。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜阴影校正等图像传感器的统计信息。

控制逻辑器可包括执行一个或多个例程(如固件)的处理器和/或微控制器。一个或多个例程可根据接收的统计数据，确定摄像头的控制参数以及ISP控制参数。例如，摄像头的控制参数可包括照相机闪光控制参数、透镜的控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵等。

请参阅图8，图8为本实施例中图像处理电路的结构示意图。为便于说明，仅示出与本发明实施例相关的图像处理技术的各个方面。

例如图像处理电路可以包括：摄像头、图像信号处理器、控制逻辑器、图像存储器、显示器。其中，摄像头可以包括一个或多个透镜和图像传感器。在一些实施例中，摄像头可为长焦摄像头或广角摄像头中的任一者。

摄像头采集的图像传输给图像信号处理器进行处理。图像信号处理器处理图像后，可将图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器。控制逻辑器可根据统计数据确定摄像头的控制参数，从而摄像头可根据控制参数进行自动对焦、自动曝光等操作。图像经过图像信号处理器进行处理后可存储至图像存储器中。图像信号处理器也可以读取图像存储器中存储的图像以进行处理。另外，图像经过图像信号处理器进行处理后可直接发送至显示器进行显示。显示器也可以读取图像存储器中的图像以进行显示。

此外，图中没有展示的，电子设备还可以包括CPU和供电模块。CPU和逻辑控制器、图像信号处理器、图像存储器和显示器均连接，CPU用于实现全局控制。供电模块用于为各个模块供电。

存储器802存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器803通过运行存储在存储器802的应用程序，从而执行各种功能应用以及数据处理。

处理器803是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器802内的应用程序，以及调用存储在存储器802内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。

触摸显示屏804可以用于接收用户对电子设备的触摸控制操作。扬声器805可以播放声音信号。麦克风806可以用于拾取声音信号。

在本实施例中，电子设备中的处理器803会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器802中，并由处理器803来运行存储在存储器802中的应用程序，从而执行：

通过所述图像传感器对拍摄场景进行曝光，获取具有多个不同曝光时长的第一RAW图像，其中，所述第一RAW图像包括多个像素单元，所述多个像素单元与所述多个多级感光单元一一对应，且每一像素单元包括多个具有不同曝光时长的像素点；

对所述第一RAW图像中的每一像素单元内的多个具有不同曝光时长的像素点进行合成处理，得到具有高动态范围的第二RAW图像；

基于所述第二RAW图像，对所述拍摄场景进行预览或拍照或录像。

在一些实施例中，通过所述图像传感器对拍摄场景进行曝光，获取具有多个不同曝光时长的第一RAW图像时，处理器803执行：

获取设定曝光时长，根据所述设定曝光时长和预设曝光差值生成多个不同的曝光时长；

根据所述多个不同的曝光时长控制所述图像传感器对拍摄场景进行曝光，以获取具有所述多个曝光时长的第一RAW图像。

在一些实施例中，通过所述图像传感器获取具有多个不同曝光时长的第一RAW图像之前，处理器803执行：

通过所述图像传感器获取所述拍摄场景的预览图像，并计算所述预览图像的动态范围分数；

若所述动态范围分数不大于预设阈值，则执行通过所述图像传感器对拍摄场景进行曝光，获取具有多个不同曝光时长的第一RAW图像；

若所述动态范围分数大于所述预设阈值，则将所述图像传感器划分为多个区域，并根据区域的亮度分布设置区域的曝光时长；

基于每个区域的曝光时长，执行通过所述图像传感器对拍摄场景进行曝光，获取具有多个不同曝光时长的第一RAW图像。

在一些实施例中，基于所述第二RAW图像，对所述拍摄场景进行预览之后，处理器803执行：

当检测对所述拍摄场景的拍照指令或录像指令时，对所述第一RAW图像中的每一像素单元内的多个具有不同曝光时长的像素点进行合成处理，得到具有高动态范围的第三RAW图像，其中，所述第二RAW图像的尺寸小于所述第一RAW图像的尺寸，所述第三RAW图像的尺寸等于所述第一RAW图像的尺寸；

基于所述第三RAW图像，响应所述拍照指令或录像指令。

在一些实施例中，每一感光像素单元包括多个长曝光像素点、多个中曝光像素点和多个短曝光像素点；对所述第一RAW图像中的每一像素单元内的多个具有不同曝光时长的像素点进行合成处理，得到具有高动态范围的第三RAW图像时，处理器803执行：

对所述第一RAW图像中的每一像素单元，分别对所述多个长曝光像素点、多个中曝光像素点和多个短曝光像素点进行合成处理，得到具有高动态范围的第三RAW图像。

在一些实施例中，分别对所述多个长曝光像素点、多个中曝光像素点和多个短曝光像素点进行合成处理时，处理器803执行：

对所述像素单元内的每一目标长曝光像素点，使用所述像素单元内除所述目标长曝光像素点外的其他一个或多个长曝光像素点与所述目标长曝光像素点进行合成处理；

对所述像素单元内的每一目标中曝光像素点，使用所述像素单元内除所述目标中曝光像素点外的其他一个或多个中曝光像素点与所述目标中曝光像素点进行合成处理；

对所述像素单元内的每一目标短曝光像素点，使用所述像素单元内除所述目标短曝光像素点外的其他一个或多个短曝光像素点与所述目标短曝光像素点进行合成处理。

在一些实施例中，基于所述第二RAW图像，对所述拍摄场景进行预览或拍照或录像时，处理器803执行：

获取当前的拍摄分辨率，并根据所述拍摄分辨率对所述第二RAW图像进行降采样处理；

对经过降采样处理后的所述第二RAW图像进行格式转换处理，得到YUV图像，基于所述YUV图像对所述拍摄场景进行预览或拍照或录像。

由上可知，本申请实施例提供了一种电子设备，所述电子设备通过图像传感器对拍摄场景进行曝光，获取具有多个不同曝光时长的第一RAW图像，该图像传感器包括呈阵列分布的多个多级感光单元，得到的第一RAW图像包括多个像素单元，所述多个像素单元与所述多个多级感光单元一一对应，且每一像素单元包括多个具有不同曝光时长的像素点，对第一RAW图像中的每一像素单元内的多个具有不同曝光时长的像素点进行合成处理，得到具有高动态范围的第二RAW图像，基于第二RAW图像，对拍摄场景进行预览或拍照或录像，本方案在拍摄具有高动态范围图像时，无需多次曝光得到多帧图像进行合成，基于传感器的多个多级感光单元进行一次曝光，即可得到一帧具有多个不同曝光时长的第一RAW图像，基于该帧第一RAW图像在每一个像素单元内部进行合成处理，即可得到具有高动态范围的图像，提高了高动态范围图像的拍摄效率。

本申请实施例还提供一种存储介质，所述存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，所述计算机执行上述任一实施例所述的图像处理方法。

需要说明的是，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过计算机程序来指令相关的硬件来完成，所述计算机程序可以存储于计算机可读存储介质中，所述存储介质可以包括但不限于：只读存储器(ROM，Read OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。

此外，本申请中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块，而是某些实施例还包括没有列出的步骤或模块，或某些实施例还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。

以上对本申请实施例所提供的图像处理方法、装置、存储介质及电子设备进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法应用于电子设备，所述电子设备包括图像传感器，所述图像传感器包括呈阵列分布的多个多级感光单元，所述方法包括：

通过所述图像传感器对拍摄场景进行曝光，获取具有多个不同曝光时长的第一RAW图像，其中，所述第一RAW图像包括多个像素单元，所述多个像素单元与所述多个多级感光单元一一对应，且每一像素单元包括多个具有不同曝光时长的像素点；

对所述第一RAW图像中的每一像素单元内的多个具有不同曝光时长的像素点进行合成处理，得到具有高动态范围的第二RAW图像；

基于所述第二RAW图像，对所述拍摄场景进行预览或拍照或录像。

2.如权利要求1所述的图像处理方法，其特征在于，所述通过所述图像传感器对拍摄场景进行曝光，获取具有多个不同曝光时长的第一RAW图像，包括：

获取设定曝光时长，根据所述设定曝光时长和预设曝光差值生成多个不同的曝光时长；

根据所述多个不同的曝光时长控制所述图像传感器对拍摄场景进行曝光，以获取具有所述多个曝光时长的第一RAW图像。

3.如权利要求1所述的图像处理方法，其特征在于，所述通过所述图像传感器获取具有多个不同曝光时长的第一RAW图像之前，所述方法还包括：

通过所述图像传感器获取所述拍摄场景的预览图像，并计算所述预览图像的动态范围分数；

若所述动态范围分数不大于预设阈值，则执行通过所述图像传感器对拍摄场景进行曝光，获取具有多个不同曝光时长的第一RAW图像；

若所述动态范围分数大于所述预设阈值，则将所述图像传感器划分为多个区域，并根据区域的亮度分布设置区域的曝光时长；

基于每个区域的曝光时长，执行通过所述图像传感器对拍摄场景进行曝光，获取具有多个不同曝光时长的第一RAW图像。

4.如权利要求1所述的图像处理方法，其特征在于，所述基于所述第二RAW图像，对所述拍摄场景进行预览之后，还包括：

当检测对所述拍摄场景的拍照指令或录像指令时，对所述第一RAW图像中的每一像素单元内的多个具有不同曝光时长的像素点进行合成处理，得到具有高动态范围的第三RAW图像，其中，所述第二RAW图像的尺寸小于所述第一RAW图像的尺寸，所述第三RAW图像的尺寸等于所述第一RAW图像的尺寸；

基于所述第三RAW图像，响应所述拍照指令或录像指令。

5.如权利要求4所述的图像处理方法，其特征在于，每一感光像素单元包括多个长曝光像素点、多个中曝光像素点和多个短曝光像素点；

所述对所述第一RAW图像中的每一像素单元内的多个具有不同曝光时长的像素点进行合成处理，得到具有高动态范围的第三RAW图像，包括：

对所述第一RAW图像中的每一像素单元，分别对所述多个长曝光像素点、多个中曝光像素点和多个短曝光像素点进行合成处理，得到具有高动态范围的第三RAW图像。

6.如权利要求5所述的图像处理方法，其特征在于，所述分别对所述多个长曝光像素点、多个中曝光像素点和多个短曝光像素点进行合成处理，包括：

对所述像素单元内的每一目标长曝光像素点，使用所述像素单元内除所述目标长曝光像素点外的其他一个或多个长曝光像素点与所述目标长曝光像素点进行合成处理；

对所述像素单元内的每一目标中曝光像素点，使用所述像素单元内除所述目标中曝光像素点外的其他一个或多个中曝光像素点与所述目标中曝光像素点进行合成处理；

对所述像素单元内的每一目标短曝光像素点，使用所述像素单元内除所述目标短曝光像素点外的其他一个或多个短曝光像素点与所述目标短曝光像素点进行合成处理。

7.如权利要求1至6所述的图像处理方法，其特征在于，所述基于所述第二RAW图像，对所述拍摄场景进行预览或拍照或录像，包括：

获取当前的拍摄分辨率，并根据所述拍摄分辨率对所述第二RAW图像进行降采样处理；

对经过降采样处理后的所述第二RAW图像进行格式转换处理，得到YUV图像，基于所述YUV图像对所述拍摄场景进行预览或拍照或录像。

8.一种图像处理装置，其特征在于，所述装置应用于电子设备，所述电子设备包括图像传感器，所述图像传感器包括呈阵列分布的多个多级感光单元，所述装置包括：

图像获取模块，用于通过所述图像传感器对拍摄场景进行曝光，获取具有多个不同曝光时长的第一RAW图像，其中，所述第一RAW图像包括多个像素单元，所述多个像素单元与所述多个多级感光单元一一对应，且每一像素单元包括多个具有不同曝光时长的像素点；

图像合成模块，用于对所述第一RAW图像中的每一像素单元内的多个具有不同曝光时长的像素点进行合成处理，得到具有高动态范围的第二RAW图像；

图像输出模块，用于基于所述第二RAW图像，对所述拍摄场景进行预览或拍照或录像。

9.一种存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1至7任一项所述的图像处理方法。

10.一种电子设备，包括处理器和存储器，所述存储器存储有计算机程序，其特征在于，所述电子设备还包括图像传感器，所述图像传感器包括呈阵列分布的多个多级感光单元，所述处理器通过调用所述计算机程序，用于执行如权利要求1至7任一项所述的图像处理方法。