CN111416936B - 图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种图像处理方法、装置、电子设备及存储介质，所述方法包括如下步骤：通过确定第一摄像头的拍摄画面中的目标区域；获取拍摄画面中不重叠的多个区域的多个景深；通过第一摄像头获取拍摄画面的m个图像，根据多个景深从m个图像中选取n个目标图像，将n个目标图像进行合成，得到第一高动态范围图像，如此，可在保证HDR图像处理效果的前提下，减少合成图像的图像数量，从而降低系统功耗和降低帧的时延，进而满足用户对HDR图像处理效果的需求，提升用户的拍摄体验。

Description

图像处理方法、装置、电子设备及存储介质

技术领域

本申请涉及图像处理技术领域，具体涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

当前的高动态范围(High-Dynamic Range，HDR)技术中，可以通过拍摄多个低动态范围图像来合成一个HDR图像，通过控制合成时使用低动态范围图像的图像数量和曝光时间来实现HDR效果的区分，不同的图像数量和曝光时间会产生不同的HDR效果。

对于拍照场景，上述合成HDR图像方式的时延和功耗是可以接受的，可以满足用户对图像合成HDR效果的需求。但对于拍摄预览或者视频录制场景，合成HDR图像的低动态范围图像的图像数量较大，会增加系统负载或者导致画面帧率降低；如果要保证帧率，降低系统功耗，则进行HDR处理的效果难以满足用户对视频图像处理的需求，从而影响用户的拍摄体验。

发明内容

本申请实施例提供了一种图像处理方法、装置、电子设备及存储介质，能够在保证HDR图像处理效果的前提下，减少合成图像的图像数量，从而降低系统功耗和降低帧的时延。

第一方面，本申请实施例提供一种图像处理方法，应用于电子设备，所述电子设备包括第一摄像头，所述方法包括：

确定所述第一摄像头的拍摄画面中的目标区域；

获取所述拍摄画面中不重叠的多个区域的多个景深，每一所述区域对应一个所述景深，所述多个区域包括所述目标区域；

通过所述第一摄像头获取所述拍摄画面的m个图像，所述m个图像的曝光量不同，所述m为正整数；

根据所述多个景深从所述m个图像中选取n个目标图像，所述n为大于3 的整数，m大于或等于n；将所述n个目标图像进行合成，得到第一高动态范围图像。

第二方面，本申请实施例提供一种图像处理装置，应用于电子设备，所述电子设备包括第一摄像头，所述装置包括：

确定单元，用于确定所述第一摄像头的拍摄画面中的目标区域；

获取单元，用于获取所述拍摄画面中不重叠的多个区域的多个景深，每一所述区域对应一个所述景深，所述多个区域包括所述目标区域；

所述获取单元，还用于通过所述第一摄像头获取所述拍摄画面的m个图像，所述m个图像的曝光量不同，所述m为正整数；

选取单元，用于根据所述多个景深从所述m个图像中选取n个目标图像，所述n为大于3的整数，m大于或等于n；

处理单元，用于将所述n个目标图像进行合成，得到第一高动态范围图像。

第三方面，本申请实施例提供一种电子设备，包括第一摄像头、第二摄像头、处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面中的步骤的指令。

第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。

第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

实施本申请实施例，具备如下有益效果：

可以看出，本申请实施例中提供的图像处理方法、装置、电子设备及存储介质，通过确定第一摄像头的拍摄画面中的目标区域；获取拍摄画面中不重叠的多个区域的多个景深；通过第一摄像头获取拍摄画面的m个图像，根据多个景深从m个图像中选取n个目标图像，将n个目标图像进行合成，得到第一高动态范围图像，如此，选取的m个图像可以保证目标区域的图像质量，例如，目标区域可以是用户的感兴趣区域，不需要将m个图像全部进行图像合成，可在保证HDR图像处理效果的前提下，减少进行图像合成的图像数量，从而，可降低系统功耗和降低帧的时延，进而满足用户对HDR图像处理效果的需求，提升用户的拍摄体验。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A是本申请实施例提供的一种电子设备的结构示意图；

图1B是本申请实施例提供的一种图像处理方法的流程示意图；

图1C是本申请实施例提供的一种确定焦平面的演示示意图；

图1D是本申请实施例提供的一种景深原理示意图；

图2是是本申请实施例提供的另一种图像处理方法的流程示意图；

图3是本申请实施例提供的一种眼球追踪场景下确定注视点的流程示意图；

图4是本申请实施例提供的一种电子设备的结构示意图；

图5是本申请实施例提供的一种图像处理装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请实施例所涉及到的电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备(智能手表、智能手环、无线耳机、增强现实/虚拟现实设备、智能眼镜)、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(userequipment，UE)，移动台(mobile station，MS)，终端设备(terminal device)等等。为方便描述，上面提到的设备统称为电子设备。

下面对本申请实施例进行详细介绍。

请参阅图1A，图1A是本申请实施例公开的一种电子设备的结构示意图，电子设备100包括存储和处理电路110，以及与所述存储和处理电路110连接的传感器170，其中：

电子设备100可以包括控制电路，该控制电路可以包括存储和处理电路110。该存储和处理电路110可以包括存储器，例如硬盘驱动存储器，非易失性存储器(例如闪存或用于形成固态驱动器的其它电子可编程只读存储器等)，易失性存储器(例如静态或动态随机存取存储器等)等，本申请实施例不作限制。存储和处理电路110中的处理电路可以用于控制电子设备100的运转。该处理电路可以基于一个或多个微处理器，微控制器，数字信号处理器，基带处理器，功率管理单元，音频编解码器芯片，专用集成电路，显示驱动器集成电路等来实现。

存储和处理电路110可用于运行电子设备100中的软件，例如互联网浏览应用程序，互联网协议语音(Voice over Internet Protocol,VOIP)电话呼叫应用程序，电子邮件应用程序，媒体播放应用程序，操作系统功能等。这些软件可以用于执行一些控制操作，例如，基于照相机的图像采集，基于环境光传感器的环境光测量，基于接近传感器的接近传感器测量，基于诸如发光二极管的状态指示灯等状态指示器实现的信息显示功能，基于触摸传感器的触摸事件检测，与在多个(例如分层的)显示屏上显示信息相关联的功能，与执行无线通信功能相关联的操作，与收集和产生音频信号相关联的操作，与收集和处理按钮按压事件数据相关联的控制操作，以及电子设备100中的其它功能等，本申请实施例不作限制。

电子设备100可以包括输入-输出电路150。输入-输出电路150可用于使电子设备100实现数据的输入和输出，即允许电子设备100从外部设备接收数据和也允许电子设备100将数据从电子设备100输出至外部设备。输入-输出电路 150可以进一步包括传感器170。传感器170可以包括超声波指纹识别模组，还可以包括环境光传感器，基于光和电容的接近传感器，触摸传感器(例如，基于光触摸传感器和/或电容式触摸传感器，其中，触摸传感器可以是触控显示屏的一部分，也可以作为一个触摸传感器结构独立使用)，加速度传感器，和其它传感器等，超声波指纹识别模组可以集成于屏幕下方，或者，超声波指纹识别模组可以设置于电子设备的侧面或者背面，在此不作限定，该超声波指纹识别模组可以用于采集指纹图像。

传感器170可以包括第一摄像头和第二摄像头，第一摄像头可以为前置摄像头或者后置摄像头，第二摄像头可以为前置摄像头或者后置摄像头，第二摄像头可以为红外(Infrared Radiation，IR)摄像头或者可见光摄像头，IR摄像头在拍摄时，瞳孔反射红外光，因此IR摄像头在拍摄瞳孔图像会比RGB相机更加准确；可见光摄像头需要进行更多的后续瞳孔检测，计算精度和准确性比IR 摄像头要高，通用性比IR摄像头更好，但是计算量大。

输入-输出电路150还可以包括一个或多个显示屏，例如显示屏130。显示屏130可以包括液晶显示屏，有机发光二极管显示屏，电子墨水显示屏，等离子显示屏，使用其它显示技术的显示屏中一种或者几种的组合。显示屏130可以包括触摸传感器阵列(即，显示屏130可以是触控显示屏)。触摸传感器可以是由透明的触摸传感器电极(例如氧化铟锡(ITO)电极)阵列形成的电容式触摸传感器，或者可以是使用其它触摸技术形成的触摸传感器，例如音波触控，压敏触摸，电阻触摸，光学触摸等，本申请实施例不作限制。

电子设备100还可以包括音频组件140。音频组件140可以用于为电子设备 100提供音频输入和输出功能。电子设备100中的音频组件140可以包括扬声器，麦克风，蜂鸣器，音调发生器以及其它用于产生和检测声音的组件。

通信电路120可以用于为电子设备100提供与外部设备通信的能力。通信电路120可以包括模拟和数字输入-输出接口电路，和基于射频信号和/或光信号的无线通信电路。通信电路120中的无线通信电路可以包括射频收发器电路、功率放大器电路、低噪声放大器、开关、滤波器和天线。举例来说，通信电路 120中的无线通信电路可以包括用于通过发射和接收近场耦合电磁信号来支持近场通信(Near Field Communication，NFC)的电路。例如，通信电路120可以包括近场通信天线和近场通信收发器。通信电路120还可以包括蜂窝电话收发器和天线，无线局域网收发器电路和天线等。

电子设备100还可以进一步包括电池，电力管理电路和其它输入-输出单元 160。输入-输出单元160可以包括按钮，操纵杆，点击轮，滚动轮，触摸板，小键盘，键盘，照相机，发光二极管和其它状态指示器等。

用户可以通过输入-输出电路150输入命令来控制电子设备100的操作，并且可以使用输入-输出电路150的输出数据以实现接收来自电子设备100的状态信息和其它输出。

请参阅图1B，图1B是本申请实施例提供的一种图像处理方法的流程示意图，应用于如图1A所示的电子设备，所述电子设备包括第一摄像头和第二摄像头，如图1B所示，本申请提供的图像处理方法包括：

101、确定所述第一摄像头的拍摄画面中的目标区域。

其中，第一摄像头可以是电子设备上的后置摄像头或者前置摄像头。

其中，上述目标区域可以是拍摄者关注拍摄画面中的感兴趣区域，也可以是第一摄像头进行对焦时，拍摄画面的对焦框选中的区域。

可选地，上述步骤101中，确定所述第一摄像头的拍摄画面中的目标区域，可包括以下步骤：

11、通过所述第二摄像头对目标对象进行眼球追踪，得到所述目标对象的人眼关注所述拍摄画面中的区域；

12、若所述目标对象的人眼关注所述拍摄画面中的区域的关注时长大于预设时长，将所述人眼关注所述拍摄画面中的区域作为所述目标区域。

其中，第二摄像头可以是前置摄像头，通过前置摄像头可以对目标对象进行眼球追踪，进而确定目标对象的人眼关注拍摄画面中的目标区域，具体地，可通过第二摄像头检测目标对象的人眼关注拍摄画面中的区域的关注时长，若该关注时长大于预设时长，可确定目标对象对该区域感兴趣，进而可将该区域作为目标区域。

可选地，上述步骤101中，确定所述第一摄像头的拍摄画面中的目标区域，可包括以下步骤：

确定所述拍摄画面中的对焦框选中的区域；将所述对焦框选中的区域作为所述目标区域。

具体实施中，第一摄像头进行对焦时，电子设备的相机应用可以设置手动对焦模式和自动对焦模式，在手动对焦模式下，拍摄者可以进行手动对焦，通过对焦框选中拍摄画面中的区域，从而，将该区域作为目标区域；在自动对焦模式下，相机应用可针对拍摄画面中的拍摄对象(例如人物)进行自动对焦，从而，可以将对焦框选中的区域作为目标区域。

102、获取所述拍摄画面中不重叠的多个区域的多个景深，每一所述区域对应一个所述景深，所述多个区域包括所述目标区域。

其中，电子设备可获取拍摄画面中不同区域的景深，同一区域具有相同的景深，不同区域之间具有不同的景深，从而，可根据获取的多个景深将拍摄画面划分为多个区域。

可选地，所述多个景深包括第一景深和至少一个第二景深，上述步骤102 中，获取所述拍摄画面中不同的多个区域的多个景深，可包括以下步骤：

21、针对所述目标区域进行特征提取，得到特征信息；

22、根据所述特征信息进行对象识别，得到所述特征信息对应的第一拍摄对象；

23、确定所述第一拍摄对象对应的焦平面，其中，所述焦平面为平行于所述第一摄像头的成像平面且经过所述第一拍摄对象的平面；

24、针对所述焦平面获取所述目标区域对应的第一景深，以及获取所述拍摄画面中除了所述目标区域以外其他不同区域的至少一个第二景深。

其中，可针对目标区域进行特征提取，分析目标区域所包含的拍摄对象的特征信息，特征提取算法可包括以下至少一种：方向梯度直方图(histogram of orientedgradients，HOG)算法、霍夫变换法或Haar特征级联分类器算法等等，此处不做限制，然后根据对象识别算法对特征信息进行对象识别，确定特征信息对应的第一拍摄对象，第一拍摄对象例如可以是人物、物体等等，此处不作限定，根据对象识别算法对特征信息进行对象识别，具体地，可将该特征信息与预设的特征模板库中的特征模板进行匹配，确定与特征信息匹配成功的目标特征模板，进而确定与该目标特征模板对应的第一拍摄对象。

具体实施中，电子设备中可预先的特征模板库中可以预先存储多个感兴趣的拍摄对象的特征模板，例如3-5个感兴趣的拍摄对象的特征模板，特征模板的数量此处不做限定，从而，可在进行拍摄时，若根据提取的特征信息确定存在用户感兴趣的第一拍摄对象，则可将第一拍摄对象所在的平面作为焦平面。

进一步地，请参阅图1C，图1C为本申请实施例提供的一种确定焦平面的演示示意图，其中，可确定第一拍摄对象与电子设备的第一摄像头之间的在拍摄方向上的距离，进而，确定平行于第一摄像头的成像平面且经过第一拍摄对象的平面为焦平面。

最后，可针对所述焦平面获取目标区域对应的第一景深，请参阅图1D，图 1D为本申请实施例提供的一种景深原理示意图，其中，可先根据第一摄像头的光圈值、物距、弥散圆直径和第一摄像头的焦距确定焦平面对应的前景深和后景深，具体公式如下：

其中，△L1为前景深，△L2为后景深，F为光圈值、L为物距、δ为弥散圆直径和f为第一摄像头的焦距。

然后可根据前景深和后景深计算焦平面对应的第一景深，具体公式如下：

获取拍摄画面中除了所述目标区域以外其他区域的任一第二景深的方式可参考上述获取第一景深的方式，此处不再赘述。

103、通过所述第一摄像头获取所述拍摄画面的m个图像，所述m个图像的曝光量不同，所述m为正整数。

其中，m个图像，均为低动态范围图像，电子设备可控制第一摄像头的曝光时长和曝光间隔，使m个图像的曝光量不同，具体地，电子设备可控制第二摄像头不同的曝光值(Exposure Value，EV)下拍摄m个图像，使得m个图像具有不同的曝光程度，例如，可包括正常曝光图像集、过曝光图像集和欠曝光图像集，上述正常曝光图像集包括至少一张正常曝光图像，过曝光图像集包括至少一张过曝光图像，欠曝光图像集包括至少一张欠曝光图像集，其中，正常曝光图像是第二摄像头拍摄的常规图像，欠曝光图像比正常曝光图像更暗，可以拍摄非常明亮的图像部分，过曝光图像比正常曝光图像更亮，可以拍摄非常黑暗的图像部分。

104、根据所述多个景深从所述m个图像中选取n个目标图像，所述n为大于3的整数，m大于或等于n；将所述n个目标图像进行合成，得到第一高动态范围图像。

其中，m个图像的曝光量不同，导致m个图像具有不同的曝光程度，因此，可根据多张图像合成高动态范围图像，从而可以提供高动态范围图像更多的动态范围和图像细节，可以增强高动态范围图像中各个区域的对比度，提供高质量图像数据，在较暗环境光场景下，可提亮图像的效果，使得在较暗环境下能够更好地获得拍摄对象的细节。

其中，可根据多个景深从m个图像中选取n个目标图像，具体地，可根据目标区域的第一拍摄对象的亮度选取n个目标图像，从而，可保证合成后的第一高动态范围图像可以呈现第一拍摄对象的动态范围和图像细节，从而，在保证用户对拍摄效果的需求的前提下，降低进行HDR图像合成的图像数量。

可选地，上述步骤104中，根据所述多个景深从所述m个图像中选取n个目标图像，可包括以下步骤：

41、确定所述至少一个第二景深中每一第二景深与所述第一景深之间的相对景深，得到至少一个相对景深；

42、确定所述至少一个相对景深中小于第一预设数值的相对景深对应所述拍摄画面中的第一区域；

43、根据第一区域的第一图像信息从所述m个图像中选取n个目标图像。

其中，可根据拍摄画面中处于不同平面的拍摄对象相对焦平面的相对景深的大小来决定对不同拍摄对象所在的区域进行HDR处理的程度，具体地，可以先确定至少一个第二景深中每一第二景深与第一景深之间的相对景深，得到至少一个相对景深，可以理解的是，相对景深越小，表示该相对景深对应的拍摄对象在拍摄方向上距离目标区域的第一拍摄对象越近，相对景深越大，表示该相对景深对应的拍摄对象在拍摄方向上距离目标区域的第一拍摄对象越远，因此，可将至少一个相对景深中小于第一预设数值的相对景深对应拍摄画面中的第一区域作为需要重点进行HDR处理的重点区域，进而，可根据第一区域的第一图像信息从m个图像中选取n个目标图像，如此，n个目标图像可以根据拍摄画面中第一区域的当前亮度选取m个图像中使第一区域的HDR处理效果最佳的n个目标图像。

可见，通过从m个图像中选取部分图像合成第一高动态范围图像，可以在保证包括第一拍摄对象在内的第一区域的图像处理效果的基础上，减少进行 HDR图像合成的图像数量，从而，降低系统功耗，以及提高用户体验。

可选地，在所述根据第一区域的第一图像信息从所述m个图像中选取n个目标图像之前，所述方法还可包括以下步骤：

根据所述第一区域图像信息确定所述m。

可选地，在所述将所述n个目标图像进行合成，得到第一高动态范围图像之后，还可包括以下步骤：

44、确定所述至少一个相对景深中大于或等于所述第一预设数值，小于第二预设数值的相对景深对应所述拍摄画面中第二区域，其中，所述第一预设数值小于所述第二预设数值；

45、根据第二区域的第二图像信息从所述m个图像中提取p个与所述第二区域对应的第一区域图像，得到p个第一区域图像，所述p小于所述n，且所述 p个第一区域图像与所述n个目标图像不重复，p为正整数；

46、将所述第一高动态范围图像与所述p个第一区域图像进行合成，得到第二高动态范围图像。

其中，为了提高拍摄画面中除了第一区域以外的其他区域的图像质量，可进一步将至少一个相对景深中大于或等于第一预设数值，小于第二预设数值的相对景深对应拍摄画面中第二区域作为次重点区域，在保证第一区域的图像质量的前提下，针对第二区域，可以根据第二区域的第二图像信息从所述m个图像中选取p个图像，选取的p个图像可以使第二区域的HDR处理效果最佳，p 个图像的数量小于n个图像的数量，然后，从选取的p个图像中分别提取与第二区域对应的第一区域图像，得到p个第一区域图像，最后，可将第一高动态范围图像与p个第一区域图像进行合成，得到第二高动态范围图像。

可见，通过选取m个图像中不同数量的部分图像对拍摄画面中第一区域和第二区域进行不同程度的HDR合成处理，可以在满足用户对拍摄画面中感兴趣区域的图像质量需求的前提下，降低进行图像合成的图像数量，从而，降低系统功耗，以及提高用户体验。

可选地，上述步骤43中，在将所述第一高动态范围图像与所述p个第一区域图像进行合成，得到第二高动态范围图像之后，还可包括以下步骤：

47、确定所述至少一个相对景深中大于所述第二预设数值的相对景深对应所述拍摄画面中的第三区域；

48、根据第三区域的第三图像信息从所述m个图像中提取q个与所述第三区域对应的第二区域图像，得到q个第二区域图像，所述q小于所述p，所述q 个第二区域图像与所述n个目标图像不重复，所述q个第二区域图像与所述p 个第一区域图像不重复，q为正整数；

49、将所述第二高动态范围图像与所述q个第二区域图像进行合成，得到第三高动态范围图像。

其中，可进一步将至少一个相对景深中大于所述第二预设数值的相对景深对应所述拍摄画面中的第三区域作为非重点区域，针对第三区域，可以根据第三区域的第三图像信息从m个图像中选取q个图像，选取的q个图像可以使第三区域的HDR处理效果最佳，q个图像的数量小于p个图像的数量，然后，从选取的q个图像中分别提取与第三区域对应的第二区域图像，得到q个第二区域图像，最后，可将第二高动态范围图像与q个第二区域图像进行合成，得到第三高动态范围图像。

可选地，为了降低进行图像合成的图像数量，也可以针对第三区域不进行 HDR处理。

举例说明，电子设备可以预先设定第一预设数值为d1，第二预设数值为d2， d1小于d2，在确定至少一个相对景深之后，可以确定相对景深小于d1的第一区域，确定相对景深大于或等于d1，小于d2的的第二区域，确定相对景深大于或等于d2的第三区域，进而，从获取的m个图像中选取5个目标图像，然后，从m个图像中选取不同于5个目标图像的3个图像，从该3张图像中提取3个与第二区域对应的第一区域图像，得到3个第一区域图像；从m个图像中选取不同于5个目标图像和3个图像以外的2个图像，从该2个图像中提取2个与第三区域对应的第二区域图像，得到2个第二区域图像，最后，将5个目标图像、3个第一区域图像和2个第二区域图像进行图像合成，得到第三高动态范围图像。

可见，通过选取m个图像中不同数量的部分图像对拍摄画面中第一区域、第二区域和第三区域进行不同程度的HDR合成处理，可以在满足用户对拍摄画面中感兴趣区域的图像质量需求的前提下，降低进行图像合成的图像数量，从而，降低系统功耗，以及提高用户体验。

可以看出，本申请实施例中通过确定第一摄像头的拍摄画面中的目标区域；获取拍摄画面中不重叠的多个区域的多个景深；通过第一摄像头获取拍摄画面的m个图像，根据多个景深从m个图像中选取n个目标图像，将n个目标图像进行合成，得到第一高动态范围图像，如此，可在保证HDR图像处理效果的前提下，减少合成图像的图像数量，从而降低系统功耗和降低帧的时延，进而满足用户对HDR图像处理效果的需求，提升用户的拍摄体验。

请参阅图2，图2为本申请实施例提供的一种图像处理方法的流程示意图，应用于电子设备，所述电子设备包括第一摄像头和第二摄像头，所述方法包括：

201、通过第二摄像头对目标对象进行眼球追踪，得到所述目标对象的人眼关注所述拍摄画面中的区域。

202、若所述目标对象的人眼关注所述拍摄画面中的区域的关注时长大于预设时长，将所述人眼关注所述拍摄画面中的区域作为目标区域。

203、获取所述拍摄画面中不重叠的多个区域的多个景深，每一所述区域对应一个所述景深，所述多个区域包括所述目标区域。

204、通过所述第一摄像头获取所述拍摄画面的m个图像，所述m个图像的曝光量不同，所述m为正整数。

205、确定所述至少一个第二景深中每一第二景深与所述第一景深之间的相对景深，得到至少一个相对景深。

206、确定所述至少一个相对景深中小于第一预设数值的相对景深对应所述拍摄画面中的第一区域。

207、根据第一区域的第一图像信息从所述m个图像中选取n个目标图像，所述n为大于3的整数，m大于或等于n。

208、将所述n个目标图像进行合成，得到第一高动态范围图像。

其中，上述步骤201-208的具体实现过程可参照步骤101-步骤104中相应的描述，在此不再赘述。

可以看出，本申请实施例中通过第二摄像头对目标对象进行眼球追踪，得到目标对象的人眼关注拍摄画面中的区域，若目标对象的人眼关注拍摄画面中的区域的关注时长大于预设时长，将人眼关注拍摄画面中的区域作为目标区域，获取拍摄画面中不重叠的多个区域的多个景深，多个景深包括第一景深和至少一个第二景深，通过第一摄像头获取拍摄画面的m个图像，确定至少一个第二景深中每一第二景深与第一景深之间的相对景深，得到至少一个相对景深，确定所述至少一个相对景深中小于第一预设数值的相对景深对应所述拍摄画面中的第一区域，根据第一区域的第一图像信息从m个图像中选取n个目标图像，将n个目标图像进行合成，得到第一高动态范围图像，如此，可在保证包括第一拍摄对象在内的第一区域的图像处理效果的基础上，减少进行HDR图像合成的图像数量，从而，降低系统功耗，以及提高用户体验。

与上述图1B一致的，请参阅图3，图3为本申请实施例提供的另一种图像处理方法的流程示意图，应用于电子设备，所述电子设备包括第一摄像头和第二摄像头，所述方法包括：

在视频预览或者录制场景下，电子设备开启相机应用，开启第一摄像头和第二摄像头，通过第一摄像头获取拍摄画面，并通过电子设备的显示屏显示第一摄像头的拍摄画面。启动眼球追踪模块，然后通过所述第二摄像头对目标对象进行眼球追踪，得到所述目标对象的人眼关注所述拍摄画面中的区域；确定目标对象的人眼关注拍摄画面中的区域的关注时长是否大于预设时长，若是，将人眼关注所述拍摄画面中的区域作为目标区域。针对目标区域进行特征提取，得到特征信息，根据特征信息进行对象识别，得到特征信息对应的第一拍摄对象，确定第一拍摄对象对应的焦平面，针对焦平面获取目标区域对应的第一景深，以及获取所述拍摄画面中除了所述目标区域以外其他不同区域的至少一个第二景深，确定至少一个第二景深中每一第二景深与第一景深之间的相对景深，得到至少一个相对景深。

将至少一个相对景深输入HDR处理模块，HDR处理模块可确定所述至少一个相对景深中小于第一预设数值的相对景深对应所述拍摄画面中的第一区域，根据第一区域的第一图像信息从所述m个图像中选取n个目标图像，将所述n 个目标图像进行合成，得到第一高动态范围图像。确定所述至少一个相对景深中大于或等于所述第一预设数值，小于第二预设数值的相对景深对应所述拍摄画面中第二区域，根据第二区域的第二图像信息从所述m个图像中提取p个与所述第二区域对应的第一区域图像，得到p个第一区域图像；将所述第一高动态范围图像与所述p个第一区域图像进行合成，得到第二高动态范围图像。确定所述至少一个相对景深中大于所述第二预设数值的相对景深对应所述拍摄画面中的第三区域，根据第三区域的第三图像信息从所述m个图像中提取q个与所述第三区域对应的第二区域图像，得到q个第二区域图像，将所述第二高动态范围图像与所述q个第二区域图像进行合成，得到第三高动态范围图像。

最后，可以基于上述第一高动态范围图像、第二高动态范围图像或者第三高动态范围图像进行视频预览或者视频录制，从而使得视频预览画面或者视频录制画面呈现虚化效果，使得视频画面更加清晰。

其中，通过选取m个图像中不同数量的部分图像对拍摄画面中第一区域、第二区域和第三区域进行不同程度的HDR合成处理，可以在满足用户对拍摄画面中感兴趣区域的图像质量需求的前提下，降低进行图像合成的图像数量，从而，降低系统功耗，以及提高用户体验。

可以看出，本申请实施例中通过根据第一景深和至少一个第二景深确定的至少一个相对景深，然后根据至少一个相对景深将拍摄区域划分为第一区域、第二区域和第三区域，然后，选取m个图像中不同数量的部分图像对拍摄画面中第一区域、第二区域和第三区域进行不同程度的HDR合成处理，从而可在满足用户对拍摄画面的图像质量需求的前提下，降低进行图像合成的图像数量，从而，降低系统功耗，以及提高用户体验。

以下是实施上述图像处理方法的装置，具体如下：

与上述一致地，请参阅图4，图4是本申请实施例提供的一种电子设备的结构示意图，该电子设备包括：处理器410、通信接口430和存储器420；还包括第一摄像头440、第二摄像头450，以及一个或多个程序421，所述一个或多个程序421被存储在所述存储器420中，并且被配置成由所述处理器执行，所述程序421包括用于执行以下步骤的指令：

确定所述第一摄像头的拍摄画面中的目标区域；

获取所述拍摄画面中不重叠的多个区域的多个景深，每一所述区域对应一个所述景深，所述多个区域包括所述目标区域；

通过所述第一摄像头获取所述拍摄画面的m个图像，所述m个图像的曝光量不同，所述m为正整数；

根据所述多个景深从所述m个图像中选取n个目标图像，所述n为大于3 的整数，m大于或等于n；将所述n个目标图像进行合成，得到第一高动态范围图像。

在一个可能的示例中，所述多个景深包括第一景深和至少一个第二景深，在所述获取所述拍摄画面中不同的多个区域的多个景深方面，所述程序421包括用于执行以下步骤的指令：

针对所述目标区域进行特征提取，得到特征信息；

根据所述特征信息进行对象识别，得到所述特征信息对应的第一拍摄对象；

确定所述第一拍摄对象对应的焦平面，其中，所述焦平面为平行于所述第一摄像头的成像平面且经过所述第一拍摄对象的平面；

针对所述焦平面获取所述目标区域对应的第一景深，以及获取所述拍摄画面中除了所述目标区域以外其他不同区域的至少一个第二景深。

在一个可能的示例中，在所述根据所述多个景深从所述m个图像中选取n 个目标图像方面，所述程序421包括用于执行以下步骤的指令：

确定所述至少一个第二景深中每一第二景深与所述第一景深之间的相对景深，得到至少一个相对景深；

确定所述至少一个相对景深中小于第一预设数值的相对景深对应所述拍摄画面中的第一区域；

根据第一区域的第一图像信息从所述m个图像中选取n个目标图像。

在一个可能的示例中，在所述将所述n个目标图像进行合成，得到第一高动态范围图像之后，所述程序421还包括用于执行以下步骤的指令：

确定所述至少一个相对景深中大于或等于所述第一预设数值，小于第二预设数值的相对景深对应所述拍摄画面中第二区域，其中，所述第一预设数值小于所述第二预设数值；

根据第二区域的第二图像信息从所述m个图像中提取p个与所述第二区域对应的第一区域图像，得到p个第一区域图像，所述p小于所述n，且所述p个第一区域图像与所述n个目标图像不重复；

将所述第一高动态范围图像与所述p个第一区域图像进行合成，得到第二高动态范围图像。

在一个可能的示例中，在将所述第一高动态范围图像与所述p个第一区域图像进行合成，得到第二高动态范围图像之后，所述程序421还包括用于执行以下步骤的指令：

确定所述至少一个相对景深中大于所述第二预设数值的相对景深对应所述拍摄画面中的第三区域；

根据第三区域的第三图像信息从所述m个图像中提取q个与所述第三区域对应的第二区域图像，得到q个第二区域图像，所述q小于所述p，所述q个第二区域图像与所述n个目标图像不重复，所述q个第二区域图像与所述p个第一区域图像不重复；

将所述第二高动态范围图像与所述q个第二区域图像进行合成，得到第三高动态范围图像。

在一个可能的示例中，在所述电子设备还包括第二摄像头，所述确定所述第一摄像头的拍摄画面中的目标区域方面，所述程序421包括用于执行以下步骤的指令：

通过所述第二摄像头对目标对象进行眼球追踪，得到所述目标对象的人眼关注所述拍摄画面中的区域；

若所述目标对象的人眼关注所述拍摄画面中的区域的关注时长大于预设时长，将所述人眼关注所述拍摄画面中的区域作为所述目标区域。

在一个可能的示例中，在所述确定所述第一摄像头的拍摄画面中的目标区域方面，所述程序421包括用于执行以下步骤的指令：

确定所述拍摄画面中的对焦框选中的区域；将所述对焦框选中的区域作为所述目标区域。

请参阅图5，图5是本实施例提供的一种图像处理装置的结构示意图，所述图像处理装置500应用于电子设备，所述电子设备包括第一摄像头和第二摄像头，该装置500包括确定单元501、获取单元502、选取单元503和处理单元504，其中，

所述确定单元501，用于确定所述第一摄像头的拍摄画面中的目标区域；

所述获取单元502，用于获取所述拍摄画面中不重叠的多个区域的多个景深，每一所述区域对应一个所述景深，所述多个区域包括所述目标区域；

所述获取单元502，还用于通过所述第一摄像头获取所述拍摄画面的m个图像，所述m个图像的曝光量不同，所述m为正整数；

所述选取单元503，用于根据所述多个景深从所述m个图像中选取n个目标图像，所述n为大于3的整数，m大于或等于n；

所述处理单元504，用于将所述n个目标图像进行合成，得到第一高动态范围图像。

可选地，所述多个景深包括第一景深和至少一个第二景深，在所述获取所述拍摄画面中不同的多个区域的多个景深方面，所述获取单元502具体用于：

针对所述目标区域进行特征提取，得到特征信息；

根据所述特征信息进行对象识别，得到所述特征信息对应的第一拍摄对象；

确定所述第一拍摄对象对应的焦平面，其中，所述焦平面为平行于所述第一摄像头的成像平面且经过所述第一拍摄对象的平面；

针对所述焦平面获取所述目标区域对应的第一景深，以及获取所述拍摄画面中除了所述目标区域以外其他不同区域的至少一个第二景深。

可选地，在所述根据所述多个景深从所述m个图像中选取n个目标图像方面，所述选取单元503具体用于：

确定所述至少一个第二景深中每一第二景深与所述第一景深之间的相对景深，得到至少一个相对景深；

确定所述至少一个相对景深中小于第一预设数值的相对景深对应所述拍摄画面中的第一区域；

根据第一区域的第一图像信息从所述m个图像中选取n个目标图像。

可选地，在所述将所述n个目标图像进行合成，得到第一高动态范围图像之后，

所述确定单元501，还用于确定所述至少一个相对景深中大于或等于所述第一预设数值，小于第二预设数值的相对景深对应所述拍摄画面中第二区域，其中，所述第一预设数值小于所述第二预设数值；

所述处理单元504，还用于根据第二区域的第二图像信息从所述m个图像中提取p个与所述第二区域对应的第一区域图像，得到p个第一区域图像，所述p小于所述n，且所述p个第一区域图像与所述n个目标图像不重复；

所述处理单元504，还用于将所述第一高动态范围图像与所述p个第一区域图像进行合成，得到第二高动态范围图像。

可选地，在将所述第一高动态范围图像与所述p个第一区域图像进行合成，得到第二高动态范围图像之后，

所述确定单元501，还用于确定所述至少一个相对景深中大于所述第二预设数值的相对景深对应所述拍摄画面中的第三区域；

所述处理单元504，还用于根据第三区域的第三图像信息从所述m个图像中提取q个与所述第三区域对应的第二区域图像，得到q个第二区域图像，所述q小于所述p，所述q个第二区域图像与所述n个目标图像不重复，所述q个第二区域图像与所述p个第一区域图像不重复；

所述处理单元504，还用于将所述第二高动态范围图像与所述q个第二区域图像进行合成，得到第三高动态范围图像。

可选地，在所述电子设备还包括第二摄像头，所述确定所述第一摄像头的拍摄画面中的目标区域方面，所述确定单元501具体用于：

通过所述第二摄像头对目标对象进行眼球追踪，得到所述目标对象的人眼关注所述拍摄画面中的区域；

若所述目标对象的人眼关注所述拍摄画面中的区域的关注时长大于预设时长，将所述人眼关注所述拍摄画面中的区域作为所述目标区域。

可选地，在所述确定所述第一摄像头的拍摄画面中的目标区域方面，所述确定单元501具体用于：

确定所述拍摄画面中的对焦框选中的区域；将所述对焦框选中的区域作为所述目标区域。

可以看出，本申请实施例中所描述的图像处理装置，通过确定第一摄像头的拍摄画面中的目标区域；获取拍摄画面中不重叠的多个区域的多个景深；通过第一摄像头获取拍摄画面的m个图像，根据多个景深从m个图像中选取n个目标图像，将n个目标图像进行合成，得到第一高动态范围图像，如此，可在保证HDR图像处理效果的前提下，减少合成图像的图像数量，从而降低系统功耗和降低帧的时延，进而满足用户对HDR图像处理效果的需求，提升用户的拍摄体验。

可以理解的是，本实施例的图像处理装置的各程序模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。

本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM， Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种图像处理方法，其特征在于，应用于电子设备，所述电子设备包括第一摄像头，所述方法包括：

确定所述第一摄像头的拍摄画面中的目标区域；

获取所述拍摄画面中不重叠的多个区域的多个景深，每一所述区域对应一个所述景深，所述多个区域包括所述目标区域；

通过所述第一摄像头获取所述拍摄画面的m个图像，所述m个图像的曝光量不同，所述m为正整数；

根据所述多个景深从所述m个图像中选取n个目标图像，所述n为大于3的整数，其中，所述m大于所述n；将所述n个目标图像进行合成，得到第一高动态范围图像。

2.根据权利要求1所述的方法，其特征在于，所述多个景深包括第一景深和至少一个第二景深，所述获取所述拍摄画面中不同的多个区域的多个景深，包括：

针对所述目标区域进行特征提取，得到特征信息；

根据所述特征信息进行对象识别，得到所述特征信息对应的第一拍摄对象；

确定所述第一拍摄对象对应的焦平面，其中，所述焦平面为平行于所述第一摄像头的成像平面且经过所述第一拍摄对象的平面；

针对所述焦平面获取所述目标区域对应的第一景深，以及获取所述拍摄画面中除了所述目标区域以外其他不同区域的至少一个第二景深。

3.根据权利要求2所述的方法，其特征在于，所述根据所述多个景深从所述m个图像中选取n个目标图像，包括：

确定所述至少一个第二景深中每一第二景深与所述第一景深之间的相对景深，得到至少一个相对景深；

确定所述至少一个相对景深中小于第一预设数值的相对景深对应所述拍摄画面中的第一区域；

根据第一区域的第一图像信息从所述m个图像中选取n个目标图像。

4.根据权利要求3所述的方法，其特征在于，在所述将所述n个目标图像进行合成，得到第一高动态范围图像之后，所述方法还包括：

确定所述至少一个相对景深中大于或等于所述第一预设数值，小于第二预设数值的相对景深对应所述拍摄画面中第二区域，其中，所述第一预设数值小于所述第二预设数值；

根据第二区域的第二图像信息从所述m个图像中提取p个与所述第二区域对应的第一区域图像，得到p个第一区域图像，所述p小于所述n，且所述p个第一区域图像与所述n个目标图像不重复，p为正整数；

将所述第一高动态范围图像与所述p个第一区域图像进行合成，得到第二高动态范围图像。

5.根据权利要求4所述的方法，其特征在于，在将所述第一高动态范围图像与所述p个第一区域图像进行合成，得到第二高动态范围图像之后，所述方法还包括：

确定所述至少一个相对景深中大于所述第二预设数值的相对景深对应所述拍摄画面中的第三区域；

根据第三区域的第三图像信息从所述m个图像中提取q个与所述第三区域对应的第二区域图像，得到q个第二区域图像，所述q小于所述p，所述q个第二区域图像与所述n个目标图像不重复，所述q个第二区域图像与所述p个第一区域图像不重复，q为正整数；

将所述第二高动态范围图像与所述q个第二区域图像进行合成，得到第三高动态范围图像。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述电子设备还包括第二摄像头，所述确定所述第一摄像头的拍摄画面中的目标区域，包括：

通过所述第二摄像头对目标对象进行眼球追踪，得到所述目标对象的人眼关注所述拍摄画面中的区域；

若所述目标对象的人眼关注所述拍摄画面中的区域的关注时长大于预设时长，将所述人眼关注所述拍摄画面中的区域作为所述目标区域。

7.根据权利要求1-5任一项所述的方法，其特征在于，所述确定所述第一摄像头的拍摄画面中的目标区域，包括：

确定所述拍摄画面中的对焦框选中的区域；将所述对焦框选中的区域作为所述目标区域。

8.一种图像处理装置，其特征在于，应用于电子设备，所述电子设备包括第一摄像头，所述装置包括：

确定单元，用于确定所述第一摄像头的拍摄画面中的目标区域；

获取单元，用于获取所述拍摄画面中不重叠的多个区域的多个景深，每一所述区域对应一个所述景深，所述多个区域包括所述目标区域；

所述获取单元，还用于通过所述第一摄像头获取所述拍摄画面的m个图像，所述m个图像的曝光量不同，所述m为正整数；

选取单元，用于根据所述多个景深从所述m个图像中选取n个目标图像，所述n为大于3的整数，所述m大于所述n；

处理单元，用于将所述n个目标图像进行合成，得到第一高动态范围图像。

9.一种电子设备，其特征在于，包括处理器、存储器、通信接口，还包括第一摄像头、第二摄像头，以及一个或多个程序，所述存储器用于存储一个或多个程序，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-7任一项所述的方法中的步骤的指令。

10.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-7任一项所述的方法。

Images