CN111586308B - 图像处理方法、装置及电子设备 - Google Patents

Abstract

本发明提供了一种图像处理方法、装置及电子设备，涉及图像处理的技术领域，包括：先获取摄像装置采集到的预览图像；然后根据预览图像确定正常曝光图像；正常曝光图像中目标区域的曝光值为最佳曝光值；再通过正常曝光图像的相邻曝光图像确定正常曝光图像中背景区域的曝光程度；最后根据曝光程度确定目标曝光图像，并将目标曝光图像和正常曝光图像进行融合处理，并将目标融合图像确定为摄像装置的拍摄图像。本发明实施例能够缓解现有的普通夜景HDR算法直接应用于夜景自拍场景中所带来的无法保证拍摄到最佳自拍效果图像、算法处理时间相对较长导致用户体验较差的技术问题。

Description

图像处理方法、装置及电子设备

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种图像处理方法、装置及电子设备。

背景技术

随着手机拍照功能的发展，用户对相机模块的需求也越来越高。对于喜欢自拍的用户来说，在夜景下可以拍摄出画质良好的自拍图像，有着很大的吸引力。然而目前市面上的不少夜景自拍算法，大部分都是使用类似于普通夜景HDR(High-Dynamic Range，高动态范围图像)算法。该算法可以得到整体动态范围良好的结果图像，但是这类算法直接应用于在夜景自拍场景中存在很多问题，首先不能保证人像最佳曝光图像一定出现在拍摄的ev图像中，例如：相机模块拍摄了ev+2、ev+1、ev0、ev-2、ev-1三个ev跨度的图像，但是人像最佳曝光图像可能是ev-3或者ev+3，这会导致该方式不一定得到最佳的自拍效果图像。另外，该方式拍摄的ev跨度越大，需要采集的图像帧就越多，算法处理时间相对较长，影响用户体验。

发明内容

本发明的目的在于提供一种图像处理方法、装置及电子设备，以缓解了现有的普通夜景HDR算法直接应用于夜景自拍场景中所带来的无法保证拍摄到最佳自拍效果图像的技术问题。

第一方面，本发明实施例提供了一种图像处理方法，其中，包括：获取摄像装置采集到的预览图像；根据所述预览图像确定正常曝光图像；所述正常曝光图像中目标区域的曝光值为最佳曝光值，所述目标区域为除了背景区域之外的其他区域；通过所述正常曝光图像的相邻曝光图像确定所述正常曝光图像中背景区域的曝光程度；所述曝光程度包括：背景区域欠曝，或，背景区域过曝；根据所述曝光程度确定目标曝光图像，并将所述目标曝光图像和所述正常曝光图像进行融合处理，并将目标融合图像确定为所述摄像装置的拍摄图像。

进一步地，根据所述预览图像确定正常曝光图像包括：在所述预览图像中抠取目标区域；通过目标测光方法对所述目标区域内的图像进行测光处理，得到最佳曝光图像，并将所述最佳曝光图像确定为所述正常曝光图像，其中，所述最佳曝光图像中目标区域的曝光值为所述最佳曝光值。

进一步地，在所述预览图像中抠取目标区域包括：利用目标抠图算法分离出所述预览图像中的背景区域，得到所述目标区域。

进一步地，所述相邻曝光图像包括：欠曝光图像和过曝光图像；通过所述正常曝光图像的相邻曝光图像确定所述正常曝光图像中背景区域的曝光程度包括：在进行所述测光处理时，获取相对于所述正常曝光图像的欠曝光图像，以及获取相对于所述正常曝光图像的过曝光图像；提取所述欠曝光图像中背景区域的第一细节纹理信息，以及提取所述过曝光图像中背景区域的第二细节纹理信息；通过所述第一细节纹理信息和所述第二细节纹理信息确定所述正常曝光图像中背景区域的曝光程度。

进一步地，通过所述第一细节纹理信息和所述第二细节纹理信息确定所述正常曝光图像中背景区域的曝光程度包括：将所述第一细节纹理信息和所述第二细节纹理信息进行比对；若比对结果为所述第一细节纹理信息比所述第二细节纹理信息丰富：则确定所述正常曝光图像中的背景区域对应的曝光程度为背景区域过曝；若比对结果为所述第二细节纹理信息比所述第一细节纹理信息丰富：则确定所述正常曝光图像中的背景区域对应的曝光程度为背景区域欠曝。

进一步地，所述欠曝光图像的数量为一个或多个；根据所述曝光程度确定目标曝光图像，并将所述目标曝光图像和所述正常曝光图像进行融合处理包括：若所述背景区域过曝，则将一个或多个所述欠曝光图像确定为所述目标曝光图像；将所述正常曝光图像和所述欠曝光图像进行融合处理。

进一步地，所述过曝光图像的数量为一个或多个；根据所述曝光程度确定目标曝光图像，并将所述目标曝光图像和所述正常曝光图像进行融合处理包括：若所述背景区域欠曝，则将一个或多个所述过曝光图像确定为所述目标曝光图像；将所述正常曝光图像和所述过曝光图像进行融合处理。

进一步地，将所述目标曝光图像和所述正常曝光图像进行融合处理包括：在所述正常曝光图像抠取位于背景区域内的图像，得到待融合图像；将所述目标曝光图像中背景区域内的图像和所述待融合图像进行融合处理，得到背景融合图像；将所述正常曝光图像中位于目标区域内的图像和所述背景融合图像进行拼接，得到所述目标融合图像。

第二方面，本发明实施例提供了一种图像处理装置，其中，包括：获取单元，用于获取摄像装置采集到的预览图像；第一确定单元，用于根据所述预览图像确定正常曝光图像；所述正常曝光图像中目标区域的曝光值为最佳曝光值，所述目标区域为除了背景区域之外的其他区域；第二确定单元，用于通过所述正常曝光图像的相邻曝光图像确定所述正常曝光图像中背景区域的曝光程度；所述曝光程度包括：背景区域欠曝，或，背景区域过曝；第三确定单元，用于根据所述曝光程度确定目标曝光图像，并将所述目标曝光图像和所述正常曝光图像进行融合处理，并将目标融合图像确定为所述摄像装置的拍摄图像。

第三方面，本发明还提供一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现的所述的目标跟踪方法的步骤。

第四方面，本发明还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，其中，所述程序代码使所述处理器执行所述的目标跟踪方法。

在本发明实施例中，先获取摄像装置采集到的预览图像；然后根据预览图像确定正常曝光图像；正常曝光图像中目标区域的曝光值为最佳曝光值，目标区域为除了背景区域之外的其他区域；再通过正常曝光图像的相邻曝光图像确定正常曝光图像中背景区域的曝光程度；曝光程度包括：背景区域欠曝，或，背景区域过曝；最后根据曝光程度确定目标曝光图像，并将目标曝光图像和正常曝光图像进行融合处理，并将目标融合图像确定为摄像装置的拍摄图像。在本发明实施例中，通过上述得到目标融合图像的方式，能够缓解现有的普通夜景HDR算法直接应用于夜景自拍场景中所带来的无法保证拍摄到最佳自拍效果图像的技术问题，从而实现了可以保证拍摄到目标区域曝光效果最好的正常曝光图像，还可以缩短算法处理时间，提高用户体验的技术效果。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例提供的一种电子设备的示意图；

图2是根据本发明实施例的一种图像处理方法的流程图；

图3是根据本发明实施例的一种图像处理方法中步骤S204的流程图；

图4是根据本发明实施例的一种图像处理方法中步骤S206的流程图；

图5是根据本发明实施例的一种图像处理方法中步骤S208的流程图；

图6是根据本发明实施例的一种图像处理装置的示意图。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

首先，参照图1来描述用于实现本发明实施例的电子设备100，该电子设备可以用于运行本发明各实施例的图像处理方法。

如图1所示，电子设备100包括一个或多个处理设备102、一个或多个存储装置104、输入装置106、输出装置108以及图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理设备102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理设备102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述图像采集装置110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的图像处理方法的示例电子设备可以被实现为诸如智能手机、平板电脑等移动终端上。

实施例2：

根据本发明实施例，提供了一种图像处理方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图2是根据本发明实施例的一种图像处理方法的流程图，如图2所示，该方法包括如下步骤：

步骤S202，获取摄像装置采集到的预览图像。

需要说明的是，在本发明实施例中，摄像装置可以指前置摄像头，也可以指后置摄像头，对于自拍用户来说，一般使用手机的前置摄像头进行自拍，本申请对此不做具体限定。

步骤S204，根据预览图像确定正常曝光图像；正常曝光图像中目标区域的曝光值为最佳曝光值，目标区域为除了背景区域之外的其他区域。

在本发明实施例中，预览图像中包含目标区域，上述目标区域中可以存在人像、动物等目标物体。在获取多个预览图像之后，确定正常曝光图像，该正常曝光图像可以指上述目标区域的最佳曝光图像，简称为ev0图像，用于表示正常曝光图像中目标区域曝光效果最佳，其中ev0可以指最佳曝光值。

需要注意的是，非正常曝光图像的预览图像包括：类似于ev-1图像形式的欠曝光图像和类似于ev+1图像形式的过曝光图像。本发明实施例中，无论是正常曝光图像、欠曝光图像还是过曝光图像，均是针对目标区域曝光效果对预览图像的描述。也就是说，欠曝光图像中目标区域的曝光程度为欠曝，但是欠曝光图像中背景区域的曝光程度不一定是背景欠曝；过曝光图像中目标区域的曝光程度为过曝，但是过曝光图像中背景区域的曝光程度不一定是背景过曝。在本申请中，通过预览图像确定正常曝光图像的方式，能够提高步骤S208中所得到的拍摄图像的图像质量，从而使得该拍摄图像中目标区域的曝光效果最佳。

在夜景自拍场景中，人像占据了绝大部分用户的注意力，因此本发明实施例需要首先保证拍摄的目标融合图像中必须包含人像曝光效果最佳的正常曝光图像，还需要保证背景区域动态范围良好。

在实际应用中，针对预览图像整体来说，可以确定整体最佳曝光图像；针对预览图像中的目标区域来讲，也可以确定目标区域最佳曝光图像，但是整体最佳曝光图像中目标区域的曝光效果不一定最佳，同样地，目标区域最佳曝光图像的整体曝光效果也不一定最佳。换句话说，同一预览图像，在针对预览图像整体进行曝光效果评价的情况下和针对预览图像中的目标区域进行曝光效果评价的情况下，可以具有不同的曝光效果。

例如，夜景自拍中，包含人像的预览图像的数量为7张，分别为预览图像1、预览图像2、预览图像3、预览图像4、预览图像5、预览图像6和预览图像7。针对预览图像的整体图像来说，上述7张预览图像分别对应以下曝光值：ev-3、ev-2、ev-1、ev0、ev+1、ev+2和ev+3。针对预览图像中目标区域内的图像来说，上述7张预览图像分别对应以下曝光值：ev-1、ev0、ev+1、ev+2、ev+3、ev+4和ev+5。由于ev0对应的预览图像曝光效果最佳，因此针对预览图像整体来说，预览图像4为整体最佳曝光图像；针对预览图像中目标区域内的图像来说，预览图像2为目标区域最佳曝光图像，该目标区域最佳曝光图像即为本发明实施例中的正常曝光图像。

步骤S206，通过正常曝光图像的相邻曝光图像确定正常曝光图像中背景区域的曝光程度；曝光程度包括：背景区域欠曝，或，背景区域过曝。

通过上述步骤S204的描述可知，欠曝光图像中目标区域的曝光程度为欠曝，但是欠曝光图像中背景区域的曝光程度不一定是背景欠曝；过曝光图像中目标区域的曝光程度为过曝，但是过曝光图像中背景区域的曝光程度不一定是背景过曝。同样地，正常曝光图像中背景区域的曝光程度不一定是正常曝光，可以是背景区域欠曝，还可以是背景区域过曝。

为了确定正常曝光图像中背景区域的曝光程度，本发明实施例对正常曝光图像的相邻曝光图像(例如，欠曝光图像ev-1图像和过曝光图像ev+1图像)进行分析，该相邻曝光图像还可以指：ev-2图像和ev+2图像。本发明实施例对曝光值的具体数值不作具体限定。

步骤S208，根据曝光程度确定目标曝光图像，并将目标曝光图像和正常曝光图像进行融合处理，并将目标融合图像确定为摄像装置的拍摄图像。

在正常曝光图像确定目标区域曝光效果最佳之后，本发明实施例确定了正常曝光图像中背景区域的曝光程度，然后在确定背景区域的曝光程度之后，为了得到背景区域曝光效果良好的目标融合图像，本发明实施例根据背景区域的不同曝光程度确定不同类型的目标曝光图像，并将目标曝光图像和正常曝光图像进行融合处理，以此来保证目标融合图像中背景区域曝光效果良好。因此目标融合图像目标区域曝光效果最佳，且背景区域曝光效果良好。

具体的，若正常曝光图像中背景区域的曝光程度为背景区域欠曝，则需要将背景区域的曝光程度由欠曝向正常方向调节，例如，可以将过曝光图像确定为目标曝光图像，将过曝光图像和正常曝光图像进行融合处理，得到背景区域曝光效果较好的目标融合图像；若正常曝光图像中背景区域的曝光程度为背景区域过曝，则需要将背景区域的曝光程度由过曝向正常方向调节，例如，可以将欠曝光图像确定为目标曝光图像，将欠曝光图像和正常曝光图像进行融合处理，得到背景区域曝光效果较好的目标融合图像。由于目标曝光图像根据正常曝光图像中背景区域的曝光程度确定(正常曝光图像中背景欠曝，目标曝光图像为过曝光图像；正常曝光图像中背景过曝，目标曝光图像为欠曝光图像)，因此摄像装置在拍摄图像时，仅需要拍摄正常曝光图像和目标曝光图像即可，降低了整体算法复杂度，大幅度降低了融合处理所需要的图像帧，减少了计算量，缩短了融合处理时间，进而提高了用户体验效果。

本发明实施例先获取摄像装置采集到的预览图像；然后根据预览图像确定正常曝光图像；正常曝光图像中目标区域的曝光值为最佳曝光值，目标区域为除了背景区域之外的其他区域；再通过正常曝光图像的相邻曝光图像确定正常曝光图像中背景区域的曝光程度；曝光程度包括：背景区域欠曝，或，背景区域过曝；最后根据曝光程度确定目标曝光图像，并将目标曝光图像和正常曝光图像进行融合处理，并将目标融合图像确定为摄像装置的拍摄图像。在本发明实施例中，通过上述得到目标融合图像的方式，能够缓解现有的普通夜景HDR算法直接应用于夜景自拍场景中所带来的无法保证拍摄到最佳自拍效果图像的技术问题，从而实现了可以保证拍摄到目标区域曝光效果最好的正常曝光图像，还可以缩短算法处理时间，提高用户体验的技术效果。

下面结合具体的实施例介绍上述图像处理方法。

通过上述描述可知，在本发明实施例中，首先获取摄像装置采集到的预览图像，然后在预览图像中确定目标区域曝光效果最佳的正常曝光图像；正常曝光图像中目标区域的曝光值为最佳曝光值，目标区域为除了背景区域之外的其他区域。

在一个可选的实施例中，如图3所示，上述步骤S204，根据预览图像确定正常曝光图像包括如下步骤：

步骤S301，在预览图像中抠取目标区域。例如，可以利用目标抠图算法分离出预览图像中的背景区域，得到目标区域。其中，目标可以为人，动物等目标，本申请对此不做具体限定。

步骤S302，通过目标测光方法对目标区域内的图像进行测光处理，得到最佳曝光图像，并将最佳曝光图像确定为正常曝光图像，其中，最佳曝光图像中目标区域的曝光值为最佳曝光值。

在本发明实施例中，若目标区域内包含人像，则目标测光方法可以指人像测光方式对应的Ae(Automatic Exposure，自动曝光)算法。可以将预览图像中包含人像的目标区域作为测光区域，然后，通过自动ae算法对该测光区域进行自动ae测光。在自动测光的过程中，必定会在正常曝光图像附近震荡之后，才能得到人像曝光效果最佳的最佳曝光图像，并将该最佳曝光图像确定为正常曝光图像。由于自动ae算法工作震荡，因此可以得到正常曝光图像附近的相邻曝光图像。若正常曝光图像为ev0，那么正常曝光图像附近的相邻曝光图像可以为ev-1，ev+1，ev-2，ev+2等此处不再一一列举。

在确定出正常曝光图像和正常曝光图像附近的相邻曝光图像之后，就可以对通过正常曝光图像的相邻曝光图像确定正常曝光图像中背景区域的曝光程度。

在一个可选的实施例中，若相邻曝光图像包括：欠曝光图像和过曝光图像，那么如图4所示，步骤S206，通过正常曝光图像的相邻曝光图像确定正常曝光图像中背景区域的曝光程度包括如下步骤：

步骤S401，在进行所述测光处理时，获取相对于正常曝光图像的欠曝光图像，以及获取相对于正常曝光图像的过曝光图像；

其中，若正常曝光图像为ev0，那么正常曝光图像的欠曝光图像为ev-1，正常曝光图像的过曝光图像为ev+1。

步骤S402，提取欠曝光图像中背景区域的第一细节纹理信息，以及提取过曝光图像中背景区域的第二细节纹理信息；

本发明实施例可以通过sobel算子、拉普拉斯算子或canny算子对第一细节纹理信息、第二细节纹理信息进行提取。需要注意的是，本发明实施例对提取方式不作具体限定。

步骤S403，通过第一细节纹理信息和第二细节纹理信息确定正常曝光图像中背景区域的曝光程度。

在本发明实施例中，步骤S403，通过第一细节纹理信息和第二细节纹理信息确定正常曝光图像中背景区域的曝光程度包括如下步骤：将第一细节纹理信息和第二细节纹理信息进行比对；若比对结果为第一细节纹理信息比第二细节纹理信息丰富，则确定正常曝光图像中的背景区域对应的曝光程度为背景区域过曝；若比对结果为第二细节纹理信息比第一细节纹理信息丰富，则确定正常曝光图像中的背景区域对应的曝光程度为背景区域欠曝。

在实际应用中，第一细节纹理信息可以指欠曝光图像中背景区域的梯度纹理或者边缘信息，第二细节纹理信息可以指过曝光图像中背景区域的梯度纹理或者边缘信息。

第一细节纹理信息比第二细节纹理信息丰富可以理解为：第一细节纹理信息中所包含的梯度纹理信息或者边缘信息多于第二细节纹理信息中所包含的梯度纹理信息或者边缘信息。第二细节纹理信息比第一细节纹理信息丰富可以理解为：第二细节纹理信息中所包含的梯度纹理信息或者边缘信息多于第一细节纹理信息中所包含的梯度纹理信息或者边缘信息。

在通过上述方式确定正常曝光图像中背景区域的曝光程度之后，就可以根据背景区域的曝光程度确定目标曝光图像，并将目标曝光图像和正常曝光图像进行融合处理，并将目标融合图像确定为摄像装置的拍摄图像。

在一个可选的实施例中，欠曝光图像的数量为一个或多个，如图5所示，步骤S208，根据曝光程度确定目标曝光图像，并将目标曝光图像和正常曝光图像进行融合处理包括如下步骤：

步骤S501，若背景区域过曝，则将一个或多个欠曝光图像确定为目标曝光图像；

步骤S502，将正常曝光图像和欠曝光图像进行融合处理。

在本发明实施例中，若ev0图像(即，正常曝光图像)中背景区域过曝，那么可以将相对于ev0图像的ev-1图像和ev-2图像确定为目标曝光图像。然后将ev-1图像、ev-2图像和ev0图像进行融合，得到目标融合图像，简称为ev图像(即，摄像装置的拍摄图像)。ev图像融合的基础是目标区域曝光效果最佳的ev0图像，而且ev-1图像、ev-2图像和ev0图像融合的步骤缓解了ev图像中背景区域过曝的曝光程度。因此，在拍摄图像时，仅拍摄ev0图像、ev-1图像、ev-2图像三个不同曝光值的图像即可，无需对ev+1图像、ev+2图像进行拍摄，也无需将ev+1图像、ev+2图像与ev0图像、ev-1图像、ev-2图像进行融合处理，因此降低了整体算法复杂度，大幅度降低了融合处理所需要的图像帧，减少了计算量，缩短了融合处理时间，进而提高了用户体验效果。

在一个可选的实施例中，过曝光图像的数量为一个或多个，如图5所示，步骤S208，根据曝光程度确定目标曝光图像，并将目标曝光图像和正常曝光图像进行融合处理还包括如下步骤：

步骤S503，若背景区域欠曝，则将一个或多个过曝光图像确定为目标曝光图像；

步骤S504，将正常曝光图像和过曝光图像进行融合处理。

在本发明实施例中，若ev0图像(即，正常曝光图像)中背景区域欠曝，那么可以将相对于ev0图像的ev+1图像和ev+2图像确定为目标曝光图像。然后，将ev+1图像、ev+2图像和ev0图像进行融合，得到目标融合图像，简称为ev图像(即，摄像装置的拍摄图像)。ev图像融合的基础是目标区域曝光效果最佳的ev0图像，而且ev+1图像、ev+2图像和ev0图像融合的步骤缓解了ev图像中背景区域欠曝的曝光程度。因此，在拍摄图像时，仅拍摄ev0图像、ev+1图像、ev+2图像三个不同曝光值的图像即可，无需对ev-1图像、ev-2图像进行拍摄，也无需将ev-1图像、ev-2图像与ev0图像、ev+1图像、ev+2图像进行融合处理，因此降低了整体算法复杂度，大幅度降低了融合处理所需要的图像帧，减少了计算量，缩短了融合处理时间，进而提高了用户体验效果。

在一个可选的实施例中，步骤S208，将目标曝光图像和正常曝光图像进行融合处理包括以下步骤：

步骤1，在正常曝光图像抠取位于背景区域内的图像，得到待融合图像；

步骤2，将目标曝光图像中背景区域内的图像和待融合图像进行融合处理，得到背景融合图像；

步骤3，将正常曝光图像中位于目标区域内的图像和背景融合图像进行拼接，得到目标融合图像。

在本发明实施例中，通过将目标曝光图像中背景区域内的图像和正常曝光图像中背景区域内的图像进行融合处理，以此来保证目标融合图像中背景区域曝光效果良好，由于目标融合图像为正常曝光图像中位于目标区域内的图像和背景融合图像的拼接，因此该目标融合图像目标区域曝光效果最佳，且背景区域曝光效果良好。

传统的摄像装置拍摄了ev+2、ev+1、ev0、ev-2、ev-1三个ev跨度的图像，但是人像最佳曝光效果的图像可能是ev-3图像或者ev+3图像，这会导致该方式不一定得到最佳的自拍效果图像。而本发明实施例优先考虑预览图像中目标区域(包含人像的区域)最佳曝光效果的图像，即将上述ev-3图像或ev+3图像重新定义为正常曝光图像，从而在摄像装置拍摄时，可以保证拍摄到图像质量较好、人像最佳曝光效果的正常曝光图像。基于人像最佳曝光效果的正常曝光图像融合得到的目标融合图像中人像曝光效果必然是良好的。

本发明实施例在不同场景上分别只拍摄过曝光图像或者欠曝光图像，大幅度节约了图像拍摄以及算法处理时间，具体分析如下：传统的流程需要拍摄ev-2、ev-1、ev0、ev+1、ev+2图像，如果是夜晚场景，每个ev还需要采集多帧图像做多帧去噪处理，比如每个ev采集3帧做多帧去噪，那么传统拍摄的时候需要采集15张图像，做5次多帧去噪。在多帧去噪处理之后，再进行HDR图像融合。而本发明实施例只需要采集ev-2、ev-1、ev0或者ev0、ev+1、ev+2图像，做3次多帧去噪即可。

针对传统的自拍方式拍摄的ev跨度越大，需要采集的图像帧就越多，算法处理时间相对较长，影响用户体验的技术问题，本发明实施例根据正常曝光图像中背景区域的曝光程度确定目标曝光图像(正常曝光图像中背景欠曝，目标曝光图像为过曝光图像；正常曝光图像中背景过曝，目标曝光图像为欠曝光图像)。因此在拍摄图像时，仅需要拍摄正常曝光图像和目标曝光图像即可，降低了整体算法复杂度，大幅度降低了融合处理所需要的图像帧，减少了计算量，缩短了融合处理时间，进而提高了用户体验效果。

实施例3：

本发明实施例还提供了一种图像处理装置，该图像处理装置主要用于执行本发明实施例上述内容所提供的图像处理方法，以下对本发明实施例提供的图像处理装置做具体介绍。

图6是根据本发明实施例的一种图像处理装置的示意图，如图6所示，该图像处理装置主要包括获取单元10，第一确定单元20，第二确定单元30和第三确定单元40，其中：

获取单元10，用于获取摄像装置采集到的预览图像；

第一确定单元20，用于根据预览图像确定正常曝光图像；正常曝光图像中目标区域的曝光值为最佳曝光值，目标区域为除了背景区域之外的其他区域；

第二确定单元30，用于通过正常曝光图像的相邻曝光图像确定正常曝光图像中背景区域的曝光程度；曝光程度包括：背景区域欠曝，或，背景区域过曝；

第三确定单元40，用于根据曝光程度确定目标曝光图像，并将目标曝光图像和正常曝光图像进行融合处理，并将目标融合图像确定为摄像装置的拍摄图像。

在本发明实施例中，先利用获取单元获取摄像装置采集到的预览图像；然后利用第一确定单元根据预览图像确定正常曝光图像；正常曝光图像中目标区域的曝光值为最佳曝光值，目标区域为除了背景区域之外的其他区域；再利用第二确定单元通过正常曝光图像的相邻曝光图像确定正常曝光图像中背景区域的曝光程度；曝光程度包括：背景区域欠曝，或，背景区域过曝；最后利用第三确定单元根据曝光程度确定目标曝光图像，并将目标曝光图像和正常曝光图像进行融合处理，并将目标融合图像确定为摄像装置的拍摄图像。在本发明实施例中，通过上述得到目标融合图像的方式，能够缓解现有的普通夜景HDR算法直接应用于夜景自拍场景中所带来的无法保证拍摄到最佳自拍效果图像、算法处理时间相对较长导致用户体验较差的技术问题，从而实现了可以保证拍摄到目标区域曝光效果最好的正常曝光图像，还可以缩短算法处理时间，提高用户体验的技术效果。

可选地，第一确定单元用于：在预览图像中抠取目标区域；通过目标测光方法对目标区域内的图像进行测光处理，得到最佳曝光图像，并将最佳曝光图像确定为正常曝光图像，其中，最佳曝光图像中目标区域的曝光值为最佳曝光值；在预览图像中抠取目标区域包括：利用目标抠图算法分离出预览图像中的背景区域，得到目标区域。

可选地，相邻曝光图像包括：欠曝光图像和过曝光图像；第二确定单元用于：在进行所述测光处理时，获取相对于正常曝光图像的欠曝光图像，以及获取相对于正常曝光图像的过曝光图像；提取欠曝光图像中背景区域的第一细节纹理信息，以及提取过曝光图像中背景区域的第二细节纹理信息；通过第一细节纹理信息和第二细节纹理信息确定正常曝光图像中背景区域的曝光程度；其中，通过第一细节纹理信息和第二细节纹理信息确定正常曝光图像中背景区域的曝光程度包括：将第一细节纹理信息和第二细节纹理信息进行比对；若比对结果为第一细节纹理信息比第二细节纹理信息丰富：则确定正常曝光图像中的背景区域对应的曝光程度为背景区域过曝；若比对结果为第二细节纹理信息比第一细节纹理信息丰富：则确定正常曝光图像中的背景区域对应的曝光程度为背景区域欠曝。

可选地，欠曝光图像的数量为一个或多个，第三确定单元用于：若背景区域过曝，则将一个或多个欠曝光图像确定为目标曝光图像；将正常曝光图像和欠曝光图像进行融合处理。

可选地，过曝光图像的数量为一个或多个，第三确定单元还用于：若背景区域欠曝，则将一个或多个过曝光图像确定为目标曝光图像；将正常曝光图像和过曝光图像进行融合处理。

第三确定单元40，用于在正常曝光图像抠取位于背景区域内的图像，得到待融合图像；将目标曝光图像中背景区域内的图像和待融合图像进行融合处理，得到背景融合图像；将正常曝光图像中位于目标区域内的图像和背景融合图像进行拼接，得到目标融合图像。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

进一步地，本实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述前述方法实施例所提供的方法的步骤。

本发明实施例所提供的图像处理方法、装置及电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本实施例的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本实施例的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本实施例所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。

Claims (11)

1.一种图像处理方法，其特征在于，包括：

获取摄像装置采集到的预览图像；

根据所述预览图像确定正常曝光图像；所述正常曝光图像中目标区域的曝光值为最佳曝光值，所述目标区域为除了背景区域之外的其他区域；

通过所述正常曝光图像的欠曝光图像和过曝光图像的细节纹理信息的比较，确定所述正常曝光图像中背景区域的曝光程度；所述曝光程度包括：背景区域欠曝，或，背景区域过曝；

根据所述曝光程度确定目标曝光图像，并将所述目标曝光图像和所述正常曝光图像进行融合处理，并将目标融合图像确定为所述摄像装置的拍摄图像；其中，若所述背景区域欠曝，则所述目标曝光图像为所述过曝光图像；若所述背景区域过曝，则所述目标曝光图像为所述欠曝光图像。

2.根据权利要求1所述的方法，其特征在于，根据所述预览图像确定正常曝光图像包括：

在所述预览图像中抠取目标区域；

通过目标测光方法对所述目标区域内的图像进行测光处理，得到最佳曝光图像，并将所述最佳曝光图像确定为所述正常曝光图像，其中，所述最佳曝光图像中目标区域的曝光值为所述最佳曝光值。

3.根据权利要求2所述的方法，其特征在于，在所述预览图像中抠取目标区域包括：

利用目标抠图算法分离出所述预览图像中的背景区域，得到所述目标区域。

4.根据权利要求2所述的方法，其特征在于，通过所述正常曝光图像的欠曝光图像和过曝光图像的比较，确定所述正常曝光图像中背景区域的曝光程度包括：

在进行所述测光处理时，获取相对于所述正常曝光图像的欠曝光图像，以及获取相对于所述正常曝光图像的过曝光图像；

提取所述欠曝光图像中背景区域的第一细节纹理信息，以及提取所述过曝光图像中背景区域的第二细节纹理信息；

通过所述第一细节纹理信息和所述第二细节纹理信息确定所述正常曝光图像中背景区域的曝光程度。

5.根据权利要求4所述的方法，其特征在于，通过所述第一细节纹理信息和所述第二细节纹理信息确定所述正常曝光图像中背景区域的曝光程度包括：

将所述第一细节纹理信息和所述第二细节纹理信息进行比对；

若比对结果为所述第一细节纹理信息比所述第二细节纹理信息丰富：则确定所述正常曝光图像中的背景区域对应的曝光程度为背景区域过曝；

若比对结果为所述第二细节纹理信息比所述第一细节纹理信息丰富：则确定所述正常曝光图像中的背景区域对应的曝光程度为背景区域欠曝。

6.根据权利要求4所述的方法，其特征在于，所述欠曝光图像的数量为一个或多个；

根据所述曝光程度确定目标曝光图像，并将所述目标曝光图像和所述正常曝光图像进行融合处理包括：

若所述背景区域过曝，则将一个或多个所述欠曝光图像确定为所述目标曝光图像；

将所述正常曝光图像和所述欠曝光图像进行融合处理。

7.根据权利要求4所述的方法，其特征在于，所述过曝光图像的数量为一个或多个；

根据所述曝光程度确定目标曝光图像，并将所述目标曝光图像和所述正常曝光图像进行融合处理包括：

若所述背景区域欠曝，则将一个或多个所述过曝光图像确定为所述目标曝光图像；

将所述正常曝光图像和所述过曝光图像进行融合处理。

8.根据权利要求1所述的方法，其特征在于，将所述目标曝光图像和所述正常曝光图像进行融合处理包括：

在所述正常曝光图像抠取位于背景区域内的图像，得到待融合图像；

将所述目标曝光图像中背景区域内的图像和所述待融合图像进行融合处理，得到背景融合图像；

将所述正常曝光图像中位于目标区域内的图像和所述背景融合图像进行拼接，得到所述目标融合图像。

9.一种图像处理装置，其特征在于，包括：

获取单元，用于获取摄像装置采集到的预览图像；

第一确定单元，用于根据所述预览图像确定正常曝光图像；所述正常曝光图像中目标区域的曝光值为最佳曝光值，所述目标区域为除了背景区域之外的其他区域；

第二确定单元，用于通过所述正常曝光图像的欠曝光图像和过曝光图像的细节纹理信息的比较，确定所述正常曝光图像中背景区域的曝光程度；所述曝光程度包括：背景区域欠曝，或，背景区域过曝；

第三确定单元，用于根据所述曝光程度确定目标曝光图像，并将所述目标曝光图像和所述正常曝光图像进行融合处理，并将目标融合图像确定为所述摄像装置的拍摄图像；其中，若所述背景区域欠曝，则所述目标曝光图像为所述过曝光图像；若所述背景区域过曝，则所述目标曝光图像为所述欠曝光图像。

10.一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，处理器执行计算机程序时实现如权利要求1至8任一项所述的方法。

11.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行如权利要求1至8任一项所述的方法。

Images