CN112085686A - 图像处理方法、装置、电子设备及计算机可读存储介质 - Google Patents

Abstract

本发明提供了一种图像处理方法、装置、电子设备及计算机可读存储介质，该方法包括：获取图像采集设备针对同一场景拍摄得到的多张前景对焦图像和多张背景对焦图像；根据多张前景对焦图像生成一张清晰前景图像；根据多张背景对焦图像生成一张清晰背景图像；将清晰前景图像和清晰背景图像进行融合，得到场景的清晰图像。本发明能够较好的兼顾前景清晰度和背景清晰度，有效提升图像拍摄效果。

Description

图像处理方法、装置、电子设备及计算机可读存储介质

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。

背景技术

诸如手机、相机等图像采集设备在拍照时大多会出现前景和背景清晰度难以同时兼顾的问题。以拍摄人像为例，要么拍摄得到人像清晰但是背景模糊的照片，要么拍摄得到背景清晰但是人像模糊的照片，人像清晰度和背景清晰度无法同时满足，这种问题在手机等设备上尤其明显，即便是自动对焦相机也会因为镜头景深范围的限制而出现上述问题，导致拍摄效果不佳。

发明内容

有鉴于此，本发明的目的在于提供一种图像处理方法、装置、电子设备及计算机可读存储介质，能够较好的兼顾前景清晰度和背景清晰度，有效提升图像拍摄效果。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种图像处理方法，包括：获取图像采集设备针对同一场景拍摄得到的多张前景对焦图像和多张背景对焦图像；根据所述多张前景对焦图像生成一张清晰前景图像；根据所述多张背景对焦图像生成一张清晰背景图像；将所述清晰前景图像和所述清晰背景图像进行融合，得到所述场景的清晰图像。

进一步，不同的所述前景对焦图像的曝光值相同；所述根据所述多张前景对焦图像生成一张清晰前景图像的步骤，包括：采用多帧降噪算法对所述多张前景对焦图像进行降噪合成处理，将处理后得到的图像作为清晰前景图像。

进一步，不同的所述背景对焦图像的曝光值不同；所述根据所述多张背景对焦图像生成一张清晰背景图像的步骤，包括：采用HDR算法对所述多张背景对焦图像进行合成，将合成后得到的图像作为清晰背景图像。

进一步，所述将所述清晰前景图像和所述清晰背景图像进行融合，得到所述场景的清晰图像的步骤，包括：基于所述清晰前景图像和所述清晰背景图像，分割出所述场景中前景对象的对象图以及除所述前景对象之外的背景环境的背景图；对所述对象图进行优化处理，得到处理后的对象图；所述优化处理包括亮度调整操作、人脸美化操作、细节增强操作、光影调整操作、降噪操作中的一种或多种；将所述处理后的对象图与所述背景图进行融合，得到所述场景的清晰图像。

进一步，所述基于所述清晰前景图像和所述清晰背景图像，分割出所述场景中前景对象的对象图以及除所述前景对象之外的背景环境的背景图的步骤，包括：将所述清晰前景图像和所述清晰背景图像进行融合，得到融合图像，从所述融合图像中分割出所述场景中前景对象的对象图以及除所述前景对象之外的背景环境的背景图；或者，从所述清晰前景图像中分割出所述场景中前景对象的对象图，以及根据所述清晰背景图像获得所述场景中除所述前景对象之外的背景环境的背景图。

进一步，所述根据所述清晰背景图像得到所述场景中除所述前景对象之外的背景环境的背景图的步骤，包括：从所述清晰前景图像中分割出除所述前景对象之外的背景环境的第一背景图像；从所述清晰背景图像中分割出除所述前景对象之外的背景环境的第二背景图像；将所述第一背景图像和所述第二背景图像进行融合，得到所述场景中除所述前景对象之外的背景环境的背景图。

进一步，所述对象图包括人脸图和/或人像图；所述对所述对象图进行优化处理，得到处理后的对象图的步骤，包括：根据所述对象图与所述背景图之间的亮度差异，确定所述前景对象所处的光线环境；所述光线环境包括顺光环境、侧光环境或逆光环境；如果所述对象图包括人脸图，根据所述前景对象所处的光线环境，对所述人脸图执行亮度调整操作，得到处理后的人脸图；如果所述对象图包括人像图，根据所述前景对象所处的光线环境，对所述人像图执行亮度调节操作，得到处理后的人像图。

进一步，所述将所述处理后的对象图与所述背景图进行融合，得到所述场景的清晰图像的步骤，包括：对所述背景图进行锐化处理和/或亮度处理，得到处理后的背景图；将所述处理后的对象图与所述处理后的背景图进行融合，得到所述场景的清晰图像。

第二方面，本发明实施例还提供一种图像处理装置，包括：图像获取模块，用于获取图像采集设备针对同一场景拍摄得到的多张前景对焦图像和多张背景对焦图像；前景图像生成模块，用于根据所述多张前景对焦图像生成一张清晰前景图像；背景图像生成模块，用于根据所述多张背景对焦图像生成一张清晰背景图像；图像融合模块，用于将所述清晰前景图像和所述清晰背景图像进行融合，得到所述场景的清晰图像。

第三方面，本发明实施例提供了一种电子设备，包括：处理器和存储装置；所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如第一方面任一项所述的方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面任一项所述的方法的步骤。

本发明实施例提供了一种图像处理方法、装置、电子设备及计算机可读存储介质，首先获取图像采集设备针对同一场景拍摄得到的多张前景对焦图像和多张背景对焦图像，然后根据多张前景对焦图像生成一张清晰前景图像，以及根据多张背景对焦图像生成一张清晰背景图像，最后将清晰前景图像和清晰背景图像进行融合，得到该场景的清晰图像。这种方式通过采集多张前景对焦图像和多张背景对焦图像的方式分别生成清晰前景图像和清晰背景图像，从而融合得到清晰图像，最终呈现的清晰图像能够同时兼顾前景清晰度和背景清晰度，有效提升了图像拍摄效果。

本发明实施例的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明实施例的上述技术即可得知。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例所提供的一种电子设备的结构示意图；

图2示出了本发明实施例所提供的一种图像处理方法流程图；

图3示出了本发明实施例所提供的另一种图像处理方法流程图；

图4示出了本发明实施例所提供的另一种图像处理方法流程图；

图5示出了本发明实施例所提供的一种图像处理装置的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

考虑到现有技术中存在前景清晰度和背景清晰度无法同时满足的问题，为改善此问题，本发明实施例提供的一种图像处理方法、装置、电子设备及计算机可读存储介质，该技术可应用于任何需要拍照的场合，以下对本发明实施例进行详细介绍。

实施例一：

首先，参照图1来描述用于实现本发明实施例的一种图像处理方法、装置、电子设备及计算机可读存储介质的示例电子设备100。

如图1所示的一种电子设备的结构示意图，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108以及图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器102可以采用数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)中的至少一种硬件形式来实现，所述处理器102可以是中央处理单元(CPU)、图形处理单元(GPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元中的一种或几种的组合，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述图像采集装置110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的图像处理方法、装置、电子设备及计算机可读存储介质的示例电子设备可以被实现为诸如智能手机、相机、计算机等智能终端。

实施例二：

本实施例提供了一种图像处理方法，该方法可由诸如手机、相机等图像处理设备执行，也即图像处理设备在拍摄得到图像后直接执行该图像处理方法，给用户提供处理后的图像作为最终拍摄图像，该方法也可以由计算机等具有图像处理能力的设备执行，诸如，计算机可以接收图像采集设备传输的待处理图像或者接收用户上传的待处理图像，并执行该图像处理方法。参见图2所示的一种图像处理方法流程图，主要包括以下步骤S202～步骤S208：

步骤S202，获取图像采集设备针对同一场景拍摄得到的多张前景对焦图像和多张背景对焦图像。

图像采集设备在针对同一场景拍摄时，可以执行前景对焦操作拍摄得到多张前景对焦图像，以及执行背景对焦操作拍摄得到多张背景对焦图像。在执行对焦操作时，可以人工选取对焦点进行对焦，也可以由图像采集设备实现自动对焦，诸如采用人脸检测技术检测到拍摄画面中的人脸框，基于人脸框确定对焦点进行对焦。假设拍摄场景中有多个人物，也即检测得到多个人脸框，则可以以最大人脸框作为对焦点执行对焦操作。在实际应用中，不同的前景对焦图像的曝光值相同或不同，不同背景对焦图像的曝光值相同或不同。

步骤S204，根据多张前景对焦图像生成一张清晰前景图像。

在一种实施方式中，不同的前景对焦图像的曝光值相同，通常为正常曝光；诸如，拍摄得到曝光值均为EV0的多张前景对焦图像，其中EV(Exposure Values，曝光值)反映的是光圈大小和快门速度的组合，曝光值每增加1将改变一挡曝光，也即将曝光量减半，具体实现时可以通过改变曝光时间或光圈面积实现。在根据多张前景对焦图像生成一张清晰前景图像时，可以采用多帧降噪算法对多张前景对焦图像进行降噪合成处理，将处理后得到的图像作为清晰前景图像。通过这种方式可以得到去除噪声的清晰前景图像，应当理解的是，由于清晰前景图像是基于多张前景对焦图像生成的，该图像中的前景相对于背景较为清晰，背景相对于前景可能会比较模糊。

步骤S206，根据多张背景对焦图像生成一张清晰背景图像。

在一种实施方式中，不同的背景对焦图像的曝光值不同，通常包括正常曝光和欠曝光；诸如，可以拍摄得到曝光值分别为EV0、EV-2、EV-4的三张背景对焦图像，或者可以拍摄得到曝光值分别为EV 0、EV-3、EV-6的三张背景对焦图像，或者拍摄得到具有其它曝光值的多张背景对焦图像，实际应用中可以根据拍摄场景中的光线强度对各图像的曝光值进行调整，在此不进行限制。在根据多张背景对焦图像生成一张清晰背景图像时，可以采用HDR(High-Dynamic Range，高动态范围成像)算法对多张背景对焦图像进行合成，将合成后得到的图像作为清晰背景图像。HDR算法可用以实现比普通图像技术更大曝光动态范围(即更大的明暗差别)，也即可提供更多的动态范围和图像细节。通过这种方式，可以得到背景细节丰富的清晰背景图像，背景对焦图像中高光区域的细节和非高光区域的细节都得以保留。应当理解的是，由于清晰背景图像是基于多张背景对焦图像生成的，该图像中的背景相对于前景较为清晰，前景相对于背景可能会比较模糊。

步骤S208，将清晰前景图像和清晰背景图像进行融合，得到上述场景的清晰图像。将清晰前景图像与清晰背景图像进行融合，可以得到前景和背景都清晰的清晰图像。

应当注意的是，前述方法并不以图2所述的具体顺序为限制，如步骤S204和步骤S206可以同时执行，或者先执行步骤S206再执行步骤S204。在其它实施例中，该方法中部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除。

本发明实施例提供的上述图像处理方法，通过采集多张前景对焦图像和多张背景对焦图像的方式分别生成清晰前景图像和清晰背景图像，从而融合得到清晰图像，最终呈现的清晰图像能够同时兼顾前景清晰度和背景清晰度，有效提升了图像拍摄效果。

在一些实施例中，将清晰前景图像和清晰背景图像进行融合，得到场景的清晰图像的步骤，可以参照如下步骤1至步骤3执行：

步骤1，基于清晰前景图像和清晰背景图像，分割出场景中前景对象的对象图以及除前景对象之外的背景环境的背景图。

在实际应用中，对象图可以是前景中目标对象(即前景对象)的图像，前景对象也可以理解为拍摄场景中的感兴趣对象；诸如，前景对象是拍摄场景中的人物时，对象图则为人像，当然，对象图不仅可以为人像，还可以仅包括目标对象的局部区域，诸如为人脸图。如果前景对象是人，为了能够在图像处理过程中针对人脸和人像分别进行有针对性的处理，从而得到拍摄效果更佳的前景人像，对象图可以既包括人脸图又包括人像图，也即将人像图和人脸图分别从图像中分割出来以便后续进行相应处理，可选的，也可以在人像图和人脸图中选择其中一张图像作为对象图，例如，将人像图作为对象图并针对该人像图进行处理，或者将人脸图作为对象图并针对该人脸图进行处理。本实施例给出了两种分割方式，具体可参照如下方式一和方式二：

方式一：将清晰前景图像和清晰背景图像进行融合，得到融合图像，从融合图像中分割出场景中前景对象的对象图以及除前景对象之外的背景环境的背景图。

在一种实施方式中，可以采用导向滤波算法对清晰前景图像和清晰背景图像进行融合，导向滤波算法(又称guide filter算法)可以有效地选择待融合图像中的清晰图像进行融合，使得融合图像同时具有清晰前景图像中的清晰前景对象以及清晰背景图像中的清晰背景环境，此外，导向滤波算法可以在将图像融合时有效保持图像边缘特性，也可以使所得到的融合图像具有图像增强效果。方式一首先将清晰前景图像和清晰背景图像融合得到融合图像，该融合图像具有清晰前景和清晰背景，但是可能还存在诸如前景亮度不足等问题，因此需要再从融合图像中分割出对象图和背景图，以便后续再针对对象图进行处理，诸如对人像进行提亮处理，或者对人脸进行美化处理等。可以理解的是，融合图像是清晰的，因此分割出的对象图和背景图均是清晰的。

方式二：从清晰前景图像中分割出场景中前景对象的对象图，以及根据清晰背景图像获得场景中除前景对象之外的背景环境的背景图。方式二采用两张图分别分割的方式实现。

本发明实施例提供了一种根据清晰背景图像获得场景中除前景对象之外的背景环境的背景图的实施方式，首先从清晰前景图像中分割出除前景对象之外的背景环境的第一背景图像，然后从清晰背景图像中分割出除前景对象之外的背景环境的第二背景图像，从而将第一背景图像和第二背景图像进行融合，得到场景中除前景对象之外的背景环境的背景图。其中，第一背景图像也即从清晰前景图像中分割得到的背景图像，如果前景对象为人像，则可利用人像检测算法检测出清晰前景图像中的人像，然后将清晰前景图像中的非人像区域作为第一背景图像；第二背景图像也即从清晰背景图像中分割得到的背景图像，同样也可利用人像检测算法检测出清晰背景图像中的人像，然后将清晰背景图像中的非人像区域作为第二背景图像。在分割得到第一背景图像和第二背景图像后，可将第一背景图像与第二背景图像融合之后的图像作为场景中除前景对象之外的背景环境的背景图。

可选的，本发明实施例还提供了另一种根据清晰背景图像获得场景中除前景对象之外的背景环境的背景图的实施方式，从清晰前景图像中分割出场景中前景对象的对象图，以及从清晰背景图像中分割出除前景对象之外的背景环境的背景图。在实际应用中，可以分别从清晰前景图像中分割出清晰的对象图，以及从清晰背景图像中分割出清晰的背景图。在分割背景图时，可以首先采用人像检测算法检测出人像，然后将非人像区域作为背景环境进行分割，得到背景图。

无论是方式一还是方式二，当对象图包括人像图和人脸图时，可以分别采用人像检测算法和人脸检测算法实现人像图分割和人脸图分割，在此不再赘述。

步骤2，对对象图进行优化处理，得到处理后的对象图；优化处理包括亮度调整操作、人脸美化操作、细节增强操作、光影调整操作、降噪操作中的一种或多种。

本实施例给出了一种对对象图进行亮度调整操作的具体实施方式，可以首先根据对象图与背景图之间的亮度差异，确定前景对象所处的光线环境；光线环境包括顺光环境、侧光环境或逆光环境；然后，如果对象图包括人脸图，根据前景对象所处的光线环境，对人脸图执行亮度调整操作得到处理后的人脸图，如果对象图包括人像图，根据前景对象所处的光线环境，对人像图执行亮度调节操作得到处理后的人像图。

本实施例提供了一种根据亮度差异确定光线环境的简单快捷的判别方式，其中，对象图与背景图之间的亮度差异可以通过比值形式体现，比值在大于第一阈值时，说明前景对象所处的光线环境为逆光环境，比值在第二阈值和第一阈值之间时，前景对象所处的光线环境为侧光环境，比值在小于第二阈值时，前景对象所处的光线环境为顺光环境。在确定了光线环境之后，则可以相应调整人脸图和人像图的亮度，人脸图和人像图的亮度补偿量可以相同也可以不同，根据需要而进行差异性调整。

此外，还可以对人脸图和人像图分别进行不同的优化处理，诸如对人脸图执行亮度调整操作、人脸美化操作、细节增强操作、光影调整操作和降噪操作，而对人像图只执行亮度调整操作等。在实际应用中，可以根据需求而分别对人脸图和人像图选取不同的优化处理方式，在此不进行限制。

步骤3，将处理后的对象图与背景图进行融合，得到场景的清晰图像。

一种实施方式中，可以将处理后的对象图与前述得到的背景图直接进行融合，得到拍摄场景的清晰图像，诸如，将处理后的对象图直接覆盖在背景图上的对象所在区域，得到场景的清晰图像。在另一种实施方式中，还可以对背景图进行进一步锐化处理和/或亮度处理，得到处理后的背景图；然后将处理后的对象图与处理后的背景图进行融合，得到场景的清晰图像。在该实施方式中对背景图进行了后续处理，得到效果更佳的背景图，然后再将处理后的对象图和处理后的背景图进行融合，进一步提升了拍摄效果。

在前述图像处理方法的基础上，本实施例进一步提供了应用前述图像处理方法的两种具体示例，具体阐述如下：

示例一：

参见图3所示的一种图像处理方法流程图，主要包括如下步骤S301～步骤S316：

步骤S301：执行人像对焦操作，拍摄得到曝光值均为EV0的三张人像对焦图像(也即前述前景对焦图像)，之后执行步骤S303。

步骤S302：执行背景对焦操作，拍摄得到曝光值分别为EV0、EV-2和EV-4的三张背景对焦图像，之后执行步骤S304。

步骤S303：对三张人像对焦图像进行降噪合成处理，得到降噪后的人像对焦图像。其中，降噪后的人像对焦图像即为前述清晰前景图像，之后执行步骤S305。

步骤S304：对三张背景对焦图像进行HDR合成处理，得到HDR图像。其中，HDR图像即为前述清晰背景图像，之后执行步骤S305。

步骤S305：对降噪后的人像对焦图像和HDR图像进行导向滤波融合，得到融合图像，之后分别执行步骤S306、步骤S307和步骤S308。

步骤S306：基于融合图像进行人脸分割，得到人脸图；在具体实施时，可以采用人脸检测算法检测出融合图像中的人脸，然后抠取人脸图，之后执行步骤S309。

步骤S307：基于融合图像进行人像分割，得到人像图；在具体实施时，可以采用人像检测算法检测出融合图像中的人像主体，然后抠取人像图，之后执行步骤S312。

步骤S308：对融合图像中的背景图进行增强处理，得到处理后的背景图，之后执行步骤S315。增强处理包括锐化处理、亮度处理等。其中，背景图可以是融合图像中除人脸图和人像图之外的背景环境图像。

步骤S309：判断人脸是否为逆光拍摄，如果是，执行步骤S310：进行逆光人脸图处理，得到处理后的人脸图；如果否，执行步骤S311：进行非逆光人脸图处理，得到处理后的人脸图。无论是执行步骤S310还是执行步骤S311，之后均执行步骤S315；

步骤S312：判断人像是否为逆光拍摄，如果是，执行步骤S313：进行逆光人像图处理，得到处理后的人像图；如果否，执行步骤S314：进行非逆光人像图处理，得到处理后的人像图。无论是执行步骤S313还是执行步骤S314，之后均执行步骤S315；

步骤S315：执行图像融合操作，将融合后的图像作为最终拍摄图像。也即，将处理后的人脸图、处理后的人像图和处理后的背景图进行融合，得到最终拍摄图像。

步骤S316：将最终拍摄图像输出。

在上述示例中，将经多帧降噪的人像对焦图与经HDR合成的背景对焦图进行融合，所得到的融合图像具有清晰的人像和清晰的背景环境，且经导向滤波融合后高光压制较好，但可能存在因光线环境所导致的人脸、人像亮度效果不佳等问题，因此会进一步执行人像分割、人脸分割等操作，以便后续有针对性的进行优化处理。

参见图4所示的一种图像处理方法流程图，主要包括如下步骤：

步骤S401：执行人像对焦操作，拍摄得到曝光值均为EV0的三张人像对焦图像(也即前述前景对焦图像)，之后执行步骤S403。

步骤S402：执行背景对焦操作，拍摄得到曝光值分别为EV0、EV-2和EV-4的三张背景对焦图像，之后执行步骤S404。

步骤S403：对三张人像对焦图像进行降噪合成处理，得到降噪后的人像对焦图像。其中，降噪后的人像对焦图像即为前述清晰前景图像，之后执行步骤S405和步骤S406；

步骤S404：对三张背景对焦图像进行HDR合成处理，得到HDR图像。其中，HDR图像即为前述清晰背景图像，之后执行步骤S413：

步骤S405：对降噪后的人像对焦图像进行人像分割，得到人像图和第一背景图像，针对人像图执行步骤S407，以及针对第一背景图像执行步骤S414；

步骤S406：对降噪后的人像对焦图像进行人脸分割，得到人脸图；之后执行步骤S410；

步骤S407：判断人像是否为逆光拍摄，如果是，执行步骤S408：进行逆光人像图处理，得到处理后的人像图；如果否，执行步骤S409：进行非逆光人像图处理，得到处理后的人像图。无论是执行步骤S408还是执行步骤S409，之后均执行步骤S415；

步骤S410：判断人脸是否为逆光拍摄，如果是，执行步骤S411：进行逆光人脸图处理，得到处理后的人脸图；如果否，执行步骤S412：进行非逆光人脸图处理，得到处理后的人脸图。无论是执行步骤S411还是执行步骤S412，之后均执行步骤S415。

步骤S413：从HDR图像中分割出非人像区域构成的第二背景图像。之后执行步骤S414。在一种实施方式中，可以利用人像分割算法对HDR图像进行处理，并判断处理后的图像是否为非人像区域，在确定处理后的图像为非人像区域时执行步骤S414，也即可以利用人像分割方法检测HDR图像中的人像区域，将HDR图像中的非人像区域作为第二背景图像并针对该第二背景图像执行步骤S414。

步骤S414，执行图像融合操作，将第一背景图像和第二背景图像进行融合得到背景图，之后执行步骤S415。

步骤S415：执行图像融合操作，将融合后的图像作为最终拍摄图像。也即，将处理后的人脸图、处理后的人像图和背景图进行融合，得到最终拍摄图像。

步骤S416：将最终拍摄图像输出。

在上述示例中，直接针对多帧降噪的人像对焦图执行人像分割和人脸分割等操作，并根据光线环境对分割出的人像和人脸进行优化处理，将优化后的人像和人脸与经HDR技术合成所得的清晰背景进行融合，最终得到前景(人像、人脸)以及背景均较佳的图像。

应当注意的是，前述方法并不以图3及图4所述的具体顺序为限制，上述流程图并未限定步骤执行的先后顺序，上述方法中的部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除。

综上所述，本实施例提供的上述图像处理方法，可以较好的应用于诸如手机等图像采集设备，能够同时兼顾前景清晰度和背景清晰度，通过多帧去噪、HDR技术以及将清晰前景和清晰背景融合的方式，有效降低了图像噪声并尽可能地保留了图像细节，诸如在保留高光细节的同时也可保留非高光区域的细节，同时通过诸如亮度调整等优化处理操作，可以改善现有技术中在人像等前景占比较大时，因相机传感器的动态范围限制而导致的背景容易过曝或者人像亮度不足等问题。此外，还可以将人像、人脸、背景环境分割出来有针对性地进行优化处理，诸如对人脸进行人脸美化操作、光影调整操作，对背景进行锐化操作等，即便对于同一操作，人像、人脸和背景环境的操作参数也可不同，诸如在执行亮度调整操作时人脸、人像和背景环境各自所需的亮度补偿量不同。通过上述方式，可以使得最终呈现给用户的拍摄图像更符合用户心意，有效提升用户体验。

实施例三：

对于实施例二中所提供的图像处理方法，本发明实施例提供了一种图像处理装置，参见图5所示的一种图像处理装置的结构框图，该装置包括以下模块：

图像获取模块52，用于获取图像采集设备针对同一场景拍摄得到的多张前景对焦图像和多张背景对焦图像；

前景图像生成模块54，用于根据多张前景对焦图像生成一张清晰前景图像；

背景图像生成模块56，用于根据多张背景对焦图像生成一张清晰背景图像；

图像融合模块58，用于将清晰前景图像和清晰背景图像进行融合，得到场景的清晰图像。

本发明实施例提供的上述图像处理装置，通过采集多张前景对焦图像和多张背景对焦图像的方式分别生成清晰前景图像和清晰背景图像，从而融合得到清晰图像，最终呈现的清晰图像能够同时兼顾前景清晰度和背景清晰度，有效提升了图像拍摄效果。

在一种实施方式中，不同的前景对焦图像的曝光值相同；前景图像生成模块54用于：采用多帧降噪算法对多张前景对焦图像进行降噪合成处理，将处理后得到的图像作为清晰前景图像。

在一种实施方式中，不同的背景对焦图像的曝光值不同；背景图像生成模块56用于：采用HDR算法对多张背景对焦图像进行合成，将合成后得到的图像作为清晰背景图像。

在一种实施方式中，图像融合模块58用于：基于清晰前景图像和清晰背景图像，分割出场景中前景对象的对象图以及除前景对象之外的背景环境的背景图；对对象图进行优化处理，得到处理后的对象图；优化处理包括亮度调整操作、人脸美化操作、细节增强操作、光影调整操作、降噪操作中的一种或多种；将处理后的对象图与背景图进行融合，得到场景的清晰图像。

在一种实施方式中，图像融合模块58进一步用于：将清晰前景图像和清晰背景图像进行融合，得到融合图像，从融合图像中分割出场景中前景对象的对象图以及除前景对象之外的背景环境的背景图；或者，从清晰前景图像中分割出场景中前景对象的对象图，以及根据清晰背景图像获得场景中除前景对象之外的背景环境的背景图。

在一种实施方式中，图像融合模块58进一步用于：从清晰前景图像中分割出除前景对象之外的背景环境的第一背景图像；从清晰背景图像中分割出除前景对象之外的背景环境的第二背景图像；将第一背景图像和第二背景图像进行融合，得到场景中除前景对象之外的背景环境的背景图。

在一种实施方式中，对象图包括人脸图和/或人像图；图像融合模块58进一步用于：根据对象图与背景图之间的亮度差异，确定前景对象所处的光线环境；光线环境包括顺光环境、侧光环境或逆光环境；如果对象图包括人脸图，根据前景对象所处的光线环境，对人脸图执行亮度调整操作，得到处理后的人脸图；如果对象图包括人像图，根据前景对象所处的光线环境，对人像图执行亮度调节操作，得到处理后的人像图。

在一种实施方式中，图像融合模块58进一步用于：对背景图进行锐化处理和/或亮度处理，得到处理后的背景图；将处理后的对象图与处理后的背景图进行融合，得到场景的清晰图像。

本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

进一步，本实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述任一项图像处理方法的步骤。

本发明实施例所提供的图像处理方法、装置、电子设备及计算机可读存储介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种图像处理方法，其特征在于，包括：

获取图像采集设备针对同一场景拍摄得到的多张前景对焦图像和多张背景对焦图像；

根据所述多张前景对焦图像生成一张清晰前景图像；

根据所述多张背景对焦图像生成一张清晰背景图像；

将所述清晰前景图像和所述清晰背景图像进行融合，得到所述场景的清晰图像。

2.根据权利要求1所述的方法，其特征在于，不同的所述前景对焦图像的曝光值相同；所述根据所述多张前景对焦图像生成一张清晰前景图像的步骤，包括：

采用多帧降噪算法对所述多张前景对焦图像进行降噪合成处理，将处理后得到的图像作为清晰前景图像。

3.根据权利要求1所述的方法，其特征在于，不同的所述背景对焦图像的曝光值不同；所述根据所述多张背景对焦图像生成一张清晰背景图像的步骤，包括：

采用HDR算法对所述多张背景对焦图像进行合成，将合成后得到的图像作为清晰背景图像。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述将所述清晰前景图像和所述清晰背景图像进行融合，得到所述场景的清晰图像的步骤，包括：

基于所述清晰前景图像和所述清晰背景图像，分割出所述场景中前景对象的对象图以及除所述前景对象之外的背景环境的背景图；

对所述对象图进行优化处理，得到处理后的对象图；所述优化处理包括亮度调整操作、人脸美化操作、细节增强操作、光影调整操作、降噪操作中的一种或多种；

将所述处理后的对象图与所述背景图进行融合，得到所述场景的清晰图像。

5.根据权利要求4所述的方法，其特征在于，所述基于所述清晰前景图像和所述清晰背景图像，分割出所述场景中前景对象的对象图以及除所述前景对象之外的背景环境的背景图的步骤，包括：

将所述清晰前景图像和所述清晰背景图像进行融合，得到融合图像，从所述融合图像中分割出所述场景中前景对象的对象图以及除所述前景对象之外的背景环境的背景图；

或者，

从所述清晰前景图像中分割出所述场景中前景对象的对象图，以及根据所述清晰背景图像获得所述场景中除所述前景对象之外的背景环境的背景图。

6.根据权利要求5所述的方法，其特征在于，所述根据所述清晰背景图像得到所述场景中除所述前景对象之外的背景环境的背景图的步骤，包括：

从所述清晰前景图像中分割出除所述前景对象之外的背景环境的第一背景图像；

从所述清晰背景图像中分割出除所述前景对象之外的背景环境的第二背景图像；

将所述第一背景图像和所述第二背景图像进行融合，得到所述场景中除所述前景对象之外的背景环境的背景图。

7.根据权利要求4所述的方法，其特征在于，所述对象图包括人脸图和/或人像图；

所述对所述对象图进行优化处理，得到处理后的对象图的步骤，包括：

根据所述对象图与所述背景图之间的亮度差异，确定所述前景对象所处的光线环境；所述光线环境包括顺光环境、侧光环境或逆光环境；

如果所述对象图包括人脸图，根据所述前景对象所处的光线环境，对所述人脸图执行亮度调整操作，得到处理后的人脸图；如果所述对象图包括人像图，根据所述前景对象所处的光线环境，对所述人像图执行亮度调节操作，得到处理后的人像图。

8.根据权利要求4所述的方法，其特征在于，所述将所述处理后的对象图与所述背景图进行融合，得到所述场景的清晰图像的步骤，包括：

对所述背景图进行锐化处理和/或亮度处理，得到处理后的背景图；

将所述处理后的对象图与所述处理后的背景图进行融合，得到所述场景的清晰图像。

9.一种图像处理装置，其特征在于，包括：

图像获取模块，用于获取图像采集设备针对同一场景拍摄得到的多张前景对焦图像和多张背景对焦图像；

前景图像生成模块，用于根据所述多张前景对焦图像生成一张清晰前景图像；

背景图像生成模块，用于根据所述多张背景对焦图像生成一张清晰背景图像；

图像融合模块，用于将所述清晰前景图像和所述清晰背景图像进行融合，得到所述场景的清晰图像。

10.一种电子设备，其特征在于，包括：处理器和存储装置；

所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1至8任一项所述的方法。

11.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至8任一项所述的方法的步骤。

Images