CN107392972B - 一种图像背景虚化方法、移动终端及计算机可读存储介质 - Google Patents

Abstract

本发明提供一种图像背景虚化方法、移动终端及计算机可读存储介质。该方法包括：获取第一预览图像；若第一预览图像中具有人体区域，则对第一预览图像依次进行第一编码和第一解码处理，输出第一前景特征平面和第一背景特征平面；根据第一前景特征平面和第一背景特征平面，对第一预览图像进行背景虚化处理，生成第二预览图像；对第一预览图像进行第二编码处理，输出至少一个第一特征平面；对第一特征平面、第一前景特征平面和第一背景特征平面进行第二解码处理，输出第二前景特征平面和第二背景特征平面；根据第二前景特征平面和第二背景特征平面，对第一预览图像进行背景虚化处理，生成照片。本发明使照片和实时的第二预览图像的背景虚化效果一致。

Description

一种图像背景虚化方法、移动终端及计算机可读存储介质

技术领域

本发明涉及通信技术领域，尤其涉及一种图像背景虚化方法、移动终端及计算机可读存储介质。

背景技术

人像场景中的背景虚化，特别是自拍应用中的背景虚化是目前移动终端中的高频应用之一。背景虚化是一种模拟单反的浅深度域(small depth-of-field)的技术，可以突显出拍摄重心(比如人物)。实时背景虚化技术是指在相机预览中，实时实现背景虚化的预览效果。并在拍照的同时实现与预览结果相近的最终大图结果。

目前，基于单目摄像头的移动终端使用人像抠图的方法实现人像背景虚化，人像抠图包括图优化及基于深度学习算法两大类。在预览过程中，通过小图计算分割结果来提高速度。但是，该方法的缺点在于，小图分割的结果通常会与大图的分割结果有较大的出入，使得预览结果不够真实，小图上的实时性仍然无法满足设备需求，从而造成了实时预览图像和最终生成的照片的背景虚化效果不一致。

发明内容

本发明实施例提供一种图像背景虚化方法、移动终端及计算机可读存储介质，以解决现有技术的图像背景虚化方法具有实时预览图像和最终生成的照片的背景虚化效果不一致的问题。

第一方面，提供一种图像背景虚化方法，包括：

获取第一预览图像；

若所述第一预览图像中具有人体区域，则对所述第一预览图像依次进行第一编码和第一解码处理，输出第一前景特征平面和第一背景特征平面；

根据所述第一前景特征平面和所述第一背景特征平面，对所述第一预览图像进行背景虚化处理，生成第二预览图像；

对所述第一预览图像进行第二编码处理，输出至少一个第一特征平面；

对所述第一特征平面、所述第一前景特征平面和所述第一背景特征平面进行第二解码处理，输出第二前景特征平面和第二背景特征平面；

根据所述第二前景特征平面和所述第二背景特征平面，对所述第一预览图像进行背景虚化处理，生成照片；

其中，所述第一前景特征平面和所述第二前景特征平面均用于表征人体区域的置信度，所述第一背景特征平面和所述第二背景特征平面均用于表征背景区域的置信度，所述背景区域为所述人体区域以外的区域。

第二方面，提供一种移动终端，包括：

获取模块，用于获取第一预览图像；

第一输出模块，用于若所述第一预览图像中具有人体区域，则对所述第一预览图像依次进行第一编码和第一解码处理，输出第一前景特征平面和第一背景特征平面；

第一生成模块，用于根据所述第一前景特征平面和所述第一背景特征平面，对所述第一预览图像进行背景虚化处理，生成第二预览图像；

第二输出模块，用于对所述第一预览图像进行第二编码处理，输出至少一个第一特征平面；

第三输出模块，用于对所述第一特征平面、所述第一前景特征平面和所述第一背景特征平面进行第二解码处理，输出第二前景特征平面和第二背景特征平面；

第二生成模块，用于根据所述第二前景特征平面和所述第二背景特征平面，对所述第一预览图像进行背景虚化处理，生成照片；

其中，所述第一前景特征平面和所述第二前景特征平面均用于表征人体区域的置信度，所述第一背景特征平面和所述第二背景特征平面均用于表征背景区域的置信度，所述背景区域为所述人体区域以外的区域。

第三方面，提供一种移动终端，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述的图像背景虚化方法的步骤。

第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的图像背景虚化方法的步骤。

这样，本发明实施例中，由于第一前景特征平面和第一背景特征平面用于生成经过背景虚化处理后的第二预览图像，因此，通过对第一特征平面、第一前景特征平面和第一背景特征平面一起进行第二解码处理，输出第二前景特征平面和第二背景特征平面，并基于第二前景特征平面和第二背景特征平面，生成经过背景虚化处理的照片，使得照片和实时的第二预览图像的背景虚化效果一致，提升用户体验。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明第一实施例的图像背景虚化方法的流程图；

图2是本发明第二实施例的图像背景虚化方法的流程图；

图3是本发明第二实施例的图像背景虚化方法的标定第一预览图像中的人体区域的各阶段的图像的示意图；

图4是本发明第二实施例的图像背景虚化方法的多尺寸卷积处理的步骤的流程图；

图5是本发明第二实施例的图像虚化方法的生成第二预览图像的步骤的流程图；

图6是本发明第二实施例的图像背景虚化方法的生成第一二值图像的步骤的流程图；

图7是本发明第二实施例的图像背景虚化方法和现有技术分别得到的放大后的人体区域的轮廓的示意图；

图8是本发明第二实施例的图像背景虚化方法的生成照片的步骤的流程图；

图9是本发明第三实施例的移动终端的一种结构框图；

图10是本发明第三实施例的移动终端的另一种结构框图；

图11是本发明第六实施例的移动终端的结构框图；

图12是本发明第七实施例的移动终端的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。

第一实施例

本发明第一实施例公开了一种图像背景虚化方法。该图像背景虚化方法可以应用于配置单摄像头的移动终端。如图1所示，为本发明第一实施例的图像背景虚化方法的流程图。该方法具体包括如下的过程：

步骤101：获取第一预览图像。

该预览图像可以是拍照模式下的预览图像，也可以是摄像模式下的预览图像。

步骤102：若第一预览图像中具有人体区域，则对第一预览图像依次进行第一编码和第一解码处理，输出第一前景特征平面和第一背景特征平面。

具体的，通过第一编码(Encoder)网络提取第一预览图像的特征，再通过第一解码(Decoder)网络对第一编码网络输出的多个特征平面进行上采样解码处理，输出第一前景特征平面和第一背景特征平面。第一前景特征平面和第一背景特征平面用于生成第二预览图像。该第二预览图像为第一预览图像经过背景虚化处理后的预览图像，即第二预览图像为实时的背景虚化的预览图像。因此，第一解码网络可选用较小权重的解码网络，以便加快处理速度。

应当理解的是，第一前景特征平面的数量为一个，第一背景特征平面的数量也为一个。第一前景特征平面用于表征人体区域的置信度。该表征人体区域的置信度表示特征平面上的像素点为人体区域的概率。第一背景特征平面用于表征背景区域的置信度。该背景区域的置信度表示特征平面上的像素点为背景区域的概率。本发明实施例中所述的背景区域为人体区域以外的区域。根据移动终端的处理能力，可以选择不同的第一编码网络和第一解码网络，以确保该第一编码网络和第一解码网络的处理速度较快。

还应当理解的是，若预览图像中不具有人体区域，则无需进行后续的步骤，直接进行全图虚化处理。

步骤103:根据第一前景特征平面和第一背景特征平面，对第一预览图像进行背景虚化处理，生成第二预览图像。

由于第一前景特征平面用于表征人体区域的置信度，第一背景特征平面用于表征背景区域的置信度，因此，可根据置信度分割第一预览图像中的人体区域和背景区域，对分割的背景区域进行图像背景虚化处理，生成第二预览图像，以便用户实时预览背景虚化效果。

步骤104：对第一预览图像进行第二编码处理，输出至少一个第一特征平面。

具体的，通过第二编码网络提取第一预览图像的特征，输出至少一个第一特征平面。该输出的第一特征平面的数量由选择的第二编码网络决定。根据移动终端的处理能力，可以选择不同的第二编码网络，以确保该第二编码网络的处理速度较快。

该步骤的第二编码网络可以采用与步骤102相同的编码网络，即与步骤102的第一编码网络共享参数(编码网络的权重)；也可以采用与步骤102不同的编码网络，即与步骤102的第一编码网络不共享参数。

应当理解的是，实际的过程中，步骤102处理的第一预览图像和步骤104处理的第一预览图像，由于可能存在的时间差，允许这两个第一预览图像有极其细微的不同，但这种极其细微的不同是人眼无法区分的，所以本发明实施例中步骤102和步骤104的第一预览图像可以看作同一预览图像。还应当理解的是，步骤102和步骤104可同时进行。

步骤105：对第一特征平面、第一前景特征平面和第一背景特征平面进行第二解码处理，输出第二前景特征平面和第二背景特征平面。

由于第一前景特征平面和第一背景特征平面用于生成经过背景虚化处理后的第二预览图像，因此，对第一特征平面、第一前景特征平面和第一背景特征平面一起进行第二解码处理，有效保证了人像区域的轮廓在实时的第二预览图像及照片中的边界统一性，从而可确保生成的照片和第二预览图像的背景虚化效果一致。应当理解的是，要对第一特征平面、第一前景特征平面和第一背景特征平面一起进行第二解码处理，第一特征平面、第一前景特征平面和第一背景特征平面的尺寸必须相同。因此，若尺寸不同，需先进行尺寸变换。

具体的，对第一特征平面、第一前景特征平面和第一背景特征平面，通过第二解码网络进行上采样解码处理，输出第二前景特征平面和第二背景特征平面。应当理解的是，第二前景特征平面的数量为一个，第二背景特征平面的数量也为一个。第二前景特征平面用于表征人体区域的置信度(即，特征平面上的像素点为人体区域的概率)。第二背景特征平面用于表征背景区域的置信度(即，特征平面上的像素点为背景区域的概率)。

根据移动终端的处理能力，可以选择不同的第二解码网络，以确保该第二解码网络的处理速度较快。由于第二前景特征平面和第二背景特征平面用于生成经过背景虚化处理的照片，而不是实时的第二预览图像，因此，第二解码网络可选用比第一解码网络的权重较大的网络，以期得到更好的解码结果。

步骤106：根据第二前景特征平面和第二背景特征平面，对第一预览图像进行背景虚化处理，生成照片。

由于第二前景特征平面用于表征人体区域的置信度，第二背景特征平面用于表征背景区域的置信度，因此，可根据置信度分割第一预览图像中的人体区域和背景区域，对分割的背景区域进行图像背景虚化处理，生成照片。

综上，本发明第一实施例的图像背景虚化方法，由于第一前景特征平面和第一背景特征平面用于生成经过背景虚化处理后的第二预览图像，因此，通过对第一特征平面、第一前景特征平面和第一背景特征平面一起进行第二解码处理，输出第二前景特征平面和第二背景特征平面，并基于第二前景特征平面和第二背景特征平面，生成经过背景虚化处理的照片，使得照片和实时的第二预览图像的背景虚化效果一致，提升用户体验。

第二实施例

本发明第二实施例公开了一种图像背景虚化方法。该图像背景虚化方法可以应用于配置单摄像头的移动终端。如图2所示，为本发明第二实施例的图像背景虚化方法的流程图。该方法具体包括如下的过程：

步骤201：获取第一预览图像。

该预览图像可以是拍照模式下的预览图像，也可以是摄像模式下的预览图像。

步骤202：若第一预览图像中具有人体区域，则获取第一预览图像中的人脸区域的第一包围框。

通过人脸识别方法可识别出人脸区域，从而获得第一预览图像中的人脸区域的第一包围框。一般的，如图3(a)所示，第一包围框为矩形框。

步骤203：获取第一预览图像的人体通道中的人脸区域的第二包围框。

一般的RGB色彩模式下的图像都包括红色(R)颜色通道、绿色(G)颜色通道、蓝色(B)颜色通道。此外，图像还可包括其他通道。本实施例中增加一个人体通道，该人体通道可作为Alpha透明通道用于显示。如图3(b)所示，该人体通道可表示标准人体区域，即一般位于图像的中间。通过本步骤可以获取人体通的人脸区域的第二包围框。同样的，一般情况下第二包围框也为矩形框。

步骤204：根据第一包围框和第二包围框的位置及尺寸的关系，变换人体通道的位置和尺寸。

根据实际情况，第一包围框与第二包围框的位置和大小可能会存在区别。此外，一般情况下，确定了人脸区域，可根据人体的通常的尺寸比例等，获得对应人脸区域的人体区域。因此，基于以上两点，可根据第一包围框和第二包围框的位置及尺寸关系，变换人体通道的位置和尺寸，可使人体通道的位置和尺寸与第一预览图像中的人体区域基本一致，达到获得较准确的第一预览图像中人体区域的目的，以便后续处理的过程中可以得到较精确的第一前景特征平面和第一背景特征平面。具体的，可根据第一包围框的四个顶点的坐标和第二包围框的四个顶点的坐标计算出人体通道需要变换的位置和尺寸。如图3(c)所示，为变换后的人体通道的示意图。

步骤205：根据变换后的人体通道的位置和尺寸，标定第一预览图像中的人体区域。

如图3(d)所示，为标定的第一预览图像中的人体区域的示意图。通过该步骤可标定出准确的人体区域，从而便于后续步骤基于该人体区域得到第一前景特征平面和第一背景特征平面。

步骤206：将第一预览图像从第一尺寸变换到第二尺寸后，得到第一中间图像。

该第一尺寸为第一预览图像的原始尺寸，一般根据用户在拍摄之前设定的拍摄尺寸确定。由于该第一中间图像用于生成第一前景特征平面和第一背景特征平面，需要图像处理速度较快，因此，第二尺寸一般比第一尺寸小，可加快处理速度，有利于实时预览虚化效果。例如，以视频流作为输入，在720p下可达到实时预览效果。通过本步骤变换后，输出的第一中间图像的尺寸为第二尺寸。本实施例中，第二尺寸为第一尺寸的四分之一。例如，第一尺寸为200×200，则第二尺寸为50×50。

具体的，该尺寸变换过程可以分步骤进行：

(1)将第一预览图像从第一尺寸变换到第四尺寸，并进行池化处理，得到第二中间图像。

通过池化，可降低图像的特征向量的维度，以便提高处理效率。具体的，该池化的方法可以是平均池化法(AvgPooling)。

(2)将第二中间图像从第四尺寸变换到第二尺寸后，得到第一中间图像。

步骤207：根据第一尺寸和第二尺寸的比例关系、以及标定的第一预览图像中的人体区域，确定对应的第一中间图像的人体区域。

第一预览图像的原始尺寸为第一尺寸，因此，通过步骤205在第一预览图像中标定的人体区域也为原始尺寸下的人体区域。由于第一中间图像已经进行了尺寸的变换，也需要对确定的第一预览图像中的人体区域进行相应的变换，才能在第一中间图像中确定准确的人体区域。因此，通过本步骤，根据第一预览图像和第一中间图像的尺寸关系，可将第一预览图像中的人体区域映射到第一中间图像中，从而确定第一中间图像中的人体区域。在第一中间图像中确定了准确的人体区域，才能在后续步骤中得到准确的第一前景特征平面和第一背景特征平面。

步骤208：对第一中间图像进行第一编码处理，输出至少一个第二特征平面。

通过第一编码网络对第一中间图像进行处理。该第二特征平面的数量由选择的第一编码网络决定。应当理解的是，第一编码处理并不会改变特征平面的尺寸，因此，第二特征平面的尺寸与第一中间图像的尺寸相同，为第二尺寸。

步骤209：将第二特征平面进行多尺寸卷积处理，输出多个第三特征平面。

具体的，如图4所示，该步骤具体包括如下的过程：

步骤2091：采用线性采样层对第二特征平面进行缩放处理，将第二特征平面从第二尺寸分别变换到多个第三尺寸，输出对应每一第三尺寸的第四特征平面。

例如，第三尺寸的数量为四个，分别为1×1、2×2、4×4和8×8，第二特征平面的第二尺寸为50×50，则将每一第二特征平面缩小，分别得到第三尺寸为1×1、2×2、4×4和8×8的四个第四特征平面。该尺寸的变换可基于特征平面的面积的均值完成。

步骤2092：采用卷积层对第四特征平面进行卷积处理，输出第五特征平面。

例如，将1×1、2×2、4×4和8×8的第四特征平面分别通过卷积层进行卷积处理，输出1×1、2×2、4×4和8×8的第五特征平面。应当理解的是，卷积处理并不会改变特征平面的尺寸，因此，第五特征平面仍然为对应的第三尺寸。

步骤2093：采用线性采样层对第五特征平面进行缩放处理，将第五特征平面从第三尺寸变换到第二尺寸，输出第三特征平面。

例如，第二尺寸为50×50，则通过线性采样层处理，将第三尺寸为1×1、2×2、4×4和8×8的第五特征平面均放大为第二尺寸50×50，得到第三特征平面。

通过上述的多尺寸卷积处理，有效增强了全局上下文分析能力。

步骤210：基于确定的第一中间图像的人体区域，对第二特征平面和第三特征平面进行第一解码处理，输出第一前景特征平面和第一背景特征平面。

由于第二特征平面为第二尺寸，第三特征平面也为第二尺寸，因此，第二特征平面和第三特征平面可以一起进行第一解码处理。第一解码处理的特征平面的数量为第二特征平面和第三特征平面的数量之和。例如，经过步骤209的多尺寸卷积处理，每一第二特征平面输出对应的第三特征平面的数量为4个。第二特征平面的数量为5个，则总数量为25个。

步骤211：根据第一前景特征平面和第一背景特征平面，对第一预览图像进行背景虚化处理，生成第二预览图像。

具体的，如图5所示，该步骤包括如下的过程：

步骤2111：根据第一前景特征平面和第一背景特征平面，生成第一二值图像。

具体的，如图6所示，该步骤通过如下的过程实现：

步骤21111：获取第一前景特征平面中的像素点的第一像素值。

第一像素值为该像素点在第一前景特征平面的基本原色素及其灰度的基本编码。一般的，第一前景特征平面为灰度图，因此，第一像素值为灰度值。

步骤21112：获取第一背景特征平面中的像素点的第二像素值。

第二像素值为该像素点在第一背景特征平面的基本原色素及其灰度的基本编码。一般的，第一背景特征平面为灰度图，因此，第二像素值为灰度值。

步骤21113：比较同一像素点的第一像素值和第二像素值。

同一像素点指的是该像素点在第一前景特征平面和第一背景特征平面中的位置相同。

步骤21114：若第一像素值大于第二像素值，则确定像素点位于人体区域。

由于第一背景特征平面表征人体区域的置信度，因此，若同一像素点的第一像素值大于第二像素值，则表示该像素点位于人体区域的概率大于位于背景区域的概率，确定像素点位于人体区域。

步骤21115：若第一像素值不大于第二像素值，则确定像素点位于背景区域。

由于第一背景特征平面表征人体区域的置信度，因此，若同一像素点的第一像素值不大于第二像素值，则表示该像素点位于人体区域的概率不大于位于背景区域的概率，确定像素点位于背景区域。

步骤21116：根据所有像素点位于的区域，生成第一二值图像。

通过上述的步骤确定了所有像素点位于的区域后，可生成一帧第一二值图像。第一二值图像中具有人体区域和背景区域。第一二值图像中的人体区域和背景区域分别具有不同的灰度。一般的，第一二值图像为黑白图，黑色表示背景区域，白色表示人体区域。

步骤2112：对第一二值图像依次进行高斯模糊处理和二值化处理，确定第一二值图像中的人体区域。

通过该步骤，可以在原始第一二值图像的基础上，获得更精确的人体区域，从而可精确确定该人体区域的轮廓。

步骤2113：获取第一二值图像中的人体区域的轮廓的像素点的第一坐标。

通过获取该第一坐标，以便在后续的步骤中进行坐标变换。

步骤2114：根据第二尺寸和第一尺寸之间的比例，将第一坐标变换为第二坐标。

由于输出的第一前景特征平面和第一背景特征平面的尺寸为第二尺寸，因此，生成的第一二值图像的尺寸也为第二尺寸。为了在第一预览图像中进行背景虚化，需要利用第一二值图像来确定背景区域。但是第一二值图像的尺寸与第一预览图像的尺寸不同，因此，需要将第一二值图像放大到第一预览图像的尺寸。现有技术采用直接放大的方法，如图7(a)所示，会使人体区域的轮廓产生锯齿，从而使得无法对靠近人体轮廓的区域进行精确的虚化处理。

本发明实施例为了解决上述的技术问题，并不采用直接放大的做法，而是通过本步骤先将人体区域的轮廓的像素点的第一坐标按照第二尺寸和第一尺寸之间的比例变换为第二坐标。

步骤2115：根据第二坐标，在第一灰度图像中绘制轮廓，形成第一灰度图像中的人体区域和背景区域。

第一灰度图像的尺寸为第一尺寸，即与第一预览图像的尺寸相同。由于，本实施例中的背景区域是黑色表示，因此，第一灰度图像是一种全黑图像。在第一灰度图像中绘制轮廓后，可形成轮廓包围的人体区域和轮廓未包围的背景区域。在第一灰度图像中，轮廓包围的人体区域为白色，背景区域仍然为黑色，因此，第一灰度图像中的人体区域和背景区域分别具有不同的灰度。

如图7(b)所示，通过本发明实施例的方法形成的放大后的第一灰度图像中的人体区域的轮廓平滑，有利于在靠近人体轮廓的区域实现较好的背景虚化效果，进而可在预览达到实时性能的前提下使第二预览图像具有较自然的实时预览虚化效果。

步骤2116：根据第一灰度图像的人体区域和背景区域，确定第一预览图像中的背景区域。

第一灰度图像和第一预览图像尺寸相同，通过第一灰度图像分割得到的人体区域和背景区域，可较准确地确定第一预览图像中的背景区域。

步骤2117：将第一预览图像中的背景区域虚化处理，生成第二预览图像。

通过虚化处理算法，可将第一预览图像中的背景区域虚化，生成第二预览图像。该第二预览图像可实时向用户反映虚化效果，以便用户可预览虚化效果，以便对该虚化效果满意后，可生成照片。该虚化处理算法可采用现有技术的虚化处理算法，例如，高斯模糊或boken模糊算法，在此不再赘述。

步骤212：将第一预览图像从第一尺寸变换到第四尺寸，得到第二中间图像。

由于该第二中间图像也要用于后续的编码、解码处理，因此，第四尺寸一般比第一尺寸小。本实施例中，第四尺寸为第一尺寸的二分之一。例如，第一预览图像的尺寸为200×200，则第一中间图像的尺寸为100×100。一般情况下，第四尺寸和前述的第二尺寸是不同的，第二尺寸一般比第四尺寸小，以便加快实时预览虚化效果的处理速度。

该第二中间图像也可以经过池化处理后，再进行后续的第二编码处理。该第二中间图像一般和步骤206中涉及的第二中间图像是同一图像，即实际应用过程中，可直接在该第二中间图像的基础上得到第一中间图像。

步骤213：对第二中间图像进行第二编码处理，输出至少一个第一特征平面。

具体的，通过第二编码网络提取第二中间图像的特征，输出至少一个第一特征平面。该输出的第一特征平面的数量由选择的第一编码网络决定。应当理解的是，第一编码处理不会改变图像的尺寸，因此，输出的第一特征平面的尺寸与第二中间图像的尺寸相同，为第四尺寸。

应当理解的是，步骤202～210可与步骤212～213同时进行。

步骤214：将第一前景特征平面和第一背景特征平面从第二尺寸变换到第四尺寸。

由于后续的步骤需要对第一特征平面、第一前景特征平面和第一背景特征平面一起进行第二解码处理，需要尺寸一致。因此，需通过本步骤，将第一前景特征平面和第一背景特征平面变换到第一特征平面的尺寸。

应当理解的是，若第二尺寸和第四尺寸相同，则无需进行该步骤。

步骤215：对第一特征平面、第一前景特征平面和第一背景特征平面进行第二解码处理，输出第二前景特征平面和第二背景特征平面。

通过第二解码网络进行上采样解码，输出第二前景特征平面和第二背景特征平面。应当理解的是，第二前景特征平面的数量为一个，第二背景特征平面的数量也为一个。

由于第一前景特征平面和第一背景特征平面用于生成的第二预览图像，并且第二预览图像为第一预览图像经过背景虚化处理后的预览图像，照片是第一预览图像经过背景虚化处理后的照片，因此，对第一特征平面、第一前景特征平面和第一背景特征平面一起进行第二解码处理，有效保证了人像区域的轮廓在实时的第二预览图像及照片中的边界统一性，从而可确保生成的照片和第二预览图像的背景虚化效果一致。

步骤216：根据第二前景特征平面和第二背景特征平面，对第一预览图像进行背景虚化处理，生成照片。

具体的，如图8所示，该步骤包括如下的过程：

步骤2161：根据第二前景特征平面和第二背景特征平面，生成第二二值图像。

该生成第二二值图像的方式与步骤2111相同，也是通过比较同一像素点的第二前景特征平面的像素值和第二背景特征平面的像素值，确定人体区域和背景区域，生成第二二值图像，在此不再赘述。第二二值图像中具有人体区域和背景区域，第二二值图像中的人体区域和背景区域分别具有不同的灰度。一般的，第二二值图像为黑白图，黑色表示背景区域，白色表示人体区域。

步骤2162：对第二二值图像依次进行高斯模糊处理和二值化处理，确定第二二值图像中的人体区域。

通过该步骤，可以在原始第二二值图像的基础上，获得更精确的人体区域，从而可精确确定该人体区域的轮廓。

步骤2163：获取第二二值图像中的人体区域的轮廓的像素点的第三坐标。

通过获取该第三坐标，以便在后续的步骤中进行坐标变换。

步骤2164：根据第四尺寸和第一尺寸之间的比例，将第三坐标变换为第四坐标。

第二前景特征平面、第二背景特征平面与第二中间图像的尺寸相同，均为第四尺寸，因此，与步骤2114相同，为了能在第一预览图像中进行背景虚化处理，也需要将第二二值图像中的人体区域放大。因此，通过本步骤变换第二二值图像中的人体区域的轮廓的像素点的坐标。

步骤2165：根据第四坐标，在第二灰度图像中绘制轮廓，形成第二灰度图像中的人体区域和背景区域。

第二灰度图像的尺寸为第一尺寸，即与第一预览图像的尺寸相同。由于，本实施例中的背景区域是黑色表示，因此，第二灰度图像是一种全黑图像。在第二灰度图像中绘制轮廓后，可形成轮廓包围的人体区域和轮廓未包围的背景区域。在第二灰度图像中，轮廓包围的人体区域为白色，背景区域仍然为黑色，因此，第二灰度图像中的人体区域和背景区域分别具有不同的灰度。

步骤2166：根据第二灰度图像的人体区域和背景区域，确定第一预览图像中的背景区域。

第二灰度图像和第一预览图像尺寸相同，通过第二灰度图像分割得到的人体区域和背景区域，可较准确地确定第一预览图像中的背景区域。

步骤2167：将第一预览图像中的背景区域虚化处理，生成照片。

通过虚化处理算法，可将第一预览图像中的背景区域虚化，生成照片。该虚化处理算法可采用现有技术的虚化处理算法，例如，高斯模糊或boken模糊算法，在此不再赘述。

综上，本发明第二实施例的图像背景虚化方法，由于第一前景特征平面和第一背景特征平面用于生成经过背景虚化处理后的第二预览图像，因此，通过对第一特征平面、第一前景特征平面和第一背景特征平面一起进行第二解码处理，输出第二前景特征平面和第二背景特征平面，并基于第二前景特征平面和第二背景特征平面，生成经过背景虚化处理的照片，使得照片和实时的第二预览图像的背景虚化效果一致，提升用户体验；此外，通过根据第一预览图像中的人脸区域的第一包围框，调整第一预览图像的人体通道中的人脸区域的第二包围框，可标定出准确的人体区域，以便在虚化时可确定准确的背景区域；通过多尺寸卷积处理，可有效增强了全局上下文分析能力；在虚化步骤中，通过对坐标的放大变换，可得到平滑的人体区域的轮廓，从而较准确地反映人体轮廓，有利于在照片和实时预览图像中均实现较好的背景虚化效果。

第三实施例

本发明第三实施例公开了一种移动终端，能实现上述实施例中的方法的细节，并达到相同的效果。该移动终端为配置单摄像头的移动终端。如图9所示，该移动终端900具体包括如下的结构：

第一获取模块901，用于获取第一预览图像。

第一输出模块902，用于若第一预览图像中具有人体区域，则对第一预览图像依次进行第一编码和第一解码处理，输出第一前景特征平面和第一背景特征平面。

第一生成模块903，用于根据第一前景特征平面和第一背景特征平面，对第一预览图像进行背景虚化处理，生成第二预览图像。

第二输出模块904，用于对第一预览图像进行第二编码处理，输出至少一个第一特征平面。

第三输出模块905，用于对第一特征平面、第一前景特征平面和第一背景特征平面进行第二解码处理，输出第二前景特征平面和第二背景特征平面。

第二生成模块906，用于根据第二前景特征平面和第二背景特征平面，对第一预览图像进行背景虚化处理，生成一帧照片。

其中，第一前景特征平面和第二前景特征平面均用于表征人体区域的置信度。第一背景特征平面和第二背景特征平面均用于表征背景区域的置信度。背景区域为人体区域以外的区域。

通过上述的模块功能设计，由于第一前景特征平面和第一背景特征平面用于生成经过背景虚化处理后的第二预览图像，因此，通过对第一特征平面、第一前景特征平面和第一背景特征平面一起进行第二解码处理，输出第二前景特征平面和第二背景特征平面，并基于第二前景特征平面和第二背景特征平面，生成经过背景虚化处理的照片，使得照片和实时的第二预览图像的背景虚化效果一致，提升用户体验。

优选的，如图10所示，该移动终端900还包括：

第二获取模块907，用于对第一预览图像依次进行第一编码和第一解码处理，输出第一前景特征平面和第一背景特征平面的步骤之前，若第一预览图像中具有人体区域，则获取第一预览图像中的人脸区域的第一包围框。

第三获取模块908，用于获取第一预览图像的人体通道中的人脸区域的第二包围框。

第一变换模块909，用于根据第一包围框和第二包围框的位置及尺寸的关系，变换人体通道的位置和尺寸。

标定模块910，用于根据变换后的人体通道的位置和尺寸，标定第一预览图像中的人体区域。

通过上述的模块功能设计，可标定出准确的人体区域，从而便于可基于该人体区域得到第一前景特征平面和第一背景特征平面。

具体的，如图10所示，第一输出模块902包括：

第一变换子模块9021，用于将第一预览图像从第一尺寸变换到第二尺寸，得到第一中间图像。

第一确定子模块9022，用于根据第一尺寸和第二尺寸的比例关系、以及标定的第一预览图像中的人体区域，确定对应的第一中间图像的人体区域。

第一输出子模块9023，用于对第一中间图像进行第一编码处理，输出至少一个第二特征平面。

第二输出子模块9024，用于将第二特征平面进行多尺寸卷积处理，输出多个第三特征平面。

第三输出子模块9025，用于基于确定的第一中间图像的人体区域，对第二特征平面和第三特征平面进行第一解码处理，输出第一前景特征平面和第一背景特征平面。

具体的，第二输出子模块9024包括：

第一输出单元90241，用于采用线性采样层对第二特征平面进行缩放处理，将第二特征平面从第二尺寸分别变换到多个第三尺寸，输出对应每一第三尺寸的第四特征平面。

第二输出单元90242，用于采用卷积层对第四特征平面进行卷积处理，输出第五特征平面。

第三输出单元90243，用于采用线性采样层对第五特征平面进行缩放处理，将第五特征平面从第三尺寸变换到第二尺寸，输出第三特征平面。

通过上述的模块功能设计，利用多尺寸卷积处理，有效增强了全局上下文分析能力。

具体的，第一生成模块903包括：

第一生成子模块9031，用于根据第一前景特征平面和第一背景特征平面，生成第一二值图像。

其中，第一二值图像中具有人体区域和背景区域，第一二值图像中的人体区域和背景区域分别具有不同的灰度，第一二值图像的尺寸为第二尺寸。

第二确定子模块9032，用于对第一二值图像依次进行高斯模糊处理和二值化处理，确定第一二值图像中的人体区域。

第一获取子模块9033，用于获取第一二值图像中的人体区域的轮廓的像素点的第一坐标。

第二变换子模块9034，用于根据第二尺寸和第一尺寸之间的比例，将第一坐标变换为第二坐标。

第一绘制子模块9035，用于根据第二坐标，在第一灰度图像中绘制轮廓，形成第一灰度图像中的人体区域和背景区域。

其中，第一灰度图像的尺寸为第一尺寸，第一灰度图像中的人体区域和背景区域分别具有不同的灰度。

第三确定子模块9036，用于根据第一灰度图像的人体区域和背景区域，确定第一预览图像中的背景区域。

第二生成子模块9037，用于将第一预览图像中的背景区域虚化处理，生成第二预览图像。

通过上述的模块功能设计，可实时对第一预览图像进行背景虚化处理，并且在虚化处理的过程中，通过对坐标的放大变换，可得到平滑的人体区域的轮廓，从而较准确地反映人体轮廓，有利于实现较好的背景虚化效果，以便用户实时预览虚化效果。

具体的，第二输出模块904包括：

第三变换子模块9041，用于将第一预览图像从第一尺寸变换到第四尺寸，得到第二中间图像。

第四输出子模块9042，用于对第二中间图像进行第二编码处理，输出至少一个第一特征平面。

优选的，移动终端900还包括：

第二变换模块911，用于对第一特征平面、第一前景特征平面和第一背景特征平面进行第二解码处理，输出第二前景特征平面和第二背景特征平面的步骤之前，将第一前景特征平面和第一背景特征平面从第二尺寸变换到第四尺寸。

具体的，第二生成模块906包括：

第三生成子模块9061，用于根据第二前景特征平面和第二背景特征平面，生成第二二值图像。

其中，第二二值图像中具有人体区域和背景区域，第二二值图像中的人体区域和背景区域分别具有不同的灰度，第二二值图像的尺寸为第四尺寸。

第四确定子模块9062，用于对第二二值图像依次进行高斯模糊处理和二值化处理，确定第二二值图像中的人体区域。

第二获取子模块9063，用于获取第二二值图像中的人体区域的轮廓的像素点的第三坐标。

第四变换子模块9064，用于根据第四尺寸和第一尺寸之间的比例，将第三坐标变换为第四坐标。

第二绘制子模块9065，用于根据第四坐标，在第二灰度图像中绘制轮廓，形成第二灰度图像中的人体区域和背景区域。

其中，第二灰度图像的尺寸为第一尺寸，第二灰度图像中的人体区域和背景区域分别具有不同的灰度。

第五确定子模块9066，用于根据第二灰度图像的人体区域和背景区域，确定第一预览图像中的背景区域。

第四生成子模块9067，用于将第一预览图像中的背景区域虚化处理，生成照片。

通过上述的模块功能设计，先将人体区域的轮廓的像素点的第三坐标按照第四尺寸和第一尺寸之间的比例变换为第四坐标，并在第二灰度图像中根据第四坐标绘制人体轮廓，形成的放大后的第二灰度图像中的人体区域的轮廓平滑，有利于在靠近人体轮廓的区域实现较好的背景虚化效果。

移动终端900能够实现上述的方法实施例中的各个过程，为避免重复，这里不再赘述。

综上，本发明实施例的终端900，由于第一前景特征平面和第一背景特征平面用于生成经过背景虚化处理后的第二预览图像，因此，通过对第一特征平面、第一前景特征平面和第一背景特征平面一起进行第二解码处理，输出第二前景特征平面和第二背景特征平面，并基于第二前景特征平面和第二背景特征平面，生成经过背景虚化处理的照片，使得照片和实时的第二预览图像的背景虚化效果一致，提升用户体验；此外，通过根据第一预览图像中的人脸区域的第一包围框，调整第一预览图像的人体通道中的人脸区域的第二包围框，可标定出准确的人体区域，以便在虚化时可确定准确的背景区域；通过多尺寸卷积处理，可有效增强了全局上下文分析能力；在虚化步骤中，通过对坐标的放大变换，可得到平滑的人体区域的轮廓，从而较准确地反映人体轮廓，有利于在照片和实时预览图像中均实现较好的背景虚化效果。

第四实施例

本发明第四实施例公开一种移动终端，包括处理器，存储器，存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述图像背景虚化方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

第五实施例

本发明第五实施例公开一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述图像背景虚化方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random AccessMemory，简称RAM)、磁碟或者光盘等。

第六实施例

图11是本发明第六实施例的移动终端的结构框图。图11所示的移动终端1100包括：至少一个处理器1101、存储器1102、至少一个网络接口1104和客户接口1103。移动终端1100中的各个组件通过总线系统1105耦合在一起。可理解，总线系统1105用于实现这些组件之间的连接通信。总线系统1105除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图11中将各种总线都标为总线系统1105。

其中，客户接口1103可以包括显示器、键盘或者点击设备例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。本实施例中，该显示器是柔性屏。

可以理解，本发明实施例中的存储器1102可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch Link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本发明实施例描述的系统和方法的存储器1102旨在包括但不限于这些和任意其它适合类型的存储器。

在一些实施方式中，存储器1102存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统11021和应用程序11022。

其中，操作系统11021，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序11022，包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序11022中。

在本发明实施例中，移动终端1100还包括：存储在存储器上1102并可在处理器1101上运行的计算机程序，计算机程序被处理器1101执行时实现如下步骤：获取第一预览图像；若第一预览图像中具有人体区域，则对第一预览图像依次进行第一编码和第一解码处理，输出第一前景特征平面和第一背景特征平面；根据第一前景特征平面和第一背景特征平面，对第一预览图像进行背景虚化处理，生成第二预览图像；对第一预览图像进行第二编码处理，输出至少一个第一特征平面；对第一特征平面、第一前景特征平面和第一背景特征平面进行第二解码处理，输出第二前景特征平面和第二背景特征平面；根据第二前景特征平面和第二背景特征平面，对第一预览图像进行背景虚化处理，生成照片；其中，第一前景特征平面和第二前景特征平面均用于表征人体区域的置信度，第一背景特征平面和第二背景特征平面均用于表征背景区域的置信度，背景区域为人体区域以外的区域。

上述本发明实施例揭示的方法可以应用于处理器1101中，或者由处理器1101实现。处理器1101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1101可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的计算机可读存储介质中。该计算机可读存储介质位于存储器1102，处理器1101读取存储器1102中的信息，结合其硬件完成上述方法的步骤。具体地，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器1101执行时实现如上述图像处理方法实施例的各步骤。

可以理解的是，本发明实施例描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(Application Specific Integrated Circuits，ASIC)、数字信号处理器(Digital SignalProcessing，DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(ProgrammableLogic Device，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。

对于软件实现，可通过执行本发明实施例所述功能的模块(例如过程、函数等)来实现本发明实施例所述的技术。软件代码可存储在存储器1102中并通过处理器执行。存储器1102可以在处理器1101中或在处理器1101外部实现。

可选地，计算机程序被处理器1101执行时还可实现如下步骤：对第一预览图像依次进行第一编码和第一解码处理，输出第一前景特征平面和第一背景特征平面的步骤之前，若第一预览图像中具有人体区域，则获取第一预览图像中的人脸区域的第一包围框；获取第一预览图像的人体通道中的人脸区域的第二包围框；根据第一包围框和第二包围框的位置及尺寸的关系，变换人体通道的位置和尺寸；根据变换后的人体通道的位置和尺寸，标定第一预览图像中的人体区域。

可选地，计算机程序被处理器1101执行时还可实现如下步骤：将第一预览图像从第一尺寸变换到第二尺寸，得到第一中间图像；根据第一尺寸和第二尺寸的比例关系、以及标定的第一预览图像中的人体区域，确定对应的第一中间图像的人体区域；对第一中间图像进行第一编码处理，输出至少一个第二特征平面；将第二特征平面进行多尺寸卷积处理，输出多个第三特征平面；基于确定的第一中间图像的人体区域，对第二特征平面和第三特征平面进行第一解码处理，输出第一前景特征平面和第一背景特征平面。

可选地，计算机程序被处理器1101执行时还可实现如下步骤：采用线性采样层对第二特征平面进行缩放处理，将第二特征平面从第二尺寸分别变换到多个第三尺寸，输出对应每一第三尺寸的第四特征平面；采用卷积层对第四特征平面进行卷积处理，输出第五特征平面；采用线性采样层对第五特征平面进行缩放处理，将第五特征平面从第三尺寸变换到第二尺寸，输出第三特征平面。

可选地，计算机程序被处理器1101执行时还可实现如下步骤：根据第一前景特征平面和第一背景特征平面，生成第一二值图像，其中，第一二值图像中具有人体区域和背景区域，第一二值图像中的人体区域和背景区域分别具有不同的灰度，第一二值图像的尺寸为第二尺寸；对第一二值图像依次进行高斯模糊处理和二值化处理，确定第一二值图像中的人体区域；获取第一二值图像中的人体区域的轮廓的像素点的第一坐标；根据第二尺寸和第一尺寸之间的比例，将第一坐标变换为第二坐标；根据第二坐标，在第一灰度图像中绘制轮廓，形成第一灰度图像中的人体区域和背景区域，其中，第一灰度图像的尺寸为第一尺寸，第一灰度图像中的人体区域和背景区域分别具有不同的灰度；根据第一灰度图像的人体区域和背景区域，确定第一预览图像中的背景区域；将第一预览图像中的背景区域虚化处理，生成第二预览图像。

可选地，计算机程序被处理器1101执行时还可实现如下步骤：将第一预览图像从第一尺寸变换到第四尺寸，得到第二中间图像；对第二中间图像进行第二编码处理，输出至少一个第一特征平面；对第一特征平面、第一前景特征平面和第一背景特征平面进行第二解码处理，输出第二前景特征平面和第二背景特征平面的步骤之前，将第一前景特征平面和第一背景特征平面从第二尺寸变换到第四尺寸。

可选地，计算机程序被处理器1101执行时还可实现如下步骤：根据第二前景特征平面和第二背景特征平面，生成第二二值图像，其中，第二二值图像中具有人体区域和背景区域，第二二值图像中的人体区域和背景区域分别具有不同的灰度，第二二值图像的尺寸为第四尺寸；对第二二值图像依次进行高斯模糊处理和二值化处理，确定第二二值图像中的人体区域；获取第二二值图像中的人体区域的轮廓的像素点的第三坐标；根据第四尺寸和第一尺寸之间的比例，将第三坐标变换为第四坐标；根据第四坐标，在第二灰度图像中绘制轮廓，形成第二灰度图像中的人体区域和背景区域，其中，第二灰度图像的尺寸为第一尺寸，第二灰度图像中的人体区域和背景区域分别具有不同的灰度；根据第二灰度图像的人体区域和背景区域，确定第一预览图像中的背景区域；将第一预览图像中的背景区域虚化处理，生成照片。

移动终端1100能够实现前述实施例中移动终端实现的各个过程，为避免重复，这里不再赘述。

本发明第六实施例的移动终端1100，由于第一前景特征平面和第一背景特征平面用于生成经过背景虚化处理后的第二预览图像，因此，通过对第一特征平面、第一前景特征平面和第一背景特征平面一起进行第二解码处理，输出第二前景特征平面和第二背景特征平面，并基于第二前景特征平面和第二背景特征平面，生成经过背景虚化处理的照片，使得照片和实时的第二预览图像的背景虚化效果一致，提升用户体验；此外，通过根据第一预览图像中的人脸区域的第一包围框，调整第一预览图像的人体通道中的人脸区域的第二包围框，可标定出准确的人体区域，以便在虚化时可确定准确的背景区域；通过多尺寸卷积处理，可有效增强了全局上下文分析能力；在虚化步骤中，通过对坐标的放大变换，可得到平滑的人体区域的轮廓，从而较准确地反映人体轮廓，有利于在照片和实时预览图像中均实现较好的背景虚化效果。

第六实施例

图12是本发明第六实施例的移动终端的结构框图。具体地，图12中的移动终端1200可以为手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)或车载电脑等。

图12中的移动终端1200包括射频(Radio Frequency，RF)电路1210、存储器1220、输入单元1230、显示单元1240、处理器1260、音频电路1270、WiFi(Wireless Fidelity)模块1280和电源1290。

其中，输入单元1230可用于接收客户输入的数字或字符信息，以及产生与移动终端1200的客户设置以及功能控制有关的信号输入。具体地，本发明实施例中，该输入单元1230可以包括触控面板1231。触控面板1231，也称为触摸屏，可收集客户在其上或附近的触摸操作(比如客户使用手指、触笔等任何适合的物体或附件在触控面板1231上的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1231可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测客户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给该处理器1260，并能接收处理器1260发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1231。除了触控面板1231，输入单元1230还可以包括其他输入设备1232，其他输入设备1232可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

其中，显示单元1240可用于显示由客户输入的信息或提供给客户的信息以及移动终端1200的各种菜单界面。显示单元1240可包括显示面板1241，可选的，可以采用LCD或有机发光二极管(Organic Light-Emitting Diode，OLED)等形式来配置显示面板1241。

应注意，触控面板1231可以覆盖显示面板1241，形成触摸显示屏，当该触摸显示屏检测到在其上或附近的触摸操作后，传送给处理器1260以确定触摸事件的类型，随后处理器1260根据触摸事件的类型在触摸显示屏上提供相应的视觉输出。本实施例中，该触摸显示屏是柔性屏。

触摸显示屏包括应用程序界面显示区及常用控件显示区。该应用程序界面显示区及该常用控件显示区的排列方式并不限定，可以为上下排列、左右排列等可以区分两个显示区的排列方式。该应用程序界面显示区可以用于显示应用程序的界面。每一个界面可以包含至少一个应用程序的图标和/或widget桌面控件等界面元素。该应用程序界面显示区也可以为不包含任何内容的空界面。该常用控件显示区用于显示使用率较高的控件，例如，设置按钮、界面编号、滚动条、电话本图标等应用程序图标等。

在本发明实施例中，移动终端1200还包括存储在第一存储器1221上并可在处理器1260上运行的计算机程序。其中处理器1260是移动终端1200的控制中心，利用各种接口和线路连接整个移动终端1200的各个部分，通过运行或执行存储在第一存储器1221内的计算机程序和/或模块，以及调用存储在第二存储器1222内的数据，执行移动终端1200的各种功能和处理数据，从而对移动终端1200进行整体监控。可选的，处理器1260可包括一个或多个处理单元。具体地，计算机程序被处理器1260执行时实现如上述图像处理方法实施例的各步骤。

通过调用存储该第一存储器1221内的计算机程序和/或模块和/或该第二存储器1222内的数据，计算机程序被处理器1260执行时实现如下步骤：获取第一预览图像；若第一预览图像中具有人体区域，则对第一预览图像依次进行第一编码和第一解码处理，输出第一前景特征平面和第一背景特征平面；根据第一前景特征平面和第一背景特征平面，对第一预览图像进行背景虚化处理，生成第二预览图像；对第一预览图像进行第二编码处理，输出至少一个第一特征平面；对第一特征平面、第一前景特征平面和第一背景特征平面进行第二解码处理，输出第二前景特征平面和第二背景特征平面；根据第二前景特征平面和第二背景特征平面，对第一预览图像进行背景虚化处理，生成照片；其中，第一前景特征平面和第二前景特征平面均用于表征人体区域的置信度，第一背景特征平面和第二背景特征平面均用于表征背景区域的置信度，背景区域为人体区域以外的区域。

可选地，计算机程序被处理器1260执行时还可实现如下步骤：对第一预览图像依次进行第一编码和第一解码处理，输出第一前景特征平面和第一背景特征平面的步骤之前，若第一预览图像中具有人体区域，则获取第一预览图像中的人脸区域的第一包围框；获取第一预览图像的人体通道中的人脸区域的第二包围框；根据第一包围框和第二包围框的位置及尺寸的关系，变换人体通道的位置和尺寸；根据变换后的人体通道的位置和尺寸，标定第一预览图像中的人体区域。

可选地，计算机程序被处理器1260执行时还可实现如下步骤：将第一预览图像从第一尺寸变换到第二尺寸，得到第一中间图像；根据第一尺寸和第二尺寸的比例关系、以及标定的第一预览图像中的人体区域，确定对应的第一中间图像的人体区域；对第一中间图像进行第一编码处理，输出至少一个第二特征平面；将第二特征平面进行多尺寸卷积处理，输出多个第三特征平面；基于确定的第一中间图像的人体区域，对第二特征平面和第三特征平面进行第一解码处理，输出第一前景特征平面和第一背景特征平面。

可选地，计算机程序被处理器1260执行时还可实现如下步骤：采用线性采样层对第二特征平面进行缩放处理，将第二特征平面从第二尺寸分别变换到多个第三尺寸，输出对应每一第三尺寸的第四特征平面；采用卷积层对第四特征平面进行卷积处理，输出第五特征平面；采用线性采样层对第五特征平面进行缩放处理，将第五特征平面从第三尺寸变换到第二尺寸，输出第三特征平面。

可选地，计算机程序被处理器1260执行时还可实现如下步骤：根据第一前景特征平面和第一背景特征平面，生成第一二值图像，其中，第一二值图像中具有人体区域和背景区域，第一二值图像中的人体区域和背景区域分别具有不同的灰度，第一二值图像的尺寸为第二尺寸；对第一二值图像依次进行高斯模糊处理和二值化处理，确定第一二值图像中的人体区域；获取第一二值图像中的人体区域的轮廓的像素点的第一坐标；根据第二尺寸和第一尺寸之间的比例，将第一坐标变换为第二坐标；根据第二坐标，在第一灰度图像中绘制轮廓，形成第一灰度图像中的人体区域和背景区域，其中，第一灰度图像的尺寸为第一尺寸，第一灰度图像中的人体区域和背景区域分别具有不同的灰度；根据第一灰度图像的人体区域和背景区域，确定第一预览图像中的背景区域；将第一预览图像中的背景区域虚化处理，生成第二预览图像。

可选地，计算机程序被处理器1260执行时还可实现如下步骤：将第一预览图像从第一尺寸变换到第四尺寸，得到第二中间图像；对第二中间图像进行第二编码处理，输出至少一个第一特征平面；对第一特征平面、第一前景特征平面和第一背景特征平面进行第二解码处理，输出第二前景特征平面和第二背景特征平面的步骤之前，将第一前景特征平面和第一背景特征平面从第二尺寸变换到第四尺寸。

可选地，计算机程序被处理器1260执行时还可实现如下步骤：根据第二前景特征平面和第二背景特征平面，生成第二二值图像，其中，第二二值图像中具有人体区域和背景区域，第二二值图像中的人体区域和背景区域分别具有不同的灰度，第二二值图像的尺寸为第四尺寸；对第二二值图像依次进行高斯模糊处理和二值化处理，确定第二二值图像中的人体区域；获取第二二值图像中的人体区域的轮廓的像素点的第三坐标；根据第四尺寸和第一尺寸之间的比例，将第三坐标变换为第四坐标；根据第四坐标，在第二灰度图像中绘制轮廓，形成第二灰度图像中的人体区域和背景区域，其中，第二灰度图像的尺寸为第一尺寸，第二灰度图像中的人体区域和背景区域分别具有不同的灰度；根据第二灰度图像的人体区域和背景区域，确定第一预览图像中的背景区域；将第一预览图像中的背景区域虚化处理，生成照片。

可见，移动终端1200，由于第一前景特征平面和第一背景特征平面用于生成经过背景虚化处理后的第二预览图像，因此，通过对第一特征平面、第一前景特征平面和第一背景特征平面一起进行第二解码处理，输出第二前景特征平面和第二背景特征平面，并基于第二前景特征平面和第二背景特征平面，生成经过背景虚化处理的照片，使得照片和实时的第二预览图像的背景虚化效果一致，提升用户体验；此外，通过根据第一预览图像中的人脸区域的第一包围框，调整第一预览图像的人体通道中的人脸区域的第二包围框，可标定出准确的人体区域，以便在虚化时可确定准确的背景区域；通过多尺寸卷积处理，可有效增强了全局上下文分析能力；在虚化步骤中，通过对坐标的放大变换，可得到平滑的人体区域的轮廓，从而较准确地反映人体轮廓，有利于在照片和实时预览图像中均实现较好的背景虚化效果。

本领域普通技术人员可以意识到，结合本发明实施例中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (16)

1.一种图像背景虚化方法，其特征在于，包括：

获取第一预览图像；

若所述第一预览图像中具有人体区域，则对所述第一预览图像依次进行第一编码和第一解码处理，输出第一前景特征平面和第一背景特征平面；

根据所述第一前景特征平面和所述第一背景特征平面，对所述第一预览图像进行背景虚化处理，生成第二预览图像；

对所述第一预览图像进行第二编码处理，输出至少一个第一特征平面；

对所述第一特征平面、所述第一前景特征平面和所述第一背景特征平面进行第二解码处理，输出第二前景特征平面和第二背景特征平面；

根据所述第二前景特征平面和所述第二背景特征平面，对所述第一预览图像进行背景虚化处理，生成照片；

其中，所述第一前景特征平面和所述第二前景特征平面均用于表征人体区域的置信度，所述第一背景特征平面和所述第二背景特征平面均用于表征背景区域的置信度，所述背景区域为所述人体区域以外的区域。

2.根据权利要求1所述的方法，其特征在于，所述对所述第一预览图像依次进行第一编码和第一解码处理，输出第一前景特征平面和第一背景特征平面的步骤之前，所述方法还包括：

若所述第一预览图像中具有人体区域，则获取所述第一预览图像中的人脸区域的第一包围框；

获取所述第一预览图像的人体通道中的人脸区域的第二包围框；

根据所述第一包围框和所述第二包围框的位置及尺寸的关系，变换所述人体通道的位置和尺寸；

根据变换后的所述人体通道的位置和尺寸，标定所述第一预览图像中的人体区域。

3.根据权利要求2所述的方法，其特征在于，所述对所述第一预览图像依次进行第一编码和第一解码处理，输出第一前景特征平面和第一背景特征平面的步骤，包括：

将第一预览图像从第一尺寸变换到第二尺寸，得到第一中间图像；

根据所述第一尺寸和所述第二尺寸的比例关系、以及标定的所述第一预览图像中的人体区域，确定对应的所述第一中间图像的人体区域；

对所述第一中间图像进行第一编码处理，输出至少一个第二特征平面；

将所述第二特征平面进行多尺寸卷积处理，输出多个第三特征平面；

基于确定的所述第一中间图像的人体区域，对所述第二特征平面和所述第三特征平面进行第一解码处理，输出所述第一前景特征平面和所述第一背景特征平面。

4.根据权利要求3所述的方法，其特征在于，所述将所述第二特征平面进行多尺寸卷积处理，输出多个第三特征平面的步骤，包括：

采用线性采样层对所述第二特征平面进行缩放处理，将所述第二特征平面从第二尺寸分别变换到多个第三尺寸，输出对应每一第三尺寸的第四特征平面；

采用卷积层对所述第四特征平面进行卷积处理，输出第五特征平面；

采用线性采样层对所述第五特征平面进行缩放处理，将所述第五特征平面从第三尺寸变换到第二尺寸，输出所述第三特征平面。

5.根据权利要求3所述的方法，其特征在于，所述根据所述第一前景特征平面和所述第一背景特征平面，对所述第一预览图像进行背景虚化处理，生成第二预览图像的步骤，包括：

根据所述第一前景特征平面和所述第一背景特征平面，生成第一二值图像，其中，所述第一二值图像中具有人体区域和背景区域，所述第一二值图像中的人体区域和背景区域分别具有不同的灰度，所述第一二值图像的尺寸为第二尺寸；

对所述第一二值图像依次进行高斯模糊处理和二值化处理，确定所述第一二值图像中的人体区域；

获取所述第一二值图像中的人体区域的轮廓的像素点的第一坐标；

根据所述第二尺寸和所述第一尺寸之间的比例，将所述第一坐标变换为第二坐标；

根据所述第二坐标，在第一灰度图像中绘制轮廓，形成所述第一灰度图像中的人体区域和背景区域，其中，所述第一灰度图像的尺寸为第一尺寸，所述第一灰度图像中的人体区域和背景区域分别具有不同的灰度；

根据所述第一灰度图像的人体区域和背景区域，确定所述第一预览图像中的背景区域；

将所述第一预览图像中的背景区域虚化处理，生成所述第二预览图像。

6.根据权利要求3所述的方法，其特征在于，所述对所述第一预览图像进行第二编码处理，输出至少一个第一特征平面的步骤，包括：

将第一预览图像从第一尺寸变换到第四尺寸，得到第二中间图像；

对所述第二中间图像进行第二编码处理，输出至少一个所述第一特征平面；

所述对所述第一特征平面、所述第一前景特征平面和所述第一背景特征平面进行第二解码处理，输出第二前景特征平面和第二背景特征平面的步骤之前，所述方法还包括：

将所述第一前景特征平面和所述第一背景特征平面从第二尺寸变换到所述第四尺寸。

7.根据权利要求6所述的方法，其特征在于，所述根据所述第二前景特征平面和所述第二背景特征平面，对所述第一预览图像进行背景虚化处理，生成一帧照片的步骤，包括：

根据所述第二前景特征平面和所述第二背景特征平面，生成第二二值图像，其中，所述第二二值图像中具有人体区域和背景区域，所述第二二值图像中的人体区域和背景区域分别具有不同的灰度，所述第二二值图像的尺寸为第四尺寸；

对所述第二二值图像依次进行高斯模糊处理和二值化处理，确定所述第二二值图像中的人体区域；

获取所述第二二值图像中的人体区域的轮廓的像素点的第三坐标；

根据所述第四尺寸和所述第一尺寸之间的比例，将所述第三坐标变换为第四坐标；

根据所述第四坐标，在第二灰度图像中绘制轮廓，形成所述第二灰度图像中的人体区域和背景区域，其中，所述第二灰度图像的尺寸为第一尺寸，所述第二灰度图像中的人体区域和背景区域分别具有不同的灰度；

根据所述第二灰度图像的人体区域和背景区域，确定所述第一预览图像中的背景区域；

将所述第一预览图像中的背景区域虚化处理，生成所述照片。

8.一种移动终端，其特征在于，包括：

第一获取模块，用于获取第一预览图像；

第一输出模块，用于若所述第一预览图像中具有人体区域，则对所述第一预览图像依次进行第一编码和第一解码处理，输出第一前景特征平面和第一背景特征平面；

第一生成模块，用于根据所述第一前景特征平面和所述第一背景特征平面，对所述第一预览图像进行背景虚化处理，生成第二预览图像；

第二输出模块，用于对所述第一预览图像进行第二编码处理，输出至少一个第一特征平面；

第三输出模块，用于对所述第一特征平面、所述第一前景特征平面和所述第一背景特征平面进行第二解码处理，输出第二前景特征平面和第二背景特征平面；

第二生成模块，用于根据所述第二前景特征平面和所述第二背景特征平面，对所述第一预览图像进行背景虚化处理，生成照片；

其中，所述第一前景特征平面和所述第二前景特征平面均用于表征人体区域的置信度，所述第一背景特征平面和所述第二背景特征平面均用于表征背景区域的置信度，所述背景区域为所述人体区域以外的区域。

9.根据权利要求8所述的移动终端，其特征在于，还包括：

第二获取模块，用于所述对所述第一预览图像依次进行第一编码和第一解码处理，输出第一前景特征平面和第一背景特征平面的步骤之前，若所述第一预览图像中具有人体区域，则获取所述第一预览图像中的人脸区域的第一包围框；

第三获取模块，用于获取所述第一预览图像的人体通道中的人脸区域的第二包围框；

第一变换模块，用于根据所述第一包围框和所述第二包围框的位置及尺寸的关系，变换所述人体通道的位置和尺寸；

标定模块，用于根据变换后的所述人体通道的位置和尺寸，标定所述第一预览图像中的人体区域。

10.根据权利要求9所述的移动终端，其特征在于，所述第一输出模块包括：

第一变换子模块，用于将第一预览图像从第一尺寸变换到第二尺寸，得到第一中间图像；

第一确定子模块，用于根据所述第一尺寸和所述第二尺寸的比例关系、以及标定的所述第一预览图像中的人体区域，确定对应的所述第一中间图像的人体区域；

第一输出子模块，用于对所述第一中间图像进行第一编码处理，输出至少一个第二特征平面；

第二输出子模块，用于将所述第二特征平面进行多尺寸卷积处理，输出多个第三特征平面；

第三输出子模块，用于基于确定的所述第一中间图像的人体区域，对所述第二特征平面和所述第三特征平面进行第一解码处理，输出所述第一前景特征平面和所述第一背景特征平面。

11.根据权利要求10所述的移动终端，其特征在于，所述第二输出子模块包括：

第一输出单元，用于采用线性采样层对所述第二特征平面进行缩放处理，将所述第二特征平面从第二尺寸分别变换到多个第三尺寸，输出对应每一第三尺寸的第四特征平面；

第二输出单元，用于采用卷积层对所述第四特征平面进行卷积处理，输出第五特征平面；

第三输出单元，用于采用线性采样层对所述第五特征平面进行缩放处理，将所述第五特征平面从第三尺寸变换到第二尺寸，输出所述第三特征平面。

12.根据权利要求10所述的移动终端，其特征在于，所述第一生成模块包括：

第一生成子模块，用于根据所述第一前景特征平面和所述第一背景特征平面，生成第一二值图像，其中，所述第一二值图像中具有人体区域和背景区域，所述第一二值图像中的人体区域和背景区域分别具有不同的灰度，所述第一二值图像的尺寸为第二尺寸；

第二确定子模块，用于对所述第一二值图像依次进行高斯模糊处理和二值化处理，确定所述第一二值图像中的人体区域；

第一获取子模块，用于获取所述第一二值图像中的人体区域的轮廓的像素点的第一坐标；

第二变换子模块，用于根据所述第二尺寸和所述第一尺寸之间的比例，将所述第一坐标变换为第二坐标；

第一绘制子模块，用于根据所述第二坐标，在第一灰度图像中绘制轮廓，形成所述第一灰度图像中的人体区域和背景区域，其中，所述第一灰度图像的尺寸为第一尺寸，所述第一灰度图像中的人体区域和背景区域分别具有不同的灰度；

第三确定子模块，用于根据所述第一灰度图像的人体区域和背景区域，确定所述第一预览图像中的背景区域；

第二生成子模块，用于将所述第一预览图像中的背景区域虚化处理，生成所述第二预览图像。

13.根据权利要求10所述的移动终端，其特征在于，所述第二输出模块包括：

第三变换子模块，用于将第一预览图像从第一尺寸变换到第四尺寸，得到第二中间图像；

第四输出子模块，用于对所述第二中间图像进行第二编码处理，输出至少一个所述第一特征平面；

所述移动终端还包括：

第二变换模块，用于所述对所述第一特征平面、所述第一前景特征平面和所述第一背景特征平面进行第二解码处理，输出第二前景特征平面和第二背景特征平面的步骤之前，将所述第一前景特征平面和所述第一背景特征平面从第二尺寸变换到所述第四尺寸。

14.根据权利要求13所述的移动终端，其特征在于，所述第二生成模块包括：

第三生成子模块，用于根据所述第二前景特征平面和所述第二背景特征平面，生成第二二值图像，其中，所述第二二值图像中具有人体区域和背景区域，所述第二二值图像中的人体区域和背景区域分别具有不同的灰度，所述第二二值图像的尺寸为第四尺寸；

第四确定子模块，用于对所述第二二值图像依次进行高斯模糊处理和二值化处理，确定所述第二二值图像中的人体区域；

第二获取子模块，用于获取所述第二二值图像中的人体区域的轮廓的像素点的第三坐标；

第四变换子模块，用于根据所述第四尺寸和所述第一尺寸之间的比例，将所述第三坐标变换为第四坐标；

第二绘制子模块，用于根据所述第四坐标，在第二灰度图像中绘制轮廓，形成所述第二灰度图像中的人体区域和背景区域，其中，所述第二灰度图像的尺寸为第一尺寸，所述第二灰度图像中的人体区域和背景区域分别具有不同的灰度；

第五确定子模块，用于根据所述第二灰度图像的人体区域和背景区域，确定所述第一预览图像中的背景区域；

第四生成子模块，用于将所述第一预览图像中的背景区域虚化处理，生成所述照片。

15.一种移动终端，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的图像背景虚化方法的步骤。

16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的图像背景虚化方法的步骤。