CN115409916A - 三分图制作方法、三分图制作装置及存储介质 - Google Patents

Abstract

本公开是关于一种三分图制作方法、三分图制作装置及存储介质。其中，制作方法包括：获取待制作三分图的原始图像，所述原始图像中至少包括有人像虚化处理后的人像遮罩、人脸框和前景区域遮罩；根据所述人像遮罩、所述人脸框和所述前景区域遮罩得到初始三分图，所述初始三分图中包括头部区域三分图以及非头部区域三分图；基于所述头部区域三分图中的未知区域，进行区域分割，根据分割后每个分割区域内未知区域的复杂度，更新所述头部区域三分图中的未知区域，得到更新后的头部区域三分图；合并所述非头部区域三分图以及所述更新后的头部区域三分图，得到所述原始图像的最终三分图。通过本公开可以合理的确定未知区域的范围提高制作三分图的精确度。

Description

三分图制作方法、三分图制作装置及存储介质

技术领域

本公开涉及多媒体技术，尤其涉及一种三分图制作方法、三分图制作装置及存储介质。

背景技术

图像抠图(Image Matting)可以从图像或者视频中提取前景物体，实现前景和背景的精确分离，是数字图像编辑、数字图像合成技术的基础。在图像抠图时需要输入一张原始图像和一张与之对应的三分图(trimap)，三分图是将原始图像划分为需要保留的前景、待抠除的背景和待求未知区域的图像。

在相关技术中，三分图的制作方式分为两类，一类是人工制作，需要人工标注配合形态学处理得到，存在耗时较长，交互操作难的问题，另一类是通过算法运算生成。但是，不论是人工制作生成还是算法运算生成都存在待求未知区域范围不合理导致三分图的制作效果不理想的问题。

发明内容

为克服相关技术中存在的问题，本公开提供一种三分图制作方法、三分图制作装置及存储介质。

根据本公开实施例的第一方面，提供一种三分图制作方法，包括：

获取待制作三分图的原始图像，所述原始图像中至少包括有人像虚化处理后的人像遮罩、人脸框和前景区域遮罩；根据所述人像遮罩、所述人脸框和所述前景区域遮罩，得到初始三分图，所述初始三分图中包括头部区域三分图以及非头部区域三分图；基于所述头部区域三分图中的未知区域，进行区域分割，根据分割后每个分割区域内未知区域的复杂度，更新所述头部区域三分图中的未知区域，得到更新后的头部区域三分图；合并所述非头部区域三分图以及所述更新后的头部区域三分图，得到所述原始图像的最终三分图。

在一种实施方式中，根据所述人像遮罩、所述人脸框和所述前景区域遮罩，得到初始三分图，包括：

根据所述人脸框，将所述原始图像划分为头部区域和非头部区域；对所述前景区域遮罩进行形态学处理，得到第一三分图，并提取所述第一三分图中的非头部区域三分图；基于所述人像遮罩的像素灰度值以及像素灰度值阈值，得到第二三分图，并提取所述第二三分图中的头部区域三分图；合并所述第一三分图中的非头部区域三分图，以及所述第二三分图中的头部区域三分图，得到初始三分图。

在一种实施方式中，基于所述人像遮罩的像素灰度值以及像素灰度值阈值，得到第二三分图，包括：

将所述人像遮罩中像素点的灰度值大于或等于第一像素灰度值阈值的像素点，确定为人像遮罩前景区域；将所述人像遮罩中像素点的灰度值小于第二像素灰度值阈值的像素点，确定为人像遮罩背景区域；将所述人像遮罩中除所述人像遮罩前景区域和所述人像遮罩背景区域以外的像素点，确定为人像遮罩未知区域；合并所述人像遮罩前景区域、所述人像遮罩背景区域以及所述人像遮罩未知区域，得到第二三分图。

在一种实施方式中，根据所述人脸框，将所述原始图像划分为头部区域和非头部区域，包括：

以所述人脸框的中心像素点为中心，将所述人脸框放大设定倍数，得到放大后人脸框；将原始图像中位于所述放大后人脸框内的区域，确定为头部区域，并将所述原始图像中位于所述放大后人脸框外的区域，确定为非头部区域。

在一种实施方式中，基于所述头部区域三分图中的未知区域，进行区域分割，包括：

将所述头部区域三分图中的原始未知区域，作为第一感兴趣区域；对所述第一感兴趣区域进行形态学膨胀处理，得到第二感兴趣区域；基于所述放大后人脸框内的区域确定待分割区域，并对所述待分割区域进行区域分割，得到多个分割区域，所述多个分割区域中的每一分割区域中均包括有未知区域，且位于所述分割区域内的未知区域包括所述第一感兴趣区域的部分区域，以及所述第二感兴趣区域的部分区域。

在一种实施方式中，所述确定待分割区域，包括：

以所述人脸框的中心像素点为参考位置，对所述人像遮罩进行水平分割，并确定水平分割后每一区域中包括的人像遮罩灰度值；以所述人脸框的中心像素点为参考位置，对所述人像遮罩进行竖直分割，并确定竖直分割后每一区域中包括的人像遮罩灰度值；统计各区域内，人像遮罩灰度值大于第三像素灰度值阈值的像素点数量，并将像素点数量最多的区域确定为身体区域；确定所述人像遮罩中除所述身体区域以外的其他区域，并将所述其他区域中位于所述放大后人脸框内的区域，确定为待分割区域。

在一种实施方式中，对所述待分割区域进行区域分割，包括：

延长人脸框的边至放大后人脸框的边，以将所述待分割的头部区域划分为多个分割区域，其中，划分后的所述多个分割区域中包括第一类分割区域和第二类分割区域，所述第一类分割区域为延长边与放大后人脸框的边组成的区域，所述第二类分割区域为人脸框的边、延长边与放大后人脸框的边组成的区域；对所述第一类分割区域，采用具有与所述延长边呈设定角度的直线进行分割，对所述第二类分割区域采用垂直于所述人脸框的边的直线进行分割。

在一种实施方式中，根据分割后每个分割区域内未知区域的复杂度，更新所述头部区域三分图中的未知区域，包括：

针对所述多个分割区域中的每一分割区域，分别采用如下方式更新每一分割区域内头部区域三分图中的未知区域：确定第二感兴趣区域内的颜色顶点数，并将所述颜色顶点数确定为分割区域内未知区域的复杂度；若分割区域内未知区域的复杂度小于或等于复杂度阈值，则维持位于所述分割区域内的未知区域大小不变；若分割区域内未知区域的复杂度大于复杂度阈值，则将位于所述分割区域内的未知区域缩小至所述前景区域外的设定像素宽度。

在一种实施方式中，所述根据所述人像遮罩、所述人脸框和所述前景区域遮罩，得到初始三分图之前，所述三分图制作方法还包括：

确定人像虚化处理后的人像处于前景区域。

在一种实施方式中，所述确定人像虚化处理后的人像处于前景区域，包括：

以所述人脸框的中心像素点为中心，构建具有设定半径的窗口区域；若所述窗口区域内存在大于第一像素数量阈值的像素点位于前景区域，且所述人像遮罩在所述窗口区域内像素灰度值大于第四像素灰度阈值的像素点数量大于第二像素数量阈值，则确定人像虚化处理后的人像处于前景区域。

根据本公开实施例的第二方面，提供一种三分图制作装置，包括：

获取模块，用于获取待制作三分图的原始图像，所述原始图像中至少包括有人像虚化处理后的人像遮罩、人脸框和前景区域遮罩；

处理模块，用于根据所述人像遮罩、所述人脸框和所述前景区域遮罩，得到初始三分图，所述初始三分图中包括头部区域三分图以及非头部区域三分图，基于所述头部区域三分图中的未知区域，进行区域分割，根据分割后每个分割区域内未知区域的复杂度，更新所述头部区域三分图中的未知区域，得到更新后的头部区域三分图，并合并所述非头部区域三分图以及所述更新后的头部区域三分图，得到所述原始图像的最终三分图。

在一种实施方式中，所述处理模块，用于：

根据所述人脸框，将所述原始图像划分为头部区域和非头部区域；对所述前景区域遮罩进行形态学处理，得到第一三分图，并提取所述第一三分图中的非头部区域三分图；基于所述人像遮罩的像素灰度值以及像素灰度值阈值，得到第二三分图，并提取所述第二三分图中的头部区域三分图；合并所述第一三分图中的非头部区域三分图，以及所述第二三分图中的头部区域三分图，得到初始三分图。

在一种实施方式中，所述处理模块，用于：

将所述人像遮罩中像素点的灰度值大于或等于第一像素灰度值阈值的像素点，确定为人像遮罩前景区域；将所述人像遮罩中像素点的灰度值小于第二像素灰度值阈值的像素点，确定为人像遮罩背景区域；将所述人像遮罩中除所述人像遮罩前景区域和所述人像遮罩背景区域以外的像素点，确定为人像遮罩未知区域；合并所述人像遮罩前景区域、所述人像遮罩背景区域以及所述人像遮罩未知区域，得到第二三分图。

在一种实施方式中，所述处理模块，用于：

以所述人脸框的中心像素点为中心，将所述人脸框放大设定倍数，得到放大后人脸框；区域确定单元，用于将原始图像中位于所述放大后人脸框内的区域，确定为头部区域，并将所述原始图像中位于所述放大后人脸框外的区域，确定为非头部区域。

在一种实施方式中，所述处理模块，用于：

将所述头部区域三分图中的原始未知区域，作为第一感兴趣区域；对所述第一感兴趣区域进行形态学膨胀处理，得到第二感兴趣区域；基于所述放大后人脸框内的区域确定待分割区域，并对所述待分割区域进行区域分割，得到多个分割区域，所述多个分割区域中的每一分割区域中均包括有未知区域，且位于所述分割区域内的未知区域包括所述第一感兴趣区域的部分区域，以及所述第二感兴趣区域的部分区域。

在一种实施方式中，所述处理模块，用于：

以所述人脸框的中心像素点为参考位置，对所述人像遮罩进行水平分割，并确定水平分割后每一区域中包括的人像遮罩灰度值；以所述人脸框的中心像素点为参考位置，对所述人像遮罩进行竖直分割，并确定竖直分割后每一区域中包括的人像遮罩灰度值；统计各区域内，人像遮罩灰度值大于第三像素灰度值阈值的像素点数量，并将像素点数量最多的区域确定为身体区域；确定所述人像遮罩中除所述身体区域以外的其他区域，并将所述其他区域中位于所述放大后人脸框内的区域，确定为待分割区域。

在一种实施方式中，所述处理模块，用于：

延长人脸框的边至放大后人脸框的边，以将所述待分割的头部区域划分为多个分割区域，其中，划分后的所述多个分割区域中包括第一类分割区域和第二类分割区域，所述第一类分割区域为延长边与放大后人脸框的边组成的区域，所述第二类分割区域为人脸框的边、延长边与放大后人脸框的边组成的区域；对所述第一类分割区域，采用具有与所述延长边呈设定角度的直线进行分割，对所述第二类分割区域采用垂直于所述人脸框的边的直线进行分割。

在一种实施方式中，所述处理模块，用于：

针对所述多个分割区域中的每一分割区域，分别采用如下方式更新每一分割区域内头部区域三分图中的未知区域：确定第二感兴趣区域内的颜色顶点数，并基于所述颜色顶点数，确定分割区域内未知区域的复杂度；若分割区域内未知区域的复杂度小于或等于复杂度阈值，则维持位于所述分割区域内的未知区域大小不变；若分割区域内未知区域的复杂度大于复杂度阈值，则将位于所述分割区域内的未知区域缩小至所述前景区域外的设定像素宽度。

在一种实施方式中，所述三分图制作装置还包括：

人像位置确定模块，用于在处理模块进行根据所述人像遮罩、所述人脸框和所述前景区域遮罩得到初始三分图之前，确定人像虚化处理后的人像处于前景区域。

在一种实施方式中，所述人像位置确定模块，用于：

以所述人脸框的中心像素点为中心，构建具有设定半径的窗口区域；若所述窗口区域内存在大于第一像素数量阈值的像素点位于前景区域，且所述人像遮罩在所述窗口区域内像素灰度值大于第四像素灰度阈值的像素点数量大于第二像素数量阈值，则确定人像虚化处理后的人像处于前景区域。

根据本公开实施例的第三方面，提供一种三分图制作装置，包括：

处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行第一方面或第一方面中任意一种实施方式中所述的三分图制作方法。

根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行第一方面或第一方面中任意一种实施方式中所述的三分图制作方法。

本公开的实施例提供的技术方案可以包括以下有益效果：基于头部区域三分图中的未知区域，进行区域分割，根据分割后每个分割区域内未知区域的复杂度，更新所述头部区域三分图的未知区域，可以合理的确定未知区域范围的大小，从而提供制作三分图的准确度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种三分图制作方法的流程图。

图2是本公开实施例示出的原始图像利用人像虚拟算法得到计算结果的示意图；

图3是根据一示例性实施例示出的一种三分图制作方法的流程图；

图4是根据一示例性实施例示出的一种三分图制作方法的流程图；

图5是根据一示例性实施例示出的原始图像划分后的示意图；

图6是根据一示例性实施例示出的第一三分图的示意图；

图7是根据一示例性实施例示出的一种三分图制作方法的流程图；

图8是根据一示例性实施例示出的第二三分图的示意图；

图9是根据一示例性实施例示出的初始三分图的示意图；

图10是根据一示例性实施例示出的一种区域分割的流程图；

图11是根据一示例性实施例示出的一种区域分割的流程图；

图12是根据一示例性实施例示出的一种区域分割的流程图；

图13是本公开实施例示出的待分割区域示意图；

图14是本公开实施例示出的待分割区域被分割后的示意图；

图15是根据一示例性实施例示出的一种三分图制作方法的流程图；

图16是根据一示例性实施例示出的一种三分图制作方法的流程图；

图17是根据一示例性实施例示出的一种三分图制作方法的流程图；

图18是本公开实施例示出的相关技术制作的三分图的示意图；

图19是本公开实施例示出的本公开制作的三分图的示意图；

图20是本公开实施例示出的第一原始图像的示意图；

图21是本公开实施例示出的利用相关技术得到第一原始图像的三分图透明遮罩的示意图；

图22是本公开实施例示出的利用本公开得到第一原始图像的三分图透明遮罩的示意图；

图23是本公开实施例示出的第二原始图像的示意图；

图24是本公开实施例示出的利用相关技术得到第二原始图像的三分图透明遮罩的示意图；

图25是本公开实施例示出的利用本公开得到第二原始图像的三分图透明遮罩的示意图；

图26是根据一示例性实施例示出的一种三分图制作装置框图；

图27是根据一示例性实施例示出的一种用于制作三分图装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在影视行业中为了提高画面的呈现效果，以及满足影视作品的艺术需求，需要采用图像处理技术对图像或视频进行处理。该过程采用图像抠图中的色度键抠图方法从图像或视频中精确提取前景物体，获得高精度的透明遮罩(alpha matte)，使前景和背景的精确分离，然后进行为前景更换背景，突出前景弱化背景等操作，从而提高画面的呈现效果，同时满足影视作品的艺术需求。

为了提高终端的拍照效果，尤其是在人像模式下突出人像的效果，需要通过图像抠图技术为人像提供透明遮罩。但影视行业中的色度键抠图要求大量人力物力搭建一个纯色的场景作为背景，该要求在实际生活中并不常见，因此色度键抠图方法并不能应用在终端上为用户在人像模式下的拍照提供服务。为了实现自然场景下的高精度抠图，相关技术提出了自然图像抠图(natural image matting)，目前，自然图像抠图方法主要分为三类：基于最优像素对的抠图算法、基于深度学习的抠图算法和基于传播的抠图算法。基于最优像素对的抠图算法将透明遮罩估计问题转变成为每一个未知像素点寻找一对最优的前景像素点和背景像素点。基于深度学习的抠图算法是通过大量训练数据去学习抠图算法的过程，从而实现透明遮罩的估计。基于传播的抠图算法是利用相邻像素的相似性，将alpha值从已知像素区域传播到未知像素区域，从而得到所有的透明遮罩估计。

但自然场景下图像颜色信息非常丰富，为了提高图像抠图的精度和效果，需要为每一张图像提供先验信息，如果缺失对图像的先验信息，会导致抠图的难度大大增加。因此，在图像抠图过程中不仅需要输入一张原始图像还需要一张与之对应的三分图(trimap)作为先验信息，三分图是将彩色图像划分为需要保留的前景、待抠除的背景和待求未知区域的图像。本公开实施例中的原始图像可以是彩色图像(rgb)。

目前三分图的制作方式有两类，一类是人工制作，需要人工标注配合形态学处理得到，存在耗时较长，交互操作难的问题，不适合实时、自动化的应用场景，另一类是通过算法运算生成，主要通过提取图像中的信息(图像分割、目标检测等等)，利用这些信息作为先验，挑选出前景和背景，并在前景和背景交界处使用形态学方法来获得未知区域，从而自动生成三分图。但是通过算法运算生成的方法非常依赖先验信息的准确性，并且通过形态学的方法获取的未知区域不够精细。通常会因为未知区域太小导致前景和背景混乱，丢失较多细节；未知区域太大，抠图算法的错误估计和性能急剧增加等问题。

本公开针对相关技术中对未知区域划分不准确的缺陷，提供了一种三分图制作方法，在制作方法中根据人像虚化处理后的人像遮罩、人脸框和前景区域遮罩得到初始三分图，在初始三分图中包括头部区域三分图以及非头部区域三分图；然后基于头部区域三分图中的未知区域，进行区域分割，根据分割后每个分割区域内未知区域的复杂度，更新头部区域三分图中的未知区域，得到更新后的头部区域三分图；更新过程可以合理的确定未知区域的范围，不仅克服了未知区域太小导致的前景和背景混乱现象，保留更多原始图像的细节；而且还解决了未知区域太大导致的抠图算法的错误估计和性能急剧增加等问题，最后合并非头部区域三分图以及更新后的头部区域三分图，得到原始图像的最终三分图，基于最终三分图进行图像抠图提高了图像抠图效果。

本公开涉及的三分图制作方法在使用人像虚化拍照时能够在自然场景中实时的制作出精细三分图，不仅能够保持图像抠图算法的效果，同时也大大推广了图像抠图算法的应用范围。

本公开涉及的三分图的制作方法适用于利用人像虚化算法进行处理的任何场景，例如图像融合、自动前景提取、视频合成和电影制作以及终端中的相机。

图1是根据一示例性实施例示出的一种三分图制作方法的流程图，如图1所示，三分图制作方法用于终端中，包括以下步骤。

在步骤S11中，获取待制作三分图的原始图像。

在本公开实施例中，待制作三分图的原始图像中至少包括有人像虚化处理后的人像遮罩、人脸框和前景区域遮罩。

图2是本公开实施例示出的利用人像虚拟算法得到计算结果的示意图。如图2所示，终端运行在人像模式下时，实时对获取到的原始图像根据人像虚化算法进行计算，得到人像遮罩(人像mask)、人脸框和深度图，本公开实施例中的原始图像是清晰图像。然后对深度图通过对焦点的深度计算(进行二值化处理)得到清晰区域(Depth of Field，dof)，根据dof生成前景区域遮罩(dof mask)；最终获得清晰图像的人像mask、人脸框和dof mask。例如在手机相机中，当手机在人像模式下拍照时，默认对焦到人体身上，所以人体属于dof区域，首先相机中会得到清晰图像，利用人像虚化算法计算出dof区域、人像mask和人脸框，对dof区域进行二值化处理得到dof mask。

在步骤S12中，根据人像遮罩、人脸框和前景区域遮罩，得到初始三分图。

在本公开实施例中，根据人像遮罩、人脸框和前景区域遮罩得到的初始三分图中包括头部区域三分图以及非头部区域三分图。

下面实施例将结合附图对根据人像遮罩、人脸框和前景区域遮罩，得到初始三分图的实施过程进行说明。

在本公开实施例中，图3是根据一示例性实施例示出的一种三分图制作方法的流程图，如图3所示，根据人像遮罩、人脸框和前景区域遮罩，得到初始三分图，包括以下步骤。

在步骤S21中，根据人脸框将原始图像划分为头部区域和非头部区域。

图4是根据一示例性实施例示出的一种三分图制作方法的流程图，如图4所示，根据人脸框将原始图像划分为头部区域和非头部区域，包括以下步骤。

在步骤S41中，以人脸框的中心像素点为中心，将人脸框放大设定倍数，得到放大后人脸框。

在步骤S42中，将原始图像中位于放大后人脸框内的区域，确定为头部区域，并将待制作三分图的原始图像中位于放大后人脸框外的区域，确定为非头部区域。

在本公开实施例中，考虑到人体中头发区域的边界最为复杂，因此将待制作三分图的原始图像根据人脸框划分为头部区域和非头部区域，图5是根据一示例性实施例示出的原始图像划分后的示意图，如图5所示，利用人脸框的坐标以及长宽大小，计算出人脸框的中心像素点frect_center(xc,yc)，以frect_center为中心，将人脸框frect依比例(scale)倍数放大，得到放大后人脸框large_frect(xl,yl,wl,hl)。通过large_frect将图像分为两个区域，一部分属于large_frect里面，称为头部区域；另一部分不在large_frect里面，称为非头部区域。在本公开实施例中，scale设置为3，在实践中scale可以根据人脸大小进行设定，放大后的人脸框需要满足，头部区域包括头发区域。因为头发区域的边界复杂，确定头发区域的未知区域对抠图效果有很大影响，需要对头部区域进行精细化处理，以提高头部三分图的制作效果。

在步骤S22中，对前景区域遮罩进行形态学处理，得到第一三分图，并提取第一三分图中的非头部区域三分图。

在本公开实施例中，对前景区域遮罩dof mask按预设的腐蚀半径进行形态学腐蚀操作，得到腐蚀后的前景区域遮罩erode_dof_mask；在本公开实施例中，预设的腐蚀半径为width_e1个像素宽度，width_e1可以设置为5。

对前景区域遮罩dof mask按预设的膨胀半径进行形态学膨胀操作，得到膨胀后的前景区域遮罩dilate_dof_mask；在本公开实施例中，预设的膨胀半径为width_d1个像素宽度，width_d1可以设置为5。

图6是根据一示例性实施例示出的第一三分图的示意图，如图6所示，将erode_dof_mask和dilate_dof_mask进行合并操作，并保留像素灰度值相同的点的灰度值，将像素灰度值不同的点的灰度值设为设定的像素灰度值，得到第一三分图。在本公开实施例中，设定的像素灰度值为128。

提取在步骤S22中得到的第一三分图中的非头部区域三分图。

在步骤S23中，基于人像遮罩的像素灰度值以及像素灰度值阈值，得到第二三分图，并提取第二三分图中的头部区域三分图。

在本公开实施例中，由于人像mask中的灰度值是表示该像素点属于人体的概率，所以在人像mask中，人体边界处往往会存在由白到黑的过渡带。特别是在人体的头发丝区域，往往存在面积较大的过渡带。为了提高对人体头发丝区域的三分图制作效果，基于人像遮罩的像素灰度值以及像素灰度值阈值，得到第二三分图，并提取第二三分图中的头部区域三分图。

在本公开实施例中，图7是根据一示例性实施例示出的一种三分图制作方法的流程图，如图7所示，第二三分图的制作包括以下步骤。

在步骤S31中，将人像遮罩中像素点的灰度值大于或等于第一像素灰度值阈值的像素点，确定为人像遮罩前景区域；在本公开实施例中，第一像素灰度值阈值可以设置为220。

在步骤S32中，将人像遮罩中像素点的灰度值小于第二像素灰度值阈值的像素点，确定为人像遮罩背景区域；在本公开实施例中，第二像素灰度值阈值可以设置为10。

在步骤S33中，将人像遮罩中除人像遮罩前景区域和人像遮罩背景区域以外的像素点，确定为人像遮罩未知区域。

在步骤S34中，合并人像遮罩前景区域、人像遮罩背景区域以及人像遮罩未知区域，得到第二三分图。

在本公开实施例中，图8是根据一示例性实施例示出的第二三分图的示意图，如图8所示，第二三分图包括白色的人像遮罩前景区域，黑色的人像遮罩背景区域以及灰色的人像遮罩未知区域。

本公开实施例与相关技术中提供的一种实时身体分割系统相比，相关技术中首先对图像进行面部检测和身体检测，初步确定身体所在区域，利用腐蚀膨胀对身体区域的边界进行处理，得到三分图，最后利用抠图算法得到精细的身体区域。但相关技术中的该方案描述的面部检测和身体检测技术无法完全获得人体的全部信息，如头发、装饰等。并且仅通过腐蚀膨胀制作的三分图比较粗糙，容易产生未知区域太小，前景和背景混乱导致图像抠图算法效果差；以及未知区域太大，导致抠图算法性能急剧增加等问题。而本公开实施例基于人像遮罩的像素灰度值以及像素灰度值阈值进行阈值处理操作，为后续精细化处理头部区域的未知区域做铺垫。

在步骤S24中，合并第一三分图中的非头部区域三分图，以及第二三分图中的头部区域三分图，得到初始三分图。

在本公开实施例中，图9是根据一示例性实施例示出的初始三分图的示意图，如图9所示，合并第一三分图中的非头部区域三分图，以及第二三分图中的头部区域三分图，得到初始三分图。通过对初始三分图中头部区域进行精细化的处理，提高最终三分图制作的精确度。

在步骤S13中，基于头部区域三分图中的未知区域，进行区域分割，根据分割后每个分割区域内未知区域的复杂度，更新头部区域三分图中的未知区域，得到更新后的头部区域三分图。

在本公开实施例中，考虑到在自然场景在人物个体的头发差异明显，此时会导致头部区域内未知区域的大小差异显著。为了减少图像抠图算法的性能，减轻图像抠图算法在颜色混乱时因alpha错误估计带来的效果问题，本公开实施例对头部区域的未知区域进行精细化处理。

在本公开实施例中，图10是根据一示例性实施例示出的一种区域分割的流程图，如图10所示，基于头部区域三分图中的未知区域，进行区域分割，包括以下步骤。

在步骤S51中，将头部区域三分图中的原始未知区域，作为第一感兴趣区域(ROI1)。

在步骤S52中，对第一感兴趣区域进行形态学膨胀处理，得到第二感兴趣区域(ROI2)。

在步骤S53中，基于放大后人脸框内的区域确定待分割区域，并对待分割区域进行区域分割，得到多个分割区域，多个分割区域中的每一分割区域中均包括有未知区域，且位于分割区域内的未知区域包括第一感兴趣区域的部分区域，以及第二感兴趣区域的部分区域。

在本公开实施例中，根据自然图像中小邻域内的像素点具有相似性，通过第二感兴趣区域内颜色的复杂度表示第一感兴趣区域内头发丝所处的背景颜色是否简单，进而根据判断结果确定未知区域的范围。

在本公开实施例中，图11是根据一示例性实施例示出的一种区域分割的流程图，如图11所示，确定待分割区域，包括以下步骤。

在步骤S61中，以人脸框的中心像素点为参考位置，对人像遮罩进行水平分割，并确定水平分割后每一区域中包括的人像遮罩灰度值。

在步骤S62中，以人脸框的中心像素点为参考位置，对人像遮罩进行竖直分割，并确定竖直分割后每一区域中包括的人像遮罩灰度值。

在步骤S63中，统计各区域内，人像遮罩灰度值大于第三像素灰度值阈值的像素点数量，并将像素点数量最多的区域确定为身体区域。

在步骤S64中，确定人像遮罩中除身体区域以外的其他区域，并将其他区域中位于放大后人脸框内的区域，确定为待分割区域。

示例性的，在本公开实施例中，由于用户使用手机拍照时，手机的姿势无法预测，需要先判断人像mask中身体部分(不包含头部)的大致位置。以人脸框中的中心像素点frect_center为参考，水平的画一条直线，将图像分割成farea_Up和farea_Down两个区域；再以frect_center为参考，竖直的画一条直线，将图像分割为farea_Left和farea_Right两个区域。计算这四个区域中人像mask灰度值大于第三像素灰度值阈值的像素点个数，在本公开实施例中，第三像素灰度值阈值设置为220。其中将像素点个数最多区域的确定为身体部分所处的位置，标记为direction_body。确定人像遮罩中除身体区域以外的其他区域，并将其他区域中位于放大后人脸框内的区域，确定为待分割区域。

在本公开实施例中，图12是根据一示例性实施例示出的一种区域分割的流程图，如图12所示，对待分割区域进行区域分割，包括以下步骤。

在步骤S71中，延长人脸框的边至放大后人脸框的边，以将待分割的头部区域划分为多个分割区域。

在本公开实施例中，划分后的多个分割区域中包括第一类分割区域和第二类分割区域，第一类分割区域为延长边与放大后人脸框的边组成的区域，第二类分割区域为人脸框的边、延长边与放大后人脸框的边组成的区域；

在本公开实施例中，图13是本公开实施例示出的待分割区域示意图。如图13所示，将large_frect中，非前景区域的部分定义为待分割区域，延长人脸框的a边、b边和c边至放大后人脸框的边，得到的延长边d、e、f、g、h和i将待分割区域划分为如图13所示的五部分，其中编号为1和2的分割区域为第一类分割区域，编号为3、4和5的分割区域为第二分割区域，在图13中编号为1的分割区域包括延长边d、延长边e和放大后人脸框的边，编号为2的分割区域包括为延长边f、延长边g与放大后人脸框的边，编号为3的分割区域包括人脸框的b边、延长边e、延长边f和放大后人脸框的边，编号为4的分割区域包括人脸框的a边、延长边d、延长边h和放大后人脸框的边，编号为5的分割区域包括人脸框的c边、延长边g、延长边i和放大后人脸框的边。

在步骤S72中，对第一类分割区域，采用具有与延长边呈设定角度的直线进行分割，对第二类分割区域采用垂直于人脸框的边的直线进行分割。

示例性的，图14是本公开实施例示出的待分割区域被分割后的示意图。如图14所示，对待分割区域进行分割时为了保证相邻的第一感兴趣区域和第二感兴趣区域一一对应，同时为了使计算更为简单，本公开实施例对第一类分割区域采用具有与延长边呈设定角度的直线进行分割，如图14所示，对编号4和编号5的待分割区域采用水平的直线来进行分割，对编号3的待分割区域采用竖直的直线进行分割，在分割过程中每个分割后区域的宽度设置为width_seg，且每个分割后区域中的最后一个分割区域的宽度应当小于等于width_seg，本公开实施例width_seg设置为32。另外对编号1和编号2的第二类分割区域采用45°直线进行分割，直接分成两个分割区域。如图14所示，每个分割区域内都有第一感兴趣区域的部分区域和第二感兴趣区域的部分区域。

在本公开实施例中，图15是根据一示例性实施例示出的一种三分图制作方法的流程图，如图15所示，更新头部区域三分图中的未知区域，包括以下步骤。

在步骤S81中，针对多个分割区域中的每一分割区域，采用同样的方式分别更新每一分割区域内头部区域三分图中的未知区域。

在本公开实施例中，使用第二感兴趣区域内所有像素点颜色的复杂度来判断第一感兴趣区域内背景的复杂程度。如果每个分割区域内的复杂度小于复杂度阈值，则表示该分割区域内颜色简单，否则表示该分割区域内颜色复杂。本公开实施例中，复杂度阈值设置为3。

在步骤S82中，确定第二感兴趣区域内的颜色顶点数，并基于颜色顶点数，确定分割区域内未知区域的复杂度。

在本公开实施例中，对每个分割区域，计算第二感兴趣区域内每个像素点的颜色顶点，并统计颜色顶点数，基于颜色顶点数，确定分割区域内未知区域的复杂度。一种实施方式中，基于颜色顶点数确定分割区域内未知区域的复杂度，可以是基于颜顶点哈希值，确定分割区域内未知区域的复杂度。在本公开实施例中以YUV图像为例，颜色顶点采用哈希值表示，例如一个像素点的颜色为(y，u，v)，则其对应的颜色顶点哈希值为index＝((y>>a)<<8)+((u>>a)<<4)+(v>>a)，在本公开实施例中，a设置为4；统计出每个分割区域内的颜色顶点哈希值的个数，将颜色顶点哈希值个数作为该分割区域内的复杂度。

在步骤S83中，若分割区域内未知区域的复杂度小于或等于复杂度阈值，则维持位于分割区域内的未知区域大小不变。

在步骤S84中，若分割区域内未知区域的复杂度大于复杂度阈值，则将位于分割区域内的未知区域缩小至前景区域外的设定像素宽度。

本公开实施例中，如果分割区域内颜色简单，则推断出该分割区域内第一感兴趣区域内的背景复杂程度低，保留此未知区域可以获得较大收益。如果分割区域内颜色复杂，则推断出该分割区域内第一感兴趣区域内的背景复杂程度高，为了减少图像抠图算法的错误估计，同时降低算法计算时间，将未知区域缩小至前景区域外的设定像素宽度，在本公开实施例中缩小到前景区域外5个像素宽度的位置。

本公开实施例中，通过区域分割降低了计算复杂度的计算量，且将分割区域内未知区域的复杂度与复杂度阈值进行比较，能快速的确定未知区域的范围。经过试验证明，利用本公开制作三分图所消耗的时间约为30ms左右，优于利用相关技术制作三分图所消耗的时间。

在步骤S14中，合并非头部区域三分图以及更新后的头部区域三分图，得到待制作三分图的原始图像的最终三分图。

在本公开实施例中，通过对初始三分图中的头部区域进行精细化处理，使最终制作的三分图中头发以及头饰等头部细节的三分图效果更优。

本公开实施例中，图16是根据一示例性实施例示出的一种三分图制作方法的流程图，如图16所示，在根据人像遮罩、人脸框和前景区域遮罩，得到初始三分图之前，三分图制作方法还包括：

在步骤S91中，确定人像虚化处理后的人像处于前景区域。

在本公开实施例中，在根据人像遮罩、人脸框和前景区域遮罩，得到初始三分图之前，确定人像虚化处理后的人像处于前景区域。在本公开实施例中确定的目的是为了保证抠图算法运算过程中的准确率。

在本公开实施例中，图17是根据一示例性实施例示出的一种三分图制作方法的流程图，如图17所示，确定人像虚化处理后的人像处于前景区域，包括以下步骤。

在步骤S101中，以人脸框的中心像素点为中心，构建具有设定半径的窗口区域。

在步骤S102中，若窗口区域内存在大于第一像素数量阈值的像素点位于前景区域，且人像遮罩在窗口区域内像素灰度值大于第四像素灰度阈值的像素点数量大于第二像素数量阈值，则确定人像虚化处理后的人像处于前景区域。

示例性的，在本公开实施例中，确定人像虚化处理后的人像处于前景区域的过程为：首先以中心像素点frect_center为中心选择设定半径的窗口区域，接着判断该窗口区域内的像素是否位于dof区域，若存在3/4的像素点位于dof区域，则判断为真；然后统计人像mask在窗口区域的像素灰度值>＝200的数量，若数量超过该窗口区域内所有像素点的3/4，则判断为真。如果上述判断都为真时，得出人体处于dof区域的结论，否则直接退出不进行制作三分图步骤。

相关技术中提出的一个自动生成三分图的方法，该方法首先对图像进行超像素分割，将图像分割成若干个超像素块；其次使用定向纹理曲线(OTC)特征描述每个超像素块，然后对这些特征进行处理，得到前景和背景超像素块，最后通过腐蚀膨胀的得到三分图。利用该方案时当一张图片中出现多个物体时容易出现错误，显然每个物体都可以是前景或者背景，根据该方案提供的特征处理是无法得到正确的结果的。本公开实施例中，在制作三分图前需确定人像虚化处理后的人像处于前景区域，保证了最终制作得到的三分图的准确性。

本公开实施例公开的三分图制作方法可以为相关技术提供三分图的输入，例如在进行图像抠图的三分图自适应(trimap adaptation)过程和alpha估计(alphaestimation)过程中，利用深度学习的方法对已知的三分图进行精细化处理，将图像中的一部分未知点归类为前景或背景点，再通过深度学习的方法精确的估计出透明遮罩。同时在自然场景中三分图多种多样，通过本公开实施例公开的三分图制作方法可以弥补深度学习的方法不能正确处理的场景。

在本公开实施例中，通过相关技术制作的三分图与本公开制作的三分图进行对比，以验证本公开实施例三分图制作方法的准确性。图18是本公开实施例示出的相关技术制作的三分图的示意图，如图18所示，头部区域三分图的未知区域非常窄，与原始图像中人像的头部区域相比，准确性低。图19是本公开实施例示出的本公开制作的三分图的示意图，如图19所示，头部区域三分图的未知区域与原始图像中人像的发型非常接近。对比图18和图19可以得到，对于同一原始图像，利用本公开技术方案制作的三分图在头部区域的效果明显优于利用相关技术制作的三分图。

在本公开实施例中，图20是本公开实施例示出的第一原始图像的示意图，图21是本公开实施例示出的利用相关技术得到第一原始图像的三分图透明遮罩的示意图，图22是本公开实施例示出的利用本公开得到第一原始图像的三分图透明遮罩的示意图；对比图21和图22所示，可以明显的发现，对于同一第一原始图像利用本公开得到的三分图透明遮罩中，可以清晰的看到头发丝，而相关技术得到的三分图透明遮罩中几乎没有头发丝部分，因此本公开相比与相关技术相比，提高了制作三分图的准确性。

在本公开实施例中，图23是本公开实施例示出的第二原始图像的示意图；图24是本公开实施例示出的利用相关技术得到第二原始图像的三分图透明遮罩的示意图；图25是本公开实施例示出的利用本公开得到第二原始图像的三分图透明遮罩的示意图；对比图24和图25所示，可以明显的发现，对于同一第二原始图像，如图24所示的相关技术得到的三分图透明遮罩中，头发区域非常模糊，仅体现出了第二原始图像的头型轮廓，但图25所示，利用本公开得到的三分图透明遮罩在头发区域效果显著。

在本公开实施例中，利用本公开提供的三分图制作方法可以提高图像处理效率，增加了分辨率。示例性的，在手机高通骁龙888平台上，拍摄的图像下采样为分辨率1530x2040。且本公开可以在不需要人工干预的情况下实时的进行三分图的制作，利用本公开制作的三分图进行图像抠图时，可以提高图像抠图技术效果，推广了图像抠图技术在手机中的应用。

基于相同的构思，本公开实施例还提供一种三分图制作装置。

可以理解的是，本公开实施例提供的三分图制作装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。结合本公开实施例中所公开的各示例的单元及算法步骤，本公开实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本公开实施例的技术方案的范围。

图26是根据一示例性实施例示出的一种三分图制作装置框图。参照图26，该装置100包括获取模块101，处理模块102。

获取模块101，用于获取待制作三分图的原始图像，待制作三分图的原始图像中至少包括有人像虚化处理后的人像遮罩、人脸框和前景区域遮罩；

处理模块102，用于根据人像遮罩、人脸框和前景区域遮罩，得到初始三分图，根据人像遮罩、人脸框和前景区域遮罩，得到的初始三分图中包括头部区域三分图以及非头部区域三分图，基于头部区域三分图中的未知区域，进行区域分割，根据分割后每个分割区域内未知区域的复杂度，更新头部区域三分图中的未知区域，得到更新后的头部区域三分图，并合并非头部区域三分图以及更新后的头部区域三分图，得到原始图像的最终三分图。

在本公开实施例中，处理模块102，用于：

根据人脸框将原始图像划分为头部区域和非头部区域；对前景区域遮罩进行形态学处理，得到第一三分图，并提取第一三分图中的非头部区域三分图；基于人像遮罩的像素灰度值以及像素灰度值阈值，得到第二三分图，并提取第二三分图中的头部区域三分图；合并第一三分图中的非头部区域三分图，以及第二三分图中的头部区域三分图，得到初始三分图。

在本公开实施例中，处理模块102，用于：

将人像遮罩中像素点的灰度值大于或等于第一像素灰度值阈值的像素点，确定为人像遮罩前景区域，其次将人像遮罩中像素点的灰度值小于第二像素灰度值阈值的像素点，确定为人像遮罩背景区域，然后将人像遮罩中除人像遮罩前景区域和人像遮罩背景区域以外的像素点，确定为人像遮罩未知区域，最后合并人像遮罩前景区域、人像遮罩背景区域以及人像遮罩未知区域，得到第二三分图。

在本公开实施例中，处理模块102，用于：

以人脸框的中心像素点为中心，将人脸框放大设定倍数，得到放大后人脸框；将原始图像中位于放大后人脸框内的区域，确定为头部区域，并将原始图像中位于放大后人脸框外的区域，确定为非头部区域。

在本公开实施例中，处理模块102，用于：

将头部区域三分图中的原始未知区域，作为第一感兴趣区域，并对第一感兴趣区域进行形态学膨胀处理，得到第二感兴趣区域；然后基于放大后人脸框内的区域确定待分割区域，并对待分割区域进行区域分割，得到多个分割区域，多个分割区域中的每一分割区域中均包括有未知区域，且位于分割区域内的未知区域包括第一感兴趣区域的部分区域，以及第二感兴趣区域的部分区域。

在本公开实施例中，处理模块102，用于：

以人脸框的中心像素点为参考位置，对人像遮罩进行水平分割，并确定水平分割后每一区域中包括的人像遮罩灰度值；以人脸框的中心像素点为参考位置，对人像遮罩进行竖直分割，并确定竖直分割后每一区域中包括的人像遮罩灰度值；统计各区域内，人像遮罩灰度值大于第三像素灰度值阈值的像素点数量，并将像素点数量最多的区域确定为身体区域；确定人像遮罩中除身体区域以外的其他区域，并将其他区域中位于放大后人脸框内的区域，确定为待分割区域。

在本公开实施例中，处理模块102，用于：

延长人脸框的边至放大后人脸框的边，以将待分割的头部区域划分为多个分割区域，其中，划分后的多个分割区域中包括第一类分割区域和第二类分割区域，第一类分割区域为延长边与放大后人脸框的边组成的区域，第二类分割区域为人脸框的边、延长边与放大后人脸框的边组成的区域；对第一类分割区域，采用具有与延长边呈设定角度的直线进行分割，对第二类分割区域采用垂直于人脸框的边的直线进行分割。

在本公开实施例中，处理模块102，用于：

针对多个分割区域中的每一分割区域，分别采用如下方式更新每一分割区域内头部区域三分图中的未知区域：确定第二感兴趣区域的颜色顶点数，并基于颜色顶点数，确定为分割区域内未知区域的复杂度；若分割区域内未知区域的复杂度小于或等于复杂度阈值，则维持位于分割区域内的未知区域大小不变；若分割区域内未知区域的复杂度大于复杂度阈值，则将位于分割区域内的未知区域缩小至前景区域外的设定像素宽度。

在本公开实施例中，三分图制作装置还包括：

人像位置确定模块，用于在处理模块进行根据人像遮罩、人脸框和前景区域遮罩得到初始三分图之前，确定人像虚化处理后的人像处于前景区域。

在本公开实施例中，人像位置确定模块，用于：

以人脸框的中心像素点为中心，构建具有设定半径的窗口区域；若窗口区域内存在大于第一像素数量阈值的像素点位于前景区域，且人像遮罩在窗口区域内像素灰度值大于第四像素灰度阈值的像素点数量大于第二像素数量阈值，则确定人像虚化处理后的人像处于前景区域。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图27是根据一示例性实施例示出的一种用于制作三分图的装置的框图。例如，装置200可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图27，装置200可以包括以下一个或多个组件：处理组件202，存储器204，电力组件206，多媒体组件208，音频组件210，输入/输出(I/O)接口212，传感器组件214，以及通信组件216。

处理组件202通常控制装置200的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件202可以包括一个或多个处理器220来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件202可以包括一个或多个模块，便于处理组件202和其他组件之间的交互。例如，处理组件202可以包括多媒体模块，以方便多媒体组件208和处理组件202之间的交互。

存储器204被配置为存储各种类型的数据以支持在装置200的操作。这些数据的示例包括用于在装置200上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电力组件206为装置200的各种组件提供电力。电力组件206可以包括电源管理系统，一个或多个电源，及其他与为装置200生成、管理和分配电力相关联的组件。

多媒体组件208包括在所述装置200和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件208包括一个前置摄像头和/或后置摄像头。当装置200处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件210被配置为输出和/或输入音频信号。例如，音频组件210包括一个麦克风(MIC)，当装置200处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器204或经由通信组件216发送。在一些实施例中，音频组件210还包括一个扬声器，用于输出音频信号。

I/O接口212为处理组件202和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件214包括一个或多个传感器，用于为装置200提供各个方面的状态评估。例如，传感器组件214可以检测到装置200的打开/关闭状态，组件的相对定位，例如所述组件为装置200的显示器和小键盘，传感器组件214还可以检测装置200或装置200一个组件的位置改变，用户与装置200接触的存在或不存在，装置200方位或加速/减速和装置200的温度变化。传感器组件214可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件214还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件214还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件216被配置为便于装置200和其他设备之间有线或无线方式的通信。装置200可以接入基于通信标准的无线网络，如WiFi，4G或5G，或它们的组合。在一个示例性实施例中，通信组件216经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件216还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置200可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器204，上述指令可由装置200的处理器220执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

可以理解的是，本公开中“多个”是指两个或两个以上，其它量词与之类似。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

进一步可以理解的是，术语“第一”、“第二”等用于描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开，并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。

进一步可以理解的是，除非有特殊说明，“连接”包括两者之间不存在其他构件的直接连接，也包括两者之间存在其他元件的间接连接。

进一步可以理解的是，本公开实施例中尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (22)

1.一种三分图制作方法，其特征在于，包括：

获取待制作三分图的原始图像，所述原始图像中至少包括有人像虚化处理后的人像遮罩、人脸框和前景区域遮罩；

根据所述人像遮罩、所述人脸框和所述前景区域遮罩，得到初始三分图，所述初始三分图中包括头部区域三分图以及非头部区域三分图；

基于所述头部区域三分图中的未知区域，进行区域分割，根据分割后每个分割区域内未知区域的复杂度，更新所述头部区域三分图中的未知区域，得到更新后的头部区域三分图；

合并所述非头部区域三分图以及所述更新后的头部区域三分图，得到所述原始图像的最终三分图。

2.根据权利要求1所述的三分图制作方法，其特征在于，根据所述人像遮罩、所述人脸框和所述前景区域遮罩，得到初始三分图，包括：

根据所述人脸框，将所述原始图像划分为头部区域和非头部区域；

对所述前景区域遮罩进行形态学处理，得到第一三分图，并提取所述第一三分图中的非头部区域三分图；

基于所述人像遮罩的像素灰度值以及像素灰度值阈值，得到第二三分图，并提取所述第二三分图中的头部区域三分图；

合并所述第一三分图中的非头部区域三分图，以及所述第二三分图中的头部区域三分图，得到初始三分图。

3.根据权利要求2所述的三分图制作方法，其特征在于，基于所述人像遮罩的像素灰度值以及像素灰度值阈值，得到第二三分图，包括：

将所述人像遮罩中像素点的灰度值大于或等于第一像素灰度值阈值的像素点，确定为人像遮罩前景区域；

将所述人像遮罩中像素点的灰度值小于第二像素灰度值阈值的像素点，确定为人像遮罩背景区域；

将所述人像遮罩中除所述人像遮罩前景区域和所述人像遮罩背景区域以外的像素点，确定为人像遮罩未知区域；

合并所述人像遮罩前景区域、所述人像遮罩背景区域以及所述人像遮罩未知区域，得到第二三分图。

4.根据权利要求2所述的三分图制作方法，其特征在于，根据所述人脸框，将所述原始图像划分为头部区域和非头部区域，包括：

以所述人脸框的中心像素点为中心，将所述人脸框放大设定倍数，得到放大后人脸框；

将原始图像中位于所述放大后人脸框内的区域，确定为头部区域，并将所述原始图像中位于所述放大后人脸框外的区域，确定为非头部区域。

5.根据权利要求4所述的三分图制作方法，其特征在于，基于所述头部区域三分图中的未知区域，进行区域分割，包括：

将所述头部区域三分图中的原始未知区域，作为第一感兴趣区域；

对所述第一感兴趣区域进行形态学膨胀处理，得到第二感兴趣区域；

基于所述放大后人脸框内的区域确定待分割区域，并对所述待分割区域进行区域分割，得到多个分割区域，所述多个分割区域中的每一分割区域中均包括有未知区域，且位于所述分割区域内的未知区域包括所述第一感兴趣区域的部分区域，以及所述第二感兴趣区域的部分区域。

6.根据权利要求5所述的三分图制作方法，其特征在于，所述确定待分割区域，包括：

以所述人脸框的中心像素点为参考位置，对所述人像遮罩进行水平分割，并确定水平分割后每一区域中包括的人像遮罩灰度值；

以所述人脸框的中心像素点为参考位置，对所述人像遮罩进行竖直分割，并确定竖直分割后每一区域中包括的人像遮罩灰度值；

统计各区域内，人像遮罩灰度值大于第三像素灰度值阈值的像素点数量，并将像素点数量最多的区域确定为身体区域；

确定所述人像遮罩中除所述身体区域以外的其他区域，并将所述其他区域中位于所述放大后人脸框内的区域，确定为待分割区域。

7.根据权利要求5或6所述的三分图制作方法，其特征在于，对所述待分割区域进行区域分割，包括：

延长人脸框的边至放大后人脸框的边，以将所述待分割的头部区域划分为多个分割区域，其中，划分后的所述多个分割区域中包括第一类分割区域和第二类分割区域，所述第一类分割区域为延长边与放大后人脸框的边组成的区域，所述第二类分割区域为人脸框的边、延长边与放大后人脸框的边组成的区域；

对所述第一类分割区域，采用具有与所述延长边呈设定角度的直线进行分割，对所述第二类分割区域采用垂直于所述人脸框的边的直线进行分割。

8.根据权利要求5或6所述的三分图制作方法，其特征在于，根据分割后每个分割区域内未知区域的复杂度，更新所述头部区域三分图中的未知区域，包括：

针对所述多个分割区域中的每一分割区域，分别采用如下方式更新每一分割区域内头部区域三分图中的未知区域：

确定第二感兴趣区域内的颜色顶点数，并基于所述颜色顶点数，确定分割区域内未知区域的复杂度；

若分割区域内未知区域的复杂度小于或等于复杂度阈值，则维持位于所述分割区域内的未知区域大小不变；

若分割区域内未知区域的复杂度大于复杂度阈值，则将位于所述分割区域内的未知区域缩小至所述前景区域外的设定像素宽度。

9.根据权利要求1所述的三分图制作方法，其特征在于，所述根据所述人像遮罩、所述人脸框和所述前景区域遮罩，得到初始三分图之前，所述三分图制作方法还包括：

确定人像虚化处理后的人像处于前景区域。

10.根据权利要求9所述的三分图制作方法，其特征在于，所述确定人像虚化处理后的人像处于前景区域，包括：

以所述人脸框的中心像素点为中心，构建具有设定半径的窗口区域；

若所述窗口区域内存在大于第一像素数量阈值的像素点位于前景区域，且所述人像遮罩在所述窗口区域内像素灰度值大于第四像素灰度阈值的像素点数量大于第二像素数量阈值，则确定人像虚化处理后的人像处于前景区域。

11.一种三分图制作装置，其特征在于，包括：

获取模块，用于获取待制作三分图的原始图像，所述原始图像中至少包括有人像虚化处理后的人像遮罩、人脸框和前景区域遮罩；

处理模块，用于根据所述人像遮罩、所述人脸框和所述前景区域遮罩，得到初始三分图，所述初始三分图中包括头部区域三分图以及非头部区域三分图，基于所述头部区域三分图中的未知区域，进行区域分割，根据分割后每个分割区域内未知区域的复杂度，更新所述头部区域三分图中的未知区域，得到更新后的头部区域三分图，并合并所述非头部区域三分图以及所述更新后的头部区域三分图，得到所述原始图像的最终三分图。

12.根据权利要求11所述的三分图制作装置，其特征在于，所述处理模块，用于：

根据所述人脸框，将所述原始图像划分为头部区域和非头部区域；

对所述前景区域遮罩进行形态学处理，得到第一三分图，并提取所述第一三分图中的非头部区域三分图；

基于所述人像遮罩的像素灰度值以及像素灰度值阈值，得到第二三分图，并提取所述第二三分图中的头部区域三分图；

合并所述第一三分图中的非头部区域三分图，以及所述第二三分图中的头部区域三分图，得到初始三分图。

13.根据权利要求12所述的三分图制作装置，其特征在于，所述处理模块，用于：

将所述人像遮罩中像素点的灰度值大于或等于第一像素灰度值阈值的像素点，确定为人像遮罩前景区域；

将所述人像遮罩中像素点的灰度值小于第二像素灰度值阈值的像素点，确定为人像遮罩背景区域；

将所述人像遮罩中除所述人像遮罩前景区域和所述人像遮罩背景区域以外的像素点，确定为人像遮罩未知区域；

合并所述人像遮罩前景区域、所述人像遮罩背景区域以及所述人像遮罩未知区域，得到第二三分图。

14.根据权利要求12所述的三分图制作装置，其特征在于，所述处理模块，用于：

以所述人脸框的中心像素点为中心，将所述人脸框放大设定倍数，得到放大后人脸框；

将原始图像中位于所述放大后人脸框内的区域，确定为头部区域，并将所述原始图像中位于所述放大后人脸框外的区域，确定为非头部区域。

15.根据权利要求14所述的三分图制作装置，其特征在于，所述处理模块，用于：

将所述头部区域三分图中的原始未知区域，作为第一感兴趣区域；

对所述第一感兴趣区域进行形态学膨胀处理，得到第二感兴趣区域；

基于所述放大后人脸框内的区域确定待分割区域，并对所述待分割区域进行区域分割，得到多个分割区域，所述多个分割区域中的每一分割区域中均包括有未知区域，且位于所述分割区域内的未知区域包括所述第一感兴趣区域的部分区域，以及所述第二感兴趣区域的部分区域。

16.根据权利要求15所述的三分图制作装置，其特征在于，所述处理模块，用于：

以所述人脸框的中心像素点为参考位置，对所述人像遮罩进行水平分割，并确定水平分割后每一区域中包括的人像遮罩灰度值；

以所述人脸框的中心像素点为参考位置，对所述人像遮罩进行竖直分割，并确定竖直分割后每一区域中包括的人像遮罩灰度值；

统计各区域内，人像遮罩灰度值大于第三像素灰度值阈值的像素点数量，并将像素点数量最多的区域确定为身体区域；

确定所述人像遮罩中除所述身体区域以外的其他区域，并将所述其他区域中位于所述放大后人脸框内的区域，确定为待分割区域。

17.根据权利要求15或16所述的三分图制作装置，其特征在于，所述处理模块，用于：

延长人脸框的边至放大后人脸框的边，以将所述待分割的头部区域划分为多个分割区域，其中，划分后的所述多个分割区域中包括第一类分割区域和第二类分割区域，所述第一类分割区域为延长边与放大后人脸框的边组成的区域，所述第二类分割区域为人脸框的边、延长边与放大后人脸框的边组成的区域；

对所述第一类分割区域，采用具有与所述延长边呈设定角度的直线进行分割，对所述第二类分割区域采用垂直于所述人脸框的边的直线进行分割。

18.根据权利要求15或16所述的三分图制作装置，其特征在于，所述处理模块用于：

针对所述多个分割区域中的每一分割区域，分别采用如下方式更新每一分割区域内头部区域三分图中的未知区域：

确定第二感兴趣区域内的颜色顶点数，并基于所述颜色顶点数，确定分割区域内未知区域的复杂度；

若分割区域内未知区域的复杂度小于或等于复杂度阈值，则维持位于所述分割区域内的未知区域大小不变；

若分割区域内未知区域的复杂度大于复杂度阈值，则将位于所述分割区域内的未知区域缩小至所述前景区域外的设定像素宽度。

19.根据权利要求11所述的三分图制作装置，其特征在于，所述三分图制作装置还包括：

人像位置确定模块，用于在处理模块进行根据所述人像遮罩、所述人脸框和所述前景区域遮罩得到初始三分图之前，确定人像虚化处理后的人像处于前景区域。

20.根据权利要求19所述的三分图制作装置，其特征在于，所述人像位置确定模块，用于：

以所述人脸框的中心像素点为中心，构建具有设定半径的窗口区域；

若所述窗口区域内存在大于第一像素数量阈值的像素点位于前景区域，且所述人像遮罩在所述窗口区域内像素灰度值大于第四像素灰度阈值的像素点数量大于第二像素数量阈值，则确定人像虚化处理后的人像处于前景区域。

21.一种三分图制作装置，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：执行权利要求1-6中任意一项所述的三分图制作方法。

22.一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行权利要求1-6中任意一项所述的三分图制作方法。

Images