CN115100216A - 人脸分割方法及其装置 - Google Patents

Abstract

本申请公开了一种人脸分割方法及其装置，属于图像处理技术领域。该人脸分割方法包括：根据预先采集的三维人脸点云数据，构建可形变人脸模型；其中，所述可形变人脸模型中每个数据坐标点表示的人脸部位已标记；调整所述可形变人脸模型的形变参数，得到多个不同的三维人脸模型；将所述三维人脸模型分别投影为二维人脸图像；根据所述三维人脸模型与所述二维人脸图像之间的投影关系，以及所述可形变人脸模型中每个数据坐标点表示的人脸部位，对所述二维人脸图像进行分割处理。

Description

人脸分割方法及其装置

技术领域

本申请属于图像处理技术领域，具体涉及一种人脸分割方法及其装置。

背景技术

随着人工智能技术的发展，产生了对人脸图像中的脸部位置进行提取以达到某种定位的需求，而人脸分割技术应运而生。

基于深度学习的高精度人脸分割算法，依赖于海量数据训练。为了获取足够的训练数据，现有技术中的一种方法为：通过人力手动标注的方式得到训练所需的人脸分割数据，即手动进行人脸图像分割，获得人脸分割数据。

但手动标注方式，不仅效率低，标注数据还易存在脏数据(即标注不准的数据)，后期还需要大量人力进行数据筛选。总之，现有技术中获得训练所需的人脸分割数据的方式，存在效率低且准确性差的问题。

发明内容

本申请实施例的目的是提供一种人脸分割方法及其装置，能够解决现有技术中获得训练所需的人脸分割数据的方式，存在效率低且准确性差的问题。

第一方面，本申请实施例提供了一种人脸分割方法，所述方法包括：

根据预先采集的三维人脸点云数据，构建可形变人脸模型；其中，所述可形变人脸模型中每个数据坐标点表示的人脸部位已标记；

调整所述可形变人脸模型的形变参数，得到多个不同的三维人脸模型；

将所述三维人脸模型分别投影为二维人脸图像；

根据所述三维人脸模型与所述二维人脸图像之间的投影关系，以及所述可形变人脸模型中每个数据坐标点表示的人脸部位，对所述二维人脸图像进行分割处理。

第二方面，本申请实施例提供了一种人脸分割装置，所述装置包括：

模型构建模块，用于根据预先采集的三维人脸点云数据，构建可形变人脸模型；其中，所述可形变人脸模型中每个数据坐标点表示的人脸部位已标记；

模型调整模块，用于调整所述可形变人脸模型的形变参数，得到多个不同的三维人脸模型；

投影模块，用于将所述多个三维人脸模型分别投影为二维人脸图像；

图像分割模块，用于根据所述三维人脸模型与所述二维人脸图像之间的投影关系，以及所述可形变人脸模型中每个数据坐标点表示的人脸部位，对所述二维人脸图像进行分割处理。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的人脸分割方法中的步骤。

第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的人脸分割方法中的步骤。

第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的人脸分割方法。

第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的人脸分割方法。

在本申请实施例中，通过构建可形变人脸模型，来拟合得到不同的三维人脸，然后再将得到三维人脸投影为二维人脸图像，最后基于三维人脸与二维人脸图像之间的投影关系，以及可形变人脸模型中每个数据坐标点表示的人脸部位，自动对二维人脸图像进行分割处理，得到人脸图像分割数据。显然，在本申请实施例中，不再通过人力手动标注的方式进行人脸图像分割，省去了手动标注的繁琐操作工作，也因此能够快速得到人脸分割数据，提高处理效率。又由于是基于可形变人脸模型中每个数据坐标点表示的人脸部位，实现人脸图像分割处理，相比于手动标注的方式，得到的人脸分割数据更加精准。最后，基于可形变人脸模型可得到大量不同的三维人脸，从而得到大量不同的二维人脸图像，进而得到大量不同的人脸分割数据，满足了人脸分割算法对海量训练数据的需求。

附图说明

图1是本申请实施例提供的人脸分割方法的流程示意图；

图2是本申请实施例提供的示例的流程示意图；

图3是本申请实施例提供的人脸分割装置的示意框图；

图4是本申请实施例提供的电子设备的示意框图之一；

图5是本申请实施例提供的电子设备的示意框图之二。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的人脸分割方法进行详细地说明。

图1是本申请实施例提供的一种人脸分割方法的流程示意图，该人脸分割方法应用于电子设备。

其中，该人脸分割方法可以包括：

步骤101：根据预先采集的三维人脸点云数据，构建可形变人脸模型。

其中，点云数据是指空间中代表三维(即3D)形状或对象的数据点集合。可选地，可以预先采用点云数据采集设备(如结构光三维扫描仪)，对真实人脸进行数据采集，得到三维人脸点云数据，也可以对三维人脸仿真模型进行数据采集，得到三维人脸点云数据，具体情况可根据实际需求进行选择。当然，对真实人脸进行数据采集，相比于对人脸仿真模型进行数据采集，得到的数据更加真实，有利于提高所要构建的可形变人脸模型的精度。

本申请实施例中，可以利用三维可变形模型(3D Morphable Models，3DMM)原理，基于预先采集的三维人脸点云数据，构建可形变人脸模型(Deformable Face Model，DFM)。在该模型中，是用固定的点数来表示人脸，且在模型构建过程中，模型中每一个点的位置都进行了精确一一匹配，也就是说，每一个点都有实际的物理意义，可能是右嘴角，也可能是鼻尖等，也就是说，模型中每个点(数据坐标点)表示的人脸部位是已标记好的，是已知的。

可以理解的是，采集的三维人脸点云数据越丰富(即点云数据的采集对象越多)，最终构建的可形变人脸模型越精准，因此，可以对大量的不同性别、不同年龄、不同表情的三维人脸进行点云数据采集。

步骤102：调整可形变人脸模型的形变参数，得到多个不同的三维人脸模型。

该可形变人脸模型具有形变参数，该形变参数具体可以是形状形变参数和表情形变参数中的至少一种。本申请实施例中，通过脚本自动调整形变参数的数值，从而得到不同脸型和/或不同表情的三维人脸模型(即拟合的三维人脸)。需要说明的是，用户也可以通过手动输入方式输入形状形变参数和表情形变参数中的至少一种。

步骤103：将三维人脸模型分别投影为二维人脸图像。

在得到不同的三维人脸模型后，本申请实施例可以基于预设投影关系，将得到的每个三维人脸模型分别投影为至少一个二维人脸图像，即：基于一种投影关系，可以将一个三维人脸模型投影为一个二维人脸图像，而基于多个不同的投影关系，则可以将一个三维人脸模型投影分别为多个二维人脸图像。

步骤104：根据三维人脸模型与二维人脸图像之间的投影关系，以及可形变人脸模型中每个数据坐标点表示的人脸部位，对二维人脸图像进行分割处理。

其中，由可形变人脸模型得到的三维人脸模型中的每个数据坐标点表示的人脸部位，与可形变人脸模型中对应的数据坐标点表示的人脸部位一致，因此，本步骤中，可以根据三维人脸模型与二维人脸图像之间的投影关系，以及可形变人脸模型中每个数据坐标点表示的人脸部位，自动对二维人脸图像进行分割处理，从而得到人脸图像分割数据(即人脸mask数据)。

本申请实施例提供的人脸分割方法，可以通过可形变人脸模型，得到不同的三维人脸模型，进而得到与三维人脸模型对应的二维人脸图像，然后再根据三维人脸模型与二维人脸图像之间的投影关系，以及三维人脸模型中每个数据坐标点表示的人脸部位，自动对二维人脸图像进行分割处理，得到人脸图像分割数据。显然，在本申请实施例中，不再通过人力手动标注的方式进行人脸图像分割，省去了手动标注的繁琐操作工作，也因此能够快速得到人脸分割数据，提高处理效率。又由于是基于三维人脸模型中每个数据坐标点表示的人脸部位的已知信息，实现人脸图像分割处理，相比于手动标注的方式，得到的人脸分割数据更加精准。最后，基于可形变人脸模型可得到大量不同的三维人脸，从而得到大量不同的二维人脸图像，进而得到大量不同的人脸分割数据，满足了人脸分割算法对海量训练数据的需求。

具体地，步骤104：根据三维人脸模型与二维人脸图像之间的投影关系，以及可形变人脸模型中每个数据坐标点表示的人脸部位，对二维人脸图像进行分割处理，可以包括：

根据三维人脸模型与二维人脸图像之间的投影关系，以及可形变人脸模型中每个数据坐标点表示的人脸部位，确定二维人脸图像中的数据坐标点表示的人脸部位；根据二维人脸图像中的数据坐标点表示的人脸部位，对二维人脸图像进行分割处理。

本申请实施例中，可以根据三维人脸模型与二维人脸图像之间的投影关系，确定三维人脸模型中的每个数据坐标点与二维人脸图像中的每个数据坐标点之间的对应关系，又由于由可形变人脸模型得到的三维人脸模型中的每个数据坐标点表示的人脸部位，与可形变人脸模型中对应的数据坐标点表示的人脸部位一致，因此，可以基于可形变人脸模型中每个数据坐标点表示的人脸部位，确定二维人脸图像中对应的数据坐标点表示的人脸部位。最后根据二维人脸图像中的数据坐标点表示的人脸部位，对二维人脸图像进行分割处理，得到人脸图像分割数据。由于是基于坐标点级别的人脸部位信息进行人脸分割，因此，得到人脸图像分割数据更加精确，减少了脏数据产生的产生。

作为一种可选实施例，步骤101：根据预先采集的三维人脸点云数据，构建可形变人脸模型，可以包括：

步骤A1：将预先采集的三维人脸点云数据，映射至可形变人脸模型的拓扑空间中，得到目标人脸数据。

由于人脸个体间的差异，不同人脸采集到的点云数据的数量不同，又由于可形变人脸模型中用于表示人脸的数据点的数量是固定的，因此，此时需要将预先采集的三维人脸点云数据，配准至定义好的同一拓扑空间下，得到一批拓扑学统一的三维人脸网格数据(即目标人脸数据)。

可选地，可以基于非刚性配准算法，将预先采集的三维人脸点云数据映射至可形变人脸模型的拓扑空间中。

步骤A2：根据目标人脸数据，得到构成可形变人脸模型的均值人脸模型、形状基向量和表情基向量。

在将预先采集的三维人脸点云数据映射至可形变人脸模型的拓扑空间中，得到目标人脸数据后，可以根据目标人脸数据，得到构成该可形变人脸模型的均值人脸模型、形状基向量和表情基向量，具体实现方式，可参考下面的实施方式一和实施方式二。

实施方式一

步骤A1：将预先采集的三维人脸点云数据，映射至可形变人脸模型的拓扑空间中，得到目标人脸数据，可以包括：

获取预先采集的M个人物的三维人脸的第一点云数据；将第一点云数据映射至拓扑空间中，得到目标人脸数据。

其中，第一点云数据包括M个人物中每个人物的N个表情的点云数据和无表情的点云数据。这里所述的无表情是指通常所述的面无表情，也就是没有喜怒哀乐的表情。

其中，M为大于或等于1的整数，N为大于或等于1的整数，N个表情分别是各不相同的表情。

本申请实施例中，可以对M个人物的人脸，采用点云数据采集设备分别采集N个表情的三维人脸点云数据和无表情的三维人脸点云数据，即：共采集M*(N+1)个三维人脸的点云数据。然后，将得到的点云数据映射至可形变人脸模型的拓扑空间中，得到目标人脸数据。

步骤A2：根据目标人脸数据，得到构成可形变人脸模型的均值人脸模型、形状基向量和表情基向量，可以包括：

步骤A21：提取目标人脸数据中M个人物的无表情人脸数据的形状特征数据。

步骤A22：根据形状特征数据，得到均值人脸模型和形状基向量。

步骤A21和步骤A22描述了如何得到均值人脸模型和形状基向量。具体地，在将预先采集的三维人脸点云数据，映射至可形变人脸模型的拓扑空间后，可以在映射至拓扑空间的人脸数据(即目标人脸数据)中，对M个无表情人脸数据进行形状特征值向量(即形状特征数据)提取，然后基于提取的形状特征值向量，得到所需的DFM均值人脸模型(DeformableFace Model Mean Shape，DFM_MS)与DFM形状基向量(Deformable Face Model ShapeBase，DFM_SB)。

步骤A23：根据目标人脸数据，得到N个表情中的每个表情的均值人脸数据。

步骤A24：提取每个表情的均值人脸数据中的表情特征数据。

步骤A25：根据提取的表情特征数据，得到表情基向量。

步骤A23至步骤A25描述了如何得到表情基向量。具体地，可以按表情，将目标人脸数据分为N个类，然后均值化每个类中的人脸数据，从而得到每个表情的均值人脸数据。然后，在每个表情的均值人脸数据中，提取表情特征数据。最后，根据提取的表情特征数据，得到DFM表情基向量(Deformable Face Model Expression Base，DFM_EB)。

实施方式二

步骤A1：将预先采集的三维人脸点云数据，映射至可形变人脸模型的拓扑空间中，得到目标人脸数据，可以包括：

获取预先采集的M个无表情三维人脸的第二点云数据；将第二点云数据映射至可形变人脸模型的拓扑空间中，得到目标人脸数据。

本申请实施例中，可以对M个无表情人脸，采用点云数据采集设备分别采集三维人脸点云数据(即第一点云数据)。然后，将得到的点云数据映射至可形变人脸模型的拓扑空间中，得到目标人脸数据。

其中，M为大于或等于1的整数。

步骤A2：根据目标人脸数据，得到构成可形变人脸模型的均值人脸模型、形状基向量和表情基向量，可以包括：

步骤A26：提取目标人脸数据中的形状特征数据。

步骤A27：根据形状特征数据，得到均值人脸模型和形状基向量。

步骤A26和步骤A27描述了如何得到均值人脸模型和形状基向量。具体地，在将预先采集的三维人脸点云数据，映射至可形变人脸模型的拓扑空间后，可以在映射至拓扑空间的人脸数据(即目标人脸数据)中，对M个无表情人脸数据进行形状特征值向量(即形状特征数据)提取，然后基于提取的形状特征值向量，得到所需的DFM均值人脸模型(DFM_MS)与DFM形状基向量(DFM_SB)。

步骤A28：对均值人脸模型进行N个不同表情的形变建模，得到叠加表情模型。

步骤A29：将叠加表情模型与均值人脸模型进行线性相减，得到表情基向量。

步骤A28至步骤A29描述了如何得到表情基向量。具体地，本申请实施例中，可以使用专业3D建模软件对步骤A27中得到的DFM_MS模型进行N个不同表情形变建模，得到DFM_MS叠加表情模型(Deformable Face Model Mean Shape Add Expression，DFM_MSAE)。然后，将DFM_MSAE与DFM_MS进行线性相减，得到DFM_MS表情基向量(DFM_EB)。

通过实施方式二所述方式得到表情基向量，可以有效解耦真实人脸表情基，例如，真实人脸在做微笑表情时，除了嘴角上扬外，眼角一般会下垂，但通过专业3D建模软件构建表情时，可以做到只嘴角上扬，其他脸部位不变，这样可以使得人脸表情数据不依赖于真实人脸表情，且可以有效去除真实三维人脸数据采集过程引入的误差，此外，专业3D建模软件能够构建的表情的数量，也远大于真实人脸所做的表情，这些特征可以使DFM具有更好的拟合能力，从而使得最后得到的人脸分割数据质量更高。

可选地，本申请实施例中，可以通过主成分分析(principal componentsanalysis，PCA)降维算法，进行特征数据的提取，如提取形状特征数据、提取表情特征数据等。

作为一种可选实施例，步骤102：调整可形变人脸模型的形变参数，得到不同的三维人脸模型，可以包括：调整关于所述可形变人脸模型的预设形变公式(1)中的目标随机参数，得到不同的三维人脸模型。

预设形变公式(1)为：

DFM_MSASE＝DFM_MS+α*DFM_SB+β*DFM_EB (1)

其中，DFM_MSASE表示调整目标随机参数后得到的三维人脸模型；DFM_MS表示均值人脸模型；DFM_SB表示形状基向量，α表示形状基向量的随机参数(即步骤102中所述的形状形变参数)；DFM_EB表示表情基向量，β表示表情基向量的随机参数(即步骤102中所述的表情形变参数)，α、β的取值范围均为：大于或等于0且小于或等于1，即[0，1]；目标随机参数包括：形状基向量的随机参数和/或表情基向量的随机参数中的至少一个。

本申请实施例中，可以在均值人脸模型的基础上，通过调整形状基向量和表情基向量的随机参数，从而得到不同形状、不同表情的三维人脸模型。

作为一种可选实施例，步骤103：将三维人脸模型分别投影为二维人脸图像，可以包括：

为每个三维人脸模型分别添加预设人脸配饰和/或预设场景信息；然后将添加预设人脸配饰和/或预设场景信息的三维人脸模型，分别投影为二维人脸图像。

其中，预设场景信息可以包括：背景信息和光照信息中的至少一个。

为了满足不同业务场景需求，本申请实施例中，可以预先构建与可形变人脸模型适配的三维人脸配饰模型。这里所述的人脸配饰可以包括但不限于：胡须、眼镜、口罩、帽饰以及发饰等中的至少一种。此外，还可以搭建不同渲染场景，以更符合真实场景。该渲染场景中可以包括但不限于：背景和光照中的至少一种。

本申请实施例中，在将三维人脸模型投影为二维人脸图像之前，为满足业务场景需求，可以基于预先构建的三维人脸配饰模型和渲染场景，先为三维人脸模型添加人脸配饰和/或场景信息，然后再将三维人脸模型投影为二维人脸图像，这样得到的二维人脸图像中和人脸图像分割数据中则可以包括人脸配饰图像和/或场景图像。

其中，在人脸参数化形变得到的三维人脸模型空间下，可以对三维人脸配饰模型进行大小一致性形变，如旋转、形变等，以适应三维人脸模型(即DFM_MSASE)。

本申请实施例中，可以通过脚本控制形变参数及选择相应人脸配饰，并随机渲染背景及光照，然后基于设定好的渲染参数，最终脚本化渲染生成大批量人脸分割数据。

为了更好地理解前述方案，下面以一具体实施例进行进一步地解释说明。

如图2所示，该实施例可以包括以下步骤：

步骤201：通过脚本加载已构建好的可形变人脸模型DFM信息。

其中，加载的信息可以包括：DFM_MS、DFM_SB及DFM_EB。

步骤202：脚本判断渲染工作是否终止；若未终止，则进入步骤203；若已终止，则闭3D渲染软件。

步骤203：脚本控制随机生成可形变系数α、β，按预设形变公式(1)进行人脸随机形变，生成多个不同的三维人脸数据。

其中，生成系数参数值域为[0,1]。

步骤204：脚本控制3D渲染软件随机加载已构建好的人脸配饰模型及渲染场景。

步骤205：脚本对3D渲染软件中渲染相机参数进行随机设置，且参数设置值域范围符合正常视图成像效果(这里是为了将三维人脸模型投影为二维人脸图像)。

步骤206、脚本控制3D渲染软件执行渲染操作，生成人脸图像数据及对应的人脸mask数据，保存结果至输出路径。

以上即为对本申请实施例提供的人脸分割方法的描述。

综上所述，本申请实施例中，不再通过人力手动标注的方式进行人脸图像分割，以得到人脸分割数据，省去了手动标注的繁琐操作工作，也因此能够快速得到人脸分割数据，提高处理效率。又由于是基于可形变人脸模型中每个数据坐标点表示的人脸部位，实现人脸图像分割处理，相比于手动标注的方式，得到的人脸分割数据更加精准。最后，基于可形变人脸模型可得到大量不同的三维人脸，从而得到大量不同的二维人脸图像，进而得到大量不同的人脸分割数据，满足了人脸分割算法对海量训练数据的需求。总之，本申请实施例提供了一种能够快速得到大批量精准人脸分割数据的且简单易实现的方法。

本申请实施例提供的人脸分割方法，执行主体可以为人脸分割装置。本申请实施例中以人脸分割装置执行人脸分割方法为例，说明本申请实施例提供的人脸分割装置。

图3是本申请实施例提供的一种人脸分割装置的示意框图，该人脸分割装置应用于电子设备。

如图3所示，所述人脸分割装置可以包括：

模型构建模块301，用于根据预先采集的三维人脸点云数据，构建可形变人脸模型。

其中，所述可形变人脸模型中每个数据坐标点表示的人脸部位已标记。

模型调整模块302，用于调整所述可形变人脸模型的形变参数，得到多个不同的三维人脸模型。

投影模块303，用于将所述三维人脸模型分别投影为二维人脸图像。

图像分割模块304，用于根据所述三维人脸模型与所述二维人脸图像之间的投影关系，以及所述可形变人脸模型中每个数据坐标点表示的人脸部位，对所述二维人脸图像进行分割处理。

可选地，所述图像分割模块304可以包括：

确定单元，用于根据所述三维人脸模型与所述二维人脸图像之间的投影关系，以及所述可形变人脸模型中每个数据坐标点表示的人脸部位，确定所述二维人脸图像中的数据坐标点表示的人脸部位。

图像分割单元，用于根据所述二维人脸图像中的数据坐标点表示的人脸部位，对所述二维人脸图像进行分割处理。

可选地，所述模型构建模块301可以包括：

映射单元，用于将所述预先采集的三维人脸点云数据，映射至所述可形变人脸模型的拓扑空间中，得到目标人脸数据。

构建单元，用于根据所述目标人脸数据，得到构成所述可形变人脸模型的均值人脸模型、形状基向量和表情基向量。

可选地，所述映射单元可以包括：

第一获取子单元，用于获取预先采集的M个人物的三维人脸的第一点云数据。

其中，所述第一点云数据包括所述M个人物中每个人物的N个表情的点云数据和无表情的点云数据。

第一映射子单元，用于将所述第一点云数据映射至所述拓扑空间中，得到所述目标人脸数据。

所述构建单元可以包括：

第一提取子单元，用于提取所述目标人脸数据中M个人物的无表情人脸数据的形状特征数据。

第一构建子单元，用于根据所述形状特征数据，得到所述均值人脸模型和所述形状基向量。

第一处理子单元，用于根据所述目标人脸数据，得到所述N个表情中的每个表情的均值人脸数据。

第二提取子单元，用于提取每个表情的均值人脸数据中的表情特征数据。

第二构建子单元，用于根据所述表情特征数据，得到所述表情基向量。

可选地，所述映射单元可以包括：

第二获取子单元，用于获取预先采集的M个无表情三维人脸的第二点云数据。

第二映射子单元，用于将所述第二点云数据映射至所述拓扑空间中，得到所述目标人脸数据。

所述构建单元可以包括：

第三提取子单元，用于提取所述目标人脸数据中的形状特征数据。

第三构建子单元，用于根据所述形状特征数据，得到所述均值人脸模型和所述形状基向量。

建模子单元，用于对所述均值人脸模型进行N个不同表情的形变建模，得到叠加表情模型。

第四构建子单元，用于将所述叠加表情模型与所述均值人脸模型进行线性相减，得到所述表情基向量。

可选地，所述模型调整模块302包括：

调整单元，用于调整关于所述可形变人脸模型的预设形变公式(1)中的目标随机参数，得到不同的三维人脸模型。

其中，所述预设形变公式(1)为：

DFM_MSASE＝DFM_MS+α*DFM_SB+β*DFM_EB (1)

其中，DFM_MSASE表示调整所述目标随机参数后得到的三维人脸模型；DFM_MS表示所述均值人脸模型；DFM_SB表示所述形状基向量，α表示所述形状基向量的随机参数；DFM_EB表示所述表情基向量，β表示所述表情基向量的随机参数；所述目标随机参数包括：所述形状基向量的随机参数和/或所述表情基向量的随机参数中的至少一个。

可选地，所述投影模块303可以包括：

添加单元，用于为每个所述三维人脸模型分别添加预设人脸配饰和/或预设场景信息。

其中，所述预设场景信息包括：背景信息和光照信息中的至少一个。

投影单元，用于将添加所述预设人脸配饰和/或所述预设场景信息的三维人脸模型，分别投影为所述二维人脸图像。

综上所述，本申请实施例中，不再通过人力手动标注的方式得到人脸分割数据，省去了手动标注的繁琐操作工作，也因此能够快速得到人脸分割数据，提高处理效率。又由于是基于可形变人脸模型中每个数据坐标点表示的人脸部位，实现人脸图像分割处理，相比于手动标注的方式，得到的人脸分割数据更加精准。最后，基于可形变人脸模型可得到大量不同的三维人脸，从而得到大量不同的二维人脸图像，进而得到大量不同的人脸分割数据，满足了人脸分割算法对海量训练数据的需求。总之，本申请实施例提供了一种能够快速得到大批量精准人脸分割数据的且简单易实现的方法。

本申请实施例中的人脸分割装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtualreality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personalcomputer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的人脸分割装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的人脸分割装置能够实现图1所示的人脸分割方法实施例实现的各个过程，为避免重复，这里不再赘述。

可选地，如图4所示，本申请实施例还提供一种电子设备400，包括：处理器401和存储器402，存储器402上存储有可所述处理器401上运行的程序或指令，该程序或指令被处理器401执行时实现上述人脸分割方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备400包括上述移动电子设备和非移动电子设备。

图5为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备500包括但不限于：射频单元501、网络模块502、音频输出单元503、输入单元504、传感器505、显示单元506、用户输入单元507、接口单元508、存储器509以及处理器510等部件。

本领域技术人员可以理解，电子设备500还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器510逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图5中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，处理器510可以用于：根据预先采集的三维人脸点云数据，构建可形变人脸模型；调整所述可形变人脸模型的形变参数，得到多个不同的三维人脸模型；将所述三维人脸模型分别投影为二维人脸图像；根据所述三维人脸模型与所述二维人脸图像之间的投影关系，以及所述可形变人脸模型中每个数据坐标点表示的人脸部位，对所述二维人脸图像进行分割处理。其中，所述可形变人脸模型中每个数据坐标点表示的人脸部位已标记。

可选地，处理器510还可以用于：根据所述三维人脸模型与所述二维人脸图像之间的投影关系，以及所述可形变人脸模型中每个数据坐标点表示的人脸部位，确定所述二维人脸图像中的数据坐标点表示的人脸部位；根据所述二维人脸图像中的数据坐标点表示的人脸部位，对所述二维人脸图像进行分割处理。

可选地，处理器510还可以用于：将所述预先采集的三维人脸点云数据，映射至所述可形变人脸模型的拓扑空间中，得到目标人脸数据；根据所述目标人脸数据，得到构成所述可形变人脸模型的均值人脸模型、形状基向量和表情基向量。

可选地，处理器510还可以用于：获取预先采集的M个人物的三维人脸的第一点云数据；将所述第一点云数据映射至所述拓扑空间中，得到所述目标人脸数据；提取所述目标人脸数据中M个人物的无表情人脸数据的形状特征数据；根据所述形状特征数据，得到所述均值人脸模型和所述形状基向量；根据所述目标人脸数据，得到所述N个表情中的每个表情的均值人脸数据；提取每个表情的均值人脸数据中的表情特征数据；根据所述表情特征数据，得到所述表情基向量。其中，所述第一点云数据包括所述M个人物中每个人物的N个表情的点云数据和无表情的点云数据。

可选地，处理器510还可以用于：获取预先采集的M个无表情三维人脸的第二点云数据；将所述第二点云数据映射至所述拓扑空间中，得到所述目标人脸数据；提取所述目标人脸数据中的形状特征数据；根据所述形状特征数据，得到所述均值人脸模型和所述形状基向量；对所述均值人脸模型进行N个不同表情的形变建模，得到叠加表情模型；将所述叠加表情模型与所述均值人脸模型进行线性相减，得到所述表情基向量。

可选地，处理器510还可以用于：调整关于所述可形变人脸模型的预设形变公式(1)中的目标随机参数，得到不同的三维人脸模型。

其中，所述预设形变公式(1)为：

DFM_MSASE＝DFM_MS+α*DFM_SB+β*DFM_EB(1)

其中，DFM_MSASE表示调整所述目标随机参数后得到的三维人脸模型；DFM_MS表示所述均值人脸模型；DFM_SB表示所述形状基向量，α表示所述形状基向量的随机参数；DFM_EB表示所述表情基向量，β表示所述表情基向量的随机参数；所述目标随机参数包括：所述形状基向量的随机参数和/或所述表情基向量的随机参数中的至少一个。

可选地，处理器510还可以用于：为每个所述三维人脸模型分别添加预设人脸配饰和/或预设场景信息；将添加所述预设人脸配饰和/或所述预设场景信息的三维人脸模型，分别投影为所述二维人脸图像。其中，所述预设场景信息包括：背景信息和光照信息中的至少一个。

本发明实施例中，不再通过人力手动标注的方式得到人脸分割数据，省去了手动标注的繁琐操作工作，也因此能够快速得到人脸分割数据，提高处理效率。又由于是基于可形变人脸模型中每个数据坐标点表示的人脸部位，实现人脸图像分割处理，相比于手动标注的方式，得到的人脸分割数据更加精准。最后，基于可形变人脸模型可得到大量不同的三维人脸，从而得到大量不同的二维人脸图像，进而得到大量不同的人脸分割数据，满足了人脸分割算法对海量训练数据的需求。总之，本申请实施例提供了一种能够快速得到大批量精准人脸分割数据的且简单易实现的方法。

应理解的是，本申请实施例中，输入单元504可以包括图形处理器(GraphicsProcessing Unit，GPU)5041和麦克风5042，图形处理器5041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)得到的静态图片或视频的图像数据进行处理。显示单元506可包括显示面板5061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板5061。用户输入单元507包括触控面板5071以及其他输入设备5072中的至少一种。触控面板5071，也称为触摸屏。触控面板5071可包括触摸检测装置和触摸控制器两个部分。其他输入设备5072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

存储器509可用于存储软件程序以及各种数据。存储器509可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器509可以包括易失性存储器或非易失性存储器，或者，存储器509可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器(ProgrammableROM，PROM)、可擦除可编程只读存储器(ErasablePROM，EPROM)、电可擦除可编程只读存储器(ElectricallyEPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器509包括但不限于这些和任意其它适合类型的存储器。

处理器510可包括一个或多个处理单元；可选的，处理器510集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器510中。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述人脸分割方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述人脸分割方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述人脸分割方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM、RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种人脸分割方法，其特征在于，所述方法包括：

根据预先采集的三维人脸点云数据，构建可形变人脸模型；其中，所述可形变人脸模型中每个数据坐标点表示的人脸部位已标记；

调整所述可形变人脸模型的形变参数，得到多个不同的三维人脸模型；

将所述三维人脸模型分别投影为二维人脸图像；

根据所述三维人脸模型与所述二维人脸图像之间的投影关系，以及所述可形变人脸模型中每个数据坐标点表示的人脸部位，对所述二维人脸图像进行分割处理。

2.根据权利要求1所述的人脸分割方法，其特征在于，所述根据预先采集的三维人脸点云数据，构建可形变人脸模型，包括：

将所述预先采集的三维人脸点云数据，映射至所述可形变人脸模型的拓扑空间中，得到目标人脸数据；

根据所述目标人脸数据，得到构成所述可形变人脸模型的均值人脸模型、形状基向量和表情基向量。

3.根据权利要求2所述的人脸分割方法，其特征在于，所述将所述预先采集的三维人脸点云数据，映射至所述可形变人脸模型的拓扑空间中，得到目标人脸数据，包括：

获取预先采集的M个人物的三维人脸的第一点云数据；其中，所述第一点云数据包括所述M个人物中每个人物的N个表情的点云数据和无表情的点云数据；

将所述第一点云数据映射至所述拓扑空间中，得到所述目标人脸数据；

所述根据所述目标人脸数据，得到构成所述可形变人脸模型的均值人脸模型、形状基向量和表情基向量，包括：

提取所述目标人脸数据中M个人物的无表情人脸数据的形状特征数据；

根据所述形状特征数据，得到所述均值人脸模型和所述形状基向量；

根据所述目标人脸数据，得到所述N个表情中的每个表情的均值人脸数据；

提取每个表情的均值人脸数据中的表情特征数据；

根据所述表情特征数据，得到所述表情基向量。

4.根据权利要求2所述的人脸分割方法，其特征在于，所述将所述预先采集的三维人脸点云数据，映射至所述可形变人脸模型的拓扑空间中，得到目标人脸数据，包括：

获取预先采集的M个无表情三维人脸的第二点云数据；

将所述第二点云数据映射至所述拓扑空间中，得到所述目标人脸数据；

所述根据所述目标人脸数据，得到构成所述可形变人脸模型的均值人脸模型、形状基向量和表情基向量，包括：

提取所述目标人脸数据中的形状特征数据；

根据所述形状特征数据，得到所述均值人脸模型和所述形状基向量；

对所述均值人脸模型进行N个不同表情的形变建模，得到叠加表情模型；

将所述叠加表情模型与所述均值人脸模型进行线性相减，得到所述表情基向量。

5.根据权利要求1所述的人脸分割方法，其特征在于，所述将所述三维人脸模型分别投影为二维人脸图像，包括：

为每个所述三维人脸模型分别添加预设人脸配饰和/或预设场景信息；其中，所述预设场景信息包括：背景信息和光照信息中的至少一个；

将添加所述预设人脸配饰和/或所述预设场景信息的三维人脸模型，分别投影为所述二维人脸图像。

6.一种人脸分割装置，其特征在于，所述装置包括：

模型构建模块，用于根据预先采集的三维人脸点云数据，构建可形变人脸模型；其中，所述可形变人脸模型中每个数据坐标点表示的人脸部位已标记；

模型调整模块，用于调整所述可形变人脸模型的形变参数，得到多个不同的三维人脸模型；

投影模块，用于将所述三维人脸模型分别投影为二维人脸图像；

图像分割模块，用于根据所述三维人脸模型与所述二维人脸图像之间的投影关系，以及所述可形变人脸模型中每个数据坐标点表示的人脸部位，对所述二维人脸图像进行分割处理。

7.根据权利要求6所述的人脸分割装置，其特征在于，所述模型构建模块包括：

映射单元，用于将所述预先采集的三维人脸点云数据，映射至所述可形变人脸模型的拓扑空间中，得到目标人脸数据；

构建单元，用于根据所述目标人脸数据，得到构成所述可形变人脸模型的均值人脸模型、形状基向量和表情基向量。

8.根据权利要求7所述的人脸分割装置，其特征在于，所述映射单元包括：

第一获取子单元，用于获取预先采集的M个人物的三维人脸的第一点云数据；其中，所述第一点云数据包括所述M个人物中每个人物的N个表情的点云数据和无表情的点云数据；

第一映射子单元，用于将所述第一点云数据映射至所述拓扑空间中，得到所述目标人脸数据；

所述构建单元包括：

第一提取子单元，用于提取所述目标人脸数据中M个人物的无表情人脸数据的形状特征数据；

第一构建子单元，用于根据所述形状特征数据，得到所述均值人脸模型和所述形状基向量；

第一处理子单元，用于根据所述目标人脸数据，得到所述N个表情中的每个表情的均值人脸数据；

第二提取子单元，用于提取每个表情的均值人脸数据中的表情特征数据；

第二构建子单元，用于根据所述表情特征数据，得到所述表情基向量。

9.根据权利要求7所述的人脸分割装置，其特征在于，所述映射单元包括：

第二获取子单元，用于获取预先采集的M个无表情三维人脸的第二点云数据；

第二映射子单元，用于将所述第二点云数据映射至所述拓扑空间中，得到所述目标人脸数据；

所述构建单元包括：

第三提取子单元，用于提取所述目标人脸数据中的形状特征数据；

第三构建子单元，用于根据所述形状特征数据，得到所述均值人脸模型和所述形状基向量；

建模子单元，用于对所述均值人脸模型进行N个不同表情的形变建模，得到叠加表情模型；

第四构建子单元，用于将所述叠加表情模型与所述均值人脸模型进行线性相减，得到所述表情基向量。

10.根据权利要求6所述的人脸分割装置，其特征在于，所述投影模块包括：

添加单元，用于为每个所述三维人脸模型分别添加预设人脸配饰和/或预设场景信息；其中，所述预设场景信息包括：背景信息和光照信息中的至少一个；

投影单元，用于将添加所述预设人脸配饰和/或所述预设场景信息的三维人脸模型，分别投影为所述二维人脸图像。

Images