CN116740102A - 一种基于测地循环的流形人脸网格分割与提取方法 - Google Patents

Abstract

本发明涉及一种基于测地循环的流形人脸网格分割与提取方法，包括：获取流形人脸网格，定义所述流形人脸网格中的特征点以及所述特征点之间的连接关系，根据所述连接关系计算测地线；对所述测地线的路径点进行距离判断，将判断后的所述路径点进行内边分类，获取含有内边的三角形，重三角化所述含有内边的三角形，更新所述流形人脸网格；对更新后所述流形人脸网格进行组合划分，获取测地循环，根据所述测地循环，构造并迭代半边边界，提取所述测地循环所包围的三角形，完成人脸网格分割。本发明中人脸网格分割与提取的边界光滑可控，且是流形的人脸网格分割结果，并且能够通过不同的测地循环组合得到任意的网格分割，从而灵活的表达人脸特征。

Description

一种基于测地循环的流形人脸网格分割与提取方法

技术领域

本发明涉及计算机图形学与数字几何处理技术领域，特别是涉及一种基于测地循环的流形人脸网格分割与提取方法

背景技术

人脸网格分割是将一整个人脸网格划分为不同部分的过程，其主要目标是将网格中的元素划分到不同的分割中，如眼睛，耳朵，鼻子等。这样的一些分割结果可以为生物信息学中对人脸的相关研究提供一类表型数据。网格分割方法可以分为自动分割和手动分割，自动分割方法通常是通过网格本身的几何属性决定网格元素所属于的分割类别，如曲率、凹凸性、极值等。随着深度学习的快速发展，这些自动分割方法也发展迅速。但是自动分割的结果是不灵活的，分割区域是不可控的，无法灵活的提取网格中的指定部分。手动分割方法虽然可以灵活的控制分割，但是分割的边界通常也是基于几何属性求解的，从而导致分割边界存在锯齿状。

在上述的分割方法中，一般都是在分割算法执行的过程中对网格元素打标签来划分到不同的分割当中，比如k-means聚类算法直接将种子点附近满足条件的相邻顶点加入同一个分割，分水岭算法将满足一定几何属性(如曲率下降方向)的顶点或面加入同一个分割。

自动分割方法通常会生成与人眼直观相违背的分割，此外，这些分割算法一般不涉及更改原始网格的拓扑结构(包括顶点、三角形数量等)，导致网格的分割边界通常是锯齿状的，不光滑的。综上所述，一种手动的、灵活可控的、边界光滑的人脸网格分割与提取方法是有必要的。

发明内容

本发明的目的是提供了一种基于测地循环的流形人脸网格分割与提取方法，能够灵活表示人脸网格中的任意部分，边界光滑且能维持流形网格属性的三维人脸网格分割和提取。

为实现上述目的，本发明提供了如下方案：

一种基于测地循环的流形人脸网格分割与提取方法，包括：

获取流形人脸网格，定义所述流形人脸网格中的特征点以及所述特征点之间的连接关系，根据所述连接关系计算测地线；

对所述测地线的路径点进行距离判断，将判断后的所述路径点进行内边分类，获取含有内边的三角形，重三角化所述含有内边的三角形，更新所述流形人脸网格；

对更新后所述流形人脸网格进行组合划分，获取测地循环，根据所述测地循环，构造并迭代半边边界，提取所述测地循环所包围的三角形，完成人脸网格分割。

可选地，对所述测地线的路径点进行距离判断包括：

通过快速最近邻算法搜索所述流形人脸网格中距离所述路径点最近的网格顶点，若所述路径点和所述顶点之前的距离小于预设距离，则合并为同一个顶点，若所述路径点和所述顶点之前的距离大于所述预设距离，则将所述路径点作为新顶点添加到所述流形人脸网格。

可选地，对判断后的所述路径点进行内边分类包括：

所述路径点和所述顶点之间的线段，并通过搜索p_i的k近邻的1-邻域三角形，获取包含所述线段的三角形，对所述三角形进行内边分类，若所述线段在所述三角形的内部，则所述线段为所述三角形的内边，若所述线段属于所述三角形边长的一部分，则所述线段为所述三角形的松弛内边，若所述线段和所述三角形有且只一个交点，则所述线段为所述三角形的交叉边，若所述线段和所述三角形存在两个交点，则所述线段为所述三角形的不相关边。

可选地，对判断后的所述路径点进行内边分类还包括：

分别确定所述不相关边和所述交叉边：

将所述不相关边划分为所述三角形的内边、松弛内边或交叉边，根据所述交叉边与所述三角形的交点，将所述交点作为新顶点添加到所述流形人脸网格，并将所述交叉边划分为第一子边和第二子边，重新对所述第一子边和所述第二子边进行分类，直到所述第一子边和第二子边划分为所述内边和所述松弛内边。

可选地，重三角化所述含有内边的三角形包括：

遍历所述流形人脸网格中的所有三角形，若所述三角形不包含内边，则将所述三角形添加到更新后的所述流形人脸网格，若所述三角形包含内边，则对所述三角形重三角化，生成新三角形，将所述内边作为新三角形边长。

可选地，对所述三角形重三角化，生成新三角形，将所述内边作为新三角形边长包括：

获取所述内边的端点，所述的端点包括：第一端点和第二端点；

对所述第一端点和所述第二端点分别进行三角形顶点判断，若所述第一端点位于所述三角形的顶点，则不生成新三角形，若所述第一端点位于所述三角形的边长上，则获取所述边长的对点，生成与所述三角形同方向的新三角形，若所述第一端点位于所述三角形的内部，则生成与所述三角形同方向的新三角形；若所述第二端点位于所述新三角形的顶点，则不生成新三角形，若所述第二端点位于所述新三角形的共享边，则对包含所述共享边的三角形重新构造三角形；若所述第二端点位于非共享边，则对单独的三角形重新构造；若所述第二端点位于所述新三角形内部，则对所述新三角形重新构造。

可选地，根据所述测地循环，构造所述半边边界包括：

提取所述测地循环的顶点和末端顶点，查询所述顶点的所有半边，若所述半边的结束顶点与所述末端顶点，则将所述半边添加到边界半边列表，并进行标记。

可选地，迭代半边边界包括：

步骤1.从所述边界半边列表中提取半边，并提取对应的三角形；

步骤2.若所述半边的下一条半边为未被标记并不在更新后所述流形人脸网格的边界上，则将所述下一条半边和所述孪生半边添加到新边界半边列表，并进行标记；

步骤3.从所述新边界半边列表重复步骤1-2，直到所述新边界半边列表为空。

本发明的有益效果为：

本发明针对三维人脸网格分割方法中存在的不能灵活表达人脸网格中的任意部位或组合、边界不光滑的缺点，提出了一种高效可控的人脸网格分割与提取方法，从而得到边界光滑可控，且是流形的人脸网格分割结果，并且能够通过不同的测地循环组合得到任意的网格分割，从而灵活的表达人脸特征。

本发明通过对同一类人脸模型上定义的一组测地线和测地循环，就可以批量的、快速的完成大量的人脸网格分割任务，对于具有5万个三角面片的网格，完成分割所花费的时间平均不过0.5s，对于具有35万个三角面片的网格，也只需要大约2.5s的时间即可完成分割与提取。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的边界呈现锯齿状的人脸分割示意图；

图2为本发明实施例的分割边界示意图；其中，图2(a)为最短路径产生的锯齿状分割边界示意图，图2(b)为测地线产生的光滑的分割边界示意图；

图3为本发明实施例的边分类示意图；

图4为本发明实施例的使用一条内边(D，E)构造新三角形示意图；

图5为本发明实施例的添加测地线到网格示意图；

图6为本发明实施例的半边hf和相关数据示意图；

图7为本发明实施例的封闭边界与子网格提取示意图；

图8为本发明实施例的三维人脸分割与灵活的人脸表型示意图；

图9为本发明实施例的一种基于测地循环的流形人脸网格分割与提取方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

目前存在很多针对人脸表型和基因的关联研究，其中使用的人脸表型都是通过k-means聚类算法，从一些种子点开始将网格中的附近顶点加入到同一个分割中作为表型，而这样生成的人脸表型边界通常是不可控的，是不光滑的，不能灵活的表示人脸网格中的任意部分，因此对于人脸特征的表达能力是不足的。

如图1-2所示，现有的子网格提取技术大部分都是通过网格分割中对每个网格元素贴上的标签来提取的，是人不可控的。这样的分割不会改变网格的原始拓扑结构，从而会导致分割的边界存在锯齿状，或是破坏掉原有网格的属性来维持光滑边界(如流形网格变为非流形网格)。锯齿状的分割边界导致分割结果不美观，而失去原有的流形网格属性会导致大量数字几何处理算法无法使用。因此，一种可以灵活表示人脸网格中的任意部分，边界光滑且能维持流形网格属性的三维人脸网格分割和提取方法是需要的。

本发明要解决的问题是对流形人脸网格的灵活的、具有光滑边界的分割。目前存在很多三维人脸模型的数据集，如FaceScape[2]提供了大量质量良好的流形人脸网格。

如图9所示，对于人脸分割，首先定义一组人脸网格上的特征点l₀，l₁，…，l_n，这些特征点可以通过顶点拾取来获得。接着定义一组特征点之间的连接关系如{(l₀，l₁)，(l₀，l₂)，…}，并根据连接关系计算测地线来描述网格中光滑分割边界的一部分。最后通过测地线的组合构成封闭的测地循环来描述一个具体的分割并提取出子网格。

计算二维流形人脸网格中测地线，并将测地线的每一段分类为一个三角形的内边。

首先，根据特征点之间的连接关系使用FlipOut算法计算网格上的测地线，给出两个顶点即可计算一条流形网格上的测地线，该测地线由一组三维空间中的有序坐标点构成。测地线上的每一个路径点都位于流形人脸二维网格曲面上。对于每一个路径点p_i，本实施例使用快速最近邻算法(Flann)搜索网格中距离路径点最近的网格顶点v_i，如果这两个点之间的距离小于1^-10，则合并为同一个顶点，即p_i＝v_i。否则，p_i将作为新顶点添加到二维流形人脸网格中。

当所有路径点都添加到网格之后，按照测地线的方向依次对两个点之间的线段edge＝(p_i，p_i+1)进行分类：

找出包含线段edge的三角形，通过搜索p_i的k近邻的1-邻域三角形来完成。如果p_i是原始网格的顶点，则k＝1。对于线段edge的全部三角形，如果p_i，p_i+1在同一个三角形内部，则edge是这个三角形的内边；如果edge属于三角形边的一部分，则edge是三角形的松弛内边。如果edge和三角形有且只一个交点，则edge是三角形的交叉边；如果p_i，p_i+1都在三角形的外部或edge和三角形存在两个交点，则edge与三角形是不相关边。

将一条不相关边分类为一个三角形的内边、松弛内边或交叉边。对于一条交叉边，本实施例根据与三角形的交点将这条边分为两个子边，并将交点作为新顶点添加到网格中。对这两个子边重新分类，直到所有子边都成为内边或松弛内边。

如果有多条测地线，则重复这一步多次，从而将所有测地线的所有分段都分类为三角形的内边或松弛内边，如图3所示。

根据三角形的内边信息重三角化，使得流形三角网格在添加测地线后仍然是流形网格。

遍历网格中的所有三角形，如果一个三角形不包含内边，则将这个三角形添加到最终网格(包含新顶点和边的更新后的流形人脸网格。如果一个三角形不包含内边，即内部没有新顶点和边，则不需要处理即可作为最终网格中的一个三角形)中。否则对这个三角形重三角化，使得这条内边(即测地线子段)成为新三角形中的边。

三角形重三角化的具体步骤：

首先对于这个三角形Δ_ABC(此三角形是包含一条或多条内边的且未被处理过的三角形，是初始输入的流形三角网格中的其中一个三角形。)，取一条内边，这条内边的端点(D，E)。对于端点D，如果D位于三角形的顶点上，则不增加三角形；如果D位于三角形的一条边(P，Q)上，则得到这条边的对点O，构成与三角形Δ_ABC同方向的新三角形{Δ_DoP，Δ_DQO}；如果D位于三角形的内部，则构成与三角形Δ_ABC同方向的新三角形{Δ_DAB，Δ_DBC，Δ_DCA}。

对于端点E，如果E位于新三角形的顶点上，则E不构成新三角形；如果E位于新三角形的共享边上，则对共享边的两个三角形重新构造三角形；如果E位于非共享边上，则仅对一个三角形重新构造；如果E位于一个新三角形内部，则这个三角形重新构造。具体的构造方法与端点D的处理相同。至此，对一条内边的处理结束，如图4所示。

由于三角形Δ_ABC在内边(D，E)的处理过程中被替换，它的其余内边需要被重新分类，与1)部分的分类方法相同。当所有内边都被重新分类后，再取一条内边并重三角化。重复这一过程直到Δ_ABC的所有内边都被处理。

至此，测地线已经完全添加到网格中，测地线的每一子段都是新三角形中的一条边，因此网格仍然是流形的，如图5。

对于添加到流形人脸网格中的每一条测地线，都是根据特征点的连接关系计算得到，如对应关系(l₀，l₁)计算出的一条测地线，可以用g_0，1和g_1，0分别描述从特征点l₀出发到l₁方向的测地线和从l₁出发到l₀方向的反向测地线。从而可以根据测地线方向首尾相接的方式组合在一起构成封闭的测地循环，如测地循环{g_0，1，g_1，2，g_2，0}，描述了从l₀到l₁，l₁到l₂，最后l₂到l₀的三条测地线完成的封闭循环。

根据测地线方向首位相接构建封闭循环，构成一个封闭的测地循环，从而切割并提取出由测地循环所包围的子网格。

将已经添加到网格中的测地线组合成封闭的测地循环，通过半边数据结构查询与测地循环中分段方向一致的半边，构成封闭边界。通过半边指向的三角形，即可提取出这个子网格最外层的所有三角形。根据提取的三角形的除外层边界外的两条半边，可以通过其孪生半边构造出内侧的边界，从而可以继续向内部提取一层三角形。具体方法如下：

通过三角网格中的一条有向半边hf，查询到这条半边的起始顶点索引(start)、结束顶点索引(end)，邻接面索引(face)、下一条半边hf→next和孪生半边hf→twin，如图6所示。

对于由测地线构成的测地循环中的顶点(v₀，v₁，v₂，…，v_k，…，v_n)；

构造并迭代半边边界包括：

第一步，构造由半边组成的边界：

取其中一段(v_i，v_j)，查询v_i顶点的所有半边hf_edges，如果找到半边hf的结束顶点end与v_j相同，则将hf添加到边界半边列表中，并将hf标记为已使用。

从i＝0循环上一步到i＝n-1，此时测地循环被边界半边列表表示，并且这些半边被标记为已使用。

第二步，迭代的提取子网格：

从边界半边列表中取出一条半边hf，并提取对应的三角形(face)；

如果hf→next没有被使用过并且不在网格的边界上，则将hf→next的孪生半边hf→next→twin添加到新的边界半边列表，并将这两条半边标记为已使用；

如果hf→next→next没有被使用过并且不在更新后的流形人脸网格的边界上(即存在孪生半边)的边界上，则将hf→next→next的孪生半边hf→next→next→twin添加到新的边界半边列表，并将这两条半边标记为已使用；

重复上面三步直到边界半边列表中的所有半边都被处理。

如果新的边界半边列表为空，则结束算法；否则用新的边界半边列表替换旧的边界半边列表，并重复以上过程。

通过这两个步骤，就可以提取出由测地循环所包围的子网格中的全部三角形，从而完成分割的提取任务，如图7所示。

如图8所示，三维人脸分割与灵活的人脸表型表示。图中的圆点是定义在人脸上的特征点，两个圆点之间的线是预先定义的特征点对之间的测地线。通过一种测地线的组合方式构成测地循环，从而产生右图中的边界光滑的人脸分割结果。通过灵活的控制测地线的组合，从而可以灵活的分割和提取人脸网格中的任何部位。

以上所述的实施例仅是对本发明优选方式进行的描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (8)

1.一种基于测地循环的流形人脸网格分割与提取方法，其特征在于，包括：

获取流形人脸网格，定义所述流形人脸网格中的特征点以及所述特征点之间的连接关系，根据所述连接关系计算测地线；

对所述测地线的路径点进行距离判断，将判断后的所述路径点进行内边分类，获取含有内边的三角形，重三角化所述含有内边的三角形，更新所述流形人脸网格；

对更新后所述流形人脸网格进行组合划分，获取测地循环，根据所述测地循环，构造并迭代半边边界，提取所述测地循环所包围的三角形，完成人脸网格分割。

2.根据权利要求1所述的基于测地循环的流形人脸网格分割与提取方法，其特征在于，对所述测地线的路径点进行距离判断包括：

通过快速最近邻算法搜索所述流形人脸网格中距离所述路径点最近的网格顶点，若所述路径点和所述顶点之前的距离小于预设距离，则合并为同一个顶点，若所述路径点和所述顶点之前的距离大于所述预设距离，则将所述路径点作为新顶点添加到所述流形人脸网格。

3.根据权利要求2所述的基于测地循环的流形人脸网格分割与提取方法，其特征在于，对判断后的所述路径点进行内边分类包括：

所述路径点和所述顶点之间的线段，并通过搜索p_i的k近邻的1-邻域三角形，获取包含所述线段的三角形，对所述三角形进行内边分类，若所述线段在所述三角形的内部，则所述线段为所述三角形的内边，若所述线段属于所述三角形边长的一部分，则所述线段为所述三角形的松弛内边，若所述线段和所述三角形有且只一个交点，则所述线段为所述三角形的交叉边，若所述线段和所述三角形存在两个交点，则所述线段为所述三角形的不相关边。

4.根据权利要求3所述的基于测地循环的流形人脸网格分割与提取方法，其特征在于，对判断后的所述路径点进行内边分类还包括：

分别确定所述不相关边和所述交叉边：

将所述不相关边划分为所述三角形的内边、松弛内边或交叉边，根据所述交叉边与所述三角形的交点，将所述交点作为新顶点添加到所述流形人脸网格，并将所述交叉边划分为第一子边和第二子边，重新对所述第一子边和所述第二子边进行分类，直到所述第一子边和第二子边划分为所述内边和所述松弛内边。

5.根据权利要求1所述的基于测地循环的流形人脸网格分割与提取方法，其特征在于，重三角化所述含有内边的三角形包括：

遍历所述流形人脸网格中的所有三角形，若所述三角形不包含内边，则将所述三角形添加到更新后的所述流形人脸网格，若所述三角形包含内边，则对所述三角形重三角化，生成新三角形，将所述内边作为新三角形边长。

6.根据权利要求5所述的基于测地循环的流形人脸网格分割与提取方法，其特征在于，对所述三角形重三角化，生成新三角形，将所述内边作为新三角形边长包括：

获取所述内边的端点，所述的端点包括：第一端点和第二端点；

对所述第一端点和所述第二端点分别进行三角形顶点判断，若所述第一端点位于所述三角形的顶点，则不生成新三角形，若所述第一端点位于所述三角形的边长上，则获取所述边长的对点，生成与所述三角形同方向的新三角形，若所述第一端点位于所述三角形的内部，则生成与所述三角形同方向的新三角形；若所述第二端点位于所述新三角形的顶点，则不生成新三角形，若所述第二端点位于所述新三角形的共享边，则对包含所述共享边的三角形重新构造三角形；若所述第二端点位于非共享边，则对单独的三角形重新构造；若所述第二端点位于所述新三角形内部，则对所述新三角形重新构造。

7.根据权利要求1所述的基于测地循环的流形人脸网格分割与提取方法，其特征在于，根据所述测地循环，构造所述半边边界包括：

提取所述测地循环的顶点和末端顶点，查询所述顶点的所有半边，若所述半边的结束顶点与所述末端顶点，则将所述半边添加到边界半边列表，并进行标记。

8.根据权利要求7所述的基于测地循环的流形人脸网格分割与提取方法，其特征在于，迭代半边边界包括：

步骤1.从所述边界半边列表中提取半边，并提取对应的三角形；

步骤2.若所述半边的下一条半边为未被标记并不在更新后所述流形人脸网格的边界上，则将所述下一条半边和所述孪生半边添加到新边界半边列表，并进行标记；

步骤3.从所述新边界半边列表重复步骤1-2，直到所述新边界半边列表为空。