CN104599325A

CN104599325A - 一种三维人脸重采样方法

Info

Publication number: CN104599325A
Application number: CN201310525688.0A
Authority: CN
Inventors: 肖泉; 韩丽华
Original assignee: Suzhou Institute of Nano Tech and Nano Bionics of CAS
Current assignee: Suzhou Institute of Nano Tech and Nano Bionics of CAS
Priority date: 2013-10-30
Filing date: 2013-10-30
Publication date: 2015-05-06
Anticipated expiration: 2033-10-30
Also published as: CN104599325B

Abstract

本发明提供了一种三维人脸重采样方法，通过提取所述标准三维人脸和目标三维人脸的特征点，并利用所述特征点对所述标准三维人脸和目标三维人脸进行几何剖分，并以所述标准三维人脸为参考，采用仿生拓扑变形方法，完成所述目标三维人脸的尺度归一化和维数归一化，再利用所述标准三维人脸的几何结构特征及曲面光滑特性，对所述目标三维人脸进行噪声点检测，并对所述目标三维人脸进行去噪处理，完成对所述目标三维人脸的重采样。本发明提供的三维人脸重采样方法，利用了现有的特征点提取方法和网格划分方法自动的提取特征点，实现人脸的几何剖分，自动化程度高。

Description

一种三维人脸重采样方法

【技术领域】

本发明涉及图像处理技术领域，尤其涉及一种三维人脸重采样方法。

【背景技术】

近年来，三维人脸重建及三维人脸识别技术得到越来越多的关注，并逐渐成为模式识别领域中的热点研究问题。在进行人脸重建或识别的过程中，三维人脸的数据归一化及人脸特征对齐是至关重要的。然而，在实际过程中由于人脸的个体差异性，利用三维扫描仪等采集设备获得的三维人脸数据不仅特征没有对齐，而且数据点的数目往往也存在较大差别。因此，在三维人脸重建、识别之前应首先进行人脸重采样处理来解决数据归一化及特征对齐等问题。。

目前，针对三维人脸重采样主要有光流法和基于网格重采样的方法。其中，基于光流及其改进的方法，其前提是假设认为两幅图像之间光流的变化是连续的，因而该方法对于比较相像的图像效果较好，但是当两幅图像差别较大时，会导致计算结果存在较大误差；基于网格重采样的方法将人脸进行几何剖分，对每一剖分区域进行相同的重采样处理，首先对人脸使用统一的网格进行分块，然后对每一面块进行重采样处理；此外，在此基础上又发展了基于非均匀网格重采样的方法，通过分析人脸不同区域的曲率信息来描述人脸形状的复杂性进行非均匀网格重采样，该方法采样密度依赖于曲率，曲率大的面块采样密集，反之则面块采样稀疏。

以上方法能够取得比较好的重采样效果，但也存在无法克服的缺点：网格的采样密度依赖于曲率，因此需要计算脸部的曲率信息，对人脸进行重采样时，需要统计区域网格的边长等信息，计算复杂度高；整个过程需要细致熟练的手工工作，操作复杂，无法实现自动化。

因此，减少手工操作，降低计算复杂度以及提高对齐精度是三维人脸重采样需要解决的关键问题。

【发明内容】

本发明的目的在于提供一种三维人脸重采样方法，通过该方法能够实现三维人脸重采样，其自动化程度高，简化了计算复杂程度，提高了对齐精度。

为实现上述目的，本发明采用下述技术方案：

一种三维人脸重采样方法，包括下述步骤：

选取标准三维人脸；

获取待识别的目标三维人脸，并将所述目标三维人脸格式转换为所述标准三维人脸格式；

提取所述标准三维人脸和目标三维人脸的特征点，并利用所述特征点对所述标准三维人脸和目标三维人脸进行几何剖分；

以所述标准三维人脸为参考，采用仿生拓扑变形方法，完成所述目标三维人脸的尺度归一化；

以所述标准三维人脸为参考，采用仿生拓扑变形方法，完成所述目标三维人脸的维数归一化；

利用所述标准三维人脸的几何结构特征及曲面光滑特性，对所述目标三维人脸进行噪声点检测；

对所述目标三维人脸进行去噪处理；

完成对所述目标三维人脸的重采样。

优选地，其中，在选取标准三维人脸后还包括下述步骤：

对所述标准三维人脸进行预处理，所述预处理包括尺度调整和抑制噪声点。

优选地，提取所述标准三维人脸和目标三维人脸的特征点，并利用所述特征点对所述标准三维人脸和目标三维人脸进行几何剖分，具体包括下述步骤：

将所述标准三维人脸和所述目标三维人脸投影至柱面坐标系；

根据人脸五官分布特点，在上述二维纹理图像上分别提取所述标准三维人脸和所述目标三维人脸的特征点；

利用所述特征点对所述标准三维人脸和目标三维人脸进行几何剖分，并标记序号。

优选地，以所述标准三维人脸为参考，采用仿生拓扑变形方法，完成所述目标三维人脸的尺度归一化，具体包括下述步骤：

计算所述标准三维人脸与所述目标三维人脸的眼间距之比值，并将所述比值作为尺度缩放因子，实现所述目标三维人脸的尺度归一化。

优选地，以所述标准三维人脸为参考，采用仿生拓扑变形方法，完成所述目标三维人脸的维数归一化，具体包括下述步骤：

遍历所述目标三维人脸所有顶点，判断所述顶点是否在三角形的内部，获得所述顶点所隶属三角面片序号；

遍历所述目标三维人脸所有顶点，采用三角形坐标系变形方法实现人脸特征对齐；

以所述标准三维人脸为参考，遍历所述目标三维人脸顶点，获得与所述标准三维人脸的最佳匹配点，并标记该点；及

剔除所述目标三维人脸中未作标记的点，完成所述目标三维人脸的维数归一化。

优选地，遍历所述目标三维人脸所有顶点，采用三角形坐标系变形方法实现人脸特征对齐，具体包括下述步骤：

获取三角形坐标系数，并满足以下关系：(C-P)k₁+P＝(A-B)k₂+B，A＝[A_x,A_y]、B＝[B_x,B_y]、C＝[C_x,C_y]分别表示三角形的顶点坐标，P＝[P_x,P_y]表示目标点坐标，k₁、k₂为P对应的三角形坐标系数，其中，

\{\begin{matrix} k_{1} = \frac{(A_{x} - B_{x}) (B_{y} - P_{y}) - (A_{y} - B_{y}) (B_{x} - P_{x})}{(A_{x} - B_{x}) (C_{y} - P_{y}) - (A_{y} - B_{y}) (C_{x} - P_{x})} \\ k_{2} = \frac{(C_{x} - P_{x}) (P_{y} - B_{y}) - (C_{y} - P_{y}) (P_{x} - B_{x})}{(A_{y} - B_{y}) (C_{x} - P_{x}) - (A_{x} - B_{x}) (C_{y} - P_{y})} \end{matrix};

根据经变形后新的三角形顶点坐标再经过反变换，得到变形后的坐标点，并满足以下关系：P'＝αA'+βB'+(1-α-)βC'，A'＝[A'_x,A'_y]、B'＝[B'_x,B'_y]、C'＝[C'_x,C'_y]分别表示经变形后新的三角形顶点坐标，P'＝[P_x',P_y']表示经三角变形后的坐标，参数α、β则由三角坐标系数k₁、k₂惟一确定，其中，

α = \frac{k_{2}}{1 - k_{1}}, β = \frac{1 - k_{2}}{1 - k_{1}} .

优选地，以所述标准三维人脸为参考，遍历所述目标三维人脸顶点，获得与所述标准三维人脸的最佳匹配点，并标记该点，具体包括下述步骤：

采用最小欧式距离作为匹配方式，在三角形坐标系下，对标准人脸的每一个点，采用下述匹配公式在目标人脸相同标号的三角形面片内找到最佳匹配点，其中，所述匹配公式为：

i＝1,2,...,N,t＝1,2,...,M，其中，为标准人脸上第j个点，该点位于第t个三角形面片内，为目标人脸上的点。

优选地，利用所述标准三维人脸的几何结构特征及曲面光滑特性，对所述目标三维人脸进行噪声点检测，具体包括下述步骤：

采用下述构造公式，比较所述目标三维人脸与所述标准三维人脸局部梯度差异，若所述局部梯度差异度超过阈值，则判断当前点为噪声点，所述构造公式为：

C_{i} = \{\begin{matrix} 1, & | &dtri; P_{i}^{obj} - &dtri; P_{i}^{ref} | &GreaterEqual; ϵ \\ 0, & else \end{matrix},

其中，c_i表示当前数据点i是否为噪声点，为目标三维人脸的局部梯度值，为标准三维人脸的局部梯度值，|·|为取绝对值，ε为阈值。

优选地，所述阈值参数ε取值范围为0.02～0.03。

优选地，对所述目标三维人脸进行去噪处理，具体包括下述步骤：

对当前噪声点采用低通滤波方法，通过当前点与其邻域点进行加权平均实现去噪。

优选地，所述邻域大小为5*5或7*7。

采用上述技术方案，本发明的有益效果在于：

本发明提供的三维人脸重采样方法，通过提取所述标准三维人脸和目标三维人脸的特征点，并利用所述特征点对所述标准三维人脸和目标三维人脸进行几何剖分，并以所述标准三维人脸为参考，采用仿生拓扑变形方法，完成所述目标三维人脸的尺度归一化和维数归一化，再利用所述标准三维人脸的几何结构特征及曲面光滑特性，对所述目标三维人脸进行噪声点检测，并对所述目标三维人脸进行去噪处理，完成对所述目标三维人脸的重采样。本发明提供的三维人脸重采样方法，利用了现有的特征点提取方法和网格划分方法自动的提取特征点，实现人脸的几何剖分，自动化程度高；同时，由于对特征点的提取是根据人脸的几何结构分布，而无需计算面部的曲率，剖分网格的边长等信息，从而降低了计算的复杂程度；另外，采用仿生拓扑变形技术能够一次完成所有点的对齐操作，无需迭代运算，进一步提高了计算的效率，保证了重采样过程的收敛性。

【附图说明】

图1为本发明提供的三维人脸重采样方法的步骤流程图；

图2为本发明实施例提供的标准三维人脸结构示意图；

图3为本发明实施例提供的待识别的目标三维人脸；

图4为本发明一较佳实施例提供的利用所述特征点对所述标准三维人脸和目标三维人脸进行几何剖分的步骤流程图；

图5A及图5B分别为本发明一较佳实施例提供的标准三维人脸和目标三维人脸的几何剖分的结构示意图；

图6为本发明一较佳实施例提供的对目标三维人脸的维数归一化的步骤流程图；

图7为本发明一较佳实施例提供的采样后目标三维人脸维结构示意图。

【具体实施方式】

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在申请文件中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

请参阅图1，图1为本发明实施例提供的三维人脸重采样方法的步骤流程图100，从图1中可见，三维人脸重采样方法100包括下述步骤：

步骤S110：选取标准三维人脸；

优选地，在本实施例所用三维人脸数据库为北京工业大学BJUT_3D数据库，该数据库由Cyberware3030RGB/PS激光扫描仪获得，包括男女共500（男250，女250）个中性表情的3D人脸数据。

优选地，在选取标准三维人脸后还包括对所述标准三维人脸进行预处理，所述预处理包括尺度调整和抑制噪声点。

具体的，在BJUT_3D人脸数据库中选择一个效果最好的三维人脸并对所选人脸进行尺度调整、抑制噪声点等预处理，得到标准三维人脸，所述标准三维人脸信息包括像素数，三维点坐标和纹理值。请参阅图2为本发明实施例提供的标准三维人脸结构示意图。

步骤S120：获取待识别的目标三维人脸，并将所述目标三维人脸格式转换为所述标准三维人脸格式；

请参阅图3，图3为本发明实施例提供的待识别的目标三维人脸。

步骤S130：提取所述标准三维人脸和目标三维人脸的特征点，并利用所述特征点对所述标准三维人脸和目标三维人脸进行几何剖分；

优选地，请参阅图4，图4为本发明一较佳实施例提供的利用所述特征点对所述标准三维人脸和目标三维人脸进行几何剖分的步骤流程图，包括下述步骤：

步骤S131：将所述标准三维人脸和所述目标三维人脸投影至柱面坐标系；

步骤S132：根据人脸五官分布特点，在上述二维纹理图像上分别提取所述标准三维人脸和所述目标三维人脸的特征点；

步骤S133：利用所述特征点对所述标准三维人脸和目标三维人脸进行几何剖分，并标记序号。

具体地，所述人脸特征特征提取包括特征点提取方法的选择和特征点个数的设置；所述的人脸几何区域剖分包括几何剖分方法的选择和剖分区域形状的设置。

优选的，所述人脸特征点提取方法为手动方法，特征点个数为26；人脸特征区域剖分方法为手动方法，剖分后的标准三维人脸和目标三维人脸如图5A及图5B所示。

步骤S140：以所述标准三维人脸为参考，采用仿生拓扑变形方法，完成所述目标三维人脸的尺度归一化；

步骤S150：以所述标准三维人脸为参考，采用仿生拓扑变形方法，完成所述目标三维人脸的维数归一化；

优选地，请参阅图6，图6为本发明一较佳实施例提供的对目标三维人脸的维数归一化的步骤流程图，包括下述步骤：

步骤S151：遍历所述目标三维人脸所有顶点，判断所述顶点是否在三角形的内部，获得所述顶点所隶属三角面片序号；

步骤S152：遍历所述目标三维人脸所有顶点，采用三角形坐标系变形方法实现人脸特征对齐；

优选地，遍历所述目标三维人脸所有顶点，采用三角形坐标系变形方法实现人脸特征对齐，包括下述步骤：

\{\begin{matrix} k_{1} = \frac{(A_{x} - B_{x}) (B_{y} - P_{y}) - (A_{y} - B_{y}) (B_{x} - P_{x})}{(A_{x} - B_{x}) (C_{y} - P_{y}) - (A_{y} - B_{y}) (C_{x} - P_{x})} \\ k_{2} = \frac{(C_{x} - P_{x}) (P_{y} - B_{y}) - (C_{y} - P_{y}) (P_{x} - B_{x})}{(A_{y} - B_{y}) (C_{x} - P_{x}) - (A_{x} - B_{x}) (C_{y} - P_{y})} \end{matrix};

α = \frac{k_{2}}{1 - k_{1}}, β = \frac{1 - k_{2}}{1 - k_{1}} .

步骤S153：以所述标准三维人脸为参考，遍历所述目标三维人脸顶点，获得与所述标准三维人脸的最佳匹配点，并标记该点；

可以理解，对于遍历的所有点，通过采用上述匹配公式可以计算得到最佳的匹配点。

步骤S154：剔除所述目标三维人脸中未作标记的点，完成所述目标三维人脸的维数归一化。

步骤S160：利用所述标准三维人脸的几何结构特征及曲面光滑特性，对所述目标三维人脸进行噪声点检测；

C_{i} = \{\begin{matrix} 1, & | &dtri; P_{i}^{obj} - &dtri; P_{i}^{ref} | &GreaterEqual; ϵ \\ 0, & else \end{matrix}

优选地，所述阈值参数ε取值范围为0.02～0.03。

步骤S170：对所述目标三维人脸进行去噪处理；

优选地，对所述目标三维人脸进行去噪处理，具体包括下述步骤：对当前噪声点采用低通滤波方法，通过当前点与其邻域点进行加权平均实现去噪。

优选地，所述邻域大小为5*5或7*7。可以理解，所述邻域大小设为为5*5，7*7只是其中的较佳实施方式，实际中还可以选择更大的邻域。

步骤S180：完成对所述目标三维人脸的重采样。

经上述步骤后，将重采样计算结果保存并且输出得到如图7所示的采样后目标三维人脸维结构示意图。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims

1.一种三维人脸重采样方法，其特征在于，包括下述步骤：

选取标准三维人脸；

对所述目标三维人脸进行去噪处理；及

完成对所述目标三维人脸的重采样。

2.根据权利要求1所述的三维人脸重采样方法，其特征在于，其中，在选取标准三维人脸后还包括下述步骤：

3.根据权利要求1所述的三维人脸重采样方法，其特征在于，提取所述标准三维人脸和目标三维人脸的特征点，并利用所述特征点对所述标准三维人脸和目标三维人脸进行几何剖分，具体包括下述步骤：

4.根据权利要求1所述的三维人脸重采样方法，其特征在于，以所述标准三维人脸为参考，采用仿生拓扑变形方法，完成所述目标三维人脸的尺度归一化，具体包括下述步骤：

5.根据权利要求1所述的三维人脸重采样方法，其特征在于，以所述标准三维人脸为参考，采用仿生拓扑变形方法，完成所述目标三维人脸的维数归一化，具体包括下述步骤：

6.根据权利要求5所述的三维人脸重采样方法，其特征在于，遍历所述目标三维人脸所有顶点，采用三角形坐标系变形方法实现人脸特征对齐，具体包括下述步骤：

获取三角形坐标系数，并满足以下关系：(C-P)k₁+P＝(A-B)k₂+B，，A＝[A_x,A_y]、B＝[B_x,B_y]、C＝[C_x,C_y]分别表示三角形的顶点坐标，P＝[P_x,P_y]表

示目标点坐标，k₁、k₂为P对应的三角形坐标系数，其中，

\{\begin{matrix} k_{1} = \frac{(A_{x} - B_{x}) (B_{y} - P_{y}) - (A_{y} - B_{y}) (B_{x} - P_{x})}{(A_{x} - B_{x}) (C_{y} - P_{y}) - (A_{y} - B_{y}) (C_{x} - P_{x})} \\ k_{2} = \frac{(C_{x} - P_{x}) (P_{y} - B_{y}) - (C_{y} - P_{y}) (P_{x} - B_{x})}{(A_{y} - B_{y}) (C_{x} - P_{x}) - (A_{x} - B_{x}) (C_{y} - P_{y})} \end{matrix};

α = \frac{k_{2}}{1 - k_{1}}, β = \frac{1 - k_{2}}{1 - k_{1}} .

7.根据权利要求5所述的三维人脸重采样方法，其特征在于，以所述标准三维人脸为参考，遍历所述目标三维人脸顶点，获得与所述标准三维人脸的最佳匹配点，并标记该点，具体包括下述步骤：

8.根据权利要求1所述的三维人脸重采样方法，其特征在于，利用所述标准三维人脸的几何结构特征及曲面光滑特性，对所述目标三维人脸进行噪声点检测，具体包括下述步骤：

C_{i} = \{\begin{matrix} 1, & | &dtri; P_{i}^{obj} - &dtri; P_{i}^{ref} | &GreaterEqual; ϵ \\ 0, & else \end{matrix},

其中，c_i表示当前数据点i是否为噪声点，为目标三维人脸的局部梯度值，为标准三维人脸的局部梯度值，|·|为取绝对值，ε为阈值参数。

9.根据权利要求8所述的三维人脸重采样方法，其特征在于，所述阈值参数ε取值范围为0.02～0.03。

10.根据权利要求1所述的三维人脸重采样方法，其特征在于，对所述目标三维人脸进行去噪处理，具体包括下述步骤：

11.根据权利要求10所述的三维人脸重采样方法，其特征在于，所述邻域大小为5*5或7*7。