CN105678252A - 依据人脸三角网格自适应细分和高斯小波的迭代插值方法 - Google Patents

Abstract

本发明公开了一种依据人脸三角网格自适应细分和高斯小波的迭代插值方法，首先对人脸模型进行三角剖分，采用网格优化的人脸剖分方法获取最优三角形；确定空间三角形是否相交，基于空间三角形三个顶点的状态，通过二维高斯小波函数对插值点的深度信息进行计算，获取一个插值点的完整三维坐标；获取插值点二维坐标(x,y)，完成插值点(x,y)二维坐标的确定后，通过二维高斯小波函数对插值点的z轴进行恢复，确定插值点的在z轴的值，通过x、y、z三个顶点确定m的最优值。本发明的有益效果是能够有效避免因为三维特征点过少无法塑造可识别的三维人脸模型的弊端，建模效果极佳。

Description

依据人脸三角网格自适应细分和高斯小波的迭代插值方法

技术领域

本发明属于人脸识别技术领域，涉及一种依据人脸三角网格自适应细分和高斯小波的迭代插值方法。

背景技术

三维动态人脸识别的瓶颈在于，在通过二维人脸图片完成三维人脸形变估计建模的过程中，因为数据点过少，所以几乎无法获取存在很多三维数据点的人脸模型，造成识别准确度低下。但随着光学三维形貌测量技术的逐渐发展，已出现了很多有效的三维人脸形貌测量技术，提高了三维人脸动态识别的可能性。然而，因为直接向人脸发射结构光对被识别者不够友好，同时无法实现隐蔽识别，大大降低了其应用优势。所以，研究如何高效得到被识别者的三维人脸信息具有重要意义。

当前，更多学者致力于依据二维图像对人脸几何特征进行恢复的研究，从而获取非接触式三维人脸信息。该技术主要可被划分成两种：其中一种技术首先通过从图像中采集的轮廓对常见的人脸模型进行修正，再输出最终结果。另一种技术首先对人脸上的少量三维特征点进行准确重构，再通过变分方法对常见的人脸模型进行修正。然而，上述两种方法均需利用预先塑造完成的三维标准模型进行变形，无法获取准确的建模结果。同时因为建立曲面的随机性较大，造成归一化处理困难。

本文基于塑造完成的三维人脸模型框架，提出了一种三维人脸特征值的迭代插值算法，对三维人脸模型框架进行细化，从而使其可识别出信息完整的人脸模型。

针对三维物体建模中数据点过少的弊端，存在较多三维物体空间细化方法，常见的几种方法如下所述：

(1)克里金插值法(Kriging)：克里金法是一种应用广泛的地质统计格网化方法，特别适用于对空间三维离散数据点的区域划分。

(2)最小曲率法：最小曲率法即通过最小曲率产生的插值面。该插值法在最大程度上保证尊重源数据的基础上，形成尽可能圆滑的曲面，从而实现细化，其被广泛应用于地质科学领域。

(3)径向基函数法：径向基函数法是由若干数据插值法构成的，其通过三维数据得到一个圆滑曲面。

上述分析的三维空间插值算法通常是依据刚性物体进行重建的，对人脸这样存在复杂轮廓的非刚性物体效果不理想。本文在依据上述方法提出了一种基于离散稀松三维数据的人脸迭代插值算法。该算法可通过塑造的人脸三角拓扑结构，完成人脸三角形内插点的检测，从而求出插入点的Z值，最终获取插值点的三维坐标，为三维人脸插值提供有效依据。

人脸的三维识别在生物识别方面起到了至关重要的作用，其涉及到计算机科学、数学和生理学等领域。其在影视特效制作、视频等领域被广泛应用，成为相关学者研究的重点课题。本文通过ASM优化算法对互成角度的人脸图片的特征点进行采集，同时分析了基于双目立体视觉建立三维人脸模型的算法。为了避免依据二维图片塑造三维人脸模型真实性低，数据点云结构无法储存的弊端，提出一种依据人脸三角网格自适应细分和高斯小波的迭代插值方法。

因为传统三维人脸运动重建方法对三维人脸模型特征点进行采集时，采集的三维特征点有限，同时受到遮挡因素的干扰，特征点数据会出现缺失现象，无法有效实现人脸三维特征点云信息的恢复，使得三维动态识别应用的效果不佳。因此本文提出了一种依据人脸三角网格自适应细分和高斯小波的迭代插值方法，通过自动迭代获取新的更加准确的三维人脸数据点。该算法对二维图片中三维人脸特征的数据点云信息进行恢复，从而完成可用于识别的、饱和度较高的三维人脸动态模型的塑造。

通过双目立体视觉方法对人脸模型进行塑造的过程中，存在无法最大化采集三维人脸特征信息的弊端。因此，提出了一种依据人脸三角网格自适应细分和高斯小波的迭代插值方法。上述算法引入顶点变换的三角形细分理论，可将首次获取的三维人脸模型进行自动插值，并通过高斯小波函数对三角剖分内的内插点的高程值进行计算，从而最大程度在三维空间中恢复三维人脸特征数据。

在实现首次建模的基础上，针对三维人脸的数据特征点较少，三维人脸信息无法完整形成点云结构的弊端。因此提出一种依据人脸三角网格自适应细分和高斯小波的迭代插值方法，首先对内插点的二维坐标进行计算，再通过二维高斯小波函数对数据点的Z轴值进行恢复，从而获取三角剖分中内插点的三维坐标，最大程度的对基于双目立体视觉原理塑造的三维人脸模型的特征点云信息进行恢复，从而产生能够用于人脸识别，同时饱和度较高的三维人脸模型。

在对三维人脸特征进行采集时，由于通过二维图片恢复三维人脸的数据点云结构数据点过少，无法有效实现三维人脸识别，因此，本文提出一种依据人脸三角网格自适应细分和高斯小波的迭代插值方法，塑造了能够用于识别的三维人脸模型。

发明内容

本发明的目的是提供一种依据人脸三角网格自适应细分和高斯小波的迭代插值方法，解决了现有技术中存在的问题。

本发明所采用的技术方案是步骤1，对人脸模型进行三角剖分，采用网格优化的人脸剖分方法获取最优三角形；

步骤2，确定空间三角形是否相交，基于空间三角形三个顶点的状态，通过二维高斯小波函数对插值点的深度信息进行计算，获取一个插值点的完整三维坐标；

步骤3：完成人脸剖分分析后，获取插值点二维坐标(x,y)，人脸三角面片中的模糊交点的平面坐标完全满足步骤1的约束条件之后，将其看作是待插入点的坐标，完成插值点(x,y)二维坐标的确定后，通过二维高斯小波函数对插值点的z轴进行恢复，确定插值点的在z轴的值，通过x、y、z三个顶点确定m的最优值，最终实现新的、饱和度较高的人脸三维模型的获取。

进一步，所述步骤1中获取最优三角形的方法：采用Delaunay三角剖分算法，并且满足下述条件：

(1)用最邻近的三点形成三角形，同时每个线段全部交于一点；

(2)需在三角形的内部进行坐标映射；

(3)添加、消除、改变任意个顶点时，仅对相邻三角形产生影响；

首先将采集的随机30个散乱点按照从大到小的顺序进行排列，设置向右延伸的方向为X坐标，获取X坐标值上的最小点，用v₁进行描述，再按和v₁点的距离的平方递增的顺序对所有点进行顺次排列，产生序列，再将v₁和v₂相连建立第一条边，同时在v_n序列中按照从左到右的顺序获取不在v₁v₂连线上的任意一点，用v_k进行表示，在将v_k插入v₃前，将剩余的全部点按照顺序后移，而v₁，v₂，v_k三点则相连形成第一个三角形的初始网格前沿边界，最后基于最小内角最大理论，通过网格前沿技术逐点向外扩展，产生初始的人脸三角网格。

本发明的有益效果是通过ASM优化算法对互成角度的人脸图片的特征点进行采集，同时分析了基于双目立体视觉建立三维人脸模型的算法。避免了依据二维图片塑造三维人脸模型真实性低，数据点云结构无法储存的弊端。通过自动迭代获取新的更加准确的三维人脸数据点。该算法对二维图片中三维人脸特征的数据点云信息进行恢复，从而完成可用于识别的、饱和度较高的三维人脸动态模型的塑造。引入顶点变换的三角形细分理论，可将首次获取的三维人脸模型进行自动插值，并通过高斯小波函数对三角剖分内的内插点的高程值进行计算，从而最大程度在三维空间中恢复三维人脸特征数据。首先对内插点的二维坐标进行计算，再通过二维高斯小波函数对数据点的Z轴值进行恢复，从而获取三角剖分中内插点的三维坐标，最大程度的对基于双目立体视觉原理塑造的三维人脸模型的特征点云信息进行恢复，从而产生能够用于人脸识别，同时饱和度较高的三维人脸模型。能够有效避免因为三维特征点过少无法塑造可识别的三维人脸模型的弊端，建模效果极佳。

附图说明

图1是三角形相交的一般情况图。

图2是相交检测的特殊情况图。

图3是交点Q与顶点A重合的情况图。

图4不同m值下获得的插值图像，其中，a为原始图像，b为200次迭代插值图像，c为500次迭代插值图像，d为5000次迭代插值。

图5是插值点坏点率统计图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

一种依据人脸三角网格自适应细分和高斯小波的迭代插值方法，在非密集三维数据的人脸重建中获取更加密集的三维数据点，完成对不全面三维特征信息的补偿，能够有效完成重要区域的数据点云结构的修复，从而提高三维人脸饱和度，满足三维人脸系统的需求。

步骤是：首先完成对人脸模型的三角剖分操作，再确定空间三角形是否相交，基于空间三角形三个顶点的状态，通过二维高斯小波函数对插值点的深度信息进行计算，即可获取一个插值点的完整三维坐标；继续进行迭代，直至获取新的、饱和度较高的人脸三维模型。

具体按照以下步骤进行：

步骤1，对人脸模型进行三角剖分，采用网格优化的人脸剖分方法获取最优三角形；

采用网格优化的人脸剖分方法获取最优三角形；Delaunay三角剖分存在最大平均形态比，可最大程度的防止病态三角形的产生，是现在人们普遍认为的一种最佳的三角剖分方法。本发明中，Delaunay三角剖分算法需满足下述条件：

(1)用最邻近的三点形成三角形，同时每个线段全部交于一点；

(2)需在三角形的内部进行坐标映射；

(3)添加、消除、改变任意个顶点时，仅对相邻三角形产生影响。

首先将采集的随机30个散乱点按照从大到小的顺序进行排列，设置向右延伸的方向为X坐标，获取X坐标值上的最小点，用v₁进行描述，再按和v₁点的距离的平方递增的顺序对所有点进行顺次排列，产生序列，再将v₁和v₂相连建立第一条边，同时在v_n序列中按照从左到右的顺序获取不在v₁v₂连线上的任意一点，用v_k进行表示，在将v_k插入v₃前，将剩余的全部点按照顺序后移，而v₁，v₂，v_k三点则相连形成第一个三角形的初始网格前沿边界，最后基于最小内角最大理论，通过网格前沿技术逐点向外扩展，即可产生初始的人脸三角网格。

步骤2，确定空间三角形是否相交，基于空间三角形三个顶点的状态，通过二维高斯小波函数对插值点的深度信息进行计算，获取一个插值点的完整三维坐标；

步骤3：完成人脸剖分分析后，需获取插值点坐标；人脸三角面片中的模糊交点的平面坐标完全满足步骤1的约束条件之后，可将其看作是待插入点的坐标，因为需对相交性进行判断，所以需确定插值点的二维坐标(x,y)。具体确定方法如下：

如图1所示，图中三角形A_kB_kC_k和三角形D_k+1E_kF_k描述的是多个三维人脸特征点形成三角剖分的相对位置。假设点D_k为三角形D_k+1E_kF_k的中线交点，经过三角形A_kB_kC_k水平相交。对X _F·n和X _D·n的符号进行比较，从而确定是哪种相交。

分析向量：

$\left\{\begin{array}{c}{\underset{\‾}{X}}_F={\underset{\‾}{F}}_k-{\underset{\‾}{A}}_k\\ {\underset{\‾}{X}}_D={\underset{\‾}{D}}_{k+1}-{\underset{\‾}{A}}_k\end{array}\right.$ 与 $\left\{\begin{array}{c}{\underset{\‾}{X}}_F^n=({\underset{\‾}{X}}_F\·\underset{\‾}{n})\underset{\‾}{n}\\ {\underset{\‾}{X}}_D^n=({\underset{\‾}{X}}_D\·\underset{\‾}{n})\underset{\‾}{n}\end{array}\right.$

·为乘积。式中，用于描述X _F、X _D在水平方向法向方向为n的分量。X _F为点Fk在X方向的量，X _D点D在X方向的量，X _F·n为n个X _F到三角形A_kB_kC_k连线，X _D·n为n个X _D到三角形A_kB_kC_k连线。对X _F·n与X _D·n进行判断比较，如向左时为反向，向右为正，则点D_k与D_k+1的连线将经过ΔA_kB_kC_k，即三角形A_kB_kC_k，满足三角形构建条件，构成一个新的三角形。如果三角形相交关系到不同三角形的两条边，如图2所示，节点F_k与D_k+1的连线经过ΔA_kB_kC_k，然而边A_kF_k和ΔA_kB_kC_k相交，存在交点。同时，D_kF_k和三角形的交点满足最优三角形准则，所以，可将其看作是人脸插值的插入点继续研究。

获取内差点、计算内插点坐标：

求出边A_kF_k和ΔA_kB_kC_k所在平面的交点A_k的二维坐标如图2所示。

ΔA_kB_kC_k所处平面的方程可描述成：

(P-A)·n＝0

式中，P用于描述平面内某点的向量表示，同时P＝P＝xi+yj+zk；x为在坐标x上的值、y为在坐标y上的值、z为在坐标z上的值。而A＝x_A i+y_A j+z_A k则用于描述顶点A_k的向量表示；n＝ai+bj+ck用于描述平面的法向量表示，则也可将上式描述成：

a(x-x_A)+b(y-y_A)+c(z-z_A)＝0

其中，a、b、c为常量，x_A、y_A、z_A为顶点A_k在坐标x、y、z上的值，依据第k步中顶点F的坐标以及第k+1步中顶点D的坐标，即可获取直线r以t为参数的参数方程。

首先，通过

$\left\{\begin{array}{c}\underset{\‾}{r}=l\underset{\‾}{i}+m\underset{\‾}{j}+n\underset{\‾}{k}\\ l=x_D-x_F,m=y_D-y_F,n=z_D-z_F\end{array}\right.$

获取直线r的参数方程：

x＝lt+x_F,y＝mt+y_F,z＝nt+z_F

式中，x_F、y_F、z_F为顶点F的坐标，x_D、y_D、z_D为第k+1步中顶点D的坐标，lm、n为三角形的连线个数，参数t在0到1之间取值。

代入，即可获取插值点所在的参数：

$t_Q=-\frac{p}{s}$

式中，p＝n·F-n·A，s＝al+bm+cn。

代入上式，则插值点的三维坐标可描述成：

x_Q＝lt_Q+x_F,y_Q＝mt_Q+y_F,z_Q＝nt_Q+z_F

在三角形的坐标映射平面中，删除z坐标，仅取(x,y)的坐标。

z值的确定：为了对所得插值点的二维坐标是否在ΔA_kB_kC_k内部进行判断，插值点和ΔA_kB_kC_k的三个顶点是否重合，如图3所示。

不断进行判断，直至插值点和三角形中的某个顶点重合，结束对点的插值处理。

将插值点与顶点A、B、C投影至某2D平面坐标系统中，则该系统的法向量和平行于ΔA_kB_kC_k所在平面的法向量最为接近，此时，可将空间中交点的确定问题转换成插值点是否在ΔA_kB_kC_k的内部的问题。本文通过物理学理论对点是否在凸多边形内进行确定。

针对三角形，其质心坐标可描述成：

$\left\{\begin{array}{c}{x}_G=\frac{M_A{x}_A+M_B{x}_B+M_C{x}_C}{M_A+M_B+M_C}\\ y_G=\frac{M_A{y}_A+M_B{y}_B+M_C{y}_C}{M_A+M_B+M_C}\end{array}\right.$

式中，M_A、M_A、M_A分别为A、B、C三点的特征向量。x_A、x_B、x_C分别为点A、B、C在坐标x上的值；y_A、y_B、y_C分别为点A、B、C在坐标y上的值。

针对质心G和△ABC，通过物理学知识可知，不管A、B、C三点的质量怎样发生改变，质心G的坐标不会在ΔABC以外。同时可知，有且仅有三角形内的点可使三角形每个顶点的质量同号。

假设平面上任意一质点P是三角形的质心，则有：

$\left\{\begin{array}{c}{x}_P=\frac{M_A{x}_A+M_B{x}_B+M_C{x}_C}{M_A+M_B+M_C}\\ y_P=\frac{M_A{y}_A+M_B{y}_B+M_C{y}_C}{M_A+M_B+M_C}\end{array}\right.$

对计算质心的公式进行变形，则有：

$\left\{\begin{array}{c}{M}_A(x_A-x_P)+M_B(x_B-x_P)+M_C(x_C-x_P)=0\\ M_A(y_A-y_P)+M_B(y_B-y_P)+M_C(y_C-y_P)=0\end{array}\right.$

上式中两个平面的法矢量可描述成：

$\left\{\begin{array}{c}{\stackrel{\→}{n}}_1=\{x_A-x_P,x_B-x_P,x_C-x_P\}\\ {\stackrel{\→}{n}}_2=\{y_A-y_P,y_B-y_P,y_C-y_P\}\end{array}\right.$

则交线的矢量方向可描述成：

$\stackrel{\→}{l}={\stackrel{\→}{n}}_1\×{\stackrel{\→}{n}}_2=\left|\begin{array}{ccc}i& j& k\\ x_A-x_P& x_B-x_P& x_C-x_P\\ y_A-y_P& y_B-y_P& y_C-y_P\end{array}\right|=ai+bj+ck$

其中，i、j、k为交线的矢量的各个分量。针对不同的a、b、c有：当且仅当a、b、c同号时，点P在三角形内部。将三角形外部的点舍弃，保留三角形内部的点。

完成插值点(x,y)二维坐标的确定后，需要通过二维高斯小波函数对插值点的z轴进行恢复，确定插值点的在z轴的值。

二维高斯小波函数可描述成：

$\mathrm{\ψ}\left(x\right)=e^{-{\left(\frac{x-a}{m}\right)}^2/2}{e}^{-{\left(\frac{y-b}{m}\right)}^2/2}$

将其变成插值公式，则有：

$z=f(x,y)={\mathrm{ke}}^{-{\left(\frac{x-a}{m}\right)}^2/2}{e}^{-{\left(\frac{y-b}{m}\right)}^2/2}$

式中，k用于描述小波系数；a，b用于描述插值点在x，y轴上的偏移量；m用于描述可变参数，是特征点的分布密集程度的体现，亦被称作伸缩因子。

将三角形三个顶点的坐标分别描述成：p_i(x_i,y_i,z_i)，i＝1,2,3。

$\left\{\begin{array}{c}a=\frac{(y_2-y_3)\[{x_1}^2-x_2^2+y_1^2-y_2^2+2(\ln z_1-\ln z_2)m^2\]-(y_1-y_2)\[{x_2}^2-x_3^2+y_2^2-y_3^2+2(\ln z_2-\ln z_3)m^2\]}{2\[(x_1-x_2)(y_2-y_3)-(x_2-x_3)(y_1-y_2)\]}\\ b=\frac{(x_2-x_3)\[{x_1}^2-x_2^2+y_1^2-y_2^2+2(\ln z_1-\ln z_2)m^2\]-(x_1-x_2)\[{x_2}^2-x_3^2+y_2^2-y_3^2+2(\ln z_2-\ln z_3)m^2\]}{-2\[(x_1-x_2)(y_2-y_3)-(x_2-x_3)(y_1-y_2)\]}\\ z_1={\mathrm{ke}}^{-{\left(\frac{x_1-a}{m}\right)}^2/2}{e}^{-{\left(\frac{y_1-b}{m}\right)}^2/2}\\ z=f(x,y)={\mathrm{ke}}^{-{\left(\frac{x-a}{m}\right)}^2/2}{e}^{-{\left(\frac{y-b}{m}\right)}^2/2}\end{array}\right.$

通过上述公式可获取插值点(x,y)在z轴的值，记为z，但是此时的z值在一个特定的范围内，需要通过确定m的最优值，来确定z的最优值。其中，通过x、y、z三个顶点确定m的最优值。通过z的最优值的确定，最终实现新的、饱和度较高的人脸三维模型的获取，使三维人脸数据模型更加丰富。

实验结果分析：

如图4所示，上述算法可通过修正m值对插值点的疏密程度进行调控，获取最优z值，完成三维人脸模型点云结构的恢复，塑造起一个有效的人脸识别模型。

图4描述的是一个初始的三维人脸模型、插值一次后的三维人脸模型，以及插值N次后的模型(其中，N>5)。

可知，通过若干次插值，该算法可很好的完成三维人脸的数据结构的恢复，产生有效的三维人脸模型。

为了验证上述插值算法的有效性，对插值点z轴的误差进行计算。

插值点均方误差可通过下式求出：

$\mathrm{\σ}=\frac{1}{N}\sqrt{\underset{i=1}{\overset{N}{\Σ}}{(z_i-z_i^{\′})}^2}$

表1描述的是不同m值下的均方误差。

表1不同m值对应的均方误差

分析表1可知，在m≤5时，插值效果不佳，在m＝10时，差值效果较优。尽管参数m参与的调控，然而插值时还会出现超过给定区间的z值，将其称作坏点。图5描述的是每个部位插值后产生的坏点率。为了避免其干扰建模结果，需对坏点进行过滤。

本文针对依据双目立体视觉技术塑造的三维人脸模型应用于人脸识别的瓶颈，提出了一种可有效恢复三维数据点云结构的迭代插值算法。同时重点分析了上述算法涉及到的三角形相交判定方法、交点的二维坐标确定方法，以及判断交点是否在三角形内的方法。最后，通过对二维坐标值进行计算，依据二维高斯小波函数对插值点三维坐标进行确定，同时利用带参数的调节技术对所有三角形内的内插点进行计算。

经实验验证，本文方法能够有效避免因为三维特征点过少无法塑造可识别的三维人脸模型的弊端，建模效果极佳。

Claims (2)

1.一种依据人脸三角网格自适应细分和高斯小波的迭代插值方法，其特征在于按照以下步骤进行：步骤1，对人脸模型进行三角剖分，采用网格优化的人脸剖分方法获取最优三角形；

步骤2，确定空间三角形是否相交，基于空间三角形三个顶点的状态，通过二维高斯小波函数对插值点的深度信息进行计算，获取一个插值点的完整三维坐标；

步骤3：完成人脸剖分分析后，获取插值点二维坐标(x,y)，人脸三角面片中的模糊交点的平面坐标完全满足步骤1的约束条件之后，将其看作是待插入点的坐标，完成插值点(x,y)二维坐标的确定后，通过二维高斯小波函数对插值点的z轴进行恢复，确定插值点的在z轴的值，通过x、y、z三个顶点确定m的最优值，最终实现新的、饱和度较高的人脸三维模型的获取。

2.按照权利要求1所述一种依据人脸三角网格自适应细分和高斯小波的迭代插值方法，其特征在于：所述步骤1中获取最优三角形的方法：采用Delaunay三角剖分算法，并且满足下述条件：

(1)用最邻近的三点形成三角形，同时每个线段全部交于一点；

(2)需在三角形的内部进行坐标映射；

(3)添加、消除、改变任意个顶点时，仅对相邻三角形产生影响；

首先将采集的随机30个散乱点按照从大到小的顺序进行排列，设置向右延伸的方向为X坐标，获取X坐标值上的最小点，用v₁进行描述，再按和v₁点的距离的平方递增的顺序对所有点进行顺次排列，产生序列，再将v₁和v₂相连建立第一条边，同时在v_n序列中按照从左到右的顺序获取不在v₁v₂连线上的任意一点，用v_k进行表示，在将v_k插入v₃前，将剩余的全部点按照顺序后移，而v₁，v₂，v_k三点则相连形成第一个三角形的初始网格前沿边界，最后基于最小内角最大理论，通过网格前沿技术逐点向外扩展，产生初始的人脸三角网格。