CN106682575A - Elm算法的人眼点云特征定位 - Google Patents

Abstract

本文利用一种统计参数化模型，进行人脸点云特征点的提取。在训练部分，通过普式分析的方法对齐训练的标记点集，并计算出标记点的平均形状，得到眼睛定点模型ELM(Eye Landmark Model)，然后运用PCA对人脸形状向量进行统计分析获取人脸形状的变化规律。在验证部分，首先通过高斯曲率和平均曲率探测定点候选区，然后利用旋转图像模板的相似度对候选区进行过滤分类，选择出相似度大的点集。最后，通过对ELM模板的性能验证，识别率符合应用要求。

Description

ELM算法的人眼点云特征定位

技术领域

本发明属于人脸识别的方法，更具体地说，尤其设计ELM算法的人眼点云特征定位的方法。

背景技术

人脸特征点的提取是人脸识别、表情识别和疲劳检测等的前期工作，为人脸图像的分析与处理提供了重要的几何信息，其准确与否直接关系到人脸特征提取的精确度。基于二维图像方面的特征点识别能够得到较为准确的识别结果，但受到光照、背景和姿态表情的影响，该方法在进行人脸特征提取时存在着一定的局限性。相比于二维图像数据，三维人脸识别获得的数据具有光照和姿态不变的特性，有更强的鲁棒性[2]，随着三维数据获取技术的发展，三维数据获取的便捷，且代价小，使三维人脸特征受到了广泛的研究。

三维数据是对真实物体表面进行扫描采样获得的离散数据，而曲率是三维曲面重要的局部几何属性，能够用于三维人脸点云的分析，数据特征点。Moreno等人在提取特征之前，先利用一个基于平均曲率(H)和高斯曲率(K)的HK分割算法来分割得到具有突出的弯曲率的区域。但随着人脸上下转动时，眼睛区域的分割结果较差。

近年来，国内外学者对三维特征提取做了广泛的研究。Gordon提出的一种基于曲率的人脸形状来定位人脸特征点。缪永伟根据基于三维模型表面顶点局部邻域旋转图像的分析，提出一种三维形状表面局部相似性的度量方法。王蜜宫使用LSM方法定位出高准确度的鼻尖点和内眼角点，但是使用该方法定位其他特征点时，准确度不高。Zhaohui Wu提出了一种基于局部形状图(Local Shape Map)的统计模型来描述三维物体的局部形状。他提出的局部形状图是以三维表面一个点为球心，包含在以该点为球心的球体内部点来构造描述该点局部形状的二维直方图，在31个脸部数据库中检测，仅有2.98％的错误率。Cootes等人提出了著名的主动形状模型(Active Shape Models)和主动表观模型(Active AppearanceModels)，基于对训练集大量描述的物体样本形状实例建立的反映目标形状变化规律的统计模型方法，已经成为人脸特征点定位方面的主流算法。

发明内容

受此启发，本发明基于点分布模型(Point Distribution Model，PDM)^[11]的图像拟合匹配算法，提出了一种眼睛定点模型(Eye Landmark Model，ELM)来实现人脸点云特征点的精确定位。在训练部分，首先在训练样本集中，通过手工方式标记出关键特征点的轮廓和旋转图像(spin image)模板。测试部分，通过普式分析对标记关键特征点的训练样本集进行对齐操作，得到脸部形状模型ELM，然后运用PCA获取人脸形状的变化规律。在验证部分，该算法首先通过高斯曲率和平均曲率探测定点候选区，然后利用Spin Image模板对定点候选区进行过滤分类。最后，对点集通过最小的普式距离，从而实现特征点的精确定位。

本发明的ELM算法的人眼点云特征定位的方法。，其特征在于，包括标定特征点的对齐，ELM模型的建立、特征候选点区域的选择、ELM模型搜索与匹配。

(1)标定特征点的对齐

步骤1：对于已经标记好关键位置特征点的人脸图像，用记录的特征点坐标数据可以组成一个形状向量来对人脸的原始图像进行描述，用x来表示形状向量，则有公式(1)：

x＝[p_x,1,...,p_x,n,p_y,1,...,p_y,n,p_z,1,...,p_z,n]^T (1)

这里(p_x,i,p_y,i,p_z,i)表示三维n个点的坐标。

步骤2：使得建模对象的所有形状样本到平均形状的距离的叠加值最小化，即使得普式距离D_P最小，如公式(2)所示：

其中，x_i表示为任何一个形状，x_m表示平均形状。

步骤3：通过手工标记200个正脸不同表情的点云进行迭代训练，经过步骤1，2的几何变化得到的对齐后的形状样本与平均形状之间的差别最小，得到人脸定点模型，其中平均形状可以从整个形状样本集由公式(3)计算得到。

(2)ELM模型的建立

步骤1:利用线性变换，对高维数据进行分析，将高维空间数据向低维空间的映射,选取前k个最大的特征值对应的特征向量组成P_s＝(p₁,p₂,...,p_k)，选择的主成分越多，则对形状样本的近似误差越小。P可以看成是一组标准正交基，则任意的人脸样本形状向量可以近似的表示成，如公式(4)所示：

x′＝x_m+P·b (4)

这里b表示P对应的k个特征值，b中的每一个特征值b_i代表了人脸形状不同的变化信息

步骤2：通过变化参数b就可以使形状模型逼近目标形状，最终得到的形状是正常的人脸形状。而b_i的范围为其中λ_i为第i个主成分对应的特征值。

步骤3：对每一个待定位的候选特征点，分别计算每个候选点的局部轮廓模型与训练集中该点局部轮廓之间的普式距离。最后，通过最小化普式距离，当使得普式距离最小的候选点被认为是最佳的特征匹配点。

(3)特征候选点区域的选择

步骤1：通过HK(平均曲率和高斯曲率)对人脸点云进行分类，得到特征点的候选区域。HK的计算公式如公式(5)(6)所示：

I_x，I_y是沿着x和y方向的一阶偏导，I_xy，I_xx和I_yy是对应的二阶偏导。通过平均曲率和高斯曲率的正负号来进行点类型的分类。

步骤2：给定一个三维曲面O，p是曲面O上的一有向点，n为p点所对应的法线。M是垂直法线n且过p点的切平面，直线L是经过_p点并平行于法线n。点云中的其他任意一点x的旋转映射坐标可以定义为p与x处的法向量n之间的距离α，以及x到切平面的有向距离β。

步骤3：三维数据投影到由(p，n)确定的二维坐标系下的映射函数SO表达式如公式(7)和(8)所示，选定有向点p以后，三维曲面上的任意一点x与p的关系通过(α， β)来表达，旋转图像就是该有向点邻域的(α，β)坐标的二维图像。

S_O:R³→R² (7)

(4)ELM模型搜索与匹配

步骤1：从人脸图像样本中，选取部分样本作为训练集，而剩余部分作为测试样本集。然后，对每幅人脸图像手工标定9个特征点。

步骤2：采用计算平均误差来评估，计算模型拟合后轮廓特征点与手工标定的轮廓特征点的欧式距离，进行量化的验证ELM算法匹配性能。

步骤3：通过最小化平均误差E，来得到精准特征。其中平均误差E如公式(9)所示：

本发明有益效果：

本发明基于一种眼睛定点模型(Eye Landmark Model，ELM)的点云特征拟合匹配算法进行特征点的提取。首先通过普式分析的方法对齐并计算标记点的平均形状得到了ELM，然后通过PCA获取人脸形状的变化规律。在验证部分，该算法首先通过高斯曲率和平均曲率探测定点候选区，然后利用Spin Image模板对定点候选区进行过滤分类。通过对ELM模板在CASIA 3D数据库的性能验证，得到了较好的实验结果。此外，可变形模板的定义及匹配搜索策略进一步改进将有助于提高特征提取的稳定性和精确度，这作为今后进一步研究的问题。

附图说明：

图1为ELM算法流程图

图2(a)ELM对齐前

图2(b)ELM对齐后

图2(c)ELM定点的平均形状

图2(d)ELM映射到人脸点云上

图3人脸ELM模型中第一个主分量产生的样本

图4特征点候选区a、b

图5旋转图像的参数

具体实施

具体实施步骤如图1的ELM算法流程图所示：

步骤1：对于已经标记好关键位置特征点的人脸图像，用记录的特征点坐标数据可以组成一个形状向量来对人脸的原始图像进行描述，用x来表示形状向量，则有公式(1)：

x＝[p_x,1,...,p_x,n,p_y,1,...,p_y,n,p_z,1,...,p_z,n]^T (1)

这里(p_x,i,p_y,i,p_z,i)表示三维n个点的坐标。

步骤2：使得建模对象的所有形状样本到平均形状的距离的叠加值最小化，即使得普式距离D_P最小，如公式(2)所示：

其中，x_i表示为任何一个形状，x_m表示平均形状。

步骤3：通过手工标记200个正脸不同表情的点云进行迭代训练，经过步骤1，2的几何变化得到的对齐后的形状样本与平均形状之间的差别最小，得到人脸定点模型，其中平均形状可以从整个形状样本集由公式(3)计算得到。

步骤4:利用线性变换，对高维数据进行分析，将高维空间数据向低维空间的映射,选取前k个最大的特征值对应的特征向量组成P_s＝(p₁,p₂,...,p_k)，选择的主成分越多，则对形状样本的近似误差越小。P可以看成是一组标准正交基，则任意的人脸样本形状向量可以近似的表示成，如公式(4)所示：

x′＝x_m+P·b (4)

这里b表示P对应的k个特征值，b中的每一个特征值b_i代表了人脸形状不同的变化信息

步骤5：通过变化参数b就可以使形状模型逼近目标形状，最终得到的形状是正常的人脸形状。而b_i的范围为其中λ_i为第i个主成分对应的特征值。

步骤6：对每一个待定位的候选特征点，分别计算每个候选点的局部轮廓模型与训练集中该点局部轮廓之间的普式距离。最后，通过最小化普式距离，当使得普式距离最小的候选点被认为是最佳的特征匹配点。

步骤7：通过HK(平均曲率和高斯曲率)对人脸点云进行分类，得到特征点的候选区域。HK的计算公式如公式(5)(6)所示：

I_x，I_y是沿着x和y方向的一阶偏导，I_xy，I_xx和I_yy是对应的二阶偏导。通过平均曲率和高斯曲率的正负号来进行点类型的分类。

步骤8：给定一个三维曲面O，p是曲面O上的一有向点，n为p点所对应的法线。M是垂直法线n且过p点的切平面，直线L是经过p点并平行于法线n。点云中的其他任意一点x的旋转映射坐标可以定义为p与x处的法向量n之间的距离α，以及x到切平面的有向距离β。

步骤9：三维数据投影到由(p，n)确定的二维坐标系下的映射函数SO表达式如公式(7)和(8)所示，选定有向点p以后，三维曲面上的任意一点x与p的关系通过(α，β)来表达，旋转图像就是该有向点邻域的(α，β)坐标的二维图像。

S_O:R³→R² (7)

步骤10：从人脸图像样本中，选取部分样本作为训练集，而剩余部分作为测试样本集。然后，对每幅人脸图像手工标定9个特征点。

步骤11：采用计算平均误差来评估，计算模型拟合后轮廓特征点与手工标定的轮廓特征点的欧式距离，进行量化的验证ELM算法匹配性能。

步骤12：通过最小化平均误差E，来得到精准特征。其中平均误差E如公式(9)所示：

使用matlab2014对人脸图像进行实验仿真。

1、标定特征点的对齐

通过手工标记200个正脸不同表情的点云进行迭代训练，经过步骤1，2的几何变化得到的对齐后的形状样本与平均形状之间的差别最小，得到人脸定点模型，如图2所示，其中平均形状可以从整个形状样本集由公式(3)计算得到。

2、ELM模型的建立

通过对参数的概率分布进行建模，可以得到参数b_i统计意义上的合理变化范围为其中λ_i为第i个主成分对应的特征值，根据这些已知的特征值和特征向量，便可以生成不属于任何集合的形状，如图3所示。

3、特征候选点区域的选择

通过HK对人脸点云进行分类，得到特征点的候选区域。一般来说，鼻尖点是人脸曲面上最突起的点，内眼角点是人脸曲面上最凹陷的点，由于不同的人的鼻子、眼角的相似性，根据先验知识，我们可以在特征点候选区中，标记出鼻尖点和左右内眼角点来作为本文特征点的模板。如图4中的(a)和(b)是根据HK对人脸点云分类的效果图，A、B分别为左右眼角处椭圆凹形点区域，C是鼻尖处椭圆形凸形点区域。

旋转图像形成

给定一个三维曲面O，p是曲面O上的一有向点，n为p点所对应的法线。M是垂直法线n且过p点的切平面，直线L是经过p点并平行于法线n。点云中的其他任意一点x的旋转映射坐标可以定义为p与x处的法向量n之间的距离α，以及x到切平面的有向距离β，如图5所示，这样，三维数据投影到由(p，n)确定的二维坐标系下的映射函数SO表达式为(7)和(8)所示，选定有向点p以后，三维曲面上的任意一点x与p的关系通过(α，β)来表达，旋转图像就是该有向点邻域的(α，β)坐标的二维图像。如图2所示，人脸点云不同位置生成不同的旋转图像。

S_O:R³→R² (7)

4、ELM模型搜索与匹配

本文采用的是CASIA 3D数据库，CASIA 3D人脸数据库是由中科院自动化研究所模式识别与安全技术研究中心采用Minolta Vivid910三维数字扫描仪采集创建的。数据库中有123个人，每个人有37或38幅不同的三维数据，每个人的三维数据包含有不同表情、姿态、光照及以上各种条件的不同组合，共有4624个人脸模型。除了三维信息，每个数据相应的有一张二维纹理图像。

对于本测试实验，其中一部分人脸图像被选取作为训练集，而剩余部分作为测试样本集。然后，对每幅人脸图像手工标定9个特征点。为了进行量化的验证ELM算法匹配性能，常采用计算平均误差来评估。平均误差E通过计算模型拟合后轮廓特征点与手工标定的轮廓特征点的欧式距离得到。E越小说明匹配结果越理想，也就是提取特征越精准，得和基于ELM模型的实验结果平均误表1。

表1基于ELM模型的实验结果描述表1

姿态	平均误差(mm)
		正面变化表情	0.13
向右20°～30°	0.33
		向右50°～60°	0.81
向右80°～90°	1.77
		向左20°～30°	0.29
向左50°～60°	0.94
		向左80°～90°	1.98
右倾斜30°～50°	1.43
		左倾斜30°～50°	1.65

Claims (5)

1.一种ELM算法的人眼点云特征定位的方法，其特征在于，所述方法包括以下步骤：

标定特征点的对齐；

ELM模型的建立；

特征候选点区域的选择；

ELM模型搜索与匹配。

2.如权利要求1所述的ELM算法的人眼点云特征定位的方法，其特征在于，所述标定特征点的对齐的步骤具体包括：

步骤1：对于已经标记好关键位置特征点的人脸的原始图像，用所述特征点坐标数据组成一个形状向量来对所述人脸的原始图像进行描述，用x来表示形状向量，则有公式(1)：

x＝[p_x,1,...,p_x,n,p_y,1,...,p_y,n,p_z,1,...,p_z,n]^T (1)

其中(p_x,i,p_y,i,p_z,i)表示第i点的坐标；

步骤2：使得建模对象的所有形状样本到平均形状的距离的叠加值最小化，即使得普式距离D_P最小，如公式(2)所示：

$P_P^2=|x_i-x_m{|}^2=\underset{j=1}{\overset{k}{\Σ}}{(x_{ij}-x_{mj})}^2---\left(2\right)$

其中，x_i表示为任何一个形状，x_m表示平均形状；

步骤3：通过手工标记200个正脸不同表情的点云进行迭代训练，经过步骤1，2的几何变化得到的对齐后的形状样本与平均形状之间的差别最小，即得到人脸定点模型，其中平均形状可以从整个形状样本集由公式(3)计算得到：

$x_m=\frac{1}{N}\underset{i=1}{\overset{N}{\Σ}}{x}_i---\left(3\right)$

3.如权利要求2所述的ELM算法的人眼点云特征定位的方法，其特征在于，所述的ELM模型的建立的步骤具体包括，

步骤1:利用线性变换，对高维数据进行分析，将高维空间数据向低维空间的映射选取前k个最大的特征值对应的特征向量组成P_s＝(p₁,p₂,...,p_k)，将任意的人脸样本形状向量近似的表示成如公式(4)所示：

x′＝x_m+P·b (4)

这里b表示P对应的k个特征值，b中的每一个特征值b_i代表了人脸形状不同的变化信息；

步骤2：通过变化参数b使形状模型逼近目标形状，其中变化时b_i的范围为其中λ_i为第i个主成分对应的特征值；

步骤3：对每一个待定位的候选特征点，分别计算每个候选点的局部轮廓模型与训练集中该点局部轮廓之间的普式距离；最后，通过最小化普式距离，得到普式距离最小的候选点作为最佳的特征匹配点。

4.如权利要求3所述的ELM算法的人眼点云特征定位的方法，其特征在于，所述的特征候选点区域的选择的步骤具体包括，

步骤1：通过HK对人脸点云进行分类，得到特征点的候选区域；HK的计算公式如公式(5)和(6)所示：

$H=\frac{(1+I_x^2)I_{yy}-2I_x{I}_y{I}_{xy}+(1+I_y^2)I_{xx}}{2{(1+I_x^2+I_y^2)}^{3/2}}---\left(5\right)$

$K=\frac{I_{xx}{I}_{yy}-I_{xy}^2}{{(1+I_x^2+I_y^2)}^2}---\left(6\right)$

其中，I_x，I_y是沿着x和y方向的一阶偏导，I_xy，I_xx和I_yy是对应的二阶偏导；通过HK的正负号来进行点类型的分类；

步骤2：给定一个三维曲面O，p是曲面O上的一有向点，n为p点所对应的法线；M是垂直法线n且过p点的切平面，直线L是经过p点并平行于法线n；将点云中的其他任意一点x的旋转映射坐标定义为p与x处的法向量n之间的距离α，以及x到切平面的有向距离β；

步骤3：三维数据投影到由(p，n)确定的二维坐标系下的映射函数S_O表达式如公式(7)和(8)所示，选定有向点p以后，三维曲面上的任意一点x与p的关系通过(α，β)来表达，旋转图像就是该有向点邻域的(α，β)坐标的二维图像：

S_O:R³→R² (7)

$S_O\left(x\right)\→(\mathrm{\α},\mathrm{\β})=(\sqrt{\left|\right|x-p|{|}^2-{(n\·(x-p\left)\right)}^2},n\·(x-p\left)\right)---\left(8\right)$

其中，HK表示平均曲率和高斯曲率。

5.如权利要求4所述的ELM算法的人眼点云特征定位的方法，其特征在于，所述的ELM模型搜索与匹配的步骤具体包括，

步骤1：从人脸图像样本中，选取部分样本作为训练集，而剩余部分作为测试样本集；然后，对每幅人脸图像手工标定9个特征点；

步骤2：采用计算平均误差E计算模型拟合后轮廓特征点与手工标定的轮廓特征点的欧式距离，验证ELM算法匹配性能；

步骤3：通过最小化平均误差E，来得到最终的特征；

其中平均误差E如公式(9)所示：

$E=\frac{1}{M}\underset{i=1}{\overset{M}{\Σ}}\left(\frac{1}{N}\underset{j=1}{\overset{N}{\Σ}}\right(dist\left(p_{ij}-{p_{ij}}^{\′}\right)\left)\right)---\left(9\right).$