CN106980809B

CN106980809B - 一种基于asm的人脸特征点检测方法

Info

Publication number: CN106980809B
Application number: CN201610033457.1A
Authority: CN
Inventors: 彭志远; 李星明; 段晶晶
Original assignee: Shenzhen Launch Digital Technology Co Ltd
Current assignee: Shenzhen Launch Digital Technology Co Ltd
Priority date: 2016-01-19
Filing date: 2016-01-19
Publication date: 2020-08-21
Anticipated expiration: 2036-01-19
Also published as: CN106980809A

Abstract

本发明涉及图像处理及模式识别技术领域，公开了一种基于ASM的人脸特征点检测方法，该方法在传统ASM算法的基础上增加了对面部特征点的额外特征描述，即在局部纹理特征的基础上增加了邻域的HOG信息，将HOG特征向量与纹理特征向量融合形成了具有更强分辨力的特征描述子，从而可以快速、准确地进行候选特征点的筛选，有效地提高了人脸特征点检测的速度和精度。

Description

一种基于ASM的人脸特征点检测方法

技术领域

本发明涉及图像处理及模式识别技术领域，尤其涉及一种基于ASM的人脸特征点检测方法。

背景技术

随着当今社会对快速高效的自动身份验证技术的迫切需求，人脸识别技术因具有非接触性、采集设备简单等优点而成为当前的研究热点。人脸识别技术可分为人脸检测、特征提取和分类识别三个阶段，其中人脸检测、特征提取是人脸识别算法的基础，人脸检测过程中面部定位的精度和特征信息提取的丰富性直接决定了人脸识别的最终效果。

人脸检测可以使用基于Haar特征的人脸检测器进行粗略检测。Haar特征(Haar-like feature)是人脸检测领域常用的一种手段，技术较为成熟，具有较好的适用性。

人脸特征包含人脸的形状信息，以及眉毛、眼睛、鼻子和嘴巴等器官的位置和轮廓信息。人脸特征点则是用于描述上述人脸特征的点位，这些点位的检测直接关系到图像中人脸位置的定位和识别。因此，人脸特征点检测既是人脸识别研究的一个关键问题，也是计算机视觉和图形学领域的一个基本问题。人脸特征点的检测为人脸图像的处理与分析提供了重要的几何信息，特征点定位的准确与否直接关系到后续应用的可靠性。目前，检测人脸特征点的理论模型主要有Snake模型、可变模板、点分布模型(PDM)、主动形状模型(ASM)和主动外观模型(AAM)等等。

主动形状模型(Active Shape Model，ASM)由Tim Cootes和Chris Taylor于1995年提出，是一种基于统计学、灰度和形状分离的可变形模型，该模型能够在约束条件的限制下进行一定程度的形变，同时还能保证形变后的形状与原形状属于同一个类别，因此ASM实际上描述了同一类形状的共同特征。

ASM的应用主要具有两个过程：首先利用物体的形状信息学习形状变化的模式并建立表征人脸形状特征的模型，然后通过形变以实现模型与目标的匹配，即完成人脸特征点的检测。

ASM是目前效果较好、应用广泛的一种人脸特征点提取方案。该方法具有算法简单、计算量小的优点。但是，特征点定位时通常采用局部纹理特征进行搜索匹配，而局部纹理特征只包含当前特征点的部分邻域信息，从而极易造成匹配过程中的局部最优问题，致使人脸特征点提取的失败，影响了人脸特征点检测的准确性。

发明内容

鉴于此，本发明提供了一种基于ASM的人脸特征点检测方法，提高了人脸特征点检测的速度和精度，进而有利于提高后续的人脸校正、人脸识别或表情分析等过程的精确度。

本发明是这样实现的：一种基于ASM的人脸特征点检测方法，该方法使用ASM对初始人脸形状进行匹配，并输出匹配结果；ASM以N张人脸图像作为训练样本，每张人脸图像中标记有n个有序的特征点；ASM包含形状模型X、模型参数b，以及特征描述子集合

G中的元素为第k个特征点的特征描述子

所述特征描述子中：

G_kj为第j幅样本图像中第k个特征点的特征描述向量，G_kj的组成中包含HOG特征向量和纹理特征向量。

本发明在传统ASM算法的基础上增加了对面部特征点的额外特征描述，即在局部纹理特征的基础上增加了邻域的HOG(梯度方向直方图)信息，将HOG特征向量与纹理特征向量融合形成了具有更强分辨力的特征描述子，从而可以快速、准确地进行候选特征点的筛选，有效地提高了人脸特征点检测的速度和精度，同时保持了算法的简洁性。本发明方法易于实现，效果良好，相对于现有技术取得了明显的进步。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的流程图。

具体实施方式

下面结合本发明实施例及其附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

实施例一：

一种基于ASM的人脸特征点检测方法，其包括模型建立部分和模型匹配部分，其中模型建立部分按照如下步骤进行，模型建立部分的流程图如图1左侧部分所示：

(1)标记训练样本：使用N张人脸图像作为训练样本，在每张人脸图像中标记出n个有序的特征点，则第i张图像的所有特征点可以表示为一个特征向量：

X_i＝(x_i1,y_i1,x_i2,y_i2,…,x_in,y_in)^T，

其中(xia，yia)为第i张图像中第a个特征点的坐标，T表示矩阵的转置。

(2)设定特征点权重：由于人脸的所有特征点中每个特征点的稳定性不同(如鼻子、下巴、脸颊等轮廓上的特征点随着面部表情变化的幅度较小，因而特征点的位置相对稳定；而眼睛、嘴唇轮廓上的特征点较容易发生大幅移动)，因此，需要对特征点设置权重，以增加形状模型的表征能力。

设特征点权重矩阵为对角矩阵W，其第d个对角元素为w_d，w_d表示第d个特征点的权重。设第h张图像中第d个特征点到第l个特征点的距离为

并令：

则可定义：

从以上表达式可以看出，

表示第d个特征点相对于第l个特征点的稳定程度，而

则表示第d个特征点相对于其他所有特征点(也就是整个人脸图像)的稳定程度，因此，使用如上定义的w_d作为权重以表示第d个特征点的重要性是合理的。

(3)对齐特征向量：在训练样本中，由于人脸在图像中的位置不一致，为得到一个统一的形状模型，需要将训练样本进行对齐处理。本例采用Procrusts方法对训练样本进行旋转、尺度变化和平移等刚性变换，刚性变换可以用刚性变换矩阵

表示，其中旋转参量θ、尺度变化参量s和平移参量(t_x,t_y)共同构成刚性变换矩阵

的姿态参数。

具体来说，给定任意两个特征向量X_I和X_J，并令E表示

与X_I的距离，当E取得最小值时有

则T′X_J就表示X_J向X_I对齐的向量；其中E由下式计算：

注意：

实际上是一个单元素矩阵(即一行一列矩阵)，因此E实际上表示矩阵中唯一元素的代数值。

由于特征点的个数远大于姿态参数的个数，所以本例采用最小二乘法求解姿态参数θ、s、t_x和t_y。

下面，以迭代方式对所有特征向量进行对齐：

(a)设对齐模板为X_curMean，第一个训练样本的特征向量为X₁，为X_curMean赋初值X₁；同时令X′_q表示第q个训练样本的中间对齐向量(1≤q≤N)，并给X′_q赋初值X_q，X_q表示第q个训练样本的特征向量；

(b)将X′_q向X_curMean对齐，并将对齐后的向量重新赋给X′_q；

(c)计算对齐后所有向量的均值，并用均值为X_curMean重新赋值：

(d)重复(b)(c)步骤，直至X_curMean收敛，此时得到的X′_q的最终值即为对齐特征向量。

(4)主成分分析(Principal Component Analysis，PCA)：

设特征向量X_i经迭代对齐后得到的对齐特征向量为

则可得协方差矩阵S_M：

其中，

假设S_M共有K个特征值，将K个特征值从大到小进行排序，令λ_v为S_M的第v个特征值，p_v为相应的特征向量，即：

S_Mp_v＝λ_vp_v；

分析可知，λ_v越大则其对应p_v所描述的信息变化模式就越重要，因此，可以取前t个特征值所对应的特征向量作为协方差矩阵S_M的主成分向量，并将它们组成矩阵P，则最终得到的形状模型X可由下式表示：

其中，t为满足

的最小值，比例系数f通常取0.95；b用于控制形状模型的变化，b＝(b₁,b₂,…,b_t)^T。

为了确保由b的变化而产生的各种形状均与训练样本中的形状相似，就需要对b中各分量的取值加以约束，即要求：

至此，已经由训练样本得到了形状模型X和模型参数b，其中参数b用于调整模型X的形状，以使X与目标匹配。

(5)构建特征描述子：为了快速、准确的实现模型匹配，还需要为每个特征点构建局部特征，即特征描述子。

对于第k个特征点，其特征描述子

的创建过程如下：

(a)找到第j幅样本图像中第k个特征点的前后两个特征点：k-1和k+1；沿k-1和k+1两点连线的法线方向，在k点的两侧分别找m个像素点，连同k点本身共有2m+1个像素点；令g_kj＝(g_kj1,g_kj2,...,g_kj(2m+1))^T表示第j幅样本图像中第k个特征点的灰度向量，其中g_kjc表示第c个像素点的灰度值，对g_kj归一化得到纹理特征向量g′_kj：

其中g_kj0＝g_kj1。

(b)使用OpenCV(Open Source Computer Vision Library)求取梯度方向直方图(Histogram of oriented gradients，HOG)：在以第j幅样本图像中第k个特征点为中心的m*m邻域中，计算每个像素点的梯度方向和梯度幅值，然后将梯度方向划分为18份(bins)，统计该区域内像素点的梯度信息，接着对梯度方向直方图进行归一化，即得18维的HOG特征向量。

将该HOG特征向量连接在纹理特征向量的尾部，即得第j幅样本图像中第k个特征点的特征描述向量G_kj。假设G_kj服从多元高斯分布，则以

表示第k个特征点的平均特征，S′_k表示该多元高斯分布的协方差矩阵：

匹配目标图像中的人脸时，需要计算每个特征点的新的移动位置，此时可计算候选特征点的特征描述向量G′_k与平均特征

之间的相似度f_sim，并锁定相似度最高的点作为新位置。f_sim可用马氏距离度量：

至此，整个ASM构建完成，该ASM可以表示为三元组(X,b,G)，其中

在应用ASM进行人脸特征点检测时，首先给定一个初始模型，将模型参数b初始化为0，则

然后通过Haar检测器(基于Haar特征的人脸检测器)检测人脸，得到目标人脸的初始特征向量Y，并按照下式估计出初始模型的刚性变换矩阵：

接着，需要调整模型参数b使得X中特征点与Y中对应特征点之间的距离最小化，即最小化下式：

最小化过程可以迭代方式进行。

根据如上原理，模型匹配部分的具体步骤描述如下，模型匹配部分的流程图如图1右侧部分所示：

(一)初始化模型参数b为零向量；

(二)采用特征点更新算法更新特征点位置，即更新特征向量Y，Y的初始值由Haar检测器检测人脸得出；

(三)为X赋初值

(四)根据对齐特征向量的方法求取姿态参数θ、s、t_x和t_y，并进一步根据下式计算刚性变换矩阵：

以使X向Y最佳对齐；

(五)使用刚性变换矩阵

对特征向量Y进行逆变换：

(六)根据

更新模型参数b，并对b的各分量进行约束检查；

(七)如果模型参数b收敛，则输出模型参数b和刚性变换矩阵

及Y的最终值，否则重复步骤(二)至(七)直至b收敛；Y的最终值即为通过模型匹配从目标图像中得出的人脸形状，同时Y也表征从目标图像中检测出的人脸特征点。

为了检验本实施例方法的效果，从LFW人脸数据库中随机选择1500张250x250大小的人脸图像作为测试对象，并将测试对象分为3组，对于每组测试对象均采用传统ASM算法和本实施例改进ASM算法进行特征点检测。每组均采用留一验证法进行实验，即将其中1个作为检测对象，其余499个作为训练样本，测试并统计传统ASM算法和本实施例改进ASM算法的检测误差。

所谓传统ASM算法，其实施方式与本实施例的流程大体相同，区别在于：传统ASM算法的特征描述子只包含局部纹理特征，不包含梯度方向直方图信息，即G_kj仅由纹理特征向量构成。

对每组中的检测对象进行手工标记特征点，并使用手工标记特征点与算法检测特征点之间的欧氏距离作为人脸特征点检测误差的度量，令一个检测对象中所有特征点的检测误差的平均值为对应组的平均误差，则改进ASM算法与传统ASM算法的误差如下表1所示：

	传统ASM算法	改进ASM算法
			第一组平均误差	9.34	7.24
第二组平均误差	10.03	7.89
			第三组平均误差	9.88	6.51

表1改进ASM与传统ASM对比结果。

可见，本实施例改进ASM算法的检测误差明显小于传统的ASM检测算法，因此，本实施例改进的ASM算法具有比传统ASM算法更高的检测精度，进而可以有效提高后续的人脸校正、人脸识别或表情分析等过程的计算精度。

本发明实施例在传统ASM算法的基础上增加了对面部特征点的额外特征描述，即在局部纹理特征的基础上增加了邻域的HOG(梯度方向直方图)信息，将HOG特征向量与纹理特征向量融合形成了具有更强分辨力的特征描述子，从而可以快速、准确地进行候选特征点的筛选，有效地提高了人脸特征点检测的速度和精度，同时保持了算法的简洁性。本发明方法易于实现，效果良好，相对于现有技术取得了明显的进步。