CN102867174A - 一种人脸特征定位方法及装置 - Google Patents

Abstract

本发明提供了一种人脸特征定位方法及装置，相应的方法包括通过预定的人脸检测算法获得初始人脸形状，所述初始人脸形状包括人脸的宽度和长度和人脸的中心位置；通过决策函数对所述初始人脸形状进行搜索，获得人脸特征点；通过预定迭代次数及预定收敛概率的算法确定所述人脸特征点的定位是否准确，若不准确则重新通过决策函数对所述初始人脸形状进行搜索，若准确则输出定位的人脸特征点。本发明通过迭代算法和收敛概率对人脸特征点进行判断，从而确定人脸特征点的获取是否准确，并且当不准确时还能够跳出算法重新获取，能够较少搜索时间和计算量，并进一步提高人脸特征点的识别准确率。

Description

一种人脸特征定位方法及装置

技术领域

本发明涉及一种人脸特征定位方法及装置，属于人脸特征定位技术领域。

背景技术

人脸特征点定位是一种在给定的图片或视频中，先由计算机或其他设备进行人脸检测，并获得人脸的关键特征点的技术。

现有的人脸特征点检测的方法主要包括：基于灰度信息的方法、基于先验规则的方法、基于统计的方法、基于小波和小波包的方法、基于几何形状的方法等。其中的基于灰度信息的方法是一种基于灰度信息的有效提取图像特征的方法，但当姿态变化较大或者背景较复杂时容易失效；基于先验规则的方法是关于人脸部特征一般特点的经验描述，因此使得这类方法普适性不高，对问题的条件通常也有较限制，如要求图像中只能有单人、背景不能过于复杂、分辨率不能过低、姿势和表情变化不能过大等；另外，对于基于统计的方法、基于小波和小波包的方法和基于几何形状，虽然对人脸特征点的识别准确率相对现有技术的其它方法较高，但是都不具备当出现定位失败或错误时给出提示，并跳转的方法，从而使搜索时间较长、计算量较大，导致准确定难以提高。

发明内容

本发明为解决现有的人脸特征点定位中存在的人脸特征点的识别准确率较低、以及当出现定位失败或错误时无法跳转导致的搜索时间较长、计算量较大的问题，进而提供了一人脸特征定位方法及装置。为此，本发明提供了如下的技术方案：

一种人脸特征定位方法，包括：

通过预定的人脸检测算法获得初始人脸形状，所述初始人脸形状包括人脸的宽度和长度和人脸的中心位置；

通过决策函数对所述初始人脸形状进行搜索，获得人脸特征点；

通过预定迭代次数及预定收敛概率的算法确定所述人脸特征点的定位是否准确，若不准确则重新通过决策函数对所述初始人脸形状进行搜索，若准确则输出定位的人脸特征点。

一种人脸特征定位装置，包括：

人脸形状确定模块，用于通过预定的人脸检测算法获得初始人脸形状，所述初始人脸形状包括人脸的宽度和长度和人脸的中心位置；

特征点确定模块，用于通过决策函数对所述初始人脸形状进行搜索，获得人脸特征点；

错误确定及复位模块，用于通过预定迭代次数及预定收敛概率的算法确定所述人脸特征点的定位是否准确，若不准确则重新通过决策函数对所述初始人脸形状进行搜索，若准确则输出定位的人脸特征点。

本发明提供的技术方案通过迭代算法和收敛概率对人脸特征点进行判断，从而确定人脸特征点的获取是否准确，并且当不准确时还能够跳出算法重新获取，能够较少搜索时间和计算量，并进一步提高人脸特征点的识别准确率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的具体实施方式提供的人脸特征定位方法的整体流程示意图；

图2是本发明的具体实施方式提供的人脸特征定位方法的详细流程示意图；

图3是本发明的具体实施方式提供的包括45个特征点人脸示意图；

图4是本发明的具体实施方式提供的人脸特征定位装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的具体实施方式提供了一种人脸特征定位方法，如图1所示，包括：

步骤11，通过预定的人脸检测算法获得初始人脸形状，所述初始人脸形状包括人脸的宽度和长度和人脸的中心位置。

在本具体实施方式中，可采用AdaBoost人脸检测算法获得初始人脸形状，由于其受训练样本等因素的影响，检测出来的人脸区域中心与实际图片中人脸的中心有一定偏差，而且偏差有一定的倾向性和稳定性，所以可以利用这个特点来考虑对获得的人脸形状的初始值进行优化。具体为：以图2为例，在分析人脸特征点分布的基础上，考虑到了人脸的先验规则，即是关于人脸部特征一般特点的经验描述，虽然人脸的表面特征千差万别，但通常意义上的人脸在结构上存在着一个标准，既人脸的宽度比例，以眼形长度为单位，把脸的宽度分成五个等分，即从左侧发际至右侧发际，为五只眼睛，两只眼睛之间有一只眼睛的间距，两眼外测至两侧发际各位一只眼睛的间距，各占人脸宽度比例的五分之一。

当在比较准确的定位特征点43，37（如图4所示）之后，基本上可以获得的信息有：人脸宽度（特征点43和37连线的距离），人脸中心的位置（特征点43和37连线的中点）。所以选择N张人脸图片，采用的AdaBoost人脸检测算法检测的对应的人脸区域位置数据，以及采用手工方式准确定位对应图片人脸特征的特征数据信息组成的N个样本，以此来估计采用的AdaBoost算法的检测倾向特性数据。此时定义人脸特征与人脸检测区域中心的距离向量D_i和人脸检测宽度需要缩放至人脸特征对应的紧致的人脸区域宽度的缩放系数S_i（i表示第i张人脸图片，1≤i≤N）包括：

a）、求解平均中心偏离

DLT_i表示对应的人脸检测区域的左上角点的位置向量，DRE_i表示对应的人脸检测区域的右下角点的位置向量，人脸检测区域的中心位置向量Dfc_i（i表示第i张人脸图片，1≤i≤N）为：

Dfc_i=(DLT_i+DRE_i)/2

实际的人脸中心位置向量Dtc_i（i表示第i张人脸图片，1≤i≤N）为：

Dtc_i=(D₄₃+0.5x(D₃₇-D₄₃）)_i

其中D₄₃和D₃₇分别表示第i张人脸图片经准确的特征定位后的对应特征点43和37的坐标向量。

实际的人脸中心与人脸检测区域中心的距离向量D_i（i表示第i张人脸图片，1≤i≤N）为：

D_i=Dtc_i-Dfc_i

为了便于比较不同人脸图片的人脸特征与人脸检测区域中心的偏离情况，以当前图片的人脸检测区域的宽度（或长度）（人脸检测区域为正方形）为尺度，进行如下变换得到E_i（i表示第i张人脸图片，1≤i≤N）：

E_i=D_i/FaceW_i

其中，FaceW_i，表示第i张图片对应的人脸检测算法检测出的人脸宽度。

现在可以采用N个上述样本，进行简单的求它们的平均值

并把它作为新的紧致的人脸区域的中心与人脸区域检测算法检测的人脸区域中心的标准偏差，则：

$\stackrel{\‾}{E}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{E}_i$

b）、求解平均宽度缩放系数

S_i=（||D₃₇-D₄₃||/FaceW）_i

（其中，i表示第i个人脸图片）

c）、当前待检测人脸图片j的紧致人脸区域的中心位置向量Dfnc_j和宽度Fw_j分别为：

${\mathrm{Dfnc}}_j={\mathrm{Dfc}}_j+\stackrel{\‾}{E}\×{\mathrm{FaceW}}_j$

${\mathrm{Fw}}_j=\stackrel{\‾}{S}\×F{\mathrm{aceW}}_j$

其中，Dfc_j和FaceW_j分别表示待检测图片j的经人脸检测算法检测出的人脸区域中心位置和人脸区域宽度。

在获得初始人脸形状后还可以包括根据预定的缩放系数将所述人脸形状缩小。在图2中，m表示搜索层次个数阈值；i表示搜索的层次数编号,取值范围是(0,1,...,m-1)；n表示每个层次搜索的搜索迭代次数阈值；j表示i层搜索的迭代搜索编号，取值范围是(0,1,...,n-1)；g表示每个层次搜索的每次搜索迭代的特征点收敛概率阈值；p表示i层搜索j次搜索迭代的特征点收敛概率；s表示当前i层搜索下，原始待搜索图像需要的缩放倍数。以四个层次的搜索四轮迭代的搜索模型以及相邻层次搜索图像缩放倍数是2为例：m等于4，n等于4，这四个层次搜索针对的图像大小分别是：1/8的原始图像，1/4的原始图像，1/2的原始图像，原始图像；s的值在这四个层次搜索中依次为8、4、2、1，也就是在进行对应的分辨率下图像的搜索时，首先需要把搜索图像和初始人脸形状缩放到对应尺度，其次在搜索结束时，需要把得到的人脸形状缩放到原始尺度，以便进行下一轮搜索或者直接作为最终的结果。进一步地，图2中m、n和g的值都是固定的，也就是说原始算法针对所有的人脸图片的处理都是进行m个层次的搜索，每层搜索中，当前的特征点收敛概率不小于g或者进行的迭代次数不小于n时才能结束当前层的搜索；图2所示的算法中，g的值是在每层搜索中都是不同的，而且虽然m的值是固定的，但是由于增加了快速跳出搜索的控制机制，使得，对具体的人脸图片处理，搜索的层次数可以小于或等于m。

步骤12，通过决策函数对所述初始人脸形状进行搜索，获得人脸特征点。

在建立特征点的匹配的决策函数时，本具体实施方式在原来只考虑局部灰度分布的基础上，添加了特征点采样方向上的标准化的灰度差分信息，形成了新的搜索决策函数。例如，在图3中，对于特征点8～10，12～14，16～18，20～22，27，29，34～42新的决策函数如下：

$f_j\left(i\right)={(h\left(i\right)-{\stackrel{\‾}{y}}_j)}^T{G}_j^{-1}(h\left(i\right)-{\stackrel{\‾}{y}}_j)-k\×\max (\mathrm{abs}\left({\mathrm{yL}}_i\right),\mathrm{abs}\left({\mathrm{yR}}_i\right))$

其中，j表示第j个特征点，yL_i和yR_i分别表示当前特征点j的当前候选点i在采样方向的与相邻两个点的标准化的差分，k表示权值。这样的定义决策函数是由于这些特征点的位于人脸或五官的边缘，其与相邻背景像素点的灰度差分可以用于协助其精确定位；另一方面由于候选点的标准化的灰度差分信息已经在原始算法中计算出来，本具体实施方式在此采用并设计入改进算法，既提高了这些特征点的定位精度，而同时又没有带来复杂的计算开销。

由上述决策函数可以看出，当候选特征点位于边缘时，其在取样方向上与相邻像素点的标准化的灰度差分大者max(abs(yL_i),abs(yR_i))，有更大的值，即f_j(i)有更小的值，即位于边缘的候选点被选中为新的目的位置的机会增大了。当相邻的两个候选点有共同的max(abs(yL_i),abs(yR_i))时，就等于只是比较值的大小，所以，在比较边缘两侧的特征点的决策函数时，等于没有改变其决策函数。但是，这样设计的新的决策函数，让位于边缘上的点更容易被选中为新的特征位置。当候选特征点远离边缘时，其在取样方向上与相邻像素点的标准化的灰度差分大者max(abs(yL_i),abs(yR_i))≈0，即f_j(i)与原始决策函数的值就几乎相同，所以本具体实施方式提出的决策函数f_j(i)在提高部分关键特征点定位效果的同时，并不会降低原始算法的定位特性。

步骤13，通过预定迭代次数及预定收敛概率的算法确定所述人脸特征点的定位是否准确，若不准确则重新通过决策函数对所述初始人脸形状进行搜索，若准确则输出定位的人脸特征点。

本具体实施方式可采用固定的收敛概率为75％，以及每层次固定的最大迭代次数为4时为例，在准确定位或不良定位时的部分图片定位过程如下表所示：

表1定位较准确的图片的定位过程

表2定位不良的图片的定位过程

通过表1、表2可以看出：第一，对于定位比较准确的图片，开始的各层次的迭代很容易收敛，但在后面的层次搜索却需要多次迭代；第二，对于定位较差的图片，每个层次都迭代了最大的迭代次数，即对特征定位差的图片，搜索的时间很长，这里固定的最大迭代次数的选择对算法的速度影响很大；第三，对于定位比较准确的例子，每个层次迭代中，收敛概率有提高的趋势；第四，根据定位较差的图片的定位过程的特点可以看出，平均迭代收敛概率或者所占用的总的迭代次数，都可以作为特征自动定位效果自动评测的依据。

在如图2所示的算法流程图中，步骤“若i等于1且j等于n时，p小于g，则跳出当前循环”，表示在第一层次搜索时，进行最后一轮迭代搜索后，如果特征点收敛概率仍然小于g，则表示最终定位很容易失败，所以就迅速终止算法的执行，然后可以给出“人脸特征点自动定位失败”的提示。表示在进行非最后两个层次的搜索时，如果某一轮迭代搜索后，如果特征点收敛概率大于预先设定的阈值G，则跳过一个层次的搜索，这样的目的就是在提高定位的速度，同时为了不降低定位的精度，在算法流程图中，步骤“更新g的值”，表示，每个层次搜索的结束条件由固定的收敛概率g变为灵活的设定方式，设定的原则就是随着搜索层次的转变，收敛概率g逐渐提高。阈值G是一个经验数据，需要在具体实现中经实验确定。

本文把已经实现的四个层次迭代的原始的多分辨率ASM此处的控制条件改为：第一，四个层次的最大的迭代次数依然4，但是增加了快速跳转迭代的机制：在第一层的第四次迭代如果其收敛概率低于某一阈值，则跳出所有搜索，在第一、第二层次搜索中，如果某次迭代的收敛概率大于某一阈值，则立即向后跳过一个层次的搜索；第二，四个层次的固定的收敛概率依次为75％，80％，85％，90％。这样的好处就是，可以明显地提高算法的速度，同时又可以提高算法的定位精度。

采用本具体实施方式提供的技术方案，通过AdaBoost人脸检测算法、迭代算法和收敛概率对人脸特征点进行判断，从而确定人脸特征点的获取是否准确，并且当不准确时还能够跳出算法重新获取，能够较少搜索时间和计算量，并进一步提高人脸特征点的识别准确率。

需要说明的是，本领域普通技术人员可以理解实现上述各方法实施例中的全部或部分步骤是可以通过程序来指令相关的硬件完成，相应的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

本发明的具体实施方式还提供了一种人脸特征定位装置，如图4所示，包括：

人脸形状确定模块41，用于通过预定的人脸检测算法获得初始人脸形状，所述初始人脸形状包括人脸的宽度和长度和人脸的中心位置；

特征点确定模块42，用于通过决策函数对所述初始人脸形状进行搜索，获得人脸特征点；

错误确定及复位模块43，用于通过预定迭代次数及预定收敛概率的算法确定所述人脸特征点的定位是否准确，若不准确则重新通过决策函数对所述初始人脸形状进行搜索，若准确则输出定位的人脸特征点。

可选的，在人脸形状确定模块41中可以包括：宽度及中心确定子模块，用于以眼形的长度为单位，将人脸的宽度划分成五部分，从而确定人脸的宽度为五倍的眼形的长度，人脸的中心位置为左右两个眼形连线的中心点。

可选的，该装置还可以包括：缩小模块，用于在获得初始人脸形状后根据预定的缩放系数将所述人脸形状缩小。

可选的，在特征点确定模块42中，决策函数为：

$f_j\left(i\right)={(h\left(i\right)-{\stackrel{\‾}{y}}_j)}^T{G}_j^{-1}(h\left(i\right)-{\stackrel{\‾}{y}}_j)-k\×\max (\mathrm{abs}\left({\mathrm{yL}}_i\right),\mathrm{abs}\left({\mathrm{yR}}_i\right)),$ 其中j表示第j个特征点，yL_i和yR_i分别表示当前特征点j的当前候选点i在采样方向的与相邻两个点的标准化的差分，k表示权值。

可选的，在错误确定及复位模块73中可以包括：概率提高子模块，用于在每次迭代计算后，将所述收敛概率提高预定的倍数。

上述人脸特征定位装置中包含的各模块的处理功能的具体实现方式在之前的方法实施例中已经描述，在此不再重复描述。

采用本具体实施方式提供的技术方案，通过AdaBoost人脸检测算法、迭代算法和收敛概率对人脸特征点进行判断，从而确定人脸特征点的获取是否准确，并且当不准确时还能够跳出算法重新获取，能够较少搜索时间和计算量，并进一步提高人脸特征点的识别准确率。

需要注意的是，上述装置的实施例中，所包括的各个模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明实施例揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种人脸特征定位方法，其特征在于，包括：

通过预定的人脸检测算法获得初始人脸形状，所述初始人脸形状包括人脸的宽度和长度和人脸的中心位置；

通过决策函数对所述初始人脸形状进行搜索，获得人脸特征点；

通过预定迭代次数及预定收敛概率的算法确定所述人脸特征点的定位是否准确，若不准确则重新通过决策函数对所述初始人脸形状进行搜索，若准确则输出定位的人脸特征点。

2.根据权利要求1所述的方法，其特征在于，所述通过预定的人脸检测算法获得初始人脸形状包括：以眼形的长度为单位，将人脸的宽度划分成五部分，从而确定人脸的宽度为五倍的眼形的长度，人脸的中心位置为左右两个眼形连线的中心点。

3.根据权利要求1所述的方法，其特征在于，在获得初始人脸形状后还包括根据预定的缩放系数将所述人脸形状缩小。

4.根据权利要求1所述的方法，其特征在于，所述决策函数为：

$f_j\left(i\right)={(h\left(i\right)-{\stackrel{\‾}{y}}_j)}^T{G}_j^{-1}(h\left(i\right)-{\stackrel{\‾}{y}}_j)-k\×\max (\mathrm{abs}\left({\mathrm{yL}}_i\right),\mathrm{abs}\left({\mathrm{yR}}_i\right)),$ 其中j表示第j个特征点，yL_i和yR_i分别表示当前特征点j的当前候选点i在采样方向的与相邻两个点的标准化的差分，k表示权值。

5.根据权利要求1所述的方法，其特征在于，通过预定迭代次数及预定收敛概率的算法确定所述人脸特征点的定位是否准确包括：在每次迭代计算后，将所述收敛概率提高预定的倍数。

6.一种人脸特征定位装置，其特征在于，包括：

人脸形状确定模块，用于通过预定的人脸检测算法获得初始人脸形状，所述初始人脸形状包括人脸的宽度和长度和人脸的中心位置；

特征点确定模块，用于通过决策函数对所述初始人脸形状进行搜索，获得人脸特征点；

错误确定及复位模块，用于通过预定迭代次数及预定收敛概率的算法确定所述人脸特征点的定位是否准确，若不准确则重新通过决策函数对所述初始人脸形状进行搜索，若准确则输出定位的人脸特征点。

7.根据权利要求6所述的装置，其特征在于，在人脸形状确定模块中包括：

宽度及中心确定子模块，用于以眼形的长度为单位，将人脸的宽度划分成五部分，从而确定人脸的宽度为五倍的眼形的长度，人脸的中心位置为左右两个眼形连线的中心点。

8.根据权利要求6所述的装置，其特征在于，该装置还包括：

缩小模块，用于在获得初始人脸形状后根据预定的缩放系数将所述人脸形状缩小。

9.根据权利要求6所述的装置，其特征在于，在特征点确定模块中，所述决策函数为：

$f_j\left(i\right)={(h\left(i\right)-{\stackrel{\‾}{y}}_j)}^T{G}_j^{-1}(h\left(i\right)-{\stackrel{\‾}{y}}_j)-k\×\max (\mathrm{abs}\left({\mathrm{yL}}_i\right),\mathrm{abs}\left({\mathrm{yR}}_i\right)),$ 其中j表示第j个特征点，yL_i和yR_i分别表示当前特征点j的当前候选点i在采样方向的与相邻两个点的标准化的差分，k表示权值。

10.根据权利要求6所述的装置，其特征在于，在错误确定及复位模块中包括：

概率提高子模块，用于在每次迭代计算后，将所述收敛概率提高预定的倍数。

Images