CN103824087A - 人脸特征点的检测定位方法以及系统 - Google Patents

Abstract

提供一种人脸特征点的检测定位方法以及系统。一种人脸特征点的检测定位方法包括：对输入的人脸图像执行人脸区域检测；由检测出的人脸区域检测人眼瞳孔位置；根据检测到的人眼瞳孔位置执行特征点初始化赋值；基于初始化赋值的特征点以及人眼瞳孔位置，对检测出的人脸区域执行多分辨率的人脸特征点定位搜索；基于Gabor纹理特征执行各特征点的精确定位处理，从而获得最终的人脸特征点位置。

Description

人脸特征点的检测定位方法以及系统

技术领域

本申请涉及一种人脸特征点的检测定位方法以及系统，尤其涉及一种通过检测的人眼瞳孔位置进行特征点初始化赋值，再对人脸区域进行多分辨率的特征点定位搜索，此后基于Gabor纹理特征执行特征点精确定位的特征点检测定位方法和系统。

背景技术

人脸特征点定位所要解决的问题是，对一个待处理对象(通常是图片或者影像)检测出人脸区域，再进一步地定位出人脸重要五官的坐标位置。人脸特征点一般包括眉毛、眼睛、鼻子、嘴巴和脸部轮廓。这里的定位信息通常用作进一步后续处理，例如图像主人身份的判别、表情识别、人脸追踪和人脸合成等。

目前在人脸特征点检测领域用得最多最广的方法是主动形状模型(Active Shape Model，ASM)，ASM由国外学者Cootes和Taylor在上世纪90年代提出的，它思想上源自于主动轮廓模型(Active Contour Model)。是一个基于训练和统计的模型。它处理的对象通常具有特定的形状，例如人脸五官，它的形状样本是由训练图像上的标定点的坐标向量集合表示的。训练阶段，由于处理对象可能存在大小、角度、位置的变换，因此通过对模型(点序列)进行变形(通常包括旋转、缩放、仿射变换)，归一化向基准对齐。传统ASM利用的是局部的灰度信息建立纹理模型。在搜索过程，使用训练学习得到的纹理信息指导特征点的走向，得到特征点新的位置，与此同时，利用形状训练结果，辅助修正形状。通过循环迭代，得到理想的匹配结果。某种程度上，ASM能够得到不错的效果，是目前主流的人脸特征点检测方法。

但是，由于ASM使用的是局部纹理，仅利用局部的一维灰度信息作为纹理信息，不太具有区分性，所以容易陷入局部最小，而且也无法实现进一步精确定位。加上标定点周围的局部灰度信息易受光照和噪音的影响，使得算法不收敛、特征点定位不理想甚至失败。此外，ASM对初始位置十分敏感，一旦初始位置偏离目标位置较远的时候，往往定位结果不尽如意。

发明内容

本发明的目的在于提供一种人脸特征点的检测定位方法以及系统，通过检测的人眼瞳孔位置进行特征点初始化赋值，再对人脸区域进行多分辨率的特征点定位搜索，此后基于Gabor纹理特征执行特征点精确定位，从而较为精确地定位人脸特征点。

本发明的目的在于提供一种通过网络提供人脸特征点的检测定位服务的方法和系统，通过从客户机提供的人脸图片检测的人眼瞳孔位置进行特征点初始化赋值，再对人脸区域进行多分辨率的特征点定位搜索，此后基于Gabor纹理特征执行特征点精确定位，并且将确定的特征点信息提供给客户机，从而较为精确地定位人脸特征点。

根据本发明的一方面，提供一种人脸特征点的检测定位方法，所述方法包括：对输入的人脸图像执行人脸区域检测；由检测出的人脸区域检测人眼瞳孔位置；根据检测到的人眼瞳孔位置执行特征点初始化赋值；基于初始化赋值的特征点以及人眼瞳孔位置，对检测出的人脸区域执行多分辨率的人脸特征点定位搜索；基于Gabor纹理特征执行各特征点的精确定位处理，从而获得最终的人脸特征点位置。

可根据类Haar特征以及AdaBoost人脸检测方法执行人脸区域的检测。

所述由检测出的人脸区域检测人眼瞳孔位置的步骤可包括：将左眼估算区域和右眼估算区域分别确定为左上角坐标分别为和

宽皆为

并且高皆为

的矩形区域，其中，(x，y)是人脸矩形区域左上角点的坐标，width和height分别是人脸矩形区域的宽和高；通过对所述左眼估算区域和右眼估算区域分别执行二值化分割得到左眼区域和右眼区域；分别将左眼区域和右眼区域的中心位置确定为人眼左右瞳孔的位置。

所述根据检测到的人眼瞳孔位置执行特征点初始化赋值的步骤可包括：根据以下公式分别计算旋转因子θ、伸缩因子s以及平移因子X_c：

$\mathrm{\θ}=\arctan \left(\frac{{y^{\′}}_1-{y^{\′}}_2}{{x^{\′}}_1-{x^{\′}}_2}\right)-\arctan \left(\frac{y_1-y_2}{x_1-x_2}\right)$

$s=\frac{\sqrt{{({x^{\′}}_1-{x^{\′}}_2)}^2+{({y^{\′}}_1-{y^{\′}}_2)}^2}}{\sqrt{{(x_1-x_2)}^2+{(y_1-y_2)}^2}}$

X_c＝(x′₂，y′₂)

其中，(x₁，y₁)和(x₂，y₂)分别是事先利用一组人脸形状模型训练得到的平均人脸形状的左右眼瞳孔位置，(x′₁，y′₁)和(x′₂，y′₂)分别是所述人眼瞳孔位置检测步骤得到的左右眼瞳孔位置；将训练得到的平均人脸形状平移，使其右眼瞳孔位置成为坐标原点；以检测的右眼瞳孔位置为中心，按照θ和s依次对所述训练得到的平均人脸形状的特征点进行旋转和伸缩，然后平移X_c，得到人脸特征点的初始化位置。

所述对检测出的人脸区域执行多分辨率的人脸特征点定位搜索的步骤可包括：根据金字塔图像处理原理将检测的人脸图像进行多分辨率子图像分解，得到K层不同分辨率的子图像，其中，从低到高每层子图像的长宽是上一层子图像长宽的一半；将i取值自K到1，迭代变量j初始化为1，对与i相应的层的子图像迭代地执行操作a)～d)：

a)将当前点和其法线上两边候选点进行Sobel梯度纹理与训练模型的马氏距离的比较，取最小者替换当前位置特征点，

b)根据步骤a)得到的特征点，更新当前人脸特征点的形状参数作为新的当前人脸形状，然后以该人脸形状取得平均脸形状去重新计算并更新平移、伸缩、旋转参数，以使当前获得的人脸模型形状和待检测人脸的形状更为匹配，

c)在当前层，如果所有特征点与训练模型的平均马氏距离小于一小常数值，或者特征点的平均更新移动距离小于某一个小常数值，或者j＞c*(Ki+1)，其中c为整数常量，则i＝i-1，j＝1，并返回a)，

d)j＝j+1，返回a)。

所述基于Gabor纹理特征执行各特征点的精确定位处理的步骤可包括：在经过多分辨率的人脸特征点定位检索得到的形状基础上，针对每个特征点执行以下操作：选取所述特征点周围N*N的方块，计算所述方块内每一个点对该特征点的Gabor纹理特征值的相似度，选取相似度最高者为作为所述特征点对应的最终特征点。

根据本发明的另一方面，提供一种人脸特征点的检测定位方法，所述方法包括在服务器端执行以下步骤：从客户机接收人脸图像；对接收的人脸图像执行人脸区域检测；由检测出的人脸区域检测人眼瞳孔位置；根据检测到的人眼瞳孔位置执行特征点初始化赋值；基于初始化赋值的特征点以及人眼瞳孔位置，对检测出的人脸区域执行多分辨率的人脸特征点定位搜索；基于Gabor纹理特征执行各特征点的精确定位处理，从而获得最终的人脸特征点位置；将标注有各个最终特征点位置的人脸图像发送给所述客户机。

可根据类Haar特征以及AdaBoost人脸检测方法执行人脸区域的检测。

所述由检测出的人脸区域检测人眼瞳孔位置的步骤可包括：将左眼估算区域和右眼估算区域分别确定为左上角坐标分别为和

宽皆为

并且高皆为

的矩形区域，其中，(x,y)是人脸矩形区域左上角点的坐标，width和height分别是人脸矩形区域的宽和高；通过对所述左眼估算区域和右眼估算区域分别执行二值化分割得到左眼区域和右眼区域；分别将左眼区域和右眼区域的中心位置确定为人眼左右瞳孔的位置。

所述根据检测到的人眼瞳孔位置执行特征点初始化赋值的步骤可包括：

根据以下公式分别计算旋转因子θ、伸缩因子s以及平移因子X_c：

$\mathrm{\θ}=\arctan \left(\frac{{y^{\′}}_1-{y^{\′}}_2}{{x^{\′}}_1-{x^{\′}}_2}\right)-\arctan \left(\frac{y_1-y_2}{x_1-x_2}\right)$

$s=\frac{\sqrt{{({x^{\′}}_1-{x^{\′}}_2)}^2+{({y^{\′}}_1-{y^{\′}}_2)}^2}}{\sqrt{{(x_1-x_2)}^2+{(y_1-y_2)}^2}}$

X_c＝(x′₂，y′₂)

其中，(x₁，y₁)和(x₂，y₂)分别是事先利用一组人脸形状模型训练得到的平均人脸形状的左右眼瞳孔位置，(x′₁，y′₁)和(x′₂，y′₂)分别是所述人眼瞳孔位置检测步骤得到的左右眼瞳孔位置；

将训练得到的平均人脸形状平移，使其右眼瞳孔位置成为坐标原点；

以检测的右眼瞳孔位置为中心，按照θ和s依次对所述训练得到的平均人脸形状的特征点进行旋转和伸缩，然后平移X_c，得到人脸特征点的初始化位置。

所述对检测出的人脸区域执行多分辨率的人脸特征点定位搜索的步骤可包括：

根据金字塔图像处理原理将检测的人脸图像进行多分辨率子图像分解，得到K层不同分辨率的子图像，其中，从低到高每层子图像的长宽是上一层子图像长宽的一半，

将i取值自K到1，迭代变量j初始化为1，对与i相应的层的子图像迭代地执行操作a)～d)：

a)将当前点和其法线上两边候选点进行Sobel梯度纹理与训练模型的马氏距离的比较，取最小者替换当前位置特征点，

b)根据步骤a)得到的特征点，更新当前人脸特征点的形状参数作为新的当前人脸形状，然后以该人脸形状取得平均脸形状去重新计算并更新平移、伸缩、旋转参数，以使当前获得的人脸模型形状和待检测人脸的形状更为匹配，

c)在当前层，如果所有特征点与训练模型的平均马氏距离小于一小常数值，或者特征点的平均更新移动距离小于某一个小常数值，或者j＞c*(K-i+1)，其中c为整数常量，则i＝i-1，j＝1，并返回a)，

d)j＝j+1，返回a)。

所述基于Gabor纹理特征执行各特征点的精确定位处理的步骤可包括：在经过多分辨率的人脸特征点定位检索得到的形状基础上，针对每个特征点执行以下操作：选取所述特征点周围N*N的方块，计算所述方块内每一个点对该特征点的Gabor纹理特征值的相似度，选取相似度最高者为作为所述特征点对应的最终特征点。

根据本发明的另一方面，提供一种人脸特征点的检测定位系统，所述系统包括：第一装置，用于对输入的人脸图像执行人脸区域检测；第二装置，用于由检测出的人脸区域检测人眼瞳孔位置；第三装置，用于根据检测到的人眼瞳孔位置执行特征点初始化赋值；第四装置，用于基于初始化赋值的特征点以及人眼瞳孔位置，对检测出的人脸区域执行多分辨率的人脸特征点定位搜索；第五装置，用于基于Gabor纹理特征执行各特征点的精确定位处理，从而获得最终的人脸特征点位置。

第一装置可根据类Haar特征以及AdaBoost人脸检测方法执行人脸区域的检测。

根据本发明的可选实施例，第二装置在所述由检测出的人脸区域检测人眼瞳孔位置时，将左眼估算区域和右眼估算区域分别确定为左上角坐标分别为

和宽皆为

并且高皆为

的矩形区域，其中，(x，y)是人脸矩形区域左上角点的坐标，width和height分别是人脸矩形区域的宽和高；通过对所述左眼估算区域和右眼估算区域分别执行二值化分割得到左眼区域和右眼区域分别将左眼区域和右眼区域的中心位置确定为人眼左右瞳孔的位置。

根据本发明的可选实施例，第三装置在根据检测到的人眼瞳孔位置执行特征点初始化赋值时，

根据以下公式分别计算旋转因子θ、伸缩因子s以及平移因子X_c：

$\mathrm{\θ}=\arctan \left(\frac{{y^{\′}}_1-{y^{\′}}_2}{{x^{\′}}_1-{x^{\′}}_2}\right)-\arctan \left(\frac{y_1-y_2}{x_1-x_2}\right)$

$s=\frac{\sqrt{{({x^{\′}}_1-{x^{\′}}_2)}^2+{({y^{\′}}_1-{y^{\′}}_2)}^2}}{\sqrt{{(x_1-x_2)}^2+{(y_1-y_2)}^2}}$

X_c＝(x′₂，y′₂)

其中，(x₁，y₁)和(x₂，y₂)分别是事先利用一组人脸形状模型训练得到的平均人脸形状的左右眼瞳孔位置，(x′₁，y′₁)和(x′₂，y′₂)分别是所述人眼瞳孔位置检测步骤得到的左右眼瞳孔位置，

将训练得到的平均人脸形状平移，使其右眼瞳孔位置成为坐标原点，

以检测的右眼瞳孔位置为中心，按照θ和s依次对所述训练得到的平均人脸形状的特征点进行旋转和伸缩，然后平移X_c，得到人脸特征点的初始化位置。

根据本发明的可选实施例，第四装置在对检测出的人脸区域执行多分辨率的人脸特征点定位搜索时，

根据金字塔图像处理原理将检测的人脸图像进行多分辨率子图像分解，得到K层不同分辨率的子图像，其中，从低到高每层子图像的长宽是上一层子图像长宽的一半，

将i取值自K到1，迭代变量j初始化为1，对与i相应的层的子图像迭代地执行操作a)～d)：

a)将当前点和其法线上两边候选点进行Sobel梯度纹理与训练模型的马氏距离的比较，取最小者替换当前位置特征点，

b)根据步骤a)得到的特征点，更新当前人脸特征点的形状参数作为新的当前人脸形状，然后以该人脸形状取得平均脸形状去重新计算并更新平移、伸缩、旋转参数，以使当前获得的人脸模型形状和待检测人脸的形状更为匹配，

c)在当前层，如果所有特征点与训练模型的平均马氏距离小于一小常数值，或者特征点的平均更新移动距离小于某一个小常数值，或者j＞c*(K-i+1)，其中c为整数常量，则i＝i-1，j＝1，并返回a)，

d)j＝j+1，返回a)。

根据本发明的可选实施例，第五装置在基于Gabor纹理特征执行各特征点的精确定位处理时，在经过多分辨率的人脸特征点定位检索得到的形状基础上，针对每个特征点执行以下操作：选取所述特征点周围N*N的方块，计算所述方块内每一个点对该特征点的Gabor纹理特征值的相似度，选取相似度最高者为作为所述特征点对应的最终特征点。

根据本发明的另一方面，提供一种在服务器端执行人脸特征点的检测定位的系统，所述系统包括：第一装置，用于从客户机接收人脸图像；第二装置，用于对接收的人脸图像执行人脸区域检测；第三装置，用于由检测出的人脸区域检测人眼瞳孔位置；第四装置，用于根据检测到的人眼瞳孔位置执行特征点初始化赋值；第五装置，用于基于初始化赋值的特征点以及人眼瞳孔位置，对检测出的人脸区域执行多分辨率的人脸特征点定位搜索；第六装置，用于基于Gabor纹理特征执行各特征点的精确定位处理，从而获得最终的人脸特征点位置；第七装置，用于将标注有各个最终特征点位置的人脸图像发送给所述客户机。

根据本发明的可选实施例，第二装置根据类Haar特征以及AdaBoost人脸检测方法执行人脸区域的检测。

根据本发明的可选实施例，第三装置在由检测出的人脸区域检测人眼瞳孔位置时，

将左眼估算区域和右眼估算区域分别确定为左上角坐标分别为

和

宽皆为并且高皆为

的矩形区域，其中，(x，y)是人脸矩形区域左上角点的坐标，width和height分别是人脸矩形区域的宽和高，

通过对所述左眼估算区域和右眼估算区域分别执行二值化分割得到左眼区域和右眼区域，

分别将左眼区域和右眼区域的中心位置确定为人眼左右瞳孔的位置。

根据本发明的可选实施例，第四装置在根据检测到的人眼瞳孔位置执行特征点初始化赋值时，

根据以下公式分别计算旋转因子θ、伸缩因子s以及平移因子X_c：

$\mathrm{\θ}=\arctan \left(\frac{{y^{\′}}_1-{y^{\′}}_2}{{x^{\′}}_1-{x^{\′}}_2}\right)-\arctan \left(\frac{y_1-y_2}{x_1-x_2}\right)$

$s=\frac{\sqrt{{({x^{\′}}_1-{x^{\′}}_2)}^2+{({y^{\′}}_1-{y^{\′}}_2)}^2}}{\sqrt{{(x_1-x_2)}^2+{(y_1-y_2)}^2}}$

X_c＝(x′₂，y′₂)

其中，(x₁，y₁)和(x₂，y₂)分别是事先利用一组人脸形状模型训练得到的平均人脸形状的左右眼瞳孔位置，(x′₁，y′₁)和(x′₂，y′₂)分别是所述人眼瞳孔位置检测步骤得到的左右眼瞳孔位置，

将训练得到的平均人脸形状平移，使其右眼瞳孔位置成为坐标原点，

以检测的右眼瞳孔位置为中心，按照θ和s依次对所述训练得到的平均人脸形状的特征点进行旋转和伸缩，然后平移X_c，得到人脸特征点的初始化位置。

根据本发明的可选实施例，第五装置在对检测出的人脸区域执行多分辨率的人脸特征点定位搜索时，

根据金字塔图像处理原理将检测的人脸图像进行多分辨率子图像分解，得到K层不同分辨率的子图像，其中，从低到高每层子图像的长宽是上一层子图像长宽的一半，

将i取值自K到1，迭代变量j初始化为1，对与i相应的层的子图像迭代地执行操作a)～d)：

a)将当前点和其法线上两边候选点进行Sobel梯度纹理与训练模型的马氏距离的比较，取最小者替换当前位置特征点，

b)根据步骤a)得到的特征点，更新当前人脸特征点的形状参数作为新的当前人脸形状，然后以该人脸形状取得平均脸形状去重新计算并更新平移、伸缩、旋转参数，以使当前获得的人脸模型形状和待检测人脸的形状更为匹配，

c)在当前层，如果所有特征点与训练模型的平均马氏距离小于一小常数值，或者特征点的平均更新移动距离小于某一个小常数值，或者j＞c*(K-i+1)，其中c为整数常量，则i＝i-1，j＝1，并返回a)，

d)j＝j+1，返回a)。

根据本发明的可选实施例，所述基于Gabor纹理特征执行各特征点的精确定位处理的步骤包括：在经过多分辨率的人脸特征点定位检索得到的形状基础上，针对每个特征点执行以下操作：选取所述特征点周围N*N的方块，计算所述方块内每一个点对该特征点的Gabor纹理特征值的相似度，选取相似度最高者为作为所述特征点对应的最终特征点。

附图说明

通过下面结合附图进行的描述，本发明的上述和其他目的和特点将会变得更加清楚，其中：

图1是示出根据本发明的示例性实施例的人脸特征点的检测定位方法的流程图；

图2示意性地示出Gabor滤波器的16个核函数；

图3示意性地示出根据本发明的示例性实施例的人脸特征点的检测定位方法检测出的人脸特征点。

具体实施方式

以下，将参照附图来详细说明本发明的实施例。

可将根据本发明的示例性实施例的人脸特征点的检测定位方法实现为一种网络服务，在服务器端，根据来自客户机的请求，对从客户机接收的图片执行人脸检测以及人脸特征点检测，并且将检测的结果发送给请求的客户机。这样，具备有限计算能力和存储能力的终端设备(如手机、平板电脑等)可充分利用服务器端的计算资源来获得较为准确的特征点检测结果。

根据本发明的另一示例性实施例，在具有一定计算能力和存储能力的通用计算机中实现本发明的人脸特征点的检测定位方法。

根据本发明的示例性实施例的人脸特征点的检测定位方法中的各步骤可被实现为软件模块、固件或硬件模块，并且可将所述各步骤组合为更少的步骤，也可将其中的任意步骤拆分为更多的步骤，或者可将不同的步骤中的操作组合成为新的步骤，这些组合和拆分都落入本发明的范围内。

图1是示出根据本发明的示例性实施例的人脸特征点的检测定位方法的流程图。在此，将执行所述检测定位方法的服务器或计算机统称为计算机设备。

参照图1，在步骤S110，计算机设备通过图像采集设备获取人脸图像。根据本发明的另一示例性实施例，计算机设备可根据用户的指令来从存储介质读取所述人脸图像，或者通过网络接收所述人脸图像。

在步骤S120，计算机设备对输入/读取/接收的人脸图像执行人脸区域检测。例如，计算机设备可采用基于类Haar特征以及AdaBoost的人脸检测算法来实现人脸检测模块，以实现将人脸部分与其它无关的背景信息区分开来。但本发明不限于上述的人脸检测方式，而可以采用任何现有的人脸检测技术。

在步骤S130，计算机设备由检测出的人脸区域检测人眼瞳孔位置。

根据本发明的示例性实施例，首先，计算机设备将左眼估算区域确定为左上角坐标为

宽为并且高为

的矩形区域，将右眼算区域确定为左上角坐标为

宽为

并且高为

的矩形区域，其中，(x，y)是人脸矩形区域左上角点的坐标，width和height分别是人脸矩形区域的宽和高。

其次，计算机设备通过对所述左眼估算区域和右眼估算区域分别执行二值化分割得到左眼区域和右眼区域。

最后，计算机设备分别将左眼区域和右眼区域的中心位置确定为人眼左右瞳孔的位置。

此后，在步骤S140，计算机设备根据检测到的人眼瞳孔位置执行特征点初始化赋值。

根据本发明的示例性实施例，首先，计算机设备利用一组事先训练好的平均人脸形状，使用以下公式分别计算旋转因子θ、伸缩因子s以及平移因子X_c：

$\mathrm{\θ}=\arctan \left(\frac{{y^{\′}}_1-{y^{\′}}_2}{{x^{\′}}_1-{x^{\′}}_2}\right)-\arctan \left(\frac{y_1-y_2}{x_1-x_2}\right)$

$s=\frac{\sqrt{{({x^{\′}}_1-{x^{\′}}_2)}^2+{({y^{\′}}_1-{y^{\′}}_2)}^2}}{\sqrt{{(x_1-x_2)}^2+{(y_1-y_2)}^2}}$

X_c＝(x′₂，y′₂)

其中，(x₁，y₁)和(x₂，y₂)分别是事先利用一组人脸形状模型训练得到的平均人脸形状的左右眼瞳孔位置，(x′₁，y′₁)和(x′₂，y′₂)分别是所述人眼瞳孔位置检测步骤得到的左右眼瞳孔位置。

其次，计算机设备将训练得到的平均人脸形状平移，使其右眼瞳孔位置成为坐标原点。然后，以检测的右眼瞳孔位置为中心，按照θ和s依次对所述训练得到的平均人脸形状的特征点进行旋转和伸缩，然后平移X_c，得到人脸特征点的初始化位置。

在完成步骤S140的处理后，在步骤S150，计算机设备基于初始化赋值的特征点以及人眼瞳孔位置，对检测出的人脸区域执行多分辨率的人脸特征点定位搜索。

根据本发明的示例性实施例，所述对检测出的人脸区域执行多分辨率的人脸特征点定位搜索的步骤包括：

首先，根据金字塔图像处理原理将检测的人脸图像进行多分辨率子图像分解，得到K层不同分辨率的子图像，其中，从低到高每层子图像的长宽是上一层子图像长宽的一半，

其次，将i取值自K到1，迭代变量j初始化为1，对与i相应的层的子图像迭代地执行操作a)～d)：

a)将当前点和其法线上两边候选点进行Sobel梯度纹理与训练模型的马氏距离的比较，取最小者替换当前位置特征点，

b)根据步骤a)得到的特征点，更新当前人脸特征点的形状参数作为新的当前人脸形状，然后以该人脸形状取得平均脸形状去重新计算并更新平移、伸缩、旋转参数，以使当前获得的人脸模型形状和待检测人脸的形状更为匹配，

c)在当前层，如果所有特征点与训练模型的平均马氏距离小于一小常数值，或者特征点的平均更新移动距离小于某一个小常数值，或者j＞c*(K-i+1)，其中c为整数常量，则i＝i-1，j＝1，并返回a)，

d)j＝j+1，返回a)。

当完成上述步骤S150的处理后，在步骤S160，计算机设备基于Gabor纹理特征执行各特征点的精确定位处理，从而获得最终的人脸特征点位置。图2示意性地示出Gabor滤波器的16个核函数。具体地，计算机设备在经过多分辨率的人脸特征点定位检索得到的形状基础上，针对每个特征点执行以下操作：选取所述特征点周围N*N的方块，计算所述方块内每一个点对该特征点的Gabor纹理特征值的相似度，选取相似度最高者为作为所述特征点对应的最终特征点。

图3示意性地示出根据本发明的示例性实施例的人脸特征点的检测定位方法检测出的人脸特征点。

本发明还提供一种从客户机接收人脸图片，并且执行上述步骤S110～S160的处理，然后将标注有选取的各个最终特征点的人脸图片发送给所述客户机的方法。

本发明还提供一种用于执行上述的人脸特征点的检测定位方法的系统。

根据上述对本发明的示例性实施例的描述可以看出，本发明的人脸特征点的检测定位方法以及系统可通过检测的人眼瞳孔位置进行特征点初始化赋值，再对检测的人脸区域进行多分辨率的特征点定位搜索，此后基于Gabor纹理特征执行特征点精确定位，从而能够较为精确地定位人脸特征点。

此外，本发明还可通过网络提供人脸特征点的检测定位服务，通过从客户机提供的人脸图片检测的人眼瞳孔位置进行特征点初始化赋值，再对人脸区域进行多分辨率的特征点定位搜索，此后基于Gabor纹理特征执行特征点精确定位，并且将确定的特征点信息提供给客户机，从而能够较为精确地为客户机定位人脸特征点。

尽管已参照优选实施例表示和描述了本发明，但本领域技术人员应该理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可以对这些实施例进行各种修改和变换。

Claims (14)

1.一种人脸特征点的检测定位方法，所述方法包括：

对输入的人脸图像执行人脸区域检测；

由检测出的人脸区域检测人眼瞳孔位置；

根据检测到的人眼瞳孔位置执行特征点初始化赋值；

基于初始化赋值的特征点以及人眼瞳孔位置，对检测出的人脸区域执行多分辨率的人脸特征点定位搜索；

基于Gabor纹理特征执行各特征点的精确定位处理，从而获得最终的人脸特征点位置。

2.如权利要求1所述的方法，其中，根据类Haar特征以及AdaBoost人脸检测方法执行人脸区域的检测。

3.如权利要求1所述的方法，其中，所述由检测出的人脸区域检测人眼瞳孔位置的步骤包括：

将左眼估算区域和右眼估算区域分别确定为左上角坐标分别为

和宽皆为并且高皆为

的矩形区域，其中，(x，y)是人脸矩形区域左上角点的坐标，width和height分别是人脸矩形区域的宽和高，

通过对所述左眼估算区域和右眼估算区域分别执行二值化分割得到左眼区域和右眼区域，

分别将左眼区域和右眼区域的中心位置确定为人眼左右瞳孔的位置。

4.如权利要求3所述的方法，其中，所述根据检测到的人眼瞳孔位置执行特征点初始化赋值的步骤包括：

根据以下公式分别计算旋转因子θ、伸缩因子s以及平移因子X_c：

$\mathrm{\θ}=\arctan \left(\frac{{y^{\′}}_1-{y^{\′}}_2}{{x^{\′}}_1-{x^{\′}}_2}\right)-\arctan \left(\frac{y_1-y_2}{x_1-x_2}\right)$

$s=\frac{\sqrt{{({x^{\′}}_1-{x^{\′}}_2)}^2+{({y^{\′}}_1-{y^{\′}}_2)}^2}}{\sqrt{{(x_1-x_2)}^2+{(y_1-y_2)}^2}}$

X_c＝(x′₂，y′₂)

其中，(x₁，y₁)和(x₂，y₂)分别是事先利用一组人脸形状模型训练得到的平均人脸形状的左右眼瞳孔位置，(x′₁，y′₁)和(x′₂，y′₂)分别是所述人眼瞳孔位置检测步骤得到的左右眼瞳孔位置，

将训练得到的平均人脸形状平移，使其右眼瞳孔位置成为坐标原点，

以检测的右眼瞳孔位置为中心，按照θ和s依次对所述训练得到的平均人脸形状的特征点进行旋转和伸缩，然后平移X_c，得到人脸特征点的初始化位置。

5.如权利要求4所述的方法，其中，所述对检测出的人脸区域执行多分辨率的人脸特征点定位搜索的步骤包括：

根据金字塔图像处理原理将检测的人脸图像进行多分辨率子图像分解，得到K层不同分辨率的子图像，其中，从低到高每层子图像的长宽是上一层子图像长宽的一半，

将i取值自K到1，迭代变量j初始化为1，对与i相应的层的子图像迭代地执行操作a)～d)：

a)将当前点和其法线上两边候选点进行Sobel梯度纹理与训练模型的马氏距离的比较，取最小者替换当前位置特征点，

b)根据步骤a)得到的特征点，更新当前人脸特征点的形状参数作为新的当前人脸形状，然后以该人脸形状取得平均脸形状去重新计算并更新平移、伸缩、旋转参数，以使当前获得的人脸模型形状和待检测人脸的形状更为匹配，

c)在当前层，如果所有特征点与训练模型的平均马氏距离小于一小常数值，或者特征点的平均更新移动距离小于某一个小常数值，或者j＞c*(K-i+1)，其中c为整数常量，则i＝i-1，j＝1，并返回a)，

d)j＝j+1，返回a)。

6.如权利要求5所述的方法，其中，所述基于Gabor纹理特征执行各特征点的精确定位处理的步骤包括：

在经过多分辨率的人脸特征点定位检索得到的形状基础上，针对每个特征点执行以下操作：选取所述特征点周围N*N的方块，计算所述方块内每一个点对该特征点的Gabor纹理特征值的相似度，选取相似度最高者为作为所述特征点对应的最终特征点。

7.一种人脸特征点的检测定位方法，所述方法包括在服务器端执行以下步骤：

从客户机接收人脸图像；

对接收的人脸图像执行人脸区域检测；

由检测出的人脸区域检测人眼瞳孔位置；

根据检测到的人眼瞳孔位置执行特征点初始化赋值；

基于初始化赋值的特征点以及人眼瞳孔位置，对检测出的人脸区域执行多分辨率的人脸特征点定位搜索；

基于Gabor纹理特征执行各特征点的精确定位处理，从而获得最终的人脸特征点位置；

将标注有各个最终特征点位置的人脸图像发送给所述客户机。

8.一种人脸特征点的检测定位系统，所述系统包括：

第一装置，用于对输入的人脸图像执行人脸区域检测；

第二装置，用于由检测出的人脸区域检测人眼瞳孔位置；

第三装置，用于根据检测到的人眼瞳孔位置执行特征点初始化赋值；

第四装置，用于基于初始化赋值的特征点以及人眼瞳孔位置，对检测出的人脸区域执行多分辨率的人脸特征点定位搜索；

第五装置，用于基于Gabor纹理特征执行各特征点的精确定位处理，从而获得最终的人脸特征点位置。

9.如权利要求8所述的系统，其中，第一装置根据类Haar特征以及AdaBoost人脸检测方法执行人脸区域的检测。

10.如权利要求8所述的系统，其中，第二装置在所述由检测出的人脸区域检测人眼瞳孔位置时，

将左眼估算区域和右眼估算区域分别确定为左上角坐标分别为和

宽皆为

并且高皆为

的矩形区域，其中，(x，y)是人脸矩形区域左上角点的坐标，width和height分别是人脸矩形区域的宽和高，

通过对所述左眼估算区域和右眼估算区域分别执行二值化分割得到左眼区域和右眼区域，

分别将左眼区域和右眼区域的中心位置确定为人眼左右瞳孔的位置。

11.如权利要求10所述的系统，其中，第三装置在根据检测到的人眼瞳孔位置执行特征点初始化赋值时，

根据以下公式分别计算旋转因子θ、伸缩因子s以及平移因子X_c：

$\mathrm{\θ}=\arctan \left(\frac{{y^{\′}}_1-{y^{\′}}_2}{{x^{\′}}_1-{x^{\′}}_2}\right)-\arctan \left(\frac{y_1-y_2}{x_1-x_2}\right)$

$s=\frac{\sqrt{{({x^{\′}}_1-{x^{\′}}_2)}^2+{({y^{\′}}_1-{y^{\′}}_2)}^2}}{\sqrt{{(x_1-x_2)}^2+{(y_1-y_2)}^2}}$

X_c＝(x′₂，y′₂)

其中，(x₁，y₁)和(x₂，y₂)分别是事先利用一组人脸形状模型训练得到的平均人脸形状的左右眼瞳孔位置，(x′₁，y′₁)和(x′₂，y′₂)分别是所述人眼瞳孔位置检测步骤得到的左右眼瞳孔位置，

将训练得到的平均人脸形状平移，使其右眼瞳孔位置成为坐标原点，

以检测的右眼瞳孔位置为中心，按照θ和s依次对所述训练得到的平均人脸形状的特征点进行旋转和伸缩，然后平移X_c，得到人脸特征点的初始化位置。

12.如权利要求11所述的系统，其中，第四装置在对检测出的人脸区域执行多分辨率的人脸特征点定位搜索时，

根据金字塔图像处理原理将检测的人脸图像进行多分辨率子图像分解，得到K层不同分辨率的子图像，其中，从低到高每层子图像的长宽是上一层子图像长宽的一半，

将i取值自K到1，迭代变量j初始化为1，对与i相应的层的子图像迭代地执行操作a)～d)：

a)将当前点和其法线上两边候选点进行Sobel梯度纹理与训练模型的马氏距离的比较，取最小者替换当前位置特征点，

b)根据步骤a)得到的特征点，更新当前人脸特征点的形状参数作为新的当前人脸形状，然后以该人脸形状取得平均脸形状去重新计算并更新平移、伸缩、旋转参数，以使当前获得的人脸模型形状和待检测人脸的形状更为匹配，

c)在当前层，如果所有特征点与训练模型的平均马氏距离小于一小常数值，或者特征点的平均更新移动距离小于某一个小常数值，或者j＞c*(K-i+1)，其中c为整数常量，则i＝i-1，j＝1，并返回a)，

d)j＝j+1，返回a)。

13.如权利要求12所述的系统，其中，第五装置在基于Gabor纹理特征执行各特征点的精确定位处理时，

在经过多分辨率的人脸特征点定位检索得到的形状基础上，针对每个特征点执行以下操作：选取所述特征点周围N*N的方块，计算所述方块内每一个点对该特征点的Gabor纹理特征值的相似度，选取相似度最高者为作为所述特征点对应的最终特征点。

14.一种在服务器端执行人脸特征点的检测定位的系统，所述系统包括：

第一装置，用于从客户机接收人脸图像；

第二装置，用于对接收的人脸图像执行人脸区域检测；

第三装置，用于由检测出的人脸区域检测人眼瞳孔位置；

第四装置，用于根据检测到的人眼瞳孔位置执行特征点初始化赋值；

第五装置，用于基于初始化赋值的特征点以及人眼瞳孔位置，对检测出的人脸区域执行多分辨率的人脸特征点定位搜索；

第六装置，用于基于Gabor纹理特征执行各特征点的精确定位处理，从而获得最终的人脸特征点位置；

第七装置，用于将标注有各个最终特征点位置的人脸图像发送给所述客户机。

Images