CN1731416A

CN1731416A - 快速且精确的人脸特征点定位方法

Info

Publication number: CN1731416A
Application number: CN 200510028439
Authority: CN
Inventors: 杜春华; 杨杰
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai Jiaotong University
Priority date: 2005-08-04
Filing date: 2005-08-04
Publication date: 2006-02-08

Abstract

一种图像处理技术领域的快速且精确的人脸特征点定位方法，首先用人脸检测方法在图像中找到人脸区域，再在该人脸区域上进行眼睛检测找到两眼的位置，然后根据两眼中点的位置、两眼之间的距离以及两眼连线的角度对初始ASM模型进行仿射变换使得ASM模型的初始位置与真实特征点构成的模型最为接近，最后再以该经过仿射变换后的初始位置进行ASM搜索，从而得到人脸特征点的位置。本发明提出的融合了人脸检测、眼睛检测、ASM特征点定位的人脸特征点定位方法可以进一步应用于人脸识别，性别识别、表情识别、年龄估计等方面，具有较快的速度和较高的精度。

Description

快速且精确的人脸特征点定位方法

技术领域

本发明涉及的是一种图像处理技术领域的方法，具体是一种快速且精确的人脸特征点定位方法。

背景技术

人脸特征点检测是人脸识别、表情识别、性别识别等应用中最为关键的关键技术，其特征点定位的准确性直接影响到识别的精度。因此，准确地定位大量的人脸特征点可以极大地提高识别的精度。

现有的局部人脸特征点定位方法虽然速度快，但只能给出很少的特征点，且不太稳健，达不到识别的要求，相对于局部人脸特征点定位方法，活动形状模型(Active Shape Models，ASM)方法可以同时定位很多人脸特征点，且速度快，因而被广泛地应用于特征点定位。但是ASM方法对模型的初始位置非常敏感：如果初始模型中特征点位置靠近实际特征点位置，ASM方法将会非常快速且准确地找到所有特征点；但如果初始位置远离实际特征点位置，ASM方法通常给出错误的定位而根本不能用于识别。

经对现有技术文献的检索发现，Rein-Lien Hsu等在《IEEE TRANSACTIONS ONPATTERN ANALYSIS AND MACHINE INTELLIGENCE》VOL 24，N0.5.MAY 2002上发表的“Anil K.Jain Face Detection In Color images”(Rein-Lien Hsu，MohamedAbdel-Mottaleb，Anil K.Jain彩色图像中的人脸检测电气与电子工程师协会学报模式分析与机器学习VOL 24，N0.5.MAY 2002)中，曾通过大量样本的统计给出了眼睛区域在YCbCr颜色空间的各个分量的分布，并根据这些分量的分布粗略地定位人眼和嘴巴的大概位置，但是该类方法找到的特征点的数目太少，远远达不到人脸识别所要的特征点的数目。

发明内容

针对现有ASM对初始位置非常敏感这个不足，本发明提出一种快速且精确的人脸特征点定位方法，使其能准确的给出ASM初始位置并进行ASM搜索，即融合了人脸检测、眼睛检测、ASM特征点定位的人脸特征点定位方法，该方法可以进一步用于人脸识别、性别识别、年龄估计等领域。

本发明是通过以下技术方案实现的，首先利用人脸检测方法在给定的图像上找到人脸区域，然后在找到的人脸区域上检测眼睛，找到两眼位置后，计算两眼之间的距离，两眼连线的角度，根据两眼中点的位置、两眼之间的距离、两眼连线的角度对初始ASM进行仿射变换使得初始ASM模型与真实特征点构成的模型最为接近，最后以该初始模型进行ASM搜索从而可以得到人脸特征点的位置，也就完成了人脸特征点的定位。

以下对本发明作进一步的说明，包括如下步骤：

(1)在给定的图像上进行人脸检测从而给出人脸区域的位置坐标；

所述的人脸检测是指在给定的图像上用adaboost方法进行人脸检测，给出人脸区域的坐标位置，即人脸区域长方形的左上角和右下角的坐标。

(2)在找到的人脸区域上进行眼睛检测找到两眼的位置；

在找到的人脸区域上利用肤色信息、边缘信息、哈夫变换、可分离度度量进行眼睛的准确定位，找到两眼的位置；

(3)计算两眼中点的坐标、两眼之间的距离、两眼连线的角度；

根据两眼的坐标位置求得两眼中点坐标[x1，y1]、两眼之间的距离ds1、两眼连线的角度angle1。

(4)ASM模型的训练；

所述的ASM模型的训练，是指：首先在训练集的每一个训练样本图像上选择k个特征点，这k个特征点都代表了人脸上比较明显的特征。对于每一个图像，这k个特征点组成的形状可以由一个向量x(i)＝[x₁，x₂，…，x_k，y₁，y₂，…，y_k]来表示，编号相同的特征点在不同的图像中表示相同的特征，n个训练样本图像就有n个形状向量，然后对这n个向量进行校准操作，使这些形状向量所表示的形状在大小、方向和位置上最为接近。然后对n个校准后的形状向量进行PCA(主元分析)处理，这样任何一个形状都可以表示为x＝ x+Pb，式中b＝P^T.(x- x)，向量b的值表示了前t个模式的变化情况。对于训练样本图像中每个特征点需要建立其局部纹理，即在垂直于当前特征点的前后两特征点连线方向上以当前特征点为中心两边各选择m个像素，计算这m个像素的灰度值导数并归一化从而得到一个profile。记第i个形状向量中第j个特征点的profile为g_ij，则第j个特征点profile的平均，

\overset{&OverBar;}{g_{j}} = \frac{1}{n} Σ_{i = 1}^{n} g_{ij}

，其方差为

C_{j} = \frac{1}{n} Σ_{i = 1}^{n} (g_{ij} - \overset{&OverBar;}{g_{j}}) \cdot {(g_{ij} - \overset{&OverBar;}{g_{j}})}^{T},

对k个特征点都计算其profile的平均和方差，从而就得到了k个特征点的局部纹理。

(5)对ASM模型的初始位置进行仿射变换；

以两眼中点的位置、两眼之间的距离、两眼连线的角度对ASM模型的平均形状进行仿射变换使得初始ASM模型与真实特征点构成的模型最为接近；

所述的仿射变换是指：对训练得到的平均形状模型 x，计算左眼球周围的四个特征点的中心作为左眼睛位置，计算右眼球周围的特征点的中心作为右眼睛位置，然后计算该平均形状模型中两眼的距离ds2、两眼连线的角度angle2以及两眼的中点坐标[X2，Y2]，再对平均形状模型 x进行仿射变换，即将把整个平均形状模型 x平移[X1-X2，Y1-Y2]，然后以该模型的中心旋转(angle1-angle2)，最后再以ds1/ds2的比例进行缩放。

上述仿射变换可以由X＝M(s，θ)[x]+X_c来表示，上式表示对x以其中心逆时针旋转θ缩放s，然后再平移X_c，其中X_c＝(X_c，Y_c，X_c，Y_c，...，X_c，Y_c)。

(6)用经过仿射变换后的初始位置进行ASM搜索。

用初始模型在新的图像中搜索目标形状，使搜索到的最终形状中的特征点和相对应的真正特征点最为接近，这个搜索过程主要是通过仿射变换和参数b的变化来实现。具体通过反复如下两步来实现：

(1)计算每个特征点的新位置

首先把初始ASM模型覆盖在图像上，对于模型中第j个特征点，在垂直于其前后两个特征点连线方向上以其为中心两边各选择l(l大于m)个像素，然后计算这l个像素的灰度值导数并归一化从而得到一个profile，在这个新profile中取长度为m的sub-profile记为temp(P)，定义一个能量函数

f_{j} (p) = (temp (P) - \overset{&OverBar;}{g_{j}}) \cdot C_{j}^{- 1} \cdot {(temp (P) - \overset{&OverBar;}{g_{j}})}^{T}

，用此能量函数评判当前sub-profile与

之间的相似性，选择使f_j(p)最小的位置作为该特征点的新位置，并计算其变化dX_j，对每个特征点都进行这样的计算就得到k个位置变化dX_i，i＝1，2，...，k，并组成一个向量dX＝(dX₁，dX₂，...，dX_k)。

(2)仿射变换中的参数和b的更新

由式X＝M(s，θ)[x]+X_c得：M(s(1+ds)，(θ+dθ))[x+dx]+(X_c+dX_c)＝(X+dX)，M(s(1+ds)，(θ+dθ))[x+dx]＝M(s，θ)[x]+dX+X_c-(X_c+dX_c)，由式x＝x+Pb，现希望找到db使得x+dx＝x+P(b+db)，由式x＝x+Pb可得db＝P^-1dx，这样就可以对参数作如下更新：X_c＝X_c+w_tdX_c，Y_c＝Y_c+w_tdY_c，θ＝θ+w_θdθ，b＝b+W_bdb，式中w_t，w_θ，w_s，W_b是用于控制参数变化的权值，这样就可以由式x＝x+Pb得到新的形状。

本发明提出的人脸特征点定位方法具有较快的速度和较高的精度。由于在进行ASM搜索之前进行了人脸检测和眼睛检测，这样就能找到两眼的位置，并以两眼中点的位置、两眼之间的距离、两眼连线的角度对ASM模型的平均形状进行仿射变换使得初始ASM模型与真实特征点构成的模型最为接近，这样就减少了ASM搜索过程中的迭代次数从而较大程度地提高了特征点定位的速度，而且由于特征点的初始位置和真实位置非常接近，这样就更容易找到特征点的真实位置，从而提供了特征点定位的精度。用拍摄的人脸库(包含有2273幅人脸图像)对比本发明提出的特征点定位方法和ASM方法，前者的特征点定位的平均速度和平均误差分别是0.32秒和3.4个像素，而后者特征点定位的平均速度和平均误差分别是0.44秒和4.5个像素，实验表明本发明提出的人脸特征点定位方法在速度和精度上都比其他人脸特征点定位方法有很大的改善。

附图说明

图1为在给定的图像上进行人脸检测的结果。

图2为在找到的人脸区域上进行眼睛检测的结果。

图3为标好特征点的人脸图像。

图4为对ASM初始位置进行仿射变换后的结果。

图5为用经过仿射变换后的初始位置进行ASM搜索得到的结果。

具体实施方式

以下结合具体的实施例对本发明的技术方案作进一步详细描述。

实施例采用的图像来自拍摄的人脸图像库。整个实现过程如下：

1.用adaboost方法进行人脸检测，如图1所示。图中的用白线画出的长方形区域即为找到的人脸区域，该长方形左上角坐标是(195，44)，右下角坐标是(456，355)。

2.眼睛检测，在找到的人脸区域里进行眼睛检测找到两眼的位置，如图2所示。

图中左眼睛上的白色星型图案即为找到的左眼睛位置，其坐标为(106，128)，右眼睛上的白色星型图案即为找到的右眼睛位置，其坐标为(206，121)。

3.计算两眼中点的坐标、两眼之间的距离、两眼连线的角度。

根据两眼的坐标位置可求得两眼中点坐标为(156，125)，两眼之间的距离为100个像素，两眼连线的角度为4度。

4.从人脸库中选择n个标好特征点的人脸图像进行ASM训练。标好特征点的人脸图像如图3所示。即首先在训练集的每一个训练样本图像上选择k个特征点，这k个特征点都代表了人脸上比较明显的特征。对于每一个图像，这k个特征点组成的形状可以由一个向量x(i)＝[x₁，x₂，…，x_k，y₁，y₂，…，y_k]来表示，编号相同的特征点在不同的图像中表示相同的特征，n个训练样本图像就有n个形状向量，然后对这n个向量进行校准操作，使这些形状向量所表示的形状在大小、方向和位置上最为接近。然后对n个校准后的形状向量进行PCA(主元分析)处理，这样任何一个形状都可以表示为x＝ x+Pb，式中b＝P^T.(x-x)，向量b的值表示了前t个模式的变化情况。对于训练样本图像中每个特征点需要建立其局部纹理，即在垂直于当前特征点的前后两特征点连线方向上以当前特征点为中心两边各选择m个像素，计算这m个像素的灰度值导数并归一化从而得到一个profile。记第i个形状向量中第j个特征点的profile为g_ij’则第j个特征点profile的平均，

\overset{&OverBar;}{g_{j}} = \frac{1}{n} Σ_{i = 1}^{n} g_{ij},

其方差为

C_{j} = \frac{1}{n} Σ_{i = 1}^{n} (g_{ij} - \overset{&OverBar;}{g_{j}}) \cdot {(g_{ij} - \overset{&OverBar;}{g_{j}})}^{T},

5.以两眼中点的位置、两眼之间的距离、两眼连线的角度对ASM模型初始位置进行仿射变换，即先求得ASM初始模型上两眼中点坐标、两眼距离、两眼连线的角度，它们分别是(113，145)，90，12，然后对这个初始模型做如下操作：把该模型在X方向上平移-43(113-156)个像素，在Y方向上平移21(145-125)个像素，以其中心旋转8(12-4)度，并按0.9(90/100)的比例进行缩放。仿射变换后的初始ASM模型如图4所示。

6.以经过仿射变换的初始位置进行ASM搜索得到人脸特征点的位置，即以上一部中得到的初始ASM模型进行ASM搜索，经过17步迭代就可以最终定位60个特征点，如图5所示。

本发明提出的人脸特征点定位方法具有较快的速度和较高的精度。以上实施例总耗时为0.37秒，误差为3.8个像素。

Claims

1、一种快速且精确的人脸特征点定位方法，其特征在于，首先用人脸检测方法在图像中找到人脸区域，再在该人脸区域上进行眼睛检测找到两眼的位置，然后根据两眼中点的位置、两眼之间的距离以及两眼连线的角度对初始ASM模型进行仿射变换使得ASM模型的初始位置与真实特征点构成的模型最为接近，最后再以该经过仿射变换后的初始位置进行ASM搜索，从而得到人脸特征点的位置。

2、根据权利要求1所述的快速且精确的人脸特征点定位方法，其特征是，包括如下步骤：

(2)在找到的人脸区域上进行眼睛检测找到两眼的位置；

(4)ASM模型的训练；

(5)对ASM模型的初始位置进行仿射变换；

(6)用经过仿射变换后的初始位置进行ASM搜索。

3.根据权利要求2所述的快速且精确的人脸特征点定位方法，其特征是，所述的步骤(1)，是指：利用adaboost方法进行人脸检测。

4.根据权利要求2所述的快速且精确的人脸特征点定位方法，其特征是，所述的步骤(2)，是指：利用肤色信息、边缘信息、哈夫变换、可分离度度量进行眼睛的准确定位。

5.根据权利要求2所述的快速且精确的人脸特征点定位方法，其特征是，所述的步骤(4)，是指：首先在训练集的每一个训练样本图像上选择k个特征点，这k个特征点都代表了人脸上比较明显的特征，对于每一个图像，这k个特征点组成的形状由一个向量x(i)＝[x₁，x₂，...，x_k，y₁，y₂，...，y_k]来表示，编号相同的特征点在图像中表示相同的特征，n个训练样本图像就有n个形状向量，对这些形状向量进行校准操作，使这些形状向量所表示的形状在大小、方向和位置上最为接近，然后对校准后的形状向量进行PCA处理，这样任何一个形状都能表示为x＝x+Pb，式中b＝P^T.(x-x)，向量b的值表示了前t个模式的变化情况；对于训练样本图像中每个特征点需要建立其局部纹理，即在垂直于当前特征点的前后两特征点连线方向上以当前特征点为中心两边各选择m个像素，计算这m个像素的灰度值导数并归一化从而得到一个profile，记第i个形状向量中第j个特征点的profile为g_ij，则第j个特征点profile的平均，

\overset{&OverBar;}{g_{j}} = \frac{1}{n} Σ_{i = 1}^{n} g_{ij},

其方差为

C_{j} = \frac{1}{n} Σ_{n}^{1} (g_{ij} - \overset{&OverBar;}{g_{j}}) \cdot {(g_{ij} - \overset{&OverBar;}{g_{j}})}^{T},

6.根据权利要求2所述的快速且精确的人脸特征点定位方法，其特征是，所述的步骤(5)，是指：以两眼中点的位置、两眼之间的距离、两眼连线的角度对ASM模型的平均形状进行仿射变换使得初始ASM模型与真实特征点构成的模型最为接近。

7.根据权利要求2或者6所述的快速且精确的人脸特征点定位方法，其特征是，所述的仿射变换，是指：对训练得到的平均形状模型x，计算左眼球周围的四个特征点的中心作为左眼睛位置，计算右眼球周围的特征点的中心作为右眼睛位置，然后计算该平均形状模型中两眼的距离ds2、两眼连线的角度angle2以及两眼的中点坐标[X2，Y2]，再对平均形状模型x进行仿射变换，即将把整个平均形状模型x平移[X1-X2，Y1-Y2]，然后以该模型的中心旋转angle1-angle2，最后再以ds1/ds2的比例进行缩放。

8.根据权利要求2或者6所述的快速且精确的人脸特征点定位方法，其特征是，所述的仿射变换，由X＝M(s，θ)[x]+X_c来表示，该式表示对x以其中心逆时针旋转θ缩放s，然后再平移X_c，其中X_c＝(X_c，Y_c，X_c，Y_c，...，X_c，Y_c)。

9.根据权利要求2所述的快速且精确的人脸特征点定位方法，其特征是，所述的步骤(6)，是指：用初始模型在新的图像中搜索目标形状，使搜索到的最终形状中的特征点和相对应的真正特征点最为接近，这个搜索过程主要是通过仿射变换和参数b的变化来实现。

10.根据权利要求2或者9所述的快速且精确的人脸特征点定位方法，其特征是，所述的步骤(6)，具体通过反复如下两步来实现：

(1)计算每个特征点的新位置

首先把初始ASM模型覆盖在图像上，对于模型中第j个特征点，在垂直于其前后两个特征点连线方向上以其为中心两边各选择1个像素，l大于m，然后计算这1个像素的灰度值导数并归一化从而得到一个profile，在这个新profile中取长度为m的sub-profile记为temp(P)，定义一个能量函数

f_{j} (p) = (temp (P) - \overset{&OverBar;}{g_{j}}) \cdot C_{j}^{- 1} . {(temp (P) - \overset{&OverBar;}{g_{j}})}^{T}

，用此能量函数评判当前sub-profile与之间的相似性，选择使f_j(p)最小的位置作为该特征点的新位置，并计算其变化dX_j，对每个特征点都进行这样的计算就得到k个位置变化dX_i，i＝1，2，...，k，并组成一个向量dX＝(dX₁，dX₂，...，dX_k)；

(2)仿射变换中的参数和b的更新由式X＝M(s，θ)[x]+X_c得：M(s(1+ds)，(θ+dθ))[x+dx]+(X_c+dX_c)＝(X+dX)，M(s(1+ds)，(θ+dθ))[x+dx]＝M(s，θ)[x]+dX+X_c-(X_c+dX_c)，由式x＝ x+Pb，找到db使得x+dx＝ x+P(b+db)，由式x＝x+Pb得db＝P^-1dx，对参数作如下更新：X_c＝X_c+w_tdX_c，Y_c＝Y_c+w_tdY_c，θ＝θ+w_θdθ，b＝b+W_bdb，式中w_t，w_θ，w_s，W_b是用于控制参数变化的权值，这样由式x＝x+Pb得到新的形状。