CN1786980A - 用二维轮廓进行人脸特征点新位置搜索的方法 - Google Patents

Abstract

一种图像处理技术领域的用二维轮廓进行人脸特征点新位置搜索的方法，包括如下步骤：(1)在给定的图像上进行人脸检测，给出人脸区域的位置坐标；(2)在找到的人脸区域上进行眼睛定位，找到两眼的位置；(3)计算两眼中点的坐标、两眼之间的距离、两眼连线的角度；(4)建立ASM模型；(5)对ASM模型的初始位置进行仿射变换得到初始模型；(6)用初始模型作为ASM搜索的起始位置，并使用二维轮廓进行特征点定位。本发明提出的涉及了人脸检测、眼睛检测、二维轮廓、ASM特征点定位的人脸特征点定位方法可以进一步应用于人脸识别，性别识别、表情识别、年龄估计等方面，其具较高的精度。

Description

用二维轮廓进行人脸特征点新位置搜索的方法

技术领域

本发明涉及一种图像处理技术领域的方法，具体是一种用二维轮廓进行人脸特征点新位置搜索的方法。

背景技术

人脸识别作为生物特征识别的重要分支受到越来越广泛的关注，该领域在过去十年取得了非常多的研究成果，其中有一些已经应用到实际生活中，如人脸检测，人脸识别等，而人脸特征点定位是人脸识别中的核心技术，其特征点定位的精确性直接影响到识别的精度。因此，精确地定位大量的人脸特征点可以极大地提高识别的精度。现有的人脸特征定位方法主要分为两类：其一是局部特征定位方法，其二是全局特征点定位方法。局部人脸特征定位方法虽然速度快，但只能给出很少的特征点，且部鲁棒，达不到识别的要求，相对于局部人脸特征定位方法，全局特征点定位方法，如ASM(活动形状模型)方法可以同时定位很多人脸特征点，速度快，且其对光照、背景的变化不很敏感，因而被广泛地应用于特征点定位。

经对现有技术文献的检索发现，在《Image Processing and Analysis》(《图像处理与分析》)的第七章“Model-based Methods in Analysis of BiomedicalImages”(“生物医学图像分析中基于模型的方法”)的第223页到248页(该书于2001年在于牛津大学出版社出版)介绍了T.F.Cootes等提出的ASM方法，该方法中，当进行特征点新位置搜索时把搜索范围限制在垂直于前后两个特征点连线的方向上的一维轮廓上，而实际情况是特征点的真正的新位置不一定在该轮廓上，这就给搜索结果带来了一定的误差，如果每个特征点在搜索新位置时都遇到这种情况，那么整个人脸特征点定位的误差将会非常大，从而难以让人接受。

发明内容

针对ASM方法中搜索特征点位置的搜索范围为一维轮廓这一缺陷，本发明提出了一种用二维轮廓进行人脸特征点新位置搜索的方法，从而能够使当前特征点找到其真正的位置，即以原始ASM方法中的一维轮廓为中心，两边各选s个与该一维轮廓等长度同方向的轮廓，这样搜索范围就从原来的一维轮廓拓展到二维轮廓。当搜索范围从一维拓展到二维时，就很容易找到当前特征点的真正的新位置，从而大大地提高了特征点定位的精度。

本发明是使用以下技术方案实现的，包括如下步骤：

(1)在给定的图像上进行人脸检测，给出人脸区域的位置坐标；

(2)在找到的人脸区域上进行眼睛定位，找到两眼的位置；

(3)计算两眼中点的坐标[X1，Y1]、两眼之间的距离ds1、两眼连线的角度angle1；

(4)建立ASM模型；

(5)对ASM模型的初始位置进行仿射变换得到初始模型；

(6)用初始模型作为ASM搜索的起始位置，并使用二维轮廓进行特征点定位。

所述的步骤(1)，是指：利用adaboost(自适应增强)方法进行人脸检测。

所述的步骤(2)，是指：利用方差投影函数进行眼睛的准确定位。

所述的步骤(4)，是指：首先在训练集的每一个训练样本图像上手工选择k个人脸的主要特征点，这k个特征点组成的形状可以由一个向量x(i)＝[x₁，x₂，...，x_k，y₁，y₂，...，y_k]来表示，具有相同编号的特征点在不同的图像中代表了相同的特征，n个训练样本图像就对应有n个形状向量，然后校准这n个向量从而使得它们所表示的形状在大小、方向和位置上最为接近。然后对n个校准后的形状向量进行PCA(主元分析)处理，最终任何一个形状都可以表示为x＝ x+Pb，其中b＝P^T.(x- x)，b代表了前t个最大的模式的变化情况。然后为训练样本图像中每个特征点建立局部纹理，以当前特征点为中心在垂直于当前特征点的前后两特征点连线方向上两边各选择m个像素，计算这m个像素的灰度值导数并归一化从而得到一个轮廓。记第i个形状向量中第j个特征点的轮廓为g_ij，则第j个特征点轮廓的平均， $\stackrel{\‾}{g_j}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{g}_{\mathrm{ij}},$ 其方差为 $C_j=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(g_{\mathrm{ij}}-\stackrel{\‾}{g_j})\·{(g_{\mathrm{ij}}-\stackrel{\‾}{g_j})}^T,$ 对k个特征点都计算其轮廓的平均和方差，从而就得到了k个特征点的局部纹理。

所述的步骤(5)，是指：以两眼中点的位置、两眼之间的距离、两眼连线的角度对ASM模型的平均形状进行仿射变换从而得到初始模型。

所述的仿射变换，是指：对训练得到的平均形状模型 x，分别计算左眼球和右眼球周围的四个特征点的中心作为左眼睛和右眼睛位置，然后计算该平均形状模型中两眼的距离ds2、两眼连线的角度angle2以及两眼的中点坐标[X2，Y2]，再对平均形状模型 x进行仿射变换，即将把整个平均形状模型 x平移[X1-X2，Y1-Y2]，然后以该模型的中心旋转angle1-angle2，最后再以ds1/ds2的比例进行缩放。

所述的仿射变换，由X＝M(s，θ)[x]+X_c来表示，该式表示对x以其中心逆时针旋转θ缩放s，然后再平移X_c，其中X_c＝(X_c，Y_c，X_c，Y_c，...，X_c，Y_c)。

所述的步骤(6)，是指：用仿射变换后初始模型在新的图像中搜索目标形状，使搜索到的最终形状中的特征点和相对应的真正特征点最为接近，这个搜索过程主要是通过仿射变换和参数b的变化来实现。具体通过反复迭代如下两步来实现：

1)搜索特征点的新位置

首先把初始模型覆盖在图像上，对于模型中第j个特征点，在垂直于其前后两个特征点连线方向上以其为中心两边各选择1(1大于m)个像素，这样就形成了一个长度为(2m+1)的一维向量，然后再以该一维向量为中心，两边各选择s个与其长度相同，方向相同的一维向量，这样就形成了一个长为2m+1，宽为2s+1的二维矩阵，计算这个二维矩阵每一行中像素灰度值的导数并归一化从而就得到了一个长度为2m，宽度为2s+1的二维轮廓。定义一个能量函数 $f_j\left(p\right)=(\mathrm{temp}\left(p\right)-\stackrel{\‾}{g_j})\·C_j^{-1}\·{(\mathrm{temp}\left(p\right)-\stackrel{\‾}{g_j})}^T,$ 用此能量函数评判当前子轮廓与

之间的相似性。在上述二维轮廓的每一行上进行如下操作：在当前行中从前往后依次选取长度为m的子轮廓记为temp(P)，计算对应得能量函数，记录下使能量函数达到最小的子轮廓的中心位置，对2s+1行都进行这样的操作就会得到2s+1个这样的位置，然后从这2s+1个位置中选出其对应的能量函数最小的位置，该位置即为当前特征点的新位置，同时计算该特征点位置的变化dX_j，对每个特征点都进行这样的计算就得到k个位置变化dX_i，i＝1，2，...，k，并组成一个向量dX＝(dX₁，dX₂，...，dX_k)。

2)仿射变换中的参数和b的更新

由公式X＝M(s，θ)[x]+X_c得：M(s(1+ds)，(θ+dθ))[x+dx]+(X_c+dX_c)＝(X+dX)，M(s(1+ds)，(θ+dθ))[x+dx]＝M(s，θ)[x]+dX+X_c-(X_c+dX_c)，同时由式x＝ x+Pb，期望找到db使得x+dx＝ x+P(b+db)，由式x＝ x+Pb可得db＝P^-1dx，这样就可以对参数作如下更新：X_c＝X_c+w_ldX_c，Y_c＝Y_c+w_ldY_c，θ＝θ+w_θdθ，b＝b+W_bdb，式中w_l，w_θ，w_s，W_b用于控制参数变化的权值，这样就可以由式x＝ x+Pb得到新的形状。

本发明提出的人脸特征点定位方法具有较高的精度。由于在搜索特征点新位置时使用的是二维轮廓，因此特征点就更容易找到其真正的位置，这样整个特征点定位的精度就得到了大大的提高。用拍摄的人脸库(包含有2273幅人脸图像)对比本发明提出的用二维轮廓进行的特征点定位方法和原始ASM方法中用一维轮廓进行特征点定位的方法，前者的特征点定位的平均误差分别是3.2个像素，而后者特征点定位的平均误差分别是4.5个像素，实验表明本发明提出的用二维轮廓定位特征点的方法在精度上比其他人脸特征点定位方法有很大的改善。

附图说明

图1为人脸检测的结果。

图2为眼睛定位的结果。

图3为标有特征点的人脸图像。

图4为仿射变换后的结果。

图5为用本发明提出的二维轮廓的示意图。

图6为原始ASM方法中的一维轮廓示意图。

图7为用仿射变换后的初始模型并利用二维轮廓进行ASM搜索得到的结果。

具体实施方式

以下结合一个具体的实施例对本发明的技术方案作进一步详细的描述。

实施例采用的图像来自拍摄的人脸图像库。整个实现过程如下：

1.用adaboost方法进行人脸检测，检测结果如图1所示。图中的用白线画出的长方形区域即为找到的人脸区域，该长方形左上角坐标是(189，113)，右下角坐标是(438，412)。

2.眼睛定位，在找到的人脸区域里进行眼睛检测找到两眼的位置，如图2所示。

图中左眼睛上的白色星型图案即为找到的左眼睛位置，其坐标为(270，208)，右眼睛上的白色星型图案即为找到的右眼睛位置，其坐标为(360，208)。

3.计算仿射变换的参数，即两眼中点的坐标、两眼之间的距离、两眼连线的角度。

根据两眼的坐标位置可求得两眼中点坐标为(315，208)，两眼之间的距离为90个像素，两眼连线的角度为0度。

4.从人脸库中选择400个标好特征点的人脸图像建立ASM模型。标好特征点的人脸图像如图3所示。即首先在训练集的每一个训练样本图像上选择60个特征点，这60个特征点组成的形状可以由一个向量x(i)＝[x₁，x₂，...，x₆₀，y₁，y₂，...，y₆₀]来表示，具有相同编号的特征点在不同的图像中表示相同的特征，400个训练样本图像就有400个形状向量，然后对这400个向量进行校准操作，使这些形状向量所表示的形状在大小、方向和位置上最为接近。然后对400个校准后的形状向量进行PCA(主元分析)处理，这样任何一个形状都可以表示为x＝ x+Pb，式中b＝P^T.(x- x)，b的值表示了前22个模式的变化情况。对于训练样本图像中每个特征点需要建立其局部纹理，即在垂直于当前特征点的前后两特征点连线方向上以当前特征点为中心两边各选择5个像素，计算这11(2*5+1)个像素的灰度值导数并归一化从而得到一个长度为10的一维轮廓。记第i个形状向量中第j个特征点的轮廓为g_ij，则第j个特征点轮廓的平均， $\stackrel{\‾}{g_j}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{g}_{\mathrm{ij}},$ 其方差为 $C_j=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(g_{\mathrm{ij}}-\stackrel{\‾}{g_j})\·{(g_{\mathrm{ij}}-\stackrel{\‾}{g_j})}^T,$ 对k个特征点都计算其轮廓的平均和方差，从而就得到了k个特征点的局部纹理。

5.以两眼中点的位置、两眼之间的距离、两眼连线的角度对ASM模型初始位置进行仿射变换，即先求得ASM初始模型上两眼中点坐标、两眼距离、两眼连线的角度，它们分别是(113，145)，90，12，然后对这个初始模型做如下操作：把该模型在X方向上平移-202(113-315)个像素，在Y方向上平移63(145-208)个像素，以其中心旋转12(12-0)度，并按1(90/90)的比例进行缩放。仿射变换后的初始模型如图4所示。

6.以初始模型作为起始位置并用二维轮廓(如图5所示)而不是一维轮廓(如图6所示)进行ASM搜索得到人脸特征点的位置，即把初始模型覆盖在图像上，对模型中第j个特征点，在垂直于其前后两个特征点连线方向上以其为中心两边各选择15个像素，这样就形成了一个长度为31(2*15+1)的一维向量，然后再以该一维向量为中心，两边各选择5个与其长度相同，方向相同的一维向量，这样就形成了一个长为31(2*15+1)，宽为11(2*5+1)的二维矩阵，计算这个二维矩阵每一行中像素灰度值的导数并归一化从而就得到了一个长度为30，宽度为11的二维轮廓。定义一个能量函数 $f_j\left(p\right)=(\mathrm{temp}\left(p\right)-\stackrel{\‾}{g_j})\·C_j^{-1}\·{(\mathrm{temp}\left(p\right)-\stackrel{\‾}{g_j})}^T,$ 用此能量函数评判当前子轮廓与

之间的相似性。在上述这个二维轮廓的每一行上进行如下操作：

在当前行中从前向后依次取长度为10的子轮廓记为temp(P)，记录下使能量函数达到最小的子轮廓的中心位置，对11行都进行这样的操作就会得到11个这样的位置，然后从这11个位置中选出其对应的能量函数最小的位置，该位置即为当前特征点的新位置，同时计算该特征点位置的变化dX_j，对每个特征点都进行这样的计算就得到k个位置变化dX，i＝1，2，...，k，并组成一个向量dX＝(dX₁，dX₂，...，dX_k)。然后再根据上述dX计算仿射变换参数和b的变化，经过24步迭代就可以最终定位60个特征点，如图7所示。

本发明提出的人脸特征点定位方法具有较高的精度。以上实施例总耗时为0.49秒，误差为3.1个像素。

Claims (9)

1、一种用二维轮廓进行人脸特征点新位置搜索的方法，其特征在于，包括如下步骤：

(1)在给定的图像上进行人脸检测，给出人脸区域的位置坐标；

(2)在找到的人脸区域上进行眼睛定位，找到两眼的位置；

(3)计算两眼中点的坐标[X1，Y1]、两眼之间的距离ds1、两眼连线的角度angle1；

(4)建立ASM模型；

(5)对ASM模型的初始位置进行仿射变换得到初始模型；

(6)用初始模型作为ASM搜索的起始位置，并使用二维轮廓进行特征点定位。

2.根据权利要求1所述的用二维轮廓进行人脸特征点新位置搜索的方法，其特征是，所述的步骤(1)，是指：利用adaboost方法进行人脸检测。

3.根据权利要求1所述的用二维轮廓进行人脸特征点新位置搜索的方法，其特征是，所述的步骤(2)，是指：利用方差投影函数进行眼睛的准确定位。

4.根据权利要求1所述的用二维轮廓进行人脸特征点新位置搜索的方法，其特征是，所述的步骤(4)，是指：首先在训练集的每一个训练样本图像上手工选择k个特征点，这k个特征点组成的形状由一个向量x(i)＝[x₁，x₂，...，x_k，y₁，y₂，...，y_k]来表示，具有相同编号的特征点在图像中表示相同的特征，n个训练样本图像就有n个形状向量，对这些形状向量进行校准操作，然后对校准后的形状向量进行PCA处理，这样任何一个形状都能表示为x＝ x+Pb，式中b＝P^T.(x- x)，b的值表示了前t个模式的变化情况；对于训练样本图像中每个特征点需要建立其局部纹理，即对k个特征点都计算其轮廓的平均和方差，从而就得到了k个特征点的局部纹理。

5.根据权利要求1所述的用二维轮廓进行人脸特征点新位置搜索的方法，其特征是，所述的步骤(5)，是指：以两眼中点的位置、两眼之间的距离、两眼连线的角度对ASM模型的平均形状进行仿射变换从而得到初始模型。

6.根据权利要求1或者5所述的用二维轮廓进行人脸特征点新位置搜索的方法，其特征是，所述的仿射变换，是指：对训练得到的平均形状模型 x，分别计算左眼球和右眼球周围的四个特征点的中心作为左眼睛和右眼睛位置，然后计算该平均形状模型中两眼的距离ds2、两眼连线的角度angle2以及两眼的中点坐标[X2，Y2]，再对平均形状模型 x进行仿射变换，即将把整个平均形状模型x平移[X1-X2，Y1-Y2]，然后以该模型的中心旋转angle1-angle2，最后再以ds1/ds2的比例进行缩放。

7.根据权利要求1或者5所述的用二维轮廓进行人脸特征点新位置搜索的方法，其特征是，所述的仿射变换，由X＝M(s，θ)[x]+X_c来表示，该式表示对x以其中心逆时针旋转θ缩放s，然后再平移X_c，其中X_c＝(X_c，Y_c，X_c，Y_c，...，X_c，Y_c)。

8.根据权利要求1所述的用二维轮廓进行人脸特征点新位置搜索的方法，其特征是，所述的步骤(6)，是指：用仿射变换后初始模型在新的图像中搜索目标形状，使搜索到的最终形状中的特征点和相对应的真正特征点最为接近，这个搜索过程主要是通过仿射变换和参数b的变化来实现。

9.根据权利要求1或者8所述的用二维轮廓进行人脸特征点新位置搜索的方法，其特征是，所述的步骤(6)，具体通过反复如下两步来实现：

1)计算每个特征点的新位置

首先把初始模型覆盖在图像上，对于模型中第j个特征点，在垂直于其前后两个特征点连线方向上以其为中心两边各选择1个像素，其中1大于m，这样就形成了一个长度为2m+1的一维向量，然后再以该一维向量为中心，两边各选择s个与其长度相同，方向相同的一维向量，这样就形成了一个长为2m+1，宽为2s+1的二维矩阵，计算这个二维矩阵每一行中像素灰度值的导数并归一化从而就得到了一个长度为2m，宽度为2s+1的二维轮廓，在该二维轮廓中找到使得马氏距离最小的长度为m的子轮廓，该子轮廓的中心即为当前特征点的新位置，同时计算该特征点位置的变化dX_j，对每个特征点都进行这样的计算就得到k个位置变化dX_i，i＝1，2，...，k，并组成一个向量dX＝(dX₁，dX₂，...，dX_k)；

2)仿射变换中的参数和b的更新

对参数作如下更新：X_c＝X_c+w_tdX_c，Y_c＝Y_c+w_tdY_c，θ＝θ+W_θdθ，b＝b+W_bdb，式中w_t，w_θ，w_s，W_b是用于控制参数变化的权值，这样由式x＝ x+Pb得到新的形状。

Images