CN1936925A - 用贝叶斯网络分类器图像判别特征点位置的方法 - Google Patents

Abstract

一种人脸识别领域的用贝叶斯网络分类器搜索特征点位置的方法，包括如下步骤：(1)建立ASM模型；(2)通过人脸检测和眼睛定位初始化ASM搜索的初始位置；(3)为人脸上的每个特征点生成对应的样本；(4)对于每一个特征点，用其对应的样本获得一个贝叶斯网络分类器；(5)用ASM搜索的初始位置作为起始位置，并使用贝叶斯网络分类器进行特征点定位。本发明提出的涉及了眼睛检测、分类器训练、ASM特征点定位的人脸特征点定位方法可以进一步应用于人脸识别、性别识别、表情识别、年龄估计等方面，其具非常高的精度。

Description

用贝叶斯网络分类器图像判别特征点位置的方法

技术领域

本发明涉及的是一种人脸识别领域中的人脸特征点定位方法，具体是一种用贝叶斯网络分类器图像判别特征点位置的方法。

背景技术

人脸识别技术是众多生物特征识别核心中最为实用的技术，其包括表情识别、性别识别、年龄估计、姿态估计等，而人脸特征点定位是这些研究领域中的核心技术，最终人脸识别的精度在很大程度上取决于人脸特征点定位的精确性。因而，精确地定位大量的人脸特征点可以极大地提高人脸识别的精度。目前，最实用的人脸特征定位方法是全局特征点定位方法。在这类方法中，ASM(活动形状模型)方法可以同时定位很多人脸特征点，且其速度快，对光照、背景的变化具有较强的鲁棒性，因而被广泛地应用于特征点定位。

经对现有技术文献的检索发现，Cootes，T.F.等在《Computer Vision and ImageUnderstanding》(计算机视觉与图像理解)(1995年第一期第38页)发表的(“Activeshape models-their training and application”)(活动形状模型-其训练及应用)，该文中提出了活动形状模型方法，方法中，当搜索特征点新位置时，在垂直于前后两个特征点连线的方向上的一维轮廓上找到使马氏距离最小的子轮廓的中心并设定该中心位置为当前特征点的新位置，其不足点在于：这种操作是在假设特征点周围像素的灰度值服从正态分布的前提下完成的，事实上，因为图像判别样本的数量不可能非常多以使得特征点的轮廓完全服从正态分布，而且，特征点周边像素的灰度值也不一定完全服从正态分布，特别是在背景比较复杂，光照不均的情况下，特征点周围的像素就完全不服从正态分布，这样就严重地影响了特征点定位的精度。同时这种方法效果并不理想。

发明内容

本发明针对ASM方法中图像判别不精确性等缺陷，提出了一种用贝叶斯网络分类器图像判别特征点位置的方法，使其把图像判别特征点新的位置问题转换为基于机器图像判别问题来解决，从而可以提高判别特征点的精度。

本发明是通过以下技术方案实现的，包括如下步骤：

(1)建立ASM模型；

(2)通过人脸检测和眼睛定位初始化ASM搜索的初始位置；

(3)为人脸上的每个特征点生成对应的样本；

(4)对于每一个特征点，用其对应的样本获得一个贝叶斯网络分类器；

(5)用ASM搜索的初始位置作为起始位置，并使用贝叶斯网络分类器进行特征点定位。

所述的步骤(1)，是指：首先在训练集的每一个训练样本图像上手工标定k个人脸的特征点，这k个特征点组成的形状可以由一个向量x(i)＝[x₁，x₂，...，x_k，y₁，y₂，...，y_k]来表示，具有相同编号的特征点在不同的图像中代表了相同的特征，n个训练样本图像就对应有n个形状向量，然后校准这n个向量从而使得它们所表示的形状在大小、方向和位置上最为接近。然后对n个校准后的形状向量进行PCA(主元分析)处理，最终任何一个形状都可以表示为 $x=\stackrel{\‾}{x}+\mathrm{Pb},$ 其中 $b=P^T.(x-\stackrel{\‾}{x}),$ b代表了前t个最大的模式的变化情况，这样就训练好了ASM模型。

所述的步骤(2)，是指：用ababoost方法在图像上找到人脸区域，然后在人脸图像上用模板匹配的方法找到两眼位置，并设定两眼中点坐标为[a，b]，对上述求得的平均形状模型

，分别计算左右眼球周围的四个特征点的中心作为左右眼睛位置，从而得到两眼的中点坐标[c，d]，然后把整个平均形状模型

平移[a-c，b-d]，这样就得到了ASM搜索的初始位置。

所述的步骤(3)，是指：对于人脸上的每个特征点，在垂直于该特征点的前后两个特征点连线方向上两边各选择1个像素，计算这2×l+1个像素的灰度值导数并归一化，这样就得到了一个一维向量，然后从前往后在该一维向量中依次选择2×m(m＜l)个元素组成一个一维子向量，总共有2×(l-m)+1个这样的子向量，并依次为这些一维子向量标以相应的类别号，1，2，…，2×(l-m)+1。如此，一幅人脸图像上的一个特征点就生成了2×(l-m)+1个不同类的训练样本，n个训练图像，每个特征点就对应n×(2*(l-m)+1)个训练样本。

所述的步骤(4)，是指：对于每个特征点，用其对应的n×(2×(l-m)+1)个训练样本训练其对应的贝叶斯网络分类器，这样就可以得到k个贝叶斯网络分类器。

所述的步骤(5)，是指：用步骤(2)得到的初始位置在新的图像中搜索目标形状，这个搜索过程主要是通过仿射变换和参数b的变化来实现。具体通过反复迭代如下两步来实现：

1)搜索特征点的新位置

首先用步骤(2)得到的初始位置作为起始位置，对于模型中第j个特征点，在垂直于其前后两个特征点连线方向上以其为中心两边各选择1个像素，计算这2*l+1个像素的灰度值导数并归一化，这样就得到了一个一维向量，然后从前往后在该一维向量中依次选择2×m(m＜l)个元素组成一个一维子向量，总共有2×(l-m)+1个这样的子向量，把这2×(l-m)+1个子向量送入第j个贝叶斯网络分类器进行分类，并把类别号被判别为m+1的子向量的中心设定为第j个特征点的新位置，同时计算该特征点位置的变化dX_j，对每个特征点都进行这样的计算就得到k个位置变化dX_j，i＝1，2，...，k，并组成一个向量dX＝(dX₁，dX₂，...，dX_k)。

2)仿射变换中的参数和b的更新

由公式X＝M(s，θ)[x]+X_c得：M(s(1+ds)，(θ+dθ))[x+dx]+(X_c+dX_c)＝(X+dX)，M(s(1+ds)，(θ+dθ))[x+dx]＝M(s，θ)[x]+dX+X_c-(X_c+dX_c)，同时由式 $x=\stackrel{\‾}{x}+\mathrm{Pb},$ 期望找到db使得 $x+\mathrm{dx}=\stackrel{\‾}{x}+P(b+\mathrm{db}),$ 由式 $x=\stackrel{\‾}{x}+\mathrm{Pb}$ 可得db＝P^-1dx，这样就可以对参数作如下更新：X_c＝X_c+w_tdX_c，Y_c＝Y_c+w_tdY_c，θ＝θ+w_θdθ，b＝b+W_bdb，式中W_t，W_θ，W_s，W_b用于控制参数变化的权值，这样就可以由式 $x=\stackrel{\‾}{x}+\mathrm{Pb}$ 得到新的形状。

本发明提出的人脸特征点定位方法具有非常高的精度。用拍摄的人脸库对比本发明提出的用贝叶斯网络分类器进行的特征点定位方法和原始ASM方法中用一维轮廓进行特征点定位的方法，前者的特征点定位的平均误差分别是2.8个像素，而后者特征点定位的平均误差分别是4.5个像素，实验表明本发明提出的用贝叶斯网络分类器定位特征点的方法在精度上比其他人脸特征点定位方法有很大的改善。

附图说明

图1为标有特征点的人脸图像。

图2为眼睛定位的结果。

图3为用初始模型并利用贝叶斯网络分类器进行ASM搜索得到的结果。

具体实施方式

以下结合一个具体的实施例对本发明的技术方案作进一步详细的描述。

实施例采用的图像来自上海交通大学拍摄的人脸图像库。整个实现过程如下：

1.从人脸库中选择600个标好特征点的人脸图像建立ASM模型。标好特征点的人脸图像，如图1所示。即首先在训练集的每一个训练样本图像上选择60个特征点，这60个特征点组成的形状可以由一个向量x(i)＝[x₁，x₂，...，x₆₀，y₁，y₂，...，y₆₀]来表示，具有相同编号的特征点在不同的图像中表示相同的特征，600个训练样本图像就有400个形状向量，然后对这400个向量进行校准操作，使这些形状向量所表示的形状在大小、方向和位置上最为接近。然后对400个校准后的形状向量进行PCA(主元分析)处理，这样任何一个形状都可以表示为 $x=\stackrel{\‾}{x}+\mathrm{Pb},$ 式中 $b=P^T.(x-\stackrel{\‾}{x}),$ b的值表示了前26个模式的变化情况，这样就训练好了ASM模型。

2.用adaboost方法在图像中找到人脸区域并用模板匹配方法找到两眼的位置，如图2所示，并得到两眼中点坐标为(234，251)，然后求得ASM初始模型上两眼中点坐标(113，145)，然后把该模型在X方向上平移121(234-113)个像素，在Y方向上平移106(251-145)个像素，这样就得到了ASM模型的初始位置。对于人脸上的60个特征点，在垂直于该特征点的前后两特征点连线方向上两边各选择16个像素，计算这33(2*16+1)个像素的灰度值导数并归一化，这样就得到了一个一维向量，然后从前往后在该一维向量中依次选择16个元素组成一个一维子向量，总共有17个这样的子向量，并依次为这些一维子向量标以相应的类别号，1，2，…，17。这样一幅人脸图像上的一个特征点就生成了17个不同类的训练样本，600个训练图像，每个特征点就对应10200(600*17)个训练样本。

3.对于每个特征点，用其对应的10200个训练样本训练贝叶斯网络分类器，这样就可以得到60个分类器。

4.以模型的初始位置作为起始位置并用贝叶斯网络分类器进行ASM搜索得到人脸特征点的位置，即把初始模型覆盖在图像上，对模型中第j个特征点，在垂直于其前后两个特征点连线方向上以其为中心两边各选择16个像素，这样就形成了一个长度为33(2*16+1)的一维向量，计算这33个像素的灰度值导数并归一化，这样就得到了一个一维向量，然后从前往后在该一维向量中依次选择16个元素组成一个一维子向量，总共有17个这样的子向量，把这17个子向量送入第j个分类器进行分类，并把类别号被判别为9的子向量的中心设定为第j个特征点的新位置，同时计算该特征点位置的变化dX_j，对每个特征点都进行这样的计算就得到60个位置变化dX_i，i＝1，2，...，60，并组成一个向量dX＝(dX₁，dX₂，...，dX₆₀)。

5.然后再根据上述dX计算仿射变换参数和b的变化，经过19步迭代就可以最终定位60个特征点，如图3所示。

从以上实施例可以看出，本发明提出的涉及了人脸检测、眼睛检测、贝叶斯网络分类器训练、ASM特征点定位的人脸特征点定位方法可以进一步应用于人脸识别、性别识别、表情识别、年龄估计等方面，其具非常高的精度。

Claims (7)

1.一种用贝叶斯网络分类器搜索特征点位置的方法，其特征在于，包括如下步骤：

(1)建立ASM模型；

(2)通过人脸检测和眼睛定位初始化ASM搜索的初始位置；

(3)为人脸上的每个特征点生成对应的样本；

(4)对于每一个特征点，用其对应的样本获得一个贝叶斯网络分类器；

(5)用ASM搜索的初始位置作为起始位置，并使用贝叶斯网络分类器进行特征点定位。

2.根据权利要求l所述的用贝叶斯网络分类器搜索特征点位置的方法，其特征是，所述的步骤(1)，是指：首先在训练集的每一个训练样本图像上手工标定k个人脸的特征点，这k个特征点组成的形状由一个向量x(i)＝[x₁，x₂，...，x_k，y₁，y₂，...，y_k]来表示，具有相同编号的特征点在各图像中代表了相同的特征，n个训练样本图像就对应有n个形状向量，校准这n个向量从而使得它们所表示的形状在大小、方向和位置上最为接近，然后对n个校准后的形状向量进行PCA处理，最终任何一个形状都表示为 $x=\stackrel{-}{x}+\mathrm{Pb}$ ，其中 $b=P^T.(x-\stackrel{-}{x})$ ，b代表了前t个最大的模式的变化情况，这样就训练好了ASM模型。

3.根据权利要求1所述的用贝叶斯网络分类器搜索特征点位置的方法，其特征是，所述的步骤(2)，是指：用ababoost方法在图像上找到人脸区域，然后在人脸图像上用模板匹配的方法找到两眼位置，并设定两眼中点坐标为[a，b]，对上述求得的平均形状模型

，分别计算左右眼球周围的四个特征点的中心作为左右眼睛位置，从而得到两眼的中点坐标[c，d]，然后把整个平均形状模型 平移[a-C，b-d]，这样就得到了ASM搜索的初始位置。

4.根据权利要求1所述的用贝叶斯网络分类器搜索特征点位置的方法，其特征是，所述的步骤(3)，是指：对于人脸上的每个特征点，在垂直于该特征点的前后两个特征点连线方向上两边各选择1个像素，计算这2×l+1个像素的灰度值导数并归一化，这样就得到了一个一维向量，然后从前往后在该一维向量中依次选择2×m(m＜l)个元素组成一个一维子向量，总共有2×(l-m)+1个这样的子向量，并依次为这些一维子向量标以相应的类别号，1，2，…，2×(l-m)+1，如此，一幅人脸图像上的一个特征点就生成了2×(1-m)+1个不同类的训练样本，n个训练图像，每个特征点就对应n×(2*(1-m)+1)个训练样本。

5.根据权利要求1所述的用贝叶斯网络分类器搜索特征点位置的方法，其特征是，所述的步骤(4)，是指：对于每个特征点，用其对应的n×(2×(l-m)+1)个训练样本训练其对应的贝叶斯网络分类器，这样就得到k个贝叶斯网络分类器。

6.根据权利要求1所述的用贝叶斯网络分类器搜索特征点新位置的方法，其特征是，所述的步骤(5)，是指：以模型的初始位置作为起始位置在新的图像中搜索目标形状，这个搜索过程主要是通过仿射变换和参数b的变化来实现。

7.根据权利要求6所述的用贝叶斯网络分类器搜索特征点位置的方法，其特征是，所述的步骤(5)，具体通过反复如下两步来实现：

1)计算每个特征点的新位置

首先把初始模型覆盖在图像上，对于模型中第j个特征点，在垂直于其前后两个特征点连线方向上以其为中心两边各选择1个像素，计算这2×l+1个像素的灰度值导数并归一化，这样就得到了一个一维向量，然后从前往后在该一维向量中依次选择2*m个元素组成一个一维子向量，总共有2×(l-m)+1个这样的子向量，其中m＜l，把这2×(l-m)+1个子向量送入第k个分类器进行分类，并把类别号被判别为l+1的子向量的中心设定为第j个特征点的新位置，同时计算该特征点位置的变化dX_j，对每个特征点都进行这样的计算就得到k个位置变化dX_i，i＝1，2，...，k，并组成一个向量dX＝(dX₁，dX₂，...，dX_k)；

2)仿射变换中的参数和b的更新

对参数作如下更新：X_c＝X_c+w_tdX_c，Y_c＝Y_c+w_tdY_c，θ＝θ+w_θdθ，b＝b+W_bdb，式中w_t，w_θ，w_s，W_b是用于控制参数变化的权值，这样由式 $x=\stackrel{-}{x}+\mathrm{Pb}$ 得到新的形状。