CN100444191C - 基于活动形状模型的多表情整脸轮廓检测方法 - Google Patents

Abstract

本发明提供一种基于活动形状模型的多表情整脸轮廓检测方法，包括下述步骤(1)获取训练图像；(2)构建局部模型及全局模型；(3)获取目标人脸图像；(4)局部模型与全局模型相结合对人脸图像进行搜索；(5)用选择的全局模型初始化整脸，然后运算定位，得到整脸轮廓。本发明将局部ASM和全局ASM结合提出了多模型ASM方法，事先确定人脸的表情状态，选用更精细的单表情状态模型下进行检测，能提高ASM在形状有较大非线性变化的、多表情的人脸特征点的检测准确率，更好地为后续的人脸目标的识别以及图像的理解与分析等打下基础。

Description

基于活动形状模型的多表情整脸轮廓检测方法

技术领域

本发明涉及一种人脸特征点检测方法，特别涉及一种基于活动形状模型的多表情整脸轮廓检测方法。

背景技术

在过去的十几年中，基于可变形模型对目标物体特征点定位的研究取得了很大成就，特别是对于图像中的目标物体变化很大的情况。可变形模型的基本思想是：设计一个目标物体的通用模型，对于任意给定图片，如果图片中有与该模型相同的目标物体，则可以根据物体图像的内部和外部特征与模型之间的差异，通过调整模型参数将模型进行变化，其形状和纹理能够与目标物体在一定误差内实现匹配。

由Cootes等人于1995年提出的活动形状模型(ASM)，其方法是从某种物体的图像样本集合中提取出一个物体形状的统计的模式，同时利用边界点附近的纹理信息，按照一定算法，以此模型为依据，在测试图像中与目标物体进行快速匹配，找到被定位物体的位置。它的优点在于用容易抽取的目标轮廓作为建模基础，选择合理的参数加快匹配速度，并在轮廓的基础上借助图像的纹理特征，更好地匹配图像的组织结构，达到提高定位精度的目的。

但是，这种全局ASM方法有其局限性：ASM方法是基于统计的方法，只适合对某一类表情状态下的人脸进行检测。人脸丰富多样的表情使眼睛和嘴巴有多种状态从而使得形状有较大的非线性变化，不能简单的放在同一个线性模型下处理。也就是说，单一线性模型并不能精确地区分人脸不同的表情状态，其直接结果是眼睛和嘴巴的形状不精确。例如，人在微笑时两个嘴角上扬这个状态是很难用上面的模型精确表达的。不过，如果我们能事先知道人脸的微笑状态，并用基于微笑状态下的训练图像所提取的模型进行处理，那么定位结果无疑会精确得多。为提高ASM在形状有较大非线性变化的、多表情的人脸特征点的检测准确率，我们提出局部ASM和全局ASM相结合的多模型ASM方法。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种操作方便，可明显提高检测准确率的基于活动形状模型的多表情整脸轮廓检测方法。利用本方法可基本不需人工干预的情况下自动检测出目标人脸的关键轮廓点，为后续的人脸目标的识别以及图像的理解与分析等打下基础。

本发明的目的通过下述技术方案实现：一种基于活动形状模型的多表情整脸轮廓检测方法，包括下述步骤——

(1)获取训练图像；即获取多幅不同人的不同表情的正面人脸图像，用来进行建模。

(2)构建局部模型及全局模型

人脸表情丰富多样，有多种眼睛状态和嘴巴状态，故有必要采用局部模型进行细致搜索，并采用全局模型来对整脸轮廓进行全局约束。用标准ASM中的方法构建以下模型：

局部模型分为眼睛模型和嘴巴模型。所述眼睛模型分为开眼模型和闭眼模型；所述嘴巴模型分张大的嘴巴模型、微笑的嘴巴模型、O型的嘴巴模型、紧闭的嘴巴模型。

全局模型则分为总体整脸形状模型和细分状态的整脸模型。其中总体整脸形状模型分为开眼的总体整脸形状模型和闭眼的总体整脸形状模型，它们只是形状模型，不包含任何灰度或特征信息，给定两个眼睛的内角点和两个嘴角点，用它们得到眼睛和嘴巴的大概位置；而细分状态的整脸模型跟标准ASM模型一样，包含形状信息和特征信息。鉴于眼睛有两种状态嘴巴有四种状态，细分状态的整脸模型应包含以下八个：开眼且张大的嘴的整脸模型、开眼且微笑的嘴的整脸模型、开眼且O型的嘴的整脸模型、开眼且紧闭的嘴的整脸模型、闭眼且张大的嘴的整脸模型、闭眼且微笑的嘴的整脸模型、闭眼且O型的嘴的整脸模型、闭眼且紧闭的嘴的整脸模型。

(3)获取目标人脸图像，以利用已建好的模型在目标人脸图像上进行检测。

(4)局部模型与全局模型相结合进行搜索：

对于一幅待检测的目标人脸图像，给定眼角点与嘴角点(如手工标定两个眼睛的内角点和两个嘴角点)之后，局部模型和全局模型交替使用发挥作用：首先用总体整脸形状模型根据已标定的四个点初始化整脸轮廓，得到眼睛和嘴巴的大概位置，然后用局部眼睛模型去寻找眼睛轮廓，用局部嘴巴模型去寻找嘴巴轮廓。由于眼睛状态是未知的，我们先分别用开眼模型和闭眼模型寻找眼睛轮廓，然后用豪斯多夫(Hausdorff)距离判断这两个轮廓哪个更像真实轮廓，从而知道眼睛状态。同理知道嘴巴状态。

其中，Hausdorff距离是一种极大极小距离，常用于衡量两个点集之间的相似程度。由于使用Hausdorff距离作为距离测度时无需考虑两个点集中的点与点之间的一一对应关系，因此可以对具有不完全相同点的两个点集之间的相似性进行度量，有效解决当图像中存在噪声和目标被部分遮挡时的识别问题。

给定两个有限集A＝{a₁，a₂，...，a_p}和B＝{b₁，b₂，...，b_q}，则A、B之间的Hausdorff距离定义如下：

H(A，B)＝max(h(A，B)，h(B，A))

其中

$h(A,B)=\underset{a\∈A}{\max }\underset{b\∈B}{\min }\left|\right|a-b\left|\right|,h(B,A)=\underset{b\∈B}{\max }\underset{a\∈A}{\min }\left|\right|b-a\left|\right|$

其中‖·‖为定义在点集A和B上的某种距离范数，例如本文使用的欧氏距离；函数h(A，B)称为从点集A到点集B的有向Hausdorff距离，以下我们定义一个点到一个有限集合的距离为该点与这个集合所有点的距离的最小值，那么h(A，B)即为点集A中的每个点到点集B的距离的最大值；显然一般情况下h(A，B)并不等于h(B，A)，如果h(A，B)＝d，则说明点集A中的点到点集B的最短距离都在0到d的范围之内。Hausdorff距离H(A，B)取h(A，B)和h(B，A)的最大值，这样通过计算h(A，B)和h(B，A)的最大值即可获得两个点集A和B之间的匹配程度。

本发明中，我们需要计算两幅二值图像BI1和BI2之间的Hausdorff距离，只需取 $A=\{(i_{k1},j_{k1}),\mathrm{where\; BI}1(i_{k1},j_{k1})=1{\}}_{k1=1}^{N1},$ 即第一幅图BI1中所有取值为1的点的坐标； $B{=\{(i_{k2},j_{k2}),\mathrm{where\; BI}2(i_{k2},j_{k2})=1\}}_{k2=1}^{N2},$ 即第二幅图BI2中所有取值为1的点的坐标，则H(BI1，BI2)＝H(A，B)。

最后调用相应的细分状态的整脸模型去寻找整个人脸轮廓。比如说如果检测到眼睛是开眼，嘴巴是O型的嘴，则调用开眼且嘴巴为O型的嘴的整脸模型去搜索。

(5)用选择的整脸模型初始化整脸，然后开始迭代搜索；通过ASM的不断迭代并结合多分辨率的算法，在粗糙(低分辨率)的图像中确定目标大概的位置，然后在一系列越来越清晰(高分辨率)的图像中进行精确的定位，直到ASM收敛或者迭代次数达到最大即停止，得到整脸轮廓。

本发明与现有技术相比具有如下的优点及有益效果：由于人脸丰富的表情，如微笑，惊讶，生气，发呆等等，不能简单地放在同一个线性模型下处理，否则会导致眼睛和嘴巴的检测结果不够精细；而本发明提出的将局部ASM和全局ASM结合的多模型ASM方法的多表情整脸轮廓检测方法，事先确定人脸的表情状态，选用更精细的单表情状态模型下进行检测，能提高ASM在形状有较大非线性变化的、多表情的人脸特征点的检测准确率。实验表明，本章提出的基于ASM方法的多表情整脸轮廓检测算法的检测准确率比标准ASM有明显提高，更好地为后续的人脸目标的识别以及图像的理解与分析等打下基础。

附图说明

图1为整脸轮廓上的特征点图；其中，左图为开眼的98个特征点，右图为闭眼的84个特征点。

图2为两种眼睛状态和四种嘴巴状态。第一行：(a)开着的眼睛，前三为一般开着的眼睛，后三分别为向上看的眼睛，瞪大的眼睛和左右看的眼睛。(b)闭着的眼睛。第二行从左到右分别为张大的嘴，微笑的嘴，O型的嘴(如惊讶时)和紧闭的嘴。其中白色的是轮廓线。

图3是嘴巴状态估计图。

图4是本发明训练得到的部分模型。

(a)局部模型。左二为眼睛模型(开的和闭的)，右四为嘴巴模型(张大的，微笑的，O型的和紧闭的)。

(b)总体整脸形状模型。闭眼的总体整脸形状模型和开眼的总体整脸形状模型。

(c)部分细分状态的整脸模型。从左到右分别为开眼且张大的嘴的整脸模型、开眼且微笑的嘴的整脸模型、开眼且O型的嘴的整脸模型、开眼且紧闭的嘴的整脸模型和眼睛为闭的整脸模型。

图5为本发明方法的操作流程图(包括局部和全局模型结合的基于多模型的改进的ASM方法的搜索过程)。

图6为人工标定的两个眼睛的内角点和两个嘴角点。

图7为用开眼的总体整脸形状模型初始化整脸轮廓。

图8(a)用开眼的总体整脸形状模型初始化整脸轮廓得到的眼睛的大概位置(右眼为例)；(b)用开眼模型寻找得到的开眼轮廓；(c)用闭眼模型寻找得到的闭眼轮廓。

图9第一行：眼睛和它的真实轮廓(用canny算子计算)。第二行：分别为用开眼模型和闭眼模型搜索得到的眼睛轮廓的二值图。

图10为同一个人不同表情下改进的ASM的部分检测结果以及与标准ASM的检测结果对比图。第一行：本技术方案改进的ASM；第二行：标准ASM。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

本基于活动形状模型的多表情整脸轮廓检测方法，包括下述步骤(如图5所示)：

(1)获取训练图像；即获取两幅不同人的不同表情的正面人脸图像，用来进行建模。

(2)构建局部模型及全局模型

首先用标准ASM中的方法构建以下模型，其中采样点的选取请参见图1。

局部模型分为眼睛模型和嘴巴模型；如图2所示，所述眼睛模型分为开眼模型和闭眼模型；所述嘴巴模型分张大的嘴巴模型、微笑的嘴巴模型、O型的嘴巴模型、紧闭的嘴巴模型。

全局模型则分为总体整脸形状模型和细分状态的整脸模型。其中总体整脸形状模型分为开眼的总体整脸形状模型和闭眼的总体整脸形状模型，它们只是形状模型，不包含任何灰度或特征信息，给定两个眼睛的内角点和两个嘴角点，用它们得到眼睛和嘴巴的大概位置；而细分状态的整脸模型跟标准ASM模型一样，包含形状信息和特征信息。鉴于眼睛有两种状态嘴巴有四种状态，细分状态的整脸模型应包含以下八个：开眼且张大的嘴的整脸模型、开眼且微笑的嘴的整脸模型、开眼且O型的嘴的整脸模型、开眼且紧闭的嘴的整脸模型、闭眼且张大的嘴的整脸模型、闭眼且微笑的嘴的整脸模型、闭眼且O型的嘴的整脸模型、闭眼且紧闭的嘴的整脸模型，具体见图4。

(3)获取目标人脸图像，以利用已建好的模型在目标人脸图像上进行检测。

(4)局部模型与全局模型相结合的搜索方法(见图5)：

1.人工标定测试图像中两个眼睛的内角点和两个嘴角点位置(见图6)，首先用开眼的总体整脸形状模型(或闭眼的总体整脸形状模型)根据已标定的四个点的位置初始化整脸(见图7)，得到两个眼睛外角点的大概位置(见图8)。

2.对于眼睛，局部使用ASM。由于眼睛状态未知，先用开眼模型初始化并搜索得到开眼轮廓；再用闭眼模型初始化并搜索得到闭眼轮廓。同时在原图中用canny算子计算得到实际的眼睛边缘图，其中canny算子是一种图像边缘检测算子，在MATLAB等编程软件中可利用图像处理工具箱函数实现。具体见图9。此时，开眼轮廓、闭眼轮廓与实际眼睛边缘图都是经过二值化后的二值图：即搜索得到的眼睛轮廓线与用canny算子得到的眼睛边缘处的像素值取1，其它部分的像素值取0。根据Hausdorff距离的定义，计算两个Hausdorff距离：开眼轮廓与实际眼睛边缘的Hausdorff距离；闭眼轮廓与实际眼睛边缘的Hausdorff距离。从而判断这两个轮廓哪个更接近真实轮廓，从而知道眼睛状态。

3.对于嘴巴，同理也局部使用ASM，最后得到嘴巴状态(张大的嘴巴，微笑的嘴巴，O型的嘴巴，紧闭的嘴巴)，如图3所示。

4.选用相应的细分状态的整脸全局模型。比如说如果检测到眼睛是闭眼，则选用眼睛为闭的整脸模型；如果检测到眼睛是开眼，嘴巴是O型的嘴巴，则选用开眼且嘴巴为O型的嘴巴的整脸模型；其他情况类推。

(5)用选择的整脸模型初始化整脸，然后开始迭代搜索。通过ASM的不断迭代并结合多分辨率的算法，在粗糙(低分辨率)的图像中确定目标大概的位置，然后在一系列越来越清晰(高分辨率)的图像中进行精确的定位，直到ASM收敛或者迭代次数达到最大，停止。得到整脸轮廓。

图10为利用本发明方法的检测结果及与标准ASM的检测结果对比的效果图。第一行：本技术方案改进的ASM；第二行：标准ASM。由图10对比可知，本发明方法的检测准确率比标准ASM有明显提高，眼睛和嘴巴的特征点检测得更加准确，由于人脸各部位的相关性，眼睛和嘴巴的准确使得其它部位检测的准确性都有所提高。

Claims (5)

1、一种基于活动形状模型的多表情整脸轮廓检测方法，其特征在于包括下述步骤——

(1)获取训练图像；

(2)构建局部模型及全局模型；

(3)获取目标人脸图像；

(4)局部模型与全局模型相结合对人脸图像进行搜索；

(5)用选择的全局模型初始化整脸，然后运算定位，得到整脸轮廓；

所述局部模型分为眼睛模型和嘴巴模型；所述全局模型分为总体整脸形状模型和细分状态的整脸模型；所述总体整脸形状模型分为开眼的总体整脸形状模型和闭眼的总体整脸形状模型；所述细分状态的整脸模型包含开眼且张大的嘴的整脸模型、开眼且微笑的嘴的整脸模型、开眼且O型的嘴的整脸模型、开眼且紧闭的嘴的整脸模型、闭眼且张大的嘴的整脸模型、闭眼且微笑的嘴的整脸模型、闭眼且O型的嘴的整脸模型、闭眼且紧闭的嘴的整脸模型。

2、根据权利要求1所述的基于活动形状模型的多表情整脸轮廓检测方法，其特征在于：所述眼睛模型分为开眼模型和闭眼模型；所述嘴巴模型分张大的嘴巴模型、微笑的嘴巴模型、O型的嘴巴模型、紧闭的嘴巴模型。

3、根据权利要求1所述的基于活动形状模型的多表情整脸轮廓检测方法，其特征在于：所述步骤(4)具体为给定眼角点与嘴角点之后，局部模型和全局模型交替使用发挥作用：首先用总体整脸形状模型初始化整脸轮廓，得到眼睛和嘴巴的大概位置，然后用局部眼睛模型去寻找眼睛轮廓，用局部嘴巴模型去寻找嘴巴轮廓。

4、根据权利要求3所述的基于活动形状模型的多表情整脸轮廓检测方法，其特征在于：先分别用开眼模型和闭眼模型寻找眼睛轮廓，然后用豪斯多夫距离判断这两个轮廓哪个更像真实轮廓，从而知道眼睛状态；先分别用各嘴巴模型寻找嘴巴轮廓，然后用豪斯多夫距离判断几个轮廓哪个更像真实轮廓，从而知道嘴巴状态。

5、根据权利要求1所述的基于活动形状模型的多表情整脸轮廓检测方法，其特征在于：所述步骤(5)具体是用选择的整脸模型初始化整脸，然后开始迭代搜索；通过活动形状模型的不断迭代并结合多分辨率的算法，在粗糙的图像中确定目标大概的位置，然后在一系列越来越清晰的图像中进行精确的定位，直到活动形状模型收敛或者迭代次数达到最大即停止，得到整脸轮廓。

Images