CN104951743A - 基于主动形状模型算法分析人脸表情的方法 - Google Patents

Abstract

本发明涉及一种基于主动形状模型算法识别人脸表情的方法。所述方法包括：存储或选取人脸表情数据库，选取所述人脸表情数据库中部分或全部人脸表情作为训练图像；基于主动形状模型算法对所述训练图像进行特征点定位，其中所述特征点为针对所述训练图像的眉毛、眼睛、鼻子和嘴巴四部分定位出的特征点，所述特征点形成所述的眉毛、眼睛、鼻子和嘴巴各部分的轮廓数据信息，进行数据训练得到各表情的数值约束条件；基于各表情的数值约束条件建立人脸表情的数学模型，基于所述数学模型进行人脸识别。

Description

基于主动形状模型算法分析人脸表情的方法

技术领域

本发明涉及人脸表情识别技术领域，尤其涉及一种基于主动形状模型算法分析人脸表情的方法。

背景技术

人脸在日常生活的人际交往中发挥着关键作用，所以对于人脸及人脸表情识别的研究日益成为各学者关注的热点。最早，Ekman等心理学家提出在人类日常交流过程中，有55％的信息是通过人脸面部表情来传递的，而通过语言和声音手段进行交流的信息只占7％和38％，因此为了更好地了解人类的精神状态，需要对表情进行深入研究。

关于人脸表情的研究起源于19世纪，20世纪70年代时，由Ekman和Friesen提出了统一的人脸表情模板，该表情模板适用于各个种族、文化的所有人类，包括高兴、悲伤、害怕、厌恶、惊讶和生气，被称为“六种基本表情”。

人脸表情是人脸肌肉作用的结果，并体现在面部器官上：眼睛、眉毛、鼻子、嘴巴和皮肤纹理等，表情脸的运动特征总结规律。由戴振龙等人所研究实现的表情实时生成是基于MPEG-4标准，该标准对人脸动作进行了量化定义，主要包括：脸部定义参数(FDP)，定义人脸的几何结构；脸部动画参数(FAP)，定义人脸脸部基本动作。如果想要准确的描述人脸表情，我们就需要相关的术语对产生表情的运动及变化进行描述，例如脸部运动的定位、强度和动态规律等。人脸表情的描述可以通过脸部特征的几何形变或者脸部区 域的纹理变化来实现。比如说笑，可以通过脸颊的提高和嘴角的上扬来表示。但是，由于每个人表现表情的方式不同及各种表情的多样性，所以很难准确地描述一个表情，本文希望对比出其它表情和中性表情的差异，从而实现表情识别。

人脸表情识别是首先针对脸部表情特征区域提取关键点信息，并且结合相应算法按照计算机的理解方式给出描述，然后计算机依据先验知识来识别人脸表情，最终实现一个良好的人机交互环境。由于表情的复杂多样性，人脸表情识别相对有较高挑战性，但是，随着近些年的科技发展，对于人工智能方向的研究已经达到了较高的水平，尤其在人脸表情识别发展中取得了很好的研究成果。

人脸表情识别有广泛的应用前景：

在智能安全监控领域，很多汽车、飞机等司机需要高度集中注意力，如果出现疲劳驾驶或者一些突发状况时是很有危险的，将表情识别系统运用起来进行实时的监控及提醒，将会极大地提高安全系数，保障人们的生命安全，消除不必要的安全隐患。

在医疗卫生领域，可以通过表情识别系统等实时观察病人状况，并能够及时地反馈给医生。另外，基于表情识别的智能机器人也可以代替医护人员，更好的了解和掌握病人的需求，随时听候病人的差遣。目前，为照顾行动不便人士的机器人已经研发出来并得到使用，相信未来结合表情识别的智能机器人会有更人性化的服务功能。

在美国电视剧《Lie to Me》中，测谎专家通过观察人的表情来判断其是 否撒谎，破解了很多棘手的案例。因此，通过表情变化来测谎是未来表情识别的很有意义的一个发展方向。

在教育领域，通过观察儿童在一些场景和活动中的表情，发掘儿童潜在的兴趣、了解掌握儿童的情感状况及性格问题，有助于促进儿童的健康成长，避免一些消极状况的发生。另外，教师可以结合心理学等知识，通过观察学生们的表情信息了解学生们的心理状况，及时地引导学生们解决学习生活中的各种问题。针对此应用目的，有研究开发出移动学习下[13]的表情识别系统。

总之，随着社会的不断发展以及科技的进步，人脸表情的分析与识别技术在未来的日常生活中会得到广泛应用，并且在改善人们的生活方式以及生活质量方面有着巨大的潜力。

人脸表情识别在人们的日常生活中发挥重要作用。尽管近年来关于表情识别的研究取得了明显进展，但现有方法一般技术性比较强、过程比较复杂。

传统的基于图像分析的人脸表情识别算法需要处理整幅图像的所有像素数据，其算法复杂度往往会制约整个视觉系统的效率。

有鉴于上述的缺陷，本设计人，积极加以研究创新，以期创设一种基于主动形状模型算法分析人脸表情的方法，使其更具有产业上的利用价值。

发明内容

为解决上述技术问题，本发明的目的是提供一种计算效率高、识别准确性好的基于主动形状模型算法分析人脸表情的方法。

本发明的基于主动形状模型算法识别人脸表情的方法，所述方法包括：

存储或选取人脸表情数据库，选取所述人脸表情数据库中部分或全部人 脸表情作为训练图像；

基于主动形状模型算法对所述训练图像进行特征点定位，其中所述特征点为针对所述训练图像的眉毛、眼睛、鼻子和嘴巴四部分定位出的特征点，所述特征点形成所述的眉毛、眼睛、鼻子和嘴巴各部分的轮廓数据信息；

基于所述的眉毛、眼睛、鼻子和嘴巴各部分的轮廓数据信息，对所述训练图像进行数据训练，得到各基本表情以及中性表情体现在眉毛、眼睛、鼻子和嘴巴各部分的几何特征的数据定义；

基于所述的数据定义分别对各基本表情相较于中性表情的几何特征变化进行数值计算，得到各表情的数值约束条件；

基于各表情的数值约束条件建立人脸表情的数学模型，基于所述数学模型进行人脸识别。

进一步地，选取日本ATR女性表情数据库中部分或全部人脸图像作为训练图像，其中所述训练图像至少包括6种基本表情中的各一副人脸图像和中性表情的至少一副人脸图像；

基于主动形状模型算法对所述训练图像进行人脸特征点定位，其中所述特征点为针对人脸眉毛、眼睛、鼻子和嘴巴部分定位出的特征点，所述特征点形成所述眉毛、眼睛、鼻子和嘴巴各部分的轮廓形状数据信息；

基于所述的各部分的轮廓特征数据信息，对各表情体现在眉毛、眼睛、鼻子和嘴巴各部分的几何特征进行数据定义；

基于所述的数据定义分别对各表情体现在眉毛、眼睛、鼻子和嘴巴各部 分的几何特征进行数值计算；

对各基本表情相较于中性表情的几何特征变化进行数值计算，得到各基本表情相较于中性表情的数值约束条件；

基于各基本表情的数值约束条件建立人脸表情的数学模型，基于所述数学模型进行人脸识别。

具体地，所述的主动形状模型算法对所述训练图像进行人脸特征点定位具体包括：

选取所述的表情数据库中的70副人脸图像作为进行训练，在每张所述训练图像上选取94个特征点，将左眉毛、右眉毛、左眼睛上眼睑、左眼睛下眼睑、右眼睛上眼睑、右眼睛下眼睑、鼻子、上嘴唇、下嘴唇部分的特征点依次构成特征向量S₁,S₂,S₃,S₄,S₅,S₆,S₇,S₈,S₉；

对所述的特征点进行线性插值运算，其中所述线性插值运算具体包括：使用插值函数interp对坐标数据信息进行5倍原采样频率值重新采样；利用interp1函数在选定特征点之间平均插入20个点，构成特征向量S′₁,S′₂,S′₃,S′₄,S′₅,S′₆,S′₇,S′₈,S′₉；

对所有特征向量进行对齐；

特征向量对齐之后，构建形状模型，通过对特征向量进行PCA运算得到特征值、特征向量、平均形状Evalues,Evectors,x_mean；

[Evalues,Evectors,x_mean]＝PCA(x),

选取98％的特征向量来减少轮廓噪声，并对特征值设置参数限制，选 取前t个特征向量和特征值，特征值按照从大到小排列，获得全局统计形状模型X，

P＝Evectors(1,2...,t),

$b=\sqrt{3}*Evalues(1,2,...,t),$

X＝x_mean+Pb.

依据ASM算法构造局部纹理模型，得到第j个特征点的局部纹理模型 

应用ASM模型到数据库中各人脸图像上，基于多分辨率的搜索策略，高斯图像金字塔层数为2层，对每一层进行特征点定位，所述的定位过程包括：

对平均形状进行旋转、平移等变换，获得初始形状，在目标图像上选取与其接近的位置确定初始形状的位置；

更新参数，不断优化目标图像的特征点定位；

重复上述过程，直到迭代次数达到阈值。

进一步地，各表情体现在眉毛、眼睛、鼻子和嘴巴各部分的几何特征进行数据定义分别为：

计算眉毛的曲率来判断眉毛是否发生弯曲等形变；

计算眉毛内点与外点在垂直方向上的距离d_B来判断眉毛形状的改变；

分别计算上眼睑和下眼睑进行曲率计算得到来判断眼睛是否发生弯曲形变；

计算上下眼睑对应点在垂直方向上的距离d_E来判断眼睛睁开的大小变化；

计算左右鼻孔的左侧点、右侧点进行水平方向上的距离差值计算，得到d_N，判断鼻子是否变宽；

嘴巴部分通过计算上嘴唇、下嘴唇的曲率来判断嘴巴的弯曲等形变，同时通过上下嘴唇对应点的垂直方向上的距离差d_M来判断嘴唇张开大小的变化，计算下嘴唇相邻轮廓点之间的x坐标差值之和p_M来度量嘴巴的长度变化。

进一步地，所述的曲率通过对相邻特征点的曲率运算获得曲率值kappa，所述曲率运算公式为：

$kappa(i-1)=\frac{\mathrm{\Δ}x\left(i\right)*{\mathrm{\Δ}}^{2}y\left(i\right)-\mathrm{\Δ}y\left(i\right)*{\mathrm{\Δ}}^{2}x\left(i\right)}{{(\mathrm{\Δ}x{\left(i\right)}^2+\mathrm{\Δ}y{\left(i\right)}^2)}^{1.5}}\·$

其中， $\mathrm{\Δ}x\left(i\right)=\frac{x(i+1)-x(i-1)}{2},$

$\mathrm{\Δ}y\left(i\right)=\frac{y(i+1)-y(i-1)}{2},$

Δ²x(i)＝x(i+1)+2*x(i)+x(i-1),

Δ²y(i)＝y(i+1)+2*y(i)+y(i-1),。

于一具体实施例中，中性表情体现在眉毛、眼睛、鼻子和嘴巴各部分的几何特征进行数值计算的方法包括：

眉毛

左眉毛的20个特征点构成向量S₁，

$S_1=(x_B^1,y_B^1,x_B^2,y_B^2,...,x_B^{20},y_B^{20}),$

除去起始点和终点，依据曲率计算公式计算获得18个曲率值及眉毛曲率均值

$K=(k_B^1,k_B^2,...,k_B^{18}),$

${\stackrel{\‾}{\mathrm{\κ}}}_B^{netr}=\underset{i=1}{\overset{18}{\Σ}}\left(k_B^i\right),$

计算眉毛内点与外点垂直方向上的距离

$d_B^{netr}=y_B^{20}-y_B^1,$

计算眉毛与眼睛垂直方向上的距离

$d_{BE}^{netr}=\frac{1}{20}\underset{i=1}{\overset{20}{\Σ}}\[S_2\left(i\right)-S_1\left(i\right)\].$

眼睛

针对上下眼睑各20个特征点进行计算，即讨论上眼睑、下眼睑2个特征点向量：

$S_2=(x_{Eup}^1,y_{Eup}^1,x_{Eup}^2,y_{Eup}^2,...,x_{Eup}^{20},y_{Eup}^{20}),$

$S_3=(x_{Edown}^1,y_{Edown}^1,x_{Edown}^2,y_{Edown}^2,...,x_{Edown}^{20},y_{Edown}^{20}).$

获得上眼睑和下眼睑的曲率均值然后为了更准确地获得眼睛睁开大小的变化，计算上眼睑和下眼睑对应的18个特征点的垂直方向上的距离及其平均值

${\stackrel{\‾}{\mathrm{\κ}}}_{Eup}^{netr}=\underset{i=1}{\overset{18}{\Σ}}\left(k_B^i\right),$

${\stackrel{\‾}{\mathrm{\κ}}}_{Edown}^{netr}=\underset{i=1}{\overset{18}{\Σ}}\left(k_B^i\right),$

$d_E^{netr}=\underset{i=2}{\overset{19}{\Σ}}(y_{Edown}^i-y_{Eup}^{19-i+2}).$

鼻子

对于鼻子我们同样选取了20个特征点构成特征点向量：

$S_4=(x_N^1,y_N^1,x_N^2,y_N^2,...,x_N^{20},y_N^{20}).$

根据训练过程中选取点的顺序及鼻子的特征，针对第7个特征点和第14个特征点水平方向上的距离进行计算，第7个特征点和第14个特征点均是定位在左右鼻孔的左侧点和右侧点，得到

$d_N^{netr}=x_N^{14}-x_N^7.$

嘴巴

和眼睛部分的特征点选取及计算相似，对于嘴巴部分，上嘴唇和下嘴唇分别选取20个特征点构成两个特征点向量：

$S_5=(x_{Mup}^1,y_{Mup}^1,x_{Mup}^2,y_{Mup}^2,...,x_{Mup}^{20},y_{Mup}^{20}),$

$S_6=(x_{Mdown}^1,y_{Mdown}^1,x_{Mdown}^2,y_{Mdown}^2,...,x_{Mdown}^{20},y_{Mdown}^{20}).$

对上嘴唇和下嘴唇分别进行曲率计算，得到上嘴唇和下嘴唇的曲率均值为

计算上嘴唇和下嘴唇对应的18个特征点垂直方向上的距离及平均值以及下嘴唇的周长

${\stackrel{\‾}{\mathrm{\κ}}}_{Mup}^{netr}=\underset{i=1}{\overset{18}{\Σ}}\left(k_B^i\right),$

${\stackrel{\‾}{\mathrm{\κ}}}_{Mdown}^{netr}=\underset{i=1}{\overset{18}{\Σ}}\left(k_B^i\right),$

$d_M^{netr}=\underset{i=2}{\overset{19}{\Σ}}(y_{Mdown}^i-y_{Mup}^{19-i+2}),$

$p_M^{netr}=\underset{i=2}{\overset{20}{\Σ}}(x_{Mdown}^i-x_{Mdown}^{i-1}).$

进一步地，基于各基本表情的数值约束条件建立人脸表情的数学模型为：

T＝α₁T₁+α₂T₂+α₃T₃+α₄T₄+α₅T₅+α₆T₆+α₇T₇.

其中α₁,α₂,α₃,α₄,α₅,α₆,α₇为数学模型中的权值，所述参数分别为0.6，0.35，0.15，0.1，0.05，0.05，0.05；

T₁,T₂,T₃,T₄,T₅,T₆,T₇为表情识别数据约束条件，其中T₁,T₄为判断惊讶表情的条件，T₂为判断高兴表情的条件，T₃为判断厌恶、悲伤和生气表情的条件。

进一步地，基于各表情的数值约束条件建立人脸表情的数学模型为：

惊讶表情的数学模型为：

T_surp＝α₁T₄+α₂T₇+α₃T₈+α₄T₃+α₅(1-T₉),

其中α₁,α₂,α₃,α₄,α₅分别为0.2，0.2，0.2，0.1，0.1。

高兴表情的数学模型为：

T_happ＝α₁T₉+α₂T₅+α₃(1-T₆)+α₄(1-T₄),

其中α₁,α₂,α₃,α₄分别为0.3，0.2，0.2，0.1。

厌恶表情的数学模型为：

T_disg＝α₁(1-T₃)+α₂(1-T₆)+α₃T₄+α₄T₇+α₅T₈,

其中α₁,α₂,α₃,α₄,α₅分别为0.3，0.3，0.2，0.1，0.1；

害怕表情的数学模型为：

针对各人脸的害怕表情数据约束，总结数学模型如式：

T_fear＝α₁T₆+α₂T₈+α₃T₉,

其中α₁,α₂,α₃分别为0.3，0.1，0.1；

悲伤表情的数学模型为：

针对各人脸的悲伤表情数据约束，总结数学模型如式：

T_sad＝α₁(1-T₁)+α₂(1-T₄),

其中α1,α2分别为0.2，0.1；

生气表情的数学模型为：

T_angry＝α₁(1-T₃)+α₂T₅+α₃(1-T₂)+α₄(1-T₄),

其中α₁,α₂,α₃,α₄分别为0.3，0.2，0.1，0.1。

特别地，所述方法还包括对所述特征点进行平滑运算的步骤，其中所述平滑运算公式为：

$p^{\′}=\left\{\begin{array}{c}0.75p\left(1\right)+0.25\left(2\right),i=1\\ 0.25(i-1)+0.5\left(i\right)+0.25(i+1),1\≤i\≤n\\ 0.75p\left(n\right)+0.25(n-1),i=n\end{array}\right.$

其中，其中n为曲线终点。

优选地，中性表情体现在眉毛、眼睛、鼻子和嘴巴各部分的几何特征进行数值计算的结果由对所有参与计算的中性表情的训练图像的数值计算取平 均值得到的。

借由上述方案，本发明至少具有以下优点：

本发明首先通过主动形状模型算法实现特征点定位，然后从人脸的器官形状变化及相对位置的改变出发，计算不同表情下的所有特征点的曲率及相对位置等几何特征，最后通过获得的数据信息构建数学模型，利用该模型实现表情识别。

本发明所提出的新算法只需要处理人脸118个特征点的数据信息，具有非常明显的计算成本优势，可以满足系统实时处理的需求。在日本ART女性人脸表情数据库(JAFFE)上进行的仿真实验验证了本文算法的有效性。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。

附图说明

图1是本发明具体实施例中性、惊讶表情左眉毛曲率值比较；

图2是本发明具体实施例中性、惊讶表情左眉毛—左眼睛垂直方向距离比较；

图3是本发明具体实施例中性、惊讶表情左上眼睑曲率值比较；

图4是本发明具体实施例中性、惊讶表情左下眼睑曲率值比较；

图5是本发明具体实施例中性、惊讶表情左上下眼睑垂直方向距离比较；

图6是本发明具体实施例中性、惊讶表情上嘴唇曲率比较；

图7是本发明具体实施例中性、惊讶表情下嘴唇曲率值比较；

图8是本发明具体实施例中性、惊讶表情上下嘴唇垂直方向距离比较。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

主动形状模型(ASM)算法，也称为主动轮廓模型(Active Contour Models,ACM)。该算法不同于其他算法，它第一次实现了主动性，因为其主要是通过迭代使得能量函数达到最小化，因此表现出了主动的特性。

ASM算法是针对每一个特征点的局部纹理进行的纹理建模，在搜索过程中通过对训练样本的局部纹理进行匹配来定位特征点，而AAM算法是将形状和纹理相融合，统一起来建立外观模型，最后搜索时通过比较当前模型和输入模型之间的差别来进行匹配，该过程主要是通过一个线性预测模型不断更新调整参数来实现。ASM算法相对来说，运算速度更快，对单个特征点的定位精度高。因此本文主要通过ASM算法实现特征点信息提取。

主成分分析方法

ASM算法中，主要通过主成分分析(Principal Component Analysis，PCA)[34]方法进行数据降维，并且利用该方法提取人脸特征主成分形成特征脸等。

PCA方法[34]是通过正交变换实现数据降维的一种统计学方法，该方法通过正交变换将一组可能线性相关的向量转换成一组线性无关的向量，并称该线性无关的向量为主成分，并且使得第一主成分对应最大的方差，第二主成分对应第二大方差，依次类推，同时要保证所有的主成分之间是相互正交的。主成分分析方法主要是保留低阶主成分而忽略高阶主成分，因为一般数据的重要信息存放在低阶成分中。因此，主成分向量的数量一般会小于或等于初始向量数。

下面针对n个向量数据的计算过程详细介绍该算法。

计算向量平均值：

$\stackrel{\‾}{X}=\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}{X}_i,---(2-1)$

其中向量X_i均是m维数据且m<n。

1.计算方差： 

$C=\frac{1}{n}\underset{i=1}{\overset{n}{\&Sigma;}}(X_i-\stackrel{\&OverBar;}{X}){(X_i-\stackrel{\&OverBar;}{X})}^T,---(2-2)$

同时计算该方差矩阵的特征向量P和特征值λ。由于特征值很小时，对于整体方差的贡献比较有限，可以只选取前t个特征值来实现特征降维。

2.下面对初始向量进行近似估计：

$X\&ap;\stackrel{\&OverBar;}{X}+P^{\&prime;}b,---(2-3)$

其中P'＝P(1,2,...,t)，b为设置的权值参数。

3.对于参数b的取值可以如下获得：

$b=P^{\&prime;T}(X-\stackrel{\&OverBar;}{X}).---(2-4)$

4.参数t的确定。参数t决定的是选取的特征向量的个数，选取的数目过少时，

可能不能充分获得所需要的关键信息，使得整个算法的准确率降低；如果选取的数目过少，那么保留的特征向量数目太多，对数据的处理依旧很复杂，难以实现数据的降维和运算量的减少。这里根据特定的计算方法，获得了一个一般通用的特征值数目，即取特征向量及特征值的前98％，但要注意将获得的特征向量按照特征值从大到小的顺序排列。

以上就是主成分分析方法的过程，通过公式(2-3)可以知道，任何一个原始向量数据都可以通过平均向量和特征向量的线性表示之和来近似代替。

主动形状模型

主动形状模型主要包含两个阶段，第一步创建形状模型，首先要特征点训练，即对训练图像手动标注特征点，构成一组训练样本的特征点向量，然后通过仿射变换对形状向量进行对齐，最后利用主成分分析方法求解出主要的形状参数。第二步建立局部纹理模型，统计每一个特征点的局部纹理特征，在特征点搜索过程中利用该模型进行匹配。

点分布模型

在ASM算法中，首先需要通过一组最能体现目标对象特征的关键点来表示目标对象，这些点集即被称为点分布模型。在该阶段，通过手工标定特征点的方法来实现，而且特征点的选取对于人脸表情识别的整个过程相当关键。对于关键点的选取，一般是在比较能表现目标轮廓特征的地方，比如：角点、曲率大的点等，最后构成目标轮廓的特征点集合，可表示为2×n维向量：

$a_i=(x_1^i,y_1^i,x_2^i,y_2^i,...,x_k^i,y_k^i),i=1,2,...,n,---(2-5)$

其中n为预先定义的关键特征点的数目，表示第i个训练样本上第j个特征点，其中N为样本训练个数。

样本训练

在样本训练过程中，主要考虑的部位包括：眉毛，眼睛，鼻子和嘴巴。首先手动选取样本点数94个，分布情况如表2-2。另外，在选取特征点时应尽量使特征点均匀分布。

表2-2特征点分布情况

将获得的特征点构造特征向量，如公式(2-6)：

p.x＝(x₁,x₂,...,x₉₄),

p.y＝(y₁,y₂,...,y₉₄).   (2-6)

形状模型

获得点分布模型之后，利用Procrustes方法[60]对齐，去除旋转、平移等因素的影响。然后通过主成分分析方法计算出平均形状，得到全局形状模型。

Procrustes对齐

由于特征点的选取均是在图像的各自坐标下进行的，如果不对齐最终形成的会是一些散点图，那么后面对数据的处理将没有意义，所以需要通过本方法实现点分布模型的归一化或对齐。Procrustes Analysis[60]是进行形状对齐的典型方法，通过寻找最优的相似性变换T使得形状向量之间的Procrustes距离最小化，其中主要因子包括缩放因子s，旋转角度θ和坐标平移(t_x,t_y)。对齐是一个迭代实现的过程：

1)首先选取任一形状向量作为初始样本，使其它向量与之对齐；

2)对齐后的向量进行平均化和规格化，得到平均形状向量；

3)将所有向量对齐到平均形状向量；

4)不断重复过程2)，3)直到相邻平均形状向量的差值小于某一特定值。

对齐后的形状向量记为：

$X_i=(x_1^i,y_1^i,x_2^i,y_2^i,...,x_n^i,y_n^i),i=(1,2,...,N).---(2-7)$

构造形状模型

针对训练样本的形状向量，使用PCA方法进行降维并提取样本的“特征脸”。具体过程如下：

计算形状向量的平均形状：

$\stackrel{\&OverBar;}{X}=\frac{1}{N}\underset{i=1}{\overset{N}{\&Sigma;}}{X}_i.---(2-8)$

计算形状向量的协方差矩阵：

$S=\frac{1}{N-1}\underset{i=1}{\overset{N}{\&Sigma;}}(X_i-\stackrel{\&OverBar;}{X}){(X_i-\stackrel{\&OverBar;}{X})}^T.---(2-9)$

对协方差矩阵S求其特征值及特征向量。因为较大的特征值对应的特征向量含有的形状特征信息比较多，所以特征值按照从大到小的顺序排列并取其对应的特征向量。其特征向量P_k和特征值λ_k(λ_k≥λ_k+1,λ_k≠0,k＝1,2,...,2n.)满足下式：

SP_k＝λ_kP_k,   (2-10) 

P^TP＝1.   (2-11)

由于需要选取较大特征值所对应的特征向量，所以取前t个特征值[λ₁,λ₂,...,λ_t]，使得：

$\frac{{\mathrm{\&Sigma;}}_{i=1}^t{\mathrm{\&lambda;}}_i}{{\mathrm{\&Sigma;}}_{j=1}^{2n}{\mathrm{\&lambda;}}_j}\&GreaterEqual;\mathrm{\&eta;},---(2-12)$

其中，η,为所选特征占总特征的比例，一般为95％～98％。取相应的特征向量记为P＝[p₁,p₂,...,p_t]，最终获得全局形状模型为：

$X=\stackrel{\&OverBar;}{X}+Pb,---(2-13)$

其中，表示平均形状，P为主成分特征向量构成的变换矩阵，b为形状向量的形状参数，可由公式(2-14)求出：

$b=P^T(X-\stackrel{\&OverBar;}{X}),---(2-14)$

为了在应用模型的过程中，获得正常的人脸形状，需要控制参数b在一定范围内，由参数的概率分布模型，得出其变化范围与前t个特征值之 间的关系如公式(2-15)：

$-3\sqrt{{\mathrm{\&lambda;}}_i}<b_i<3\sqrt{{\mathrm{\&lambda;}}_i}.---(2-15)$

局部纹理模型

局部纹理模型[61]就是针对图像中每个特征点的局部特征进行统计分析，即在垂直于每个轮廓点的方向上进行灰度邻域取样。局部纹理模型通过平均纹理和协方差矩阵两个参数来描述，在特征点搜索时不断优化特征点位置。

局部纹理模型在搜索过程中，首先是查找每个特征点特定范围内的像素点信息(局部灰度邻域)，确定与局部纹理模型更匹配的新的特征点位置，用新特征点来取代原特征点，然后对新特征点进行相似性变换，再利用所创建的形状模型进行特征脸的形状约束，之后迭代进行纹理匹配。持续该过程直到迭代次数达到阈值或者是形状匹配误差达到最小。

1.获得局部纹理向量

对特征点建立局部纹理模型。在第i个训练图像上的第j个特征点的两侧，沿着垂直于该点的法向量方向上分别选择m个像素以构成一个长度为2m+1的向量，对该向量所包含的像素的灰度值求导得到一个局部纹理，对训练集中其他训练样本图像上的第j个特征点进行同样的操作，便可得到第j个特征点的n个局部纹理

2.构造局部纹理模型

同构造全局形状模型类似，构造纹理模型过程也需要求纹理均值和方差，其中n个局部纹理的均值：

${\stackrel{\&OverBar;}{g}}_j=\frac{1}{n}\underset{i=1}{\overset{n}{\&Sigma;}}{g}_j^i,---(2-16)$

以及方差：

$S_j=\frac{1}{n}\underset{i=1}{\overset{n}{\&Sigma;}}{(g_j^i-{\stackrel{\&OverBar;}{g}}_j)}^T(g_j^i-{\stackrel{\&OverBar;}{g}}_j).---(2-17)$

这样就得到了第j个特征点的局部特征。对其他所有的特征点进行相同的操作，就可得到每个特征点的局部特征。这样，一个特征点的新的特征g与其训练好的局部特征之间的相似性度量就可以用马氏距离来表示：

$f_{sim}=(g-{\stackrel{\&OverBar;}{g}}_j)S_j^{-1}{(g-{\stackrel{\&OverBar;}{g}}_j)}^T.---(2-18)$

单分辨率搜索策略

ASM算法应用过程，就是利用全局形状模型和局部纹理模型在人脸图像上进行特征点定位。最初Cootes等人提出的是单分辨率的搜索策略，其后又在单分辨率的搜索策略基础上提出了改进策略，即基于图像金字塔的多分辨率搜索方法。

单分辨率搜索策略就是直接在原始图像上应用ASM模型进行定位，具体过程将如下详细介绍。

1.手动选择初始位置

ASM算法中初始形状的位置是很重要的，需要选择合理的初始位置，尽量将平均形状置于目标人脸的形状附近，否则容易陷入局部最优解。那么，在得到一个人脸各器官的初始形状之后，首先对平均形状进行仿射变换得到一个较好的初始模型：

$X=M(s,\mathrm{\&theta;})\stackrel{\&OverBar;}{X}+t_c,---(2-19)$

上面的式子表示对平均形状以其中心逆时针旋转θ缩放s，然后再平移t_c得 到初始形状模型X。

2.计算每个特征点的新位置

在检测过程中，为了达到更高的准确性，我们需要对轮廓点的位置进行迭代调整和优化。此过程就用到了局部纹理模型，通过统计的纹理信息和对特征点建立的关联矩阵来不断优化特征点的位置信息，直到迭代次数达到指定阈值为止。对待定位图像搜索目标形状[61]，通过不断进行仿射变换和调整参数b，使最终形状中的特征点和相对应的真正特征点最为接近。

对于模型中的第i个特征点[61]，在其灰度邻域附近以其为中心两边各选择k(k>m)个像素，并对这k个像素的灰度值进行求导和归一化，从而得到一个局部特征，然后对这些子局部特征与当前特征点的局部特征之间进行马氏距离计算，如果马氏距离最小，那么选取那个子局部特征的中心为当前特征点的最佳候选点，这样就会产生一个位移。为所有的特征点找到其新位置，并把它们的位移组成一个向量：

X'＝X+dX,

dX＝(dX₁,dX₂,...,dX_h).   (2-20) 

通过仿射变换和调整参数，使得新形状不断调整趋近于目标图像的人脸形状，同时也将模型的形变约束在全局形状模型的范围内。对新形状进行仿射变换后便可以得到仿射变换参数的变化量同时由式(2-19)得：

$M\left(s\right(1+ds),(\mathrm{\&theta;}+d\mathrm{\&theta;}\left)\right)\&lsqb;\stackrel{\&OverBar;}{X}+Pb+dX\&rsqb;+(t_c+{\mathrm{dt}}_c)=(X+dX).---(2-21)$

用式(2-19)表示X来代换上式中的X，因此上式又可以如下表示：

$M\left(s\right(1+ds),(\mathrm{\&theta;}+d\mathrm{\&theta;}\left)\right)\&lsqb;\stackrel{\&OverBar;}{X}+Pb+dX\&rsqb;=M(s,\mathrm{\&theta;})\stackrel{\&OverBar;}{X}+t_c-(t_c+{\mathrm{dt}}_c).---(2-22)$

结合式(2-13)可得：

db＝P^TdX.   (2-23)

在匹配过程中，通过更新参数检查新形状是否满足全局形状模型约束，需要对仿射变换参数和b做如下更新：

t_c＝t_c+w_tdt_c,θ＝θ+w_θdθ,s＝s(1+w_sds),b＝b+w_bdb.   (2-24) 

上面的式子中w_t,w_θ,w_s,w_b是用于控制参数变化的权值。当仿射变换的参数和b的变化不是很大或者迭代次数达到指定的阈值就结束该优化过程，否则将不断转入模型搜索应用的整个过程。

多分辨率搜索策略

多分辨率搜索策略，就是对原始图像进行高斯滤波构建高斯图像金字塔，ASM算法对图像金字塔中的每层图像进行操作。首先从粗糙的图像定位开始，之后在精确的图像中不断改善特征点位置。高斯图像金字塔，是对原图像进行高斯低通滤波获取，以原始图像为金字塔的最底层，然后逐层以上一层的一半为步长进行抽样。本文使用的是多分辨率搜索策略，选取的图像金字塔层数为2层。

本文使用的多分辨率搜索策略，与上面介绍的单分辨率搜索策略基本相似，但是有两点不同：首先，多分辨率搜索策略在建立局部纹理模型时，需要对所有样本图像建立高斯图像金字塔，同时也要对每一个特征点在金字塔的每一层图像中建立相应的局部纹理模型，相对单分辨率搜索策略则只需要在原始样本图像上进行局部纹理建模即可；其次，就是在模型应用的过程中，搜索过程与单分辨率的搜索过程基本相同，只是多分辨率搜索策略需要在图像的每一层上进行搜索，并且是从高层开始向低层搜索。

日本ART女性人脸表情数据库(JAFFE)，主要包括10个女性的7种不同 表情图像，本章选取其中一位人脸的7种表情介绍建模相关的数值定义及约束条件，依次介绍中性、惊讶、高兴、厌恶、害怕、生气、悲伤7种基本表情的建模思想。

表情分类

人脸是人类表达情感的主要体现之处，通过对人脸的研究可以了解到人内心情感及心理状态，所以近些年来对于人脸表情识别的研究越来越受到广大学者的关注。表情识别是涉及到心理学、生理学、图像处理、模式识别等多个学科的复杂研究领域，但目前来说该研究课题已经取得了不错的研究成果。

表3-1人脸表情运动特征规律

表情	眉毛	眼睛	鼻子	嘴巴
					惊讶	眉毛抬起，变高变弯	眼睛变大	参考	嘴巴张大
高兴	参考	眼睛变小	鼻翼变宽	嘴巴张大或嘴角上扬
					厌恶	眉毛皱起	眼睛变小	鼻子皱起	嘴巴张大或者撇嘴
害怕	眉毛抬起并皱在一起	眼睛变大	参考	嘴巴张大
					悲伤	眉毛内角皱在一起并抬高	眼睛变小	参考	嘴巴抿嘴或者撇嘴
生气	眉毛皱在一起，压低	眼睛变大	鼻翼变宽	嘴巴张大或者撅嘴

最早由心理学家Ekman[3]对表情进行了基本的分类，包括：中性、惊讶、高兴、厌恶、害怕、悲伤、生气7种基本表情，本发明也将主要对这7种基本表情进行研究。为了区分本发明将惊讶、高兴、厌恶、害怕、悲伤、生气称为基本表情，其中每种表情都会引起人脸各器官变化，主要变化器官包括眼睛、眉毛、鼻子和嘴巴，当然也包括脸部各肌肉及纹理的变化，但本发明将只考虑各表情体现在眉毛、眼睛、鼻子和嘴巴的形状及相对位置等几何特征变化，并通过曲率及相对坐标关系来描述几何特征变化。

针对表3-1表情脸运动特征，我们可以分析得出各基本表情的曲率等其它数据变化规律，并且根据数据约束条件建立表情识别的数学模型。

数据约束条件

提取特征点之后，需要对其做平滑运算和曲率值等的数值计算。然后对获得的7种基本表情的数据信息进行分析，通过将其它6种基本表情数据与中性表情数据比较实现数据约束。

数据定义

对所有特征点按照公式(3-1)进行平滑运算，对相邻特征点的曲率运算过程如公式(3-2)，获得曲率值kappa。

$p^{\&prime;}=\left\{\begin{array}{c}0.75p\left(1\right)+0.25\left(2\right),i=1\\ 0.25(i-1)+0.5\left(i\right)+0.25(i+1),1\&le;i\&le;n\\ 0.75p\left(n\right)+0.25(n-1),i=n\end{array}\right.---(3-1)$

其中n为曲线终点。

$\mathrm{\&Delta;}x\left(i\right)=\frac{x(i+1)-x(i-1)}{2},$ $\mathrm{\&Delta;}y\left(i\right)=\frac{y(i+1)-y(i-1)}{2},$

Δ²x(i)＝x(i+1)+2*x(i)+x(i-1),

Δ²y(i)＝y(i+1)+2*y(i)+y(i-1),

$kappa(i-1)=\frac{\mathrm{\&Delta;}x\left(i\right)*{\mathrm{\&Delta;}}^{2}y\left(i\right)-\mathrm{\&Delta;}y\left(i\right)*{\mathrm{\&Delta;}}^{2}x\left(i\right)}{{(\mathrm{\&Delta;}x{\left(i\right)}^2+\mathrm{\&Delta;}y{\left(i\right)}^2)}^{1.5}}.---(3-2)$

依据表3-1人脸表情运动特征所讲述的各表情脸的运动特征及人脸对称性，本发明主要对左眉毛、左眼睛及嘴巴进行曲率计算，得到数据 并通过曲率值大小比较来判断该部分的几何特 征变化；计算左眉毛内外角点的垂直方向坐标差，得到数据d_B判断眉毛上扬、皱起等变化；计算左眼睛对应上下眼睑垂直方向坐标差，得到数据d_E判断眼睛睁开的大小变化；计算嘴巴上下嘴唇对应垂直方向坐标差，得到数据d_M判断嘴巴张开的大小变化；计算嘴巴下嘴唇对应水平方向坐标差之和p_M，判断嘴巴的周长变化。

1)眉毛、眼睛部分

可以通过计算眉毛的曲率来判断眉毛是否发生弯曲等形变，从而得到眉毛曲率数据约束条件。另外，可以通过眉毛内点与外点在垂直方向上的距离d_B来判断眉毛形状的改变。对于眼睛部分同样如此，分别对上眼睑和下眼睑进行曲率计算得到来判断眼睛是否发生弯曲等形变。对于眼睛睁开的大小变化，我们可以通过上下眼睑对应点在垂直方向上的距离d_E来判断。综合以上内容眉毛眼睛部分的数据定义如表3-2。

表3-2眉毛、眼睛数据定义

1)鼻子、嘴巴部分

大多数表情的变化不是很明显，所以这里我们选取左右鼻孔的左侧点、右侧点进行水平方向上的距离差值计算，得到d_N判断鼻子是否变宽。和眼睛的计算相似，嘴巴部分也是通过计算上嘴唇、下嘴唇的曲率来判断嘴巴的弯曲等形变，同时通过上下嘴唇对应点的垂直方向上的距离差d_M来判断嘴唇张开大小的变化，另外计算下嘴唇相邻轮廓点之间的x坐标差值之和p_M来度量嘴巴的长度变化。综合以上内容鼻子嘴巴部分数据定义如表3-3。

表3-3鼻子、嘴巴数据定义

综上所述，我们得到如表3-4数据定义，然后依据此定义对各基本表情进行数学运算获得数值约束条件。

表3-4数据定义

中性表情

特征点定位之后，依次存取左眉毛、左眼睛(左上眼睑，左下眼睑)、鼻子和嘴巴(上嘴唇，下嘴唇)的特征向量为S₁,S₂,S₃,S₄,S₅,S₆。然后依据公式(3-1)和(3-2)对所有特征点进行特征点平滑和曲率计算，另外依据数据定义对各器官的几何特征变化进行其它数值计算，下面其它基本表情运算过程类似不再详细赘述。

首先介绍中性表情的数据计算过程，，其数值定义如表3-5。

表3-5中性表情数据定义

眉毛

左眉毛的20个特征点构成向量S₁:

$S_1=(x_B^1,y_B^1,x_B^2,y_B^2,...,x_B^{20},y_B^{20}),---(3-3)$

除去起始点和终点，依据公式(3-2)可以计算获得18个曲率值及眉毛曲率均值

$K=(k_B^1,k_B^2,...,k_B^{18}),---(3-4)$

${\stackrel{\&OverBar;}{\mathrm{\&kappa;}}}_B^{netr}=\underset{i=1}{\overset{18}{\&Sigma;}}\left(k_B^i\right),---(3-5)$

同时计算眉毛内点与外点垂直方向上的距离

$d_B^{netr}=y_B^{20}-y_B^1,---(3-6)$

计算眉毛与眼睛垂直方向上的距离

$d_{BE}^{netr}=\frac{1}{20}\underset{i=1}{\overset{20}{\&Sigma;}}\&lsqb;S_2\left(i\right)-S_1\left(i\right)\&rsqb;.---(3-7)$

眼睛

针对上下眼睑各20个特征点进行计算，即讨论上眼睑、下眼睑2个特征点向量：

$S_2=(x_{Eup}^1,y_{Eup}^1,x_{Eup}^2,y_{Eup}^2,...,x_{Eup}^{20},y_{Eup}^{20}),$

$S_3=(x_{Edown}^1,y_{Edown}^1,x_{Edown}^2,y_{Edown}^2,...,x_{Edown}^{20},y_{Edown}^{20}).---(3-8)$

获得上眼睑和下眼睑的曲率均值然后为了更准确地获得眼睛睁开大小的变化，计算上眼睑和下眼睑对应的18个特征点的垂直方向上的距离及其平均值

${\stackrel{\&OverBar;}{\mathrm{\&kappa;}}}_{Eup}^{netr}=\underset{i=1}{\overset{18}{\&Sigma;}}\left(k_B^i\right),---(3-9)$

${\stackrel{\&OverBar;}{\mathrm{\&kappa;}}}_{Edown}^{netr}=\underset{i=1}{\overset{18}{\&Sigma;}}\left(k_B^i\right),---(3-10)$

$d_E^{netr}=\underset{i=2}{\overset{19}{\&Sigma;}}(y_{Edown}^i-y_{Eup}^{19-i+2}).---(3-11)$

鼻子

对于鼻子我们同样选取了20个特征点构成特征点向量：

$S_4=(x_N^1,y_N^1,x_N^2,y_N^2,...,x_N^{20},y_N^{20}).---(3-12)$

根据训练过程中选取点的顺序及鼻子的特征，这里针对第7个特征点和第14个特征点水平方向上的距离进行计算，第7个特征点和第14个特征点均是定位在左右鼻孔的左侧点和右侧点，得到

$d_N^{netr}=x_N^{14}-x_N^7.---(3-13)$

嘴巴

和眼睛部分的特征点选取及计算相似，对于嘴巴部分，上嘴唇和下嘴唇分别选取20个特征点构成两个特征点向量：

$S_5=(x_{Mup}^1,y_{Mup}^1,x_{Mup}^2,y_{Mup}^2,...,x_{Mup}^{20},y_{Mup}^{20}),$

$S_6=(x_{Mdown}^1,y_{Mdown}^1,x_{Mdown}^2,y_{Mdown}^2,...,x_{Mdown}^{20},y_{Mdown}^{20}).---(3-14)$

对上嘴唇和下嘴唇分别进行曲率计算，得到上嘴唇和下嘴唇的曲率均值为然后为了更准确地获得嘴巴张开大小的变化，计算上嘴唇和下嘴唇对应的18个特征点垂直方向上的距离及平均值以及下嘴唇的周长 

${\stackrel{\&OverBar;}{\mathrm{\&kappa;}}}_{Mup}^{netr}=\underset{i=1}{\overset{18}{\&Sigma;}}\left(k_B^i\right),---(3-15)$

${\stackrel{\&OverBar;}{\mathrm{\&kappa;}}}_{Mdown}^{netr}=\underset{i=1}{\overset{18}{\&Sigma;}}\left(k_B^i\right),---(3-16)$

$d_M^{netr}=\underset{i=2}{\overset{19}{\&Sigma;}}(y_{Mdown}^i-y_{Mup}^{19-i+2}),$

$p_M^{netr}=\underset{i=2}{\overset{20}{\&Sigma;}}(x_{Mdown}^i-x_{Mdown}^{i-1}).---(3-17)$

另外，因为我们的表情识别是基于与中性表情进行对比实现的，而且JAFFE人脸表情数据库中的人脸图像对于每个女性均有3幅中性表情图像，所以这里为了提高对比的准确性，我们对每个人脸的3幅中性表情图像的表情数据进行平均值计算。

惊讶表情

对比中性、惊讶表情人脸图像，参考中性表情的计算过程，我们同样获得惊讶表情的各数据定义如表3-6。

表3-6惊讶表情数据定义

依据惊讶表情脸的运动特征，眉毛变高变弯，即相对中性表情来讲惊讶时眉毛曲率变大，眉毛和眼睛的距离变大。所以得到惊讶眉毛的表情数值约束条件如表3-7(所有参与比较的数据均为取绝对值之后，以下不再赘述)。

表3-7惊讶表情眉毛数值约束

依据惊讶表情脸的运动特征，眼睛应该相对中性表情时变大，因此转换成数值约束条件如表3-8。

表3-8惊讶表情眼睛数值约束

鼻子部分

依据表情脸的运动特征，对于惊讶表情鼻子的规律相对不明显，因此对于鼻子的数值约束如表3-9。

表3-9惊讶表情鼻子数值约束

嘴巴部分

依据表情脸的运动特征，惊讶表情嘴巴张开相对变大，因此得到数值约束条件如表3-10。

表3-10惊讶表情嘴巴数值约束

综合以上惊讶表情相对中性表情的数据约束条件，总结如表3-11。

表3-11惊讶表情数值约束

高兴表情

对比中性、高兴表情人脸图像。参考中性表情数据的计算过程，高兴表情数值定义如表3-12。

表3-12高兴表情数据定义

眉毛、眼睛部分

依据表情脸的运动特征，高兴表情眉毛变化相对不明显，因此其数值约束条件如表3-13。

表3-13高兴表情眉毛数值约束

依据表情脸的运动特征，对于眼睛部分，高兴时眼睛会相对变小，因此其数值约束如表3-14。

表3-14高兴表情眼睛数值约束

鼻子部分

依据表情脸的运动特征，对于鼻子部分，高兴时相对鼻子会变宽，，因此其数值约束条件如表3-15。

表3-15高兴表情鼻子数值约束

嘴巴部分

依据表情脸的运动特征，对于嘴巴部分，高兴时嘴角上扬、嘴巴张开，因此其数值约束条件如表3-16。

表3-16高兴表情眼睛数值约束

综合以上高兴表情相对中性表情的数据约束条件，总结如表3-17。

表3-17高兴表情数值约束

厌恶表情

对比中性、厌恶表情人脸图像。参考中性表情的数据计算过程，厌恶表情的数据定义如表3-18。

表3-18厌恶表情数据定义

眉毛、眼睛部分

依据表情脸的运动特征，厌恶表情的眉毛会皱起，即眉毛变平直，因此其眉毛数值约束条件如表3-19。

表3-19厌恶表情眉毛数值约束

依据表情脸的运动特征，对于眼睛部分，厌恶表情眼睛相对会变小，因此其数值约束条件如表3-20。

表3-20厌恶表情眼睛数值约束

鼻子部分

依据表情脸的运动特征，对于鼻子部分，厌恶表情鼻子相对会变宽，因此其数值约束条件如表3-21。

表3-21厌恶表情鼻子数值约束

嘴巴部分

依据表情脸的运动特征，对于嘴巴部分，厌恶表情嘴巴相对张开，因此其数值约束条件如表3-22。

表3-22厌恶表情嘴巴数值约束

综合以上厌恶表情相对中性表情的数值约束条件，总结如表3-23。

表3-23厌恶表情数值约束

悲伤表情

对比中性、悲伤表情人脸图像。参考中性表情的计算过程，悲伤表情的数据定义如表3-24。

表3-24悲伤表情数据定义

眉毛、眼睛部分

依据表情脸的运动特征，悲伤表情眉毛变平直且有些上扬，因此其眉毛数值约束条件如表3-25。

表3-25悲伤表情眉毛数值约束

依据表情脸的运动特征，对于眼睛部分，悲伤表情眼睛相对变小，因此其数值约束条件如表3-26。

表3-26悲伤表情眼睛数值约束

鼻子部分

依据表情脸的运动特征，对于鼻子部分，悲伤表情鼻子相对变化不明显，因此其数值约束条件如表3-27。

表3-27悲伤表情鼻子数值约束

嘴巴部分

依据表情脸的运动特征，对于嘴巴部分，悲伤表情相对抿嘴，因此其数值约束条件如表3-28。

表3-28悲伤表情嘴巴数值约束

综合以上悲伤表情相对中性表情的数值约束条件，总结如表3-29。

表3-29悲伤表情数值约束

害怕表情

对比中性、害怕表情人脸图像。参考中性表情的计算过程，害怕表情的数据定义如表3-30。

表3-30害怕表情数据定义

眉毛、眼睛部分

依据表情脸的运动特征，害怕表情眉毛会上扬，因此其数值约束条件如表3-31。

表3-31害怕表情眉毛数值约束

依据表情脸的运动特征，对于眼睛部分，害怕表情眼睛相对变大，因此其数值约束条件如表3-32。

表3-32害怕表情眼睛数值约束

鼻子部分

依据表情脸的运动特征，对于鼻子部分，害怕表情鼻子相对变化不明显，因此其数值约束条件如表3-33。

表3-33害怕表情鼻子数值约束

嘴巴部分

依据表情脸的运动特征，对于嘴巴部分，害怕表情嘴巴相对张开，因此其数值约束条件如表3-34。

表3-34害怕表情嘴巴数值约束

综合以上害怕表情相对中性表情的数值约束条件，总结如表3-35。

表3-35害怕表情数值约束

生气表情

对比中性、生气表情人脸图像。参考中性表情的计算过程，生气表情的数据定义如表3-36。

表3-36生气表情数据定义

眉毛、眼睛部分

依据表情脸的运动特征，生气表情眉毛相对皱起，因此其数值约束条件如表3-37。

表3-37生气表情眉毛数值约束

依据表情脸的运动特征，对于眼睛部分，生气表情眼睛相对变大，因此其数值约束条件如表3-38。

表3-38生气表情眼睛数值约束

鼻子部分

依据表情脸的运动特征，对于鼻子部分，生气表情鼻子的变宽，因此其数值约束如表3-39。

表3-39生气表情鼻子数值约束

嘴巴部分

依据表情脸的运动特征，对于嘴巴部分，生气表情嘴巴张开大小变化不明显，但曲率变化相对明显，其数值约束条件如表3-40。

表3-40生气表情嘴巴数值约束

综合以上害怕表情相对中性表情的数值约束条件，总结如表3-41。

表3-41生气表情数值约束

基本表情数据约束条件

根据以上对人脸表情图像的7种基本表情的计算，得到6种基本表情相对中性表情的数据约束条件，具体如表3-42。

表3-42六种基本表情数据约束

针对JAFFE数据库中的人脸图像进行特征点选取。JAFFE人脸表情图像库中共有10位女性的7种不同表情图像，每种表情有2～4幅图像，共213幅。我们在实验过程中选取每位女性的7种不同表情的图像各一幅进行训练，即训练图像70幅。

特征点定位

(1)对70幅人脸图像进行训练，在每张图像上手动选取94个特征点，选取特征点位置及数目情况如表4-1所示。另外，将左眉毛、右眉毛、左眼睛上眼睑、左眼睛下眼睑、右眼睛上眼睑、右眼睛下眼睑、鼻子、上嘴唇、下嘴唇部分的特征点依次构成特征向量S₁,S₂,S₃,S₄,S₅,S₆,S₇,S₈,S₉。

表4-1人脸特征点训练数目

(2)获取特征向量之后，为了提高定位的准确性，需要对特征点进行线性插值运算以增加样本点数目。首先，使用插值函数interp对坐标数据信息进行5倍原采样频率值重新采样，然后利用interp1函数在选定特征点之间平均插入20个点。构成特征向量S′₁,S′₂,S′₃,S′₄,S′₅,S′₆,S′₇,S′₈,S′₉，各特征向量样本点数目如表4-2。

表4-2线性插值后所得特征向量

(3)对所有特征向量进行对齐，去除旋转、平移等因素的影响。

(4)特征向量对齐之后，构建形状模型。通过对特征向量进行PCA运算得到特征值、特征向量、平均形状Evalues,Evectors,x_mean。

[Evalues,Evectors,x_mean]＝PCA(x),   (4-1)

一般选取98％的特征向量来减少轮廓噪声，并对特征值设置参数限制，选取前t个特征向量和特征值(特征值按照从大到小排列)，获得全局统计形状模 型X。

P＝Evectors(1,2...,t),

$b=\sqrt{3}*Evalues(1,2,...,t),$

X＝x_mean+Pb.   (4-2)

(5)依据ASM算法构造局部纹理模型，得到第j个特征点的局部纹理模型

$\begin{array}{c}{\stackrel{\&OverBar;}{g}}_j=\frac{1}{N}\underset{i=1}{\overset{N}{\&Sigma;}}{g}_{ij},\\ S_j=\frac{1}{N}\underset{i=1}{\overset{N}{\&Sigma;}}{(g_{ij}-{\stackrel{\&OverBar;}{g}}_j)}^T(g_{ij}-{\stackrel{\&OverBar;}{g}}_j).\end{array}---(4-3)$

(6)应用ASM模型到数据库中各人脸图像上，本文是基于多分辨率的搜索策略，高斯图像金字塔层数为2层，对每一层进行特征点定位。其基本过程如下：

1)对平均形状进行旋转、平移等变换，获得初始形状，在目标图像上选取与其接近的位置确定初始形状的位置。

2)更新参数，不断优化目标图像的特征点定位。

3)重复上述过程，直到图像定位效果较好或者迭代次数达到阈值。

(7)ASM算法的特征点定位。

实验结果分析

利用经典ASM算法实现人脸的特征点定位，精度比较高，计算量相对较小。本文采用的JAFFE人脸表情数据库，共有10位女性的213幅人脸表情图，我们选取70幅图像为训练样本，对213幅图像进行特征点定位。

尽管人脸特征点定位近些年得到很大发展，但是并没有统一的评价标准对算法的定位结果进行比较。本文按照Rowley等人使用的评价标准对定位效 果进行判断，即特征点定位结果与手工标定位置误差小于4个像素，下面将依此分析实验结果。

从ASM算法的特征点定位准确度比较好，包括眉毛、眼睛、鼻子、嘴巴部位的定位效果基本符合评价标准。

表情计算技术实验

本部分将创建用于表情识别的数学模型，其中主要包括两个数学模型：模型一，提出一个统一的数学模型来对6种基本表情进行识别；模型二，分别对6种基本表情建立数学模型来实现表情识别。另外，结合人脸惊讶表情详细讲述表情计算的具体过程。最后通过数学模型实现对JAFFE人脸表情图像数据库各表情的识别。

数学模型

本部分将给出用于表情识别的两种数学模型，第一种模型是针对6种表情的统一模型，第二种数学模型是针对6种表情的独立数学模型。

由于人脸表情的复杂性及多样性，使得人脸表情的识别具有一定的挑战性。本部分的实验是针对JAFFE中的10个不同人脸的6种表情的2～3幅图像进行表情识别，表情体现在各器官上有很大的差异性，所以依据统计的数据库中人脸各表情数据规律，需要对第三章给出的数值约束条件进行调整，得到结果如表4-3。

表4-3调整后的数据约束

数学模型一

表4-4数学模型数据条件

统计分析各表情的数值变化规律，依据表4-4本部分给出针对6种基本表情的统一数学模型。依据数值约束条件提取出识别各表情的主要判断依据，并赋予不同的权值，给出如下的数学模型：

T＝α₁T₁+α₂T₂+α₃T₃+α₄T₄+α₅T₅+α₆T₆+α₇T₇.   (4-4) 

其中α₁,α₂,α₃,α₄,α₅,α₆,α₇为数学模型中的权值，这里参数设置分别为0.6，0.35，0.15，0.1，0.05，0.05，0.05。另外模型中的T₁,T₂,T₃,T₄,T₅,T₆,T₇条件是根据表4-3得出的表情识别数据约束条件，其中T₁,T₄为判断惊讶表情的主要条件，T₂为判断高兴表情的主要条件，T₃为判断厌恶、悲伤和生气表情的主要条件。

数学模型二

本部分将针对6种基本表情分别建立数学模型，判断待识别人脸表情是否满足某表情数学模型，从而扩展各表情的数值约束条件，实现该表情分类。对各表情数值模型约束条件规定如表4-5。

表4-5数学模型二数据条件

相较于模型一来说，模型二是针对6种基本表情分别建立数学模型，由于各表情的差异性，所以在结合各表情数据变化规律后给出符合各表情的数学模型，能够减少对表情识别的条件约束，从而实现提高部分表情识别率的目的。

惊讶表情

针对各人脸的惊讶表情数据约束，总结数学模型如式：

T_surp＝α₁T₄+α₂T₇+α₃T₈+α₄T₃+α₅(1-T₉),   (4-5) 

其中α₁,α₂,α₃,α₄,α₅分别为0.2，0.2，0.2，0.1，0.1。

高兴表情

针对各人脸的高兴表情数据约束，总结数学模型如式：

T_happ＝α₁T₉+α₂T₅+α₃(1-T₆)+α₄(1-T₄),   (4-6) 

其中α₁,α₂,α₃,α₄分别为0.3，0.2，0.2，0.1。

厌恶表情

针对各人脸的厌恶表情数据约束，总结数学模型如式：

T_disg＝α₁(1-T₃)+α₂(1-T₆)+α₃T₄+α₄T₇+α₅T₈,   (4-7) 

其中α₁,α₂,α₃,α₄,α₅分别为0.3，0.3，0.2，0.1，0.1。

害怕表情

针对各人脸的害怕表情数据约束，总结数学模型如式：

T_fear＝α₁T₆+α₂T₈+α₃T₉,   (4-8) 

其中α₁,α₂,α₃分别为0.3，0.1，0.1。

悲伤表情

针对各人脸的悲伤表情数据约束，总结数学模型如式：

T_sad＝α₁(1-T₁)+α₂(1-T₄),   (4-9) 

其中α₁,α₂分别为0.2，0.1。

1)生气表情

针对各人脸的生气表情数据约束，总结数学模型如式：

T_angry＝α₁(1-T₃)+α₂T₅+α₃(1-T₂)+α₄(1-T₄),   (4-10) 

其中α₁,α₂,α₃,α₄分别为0.3，0.2，0.1，0.1。

1.数值计算过程 

本部分我们将选取的一位女性的一幅中性表情图像和一幅惊讶表情图像进行详细的数值计算过程介绍。

1)眉毛、眼睛部分

对中性、惊讶表情图像的定位结果如。针对图中的眉毛和眼睛部分分别计算眉毛曲率计算结果如表4-6和图1，眉毛和眼睛的垂直方向距离计算结果如表4-7和图2。上眼睑曲率数值计算结果如表4-8和图3，下眼睑曲率数值计算结果如表4-9和图4，上下眼睑垂直方向距离计算结果如表4-10和图5。

表4-6中性、惊讶表情左眉毛曲率数据值

表4-7中性、惊讶表情左眉毛—左眼睛垂直方向距离

表4-8中性、惊讶表情左上眼睑曲率数据值

表4-9中性、惊讶表情左下眼睑曲率数据值

表4-10中性、惊讶表情左上下眼睑垂直方向距离值

对于中性和惊讶表情眉毛眼睛部分，计算得到眉毛的曲率均值分别为 眉毛内外角点垂直方向的距离分别为 眉毛和眼睛的垂直方向的平均距离分别为 $d_{BE}^{surp}=\mathrm{23.7191.}$ 计算得到左上眼睑曲率均值分别为 ${\stackrel{\&OverBar;}{\mathrm{\&kappa;}}}_{Mup}^{netr}=0.0595,{\stackrel{\&OverBar;}{\mathrm{\&kappa;}}}_{Mup}^{surp}=0.0611,$ 下眼睑曲率均值分别为上下眼睑垂直方向的距离分别为 $d_E^{netr}=7.4677,d_E^{surp}=\mathrm{9.3627.}$

综合以上各表格及图像，获得惊讶表情的眉毛眼睛部分数据约束如表4-11。

表4-11惊讶表情眉毛眼睛部分数据约束

2)鼻子部分

针对中性和惊讶表情的鼻子部分，考虑计算向量中第14个特征点和第7个特征点的水平方向坐标之差，计算得到

3)嘴巴部分

针对中性和惊讶表情的嘴巴部分，上嘴唇曲率计算结果如表4-12和图6，下嘴唇曲率计算结果如表4-13和图7，上下嘴唇垂直方向距离计算结果如表4-14和图8。

表4-12中性、惊讶表情上嘴唇曲率

表4-13中性、惊讶表情下嘴唇曲率

表4-14中性、惊讶表情上下嘴唇垂直方向距离

对于中性和惊讶表情嘴巴部分，计算得出上嘴唇曲率均值分别为  ${\stackrel{\&OverBar;}{\mathrm{\&kappa;}}}_{Mup}^{netr}=0.0116,{\stackrel{\&OverBar;}{\mathrm{\&kappa;}}}_{Mup}^{surp}=0.0387;$ 下嘴唇曲率均值分别为 ${\stackrel{\&OverBar;}{\mathrm{\&kappa;}}}_{Mdown}^{netr}=0.0360,$ ${\stackrel{\&OverBar;}{\mathrm{\&kappa;}}}_{Mdown}^{surp}=0.0436;$ 上下嘴唇垂直方向距离分别为 $d_M^{netr}=12.7151,d_M^{surp}=19.4184;$ 下嘴唇的周长分别为 $p_M^{netr}=39.3107,p_M^{surp}=\mathrm{32.1496.}$

综合以上嘴巴的各数据信息得到数据约束如表4-15。

表4-15惊讶表情的嘴巴数据约束

综合以上信息，针对该幅惊讶表情图像的数据约束如表4-16。

表4-16惊讶表情的数据约束

基于数学模型的表情识

本部分将主要针对JAFFE人脸表情数据库进行实验，其中待识别的6种基本表情图像数目情况如表4-17。

表4-17表情图像数目分布情况

数学模型一的表情识别

根据数学模型一，对JAFFE数据库人脸表情进行识别，结果如表4-18。

表4-18模型一表情图像识别结果

当0.85≥T≥0.8时，惊讶表情满足模型中的T₁,T₄,T₅,T₆等条件，即十位女性的惊讶表情基本符合眼睛上下眼睑垂直方向距离变大、下嘴唇曲率变大、上嘴唇曲率变大和上下嘴唇垂直方向距离变大等条件，其中表情数目为27幅，所以针对惊讶表情通过数学模型一可以达到90％的识别率；当0.7≥T≥0.55时，高兴表情满足模型中的T₂,T₃,T₇等条件，即十位女性的高兴表情基本符合上嘴唇曲率变小、眼睛上下眼睑垂直方向距离变小和下嘴唇周长变大等条件，其中表情数目为25幅，所以针对高兴表情通过数学模型一可以达到78％的识别率；当0.4≥T≥0.2时，厌恶表情满足模型中的T₁,T₅,T₆等条件，即十位女性的厌恶表情基本符合眼睛上下眼睑垂直方向距离变小、上嘴唇曲率变大和嘴巴上下嘴唇垂直方向距离变大等条件，其中表情数目为25幅，所以针对厌恶表情通过数学模型一可以达到86％的识别率；当0.4≥T≥0.3或者T≥0.85时，害怕表情满足模型中的T₅,T₆等条件，即十位女性的害怕表情基本符合上嘴唇曲率变大和上下嘴唇垂直方向距离变大等条件，其中表情数目为25幅，所以针对害怕表情通过数学模型一可以达到78％的识别率；当0.4≥T≥0.3或者0.4≥T≥0.3时，悲伤表情满足模型中的T₃等条件且符合眉毛曲率变小，其中表情数目为24幅，所以针对悲伤表情通过数学模型一可以达到83％的识别率。

数学模型二的表情识别

选择任一人脸表情图像依次通过数学模型二中各表情模型进行匹配计算，对待识别表情进行准确识别，具体结果如表4-19。

1)惊讶表情

依据惊讶表情数学模型，满足T≥0.7时，符合惊讶表情数学模型并初步判断该表情为惊讶表情。对JAFFE数据库中183幅人脸表情图像有42幅图像满足该模型，其中惊讶表情30幅，所以针对数据库中27幅惊讶表情，该数学模型可以识别出90％的惊讶表情。

2)高兴表情

依据高兴表情数学模型，满足T≥0.7时，符合高兴表情数学模型并初步判断该表情为高兴表情。对JAFFE数据库中183幅人脸表情图像有50幅图像满足该模型，其中高兴表情28幅，所以针对数据库中32幅高兴表情，该数学模型可以识别出88％的高兴表情。

3)厌恶表情

依据厌恶表情数学模型，满足T≥0.9时，符合厌恶表情数学模型并初步判断该表情为厌恶表情。对JAFFE数据库中183幅人脸表情图像有44幅图像满足该模型，其中厌恶表情23幅，所以针对数据库中29幅厌恶表情，该数学模型可以识别出79％的厌恶表情。

4)害怕表情

依据害怕表情数学模型，满足T≥0.4时，符合害怕表情数学模型并初步判断该表情为害怕表情。对JAFFE数据库中183幅人脸表情图像有59幅图像满足该模型，其中害怕表情24幅，所以针对数据库中32幅害怕表情，该数学模型可以识别出75％的害怕表情。

5)悲伤表情

依据悲伤表情数学模型，满足T≥0.3时，符合悲伤表情数学模型并初步判断该表情为悲伤表情。对JAFFE数据库中183幅人脸表情图像有34幅图像满足该模型，其中悲伤表情23幅，所以针对数据库中29幅悲伤表情，该数学模型可以识别出79％的悲伤表情。

6)生气表情

依据生气表情数学模型，满足T≥0.6时，符合生气表情数学模型并初步判断该表情为生气表情。对JAFFE数据库中183幅人脸表情图像有43幅图像满足该模型，其中生气表情16幅，所以针对数据库中31幅生气表情，该数学模型可以识别出52％的生气表情。

表4-19模型二表情图像识别结果

综上所述，依据所建立的两种数学模型实现了对JAFFE人脸表情数据库的表情识别，验证了本文新算法的有效性，而且本文是通过数学方法解决表情识别问题，使得识别速度上得以提高。另外，依据表情识别结果本文分析总结出两种模型的适用情况，对于模型一的识别环境我们可以归为对各表情 识别的通用情况，而对于模型二我们可以将其应用到特定情况或场所下，如前面引用的疲劳驾驶的例子。

以上所述仅是本发明的优选实施方式，并不用于限制本发明，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (10)

1.一种基于主动形状模型算法识别人脸表情的方法，其特征在于，所述方法包括：

存储或选取人脸表情数据库，选取所述人脸表情数据库中部分或全部人脸表情作为训练图像；

基于主动形状模型算法对所述训练图像进行特征点定位，其中所述特征点为针对所述训练图像的眉毛、眼睛、鼻子和嘴巴四部分定位出的特征点，所述特征点形成所述的眉毛、眼睛、鼻子和嘴巴各部分的轮廓数据信息；

基于所述的眉毛、眼睛、鼻子和嘴巴各部分的轮廓数据信息，对所述训练图像进行数据训练，得到各基本表情以及中性表情体现在眉毛、眼睛、鼻子和嘴巴各部分的几何特征的数据定义；

基于所述的数据定义分别对各基本表情相较于中性表情的几何特征变化进行数值计算，得到各表情的数值约束条件；

基于各表情的数值约束条件建立人脸表情的数学模型，基于所述数学模型进行人脸识别。

2.根据权利要求1所述的基于主动形状模型算法识别人脸表情的方法，其特征在于，

选取日本ATR女性表情数据库中部分或全部人脸图像作为训练图像，其中所述训练图像至少包括6种基本表情中的各一副人脸图像和中性表情的至少一副人脸图像；

基于主动形状模型算法对所述训练图像进行人脸特征点定位，其中所述特征点为针对人脸眉毛、眼睛、鼻子和嘴巴部分定位出的特征点，所述特征点形成所述眉毛、眼睛、鼻子和嘴巴各部分的轮廓形状数据信息；

基于所述的各部分的轮廓特征数据信息，对各表情体现在眉毛、眼睛、鼻子和嘴巴各部分的几何特征进行数据定义；

基于所述的数据定义分别对各表情体现在眉毛、眼睛、鼻子和嘴巴各部分的几何特征进行数值计算；

对各基本表情相较于中性表情的几何特征变化进行数值计算，得到各基本表情相较于中性表情的数值约束条件；

基于各基本表情的数值约束条件建立人脸表情的数学模型，基于所述数学模型进行人脸识别。

3.根据权利要求1所述的基于主动形状模型算法识别人脸表情的方法，其特征在于，所述的主动形状模型算法对所述训练图像进行人脸特征点定位具体包括：

选取所述的表情数据库中的70副人脸图像作为进行训练，在每张所述训练图像上选取94个特征点，将左眉毛、右眉毛、左眼睛上眼睑、左眼睛下眼睑、右眼睛上眼睑、右眼睛下眼睑、鼻子、上嘴唇、下嘴唇部分的特征点依次构成特征向量S₁，S₂，S₃，S₄，S₅，S₆，S₇，S₈，S₉；

对所述的特征点进行线性插值运算，其中所述线性插值运算具体包括：使用插值函数interp对坐标数据信息进行5倍原采样频率值重新采样；利用interpl函数在选定特征点之间平均插入20个点，构成特征向量S′₁，S′₂，S′₃，S′₄，S′₅，S′₆，S′₇，S′₈，S′₉；

对所有特征向量进行对齐；

特征向量对齐之后，构建形状模型，通过对特征向量进行PCA运算得到特征值、特征向量、平均形状Evalues，Evectors，x_mean；

[Evalues，Evectors，x_mean]＝PCA(x)，

选取98％的特征向量来减少轮廓噪声，并对特征值设置参数限制，选取前t个特征向量和特征值，特征值按照从大到小排列，获得全局统计形状模型X，

P＝Evectors(1，2...，t)，

$b=\sqrt{3}*\mathrm{Evalues}(\mathrm{1,2},...,t),$

X＝x_mean+Pb.

依据ASM算法构造局部纹理模型，得到第j个特征点的局部纹理模型S_j；

应用ASM模型到数据库中各人脸图像上，基于多分辨率的搜索策略，高斯图像金字塔层数为2层，对每一层进行特征点定位，所述的定位过程包括：

对平均形状进行旋转、平移等变换，获得初始形状，在目标图像上选取与其接近的位置确定初始形状的位置；

更新参数，不断优化目标图像的特征点定位；

重复上述过程，直到迭代次数达到阈值。

4.根据权利要求1所述的基于主动形状模型算法识别人脸表情的方法，其特征在于，各表情体现在眉毛、眼睛、鼻子和嘴巴各部分的几何特征进行数据定义分别为：

计算眉毛的曲率来判断眉毛是否发生弯曲等形变；

计算眉毛内点与外点在垂直方向上的距离d_B来判断眉毛形状的改变；

分别计算上眼睑和下眼睑进行曲率计算得到来判断眼睛是否发生弯曲形变；

计算上下眼睑对应点在垂直方向上的距离d_E来判断眼睛睁开的大小变化；

计算左右鼻孔的左侧点、右侧点进行水平方向上的距离差值计算，得到d_N，判断鼻子是否变宽；

嘴巴部分通过计算上嘴唇、下嘴唇的曲率来判断嘴巴的弯曲等形变，同时通过上下嘴唇对应点的垂直方向上的距离差d_M来判断嘴唇张开大小的变化，计算下嘴唇相邻轮廓点之间的x坐标差值之和p_M来度量嘴巴的长度变化。

5.根据权利要求1所述的基于主动形状模型算法识别人脸表情的方法，其特征在于，所述的曲率通过对相邻特征点的曲率运算获得曲率值kappa，所述曲率运算公式为：

$\mathrm{kappa}(i-1)=\frac{\mathrm{\&Delta;x}\left(i\right)*{\mathrm{\&Delta;}}^{2}y\left(i\right)-\mathrm{\&Delta;y}\left(i\right)*{\mathrm{\&Delta;}}^{2}x\left(i\right)}{{(\mathrm{\&Delta;x}{\left(i\right)}^2+\mathrm{\&Delta;y}{\left(i\right)}^2)}^{1.5}}.$

其中， $\mathrm{\&Delta;x}\left(i\right)=\frac{x(i+1)-x(i-1)}{2},$

$\mathrm{\&Delta;y}\left(i\right)=\frac{y(i+1)-y(i-1)}{2},$

Δ²x(i)＝x(i+1)+2*x(i)+x(i-1)，

Δ²y(i)＝y(i+1)+2*y(i)+y(i-1)，。

6.根据权利要求根据权利要求1所述的基于主动形状模型算法识别人脸表情的方法，其特征在于，中性表情体现在眉毛、眼睛、鼻子和嘴巴各部分的几何特征进行数值计算的方法包括：

眉毛

左眉毛的20个特征点构成向量S₁，

$S_1=(x_B^1,y_B^1,x_B^2,y_B^2,...,x_B^{20},y_B^{20}),$

除去起始点和终点，依据曲率计算公式计算获得18个曲率值及眉毛曲率均值

$K=(k_B^1,k_B^2,...,k_B^{18}),$

${\stackrel{\&OverBar;}{\mathrm{\&kappa;}}}_B^{\mathrm{netr}}=\underset{i=1}{\overset{18}{\mathrm{\&Sigma;}}}\left(k_B^i\right),$

计算眉毛内点与外点垂直方向上的距离

$d_B^{\mathrm{netr}}=y_B^{20}-y_B^1,$

计算眉毛与眼睛垂直方向上的距离

$d_{\mathrm{BE}}^{\mathrm{netr}}=\frac{1}{20}\underset{i=1}{\overset{20}{\mathrm{\&Sigma;}}}[S_2\left(i\right)-S_1\left(i\right)].$

眼睛

针对上下眼睑各20个特征点进行计算，即讨论上眼睑、下眼睑2个特征点向量：

$S_2=(x_{\mathrm{Eup}}^1,y_{\mathrm{Eup}}^1,x_{\mathrm{Eup}}^2,y_{\mathrm{Eup}}^2,...,x_{\mathrm{Eup}}^{20},y_{\mathrm{Eup}}^{20}),$

$S_3=(x_{\mathrm{Edown}}^1,y_{\mathrm{Edown}}^1,x_{\mathrm{Edown}}^1,y_{\mathrm{Edown}}^2,...,x_{\mathrm{Edown}}^{20},y_{\mathrm{Edown}}^{20}).$

获得上眼睑和下眼睑的曲率均值然后为了更准确地获得眼睛睁开大小的变化，计算上眼睑和下眼睑对应的18个特征点的垂直方向上的距离及其平均值

${\stackrel{\&OverBar;}{\mathrm{\&kappa;}}}_{\mathrm{Eup}}^{\mathrm{netr}}=\underset{i=1}{\overset{18}{\mathrm{\&Sigma;}}}\left(k_B^i\right),$

${\stackrel{\&OverBar;}{\mathrm{\&kappa;}}}_{\mathrm{Edown}}^{\mathrm{netr}}=\underset{i=1}{\overset{18}{\mathrm{\&Sigma;}}}\left(k_B^i\right),$

$d_E^{\mathrm{netr}}=\underset{i=2}{\overset{19}{\mathrm{\&Sigma;}}}(y_{\mathrm{Edown}}^i-y_{\mathrm{Eup}}^{19-i+2}).$

鼻子

对于鼻子我们同样选取了20个特征点构成特征点向量：

$S_4=(x_N^1,y_N^1,x_N^2,y_N^2,...,x_N^{20},y_N^{20}).$

根据训练过程中选取点的顺序及鼻子的特征，针对第7个特征点和第14个特征点水平方向上的距离进行计算，第7个特征点和第14个特征点均是定位在左右鼻孔的左侧点和右侧点，得到

$d_N^{\mathrm{netr}}=x_N^{14}-x_N^7.$

嘴巴

和眼睛部分的特征点选取及计算相似，对于嘴巴部分，上嘴唇和下嘴唇分别选取20个特征点构成两个特征点向量：

$S_5=(x_{\mathrm{Mup}}^1,y_{\mathrm{Mup}}^1,x_{\mathrm{Mup}}^2,y_{\mathrm{Mup}}^2,...,x_{\mathrm{Mup}}^{20},y_{\mathrm{Mup}}^{20}),$

$S_6=(x_{\mathrm{Mdown}}^1,y_{\mathrm{Mdown}}^1,x_{\mathrm{Mdown}}^1,y_{\mathrm{Mdown}}^2,...,x_{\mathrm{Mdown}}^{20},y_{\mathrm{Mdown}}^{20}).$

对上嘴唇和下嘴唇分别进行曲率计算，得到上嘴唇和下嘴唇的曲率均值为

计算上嘴唇和下嘴唇对应的18个特征点垂直方向上的距离及平均值以及下嘴唇的周长

${\stackrel{\&OverBar;}{\mathrm{\&kappa;}}}_{\mathrm{Mup}}^{\mathrm{netr}}=\underset{i=1}{\overset{18}{\mathrm{\&Sigma;}}}\left(k_B^i\right),$

${\stackrel{\&OverBar;}{\mathrm{\&kappa;}}}_{\mathrm{Mdown}}^{\mathrm{netr}}=\underset{i=1}{\overset{18}{\mathrm{\&Sigma;}}}\left(k_B^i\right),$

$d_M^{\mathrm{netr}}=\underset{i=2}{\overset{19}{\mathrm{\&Sigma;}}}(y_{\mathrm{Mdown}}^i-y_{\mathrm{Mup}}^{19-i+2}).$

$p_M^{\mathrm{netr}}=\underset{i=2}{\overset{20}{\mathrm{\&Sigma;}}}(x_{\mathrm{Mdown}}^i-x_{\mathrm{Mdown}}^{i-1})..$

7.根据权利要求2所述的基于主动形状模型算法识别人脸表情的方法，其特征在于，基于各基本表情的数值约束条件建立人脸表情的数学模型为：

T＝α₁T₁+α₂T₂+α₃T₃+α₄T₄+α₅T₅+α₆T₆+α₇T₇.

其中α₁，α₂，α₃，α₄，α₅，α₆，α₇为数学模型中的权值，所述参数分别为0.6，0.35，0.15，0.1，0.05，0.05，0.05；

T₁，T₂，T₃，T₄，T₅，T₆，T₇为表情识别数据约束条件，其中T₁，T₄为判断惊讶表情的条件，T₂为判断高兴表情的条件，T₃为判断厌恶、悲伤和生气表情的条件。

8.根据权利要求2所述的基于主动形状模型算法识别人脸表情的方法，其特征在于，基于各表情的数值约束条件建立人脸表情的数学模型为：

惊讶表情的数学模型为：

T_surp＝α₁T₄+α₂T₇+α₃T₈+α₄T₃+α₅(1-T₉)，

其中α₁，α₂，α₃，α₄，α₅分别为0.2，0.2，0.2，0.1，0.1。

高兴表情的数学模型为：

T_happ＝α₁T₉+α₂T₅+α₃(1-T₆)+α₄(1-T₄)，

其中α₁，α₂，α₃，α₄分别为0.3，0.2，0.2，0.1。

厌恶表情的数学模型为：

T_disg＝α₁(1-T₃)+α₂(1-T₆)+α₃T₄+α₄T₇+α₅T₈，

其中α₁，α₂，α₃，α₄，α₅分别为0.3，0.3，0.2，0.1，0.1；

害怕表情的数学模型为：

针对各人脸的害怕表情数据约束，总结数学模型如式：

T_fear＝α₁T₆+α₂T₈+α₃T₉，

其中α₁，α₂，α₃分别为0.3，0.1，0.1；

悲伤表情的数学模型为：

针对各人脸的悲伤表情数据约束，总结数学模型如式：

T_sad＝α₁(1-T₁)+α₂(1-T₄)，

其中α₁，α₂分别为0.2，0.1；

生气表情的数学模型为：

T_angry＝α₁(1-T₃)+α₂T₅+α₃(1-T₂)+α₄(1-T₄)，

其中α₁，α₂，α₃，α₄分别为0.3，0.2，0.1，0.1。

9.根据权利要求2所述的基于主动形状模型算法识别人脸表情的方法，其特征在于，所述方法还包括对所述特征点进行平滑运算的步骤，其中所述平滑运算公式为：

$p^{\&prime;}=\left\{\begin{array}{c}0.75p\left(1\right)+0.25\left(2\right),i=1\\ 0.25(i-1)+0.5\left(i\right)+0.25(i+1),1\&le;i\&le;n\\ 0.75p\left(n\right)+0.25(n-1),i=n\end{array}\right\}$

其中，其中n为曲线终点。

10.根据权利要求6所述的基于主动形状模型算法识别人脸表情的方法，其特征在于，中性表情体现在眉毛、眼睛、鼻子和嘴巴各部分的几何特征进行数值计算的结果由对所有参与计算的中性表情的训练图像的数值计算取平均值得到的。