CN103714331A - 一种基于点分布模型面部表情特征的提取方法 - Google Patents

Abstract

本发明公开了一种基于点分布模型面部表情特征的提取方法，具体步骤包括：通过标记人体面部图像面部特征点的坐标建立起人体面部的形状模型；选取相对较为理想形状向量作为初始样本，其他的向量与初始样本进行形状上的相互对应直到相邻两次的平均形状向量差别小于某一特定值;通过使用Gabor小波核函数的计算并采样从而获得一组不同的频率和相位的特征点的面部特征点的精细定位。通过上述方式，本发明一种基于点分布模型面部表情特征的提取方法利用Gabor小波变换系数进行人脸识别的弹性图匹配，得到了不受样本影响的理想的面部表情特征，在提取对不相关变形保持不变、噪声不敏感，类别区分度大的特征具有明显优势。

Description

一种基于点分布模型面部表情特征的提取方法

技术领域

本发明涉及计算机科学领域，尤其是涉及一种基于点分布模型面部表情特征的提取方法。

背景技术

人类可以通过声音和肢体来表达信息，而面部表情又是肢体语言中含有信息量最大的一部分息，通常人在日常活动中，面部表情语言是可以不通过声音表达语义的一种沟通手段和通信方式，作为信息的载体，通过语音，面部表情语言，能够表达很多声音除了不能表达的语义信息。面部表情自动识别面部表情信息的特征提取分析，以进行分类根据的理解和思考和理解的方式，通过情感计算，计算机联想，思维和推理，进而了解人体面部信息所表达的意义。在计算机科学领域的研究，面部表情的识别对于实现自然的人机交互以及自动图像理解也具有重大的意义。辨识身份技术已经应用在银行ATM机、门卫监控、智能防盗门等系统上发挥了重要的作用。

面部表情识别涉及到其他学科，如：心理学、生物学、数学等。所以表情识别的难度较大，因此与其他的识别技术相比发展相对缓慢。如：指纹识别技术、虹膜识别技术、DNA识别技术等。但是表情识别在人机交互等方面是有着非常重要的价值，目前国内的很多高校和科研机构致力于这个方向的研究，并取得了一定的成果。

进入21世纪，关于面部表情识别的研究变得非常之热门，同时部分企业和国家也投入的了大量的资金进行这个方向的研究。德国、美国、日本、阿根廷、荷兰、丹麦等经济发达国家和发展中国家如中国、泰国都有专门研究组进行这方面的研究。其中乌特列支大学、密歇根大学、哥本哈根大学、科隆大学、日本早稻田大学、京都大学、贡献尤为突出。国内的清华大学、浙江大学、中国科技大学、南京航空大学、电子科技大学等都有人员从事人脸表情识别的研究。面部表情识别方法主要有基于子空间变换的方法、基于机器学习的方法、基于模型的方法、基于局部特征的方法、基于几何特征的方法以及模板匹配方法等几类，基于点分布模型的方法典型代表为PDM方法，PDM方法简单、很高的效率同时得到了研究者的青睐。PDM由Cootes等人提出的方法，在外形类似的人体器官（比如人脸、人手）的形状，串联连接成原来的形状向量的坐标点的一些关键特性通。对所有向量对齐操作后在进行PCA的分析，并保留其中的主成分参数，得到了形状的变化模式。但该方法对不相关变形保持不变、噪声不敏感，类别区分度大的特征提取效果并不理想。

发明内容

本发明主要解决的技术问题是提供一种基于点分布模型面部表情特征的提取方法，该方法利用Gabor小波变换系数进行人脸识别的弹性图匹配，得到了不受样本影响的理想的面部表情特征，在提取对不相关变形保持不变、噪声不敏感，类别区分度大的特征具有明显优势。

为解决上述技术问题，本发明采用的一个技术方案是：一种基于点分布模型面部表情特征的提取方法，具体步骤包括：

（100）、建立形状模型：通过标记人体面部图像面部特征点的坐标，使其作为初始数据，并在处理的过程中将多个人体面部图像面部特征点的坐标相互对应，再通过主成分分析法建立起人体面部的形状模型;

（200）、对齐标定的图像: 采用形状向量相互对应的方法，通过选取一个相对较为理想的形状向量作为初始样本，其他的向量与初始样本进行形状上的相互对应，计算后得到平均形状向量在进行规格化处理,并作为样本，再将与初始样本进行形状上相互对应后的形状向量与此平均形状向量对应,重复这一过程，直到相邻两次的平均形状向量差别小于某一特定值，对齐过程结束;

（300）、使用Gabor小波变换提取表情特征：通过使用Gabor小波核函数的计算并采样，从而获得一组不同的频率和相位的特征点的面部特征点的精细定位。

在本发明一个较佳实施例中，所述步骤（100）建立形状模型的具体步骤包括：

根据公式（1）建立人体面部的形状模型，

                          （1）

其中， N为样本数目，n为人体面部特征定于的关键特征点的数目，L中的每个形状向量是由这些训练图像I上手工标定的n个关键特点的横纵坐标串上手工标定的n个关键特征点的横纵坐标串接而成。

在本发明一个较佳实施例中，所述步骤（200）中形状向量相互对应的方法的具体步骤包括：

将需要对应的两个形状向量标记为X₁和X₂，当形状向量X₂向另一个形状向量X₁对应时，对形状向量X₂进行面内旋转、坐标平移、尺度缩放得到形状向量X’₂，使得形状向量X₂与形状向量X₁的加权距离d(X₁,X₂)最小,

根据公式（2）计算X’₂的变换值，

                    （2）

其中，q为旋转角度，t为尺度，t_x为X轴方向的平移量，t_y为Y轴方向的平移量，

再根据公式（3）计算加权距离d(X₁,X₂)，

                                                                           （3）         

其中W₀，W₁，..，W_n-1为每个点所对应的权值。

在本发明一个较佳实施例中，所述步骤（300）使用Gabor小波变换提取表情特征时，

首先，根据公式（4）计算小波核函数，

                               （4）  

实际计算时，卷积过程必须既在空间域的采样，采样频率域小波函数，最终的采样则通过设定5 个尺度 ( v = 1, ..,5) 和八个方向( μ =0,1,..,7)来完成 ，

然后，根据公式（5）进行采样，

                     （5） 

生成了Gabor的卷积过程中的实数部分和虚数部分的两个组成部分，构成了多个Gabor变换振荡的边缘附近的实数部分和虚数部分，保留 Gabor 响应的幅值，所谓幅值即实部和虚部平方和开根号，幅值信息实际反映了图像局部的能量谱，也可以理解为特定方向边缘的强度，而且在真实边缘附近具有良好的光滑性，有利于匹配识别。

本发明的有益效果是：本发明一种基于点分布模型面部表情特征的提取方法利用Gabor小波变换系数进行人脸识别的弹性图匹配，得到了不受样本影响的理想的面部表情特征，在提取对不相关变形保持不变、噪声不敏感，类别区分度大的特征具有明显优势。

附图说明

图1为一种基于点分布模型面部表情特征的提取方法的硬件结构图。

图2 为一种基于点分布模型面部表情特征的提取方法利用组合传感器获取的二维深度图。

图3 为一种基于点分布模型面部表情特征的提取方法的点分布模型。

图4为一种基于点分布模型面部表情特征的提取方法重建后截取的眼睛和嘴巴“高兴”表情示意图。

图5 为一种基于点分布模型面部表情特征的提取方法重建后截取的眼睛和嘴巴“生气”表情示意图。

图6为一种基于点分布模型面部表情特征的提取方法重建后截取的眼睛和嘴巴“惊讶”表情示意图。

图7 为一种基于点分布模型面部表情特征的提取方法重建后截取的眼睛和嘴巴“悲伤”表情示意图。

图8 为一种基于点分布模型面部表情特征的提取方法重建后截取的眼睛和嘴巴“恐惧”表情示意图。

图9为一种基于点分布模型面部表情特征的提取方法重建后截取的眼睛和嘴巴“厌恶”表情示意图。

图10为一种基于点分布模型面部表情特征的提取方法重建后截取的眼睛和嘴巴“中性”表情示意图。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

如图1 所示，通过组合传感器采集人脸骨骼和深度图像信息，PC机具有诸如管理图像文件、显示图像和对图像的人物的面部进行分析，以通过预定运算，来对诸如眼睛、鼻子、嘴部及面部的形状和颜色等的特征进行提取。

组合传感器是微软公司为XBOX360开发的体感外设，其硬件集成了两个摄像头用于组合传感器的深度图片获取，另外还有一个彩色摄像头以及麦克风，组合传感器一共提供了三种图片模式，分为彩色图片，深度图片以及骨骼图片。

Skeleton Tracking（骨骼追踪）是组合传感器的核心技术，但目前只能追踪人体。为了实现面部骨骼追踪，我们把每个骨骼点的信息都设成一个Joint对象，其中的Position的X、Y、Z表示了三维位置。其中X和Y的范围都是-1到1，而Z是组合传感器到识别物体的距离。

利用组合传感器的中间的CCD照相机镜头，获取每一个点的RGB信息，通过这些信息，生成关于人体的BMP格式的彩色图像。

图2显示了利用组合传感器获取的人体面部的二维深度图像，在深度图像上的每一个点，都具有一个从0到255之间的数值，不同的数值代表了这个点到组合传感器设备的距离，因此，本发明根据深度图像上的每个点的数据，获取特征到组合传感器的距离。

由于组合传感器的彩色摄像头和深度摄像头并不是重合的，两者之间具有一段距离，造成两个摄像头所拍摄的图像的坐标系的原点不重合，无法接将两幅图像的点一一对应，也就无法计算某一个点具体的三维坐标，为了解决这个问题，本发明使用改进的OpenCV技术。

图3为获取人体面部的点分布模型，由于OpenCV目前只支持对组合传感器的深度图、视差图和彩色/灰度图及相关属性的读取，而在面部表情识别中，需要把深度图和彩色图的数据进行对应，计算出每一点的三维坐标。

最后利用公式（1）至（5）提取眼睛、嘴部及面部的形状和颜色等的特征。

本发明实施例包括：一种基于点分布模型面部表情特征的提取方法，其特征在于：具体步骤包括：

（100）、建立形状模型：通过标记人体面部图像面部特征点的坐标，使其作为初始数据，并在处理的过程中将多个人体面部图像面部特征点的坐标相互对应，再通过主成分分析法建立起人体面部的形状模型，主成分分析法是一种数学变换的方法, 它把给定的一组相关变量通过线性变换转成另一组不相关的变量，这些新的变量按照方差依次递减的顺序排列，在数学变换中保持变量的总方差不变，使第一变量具有最大的方差，称为第一主成分，第二变量的方差次大，并且和第一变量不相关，称为第二主成分，依次类推，L个变量就有L个主成分，根据公式（1）建立人体面部的形状模型，

                          （1）

其中， N为样本数目，n为人体面部特征定于的关键特征点的数目，L中的每个形状向量是由这些训练图像I上手工标定的n个关键特点的横纵坐标串上手工标定的n个关键特征点的横纵坐标串接而成。

（200）、对齐标定的图像: 采用形状向量相互对应的方法，通过选取一个相对较为理想的形状向量作为初始样本，其他的向量与初始样本进行形状上的相互对应，计算后得到平均形状向量在进行规格化处理,并作为样本，再将与初始样本进行形状上相互对应后的形状向量与此平均形状向量对应,重复这一过程，直到相邻两次的平均形状向量差别小于某一特定值，对齐过程结束，所述步骤（200）中形状向量相互对应的方法的具体步骤包括：将需要对应的两个形状向量标记为X₁和X₂，当形状向量X₂向另一个形状向量X₁对应时，对形状向量X₂进行面内旋转、坐标平移、尺度缩放得到形状向量X’₂，使得形状向量X₂与形状向量X₁的加权距离d(X₁,X₂)最小,

根据公式（2）计算X’₂的变换值，

                    （2）

其中，q为旋转角度，t为尺度，t_x为X轴方向的平移量，t_y为Y轴方向的平移量，

再根据公式（3）计算加权距离d(X₁,X₂)，

                                                                           （3）         

其中W₀，W₁，..，W_n-1为每个点所对应的权值。

（300）、使用Gabor小波变换提取表情特征：通过使用Gabor小波核函数的计算并采样，从而获得一组不同的频率和相位的特征点的面部特征点的精细定位，所述使用Gabor小波变换提取表情特征时，

首先，根据公式（4）计算小波核函数，

                               （4）  

实际计算时，卷积过程必须既在空间域的采样，采样频率域小波函数，最终的采样则通过设定5 个尺度 ( v = 1, ..,5) 和八个方向( μ =0,1,..,7)来完成 ，

然后，根据公式（5）进行采样，

                     （5） 

生成了Gabor的卷积过程中的实数部分和虚数部分的两个组成部分，构成了多个Gabor变换振荡的边缘附近的实数部分和虚数部分，保留 Gabor 响应的幅值，所谓幅值即实部和虚部平方和开根号，幅值信息实际反映了图像局部的能量谱，也可以理解为特定方向边缘的强度，而且在真实边缘附近具有良好的光滑性，有利于匹配识别。

图4至图10分别为该一种基于点分布模型面部表情特征的提取方法重建后截取的眼睛和嘴巴的“高兴”、“生气”、“惊讶”、“悲伤”、“恐惧”、“厌恶”、“中性”表情示意图。

本发明的基本原理在于：通过标记人体面部图像面部特征点的坐标，使其作为初始数据，并在处理的过程中把他们对齐，再通过主成分分析法建立起人体面部的形状模型；选取相对较为理想形状向量作为初始样本，其他的向量与初始向量对齐形状对齐，计算后得到平均形状向量在进行规格化处理,并以作为样本，重复将其他经上一步对齐的形状向量于此平均形状向量对齐直到相邻两次的平均形状向量差别小于某一特定值;使用Gabor小波变换系数获得一组不同的频率和相位的特征点的面部特征点的精细定位。

与现有技术相比，本发明一种基于点分布模型面部表情特征的提取方法给出了改进的点分布模型，在这个模型中，Gabor小波变换用于人脸识别的弹性图匹配系数，反映目标形状变换定期统计模型和反映当地的灰度分布规律的灰色模型的形状，不合理的进行调整形状，以确保合理的在统计意义上循环迭代，得到了不受样本影响的理想的面部表情特征，在提取对不相关变形保持不变、噪声不敏感，类别区分度大的特征具有明显优势。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (4)

1.一种基于点分布模型面部表情特征的提取方法，其特征在于：具体步骤包括：

（100）、建立形状模型：通过标记人体面部图像面部特征点的坐标，使其作为初始数据，并在处理的过程中将多个人体面部图像面部特征点的坐标相互对应，再通过主成分分析法建立起人体面部的形状模型;

（200）、对齐标定的图像: 采用形状向量相互对应的方法，通过选取一个相对较为理想的形状向量作为初始样本，其他的向量与初始样本进行形状上的相互对应，计算后得到平均形状向量在进行规格化处理,并作为样本，再将与初始样本进行形状上相互对应后的形状向量与此平均形状向量对应,重复这一过程，直到相邻两次的平均形状向量差别小于某一特定值，对齐过程结束;

（300）、使用Gabor小波变换提取表情特征：通过使用Gabor小波核函数的计算并采样，从而获得一组不同的频率和相位的特征点的面部特征点的精细定位。

2.根据权利要求1所述的一种基于点分布模型面部表情特征的提取方法，其特征在于：所述步骤（100）建立形状模型的具体步骤包括：

根据公式（1）建立人体面部的形状模型，

                          （1）

其中， N为样本数目，n为人体面部特征定于的关键特征点的数目，L中的每个形状向量是由这些训练图像I上手工标定的n个关键特点的横纵坐标串上手工标定的n个关键特征点的横纵坐标串接而成。

3.根据权利要求1所述的一种基于点分布模型面部表情特征的提取方法，其特征在于：所述步骤（200）中形状向量相互对应的方法的具体步骤包括：

将需要对应的两个形状向量标记为X₁和X₂，当形状向量X₂向另一个形状向量X₁对应时，对形状向量X₂进行面内旋转、坐标平移、尺度缩放得到形状向量X’₂，使得形状向量X₂与形状向量X₁的加权距离d(X₁,X₂)最小,

根据公式（2）计算X’₂的变换值，

                    （2）

其中，q为旋转角度，t为尺度，t_x为X轴方向的平移量，t_y为Y轴方向的平移量，

再根据公式（3）计算加权距离d(X₁,X₂)，

                                                                           （3）         

其中W₀，W₁，..，W_n-1为每个点所对应的权值。

4.根据权利要求1所述的一种基于点分布模型面部表情特征的提取方法，其特征在于：所述步骤（300）使用Gabor小波变换提取表情特征时，

首先，根据公式（4）计算小波核函数，

                               （4）  

实际计算时，卷积过程必须既在空间域的采样，采样频率域小波函数，最终的采样则通过设定5 个尺度 ( v = 1, ..,5) 和八个方向( μ =0,1,..,7)来完成 ，

然后，根据公式（5）进行采样，

                     （5） 

生成了Gabor的卷积过程中的实数部分和虚数部分的两个组成部分，构成了多个Gabor变换振荡的边缘附近的实数部分和虚数部分，保留 Gabor 响应的幅值，所谓幅值即实部和虚部平方和开根号，幅值信息实际反映了图像局部的能量谱，也可以理解为特定方向边缘的强度，而且在真实边缘附近具有良好的光滑性，有利于匹配识别。

Images