CN102629321A - 基于证据理论的人脸表情识别方法 - Google Patents
基于证据理论的人脸表情识别方法 Download PDFInfo
- Publication number
- CN102629321A CN102629321A CN2012100876793A CN201210087679A CN102629321A CN 102629321 A CN102629321 A CN 102629321A CN 2012100876793 A CN2012100876793 A CN 2012100876793A CN 201210087679 A CN201210087679 A CN 201210087679A CN 102629321 A CN102629321 A CN 102629321A
- Authority
- CN
- China
- Prior art keywords
- image
- expression
- rightarrow
- sigma
- 2dgabor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
一种基于证据理论的人脸表情识别方法。本发明用的是表情数据库是日本女性人脸表情数据库JAFFE和自照表情数据库,所述方法首先将表情库中的图像分割出只含人脸及只含左眼的图像,经过图像预处理,尺度归一化,然后对这些人脸图像及左眼图像进行2DGabor小波变换提取特征,并进行表情识别,得到两个独立的识别结果。最后,利用证据理论对两个识别结果进行决策融合。仿真实验表明:通过融合全局特征和局部特征,表情识别效果很显著。
Description
技术领域
本发明属于模式识别技术领域,具体涉及一种基于证据理论的人脸表情识别方法。
背景技术
人脸表情识别技术就是通过分析特定人的脸部表情及变化,进而确定其内心情绪或思想活动。近十几年来出现了很多人脸表情识别方法,但还没有一个普遍的方法模型。大致来说,人脸表情识别算法可以分成两大类,一类是针对静态图像,提取静态图像的形变特征,常用的方法有:主成分分析法PCA(Principal Component Analysis)、Gabor小波变换法、基于模型的方法等,最后进行分类;还有一类是针对序列图像,常用的方法有:光流法、特征点跟踪法和差分图像法,然后进行分类,这类方法模型复杂,计算量大,实现实时性要求较难。为了进一步提高识别率,可以有两种途径,一种是利用图像序列的时间动态信息再利用HMM模型,对单幅静态表情图像,则可以利用信息融合的方法来进一步提高表情识别率。信息融合已成为现代信息处理的通用工具和思维模式。目前以模糊理论、神经网络、证据理论等为代表的智能方法占有相当大的比例。对于人脸表情识别,提取人脸表情的全局特征和局部特征,融合这些特征信息会得到更好的识别率。
发明内容
本发明目的是解决现有单一信息源表情识别率低的问题,提出一种基于证据理论的人脸表情识别方法。该方法利用证据理论融合人脸全局特征识别结果和左眼局部特征识别结果。
本发明提供的基于证据理论的人脸表情识别方法,包括以下步骤:
步骤1:采用JAFFE日本成年女性人脸表情数据库作为训练集,该数据库由10个人的213幅图像组成,每个人包含生气、高兴、害怕、厌恶、惊奇、悲伤、中性共7种表情各2~4幅图像;自照表情数据库由10个人的70幅图像组成,每个人7种表情各1幅图像,用该库作为测试集;
步骤2:将人脸表情数据库里的图像剪切出只含人脸和只含左眼的图像,经过图像预处理,然后对人脸图像尺度归一化为125×125,左眼图像尺度归一化为65×46,然后进行2DGabor小波变换,提取图像的均值和方差作为特征;
步骤3:利用欧式距离分类器对表情进行分类;
步骤4:利用证据理论对利用证据理论对人脸图像识别结果和左眼图像识别结果两个识别结果进行决策融合;
其中,步骤2所述的2DGabor小波变换及图像均值和方差的具体计算方法如下:
2DGabor滤波器函数表示为: 式中:是滤波器的中心频率;是给定位置的图像像素点的坐标,i为复数算子,σ为小波滤波器的带宽;表示滤波器的方向;参数kυ和的取值如下: 这里选择υ={0,1,2,3,4},μ={0,1,…,7},即5个尺度和8个方向组成的40个2DGabor小波组成的小波族用于表情图像特征的提取;
利用2DGabor小波对表情图像进行卷积,卷积后计算其均值和方差组成80维的特征向量, 为均值, 为方差。
步骤3所述的欧氏距离为:
设n维欧式空间是一个点集,它的任一个点可以表示为(x1,x2,…,xn),两个点x和y之间的距离d(x,y)定义为:d(x,y)=(∑(xi-yi)2)1/2;相同的表情间的欧氏距离较近,而不同的表情之间则存在一定的距离;计算待识别表情图像与所有的训练图像的欧氏距离,选择最小的欧氏距离所对应的表情为识别出的结果,最后统计识别结果。
步骤4所述的证据理论融合方法为:
式中K称为矛盾因子,它反映了两个证据之间的矛盾程度。
本发明的理论依据:
2DGabor小波变换广泛应用于图像处理和模式识别领域,是因为2DGabor小波能很好地描述哺乳动物初级视觉神经元的感受特性,在消除空域和频域二维联合不确定性方面是最优的,它可以看成是方向和尺度可调的边界和直线检测器,是很好的图像分析方法;而且2DGabor小波变换在提取特征时处理的数据量少而且受光照影响比较小。所以可以通过2DGabor小波变换,提取图像的均值和方差作为纹理特征。表情特征向量可以看做是n维空间中的一点,而欧氏距离是n维空间中两个点之间的真实距离,即两项间的差是每个变量值差的平方和再平方根,计算其间的整体距离,即不相似性。因此相同的表情间的欧氏距离较近,而不同的表情之间则存在一定的距离,欧式距离能在表情识别中得到很好的应用。本文正是利用欧氏距离来求测试表情图像和训练样本之间的相似度。
Dempster-Sharer证据理论是决策级信息融合方法的一种,它可以处理那些由于对研究对象的不可知而引起的不确定性问题,是不确定推理领域的主流理论之一。自提出以来,已经成功地解决了各个领域的许多不确定信息的处理问题。
本发明的优点和有益效果:
本发明融合人脸表情的全局特征和局部特征的识别结果,最后的识别效果得到明显提高。
附图说明
图1是表情数据库里的惊讶图像剪切为只含人脸的图像和左眼图像;
图2是左眼图像2DGabor小波变换后的图像。
具体实施方式
实施例1
本发明提供的基于证据理论的人脸表情识别方法包括以下步骤:
1,采用JAFFE日本成年女性人脸表情数据库作为训练集,该数据库由10个人的213幅图像组成,每个人包含生气、高兴、害怕、厌恶、惊奇、悲伤、中性共7种表情各2~4幅图像;自照表情数据库由10个人的70幅图像组成,每个人7种表情各1幅图像,用该库作为测试集。
2,把自照表情库里一幅待识别表情图像剪切出只含人脸和只含左眼的图像,图像预处理后,进行2DGabor小波变换,然后计算其均值和方差。
表1
3,计算这幅待识别测试表情图像与训练图像之间的欧氏距离。
表2
可以得出,测试人脸表情图像与第127个训练图像(惊奇)的欧氏距离(6.5432)最近,所以待识别测试图像的表情是惊奇;测试左眼图像与第127个训练图像(惊奇)的欧氏距离(11.0571)最近,所以待识别测试图像的表情是惊奇。
4,统计测试图像的识别结果。由人脸全局特征识别结果可以得出表情识别率:生气(80%)、厌恶(70%)、害怕(70%)、高兴(90%)、中性(100%)、悲伤(70%)、惊奇(90%);由左眼局部特征识别结果可以得出表情识别率:生气(80%)、厌恶(70%)、害怕(80%)、高兴(90%)、中性(90%)、悲伤(80%)、惊奇(80%)。
表3
人脸全局特征识别结果
左眼局部特征识别结果
5,计算证据理论决策融合结果。对于表情惊奇的最后的识别率具体计算过程为:
表4
证据理论与全局及局部特征识别结果比较
Claims (4)
1.基于证据理论的人脸表情识别方法,其特征在于该方法包括以下步骤:
步骤1:采用JAFFE日本成年女性人脸表情数据库作为训练集,该数据库由10个人的213幅图像组成,每个人包含生气、高兴、害怕、厌恶、惊奇、悲伤、中性共7种表情各2~4幅图像;自照表情数据库由10个人的70幅图像组成,每个人7种表情各1幅图像,用该库作为测试集;
步骤2:将人脸表情数据库里的图像剪切出只含人脸和只含左眼的图像,经过图像预处理,然后对人脸图像尺度归一化为125×125,左眼图像尺度归一化为65×46,然后进行2DGabor小波变换,提取图像的均值和方差作为特征;
步骤3:利用欧式距离分类器对表情进行分类;
步骤4:利用证据理论对人脸图像识别结果和左眼图像识别结果两个识别结果进行决策融合。
2.根据权利要求1所述的方法,其特征在于,步骤2所述的2DGabor小波变换及图像均值和方差的具体计算方法如下:
2DGabor滤波器函数表示为: 式中:是滤波器的中心频率;是给定位置的图像像素点的坐标,i为复数算子,σ为小波滤波器的带宽;表示滤波器的方向;参数kυ和的取值如下: 这里选择υ={0,1,2,3,4},μ={0,1,…,7},即5个尺度和8个方向组成的40个2DGabor小波组成的小波族用于表情图像特征的提取;
利用2DGabor小波对表情图像进行卷积,卷积后计算其均值和方差组成80维的特征向量, 为均值, 为方差。
3.根据权利要求1所述的方法,其特征在于,步骤3所述的欧氏距离为:
设n维欧式空间是一个点集,它的任一个点可以表示为(x1,x2,…,xn),两个点x和y之间的距离d(x,y)定义为:d(x,y)=(∑(xi-yi)2)1/2;相同的表情间的欧氏距离较近,而不同的表情之间则存在一定的距离;计算待识别表情图像与所有的训练图像的欧氏距离,选择最小的欧氏距离所对应的表情为识别出的结果,最后统计识别结果。
4.根据权利要求1所述的方法,其特征在于,步骤4所述的DST证据理论融合方法为:
假定辨识框架Θ下有两个相互独立的证据源,其焦元分别为Ai和Bj,其对应的基本信任度分配函数分别为m1和m2,设X,Ai,则DST合成规则为:
式中K称为矛盾因子,它反映了两个证据之间的矛盾程度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210087679.3A CN102629321B (zh) | 2012-03-29 | 2012-03-29 | 基于证据理论的人脸表情识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210087679.3A CN102629321B (zh) | 2012-03-29 | 2012-03-29 | 基于证据理论的人脸表情识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102629321A true CN102629321A (zh) | 2012-08-08 |
CN102629321B CN102629321B (zh) | 2014-03-26 |
Family
ID=46587579
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210087679.3A Expired - Fee Related CN102629321B (zh) | 2012-03-29 | 2012-03-29 | 基于证据理论的人脸表情识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102629321B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103024521A (zh) * | 2012-12-27 | 2013-04-03 | 深圳Tcl新技术有限公司 | 节目筛选方法、系统及具有该系统的电视 |
CN104112145A (zh) * | 2014-06-30 | 2014-10-22 | 合肥工业大学 | 基于pwld和d-s证据理论的人脸表情识别方法 |
CN105701459A (zh) * | 2016-01-06 | 2016-06-22 | 广东欧珀移动通信有限公司 | 一种图片显示方法及终端设备 |
CN106485219A (zh) * | 2016-10-11 | 2017-03-08 | 吉林大学 | 格拉斯曼流形上基于原型和Simile的表情识别方法 |
CN106897706A (zh) * | 2017-03-02 | 2017-06-27 | 上海帆煜自动化科技有限公司 | 一种情绪识别装置 |
CN105095827B (zh) * | 2014-04-18 | 2019-05-17 | 汉王科技股份有限公司 | 人脸表情识别装置和方法 |
CN110135468A (zh) * | 2019-04-24 | 2019-08-16 | 中国矿业大学(北京) | 一种煤矸石的识别方法 |
US10445564B2 (en) | 2017-12-15 | 2019-10-15 | Industrial Technology Research Institute | Method and device for recognizing facial expressions |
WO2024001095A1 (zh) * | 2022-06-27 | 2024-01-04 | 闻泰通讯股份有限公司 | 面部表情识别方法、终端设备及存储介质 |
-
2012
- 2012-03-29 CN CN201210087679.3A patent/CN102629321B/zh not_active Expired - Fee Related
Non-Patent Citations (4)
Title |
---|
GEORGE BEBIS EL AT.: "《Face recognition by fusing theramal infrared and visible imagery》", 《IMAGE AND VISION COMPUTING》 * |
XUERONG CHEN EL.AT: "《Nonlinear fusion for face recognition using fuzzy integral》", 《COMMUNICATIONS IN NONLINEAR SCIENCE AND NUMERICAL SIMULATION》 * |
胡同森等: "《基于Gabor 滤波和类内PCA 的人脸表情识别研究》", 《第四届和谐人机环境联合学术会议论文集》 * |
葛红等: "《信息融合技术在模式识别中的应用》", 《计算机应用研究》 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103024521B (zh) * | 2012-12-27 | 2017-02-08 | 深圳Tcl新技术有限公司 | 节目筛选方法、系统及具有该系统的电视 |
CN103024521A (zh) * | 2012-12-27 | 2013-04-03 | 深圳Tcl新技术有限公司 | 节目筛选方法、系统及具有该系统的电视 |
CN105095827B (zh) * | 2014-04-18 | 2019-05-17 | 汉王科技股份有限公司 | 人脸表情识别装置和方法 |
CN104112145B (zh) * | 2014-06-30 | 2018-01-19 | 合肥工业大学 | 基于pwld和d‑s证据理论的人脸表情识别方法 |
CN104112145A (zh) * | 2014-06-30 | 2014-10-22 | 合肥工业大学 | 基于pwld和d-s证据理论的人脸表情识别方法 |
CN105701459A (zh) * | 2016-01-06 | 2016-06-22 | 广东欧珀移动通信有限公司 | 一种图片显示方法及终端设备 |
CN105701459B (zh) * | 2016-01-06 | 2019-04-16 | Oppo广东移动通信有限公司 | 一种图片显示方法及终端设备 |
CN106485219A (zh) * | 2016-10-11 | 2017-03-08 | 吉林大学 | 格拉斯曼流形上基于原型和Simile的表情识别方法 |
CN106897706A (zh) * | 2017-03-02 | 2017-06-27 | 上海帆煜自动化科技有限公司 | 一种情绪识别装置 |
CN106897706B (zh) * | 2017-03-02 | 2019-11-22 | 利辛县诚创科技中介服务有限公司 | 一种情绪识别装置 |
US10445564B2 (en) | 2017-12-15 | 2019-10-15 | Industrial Technology Research Institute | Method and device for recognizing facial expressions |
CN110135468A (zh) * | 2019-04-24 | 2019-08-16 | 中国矿业大学(北京) | 一种煤矸石的识别方法 |
CN110135468B (zh) * | 2019-04-24 | 2021-07-20 | 中国矿业大学(北京) | 一种煤矸石的识别方法 |
WO2024001095A1 (zh) * | 2022-06-27 | 2024-01-04 | 闻泰通讯股份有限公司 | 面部表情识别方法、终端设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN102629321B (zh) | 2014-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102629321B (zh) | 基于证据理论的人脸表情识别方法 | |
CN107273845B (zh) | 一种基于置信区域和多特征加权融合的人脸表情识别方法 | |
Lemaire et al. | Fully automatic 3D facial expression recognition using differential mean curvature maps and histograms of oriented gradients | |
CN104850825B (zh) | 一种基于卷积神经网络的人脸图像颜值计算方法 | |
CN103632132A (zh) | 一种基于肤色分割和模板匹配的人脸检测与识别方法 | |
US20170039418A1 (en) | Face authentication method and device | |
CN101540000B (zh) | 基于纹理基元统计特性分析的虹膜分类方法 | |
CN103971106B (zh) | 多视角人脸图像性别识别方法及装置 | |
CN102968626B (zh) | 一种人脸图像匹配的方法 | |
CN105138968A (zh) | 人脸认证方法和装置 | |
CN111967363B (zh) | 一种基于微表情识别和眼动追踪的对情绪预测的方法 | |
CN113963422B (zh) | 基于多注意力融合Transformer架构的不确定性人脸表情识别方法 | |
CN103632147A (zh) | 实现面部特征标准化语义描述的系统及方法 | |
CN105373777A (zh) | 一种用于人脸识别的方法及装置 | |
CN104077594A (zh) | 一种图像识别方法和装置 | |
CN105574475A (zh) | 一种基于共同向量词典的稀疏表示分类方法 | |
CN105354555A (zh) | 一种基于概率图模型的三维人脸识别方法 | |
CN106611158A (zh) | 人体3d特征信息的获取方法及设备 | |
CN105117703A (zh) | 基于矩阵乘法的快速动作单元识别方法 | |
Yang et al. | Combination of manual and non-manual features for sign language recognition based on conditional random field and active appearance model | |
Bayro-Corrochano et al. | Progress in Pattern Recognition, Image Analysis, Computer Vision, and Applications: 19th Iberoamerican Congress, CIARP 2014, Puerto Vallarta, Mexico, November 2-5, 2014, Proceedings | |
Nagendraswamy et al. | Indian sign language recognition: An approach based on fuzzy-symbolic data | |
CN103258186A (zh) | 基于图像分割的集成人脸识别方法 | |
CN106778491A (zh) | 人脸3d特征信息的获取方法及设备 | |
CN103942572A (zh) | 一种基于双向压缩数据空间维度缩减的面部表情特征提取方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140326 Termination date: 20150329 |
|
EXPY | Termination of patent right or utility model |