CN102945361A - 基于特征点矢量与纹理形变能量参数的人脸表情识别方法 - Google Patents

基于特征点矢量与纹理形变能量参数的人脸表情识别方法 Download PDF

Info

Publication number
CN102945361A
CN102945361A CN2012103938912A CN201210393891A CN102945361A CN 102945361 A CN102945361 A CN 102945361A CN 2012103938912 A CN2012103938912 A CN 2012103938912A CN 201210393891 A CN201210393891 A CN 201210393891A CN 102945361 A CN102945361 A CN 102945361A
Authority
CN
China
Prior art keywords
final
feature
deformation energy
facial expression
energy parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012103938912A
Other languages
English (en)
Other versions
CN102945361B (zh
Inventor
毛峡
易积政
薛雨丽
陈立江
王晓侃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201210393891.2A priority Critical patent/CN102945361B/zh
Publication of CN102945361A publication Critical patent/CN102945361A/zh
Application granted granted Critical
Publication of CN102945361B publication Critical patent/CN102945361B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种基于特征点矢量与纹理形变能量参数的人脸表情识别方法，概括为：1、利用OPENCV的AAM工具对人脸表情序列始端的中性表情和末端表情分别进行特征点定位；2、将选取的26个特征点构成特征点矢量，为适应人脸表情识别，本发明将特征点矢量分为特征点之间的欧氏距离d（代表大小）和连线的夹角α（代表方向）两部分。根据d与α计算特征点之间的距离系数比kd，去掉冗余部分kl，得到kd-final。同理可以得到kα-final；3、根据特征点确立特征块，计算纹理形变能量系数矩阵，再经过PCA，最终得到纹理形变能量参数ks-final；4、将最终的特征输入，即：kfinal=kd-final+kα-final+ks-final作为RBF神经网络的训练数据，最终实现人脸表情识别。

Description

基于特征点矢量与纹理形变能量参数的人脸表情识别方法
（一）技术领域
本发明涉及一种人脸表情识别方法，尤其是基于特征点与特征块的人脸表情特征提取方法，属于人脸表情识别领域。
（二）背景技术
情感识别一直是人机交互领域中一个重要的研究方向。为了建立友好和谐的人机交互模式，大量研究者从语音，面部表情，文本等方面入手，期望以单模或者多模融合的方法实现更好的人机交互效果。其中，面部表情识别是情感识别的一个重要研究方向，近些年也有大量优秀的研究成果涌现，这无疑有力地推动了人机交互研究的快速发展。感谢图像处理，模式识别等领域专家们的不懈努力，在计算机软硬件技术飞速发展的大前提下，基于面部表情的自动化情感识别在最近些年已经取得了显著的成果。Ekman和Friesen提出了高兴、悲伤、惊讶、生气、嫌恶、害怕这6种基本表情，并在1978年开发了面部动作编码系统。然而，真正意义上的依靠计算机的自动化人脸表情识别始于上世纪九十年代，许多基于Ekman和Friesen所提理论的研究成果相继出现。当然，也有一些研究者提出6种情感以外的情感模式，这极大的丰富了人脸情感识别研究的内容。为了识别这6种基本情感，研究者们所提出的研究方向大致分为两个主要的分支：一个是基于外观的方法，另一个就是基于特征的方法。目前所用到的识别特征主要有：灰度特征、运动特征和频率特征三种。灰度特征是从表情图像的灰度值上来处理，利用不同表情有不同灰度值来得到识别的依据；运动特征利用了不同表情情况下人脸的主要表情点的运动信息来进行识别；频域特征主要是利用了表情图像在不同的频率分解下的差别，速度快是其显著特点。具体的表情识别方法主要有三个：一是整体识别法和局部识别法，二是形变提取法和运动提取法，三是几何特征法和容貌特征法。当然，这三个发展方向不是严格独立的，恰恰相反，是相互联系，相互影响的，它们只是从不同侧面来提取所需要的表情特征，都只是提供了一种分析表情的思路。在此，本发明着重于基于纹理与基于特征两方面进行说明。
目前在人脸表情识别领域，结合人脸结构特征与纹理信息，并且考虑个体差异对人脸表情识别结果的影响，这样的方法还比较少，这在一定程度上制约了人脸表情识别研究的进一步发展。结合特征点矢量和纹理形变能量参数的人脸表情识别方法能够很好的解决这一问题。因此，提出这样一种有效的人脸表情识别方法具有很强的现实意义。
（三）发明内容
本发明创新性地给出了特征点矢量与纹理形变能量参数的概念，提出一种基于两者结合的人脸表情识别方法。
本发明的主要内容为：对人脸表情样本进行特征点定位，根据选取的特征点计算特征点矢量与纹理形变能量参数，然后通过RBF神经网络训练学习，完成七种人脸表情（高兴、悲伤、惊讶、生气、嫌恶、害怕、中性）识别。
该方法的具体步骤如下：
步骤1：利用OPENCV的AAM工具对人脸表情序列始端的中性表情和末端的惊讶表情（任为六种基本表情之一，以惊讶为例说明）分别进行特征点定位。
步骤2：将选取的特征点构成特征点矢量。矢量有大小和方向，为适应人脸表情识别，本发明将特征点矢量分为特征点之间的欧氏距离d（代表大小）和连线的夹角α（代表方向）两部分。根据d与α计算特征点之间的距离系数比kd，去掉冗余部分kl，得到kd-final。同理可以得到kα-final。
步骤3：根据特征点确立特征块，计算纹理形变能量系数矩阵，再经过PCA，最终得到纹理形变能量参数ks-final。
步骤4：将最终的特征输入，即：kfinal=kd-final+ka-final+ks-final作为RBF神经网络的训练数据，最终实现人脸表情识别。
本发明提供的人脸表情识别方法，其优点和积极效果在于：
1该方法基于人脸结构特征与纹理信息相结合的角度进行人脸表情识别。
2该方法考虑不同个体之间的差异，解决了个性信息，光照，小范围头部姿势等因素对人脸表情识别的影响。
（四）附图说明
图1人脸表情识别系统框图
图2特征点定位图
图3纹理形变能量参数获取图
图4RBF神经网络结构图
（五）具体实施方式
本发明的基本思想是通过AAM对人脸特征点进行定位，根据选取所需的26个特征点，计算特征点向量与纹理形变能量参数并进行整合，最后通过RBF神经网络实现人脸表情（高兴、悲伤、惊讶、生气、嫌恶、害怕、中性）识别的目的。
根据以上思想，本发明的系统结构框图如图1所示。
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，具体阐述本发明的实施方式。应当理解，此处所描述的具体实例仅用以解释本发明，并不用于限定本发明。
1、在获取特征点矢量与特征块之前，利用AAM对人脸表情序列始端的中性表情和末端的惊讶表情（任为六种基本表情之一，以惊讶为例说明）分别进行特征点定位，其中AAM工具来源于OPENCV软件包。特征点定位后，本发明选取其中26点作为最终的特征点，具体位置如图2所示，具体说明如下。
编号   名称 编号   名称
  1   右眉尾   14 左下眼睑
    2     右眉中     15     右前额
    3     右眉头     16     左前额
    4 右外眼角     17     右鼻翼
    5 右上眼睑     18     左鼻翼
    6 右内眼角     19     鼻小柱
    7 右下眼睑     20     右嘴角
    8     右眉尾     21   唇珠
  9   右眉中   22   左嘴角
  10   右眉头   23   下唇尖
  11 左外眼角   24   右腮
    12 左上眼睑   25   左腮
    13 左内眼角     26   下巴
2、计算特征点矢量。根据特征点构造特征点矢量，计算特征点之间的距离
Figure BDA00002265106400031
和
Figure BDA00002265106400032
特征点连线的夹角
Figure BDA00002265106400033
和
Figure BDA00002265106400034
对所得距离与夹角进行标准化，即
Figure BDA00002265106400035
Figure BDA00002265106400036
再将所有表情条件下，上述两个比值不会发生变化或者变化很小的冗余特征去除，最终参与后续训练分类实验的特征输入记为kd-final和kα-final。
3、计算纹理形变能量参数，如图3所示。选取参与计算的两个特征块记为F15,16,9,2和F3，10,13,6，其中下标表示特征点标号。首先对特征块进行大小调整。考虑特征块内的纹理信息对特征点位置较为敏感，本发明对调整大小后的特征块进行傅里叶变换；随后，将得到的惊讶与中性频谱图相比，则得到比例系数矩阵，再转化为系数向量；系数向量组合后再进行PCA，最终得到纹理形变能量参数，记为ks-final。
4、结合人脸表情识别各部分输入特征，即kfinal=kd-final+kα-final+ks-final。
5、本发明将RBF神经网络（如图4所示）的输出端设置为一个节点，值可为1、2、3、4、5、6、7，相应地表示为高兴、悲伤、惊讶、嫌恶、害怕、中性7种常见表情。将计算得到的各表情序列的kfinal作为RBF神经网络的训练数据，最终实现人脸表情识别。

Claims (4)

1.基于特征点矢量与纹理形变能量参数的人脸表情识别方法，其主要特征在于： 
步骤1：利用OPENCV的AAM工具对人脸表情序列始端的中性表情和末端的惊讶表情（任为六种基本表情之一，以惊讶为例说明）分别进行特征点定位； 
步骤2：将选取的特征点构成特征点矢量，为适应人脸表情识别，本发明将特征点矢量分为特征点之间的欧氏距离d（代表大小）和连线的夹角α（代表方向）两部分，然后根据d与α计算特征点之间的距离系数比kd，去掉冗余部分kl，得到kd-final，同理可以得到kα-final； 
步骤3：根据特征点确立特征块，计算纹理形变能量系数矩阵，再经过主成分分析（PCA），最终得到纹理形变能量参数ks-final； 
步骤4：将最终的输入特征，即：kfinal=kd-final+kα-final+ks-final作为RBF神经网络的训练数据，最终实现人脸表情识别。 
2.根据权利要求1所述方法，其步骤一中的主要特征为：最后选取的52个特征点记为 
Figure FDA00002265106300011
与
Figure FDA00002265106300012
。
3.根据权利要求1所述方法，其步骤二中的主要特征为：计算特征点之间的距离
Figure FDA00002265106300013
和
Figure FDA00002265106300014
特征点连线的夹角
Figure FDA00002265106300015
和
Figure FDA00002265106300016
然后对所得距离与夹角进行标准化，即 
Figure FDA00002265106300017
Figure FDA00002265106300018
再将所有表情条件下两个比值不会发生变化或者变化很小的冗余特征去除，最终参与后续训练分类实验的特征输入记为kd-final和kα-final。
4.根据权利要求1所述方法，其步骤三中的主要特征为：参与计算的两个特征块记为F15,16,9,2和F3，10,13,6（其中下标表示特征点标号），对特征块进行大小调整后，本发明对特征块进行傅里叶变换；随后，将得到的惊讶与中性频谱图相比，则得到比例系数矩阵，再转化为系数向量；最后，系数向量组合后再进行PCA，得到纹理形变能量参数，记为ks-final。 
CN201210393891.2A 2012-10-17 2012-10-17 基于特征点矢量与纹理形变能量参数的人脸表情识别方法 Expired - Fee Related CN102945361B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210393891.2A CN102945361B (zh) 2012-10-17 2012-10-17 基于特征点矢量与纹理形变能量参数的人脸表情识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210393891.2A CN102945361B (zh) 2012-10-17 2012-10-17 基于特征点矢量与纹理形变能量参数的人脸表情识别方法

Publications (2)

Publication Number Publication Date
CN102945361A true CN102945361A (zh) 2013-02-27
CN102945361B CN102945361B (zh) 2016-10-05

Family

ID=47728300

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210393891.2A Expired - Fee Related CN102945361B (zh) 2012-10-17 2012-10-17 基于特征点矢量与纹理形变能量参数的人脸表情识别方法

Country Status (1)

Country Link
CN (1) CN102945361B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103996029A (zh) * 2014-05-23 2014-08-20 安庆师范学院 表情相似度度量方法及装置
WO2015078168A1 (zh) * 2013-11-29 2015-06-04 华为技术有限公司 一种人脸属性检测模型生成方法及系统
CN105551499A (zh) * 2015-12-14 2016-05-04 渤海大学 面向语音与面部表情信号的情感可视化方法
CN106446793A (zh) * 2016-08-31 2017-02-22 广州莱德璞检测技术有限公司 一种基于人脸特征点的人脸轮廓计算方法
CN106940792A (zh) * 2017-03-15 2017-07-11 中南林业科技大学 基于特征点运动的人脸表情序列截取方法
CN107967458A (zh) * 2017-12-06 2018-04-27 宁波亿拍客网络科技有限公司 一种人脸识别方法
WO2018187952A1 (zh) * 2017-04-12 2018-10-18 邹霞 基于神经网络的核判别分析逼近方法
CN105095827B (zh) * 2014-04-18 2019-05-17 汉王科技股份有限公司 人脸表情识别装置和方法
CN109934190A (zh) * 2019-03-19 2019-06-25 中南林业科技大学 基于变形高斯核函数的自适应强光人脸图像纹理恢复方法
CN112562216A (zh) * 2020-12-01 2021-03-26 合肥大多数信息科技有限公司 一种电力营业厅智能收费机

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100134487A1 (en) * 2008-12-02 2010-06-03 Shang-Hong Lai 3d face model construction method
CN101908149A (zh) * 2010-07-06 2010-12-08 北京理工大学 一种从人脸图像序列中识别脸部表情的方法
CN101986328A (zh) * 2010-12-06 2011-03-16 东南大学 一种基于局部描述符的三维人脸识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100134487A1 (en) * 2008-12-02 2010-06-03 Shang-Hong Lai 3d face model construction method
CN101908149A (zh) * 2010-07-06 2010-12-08 北京理工大学 一种从人脸图像序列中识别脸部表情的方法
CN101986328A (zh) * 2010-12-06 2011-03-16 东南大学 一种基于局部描述符的三维人脸识别方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015078168A1 (zh) * 2013-11-29 2015-06-04 华为技术有限公司 一种人脸属性检测模型生成方法及系统
CN105095827B (zh) * 2014-04-18 2019-05-17 汉王科技股份有限公司 人脸表情识别装置和方法
CN103996029A (zh) * 2014-05-23 2014-08-20 安庆师范学院 表情相似度度量方法及装置
CN103996029B (zh) * 2014-05-23 2017-12-05 安庆师范学院 表情相似度度量方法及装置
CN105551499A (zh) * 2015-12-14 2016-05-04 渤海大学 面向语音与面部表情信号的情感可视化方法
CN106446793A (zh) * 2016-08-31 2017-02-22 广州莱德璞检测技术有限公司 一种基于人脸特征点的人脸轮廓计算方法
CN106940792A (zh) * 2017-03-15 2017-07-11 中南林业科技大学 基于特征点运动的人脸表情序列截取方法
WO2018187952A1 (zh) * 2017-04-12 2018-10-18 邹霞 基于神经网络的核判别分析逼近方法
CN107967458A (zh) * 2017-12-06 2018-04-27 宁波亿拍客网络科技有限公司 一种人脸识别方法
CN109934190A (zh) * 2019-03-19 2019-06-25 中南林业科技大学 基于变形高斯核函数的自适应强光人脸图像纹理恢复方法
CN112562216A (zh) * 2020-12-01 2021-03-26 合肥大多数信息科技有限公司 一种电力营业厅智能收费机

Also Published As

Publication number Publication date
CN102945361B (zh) 2016-10-05

Similar Documents

Publication Publication Date Title
CN102945361A (zh) 基于特征点矢量与纹理形变能量参数的人脸表情识别方法
CN110188343B (zh) 基于融合注意力网络的多模态情感识别方法
CN110427867B (zh) 基于残差注意力机制的面部表情识别方法及系统
CN109409296B (zh) 将人脸表情识别和语音情感识别融合的视频情感识别方法
Zhu et al. Continuous gesture segmentation and recognition using 3DCNN and convolutional LSTM
Neverova et al. A multi-scale approach to gesture detection and recognition
Dabre et al. Machine learning model for sign language interpretation using webcam images
CN107765852A (zh) 基于虚拟人的多模态交互处理方法及系统
CN106934375A (zh) 基于特征点运动轨迹描述的人脸表情识别方法
CN104881660A (zh) 基于gpu加速的人脸表情识别及互动方法
Ashwin et al. An e-learning system with multifacial emotion recognition using supervised machine learning
CN101877056A (zh) 人脸表情识别方法及系统、表情分类器的训练方法及系统
KR20120130627A (ko) 아바타를 이용한 애니메이션 생성 장치 및 방법
CN113781610A (zh) 一种虚拟人脸的生成方法
CN111680550B (zh) 情感信息识别方法、装置、存储介质及计算机设备
CN103123619A (zh) 基于情感上下文的视觉语音多模态协同分析方法及系统
CN110059593B (zh) 一种基于反馈卷积神经网络的面部表情识别方法
CN107103311A (zh) 一种连续手语的识别方法及其装置
CN109101953A (zh) 基于人类面部表情的分区要素化的表情动作生成方法
CN113920561A (zh) 一种基于零样本学习的人脸表情识别方法及装置
CN105718935A (zh) 一种适宜于视觉大数据的词频直方图计算方法
Saaidia et al. Facial expression recognition using neural network trained with Zernike moments
He et al. Facial Expression Recognition Using Hierarchical Features With Three-Channel Convolutional Neural Network
CN117528135A (zh) 语音驱动的脸部视频生成方法、装置、电子设备及介质
Nagaral et al. Hybrid approach for facial expression recognition using HJDLBP and LBP histogram in video sequences

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161005

Termination date: 20181017

CF01 Termination of patent right due to non-payment of annual fee