CN102945361A - 基于特征点矢量与纹理形变能量参数的人脸表情识别方法 - Google Patents
基于特征点矢量与纹理形变能量参数的人脸表情识别方法 Download PDFInfo
- Publication number
- CN102945361A CN102945361A CN2012103938912A CN201210393891A CN102945361A CN 102945361 A CN102945361 A CN 102945361A CN 2012103938912 A CN2012103938912 A CN 2012103938912A CN 201210393891 A CN201210393891 A CN 201210393891A CN 102945361 A CN102945361 A CN 102945361A
- Authority
- CN
- China
- Prior art keywords
- final
- feature
- facial expression
- feature points
- deformation energy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims abstract description 23
- 239000013598 vector Substances 0.000 title claims abstract description 21
- 230000014509 gene expression Effects 0.000 claims abstract description 24
- 230000007935 neutral effect Effects 0.000 claims abstract description 9
- 238000013528 artificial neural network Methods 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims abstract description 5
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000002474 experimental method Methods 0.000 claims description 2
- 238000001228 spectrum Methods 0.000 claims description 2
- 238000000513 principal component analysis Methods 0.000 claims 3
- 238000011160 research Methods 0.000 description 8
- 210000004709 eyebrow Anatomy 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008909 emotion recognition Effects 0.000 description 4
- 210000000744 eyelid Anatomy 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 230000008451 emotion Effects 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 241000083547 Columella Species 0.000 description 1
- 239000011324 bead Substances 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提出了一种基于特征点矢量与纹理形变能量参数的人脸表情识别方法，概括为：1、利用OPENCV的AAM工具对人脸表情序列始端的中性表情和末端表情分别进行特征点定位；2、将选取的26个特征点构成特征点矢量，为适应人脸表情识别，本发明将特征点矢量分为特征点之间的欧氏距离d（代表大小）和连线的夹角α（代表方向）两部分。根据d与α计算特征点之间的距离系数比kd，去掉冗余部分kl，得到kd-final。同理可以得到kα-final；3、根据特征点确立特征块，计算纹理形变能量系数矩阵，再经过PCA，最终得到纹理形变能量参数ks-final；4、将最终的特征输入，即：kfinal=kd-final+kα-final+ks-final作为RBF神经网络的训练数据，最终实现人脸表情识别。
Description
（一）技术领域
本发明涉及一种人脸表情识别方法，尤其是基于特征点与特征块的人脸表情特征提取方法，属于人脸表情识别领域。
（二）背景技术
情感识别一直是人机交互领域中一个重要的研究方向。为了建立友好和谐的人机交互模式，大量研究者从语音，面部表情，文本等方面入手，期望以单模或者多模融合的方法实现更好的人机交互效果。其中，面部表情识别是情感识别的一个重要研究方向，近些年也有大量优秀的研究成果涌现，这无疑有力地推动了人机交互研究的快速发展。感谢图像处理，模式识别等领域专家们的不懈努力，在计算机软硬件技术飞速发展的大前提下，基于面部表情的自动化情感识别在最近些年已经取得了显著的成果。Ekman和Friesen提出了高兴、悲伤、惊讶、生气、嫌恶、害怕这6种基本表情，并在1978年开发了面部动作编码系统。然而，真正意义上的依靠计算机的自动化人脸表情识别始于上世纪九十年代，许多基于Ekman和Friesen所提理论的研究成果相继出现。当然，也有一些研究者提出6种情感以外的情感模式，这极大的丰富了人脸情感识别研究的内容。为了识别这6种基本情感，研究者们所提出的研究方向大致分为两个主要的分支：一个是基于外观的方法，另一个就是基于特征的方法。目前所用到的识别特征主要有：灰度特征、运动特征和频率特征三种。灰度特征是从表情图像的灰度值上来处理，利用不同表情有不同灰度值来得到识别的依据；运动特征利用了不同表情情况下人脸的主要表情点的运动信息来进行识别；频域特征主要是利用了表情图像在不同的频率分解下的差别，速度快是其显著特点。具体的表情识别方法主要有三个：一是整体识别法和局部识别法，二是形变提取法和运动提取法，三是几何特征法和容貌特征法。当然，这三个发展方向不是严格独立的，恰恰相反，是相互联系，相互影响的，它们只是从不同侧面来提取所需要的表情特征，都只是提供了一种分析表情的思路。在此，本发明着重于基于纹理与基于特征两方面进行说明。
目前在人脸表情识别领域，结合人脸结构特征与纹理信息，并且考虑个体差异对人脸表情识别结果的影响，这样的方法还比较少，这在一定程度上制约了人脸表情识别研究的进一步发展。结合特征点矢量和纹理形变能量参数的人脸表情识别方法能够很好的解决这一问题。因此，提出这样一种有效的人脸表情识别方法具有很强的现实意义。
（三）发明内容
本发明创新性地给出了特征点矢量与纹理形变能量参数的概念，提出一种基于两者结合的人脸表情识别方法。
本发明的主要内容为：对人脸表情样本进行特征点定位，根据选取的特征点计算特征点矢量与纹理形变能量参数，然后通过RBF神经网络训练学习，完成七种人脸表情（高兴、悲伤、惊讶、生气、嫌恶、害怕、中性）识别。
该方法的具体步骤如下：
步骤1：利用OPENCV的AAM工具对人脸表情序列始端的中性表情和末端的惊讶表情（任为六种基本表情之一，以惊讶为例说明）分别进行特征点定位。
步骤2：将选取的特征点构成特征点矢量。矢量有大小和方向，为适应人脸表情识别，本发明将特征点矢量分为特征点之间的欧氏距离d（代表大小）和连线的夹角α（代表方向）两部分。根据d与α计算特征点之间的距离系数比kd，去掉冗余部分kl，得到kd-final。同理可以得到kα-final。
步骤3：根据特征点确立特征块，计算纹理形变能量系数矩阵，再经过PCA，最终得到纹理形变能量参数ks-final。
步骤4：将最终的特征输入，即：kfinal=kd-final+ka-final+ks-final作为RBF神经网络的训练数据，最终实现人脸表情识别。
本发明提供的人脸表情识别方法，其优点和积极效果在于：
1该方法基于人脸结构特征与纹理信息相结合的角度进行人脸表情识别。
2该方法考虑不同个体之间的差异，解决了个性信息，光照，小范围头部姿势等因素对人脸表情识别的影响。
（四）附图说明
图1人脸表情识别系统框图
图2特征点定位图
图3纹理形变能量参数获取图
图4RBF神经网络结构图
（五）具体实施方式
本发明的基本思想是通过AAM对人脸特征点进行定位，根据选取所需的26个特征点，计算特征点向量与纹理形变能量参数并进行整合，最后通过RBF神经网络实现人脸表情（高兴、悲伤、惊讶、生气、嫌恶、害怕、中性）识别的目的。
根据以上思想，本发明的系统结构框图如图1所示。
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，具体阐述本发明的实施方式。应当理解，此处所描述的具体实例仅用以解释本发明，并不用于限定本发明。
1、在获取特征点矢量与特征块之前，利用AAM对人脸表情序列始端的中性表情和末端的惊讶表情（任为六种基本表情之一，以惊讶为例说明）分别进行特征点定位，其中AAM工具来源于OPENCV软件包。特征点定位后，本发明选取其中26点作为最终的特征点，具体位置如图2所示，具体说明如下。
| 编号 | 名称 | 编号 | 名称 |
| 1 | 右眉尾 | 14 | 左下眼睑 |
| 2 | 右眉中 | 15 | 右前额 |
| 3 | 右眉头 | 16 | 左前额 |
| 4 | 右外眼角 | 17 | 右鼻翼 |
| 5 | 右上眼睑 | 18 | 左鼻翼 |
| 6 | 右内眼角 | 19 | 鼻小柱 |
| 7 | 右下眼睑 | 20 | 右嘴角 |
| 8 | 右眉尾 | 21 | 唇珠 |
| 9 | 右眉中 | 22 | 左嘴角 |
| 10 | 右眉头 | 23 | 下唇尖 |
| 11 | 左外眼角 | 24 | 右腮 |
| 12 | 左上眼睑 | 25 | 左腮 |
| 13 | 左内眼角 | 26 | 下巴 |
2、计算特征点矢量。根据特征点构造特征点矢量，计算特征点之间的距离
和
特征点连线的夹角
和
对所得距离与夹角进行标准化，即
再将所有表情条件下，上述两个比值不会发生变化或者变化很小的冗余特征去除，最终参与后续训练分类实验的特征输入记为kd-final和kα-final。
3、计算纹理形变能量参数，如图3所示。选取参与计算的两个特征块记为F15,16,9,2和F3，10,13,6，其中下标表示特征点标号。首先对特征块进行大小调整。考虑特征块内的纹理信息对特征点位置较为敏感，本发明对调整大小后的特征块进行傅里叶变换；随后，将得到的惊讶与中性频谱图相比，则得到比例系数矩阵，再转化为系数向量；系数向量组合后再进行PCA，最终得到纹理形变能量参数，记为ks-final。
4、结合人脸表情识别各部分输入特征，即kfinal=kd-final+kα-final+ks-final。
5、本发明将RBF神经网络（如图4所示）的输出端设置为一个节点，值可为1、2、3、4、5、6、7，相应地表示为高兴、悲伤、惊讶、嫌恶、害怕、中性7种常见表情。将计算得到的各表情序列的kfinal作为RBF神经网络的训练数据，最终实现人脸表情识别。
Claims (4)
1.基于特征点矢量与纹理形变能量参数的人脸表情识别方法，其主要特征在于：
步骤1：利用OPENCV的AAM工具对人脸表情序列始端的中性表情和末端的惊讶表情（任为六种基本表情之一，以惊讶为例说明）分别进行特征点定位；
步骤2：将选取的特征点构成特征点矢量，为适应人脸表情识别，本发明将特征点矢量分为特征点之间的欧氏距离d（代表大小）和连线的夹角α（代表方向）两部分，然后根据d与α计算特征点之间的距离系数比kd，去掉冗余部分kl，得到kd-final，同理可以得到kα-final；
步骤3：根据特征点确立特征块，计算纹理形变能量系数矩阵，再经过主成分分析（PCA），最终得到纹理形变能量参数ks-final；
步骤4：将最终的输入特征，即：kfinal=kd-final+kα-final+ks-final作为RBF神经网络的训练数据，最终实现人脸表情识别。
2.根据权利要求1所述方法，其步骤一中的主要特征为：最后选取的52个特征点记为 
与
。
3.根据权利要求1所述方法，其步骤二中的主要特征为：计算特征点之间的距离
和
特征点连线的夹角
和
然后对所得距离与夹角进行标准化，即 
再将所有表情条件下两个比值不会发生变化或者变化很小的冗余特征去除，最终参与后续训练分类实验的特征输入记为kd-final和kα-final。
4.根据权利要求1所述方法，其步骤三中的主要特征为：参与计算的两个特征块记为F15,16,9,2和F3，10,13,6（其中下标表示特征点标号），对特征块进行大小调整后，本发明对特征块进行傅里叶变换；随后，将得到的惊讶与中性频谱图相比，则得到比例系数矩阵，再转化为系数向量；最后，系数向量组合后再进行PCA，得到纹理形变能量参数，记为ks-final。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210393891.2A CN102945361B (zh) | 2012-10-17 | 2012-10-17 | 基于特征点矢量与纹理形变能量参数的人脸表情识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210393891.2A CN102945361B (zh) | 2012-10-17 | 2012-10-17 | 基于特征点矢量与纹理形变能量参数的人脸表情识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102945361A true CN102945361A (zh) | 2013-02-27 |
| CN102945361B CN102945361B (zh) | 2016-10-05 |
Family
ID=47728300
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210393891.2A Expired - Fee Related CN102945361B (zh) | 2012-10-17 | 2012-10-17 | 基于特征点矢量与纹理形变能量参数的人脸表情识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102945361B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103996029A (zh) * | 2014-05-23 | 2014-08-20 | 安庆师范学院 | 表情相似度度量方法及装置 |
| WO2015078168A1 (zh) * | 2013-11-29 | 2015-06-04 | 华为技术有限公司 | 一种人脸属性检测模型生成方法及系统 |
| CN105551499A (zh) * | 2015-12-14 | 2016-05-04 | 渤海大学 | 面向语音与面部表情信号的情感可视化方法 |
| CN106446793A (zh) * | 2016-08-31 | 2017-02-22 | 广州莱德璞检测技术有限公司 | 一种基于人脸特征点的人脸轮廓计算方法 |
| CN106940792A (zh) * | 2017-03-15 | 2017-07-11 | 中南林业科技大学 | 基于特征点运动的人脸表情序列截取方法 |
| CN107967458A (zh) * | 2017-12-06 | 2018-04-27 | 宁波亿拍客网络科技有限公司 | 一种人脸识别方法 |
| WO2018187952A1 (zh) * | 2017-04-12 | 2018-10-18 | 邹霞 | 基于神经网络的核判别分析逼近方法 |
| CN105095827B (zh) * | 2014-04-18 | 2019-05-17 | 汉王科技股份有限公司 | 人脸表情识别装置和方法 |
| CN109934190A (zh) * | 2019-03-19 | 2019-06-25 | 中南林业科技大学 | 基于变形高斯核函数的自适应强光人脸图像纹理恢复方法 |
| CN112562216A (zh) * | 2020-12-01 | 2021-03-26 | 合肥大多数信息科技有限公司 | 一种电力营业厅智能收费机 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100134487A1 (en) * | 2008-12-02 | 2010-06-03 | Shang-Hong Lai | 3d face model construction method |
| CN101908149A (zh) * | 2010-07-06 | 2010-12-08 | 北京理工大学 | 一种从人脸图像序列中识别脸部表情的方法 |
| CN101986328A (zh) * | 2010-12-06 | 2011-03-16 | 东南大学 | 一种基于局部描述符的三维人脸识别方法 |
-
2012
- 2012-10-17 CN CN201210393891.2A patent/CN102945361B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100134487A1 (en) * | 2008-12-02 | 2010-06-03 | Shang-Hong Lai | 3d face model construction method |
| CN101908149A (zh) * | 2010-07-06 | 2010-12-08 | 北京理工大学 | 一种从人脸图像序列中识别脸部表情的方法 |
| CN101986328A (zh) * | 2010-12-06 | 2011-03-16 | 东南大学 | 一种基于局部描述符的三维人脸识别方法 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015078168A1 (zh) * | 2013-11-29 | 2015-06-04 | 华为技术有限公司 | 一种人脸属性检测模型生成方法及系统 |
| CN105095827B (zh) * | 2014-04-18 | 2019-05-17 | 汉王科技股份有限公司 | 人脸表情识别装置和方法 |
| CN103996029A (zh) * | 2014-05-23 | 2014-08-20 | 安庆师范学院 | 表情相似度度量方法及装置 |
| CN103996029B (zh) * | 2014-05-23 | 2017-12-05 | 安庆师范学院 | 表情相似度度量方法及装置 |
| CN105551499A (zh) * | 2015-12-14 | 2016-05-04 | 渤海大学 | 面向语音与面部表情信号的情感可视化方法 |
| CN106446793A (zh) * | 2016-08-31 | 2017-02-22 | 广州莱德璞检测技术有限公司 | 一种基于人脸特征点的人脸轮廓计算方法 |
| CN106940792A (zh) * | 2017-03-15 | 2017-07-11 | 中南林业科技大学 | 基于特征点运动的人脸表情序列截取方法 |
| WO2018187952A1 (zh) * | 2017-04-12 | 2018-10-18 | 邹霞 | 基于神经网络的核判别分析逼近方法 |
| CN107967458A (zh) * | 2017-12-06 | 2018-04-27 | 宁波亿拍客网络科技有限公司 | 一种人脸识别方法 |
| CN109934190A (zh) * | 2019-03-19 | 2019-06-25 | 中南林业科技大学 | 基于变形高斯核函数的自适应强光人脸图像纹理恢复方法 |
| CN112562216A (zh) * | 2020-12-01 | 2021-03-26 | 合肥大多数信息科技有限公司 | 一种电力营业厅智能收费机 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102945361B (zh) | 2016-10-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102945361B (zh) | 基于特征点矢量与纹理形变能量参数的人脸表情识别方法 | |
| CN110188343A (zh) | 基于融合注意力网络的多模态情感识别方法 | |
| CN113822192B (zh) | 一种基于Transformer的多模态特征融合的在押人员情感识别方法、设备及介质 | |
| CN108717856B (zh) | 一种基于多尺度深度卷积循环神经网络的语音情感识别方法 | |
| CN106934375A (zh) | 基于特征点运动轨迹描述的人脸表情识别方法 | |
| CN105956560B (zh) | 一种基于池化多尺度深度卷积特征的车型识别方法 | |
| CN108491835A (zh) | 面向面部表情识别的双通道卷积神经网络 | |
| CN109409222A (zh) | 一种基于移动端的多视角人脸表情识别方法 | |
| CN104881660A (zh) | 基于gpu加速的人脸表情识别及互动方法 | |
| CN104376333A (zh) | 基于随机森林的人脸表情识别方法 | |
| CN105512638A (zh) | 一种基于融合特征的人脸检测与对齐方法 | |
| CN101908149A (zh) | 一种从人脸图像序列中识别脸部表情的方法 | |
| CN103400145A (zh) | 基于线索神经网络的语音-视觉融合情感识别方法 | |
| CN110956082B (zh) | 基于深度学习的人脸关键点检测方法和检测系统 | |
| CN110059593B (zh) | 一种基于反馈卷积神经网络的面部表情识别方法 | |
| CN103034847A (zh) | 一种基于隐马尔可夫模型的人脸识别方法 | |
| CN104008754A (zh) | 一种基于半监督特征选择的语音情感识别方法 | |
| CN114722202B (zh) | 基于双向双层注意力lstm网络的多模态情感分类方法及系统 | |
| CN108537120A (zh) | 一种基于深度学习的人脸识别方法及系统 | |
| CN108038434A (zh) | 基于多示例学习的视频人脸表情预检测方法 | |
| CN107622261A (zh) | 基于深度学习的人脸年龄估计方法及装置 | |
| Mohanty et al. | Rasabodha: Understanding Indian classical dance by recognizing emotions using deep learning | |
| Liu et al. | A novel facial expression recognition method based on extreme learning machine | |
| CN106096642A (zh) | 基于鉴别局部保持投影的多模态情感特征融合方法 | |
| CN106940792B (zh) | 基于特征点运动的人脸表情序列截取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20161005 Termination date: 20181017 |