CN112364787A - 一种面部微表情识别方法 - Google Patents
一种面部微表情识别方法 Download PDFInfo
- Publication number
- CN112364787A CN112364787A CN202011271686.XA CN202011271686A CN112364787A CN 112364787 A CN112364787 A CN 112364787A CN 202011271686 A CN202011271686 A CN 202011271686A CN 112364787 A CN112364787 A CN 112364787A
- Authority
- CN
- China
- Prior art keywords
- model
- micro
- points
- feature
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000001815 facial effect Effects 0.000 title claims abstract description 10
- 238000001514 detection method Methods 0.000 claims abstract description 10
- 238000010606 normalization Methods 0.000 claims abstract description 8
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 230000014509 gene expression Effects 0.000 claims description 21
- 238000013179 statistical model Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims 1
- 238000007689 inspection Methods 0.000 abstract description 4
- 238000006243 chemical reaction Methods 0.000 abstract description 2
- 230000002996 emotional effect Effects 0.000 abstract description 2
- 230000008921 facial expression Effects 0.000 abstract description 2
- 238000012545 processing Methods 0.000 abstract description 2
- 230000011514 reflex Effects 0.000 abstract description 2
- 230000001720 vestibular Effects 0.000 abstract description 2
- 210000001097 facial muscle Anatomy 0.000 abstract 1
- 230000035479 physiological effects, processes and functions Effects 0.000 abstract 1
- 241000282414 Homo sapiens Species 0.000 description 5
- 210000004709 eyebrow Anatomy 0.000 description 5
- 210000000744 eyelid Anatomy 0.000 description 3
- 210000003205 muscle Anatomy 0.000 description 3
- 230000008451 emotion Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 206010063659 Aversion Diseases 0.000 description 1
- 235000017166 Bambusa arundinacea Nutrition 0.000 description 1
- 235000017491 Bambusa tulda Nutrition 0.000 description 1
- 241001330002 Bambuseae Species 0.000 description 1
- 235000015334 Phyllostachys viridis Nutrition 0.000 description 1
- 239000011425 bamboo Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000010195 expression analysis Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000002636 symptomatic treatment Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000010474 transient expression Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及计算机算法技术领域，具体地说，是一种面部微表情识别方法，包括以下步骤：步骤一：预处理操作；步骤二：模型建立操作；步骤三：模型匹配操作；步骤四：人脸切割和图像归一化操作；步骤五：微表情检测及特征提取操作；步骤六：微表情识别操作，本发明通过程序法计算机算法采集分析人的脸部细微肌肉抖动（颤动）并进行捕捉，然后依据人的前庭情感反射功能和生理学以及心理学等关联性反应的参数值来分析并识别面部表情；检测速度快、处理能力强、检查效率高；远程检查无接触、对目标隐秘、友好；精准度高、出错概率低。
Description
技术领域
本发明涉及计算机算法技术领域，具体地说，是一种面部微表情识别方法。
背景技术
“微表情”一闪而过，通常甚至清醒的作表情的人和观察者都察觉不到。在实验里，只有10%的人察觉到。比起人们有意识做出的表情，“微表情”更能体现人们真实的感受和动机。虽然人们会忽略“微表情”，但是人的大脑依然受其影响，改变对别人表情的理解。所以如果某人很自然地表现“高兴”的表情，且其中不含有“微表情”，就能断定这人是高兴的。但是如果其间有“嗤笑”的“微表情”闪现，就算你没有刻意去察觉，你会更倾向于认为这张“高兴”的面孔是“狡猾的”或“不可信的”。
另外，除了指短暂的表情外，微表情在应用上更倾向于指代那些被抑制的表情。譬如说在明显悲伤的情况下，某人表现出大部分悲痛的表情，嘴角却抑制不住地上翘。这时，这个人明显希望表现出悲伤的情绪，但是却不由自主的出现了微笑的微表情。由于自身理性的抑制，表现的不明显抑或较为短暂。类似这样的差异在微表情分析中更为常用。
微表情反映了人试图压抑与隐藏的真实情感，是一种有效的非言语线索。在临床领域，临床心理学家或许可以仔细观察患者，发现其微表情，了解患者对特定事或人的真正态度和想法，从而对症治疗，缩短治疗时间；在司法领域，法官或许可以藉由犯罪嫌疑人脸上的微表情，判断犯罪嫌疑人是否在撒谎：在安全领域，安全人员或许可以藉由微表情判断对方是否有攻击的意图，从而防患于未然。
发明内容
本发明的目的就是提供一种可基于计算机算法的微表情识别方法，顺利实施及应用。
本发明采用的具体技术方案如下：
一种面部微表情识别方法，该方法基于ASM算法，包括以下步骤：
步骤一：预处理操作；
步骤二：模型建立操作；
步骤三：模型匹配操作；
步骤四：人脸切割和图像归一化操作；
步骤五：微表情检测及特征提取操作；
步骤六：微表情识别操作。
在上述技术方案中，步骤二模型建立的操作中，选择边缘点、曲率大的、T型连接点和以上这些点的连线上的等分点，记录好这些特征点的顺序，得到一组特征点集；步骤二模型建立的操作中，在得到特征点集后再根据形状统计模型，使用PCA来进行降维，提取出主成分，将特征点集变化成主成分向量空间的一个坐标点，得到统计模型，再将统计模型进行旋转、放缩、平移。
在上述技术方案中，步骤三模型匹配操作中，先验信息认为特征点主要是图像的强边缘点，并且图像灰度的梯度服从高斯分布，找到模型特征点附近梯度最大的值，即认为是特征点所在的位置，模型特征点周围的纹理信息进行采样，对比图像和模型训练集的纹理，找到纹理最接近的点即认为是特征点。
在上述技术方案中，步骤四人脸切割和图像归一化操作中，根据面部特征点和几何模型确定人脸矩形区域并进行剪裁通过采用联合级联法检测面部特征点，再以该特征点为依据进行人脸切割，给出了光照变化模型。
在上述技术方案中，步骤五微表情检测及特征提取操作中，基于静态图片采用整体法和局部法；基于动态图片采用光流法和模型法、几何法、深度学习法。
在上述技术方案中，步骤六微表情识别操作采用最近邻分类器。
本发明的有益效果：本发明通过程序法计算机算法采集分析人的脸部细微肌肉抖动（颤动）并进行捕捉，然后依据人的前庭情感反射功能和生理学以及心理学等关联性反应的参数值来分析并识别面部表情；检测速度快、处理能力强、检查效率高；远程检查无接触、对目标隐秘、友好；精准度高、出错概率低。
具体实施方式
为了加深对本发明的理解，下面将结合实施例对本发明做进一步详细描述，该实施例仅用于解释本发明，并不对本发明的保护范围构成限定。
实施例：一种面部微表情识别方法，包括以下步骤：步骤一：预处理操作；步骤二：模型建立操作；步骤三：模型匹配操作；步骤四：人脸切割和图像归一化操作；步骤五：微表情检测及特征提取操作；步骤六：微表情识别操作。
其中，预处理主要包括人脸检测及配准、人脸切割和图像归一化
使用的算法是ASM点分布模型（Point Distribution Model, PDM）的算法。ASM跟大多数统计学习方法一样，也包括train和test（or fit）两部分，也就是形状建模build和形状匹配fit。
在上述技术方案中，步骤二模型建立的操作中，选择边缘点、曲率大的、T型连接点和以上这些点的连线上的等分点，记录好这些特征点的顺序，以便于后面确定图形的边界和连线等等，这也是ASM方法的优点，得到的特征点是有序的。这样得到一组特征点集X。
步骤二模型建立的操作中，在得到特征点集后再根据形状统计模型，刚刚得到的2n维向量维数很高，但这2n维彼此是有很强的相关性的，彼此的位置距离是大致不变的。使用最最常用的PCA来进行降维，提取出主成分，叫它modes。于是任意一组特征点集可以看做是主成分向量空间的一个坐标点，而这个坐标原点就认为是这些点集的平均，这样任意点就是坐标原点加上一个向量，再将统计模型进行旋转、放缩、平移，具体的匹配过程就是，先初始化b向量为0，得到模型X，用其他方法找到变换矩阵T，可以用其他方法（haar人脸检测器，光流法，kalman滤波等等）大致找到目标的位置和大小以及方向。求的Y，再利用Y反求b，并且更新b，直到收敛。
在上述技术方案中，步骤三模型匹配操作中，就是在图像中找到模型的匹配点，可以利用其它方法大致找到模型的位置大小方向，接下来就是如何改善参数得到好的匹配结果了。模型中可以调整的参数有b、Xt、Yt、s、theta这5个参数。先验信息认为特征点主要是图像的强边缘点，并且图像灰度的梯度服从高斯分布，找到模型特征点附近梯度最大的值，即认为是特征点所在的位置，模型特征点周围的纹理信息进行采样，对比图像和模型训练集的纹理，找到纹理最接近的点即认为是特征点。
在上述技术方案中，步骤四人脸切割和图像归一化操作中，根据面部特征点和几何模型确定人脸矩形区域并进行剪裁通过采用联合级联法检测面部特征点，再以该特征点为依据进行人脸切割，给出了光照变化模型。
在上述技术方案中，步骤五微表情检测及特征提取操作中，基于静态图片采用整体法和局部法；基于动态图片采用光流法和模型法、几何法、深度学习法。
步骤六微表情识别采用最近邻分类器。
人类主要拥有至少七种表情，每种表情都表达不一样的意思：根据心理学上的微表情进行化分以下7类：
高兴：人们高兴时的面部动作包括：嘴角翘起，面颊上抬起皱，眼睑收缩，眼睛尾部会形成“鱼尾纹”。
伤心：面部特征包括眯眼，眉毛收紧，嘴角下拉，下巴抬起或收紧。
害怕：害怕时，嘴巴和眼睛张开，眉毛上扬，鼻孔张大。
愤怒：这时眉毛下垂，前额紧皱，眼睑和嘴唇紧张。
厌恶：厌恶的表情包括嗤鼻，上嘴唇上抬，眉毛下垂，眯眼。
惊讶：惊讶时，下颚下垂，嘴唇和嘴巴放松，眼睛张大，眼睑和眉毛微抬。
轻蔑：轻蔑的著名特征就是嘴角一侧抬起，作讥笑或得意笑状。
把每一类，所对应的部分的特点都记录下来。最后再根据组合，判断属于是哪一类。
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (7)
1.一种面部微表情识别方法，该方法基于ASM算法，其特征在于，包括以下步骤：
步骤一：预处理操作；
步骤二：模型建立操作；
步骤三：模型匹配操作；
步骤四：人脸切割和图像归一化操作；
步骤五：微表情检测及特征提取操作；
步骤六：微表情识别操作。
2.根据权利要求1所述的面部微表情识别方法，其特征在于，所述步骤二模型建立的操作中，选择边缘点、曲率大的、T型连接点和以上这些点的连线上的等分点，记录好这些特征点的顺序，得到一组特征点集。
3.根据权利要求2所述的面部微表情识别方法，其特征在于，所述步骤二模型建立的操作中，在得到特征点集后再根据形状统计模型，使用PCA来进行降维，提取出主成分，将特征点集变化成主成分向量空间的一个坐标点，得到统计模型，再将统计模型进行旋转、放缩、平移。
4.根据权利要求3所述的面部微表情识别方法，其特征在于，所述步骤三模型匹配操作中，先验信息认为特征点主要是图像的强边缘点，并且图像灰度的梯度服从高斯分布，找到模型特征点附近梯度最大的值，即认为是特征点所在的位置，模型特征点周围的纹理信息进行采样，对比图像和模型训练集的纹理，找到纹理最接近的点即认为是特征点。
5.根据权利要求4所述的面部微表情识别方法，其特征在于，所述步骤四人脸切割和图像归一化操作中，根据面部特征点和几何模型确定人脸矩形区域并进行剪裁通过采用联合级联法检测面部特征点，再以该特征点为依据进行人脸切割，给出了光照变化模型。
6.根据权利要求5所述的面部微表情识别方法，其特征在于，所述步骤五微表情检测及特征提取操作中，基于静态图片采用整体法和局部法；基于动态图片采用光流法和模型法、几何法、深度学习法。
7.根据权利要求6所述的面部微表情识别方法，其特征在于，所述步骤六微表情识别操作采用最近邻分类器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011271686.XA CN112364787A (zh) | 2020-11-13 | 2020-11-13 | 一种面部微表情识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011271686.XA CN112364787A (zh) | 2020-11-13 | 2020-11-13 | 一种面部微表情识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112364787A true CN112364787A (zh) | 2021-02-12 |
Family
ID=74515576
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011271686.XA Pending CN112364787A (zh) | 2020-11-13 | 2020-11-13 | 一种面部微表情识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112364787A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116367390A (zh) * | 2023-05-31 | 2023-06-30 | 深圳憨厚科技有限公司 | 一种照明状态动态调节方法、装置和智能电灯 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103440509A (zh) * | 2013-08-28 | 2013-12-11 | 山东大学 | 一种有效的微表情自动识别方法 |
| CN103473801A (zh) * | 2013-09-27 | 2013-12-25 | 中国科学院自动化研究所 | 一种基于单摄像头与运动捕捉数据的人脸表情编辑方法 |
| WO2017167313A1 (zh) * | 2016-04-01 | 2017-10-05 | 中兴通讯股份有限公司 | 一种表情识别方法及装置 |
| CN109472198A (zh) * | 2018-09-28 | 2019-03-15 | 武汉工程大学 | 一种姿态鲁棒的视频笑脸识别方法 |
| CN109543603A (zh) * | 2018-11-21 | 2019-03-29 | 山东大学 | 一种基于宏表情知识迁移的微表情识别方法 |
-
2020
- 2020-11-13 CN CN202011271686.XA patent/CN112364787A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103440509A (zh) * | 2013-08-28 | 2013-12-11 | 山东大学 | 一种有效的微表情自动识别方法 |
| CN103473801A (zh) * | 2013-09-27 | 2013-12-25 | 中国科学院自动化研究所 | 一种基于单摄像头与运动捕捉数据的人脸表情编辑方法 |
| WO2017167313A1 (zh) * | 2016-04-01 | 2017-10-05 | 中兴通讯股份有限公司 | 一种表情识别方法及装置 |
| CN109472198A (zh) * | 2018-09-28 | 2019-03-15 | 武汉工程大学 | 一种姿态鲁棒的视频笑脸识别方法 |
| CN109543603A (zh) * | 2018-11-21 | 2019-03-29 | 山东大学 | 一种基于宏表情知识迁移的微表情识别方法 |
Non-Patent Citations (5)
| Title |
|---|
| YEE-HUI OH 等: "A Survey of Automatic Facial Micro-Expression Analysis：Databases, Methods, and Challenges", 《FRONTIERS IN PSYCHOLOGY》, pages 1 - 21 * |
| 刘成: "一种基于增强现实的虚拟眼镜试戴的方法", 《中国优秀硕士学位论文全文数据库信息科技辑》, pages 138 - 1375 * |
| 李文书 等: "微表情识别方法综述", 《人类工效学》, vol. 24, no. 4, pages 75 - 80 * |
| 杜杏菁;徐玲;: "微表情识别技术分析", 《计算机与数字工程》, vol. 45, no. 02, pages 355 - 359 * |
| 蒋斌 等: "人脸表情识别的研究进展", 《计算机科学》, vol. 38, no. 4, pages 25 - 31 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116367390A (zh) * | 2023-05-31 | 2023-06-30 | 深圳憨厚科技有限公司 | 一种照明状态动态调节方法、装置和智能电灯 |
| CN116367390B (zh) * | 2023-05-31 | 2023-08-15 | 深圳憨厚科技有限公司 | 一种照明状态动态调节方法、装置和智能电灯 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tian et al. | Recognizing action units for facial expression analysis | |
| CN110287790B (zh) | 一种面向静态多人场景的学习状态混合分析方法 | |
| KR101893554B1 (ko) | 멀티 모달 데이터 기반 표정인식방법 및 장치 | |
| Amarnag et al. | Real time eye tracking for human computer interfaces | |
| Barkoky et al. | Static hand gesture recognition of Persian sign numbers using thinning method | |
| Vishwakarma et al. | Simple and intelligent system to recognize the expression of speech-disabled person | |
| CN111079465A (zh) | 一种基于三维成像分析的情绪状态综合判定方法 | |
| Sobia et al. | Facial expression recognition using PCA based interface for wheelchair | |
| Singh et al. | A Review For Different Sign Language Recognition Systems | |
| CN112364787A (zh) | 一种面部微表情识别方法 | |
| Pantic et al. | Facial action recognition in face profile image sequences | |
| Chang et al. | Personalized facial expression recognition in indoor environments | |
| CN106919898A (zh) | 人脸识别中的特征建模方法 | |
| Taskirar et al. | Face recognition using dynamic features extracted from smile videos | |
| Lee | Detection and recognition of facial emotion using bezier curves | |
| Cabalfin et al. | Filipino sign language recognition using manifold projection learning | |
| Kostov et al. | Method for simple extraction of paralinguistic features in human face | |
| Lee et al. | Recognition of facial emotion through face analysis based on quadratic bezier curves | |
| Li et al. | An integrated 3D face-expression recognition approach | |
| Abd et al. | Automated deception detection systems, a review | |
| Rani et al. | Implementation of emotion detection system using facial expressions | |
| Takimoto et al. | A design of gender and age estimation system based on facial knowledge | |
| Yong et al. | Facial expression monitoring system using pca-bayes classifier | |
| Marcos et al. | Nonverbal communication with a multimodal agent via facial expression recognition | |
| Mohmmad et al. | Static hand gesture recognition for ASL using MATLAB platform |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |