CN107563292B - 一种基于lddmm曲线匹配的人脸情感识别方法 - Google Patents
一种基于lddmm曲线匹配的人脸情感识别方法 Download PDFInfo
- Publication number
- CN107563292B CN107563292B CN201710654590.3A CN201710654590A CN107563292B CN 107563292 B CN107563292 B CN 107563292B CN 201710654590 A CN201710654590 A CN 201710654590A CN 107563292 B CN107563292 B CN 107563292B
- Authority
- CN
- China
- Prior art keywords
- expression
- profile
- curve
- feature
- neutral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000008451 emotion Effects 0.000 title claims abstract description 13
- 230000014509 gene expression Effects 0.000 claims abstract description 118
- 230000007935 neutral effect Effects 0.000 claims abstract description 37
- 238000000605 extraction Methods 0.000 claims abstract description 23
- 238000013507 mapping Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims description 6
- 230000008909 emotion recognition Effects 0.000 abstract description 7
- 230000004927 fusion Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 230000004438 eyesight Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供的方法利用LDDMM曲线匹配所具有的能够反映物体几何形变的特点来对人脸的表情实行精确的识别，因而能够实现精确的情感识别。同时，本发明提供的方法在进行LDDMM曲线匹配时，是分别通过被识别样本的中性表情轮廓的曲线与被识别样本的有特征表情轮廓的曲线、被识别样本的有特征表情轮廓的曲线与每种类型表情的平均有特征表情轮廓G的曲线进行匹配的，然后利用两种匹配所产生的微分同胚映射来进行特征的提取。两种特征的提取及融合使得本发明提供的方法能够充分挖掘被识别样本、识别样本之间的联系并用于后续的识别，因此，本发明提供的方法能够实现对情感的精确识别。
Description
技术领域
本发明涉及计算机视觉领域，更具体地，涉及一种基于LDDMM曲线匹配的人脸情感识别方法。
背景技术
人脸情感识别即是当计算机镜头捕捉到待用的人脸图像的时候，通过算法能够自动计算并且推断出该人脸所带有的表情。推断得到的表情，能够有效帮助计算机理解使用者所带有的感情，由此让计算机拥有一定的“智能”。目前人脸情感识别被使用于安防、教育、机器人服务等各个领域，应用范围十分广泛。
目前在脑科学中经常使用的高度形变微分同胚度量映射(Large deformationdiffeomorphic metric mapping，下简称LDDMM)方法，具有较好的反映物体几何形变的特点，本实施例尝试利用LDDMM方法的优点，将其应用到人脸情感识别领域，通过对人脸的变化进行特征提取，由此对人脸进行情感识别。
发明内容
本发明提供的识别方法利用LDDMM曲线匹配所具有的能够反映物体几何形变的特点来对人脸的表情实行精确的识别，进而实现精确的情感识别。
为实现以上发明目的，采用的技术方案是：
一种基于LDDMM曲线匹配的人脸情感识别方法，包括以下步骤：
S1.构建识别样本集：为每个样本构建图像序列，所述图像序列包括了由中性表情变化到有特征表情的多帧图像；
S2.对图像序列中的每帧图像进行特征点的提取，然后将每帧图像提取的特征点根据其所在的脸部区域进行划分，将划分的各个脸部区域内的特征点连接起来，得到一条曲线；所述每帧图像的表情轮廓通过所有脸部区域的曲线进行表征；
S3.对于所有的图像序列中的中性表情轮廓，将其标记为Ni，i＝1,2,…,n，i表示图像序列的序号；以N1作为参考，对其他所有的中性表情轮廓进行普氏变换，得到变换后的中性表情轮廓N′j,j＝2,…,n；
S4.将N1和N′2、N′3、…、N′n进行求平均处理，得到识别样本集的平均中性表情轮廓M；
S5.对于所有的图像序列中的中性表情轮廓和有特征表情轮廓，以平均中性表情轮廓M进行普氏变换，完成预处理；
S6.对于每种类型表情的所有图像序列中的有特征表情轮廓进行求平均处理，得到该类型表情的平均有特征表情轮廓G；
S7.对于被识别样本的图像序列，通过步骤S2的方法得到表征其每帧图像的表情轮廓的曲线；然后将被识别样本的中性表情轮廓和有特征表情轮廓以平均中性表情轮廓M进行普氏变换，完成预处理；
S8.将被识别样本的中性表情轮廓的曲线与被识别样本的有特征表情轮廓的曲线进行LDDMM曲线匹配，得到一个微分同胚映射q表示表情轮廓的曲线号；
S9.将被识别样本的有特征表情轮廓的曲线与每种类型表情的平均有特征表情轮廓G的曲线进行LDDMM曲线匹配，得到一个微分同胚映射k表示表情的类别号；
S10.分别从中进行特征的提取；
S11.使用线性组合的方法对分别从中提取的特征进行融合；
S12.使用SVM分类器进行学习识别，输出被识别样本所属的表情类型，进而实现情感识别。
与现有技术相比，本发明的有益效果是：
本发明提供的方法利用LDDMM曲线匹配所具有的能够反映物体几何形变的特点来对人脸的表情实行精确的识别，因而能够实现精确的情感识别。同时，本发明提供的方法在进行LDDMM曲线匹配时，是分别通过被识别样本的中性表情轮廓的曲线与被识别样本的有特征表情轮廓的曲线、被识别样本的有特征表情轮廓的曲线与每种类型表情的平均有特征表情轮廓G的曲线进行匹配的，然后利用两种匹配所产生的微分同胚映射来进行特征的提取。两种特征的提取及融合使得本发明提供的方法能够充分挖掘被识别样本、识别样本之间的联系并用于后续的识别，因此，本发明提供的方法能够实现对情感的精确识别。
附图说明
图1为图像序列的示意图。
图2(a)为特征点的提取示意图。
图2(b)为曲线的示意图。
图3为平均有特征表情轮廓G的示意图。
图4为各类表情的平均有特征表情轮廓G之间的差异示意图。
图5为基于提取的特征的识别准确率的示意图。
图6为基于取的特征的识别准确率的示意图。
图7为融合提取的特征后识别准确率的示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
以下结合附图和实施例对本发明做进一步的阐述。
实施例1
本发明提供的方法包括有以下步骤：
S1.构建识别样本集：为每个样本构建图像序列，所述图像序列包括了由中性表情变化到有特征表情的多帧图像；
S2.对图像序列中的每帧图像进行特征点的提取，提取得到特征点后，先进行归一化处理，然后将每帧图像提取的特征点根据其所在的脸部区域进行划分，将划分的各个脸部区域内的特征点连接起来，得到一条曲线；所述每帧图像的表情轮廓通过所有脸部区域的曲线进行表征；
S3.对于所有的图像序列中的中性表情轮廓，将其标记为Ni，i＝1,2,…,n，i表示图像序列的序号；以N1作为参考，对其他所有的中性表情轮廓进行普氏变换，得到变换后的中性表情轮廓N′j,j＝2,…,n；
S4.将N1和N′2、N′3、…、N′n进行求平均处理，得到识别样本集的平均中性表情轮廓M；
S5.对于所有的图像序列中的中性表情轮廓和有特征表情轮廓，以平均中性表情轮廓M进行普氏变换，完成预处理；
S6.对于每种类型表情的所有图像序列中的有特征表情轮廓进行求平均处理，得到该类型表情的平均有特征表情轮廓G；如图3所示；
S7.对于被识别样本的图像序列，通过步骤S2的方法得到表征其每帧图像的表情轮廓的曲线；然后将被识别样本的中性表情轮廓和有特征表情轮廓以平均中性表情轮廓M进行普氏变换，完成预处理；
S8.将被识别样本的中性表情轮廓的曲线与被识别样本的有特征表情轮廓的曲线进行LDDMM曲线匹配，得到一个微分同胚映射q表示表情轮廓的曲线号；
S9.将被识别样本的有特征表情轮廓的曲线与每种类型表情的平均有特征表情轮廓G的曲线进行LDDMM曲线匹配，得到一个微分同胚映射k表示表情的类别号；
S10.分别从中进行特征的提取；
S11.使用线性组合的方法对分别从中提取的特征进行融合；
S12.使用SVM分类器进行学习识别，输出被识别样本所属的表情类型，进而实现情感识别。
其中，所述中性表情轮廓、有特征表情轮廓分别提取自图像序列中的第一帧图像和最后一帧图像。
上述的步骤S8中，本发明的出发点在于衡量被识别样本的有特征表情轮廓与每种类型表情的平均有特征表情轮廓G之间的距离，由此可以判断对于被识别样本的有特征表情轮廓而言，更加接近的那一类型表情，从而判断其所属的标签。如图4，展示的是各种类型表情的平均有特征表情轮廓G的轮廓差异。
上述方案中，所述步骤S9提取的特征为测地线距离、轨迹长度、初始动量、雅各比行列式中的一种或多种。
测地线距离(Geodesic Distance(GD))，代表了两个曲线在LDDMM空间上的最短距离。该距离为标量。轨迹长度(Trajectory Length(TL))，代表的是组成轮廓曲线的特征点变换到目标曲线特征点所花费的距离。初始动量(Initial Momentum(IM))，表示的是在0时刻动量场的线性基，微分同胚流由初始动量决定并且遵循着动量定理。雅各比行列式(Jacobian Determinant(JD))从微分同胚映射得到，该标量表示了轮廓的扩张与收缩程度。当该行列式的值大于1的时候代表相对于源轮廓，目标轮廓进行了扩张(反之小于1，代表是收缩)。
实施例2
本实施例在Cohn-Kanade(CK+)数据集合上进行了实验。CK+数据集共有593个样本，里面一共有123个被观测对象。如图1所示，每个样本都是一个图像序列，从中性表情(neutral emotion)开始变化到七类有特征表情(peak neutral)中的一种，每个序列大约有20张图片左右。如图2(a)，每张图人脸被标注了68个特征点，这些点用于表示人面部的轮廓。如图2(b)，本方法实施的对象是脸部的轮廓曲线，将68个特征点根据人面部的结构特征分类为12个区域共63个特征点，将每个区域的特征点连起来，得到12条面部的曲线。
在进行学习识别时，本实施例使用传统的SVM线性核分类器。SVM是经典的分类器，在机器学习、计算机视觉等领域被广泛使用。
在实验过程中采用Leave-one-out的交叉验证方法。同时，为了得到更加好的特征向量来描述不同的表情，我们对从中提取的特征向量进行线性组合。
如图5所示，从中提取的不同特征中初始动量向量的准确率最高，雅各比行列式次之，然后是轨迹长度，准确率最低的是测地线距离。如图6所示，从中提取的不同特征中，初始动量向量的准确率得到了最高，同样，测地线距离也是最低，不同于中提取的特征，轨迹长度的准确率高于雅各比行列式的准确率。
图7所示的是线性组合之后的准确率，其中初始动量的准确率是95.4％，对应的从中提取的特征的权重是0.85。其他特征值的最佳比重为：测地线距离为0.71,轨迹长度为0.95，雅各比行列式为0.60。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (4)
1.一种基于LDDMM曲线匹配的人脸情感识别方法，其特征在于：包括以下步骤：
S1.构建识别样本集：为每个样本构建图像序列，所述图像序列包括了由中性表情变化到有特征表情的多帧图像；
S2.对图像序列中的每帧图像进行特征点的提取，然后将每帧图像提取的特征点根据其所在的脸部区域进行划分，将划分的各个脸部区域内的特征点连接起来，得到一条曲线；所述每帧图像的表情轮廓通过所有脸部区域的曲线进行表征；
S3.对于所有的图像序列中的中性表情轮廓，将其标记为Ni，i＝1,2,…,n，i表示图像序列的序号；以N1作为参考，对其他所有的中性表情轮廓进行普氏变换，得到变换后的中性表情轮廓N′j,j＝2,…,n；
S4.将N1和N′2、N′3、…、N′n进行求平均处理，得到识别样本集的平均中性表情轮廓M；
S5.对于所有的图像序列中的中性表情轮廓和有特征表情轮廓，以平均中性表情轮廓M进行普氏变换，完成预处理；
S6.对于每种类型表情的所有图像序列中的有特征表情轮廓进行求平均处理，得到该类型表情的平均有特征表情轮廓G；
S7.对于被识别样本的图像序列，通过步骤S2的方法得到表征其每帧图像的表情轮廓的曲线；然后将被识别样本的中性表情轮廓和有特征表情轮廓以平均中性表情轮廓M进行普氏变换，完成预处理；
S8.将被识别样本的中性表情轮廓的曲线与被识别样本的有特征表情轮廓的曲线进行LDDMM曲线匹配，得到一个微分同胚映射q表示表情轮廓的曲线号；
S9.将被识别样本的有特征表情轮廓的曲线与每种类型表情的平均有特征表情轮廓G的曲线进行LDDMM曲线匹配，得到一个微分同胚映射k表示表情的类别号；
S10.分别从中进行特征的提取；
S11.使用线性组合的方法对分别从中提取的特征进行融合；
S12.使用SVM分类器进行学习识别，输出被识别样本所属的表情类型，进而实现情感识别。
2.根据权利要求1所述的基于LDDMM曲线匹配的人脸情感识别方法，其特征在于：所述步骤S10提取的特征为测地线距离、轨迹长度、初始动量、雅各比行列式中的一种或多种。
3.根据权利要求1所述的基于LDDMM曲线匹配的人脸情感识别方法，其特征在于：所述中性表情轮廓、有特征表情轮廓分别提取自图像序列中的第一帧图像和最后一帧图像。
4.根据权利要求1所述的基于LDDMM曲线匹配的人脸情感识别方法，其特征在于：所述步骤S2中，提取得到特征点后，先进行归一化处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710654590.3A CN107563292B (zh) | 2017-08-03 | 2017-08-03 | 一种基于lddmm曲线匹配的人脸情感识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710654590.3A CN107563292B (zh) | 2017-08-03 | 2017-08-03 | 一种基于lddmm曲线匹配的人脸情感识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107563292A CN107563292A (zh) | 2018-01-09 |
| CN107563292B true CN107563292B (zh) | 2019-09-10 |
Family
ID=60974175
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710654590.3A Active CN107563292B (zh) | 2017-08-03 | 2017-08-03 | 一种基于lddmm曲线匹配的人脸情感识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107563292B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108830887A (zh) * | 2018-04-18 | 2018-11-16 | 佛山市顺德区中山大学研究院 | 基于lddmm的高维空间多条非交叉曲线的匹配方法及装置 |
| CN110020638B (zh) * | 2019-04-17 | 2023-05-12 | 唐晓颖 | 人脸表情识别方法、装置、设备和介质 |
| CN111832512A (zh) * | 2020-07-21 | 2020-10-27 | 虎博网络技术(上海)有限公司 | 表情检测方法和装置 |
| CN117671774B (zh) * | 2024-01-11 | 2024-04-26 | 好心情健康产业集团有限公司 | 一种人脸情绪智能识别分析设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106919884A (zh) * | 2015-12-24 | 2017-07-04 | 北京汉王智远科技有限公司 | 面部表情识别方法及装置 |
| CN106980848A (zh) * | 2017-05-11 | 2017-07-25 | 杭州电子科技大学 | 基于曲波变换和稀疏学习的人脸表情识别方法 |
-
2017
- 2017-08-03 CN CN201710654590.3A patent/CN107563292B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106919884A (zh) * | 2015-12-24 | 2017-07-04 | 北京汉王智远科技有限公司 | 面部表情识别方法及装置 |
| CN106980848A (zh) * | 2017-05-11 | 2017-07-25 | 杭州电子科技大学 | 基于曲波变换和稀疏学习的人脸表情识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| IMAGE-BASED EVALUATION OF TREATMENT RESPONSES OF FACIAL WRINKLES USING LDDMM REGISTRATION AND GABOR FEATURES;Nazre Batool等;《2015 IEEE International Conference on Image Processing (ICIP)》;20151231;第1747-1751页 |
| 基于微分同胚优化极端学习机的人脸识别;李丽娜等;《计算机应用与软件》;20170430;第34卷(第4期);第169-177页 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107563292A (zh) | 2018-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107563292B (zh) | 一种基于lddmm曲线匹配的人脸情感识别方法 | |
| Sun et al. | View-invariant gait recognition based on kinect skeleton feature | |
| Abdullah et al. | Optimizing face recognition using PCA | |
| Gökberk et al. | 3D shape-based face representation and feature extraction for face recognition | |
| CN105868716A (zh) | 一种基于面部几何特征的人脸识别方法 | |
| Sharma et al. | A new pose invariant face recognition system using PCA and ANFIS | |
| Jalal et al. | Daily human activity recognition using depth silhouettes and transformation for smart home | |
| CN101493887A (zh) | 基于半监督学习和哈希索引的眉毛图像分割方法 | |
| CN110796101A (zh) | 一种嵌入式平台的人脸识别方法及系统 | |
| Sato et al. | 3d face recognition without using the positional relation of facial elements | |
| KR20150089370A (ko) | 얼굴 포즈 변화에 강한 연령 인식방법 및 시스템 | |
| Kumar et al. | LBP based biometrie identification using the periocular region | |
| Bhargavas et al. | Human identification using gait recognition | |
| Khorsheed et al. | Analysis of local binary patterns for face recognition under varying facial expressions | |
| Assadi et al. | A new method for human face recognition using texture and depth information | |
| Ghalleb et al. | Face recognition improvement using soft biometrics | |
| EP1828959A1 (en) | Face recognition using features along iso-radius contours | |
| Jain et al. | Unsupervised temporal segmentation of human action using community detection | |
| Tripathi | Emotion recognition from facial expressions of 4D videos using curves and surface normals | |
| CN103258200B (zh) | 一种基于仿射不变量的符号识别方法 | |
| Alharbi et al. | Skeleton based gait recognition for long and baggy clothes | |
| Verma et al. | A technique for face verification across age progression with large age gap | |
| Zou et al. | 3-D face recognition based on warped example faces | |
| CN104573682A (zh) | 一种基于人脸相似度的人脸防伪方法 | |
| Saeed et al. | Advancement in the head pose estimation via depth-based face spotting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |