CN107563292A - 一种基于lddmm曲线匹配的人脸情感识别方法 - Google Patents

一种基于lddmm曲线匹配的人脸情感识别方法 Download PDF

Info

Publication number
CN107563292A
CN107563292A CN201710654590.3A CN201710654590A CN107563292A CN 107563292 A CN107563292 A CN 107563292A CN 201710654590 A CN201710654590 A CN 201710654590A CN 107563292 A CN107563292 A CN 107563292A
Authority
CN
China
Prior art keywords
expression
curve
profile
feature
lddmm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710654590.3A
Other languages
English (en)
Other versions
CN107563292B (zh
Inventor
唐晓颖
杨浦城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
SYSU CMU Shunde International Joint Research Institute
Research Institute of Zhongshan University Shunde District Foshan
National Sun Yat Sen University
Original Assignee
SYSU CMU Shunde International Joint Research Institute
Research Institute of Zhongshan University Shunde District Foshan
National Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SYSU CMU Shunde International Joint Research Institute, Research Institute of Zhongshan University Shunde District Foshan, National Sun Yat Sen University filed Critical SYSU CMU Shunde International Joint Research Institute
Priority to CN201710654590.3A priority Critical patent/CN107563292B/zh
Publication of CN107563292A publication Critical patent/CN107563292A/zh
Application granted granted Critical
Publication of CN107563292B publication Critical patent/CN107563292B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提供的方法利用LDDMM曲线匹配所具有的能够反映物体几何形变的特点来对人脸的表情实行精确的识别，因而能够实现精确的情感识别。同时，本发明提供的方法在进行LDDMM曲线匹配时，是分别通过被识别样本的中性表情轮廓的曲线与被识别样本的有特征表情轮廓的曲线、被识别样本的有特征表情轮廓的曲线与每种类型表情的平均有特征表情轮廓G的曲线进行匹配的，然后利用两种匹配所产生的微分同胚映射来进行特征的提取。两种特征的提取及融合使得本发明提供的方法能够充分挖掘被识别样本、识别样本之间的联系并用于后续的识别，因此，本发明提供的方法能够实现对情感的精确识别。

Description

一种基于LDDMM曲线匹配的人脸情感识别方法
技术领域
本发明涉及计算机视觉领域，更具体地，涉及一种基于LDDMM曲线匹配的人脸情感识别方法。
背景技术
人脸情感识别即是当计算机镜头捕捉到待用的人脸图像的时候，通过算法能够自动计算并且推断出该人脸所带有的表情。推断得到的表情，能够有效帮助计算机理解使用者所带有的感情，由此让计算机拥有一定的“智能”。目前人脸情感识别被使用于安防、教育、机器人服务等各个领域，应用范围十分广泛。
目前在脑科学中经常使用的高度形变微分同胚度量映射(Large deformationdiffeomorphic metric mapping，下简称LDDMM)方法，具有较好的反映物体几何形变的特点，本实施例尝试利用LDDMM方法的优点，将其应用到人脸情感识别领域，通过对人脸的变化进行特征提取，由此对人脸进行情感识别。
发明内容
本发明提供的识别方法利用LDDMM曲线匹配所具有的能够反映物体几何形变的特点来对人脸的表情实行精确的识别，进而实现精确的情感识别。
为实现以上发明目的，采用的技术方案是：
一种基于LDDMM曲线匹配的人脸情感识别方法，包括以下步骤：
S1.构建识别样本集：为每个样本构建图像序列，所述图像序列包括了由中性表情变化到有特征表情的多帧图像；
S2.对图像序列中的每帧图像进行特征点的提取，然后将每帧图像提取的特征点根据其所在的脸部区域进行划分，将划分的各个脸部区域内的特征点连接起来，得到一条曲线；所述每帧图像的表情轮廓通过所有脸部区域的曲线进行表征；
S3.对于所有的图像序列中的中性表情轮廓，将其标记为Ni，i＝1,2,…,n，i表示图像序列的序号；以N1作为参考，对其他所有的中性表情轮廓进行普氏变换，得到变换后的中性表情轮廓N′j,j＝2,…,n；
S4.将N1和N′2、N′3、…、N′n进行求平均处理，得到识别样本集的平均中性表情轮廓M；
S5.对于所有的图像序列中的中性表情轮廓和有特征表情轮廓，以平均中性表情轮廓M进行普氏变换，完成预处理；
S6.对于每种类型表情的所有图像序列中的有特征表情轮廓进行求平均处理，得到该类型表情的平均有特征表情轮廓G；
S7.对于被识别样本的图像序列，通过步骤S2的方法得到表征其每帧图像的表情轮廓的曲线；然后将被识别样本的中性表情轮廓和有特征表情轮廓以平均中性表情轮廓M进行普氏变换，完成预处理；
S8.将被识别样本的中性表情轮廓的曲线分别与被识别样本的有特征表情轮廓的曲线进行LDDMM曲线匹配，得到一个微分同胚映射q表示表情轮廓的曲线号；
S9.将被识别样本的有特征表情轮廓的曲线分别与每种类型表情的平均有特征表情轮廓G的曲线进行LDDMM曲线匹配，得到一个微分同胚映射k表示表情的类别号；
S10.分别从中进行特征的提取；
S11.使用线性组合的方法对分别从中提取的特征进行融合；
S12.使用SVM分类器进行学习识别，输出被识别样本所属的表情类型，进而实现情感识别。
与现有技术相比，本发明的有益效果是：
本发明提供的方法利用LDDMM曲线匹配所具有的能够反映物体几何形变的特点来对人脸的表情实行精确的识别，因而能够实现精确的情感识别。同时，本发明提供的方法在进行LDDMM曲线匹配时，是分别通过被识别样本的中性表情轮廓的曲线与被识别样本的有特征表情轮廓的曲线、被识别样本的有特征表情轮廓的曲线与每种类型表情的平均有特征表情轮廓G的曲线进行匹配的，然后利用两种匹配所产生的微分同胚映射来进行特征的提取。两种特征的提取及融合使得本发明提供的方法能够充分挖掘被识别样本、识别样本之间的联系并用于后续的识别，因此，本发明提供的方法能够实现对情感的精确识别。
附图说明
图1为图像序列的示意图。
图2(a)为特征点的提取示意图。
图2(b)为曲线的示意图。
图3为平均有特征表情轮廓G的示意图。
图4为各类表情的平均有特征表情轮廓G之间的差异示意图。
图5为基于提取的特征的识别准确率的示意图。
图6为基于取的特征的识别准确率的示意图。
图7为融合提取的特征后识别准确率的示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
以下结合附图和实施例对本发明做进一步的阐述。
实施例1
本发明提供的方法包括有以下步骤：
S1.构建识别样本集：为每个样本构建图像序列，所述图像序列包括了由中性表情变化到有特征表情的多帧图像；
S2.对图像序列中的每帧图像进行特征点的提取，提取得到特征点后，先进行归一化处理，然后将每帧图像提取的特征点根据其所在的脸部区域进行划分，将划分的各个脸部区域内的特征点连接起来，得到一条曲线；所述每帧图像的表情轮廓通过所有脸部区域的曲线进行表征；
S3.对于所有的图像序列中的中性表情轮廓，将其标记为Ni，i＝1,2,…,n，i表示图像序列的序号；以N1作为参考，对其他所有的中性表情轮廓进行普氏变换，得到变换后的中性表情轮廓N′j,j＝2,…,n；
S4.将N1和N′2、N′3、…、N′n进行求平均处理，得到识别样本集的平均中性表情轮廓M；
S5.对于所有的图像序列中的中性表情轮廓和有特征表情轮廓，以平均中性表情轮廓M进行普氏变换，完成预处理；
S6.对于每种类型表情的所有图像序列中的有特征表情轮廓进行求平均处理，得到该类型表情的平均有特征表情轮廓G；如图3所示；
S7.对于被识别样本的图像序列，通过步骤S2的方法得到表征其每帧图像的表情轮廓的曲线；然后将被识别样本的中性表情轮廓和有特征表情轮廓以平均中性表情轮廓M进行普氏变换，完成预处理；
S8.将被识别样本的中性表情轮廓的曲线分别与被识别样本的有特征表情轮廓的曲线进行LDDMM曲线匹配，得到一个微分同胚映射q表示表情轮廓的曲线号；
S9.将被识别样本的有特征表情轮廓的曲线分别与每种类型表情的平均有特征表情轮廓G的曲线进行LDDMM曲线匹配，得到一个微分同胚映射k表示表情的类别号；
S10.分别从中进行特征的提取；
S11.使用线性组合的方法对分别从中提取的特征进行融合；
S12.使用SVM分类器进行学习识别，输出被识别样本所属的表情类型，进而实现情感识别。
其中，所述中性表情轮廓、有特征表情轮廓分别提取自图像序列中的第一帧图像和最后一帧图像。
上述的步骤S8中，本发明的出发点在于衡量被识别样本的有特征表情轮廓与每种类型表情的平均有特征表情轮廓G之间的距离，由此可以判断对于被识别样本的有特征表情轮廓而言，更加接近的那一类型表情，从而判断其所属的标签。如图4，展示的是各种类型表情的平均有特征表情轮廓G的轮廓差异。
上述方案中，所述步骤S9提取的特征为测地线距离、轨迹长度、初始动量、雅各比行列式中的一种或多种。
测地线距离(Geodesic Distance(GD))，代表了两个曲线在LDDMM空间上的最短距离。该距离为标量。轨迹长度(Trajectory Length(TL))，代表的是组成轮廓曲线的特征点变换到目标曲线特征点所花费的距离。初始动量(Initial Momentum(IM))，表示的是在0时刻动量场的线性基，微分同胚流由初始动量决定并且遵循着动量定理。雅各比行列式(Jacobian Determinant(JD))从微分同胚映射得到，该标量表示了轮廓的扩张与收缩程度。当该行列式的值大于1的时候代表相对于源轮廓，目标轮廓进行了扩张(反之小于1，代表是收缩)。
实施例2
本实施例在Cohn-Kanade(CK+)数据集合上进行了实验。CK+数据集共有593个样本，里面一共有123个被观测对象。如图1所示，每个样本都是一个图像序列，从中性表情(neutral emotion)开始变化到七类有特征表情(peak neutral)中的一种，每个序列大约有20张图片左右。如图2(a)，每张图人脸被标注了68个特征点，这些点用于表示人面部的轮廓。如图2(b)，本方法实施的对象是脸部的轮廓曲线，将68个特征点根据人面部的结构特征分类为12个区域共63个特征点，将每个区域的特征点连起来，得到12条面部的曲线。
在进行学习识别时，本实施例使用传统的SVM线性核分类器。SVM是经典的分类器，在机器学习、计算机视觉等领域被广泛使用。
在实验过程中采用Leave-one-out的交叉验证方法。同时，为了得到更加好的特征向量来描述不同的表情，我们对从中提取的特征向量进行线性组合。
如图5所示，从中提取的不同特征中初始动量向量的准确率最高，雅各比行列式次之，然后是轨迹长度，准确率最低的是测地线距离。如图6所示，从中提取的不同特征中，初始动量向量的准确率得到了最高，同样，测地线距离也是最低，不同于中提取的特征，轨迹长度的准确率高于雅各比行列式的准确率。
图7所示的是线性组合之后的准确率，其中初始动量的准确率是95.4％，对应的从中提取的特征的权重是0.85。其他特征值的最佳比重为：测地线距离为0.71,轨迹长度为0.95，雅各比行列式为0.60。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (4)

1.一种基于LDDMM曲线匹配的人脸情感识别方法，其特征在于：包括以下步骤：
S1.构建识别样本集：为每个样本构建图像序列，所述图像序列包括了由中性表情变化到有特征表情的多帧图像；
S2.对图像序列中的每帧图像进行特征点的提取，然后将每帧图像提取的特征点根据其所在的脸部区域进行划分，将划分的各个脸部区域内的特征点连接起来，得到一条曲线；所述每帧图像的表情轮廓通过所有脸部区域的曲线进行表征；
S3.对于所有的图像序列中的中性表情轮廓，将其标记为Ni，i＝1,2,…,n，i表示图像序列的序号；以N1作为参考，对其他所有的中性表情轮廓进行普氏变换，得到变换后的中性表情轮廓Nj′,j＝2,…,n；
S4.将N1和N2′、N3′、…、Nn′进行求平均处理，得到识别样本集的平均中性表情轮廓M；
S5.对于所有的图像序列中的中性表情轮廓和有特征表情轮廓，以平均中性表情轮廓M进行普氏变换，完成预处理；
S6.对于每种类型表情的所有图像序列中的有特征表情轮廓进行求平均处理，得到该类型表情的平均有特征表情轮廓G；
S7.对于被识别样本的图像序列，通过步骤S2的方法得到表征其每帧图像的表情轮廓的曲线；然后将被识别样本的中性表情轮廓和有特征表情轮廓以平均中性表情轮廓M进行普氏变换，完成预处理；
S8.将被识别样本的中性表情轮廓的曲线分别与被识别样本的有特征表情轮廓的曲线进行LDDMM曲线匹配，得到一个微分同胚映射q表示表情轮廓的曲线号；
S9.将被识别样本的有特征表情轮廓的曲线分别与每种类型表情的平均有特征表情轮廓G的曲线进行LDDMM曲线匹配，得到一个微分同胚映射k表示表情的类别号；
S10.分别从中进行特征的提取；
S11.使用线性组合的方法对分别从中提取的特征进行融合；
S12.使用SVM分类器进行学习识别，输出被识别样本所属的表情类型，进而实现情感识别。
2.根据权利要求1所述的基于LDDMM曲线匹配的人脸情感识别方法，其特征在于：所述步骤S10提取的特征为测地线距离、轨迹长度、初始动量、雅各比行列式中的一种或多种。
3.根据权利要求1所述的基于LDDMM曲线匹配的人脸情感识别方法，其特征在于：所述中性表情轮廓、有特征表情轮廓分别提取自图像序列中的第一帧图像和最后一帧图像。
4.根据权利要求1所述的基于LDDMM曲线匹配的人脸情感识别方法，其特征在于：所述步骤S2中，提取得到特征点后，先进行归一化处理。
CN201710654590.3A 2017-08-03 2017-08-03 一种基于lddmm曲线匹配的人脸情感识别方法 Active CN107563292B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710654590.3A CN107563292B (zh) 2017-08-03 2017-08-03 一种基于lddmm曲线匹配的人脸情感识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710654590.3A CN107563292B (zh) 2017-08-03 2017-08-03 一种基于lddmm曲线匹配的人脸情感识别方法

Publications (2)

Publication Number Publication Date
CN107563292A true CN107563292A (zh) 2018-01-09
CN107563292B CN107563292B (zh) 2019-09-10

Family

ID=60974175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710654590.3A Active CN107563292B (zh) 2017-08-03 2017-08-03 一种基于lddmm曲线匹配的人脸情感识别方法

Country Status (1)

Country Link
CN (1) CN107563292B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830887A (zh) * 2018-04-18 2018-11-16 佛山市顺德区中山大学研究院 基于lddmm的高维空间多条非交叉曲线的匹配方法及装置
CN110020638A (zh) * 2019-04-17 2019-07-16 唐晓颖 人脸表情识别方法、装置、设备和介质
CN111832512A (zh) * 2020-07-21 2020-10-27 虎博网络技术(上海)有限公司 表情检测方法和装置
CN117671774A (zh) * 2024-01-11 2024-03-08 好心情健康产业集团有限公司 一种人脸情绪智能识别分析设备
CN117671774B (zh) * 2024-01-11 2024-04-26 好心情健康产业集团有限公司 一种人脸情绪智能识别分析设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106919884A (zh) * 2015-12-24 2017-07-04 北京汉王智远科技有限公司 面部表情识别方法及装置
CN106980848A (zh) * 2017-05-11 2017-07-25 杭州电子科技大学 基于曲波变换和稀疏学习的人脸表情识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106919884A (zh) * 2015-12-24 2017-07-04 北京汉王智远科技有限公司 面部表情识别方法及装置
CN106980848A (zh) * 2017-05-11 2017-07-25 杭州电子科技大学 基于曲波变换和稀疏学习的人脸表情识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NAZRE BATOOL等: "IMAGE-BASED EVALUATION OF TREATMENT RESPONSES OF FACIAL WRINKLES USING LDDMM REGISTRATION AND GABOR FEATURES", 《2015 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》 *
李丽娜等: "基于微分同胚优化极端学习机的人脸识别", 《计算机应用与软件》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830887A (zh) * 2018-04-18 2018-11-16 佛山市顺德区中山大学研究院 基于lddmm的高维空间多条非交叉曲线的匹配方法及装置
CN110020638A (zh) * 2019-04-17 2019-07-16 唐晓颖 人脸表情识别方法、装置、设备和介质
CN111832512A (zh) * 2020-07-21 2020-10-27 虎博网络技术(上海)有限公司 表情检测方法和装置
CN117671774A (zh) * 2024-01-11 2024-03-08 好心情健康产业集团有限公司 一种人脸情绪智能识别分析设备
CN117671774B (zh) * 2024-01-11 2024-04-26 好心情健康产业集团有限公司 一种人脸情绪智能识别分析设备

Also Published As

Publication number Publication date
CN107563292B (zh) 2019-09-10

Similar Documents

Publication Publication Date Title
CN108520216B (zh) 一种基于步态图像的身份识别方法
Abdullah et al. Optimizing face recognition using PCA
Lin et al. Spatially eigen-weighted Hausdorff distances for human face recognition
Sharma et al. A new pose invariant face recognition system using PCA and ANFIS
Geetha et al. A vision based dynamic gesture recognition of indian sign language on kinect based depth images
Bastos et al. Recognition of static gestures applied to brazilian sign language (libras)
Choi et al. Shadow compensation in 2D images for face recognition
Huong et al. Static hand gesture recognition for vietnamese sign language (VSL) using principle components analysis
CN110796101A (zh) 一种嵌入式平台的人脸识别方法及系统
KR101558547B1 (ko) 얼굴 포즈 변화에 강한 연령 인식방법 및 시스템
CN107563292B (zh) 一种基于lddmm曲线匹配的人脸情感识别方法
CN101493887A (zh) 基于半监督学习和哈希索引的眉毛图像分割方法
Sawant Sign language recognition system to aid deaf-dumb people using PCA
Khurana et al. Static hand gestures recognition system using shape based features
CN103714340A (zh) 基于图像分块的自适应特征提取方法
Tariq et al. Gender and ethnicity identification from silhouetted face profiles
CN110826534A (zh) 一种基于局部主成分分析的人脸关键点检测方法及系统
Aly et al. Arabic sign language recognition using spatio-temporal local binary patterns and support vector machine
Khorsheed et al. Analysis of local binary patterns for face recognition under varying facial expressions
Kartheek et al. Local optimal oriented pattern for person independent facial expression recognition
Avraam Static gesture recognition combining graph and appearance features
Ghalleb et al. Face recognition improvement using soft biometrics
EP1828959A1 (en) Face recognition using features along iso-radius contours
Kagalkar et al. Euclidean distance based classifier for recognition and generating Kannada text description from live sign language video
Yang et al. Face recognition based on Weber symmetrical local graph structure

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant