CN111709314B - 基于面部表面肌电的情感分布识别方法 - Google Patents
基于面部表面肌电的情感分布识别方法 Download PDFInfo
- Publication number
- CN111709314B CN111709314B CN202010461641.2A CN202010461641A CN111709314B CN 111709314 B CN111709314 B CN 111709314B CN 202010461641 A CN202010461641 A CN 202010461641A CN 111709314 B CN111709314 B CN 111709314B
- Authority
- CN
- China
- Prior art keywords
- emotion
- distribution
- steps
- facial
- dimension
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于面部表面肌电的情感分布识别方法;目前基于生理信号的人脸情感识别的研究主要集中在单一的基本情感上。因此,提出了基于面部表面肌电信号的标记分布学习来预测情感分布。本方法采集了降眉肌、颧大肌、额头和降口角肌的sEMG,从中提取6个特征,利用主成分分析选出对特征集进行降维。LDL的核心思想是学习到从PCA选择的特征到人脸情感分布的映射关系,这种映射关系能够反映一个面部表情是由不同强度的基本情感混合而成。将LDL的性能与多标记学习进行了比较,结果表明,本方法能更准确地预测面部情感分布。
Description
技术领域
本发明属于模式识别领域,涉及一种肌电信号模式识别方法,特别涉及基于面部表面肌电的情感分布模式识别方法。
背景技术
近年来,人脸表情识别已成为人机交互研究中的一个热点。情感可以显示人的认知活动和心理状态。表面肌电信号(surface electromyography,sEMG)可以从面部肌肉的运动中被记录下来,来表示情感状态在内外刺激下的变化。Hamedi使用右侧额叶和左侧颞侧的sEMG来识别微笑,识别率为80.4%。同时研究还发现微笑与颧骨肌肉的活动有关。研究者通过采集眉毛的sEMG来识别5种单一情感,识别率达到95.56%。与计算机视觉相比,sEMG的优势为:不受外部环境和头部运动的影响,提供无偏差的信息。
Ekman等人提出了六种基本情感,即愤怒、厌恶、恐惧、快乐、悲伤和惊讶。在目前的研究中,单一情感的识别精度有了很大的提高。然而,根据情感理论,常见的情感是基本情感的混合而成。因此,情感识别应该计算出一个表情里的所有基本情感的强度。标记分布学习可以处理多个标签的不同重要程度。标记分布学习还被应用于图像和视频的年龄估计、头部姿态估计和其他领域。标记分布学习(label distribution learning,LDL)采用有限记忆准则牛顿法(L-BFGS)的思想,有很高的学习效率。
发明内容
目前基于生理信号的人脸情感识别的研究主要集中在单一的基本情感上。因此,提出了基于面部表面肌电信号(surface electromyography,sEMG)的标记分布学习(labeldistribution learning,LDL)来预测情感分布。实验采集了降眉肌、颧大肌、额头和降口角肌的sEMG,从中提取6个特征,这6个特征分别为Wilson振幅(WAMP),模糊熵(FE),小波包系数能量(EWP),自回归系数(AR),平均功率频率(MPF)和平均频率(MF),利用主成分分析(principal component analysis,PCA)进行降维,从52维信号降到26维。通过标记分布学习算法学习到从PCA降维后的特征到人脸情感分布的映射关系,这种映射关系能够反映一个面部表情是由不同强度的基本情感混合而成。从而实现面部表面肌电信号的情感分布识别。
为了实现以上目的,本发明方法主要包括以下步骤:
步骤1.获取面部表面肌电信号样本数据,具体是:首先通过肌电信号采集仪采集面部的降眉肌、颧大肌、额头和降口角肌的sEMG,再运用能量阈值确定动作的起始位置和终止位置作为情感起始的肌电信号。
步骤2.将步骤1获取的sEMG信号进行六个特征的提取,这六个特征分别为Wilson振幅(WAMP),模糊熵(FE),小波包系数能量(EWP),自回归系数(AR),平均功率频率(MPF)和平均频率(MF)。
步骤3.通过主成分分析将特征集从52维降到13维。原始特征向量维数的减少根据特征值的贡献率决定的,根据特征保存率在90%的原则,得到了降维后的特征集。
步骤4.根据得到的降维的特征集,输入到标记分布学习模型,进行训练以及测试。
所述标记分布学习(LDL),具体算法如下:
标记分布学习(label distribution learning,LDL)是一种新的机器学习范式,使用描述度来表示基本情感和情感之间的关系。描述度越高,基本情感的强度越高。所有基本情感的描述度加起来为1,描述度与概率分布相似。因此,称之为标记分布。
对于训练集T={(x1,M1),(x2,M2),...,(xn,Mn)},xi∈X表示一个面部表情实例,标记矩阵Y={y1,y2,y3,...,yc},yj是第j个标记,同时为xi的分布,/>为标记yj对实例xi的描述程度;标记分布学习的目标函数是p(x|y),其中x∈X,y∈Y;p(x|y)被假定为p(y|xi;θ),其中θ为参数向量;
KL散度用于测量分布和/>之间的距离,定义为:
其中和/>分别为分布Ma和Mb的第j个的元素,其中a、b∈n,利用基本情感之间的关系提出了加权Jeffery散度,
其中wjk是第j个基本情感和第k个基本情感的权数,计算为:
其中是在第j个基本情感和第k个基本情感的相关系数,Λj=∑k(ρjk)η为归一化因子,保证/>表示标记yj对实例xi描述程度的平均;η为控制关系系数;ε为阈值,当相关系数的值小于ε时,认为两种基本情感没有关系;定义目标函数θ*:
其中Mi第i个示例的分布,是预测第i个示例得到的分布;ξ1和ξ2为平衡因子,上式公式第二项是一个规则化项用来预防预测出的曲线太过平滑而不能突出重要的情感,第三项是另一个正则化项用来防止不稳地的输出;θk表示k行的元素,/>表示元素的平均,/>表示k行r列的元素的平方,ωij表示是第i个基本情感和第j个基本情感的权数;
假定p(y|xi;θ)为最大熵模型,
其中为归一化因子,/>是xi的第r个特征,θkr是k行r列的元素;θ的目标函数:
有限记忆的准则牛顿法L-BFGS用于最小化函数T(θ)以提高计算效
率;L-BFGS的计算与一阶梯度有关,通过以下方式实现:
其中其中/>是xi的第k个特征,Zi表示归一化因子,c表示Y集合中的索引。
本发明与已有的诸多情感识别方法相比,具有如下特点:
目前基于生理信号的面部情感分布的研究还没有开始。本方法选择了以sEMG作为信号源。相比于计算机视觉的情感识别来说,表面肌电信号具有客观性、自主性以及真实性。通过标记分布学习算法训练特征集,得到某个表情中不同的基本情感所占的比重,从而更加全面反映被测者真实的心理状态
附图说明
图1为本发明的实施流程图;
图2为表面肌电信号采集图。
具体实施方式
下面结合附图对本发明的实施例作详细说明:本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
如图1、图2所示,本实施例包括如下步骤:
步骤1.获取人的面部表面肌电信号。
10名实验者(男性5名,女性5名:年龄24-26岁;身高155-180厘米;体重40-75公斤)参加了实验。所有受试者均健康,无面部神经肌肉疾病。每名受试者在四块面部肌肉(降眉肌、颧大肌、额头和降口角肌)上都有Trigno传感器,选取的肌肉与六种基本情感密切相关。左面和右面是对称的,所以选择一侧作为记录点。实验要求所有受试者保持面部清洁,以减少来自其他噪声的干扰。采集了100组数据,代表了100种不同的情感分布。
步骤2.将步骤1获取的sEMG信号进行六个特征的提取,这六个特征分别为Wilson振幅(WAMP),模糊熵(FE),小波包系数能量(EWP),自回归系数(AR),平均功率频率(MPF)和平均频率(MF)。得到了特征集为
求取模糊熵时维数取m=2,AR模型阶数选择4。得到了每个通道的特征集的维数为13维,4个通道得到的特征集为52维。
步骤3.通过主成分分析将特征集从52维降到13维。原始特征向量维数的减少根据特征值的贡献率决定的,根据特征保存率在90%的原则,得到了降维后的特征集。
步骤4.根据得到的降维的特征集,输入到标记分布学习模型,进行训练以及测试。
所述标记分布学习(LDL),具体算法如下:
标记分布学习(label distribution learning,LDL)是一种新的机器学习范式,使用描述度来表示基本情感和情感之间的关系。描述度越高,基本情感的强度越高。所有基本情感的描述度加起来为1,描述度与概率分布相似。因此,称之为标记分布。
对于训练集T={(x1,M1),(x2,M2),...,(xn,Mn)},xi∈X表示一个面部表情实例,同时为xi的分布。LDL的目标函数是p(x|y),其中x∈X,y∈Y。p(x|y)被假定为p(y|xi;θ),其中θ为参数向量。
KL散度(Kullback-Leibler,K-L)用于测量分布和/>之间的距离,定义为:
其中和/>分别为分布Ma和Mb的第j个的元素。
公式(1)仅考虑两个分布在同一基本情感的关系,事实上,应该考虑不同基本情感之间的关系。一些基本情感不能同时出现,如快乐和厌恶。因此,利用基本情感之间的关系提出了加权Jeffery散度。
其中wjk是第j个基本情感和第k个基本情感的权数,计算为:
其中是在第j个基本情感和第k个基本情感的系数,Λj=∑k(ρjk)η为归一化因子,保证∑kλjk=1。η为控制关系系数。ε为阈值,当相关系数的值小于ε时,认为两种基本情感没有关系。η设置为5,ε设置为0.25。
定义目标函数θ*:
其中Mi第i个示例的分布,是预测第i个示例得到的分布。ξ1和ξ2为平衡因子。ξ1和ξ2分别为设置0.0002和0.002。
假定p(y|xi;θ)为最大熵模型,
其中为归一化因子,/>是xi的第r个特征,θkr是k行r列的元素。θ的目标函数:
有限记忆的准则牛顿法L-BFGS用于最小化函数T(θ)以提高计算效率。L-BFGS的计算主要与一阶梯度有关,可以通过以下方式实现:
其中
得到的情感分布评价指标的计算公式分别为:
P和Q代表两个分布,Pj代表分布P的第j个向量,Qj代表分布Q的第j个向量。为验证标记分布算法的有效性,选择其他四种分布预测算法AA-KNN(algorithm adaptation k-nearest neighbor),PT-Bayes(problem transformation Bayes),PT-SVM(problemtransformation support vector machine)和AABP(algorithm adaptation back-propagation algorithm)作为比较。对于所有数据集,在每个算法均执行十倍交叉验证。得到的预测结果如表1所示。
表1 某一个分布的预测分布结果
Claims (2)
1.基于面部表面肌电的情感分布识别方法,其特征在于该方法包括如下步骤:
步骤(1),获取面部表面肌电信号样本数据;
步骤(2),将步骤(1)获取的表面肌电信号进行六个特征的提取,这六个特征分别为Wilson振幅,模糊熵,小波包系数能量,自回归系数,平均功率频率和平均频率;求取模糊熵时维数取m=2,AR模型阶数选择4;得到了每个通道的特征集的维数为13维,4个通道得到的特征集为52维;
步骤(3),通过主成分分析将特征集从52维降到13维;原始特征向量维数的减少根据特征值的贡献率决定的,根据特征保存率在90%的原则,得到了降维后的特征集;
步骤(4),根据得到的降维的特征集,输入到标记分布学习模型,进行训练;所述标记分布学习,具体方法如下:
对于训练集T={(x1,M1),(x2,M2),...,(xn,Mn)},xi∈X表示一个面部表情实例,标记矩阵Y={y1,y2,y3,…,yc},yj是第j个标记,同时为xi的分布,/>为标记yj对实例xi的描述程度;标记分布学习的目标函数是p(x|y),其中x∈X,y∈Y;p(x|y)被假定为p(y|xi;θ),其中θ为参数向量;
KL散度用于测量分布和/>之间的距离,定义为:
其中和/>分别为分布Ma和Mb的第j个的元素,其中a、b∈n,利用基本情感之间的关系提出了加权Jeffery散度,
其中wjk是第j个基本情感和第k个基本情感的权数,计算为:
其中是在第j个基本情感和第k个基本情感的相关系数,Λj=∑k(ρjk)η为归一化因子,保证/> 表示标记yj对实例xi描述程度的平均;η为控制关系系数;ε为阈值,当相关系数的值小于ε时,认为两种基本情感没有关系;定义目标函数θ*:
其中Mi第i个示例的分布,是预测第i个示例得到的分布;ξ1和ξ2为平衡因子,上式公式第二项是一个规则化项用来预防预测出的曲线太过平滑而不能突出重要的情感,第三项是另一个正则化项用来防止不稳地的输出;θk表示k行的元素,/>表示元素的平均,/>表示k行r列的元素的平方,ωij表示是第i个基本情感和第j个基本情感的权数;
假定p(y|xi;θ)为最大熵模型,
其中为归一化因子,/>是xi的第r个特征,θkr是k行r列的元素;θ的目标函数:
有限记忆的准则牛顿法L-BFGS用于最小化函数T(θ)以提高计算效率;L-BFGS的计算与一阶梯度有关,通过以下方式实现:
其中其中/>是xi的第k个特征,Zi表示归一化因子,c表示Y集合中的索引。
2.根据权利要求1所述的基于面部表面肌电的情感分布识别方法,其特征在于:获取面部表面肌电信号样本数据,具体是:首先通过肌电信号采集仪采集面部的降眉肌、颧大肌、额头和降口角肌的sEMG,再运用能量阈值确定动作的起始位置和终止位置作为情感起始的肌电信号。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010461641.2A CN111709314B (zh) | 2020-05-27 | 2020-05-27 | 基于面部表面肌电的情感分布识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010461641.2A CN111709314B (zh) | 2020-05-27 | 2020-05-27 | 基于面部表面肌电的情感分布识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111709314A CN111709314A (zh) | 2020-09-25 |
CN111709314B true CN111709314B (zh) | 2023-08-22 |
Family
ID=72538742
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010461641.2A Active CN111709314B (zh) | 2020-05-27 | 2020-05-27 | 基于面部表面肌电的情感分布识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111709314B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104915658A (zh) * | 2015-06-30 | 2015-09-16 | 东南大学 | 一种基于情感分布学习的情感成分分析方法及其系统 |
CN105426842A (zh) * | 2015-11-19 | 2016-03-23 | 浙江大学 | 基于支持向量机的表面肌电信号多类手部动作识别方法 |
KR20170095603A (ko) * | 2016-02-15 | 2017-08-23 | 인하대학교 산학협력단 | 근육 조합 최적화를 통한 안면근육 표면근전도 신호기반 단모음인식 방법 |
CN109875515A (zh) * | 2019-03-25 | 2019-06-14 | 中国科学院深圳先进技术研究院 | 一种基于阵列式表面肌电的发音功能评估系统 |
CN110826625A (zh) * | 2019-11-06 | 2020-02-21 | 南昌大学 | 一种基于表面肌电信号的手指手势分类方法 |
-
2020
- 2020-05-27 CN CN202010461641.2A patent/CN111709314B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104915658A (zh) * | 2015-06-30 | 2015-09-16 | 东南大学 | 一种基于情感分布学习的情感成分分析方法及其系统 |
CN105426842A (zh) * | 2015-11-19 | 2016-03-23 | 浙江大学 | 基于支持向量机的表面肌电信号多类手部动作识别方法 |
KR20170095603A (ko) * | 2016-02-15 | 2017-08-23 | 인하대학교 산학협력단 | 근육 조합 최적화를 통한 안면근육 표면근전도 신호기반 단모음인식 방법 |
CN109875515A (zh) * | 2019-03-25 | 2019-06-14 | 中国科学院深圳先进技术研究院 | 一种基于阵列式表面肌电的发音功能评估系统 |
CN110826625A (zh) * | 2019-11-06 | 2020-02-21 | 南昌大学 | 一种基于表面肌电信号的手指手势分类方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111709314A (zh) | 2020-09-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Sun et al. | A hierarchical neural network for sleep stage classification based on comprehensive feature learning and multi-flow sequence learning | |
Zhang et al. | Multi-person brain activity recognition via comprehensive EEG signal analysis | |
CN106886792B (zh) | 一种基于分层机制构建多分类器融合模型的脑电情感识别方法 | |
Ou et al. | Automatic facial expression recognition using Gabor filter and expression analysis | |
Li et al. | Affective state recognition from EEG with deep belief networks | |
CN110598793B (zh) | 一种大脑功能网络特征分类方法 | |
CN112800998A (zh) | 融合注意力机制和dmcca的多模态情感识别方法及系统 | |
Chen et al. | Multiattention adaptation network for motor imagery recognition | |
Rayatdoost et al. | Subject-invariant EEG representation learning for emotion recognition | |
Gutta et al. | An Investigation into the Use of Partial-Faces for Face Recognition. | |
Huang et al. | Robust multi-feature collective non-negative matrix factorization for ECG biometrics | |
CN113392733A (zh) | 基于标签对齐的多源域自适应跨被试eeg认知状态评估方法 | |
Ye et al. | PPG-based biometric identification: Discovering and identifying a new user | |
Ibrahim et al. | ECG signals for human identification based on fiducial and non-fiducial approaches | |
Demir et al. | Multi-Layer Co-Occurrence Matrices for Person Identification from ECG Signals. | |
CN111611963B (zh) | 一种基于近邻保持典型相关分析的人脸识别方法 | |
CN117493955A (zh) | 一种癫痫患者的脑电信号分类模型的训练方法 | |
Li et al. | Facial emotion recognition via stationary wavelet entropy and Biogeography-based optimization | |
CN111709314B (zh) | 基于面部表面肌电的情感分布识别方法 | |
CN116821764A (zh) | 一种基于知识蒸馏的多源域适应的eeg情绪状态分类方法 | |
CN115969392A (zh) | 基于张量化频空注意力域适应网络的跨时段脑纹识别方法 | |
Wu et al. | Research on personal identity verification based on convolutional neural network | |
Sokolov et al. | Human emotion estimation from eeg and face using statistical features and svm | |
Li et al. | ECoG recognition of motor imagery based on SVM ensemble | |
Guo et al. | Emotion Recognition based on Physiological Signals Multi-head Attention Contrastive Learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |