CN114492532A - 一种用于指导教学的双模态情绪分类方法 - Google Patents

一种用于指导教学的双模态情绪分类方法 Download PDF

Info

Publication number
CN114492532A
CN114492532A CN202210113156.5A CN202210113156A CN114492532A CN 114492532 A CN114492532 A CN 114492532A CN 202210113156 A CN202210113156 A CN 202210113156A CN 114492532 A CN114492532 A CN 114492532A
Authority
CN
China
Prior art keywords
electroencephalogram
video
data
subject
emotion classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210113156.5A
Other languages
English (en)
Inventor
李瑞金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202210113156.5A priority Critical patent/CN114492532A/zh
Publication of CN114492532A publication Critical patent/CN114492532A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明属于人工智能技术领域,具体为一种用于指导教学的双模态情绪分类方法。本发明通过实验对受试者脑电信号和人脸图像数据进行情绪分析，探究最能调动学生积极性的教学方式；包括：采集受试者在观看不同教学视频时的脑电信号和人脸视频数据；分别对两种数据进行预处理，将其输入到两个分类器中，包括采用SVM神经网络用于脑电信号分类；采用CNN神经网络用于人脸图像分类；最后将两个分类器的结果进行融合，得到最终的情绪分类结果；与目前常用的情绪分类方法相比，本发明可提高情绪识别准确率，并且可用于指导教师设计教学方法，提高教学过程的有效性。

Description

一种用于指导教学的双模态情绪分类方法
技术领域
本发明属于人工智能技术领域,具体涉及一种多模态信息融合方法，特别涉及一种用于指导教学的双模态情绪分类方法。
背景技术
情绪智力是心理学的一个新兴研究课题，不管是在心理学界，还是在教育界，都引起了研究者的重视和兴趣。情绪智力是一种保持自我控制、热诚和坚持，并能自我激励的能力。一个带着积极情绪学习课程的学生，比那些缺乏热情、乐趣或兴趣的学生，或者比那些对学习内容感到焦虑和恐惧的学生，学习得更加轻松，更加迅速。因此，采用何种教学方式可以更好的提高学生的积极程度，提高教学有效性成了很多学者思考的问题。
对于学生学习过程中的积极度评估，可以采用脑电信号和人脸图像数据。脑电信号是由中枢神经系统产生的一种空间离散的非平稳随机信号，可以通过放置在受试者头上的电极来记录，相比其他的生理信号能够更真实可靠的反映人的情绪状态。人脸图像是人当前情绪状态最直接的体现，但面部表情易于伪装，可靠性较差，所以可考虑将脑电信号与人脸图像结合起来，采用基双模态情绪识别系统。基于这两种数据的情绪识别可以互相补足彼此数据集的短处，获得更高的情绪识别准确率，用于指导教学方法。
发明内容
本发明的目的在于提供一种可以调动学生学习积极性的用于指导教学的双模态情绪分类方法。
本发明提供的用于指导教学的双模态情绪分类方法，通过实验对受试者脑电信号和人脸图像数据进行情绪分析，探究最能调动学生积极性的教学方式；包括：采集受试者在观看不同教学视频时的脑电信号和人脸视频数据；分别对两种数据进行预处理，将其输入到分类器中，进行情绪分类；最后将分类器的结果进行融合，得到最终的情绪分类结果；具体步骤为：
步骤一、设计实验流程，准备实验视频；
步骤二、采集实验过程中受试者的脑电信号、人脸图像数据，以及真实标签数据；
步骤三、对所采集到的脑电信号、人脸图像数据分别进行预处理；
步骤四、设计并训练子分类器，分别将预处理后的脑电信号和人脸图像输入子分类器进行情绪分类；其中，分类器采用SVM神经网络，用于脑电信号分类；采用CNN神经网络，用于人脸图像分类；
步骤五、对两个子分类器的结果进行融合，得到最终情绪分类结果。
其中，步骤一的具体流程如下：
(1)准备一定数量的(比如，30-50个视频，具体如30个视频、40个视频、50个视频等等)不同类型的教学视频，长度均为1-2min；
(2)招募若干实验者，比如10-30名实验者，其中男女各半，参与实验；
(3)准备脑电信号采集设别与录像设备；
(4)实验正式开始之前，受试者被要求处于平稳状态下休息2min，并记录下此时平稳状态下的脑电信号与人脸图像作为基准。
步骤二的具体轮流程如下：
(1)在步骤一的基础上，开始实验；每一位受试者会观看一定数量的视频(比如，30-50个视频，具体如30个视频、40个视频、50个视频等等)，并在实验期间收集脑电信号、进行视频录像；
(2)在每一个视频(约1-2min)结束之后，受试者会被要求进行自我评估，评估的内容主要包括唤醒度(arousal)、愉悦度(valence)、喜欢程度(like)、掌控度(dominance)。
步骤三所述的预处理，是为了获得之后易于处理的脑电信号和图像数据，具体流程如下：
(1)对脑电信号进行预处理；实验过程中采用32个活性AgCl电极采集脑电信号，为了更好的进行后续分析，对采集到的脑电信号进行降采样，到256Hz；
(2)将降采样后的脑电信号输入截止频率为2Hz的高通滤波器，并使用脑电采集系统的眼电干扰去除功能和伪迹去除功能去除眼电伪迹和肌电伪迹；
(3)考虑到脑电信号的一般带宽，采用3Hz到47Hz的带通滤波器，对步骤(2)处理后的脑电数据进行过滤，并调整采样数；
(4)本发明使用到的5个脑电波段分别为theta(4-8Hz)、slow alpha(8-10Hz)、alpha(8-12Hz)、beta(12-30Hz)和gamma(30+Hz)；使用14个通道(AF3、F3、F7、FC5、T7、P7、O1、AF4、F4、F8、FC6、T8、P8、O2)，共70个特征；
(5)对视频信号进行预处理；将完整的录制视频按照每段实验测试时间1min截取，并在每段测试期间按帧截取图片，可以得到多组受试者人脸表情图片；
(6)为了减少冗余内容，例如发型、环境等对图像数据处理过程中的影响，需要对每一帧图片进行人脸对齐和面部剪裁处理；使用主动外观模型AAM(active appearancemodel)可获取图像中的主要像素点坐标，并将图片当中的人脸主要轮廓标定出来，进行裁剪。
步骤四的具体流程为：
(1)将经过预处理后的脑电数据输入SVM神经网络中，进行模型训练；并调整SVM神经网络的惩罚系数，以取得较好的分类结果；
(2)训练完SVM神经网络模型之后，针对不同的受试者分别进行唤醒度(arousal)和愉悦度(valence)数值的预测；
(3)将经过预处理后的人脸图像输入CNN神经网络中，进行模型训练，将卷积层参数固定；
(4)对步骤(3)训练后的CNN神经网络，以较小的学习率在小数据集上进行第二次训练，微调参数；
(5)将同一个视频中所截取的不同人脸图像输入CNN神经网络，得到唤醒度(arousal)和(valence)的数值预测结果。
步骤五的具体流程为：
(1)利用自适应增强算法(请附注参考文献)融合信息，将两个分类器作为AdaBoost的子分类器进行融合；首先赋予每一组训练数据初始权值，然后进行误差率计算；
(2)根据步骤(1)得到的误差率进行权重的更新，进行下一轮误差率和权重的计算；
(3)通过步骤(1)和步骤(2)，可以得到最终的二分类情绪预测结果。
经过上述步骤的操作，可以结合人脸图像和脑电信号得到最终的情绪分类结果，用于指导教学工作。
有益效果
本发明提出的用于指导教学的双模态情绪分类方法，与已有的情绪分类方法相比，采用了两种不同的数据，进行融合分析。将脑电信号和人脸图像通过子分类器的分类结果，输入自适应增强算法进行融合，提高了情绪分类的准确率，并可用于指导教学。
附图说明
图1为本发明具体实例中双模态情绪分类的流程图。
图2为脑电信号采集过程中的电极放置位置及名称。
图3为进行人脸图像数据预处理时的人脸图片裁剪示意图。
图4为需要获取的人脸图像中的68个关键坐标点示意图。
图5为一个实例中CNN的网络结构示意图。
图6为AdaBoost算法执行流程。
具体实施方式
为了更好的说明本发明的技术方案，下面结合附图和具体例子，对本发明做进一步详细的说明。
本实施例将对情绪进行二分类，将脑电信号和人脸图像的情绪分类结果融合起来，得到积极情绪和消极情绪两种分类结果。使用本发明的一种可用于指导教学的双模态情绪分类方法，其流程如图1所示。具体包括设计实验流程，准备实验所需教学视频；采集实验过程中受试者的脑电信号、人脸图像数据，以及真实标签数据；数据预处理；设计并训练子分类器；结合两个子分类器结果输出最终情绪分类结果五个步骤。详细步骤如下：
一、设计实验流程，准备实验视频：
步骤1：录制不同教学方式的教学视频，时长为1分钟，个数为40，作为实验素材使用；
步骤2：选择受试者20名，其中男性女性各10名，参与实验；
步骤3：在受试者头上合适位置放置用来收集脑电信号的电极设备，并在受试者对面放置摄像机，用来进行实验过程中人脸视频的录制；
步骤4：实验正式开始之前，受试者会被告知整个实验流程并熟悉实验操作和最后的自我评估标准；然后受试者被要求处于平稳状态下休息2min，并记录下此时平稳状态下的脑电信号与人脸图像作为基础参照。
二、采集实验过程中受试者的脑电信号、人脸图像数据，以及真实标签数据；
步骤1：在步骤一的基础上，进行试验；每位受试者会观看40个视频，并在20个视频观看结束后，休息一段时间，然后继续进行试验；在实验过程中，同时采集受试者的脑电信号及人脸图像数据；
步骤2：在每一个一分钟的视频结束后，受试者会被要求进行自我评估；自我评估的主要内容包括对唤醒度arousal、愉悦度valence、喜欢程度like、掌控度dominance的评分；受试者自我评估的结果用数值表示，从1-9表示程度的加深。
三、对所采集到的脑电信号、人脸图像数据分别进行预处理；
步骤1：对脑电信号进行预处理；实验过程中采用32个活性AgCl电极采集脑电信号，按照国际10-20标准放置；从鼻根至枕外粗隆取一连线，在此线上，由前至后标出五个点，分别命名为额极中点Fpz、额中点Fz、中央点Cz、顶点Pz、枕点Oz；额极中点至鼻根的距离和枕点至枕外粗隆的距离各占此连线全长的10％，其余各点均以此连线全长的20％相隔；从左耳前点通过中央点至右耳前点取一连线，在此连线的左右两侧对称标出左颞中T3、右颞中T4、左中央C3、右中央C4；T3、T4点与耳前点的距离各占此线全长的10％，其余各点均以此连线全长的20％相隔；从Fpz点向后通过T3、T4点至枕点分别取左右侧连线，在左右侧连线上由前至后对称地标出左额极Fp1、右额极Fp2、左前颞F7、右前颞F8、左后颞T5、右后颞T6、左枕O1、右枕O2各点；Fp1、Fp2点至额极中点Fpz的距离与O1、O2点至Oz点的距离各占此连线全长的10％，其余各点均以此连线全长的20％相隔；其余的左额F3、右额F4点分别位于Fp1、Fp2与C3、C4点的中间；左顶P3、右顶P4点分别位于C3、C4与O1、O2点的中间；参见图2所示；为了更好的进行后续分析，对采集到的脑电信号进行降采样到256Hz。
步骤2：将降采样后的脑电信号输入截止频率为2Hz的高通滤波器，并使用脑电采集系统的眼电干扰去除功能和伪迹去除功能去除眼电伪迹和肌电伪迹；具体过程如下：
步骤2.1：眼电伪迹来源于受试者眨眼活动，当眼睑覆盖眼球然后再离开眼球时，会导致偶极子电势差的急剧变化，这种电势差变化会被脑电采集系统捕捉，形成眼电伪迹，可以采用脑电采集系统中自带的去除眼电伪迹功能来去除；
步骤2.2：肌电伪迹来源于受试者肌肉活动时肌肉细胞的电位变化，一般来说，头部和颈部的肌肉活动是脑电信号肌电干扰的最主要来源；使用盲源分离技术来移除伪迹；其公式如下所示：
Figure BDA0003495484170000051
其中，W为分离矩阵，S(t)为源信号输入；可以通过求解分离矩阵W，使得观测信号X(t)通过该矩阵，并尽量分离出S(t)的各个组成；
步骤2.3：为了校正与视频刺激无关的脑电信号波动，提取了视频开始前五秒的脑电图信号作为基准，进行对照。
步骤3：基于步骤2的处理结果，使用Welch方法提取3Hz到47Hz的脑电信号，采样数为256；然后从实验采集到的脑电信号中减去步骤2.2中的基准信号，产生相对于视频刺激前的功率变化；可以发现，这些变化主要集中在3-7Hz的theta波，8-13Hz的alpha波，14-29Hz的beta波，30-47Hz的gamma波。
步骤4：对步骤3处理后的脑电信号进行特征提取，涉及到的5个脑电波段分别为theta(3-7Hz)、slow alpha(8-10Hz)、alpha(8-13Hz)、beta(14-29Hz)和gamma(30+Hz)；使用了14个通道(AF3、F3、F7、FC5、T7、P7、O1、AF4、F4、F8、FC6、T8、P8、O2)，共70个特征。
步骤5：对视频信号进行预处理；将完整的录制视频按照每段实验测试时间1min截取，并在每段测试期按照4Hz的频率截取图片，可以得到多组受试者人脸表情图片。
步骤6：为了减少冗余内容，例如发型、环境等，对图像数据处理过程中的影响，需要对每一帧图片进行人脸对齐和面部剪裁处理；使用主动外观模型AAM(activeappearance model)(参见：COOTESTF,EDWARDSGJ,TAYLORCJ.Activeappearancemodels[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2001(6):681-685.)可获取图像中的主要像素点坐标，并将图片当中的人脸主要轮廓标定出来，进行裁剪；
步骤6.1：使用主动外观模型AAM算法识别图像中的形状和外观特征，从而进行图像切割；首先获取人脸图像中的68个主要坐标点ψ(fi,1)，坐标点的位置主要分布在两侧眉毛(各6个)、眼睛外围及瞳孔(各5个)、鼻子四周及人中位置(共12个)、脸部四周(共15个)、嘴巴外围及牙齿(共19个)；使用两组关键点坐标可以得到矩阵Ti，然后对每一段视频中所截取的不同帧表情进行排列；
Ti＝LWM(ψ(Mi),ψ(fi,1)),i＝1,2,…,n； (2)
f′i，j＝Ti×fi,j,j＝1,2,…,k； (3)
其中，ψ(fi,1)代表所截取的第一帧表情图片，Mi代表中性表情图片，使用关键点坐标通过局部加权法LWM(local weighted method)可以得到转换矩阵Ti，随后每一帧图像fi,j都通过转换矩阵Ti对齐得到f′i，j；k代表每一段视频中所截取的图片帧数，n代表试验数；
步骤6.2：确定进行图像切割的几个关键数据：两个眼睛两端的距离计作d，将截取宽度w定义为2d，截取高度h定义为1.25w，随后进行图像剪裁；如图3所示。
四、设计并训练子分类器，分别将预处理后的脑电信号和人脸图像输入子分类器进行情绪分类。具体过程为：
步骤1：对于预处理后的脑电数据利用SVM构建被试依赖型脑电情绪识别模型；具体过程如下：
步骤1.1：对于步骤三进行预处理后的脑电信号，采用小波变化提取特征值；小波变换的公式如下：
Figure BDA0003495484170000061
其中，wf(a,b)表示一维连续小波变换，其中参数a和b都是连续变化的参数，a为尺度参数，b为时间参数；wf(a,b)指的是对信号f(t)进行小波变换后当频率为a时间为b时的变换值；对于脑电信号来说，SVM情绪识别模型依赖被试者，即训练集和数据集来源于同样的被试；
步骤1.2：在特征被选择之后，进行SVM分类，该SVM神经网络的惩罚系数设定为1.0；在训练过程中可以发现，惩罚系数过大，容易发生过拟合，过小时，容易发生欠拟合。
步骤2：训练完SVM模型后，对于每一个1分钟的任务来说，用训练到的不同的SVM模型对唤醒度arousal和愉悦度valence进行预测。通过SVM预测到的得分SEEG进一步得到脑电波的预测结果REEG：高/低。
Figure BDA0003495484170000062
步骤3：将经过步骤三预处理过的人脸图像数据输入CNN神经网络。CNN网络的主要结构可描述为，输入端是像素为75*60的图像，其中第一个卷积层为32个3*3*1的卷积核，第二个卷积层为32个3*3*32的卷积核，第三个卷积层为64个3*3*32的卷积核。首先基于大数据集进行神经网络的训练，并将卷积层参数大致固定。参见附图4所示。
步骤4：然后以较小的学习率0.001在小数据集上进行二次训练，最终完成CNN神经网络的训练。
步骤5：将基于同一个受试者的多张人脸图片输入训练好的CNN神经网络中，得到基于脸部图像数据的唤醒度arousal和愉悦度valence的分类；
Figure BDA0003495484170000071
其中，Sface代表经过CNN神经网络对人脸图像进行处理后得到的预测数值，Rface代表对预测数值进行情绪分类的结果。例如，如果对其中一个受试者某一视频观看结果进行分析，得到的唤醒度预测值Sface为0.9，则其对应的唤醒度结果属于high这一类。
五、对两个子分类器的结果进行融合，得到最终情绪分类结果。
步骤1：利用自适应增强算法融合信息，将两个分类器作为AdaBoost的子分类器进行融合。
Figure BDA0003495484170000072
Figure BDA0003495484170000073
该方法主要是为了寻找合适的wj并获得最终的输出。其中，Sfinal代表自适应增强融合方法的计算结果，sj代表对应的自分类器的输出，n代表子分类器的个数，在本实例中有n＝2。Rfinal代表自适应增强融合方法AdaBoost的预测结果high或者low，是一个二分类结果。
步骤2：初始化每一个样本的权重。对于一个含有m个样本的训练集来说，初始权重可以定义为w1,i＝1/m,其中i＝1,2…,m。
步骤3：经过步骤2所设定的初始权重，进行计算，可以得到错误率结果；
Figure BDA0003495484170000074
其中sij表示第j个分类器对第i个样本的输出结果，用yi来表示第i个样本的真实标签，ei表示错误率。基于步骤1的初始权重，可以得到初步错误率结果，按照下式进行权重更新；
Figure BDA0003495484170000081
步骤4：根据上述步骤的计算结果，更新训练集的权重分布。
Figure BDA0003495484170000082
通过上述步骤，可以得到最终的情绪预测结果Rfinal。
与仅进行脑电情绪识别相比，本发明对唤醒度和愉悦度的预测平均准确率提高了4％；与仅进行人脸图像识别相比，对唤醒度和愉悦度的预测准确率提高了4％，使得双模态情绪分类更具有参考性和准确度s。

Claims (8)

1.一种用于指导教学的双模态情绪分类方法，通过实验对受试者脑电信号和人脸图像数据进行情绪分析，探究最能调动学生积极性的教学方式；包括：采集受试者在观看不同教学视频时的脑电信号和人脸视频数据；分别对两种数据进行预处理，将其输入到分类器中，进行情绪分类；最后将分类器的结果进行融合，得到最终的情绪分类结果；具体步骤为：
步骤一、设计实验流程，准备实验视频；
步骤二、采集实验过程中受试者的脑电信号、人脸图像数据，以及真实标签数据；
步骤三、对所采集到的脑电信号、人脸图像数据分别进行预处理；
步骤四、设计并训练子分类器，分别将预处理后的脑电信号和人脸图像输入子分类器进行情绪分类；其中，分类器采用SVM神经网络，用于脑电信号分类；采用CNN神经网络，用于人脸图像分类；
步骤五、对两个子分类器的结果进行融合，得到最终情绪分类结果。
2.根据权利要求1所述的双模态情绪分类方法，其特征在于，步骤一的具体流程如下：
（1）准备一定数量的不同类型的教学视频，长度均为1-2min；
（2）招募若干实验者，参与实验；
（3）准备脑电信号采集设别与录像设备；
（4）实验正式开始之前，受试者被要求处于平稳状态下休息2min，并记录下此时平稳状态下的脑电信号与人脸图像作为基准。
3.根据权利要求2所述的双模态情绪分类方法，其特征在于，步骤二的具体流程如下：
（1）每一位受试者观看步骤一采集的教育视频，并收集脑电信号、进行视频录像；
（2）在每一个视频结束之后，受试者进行自我评估，评估的内容包括唤醒度、愉悦度、喜欢程度、掌控度。
4.根据权利要求3所述的双模态情绪分类方法，其特征在于，步骤三所述的预处理的具体流程如下：
（1）对脑电信号进行预处理；采用32个活性AgCl电极采集脑电信号，并对采集到的脑电信号降采样到256Hz；
（2）将降采样后的脑电信号输入截止频率为2Hz的高通滤波器，并使用脑电采集系统的眼电干扰去除功能和伪迹去除功能，去除眼电伪迹和肌电伪迹；
（3）考虑到脑电信号的一般带宽，采用3Hz到47Hz的带通滤波器，对步骤（2）处理后的脑电数据进行过滤，并调整采样数；
（4）使用5个脑电波段，分别为theta（4-8Hz）、slow alpha（8-10Hz）、 alpha（8-12Hz）、beta（12-30Hz）和gamma（30+Hz）；使用14个通道：AF3、F3、F7、FC5、T7、P7、O1、AF4、F4、F8、FC6、T8、P8、O2，共有70个特征；
（5）对视频信号进行预处理；将完整的录制视频按照每段实验测试时间1-2min截取，并在每段测试期间按帧截取图片，得到多组受试者人脸表情图片；
（6）为了减少冗余内容，对每一帧图片进行人脸对齐和面部剪裁处理；使用主动外观模型AAM获取图像中的主要像素点坐标，并将图片当中的人脸主要轮廓标定出来，进行裁剪。
5.根据权利要求4所述的双模态情绪分类方法，其特征在于，步骤四的具体流程为：
（1）将经过预处理后的脑电数据输入SVM神经网络中，进行模型训练；并调整SVM神经网络的惩罚系数，以取得较好的分类结果；
（2）训练完SVM神经网络模型之后，针对不同的受试者分别进行唤醒度和愉悦度数值的预测；
（3）将经过预处理后的人脸图像输入CNN神经网络中，进行模型训练，将卷积层参数固定；
（4）对步骤（3）训练后的CNN神经网络，以较小的学习率在小数据集上进行第二次训练，微调参数；
（5）将同一个视频中所截取的不同人脸图像输入CNN神经网络，得到唤醒度和愉悦度的数值预测结果。
6.根据权利要求5所述的双模态情绪分类方法，其特征在于，步骤五的具体流程为：
（1）利用自适应增强算法融合信息，将两个分类器作为AdaBoost的子分类器进行融合；首先赋予每一组训练数据初始权值，然后进行误差率计算；
（2）根据步骤（1）得到的误差率进行权重的更新，进行下一轮误差率和权重的计算；
（3）通过步骤（1）和步骤（2），得到最终的二分类情绪预测结果。
7.根据权利要求6所述的双模态情绪分类方法，其特征在于，步骤三的流程2中所述使用脑电采集系统的眼电干扰去除眼电伪迹和肌电伪迹，具体过程如下：
（2.1）眼电伪迹来源于受试者眨眼活动，当眼睑覆盖眼球然后再离开眼球时，会导致偶极子电势差的急剧变化，这种电势差变化会被脑电采集系统捕捉，形成眼电伪迹；采用脑电采集系统中自带的去除眼电伪迹功能来去除；
（2.2）肌电伪迹来源于受试者肌肉活动时肌肉细胞的电位变化；使用盲源分离技术来移除伪迹；其公式如下所示：
Figure DEST_PATH_IMAGE001
（1）
其中，W为分离矩阵，S(t)为源信号输入；通过求解分离矩阵W，使得观测信号X(t)通过该矩阵，并分离出S(t)的各个组成；
（2.3）为了校正与视频刺激无关的脑电信号波动，提取视频开始前五秒的脑电图信号作为基准，进行对照。
8.根据权利要求7所述的双模态情绪分类方法，其特征在于，所述步骤三流程（6）中所述使用主动外观模型AAM获取图像中的主要像素点坐标，并将图片当中的人脸主要轮廓标定出来，进行裁剪，具体过程为：
步骤6.1：使用主动外观模型AAM算法识别图像中的形状和外观特征，从而进行图像切 割；首先获取人脸图像中的68个主要坐标点，坐标点的位置为：分布在两侧眉毛各6个，眼睛 外围及瞳孔各5个，鼻子四周及人中位置共12个，脸部四周共15个，嘴巴外围及牙齿共19个； 接着使用两组关键点坐标得到矩阵
Figure 208870DEST_PATH_IMAGE002
，然后对每一段视频中所截取的不同帧表情进行排 列：
Figure DEST_PATH_IMAGE003
（2）
Figure 362508DEST_PATH_IMAGE004
（3）
其中，
Figure DEST_PATH_IMAGE005
代表所截取的第一帧表情图片，
Figure 459515DEST_PATH_IMAGE006
代表中性表情图片，使用关键点坐标通 过局部加权法LWM得到转换矩阵
Figure DEST_PATH_IMAGE007
，随后每一帧图像
Figure 287269DEST_PATH_IMAGE008
都通过转换矩阵
Figure 624578DEST_PATH_IMAGE007
对齐得到
Figure DEST_PATH_IMAGE009
，
Figure 203196DEST_PATH_IMAGE010
代表每一段视频中所截取的图片帧数，n代表试验数；
步骤6.2：确定进行图像切割的几个关键数据：两个眼睛两端的距离计作d，将截取宽度w定义为2d，截取高度h定义为1.25w，随后进行图像剪裁。
CN202210113156.5A 2022-01-30 2022-01-30 一种用于指导教学的双模态情绪分类方法 Pending CN114492532A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210113156.5A CN114492532A (zh) 2022-01-30 2022-01-30 一种用于指导教学的双模态情绪分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210113156.5A CN114492532A (zh) 2022-01-30 2022-01-30 一种用于指导教学的双模态情绪分类方法

Publications (1)

Publication Number Publication Date
CN114492532A true CN114492532A (zh) 2022-05-13

Family

ID=81478844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210113156.5A Pending CN114492532A (zh) 2022-01-30 2022-01-30 一种用于指导教学的双模态情绪分类方法

Country Status (1)

Country Link
CN (1) CN114492532A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117520826A (zh) * 2024-01-03 2024-02-06 武汉纺织大学 一种基于可穿戴设备的多模态情绪识别方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117520826A (zh) * 2024-01-03 2024-02-06 武汉纺织大学 一种基于可穿戴设备的多模态情绪识别方法及系统
CN117520826B (zh) * 2024-01-03 2024-04-05 武汉纺织大学 一种基于可穿戴设备的多模态情绪识别方法及系统

Similar Documents

Publication Publication Date Title
Zhang et al. Cascade and parallel convolutional recurrent neural networks on EEG-based intention recognition for brain computer interface
CN109298779B (zh) 基于虚拟代理交互的虚拟训练系统与方法
Hung et al. Recognition of motor imagery electroencephalography using independent component analysis and machine classifiers
US20070060830A1 (en) Method and system for detecting and classifying facial muscle movements
CN107798318A (zh) 一种机器人识别面部快乐微表情的方法及其装置
CN111329474A (zh) 基于深度学习的脑电身份识别方法、系统及信息更新方法
CN109976525B (zh) 一种用户界面交互方法、装置及计算机设备
Chen et al. A common spatial pattern and wavelet packet decomposition combined method for EEG-based emotion recognition
Zhang et al. Classification of EEG signal by WT-CNN model in emotion recognition system
CN109247917A (zh) 一种空间听觉诱发p300脑电信号识别方法及装置
CN113208593A (zh) 基于相关性动态融合的多模态生理信号情绪分类方法
CN114492532A (zh) 一种用于指导教学的双模态情绪分类方法
CN115659207A (zh) 一种脑电情绪识别方法及系统
Kim et al. EEG-based driver drowsiness classification via calibration-free framework with domain generalization
CN115690528A (zh) 跨主体场景的脑电信号美学评估处理方法、装置、介质及终端
Arabshahi et al. A convolutional neural network and stacked autoencoders approach for motor imagery based brain-computer interface
Ghosh et al. Identification of imagined bengali vowels from EEG signals using activity map and convolutional neural network
CN113625870A (zh) 基于语言想象的脑-机接口控制系统和方法
CN117520826B (zh) 一种基于可穿戴设备的多模态情绪识别方法及系统
Li A Dual-Modality Emotion Recognition System of EEG and Facial Images and its
Chen et al. Research on Positive Emotion Recognition Based on EEG Signals
Hema et al. Functional link PSO neural network based classification of EEG mental task signals
An Development of advanced machine learning based EEG robot for disabled people
Xiong et al. Multi-Scale Convolutional Neural Network with Sinc-Layer and Adaptive Feature Weight Distribution for Motor Imagery EEG Recognition
Burger A novel method of improving EEG signals for BCI classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination