CN111339878A - 一种基于眼动数据的修正型实时情感识别方法及系统 - Google Patents

一种基于眼动数据的修正型实时情感识别方法及系统 Download PDF

Info

Publication number
CN111339878A
CN111339878A CN202010101839.XA CN202010101839A CN111339878A CN 111339878 A CN111339878 A CN 111339878A CN 202010101839 A CN202010101839 A CN 202010101839A CN 111339878 A CN111339878 A CN 111339878A
Authority
CN
China
Prior art keywords
eye movement
movement data
current
emotion
fixation point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010101839.XA
Other languages
English (en)
Other versions
CN111339878B (zh
Inventor
青春美
金珊
徐向民
邢晓芬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202010101839.XA priority Critical patent/CN111339878B/zh
Publication of CN111339878A publication Critical patent/CN111339878A/zh
Application granted granted Critical
Publication of CN111339878B publication Critical patent/CN111339878B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于眼动数据的修正型实时情感识别方法及系统，在VR环境中实时采集眼动数据，利用眼动数据进行注视点预测；通过当前帧的全景图以及预测的下一帧注视点区域图得到初步情感状态；结合历史眼动数据对初步情感状态进行修正，得到当前时刻的最终情感状态。本系统能实时预测用户情感，提升用户在VR环境中的体验感。

Description

一种基于眼动数据的修正型实时情感识别方法及系统
技术领域
本发明涉及情感识别领域，具体涉及一种基于眼动数据的修正型实时情感识别方法及系统。
背景技术
随着虚拟现实技术应用的普及，人机交互越发受到重视。VR环境中的人机交互，例如眼动交互、语音交互、手势交互以及姿势交互等交互技术的研究都逐渐走向成熟。目前在情感交互方面，国内外大多数是基于表情或心率、脑电等生理参数的研究，而VR中基于眼动的情感交互研究却不多见，相关研究方法也存在着明显不足。但事实上，根据心理学研究，眼睛最能反映一个人的心理状态和情感。
在虚拟现实环境中，计算机能实时量化地理解人的情感，可以根据人的情感及时做出响应，这将给用户带来更舒适的体验感。目前，情感识别主要是依据脑电，如音频、图像、文本等材料。而脑电信号相对较微弱，抗干扰性小。人的情感是多种感觉、思想和行为综合产生的心理和生理状态，且存在着情绪唤醒效应，不能准确识别情感。
发明内容
为了克服现有技术存在的缺点与不足，本发明提供一种基于眼动数据的修正型实时情感识别方法及系统。本发明充分利用眼动数据和虚拟场景信息在VR环境中进行情感识别，提高人类情感识别的准确率。
本发明采用如下技术方案：
一种基于眼动数据的修正型实时情感识别方法，包括如下步骤：
实时采集用户在VR环境中的眼动数据；
通过当前的眼动数据得到当前注视点区域图
Figure BDA0002387116660000011
对当前注视点区域图和下一帧360°全景图
Figure BDA0002387116660000012
进行显著性编码，将当前注视点的编码特征及显著性编码特征送入预先训练好的注视点区域预测模型，得到下一帧的注视点区域图
Figure BDA0002387116660000013
通过当前的眼动数据得到当前视场图
Figure BDA0002387116660000014
将
Figure BDA0002387116660000015
输入CNN模型，提取图像特征，利用SVM得到初步情感状态E1；
利用眼动情感预测模块得到情感状态E2；
利用E2对E1进行修正，得到最终情感状态E3。
进一步地，在实时采集用户在VR环境中的眼动数据步骤之前，还包括采集用户在VR环境的历史眼动数据，并通过历史眼动数据得到历史注视点，并采用LSTM网络对历史注视点坐标进行编码。
进一步地，将当前注视点的编码特征及显著性编码特征送入预先训练好的注视点区域预测模型，得到下一帧的注视点区域图
Figure BDA0002387116660000021
具体为：
通过当前的眼动数据得到当前注视点区域图
Figure BDA0002387116660000022
所述当前注视点区域图
Figure BDA0002387116660000023
是以当前注视点坐标为中心的显著性区域图；
考虑下一帧的注视点与当前注视点、当前注视点运动状态、用户观看习惯以及下一帧360°全景图像有关，利用CNN对
Figure BDA0002387116660000024
和
Figure BDA0002387116660000025
进行特征提取，其中I1为360°全景图像，I2为注视点区域图，I3为视场图；
将提取的特征和经过编码的历史注视点坐标作为注视点区域预测模型的输入，得到下一帧的注视点的轨迹位移值，注视点区域预测模型的损失函数为：
Figure BDA0002387116660000026
其中T为当前时刻往后的T个帧的时间段，F(·,·,·)为网络模型函数，输出为注视点轨迹位移值，cur为特定帧数；
预测的下一帧注视点坐标为
Figure BDA0002387116660000027
预测的下一帧注视点区域
Figure BDA0002387116660000028
为以g′t+1为中心的显著性区域。
进一步地，所述通过当前的眼动数据得到当前视场图
Figure BDA0002387116660000029
将
Figure BDA00023871166600000210
输入CNN模型，提取图像特征，利用SVM定性得到初步情感状态E1，具体为：
利用CNN模型对
Figure BDA00023871166600000211
进行特征提取，得到特征向量集合
Figure BDA00023871166600000212
其中
Figure BDA00023871166600000213
利用SVM得到初步情感状态E1,其中E1∈{1,2,3,4,5,6}，
Figure BDA00023871166600000214
其中
Figure BDA00023871166600000215
为RBF核，E为SVM中二分类值，采用一对多策略得到分类结果E1，Y1＝[y1,y2,…yN-1,yN]为训练样本标签的定性值。
进一步地，所述利用眼动情感预测模块得到情感状态E2步骤，具体为：
提取前t帧时间段的眼动数据，得到眼动数据的时间序列
Figure BDA00023871166600000216
其中
Figure BDA00023871166600000217
眼动情感预测模块输入信号为眼动数据X2，输出为情感分布向量E2，[e1,e2,e3,e4,e5,e6]，emax为情感分布向量中的最大值，ei为情感分布向量中的第i个元素，每个元素为分别对应愤怒、厌恶、恐惧、愉快、悲伤、惊讶这6种情感的概率值，且
Figure BDA0002387116660000031
网络的损失函数为：
Figure BDA0002387116660000032
其中Y2＝[y1,y2,…yN-1,yN]为训练样本标签的定量值，yi为训练样本标签的情感分布向量，yi＝[e1,e2,e3,e4,e5,e6]，ei为情感分布向量中的第i个元素，每个元素为分别对应愤怒、厌恶、恐惧、愉快、悲伤、惊讶这6种情感的概率值，且
Figure BDA0002387116660000033
进一步地，利用E2＝[e1,e2,e3,e4,e5,e6]对E1进行修正，得到最终情感状态E3[e′1,e′2,e′3,e′4,e′5,e′6,]，具体为：
Figure BDA0002387116660000034
进一步地，所述CNN模型为5个卷积(5*5)池化层(2*2MaxPooling)，两个全连接层fc_1,fc_2。
进一步地，所述眼动数据包括瞳孔直径、注视点坐标、眼皮张合度、眼跳及注视时间。
一种修正型实时情感识别方法的系统，包括：
眼动数据采集模块，通过在头戴式VR设备中集成眼动仪的镜片实现采集眼动数据；
注视点区域预测模块，通过当前的眼动数据得到当前注视点区域图
Figure BDA0002387116660000035
对当前注视点区域图和下一帧360°全景图
Figure BDA0002387116660000036
进行显著性编码，将当前注视点的编码特征及显著性编码特征送入预先训练好的注视点区域预测模型，得到下一帧的注视点区域图
Figure BDA0002387116660000037
初步情感计算模块，通过当前的眼动数据得到当前视场图
Figure BDA0002387116660000038
将
Figure BDA0002387116660000039
输入CNN模型，提取图像特征，利用SVM得到初步情感状态E1；
眼动情感计算模块，历史眼动数据进行特征提取，作为眼动情感预测模块的输入，得到情感状态E2；
情感修正模块，利用E2对E1进行修正，得到最终情感状态E3。
本发明的有益效果：现有的基于生理信号的情感识别研究中，多以脑电信号为主，但在实际应用中，脑电信号的采集方式复杂，并且脑电信号强度弱，抗干扰能力低，基于非生理信号的情感识别，在实际应用中，难以排除用户刻意隐瞒的现象，而本发明采用在眼动仪集成在VR眼镜上，使得眼动信号易于采集；
本发明基于眼动信号及场景图像的识别，不仅能识别用户的真实情感状态，，采集方式简单，信号抗干扰性强，提取的特征对情绪表征能力强。
附图说明
图1为本发明方法总体示意图；
图2为本发明方法步骤S2流程示意图；
图3为本发明方法步骤S3、S4、S5流程示意图。
具体实施方式
下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。
实施例
如图1所示，一种基于眼动数据的修正型实时情感识别方法，包括如下步骤：
S1在头戴式VR设备中集成眼动数据采集模组，用户佩戴VR设备，自主探索360°全景视频中的内容，实时采集用户在此过程中的眼动数据，同时获得视频帧序列；
本实施例中的眼动数据采集模组具体为眼动片，眼动数据包括包含眼图、瞳孔半径，瞳孔在图像中的位置、上下眼皮距离、注视点(平滑与非平滑)等。
采用上述方案的有益效果为：VR沉浸式的体验感让用户更加身临其境，用户不易受到外界环境的干扰，集成眼动模组在VR头显中，采集到的数据实时且更可靠
如图2所示，S2通过当前的眼动数据得到当前注视点区域图
Figure BDA0002387116660000041
对当前注视点区域图和下一帧360°全景图
Figure BDA0002387116660000042
进行显著性编码，将当前注视点的编码特征及显著性编码特征送入预先训练好的注视点区域预测模型，得到下一帧的注视点区域图
Figure BDA0002387116660000043
具体为：
S2.1通过历史眼动数据得到历史注视点坐标
Figure BDA0002387116660000044
其中p表示第p个用户，
Figure BDA0002387116660000045
xt和yt是每一帧中3D全景图像的经度和纬度，xt∈[0,360]，yt∈[-90,90])；
利用LSTM网络对历史眼动数据进行编码。
S2.2采集当前眼动数据得到当前注视点区域图
Figure BDA0002387116660000051
Figure BDA0002387116660000052
是以当前注视点坐标为中心的显著性区域图；
S2.3考虑到下一帧的注视点与当前注视点、当前注视点运动状态、用户观看习惯以及下一帧360°全景图像有关，利用CNN模型对
Figure BDA0002387116660000053
和
Figure BDA0002387116660000054
进行特征提取，其中I1为360°全景图像，I2为注视点区域图，I3为视场图；
本实施例中采用的CNN模型为5个卷积(5*5)池化层(2*2MaxPooling)，两个全连接层fc_1,fc_2。
S2.4将提取的图片特征和经过LSTM网络编码的历史注视点坐标特征作为深度神经网络的输入，得到下一帧的注视点的轨迹位移值。深度神经网络的损失函数为：
Figure BDA0002387116660000055
其中T为当前时刻往后的T个帧的时间段，F(·,·,·)为网络模型函数，输出为注视点轨迹位移值,cur为特定的帧数；
S2.5预测的下一帧注视点坐标为
Figure BDA0002387116660000056
预测的下一帧注视点区域
Figure BDA0002387116660000057
为以g′t+1为中心的显著性区域。
采用上述方案的有益效果为：历史注视点坐标能反映用户注视区域的变化，进一步体现用户兴趣区域的变化。用户第一注视区域可能是由图像显著性导致，而用户注视区域的转换，则更多是用户主观能动的转移，其中的信息能体现用户情感的变化。用户注视区域一般与图像显著性、物体的运动状态以及用户本身的实现探索习惯相关，因此历史注视点坐标中包含着用户注视点转移信息。采用LSTM网络提取注视点坐标特征，更能从时间上反映这一注视点转移信息。采用下一帧图像和当前注视区图像是考虑图像显著性和物体运动状态对注视视线的影响。这样能更准确预测下一帧的注视点。
如图3所示，S3通过当前的眼动数据得到当前视场图
Figure BDA0002387116660000058
将
Figure BDA0002387116660000059
输入CNN模型，提取图像特征，利用SVM得到初步情感状态E1，具体为：
S3.1、利用CNN对
Figure BDA00023871166600000510
进行特征提取，得到特征向量集合
Figure BDA00023871166600000511
其中
Figure BDA00023871166600000512
其中CNN采用5个卷积(5*5)池化层(2*2MaxPooling)，两个全连接层fc_1,fc_2；
S3.2、利用SVM得到初步情感状态E1,其中E1∈{1,2,3,4,5,6}。
Figure BDA00023871166600000513
其中
Figure BDA00023871166600000514
为RBF核，E为SVM中二分类值，采用一对多策略得到分类结果E1。Y1＝[y1,y2,…yN-1,yN]为训练样本标签的定性值。
本发明采用CNN进行特征提取，CNN对图像特征提取有着显著的效果。经过多次试验，SVM采用高斯核分类效果最佳。定性得到用户情感状态。
S4将历史眼动数据进行特征提取，作为眼动情感预测模块的输入，得到情感状态E2；
进一步方案，S4具体包括：
S4.1、对眼动设备采集到的原始数据进一步分析处理，得到瞳孔直径、注视点坐标、眼皮张合度、眼跳、注视时间等眼动数据，提取前t帧时间段的眼动数据，得到眼动数据的时间序列
Figure BDA0002387116660000061
其中
Figure BDA0002387116660000062
S4.2眼动情感预测网络是基于大规模带情感分布向量的眼动数据训练的CNN，网络的输入为S4.1提取的眼动数据X2，输出为情感分布向量E2[e1,e2,e3,e4,e5,e6]，emax为情感分布向量中的最大值，ei为情感分布向量中的第i个元素，每个元素为分别对应愤怒、厌恶、恐惧、愉快、悲伤、惊讶这6种情感的概率值，且
Figure BDA0002387116660000063
网络的损失函数为：
Figure BDA0002387116660000064
其中Y2＝[y1,y2,…yN-1,yN]为训练样本标签的定量值，yi为训练样本标签的情感分布向量，yi＝[e1,e2,e3,e4,e5,e6]，ei为情感分布向量中的第i个元素，每个元素为分别对应愤怒、厌恶、恐惧、愉快、悲伤、惊讶这6种情感的概率值，且
Figure BDA0002387116660000065
采用上述进一步方案的有益效果为:通过VR场景信息定性得到用户情感状态，利用用户眼动变化数据定量得到用户的真实情感状态。根据心理学研究表明，眼动信息对情感识别有着重要的作用，眼动特征向量能反映用户的细微情感变化，定量分析情感变化。
S5利用E2对E1进行修正，得到最终情感状态E3[e′1,e′2,e′3,e′4,e′5,e′6,]。其中：
Figure BDA0002387116660000066
利用E2对E1进行修正，定性定量的得到用户情感状态，有效提高了VR环境中情感识别的准确率。
一种基于眼动数据的修正型实时情感识别系统，包括：
眼动数据采集模块，用于VR环境中眼动数据的采集，获取用户在探索360°全景视频时的注视点、注视轨迹、瞳孔、眼皮张合度等数据；
注视点区域预测模块，包括注视点坐标特征提取模块、图像特征提取模块和注视轨迹位移预测模块。注视点坐标特征提取模块，用于获取注视点时间上的显著信息。图像特征提取模块，用于获取注视区域空间显著信息。注视轨迹位移预测模块，用于获取注视点的位移值，从而最终获得下一帧的注视点坐标和注视点区域；
初步情感计算模块，包括特征提取模块和情感定性分析模块。特征提取模块用于获取注视区域空间显著信息。情感定性分析模块用于对提取的空间显著信息进行定性分析，获得初步情感状态E1；
眼动情感计算模块，用于从眼动特征向量定量的获得用户的情感状态E2；
情感修正模块，动态地将E2按照一定比例对E1进行修正，得到最终情感状态分布向量E3。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种基于眼动数据的修正型实时情感识别方法，其特征在于，包括如下步骤：
实时采集用户在VR环境中的眼动数据；
通过当前的眼动数据得到当前注视点区域图
Figure FDA0002387116650000011
对当前注视点区域图和下一帧360°全景图
Figure FDA0002387116650000012
进行显著性编码，将当前注视点的编码特征及显著性编码特征送入预先训练好的注视点区域预测模型，得到下一帧的注视点区域图
Figure FDA0002387116650000013
通过当前的眼动数据得到当前视场图
Figure FDA0002387116650000014
将
Figure FDA0002387116650000015
输入CNN模型，提取图像特征，利用SVM得到初步情感状态E1；
利用眼动情感预测模块得到情感状态E2；
利用E2对E1进行修正，得到最终情感状态E3。
2.根据权利要求1所述的修正型实时情感识别方法，其特征在于，在实时采集用户在VR环境中的眼动数据步骤之前，还包括采集用户在VR环境的历史眼动数据，并通过历史眼动数据得到历史注视点，并采用LSTM网络对历史注视点坐标进行编码。
3.根据权利要求1所述的修正型实时情感识别方法，其特征在于，将当前注视点的编码特征及显著性编码特征送入预先训练好的注视点区域预测模型，得到下一帧的注视点区域图
Figure FDA0002387116650000016
具体为：
通过当前的眼动数据得到当前注视点区域图
Figure FDA0002387116650000017
所述当前注视点区域图
Figure FDA0002387116650000018
是以当前注视点坐标为中心的显著性区域图；
考虑下一帧的注视点与当前注视点、当前注视点运动状态、用户观看习惯以及下一帧360°全景图像有关，利用CNN对
Figure FDA0002387116650000019
和
Figure FDA00023871166500000110
进行特征提取，其中I1为360°全景图像，I2为注视点区域图，I3为视场图；
将提取的特征和经过编码的历史注视点坐标作为注视点区域预测模型的输入，得到下一帧的注视点的轨迹位移值，注视点区域预测模型的损失函数为：
Figure FDA00023871166500000111
其中T为当前时刻往后的T个帧的时间段，F(·，·，·)为网络模型函数，输出为注视点轨迹位移值，cur为特定帧数；
预测的下一帧注视点坐标为
Figure FDA00023871166500000112
预测的下一帧注视点区域
Figure FDA00023871166500000113
为以g′t+1为中心的显著性区域。
4.根据权利要求1所述的修正型实时情感识别方法，其特征在于，所述通过当前的眼动数据得到当前视场图
Figure FDA0002387116650000021
将
Figure FDA0002387116650000022
输入CNN模型，提取图像特征，利用SVM定性得到初步情感状态E1，具体为：
利用CNN模型对
Figure FDA0002387116650000023
进行特征提取，得到特征向量集合
Figure FDA0002387116650000024
其中
Figure FDA0002387116650000025
利用SVM得到初步情感状态E1，其中E1∈{1，2，3，4，5，6}，
Figure FDA0002387116650000026
其中
Figure FDA0002387116650000027
为RBF核，E为SVM中二分类值，采用一对多策略得到分类结果E1，Y1＝[y1，y2，...yN-1，yN]为训练样本标签的定性值。
5.根据权利要求1所述的修正型实时情感识别方法，其特征在于，所述利用眼动情感预测模块得到情感状态E2步骤，具体为：
提取前t帧时间段的眼动数据，得到眼动数据的时间序列
Figure FDA0002387116650000028
其中
Figure FDA0002387116650000029
i指的第i个人，n指的第n维眼动数据；
眼动情感预测模块输入信号为眼动数据X2，输出为情感分布向量E2，[e1，e2，e3，e4，e5，e6]，emax为情感分布向量中的最大值，ei为情感分布向量中的第i个元素，每个元素为分别对应愤怒、厌恶、恐惧、愉快、悲伤、惊讶这6种情感的概率值，且
Figure FDA00023871166500000210
网络的损失函数为：
Figure FDA00023871166500000211
其中Y2＝[y1，y2，...yN-1，yN]为训练样本标签的定量值，yi为训练样本标签的情感分布向量，yi＝[e1，e2，e3，e4，e5，e6]，ei为情感分布向量中的第i个元素，每个元素为分别对应愤怒、厌恶、恐惧、愉快、悲伤、惊讶这6种情感的概率值，且
Figure FDA00023871166500000212
6.根据权利要求1所述的修正型实时情感识别方法，其特征在于，利用E2＝[e1，e2，e3，e4，e5，e6]对E1进行修正，得到最终情感状态E3[e′1，e′2，e′3，e′4，e′5，e′6，]，具体为：
Figure FDA00023871166500000213
7.根据权利要求3或4所述的修正型实时情感识别方法，其特征在于，所述CNN模型为5个卷积池化层，两个全连接层fc_1，fc_2。
8.根据权利要求1所述的修正型实时情感识别方法，其特征在于，所述眼动数据包括瞳孔直径、注视点坐标、眼皮张合度、眼跳及注视时间。
9.一种实现权利要求1-8任一项所述的修正型实时情感识别方法的系统，其特征在于，包括：
眼动数据采集模块，通过在头戴式VR设备中集成眼动仪的镜片实现采集眼动数据；
注视点区域预测模块，通过当前的眼动数据得到当前注视点区域图
Figure FDA0002387116650000031
对当前注视点区域图和下一帧360°全景图
Figure FDA0002387116650000032
进行显著性编码，将当前注视点的编码特征及显著性编码特征送入预先训练好的注视点区域预测模型，得到下一帧的注视点区域图
Figure FDA0002387116650000033
初步情感计算模块，通过当前的眼动数据得到当前视场图
Figure FDA0002387116650000034
将
Figure FDA0002387116650000035
输入CNN模型，提取图像特征，利用SVM得到初步情感状态E1；
眼动情感计算模块，历史眼动数据进行特征提取，作为眼动情感预测模块的输入，得到情感状态E2；
情感修正模块，利用E2对E1进行修正，得到最终情感状态E3。
CN202010101839.XA 2020-02-19 2020-02-19 一种基于眼动数据的修正型实时情感识别方法及系统 Active CN111339878B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010101839.XA CN111339878B (zh) 2020-02-19 2020-02-19 一种基于眼动数据的修正型实时情感识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010101839.XA CN111339878B (zh) 2020-02-19 2020-02-19 一种基于眼动数据的修正型实时情感识别方法及系统

Publications (2)

Publication Number Publication Date
CN111339878A true CN111339878A (zh) 2020-06-26
CN111339878B CN111339878B (zh) 2023-06-20

Family

ID=71185423

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010101839.XA Active CN111339878B (zh) 2020-02-19 2020-02-19 一种基于眼动数据的修正型实时情感识别方法及系统

Country Status (1)

Country Link
CN (1) CN111339878B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111967363A (zh) * 2020-08-10 2020-11-20 河海大学 一种基于微表情识别和眼动追踪的对情绪预测的方法
CN116050282A (zh) * 2023-02-23 2023-05-02 华中科技大学 用户对情报的需求度计算方法和隐式反馈需求度预测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105868694A (zh) * 2016-03-24 2016-08-17 中国地质大学（武汉） 基于面部表情和眼球动作的双模态情感识别方法及系统
CN109998570A (zh) * 2019-03-11 2019-07-12 山东大学 服刑人员心理状态评估方法、终端、设备及系统
CN110018738A (zh) * 2019-03-04 2019-07-16 华南理工大学 一种基于真实场景情感表达的情感转换系统
CN110070944A (zh) * 2019-05-17 2019-07-30 段新 基于虚拟环境和虚拟角色的社会功能评估训练系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105868694A (zh) * 2016-03-24 2016-08-17 中国地质大学（武汉） 基于面部表情和眼球动作的双模态情感识别方法及系统
CN110018738A (zh) * 2019-03-04 2019-07-16 华南理工大学 一种基于真实场景情感表达的情感转换系统
CN109998570A (zh) * 2019-03-11 2019-07-12 山东大学 服刑人员心理状态评估方法、终端、设备及系统
CN110070944A (zh) * 2019-05-17 2019-07-30 段新 基于虚拟环境和虚拟角色的社会功能评估训练系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111967363A (zh) * 2020-08-10 2020-11-20 河海大学 一种基于微表情识别和眼动追踪的对情绪预测的方法
CN111967363B (zh) * 2020-08-10 2022-08-26 河海大学 一种基于微表情识别和眼动追踪的对情绪预测的方法
CN116050282A (zh) * 2023-02-23 2023-05-02 华中科技大学 用户对情报的需求度计算方法和隐式反馈需求度预测方法

Also Published As

Publication number Publication date
CN111339878B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
Liao et al. Deep facial spatiotemporal network for engagement prediction in online learning
CN110969106B (zh) 一种基于表情、语音和眼动特征的多模态测谎方法
Zeng et al. Spontaneous emotional facial expression detection.
KR20190025549A (ko) 정신 장애들의 치료를 위한 이동 및 착용 가능한 비디오 캡처 및 피드백 플랫-폼들
Lopez-Rincon Emotion recognition using facial expressions in children using the NAO Robot
Du et al. Non-contact emotion recognition combining heart rate and facial expression for interactive gaming environments
Zhang et al. M 3 f: Multi-modal continuous valence-arousal estimation in the wild
CN110575663B (zh) 一种基于人工智能的体育辅助训练方法
CN112766173B (zh) 一种基于ai深度学习的多模态情感分析方法及其系统
Areeb et al. Helping hearing-impaired in emergency situations: A deep learning-based approach
CN112800998A (zh) 融合注意力机制和dmcca的多模态情感识别方法及系统
CN112016367A (zh) 一种情绪识别系统、方法及电子设备
CN114998983A (zh) 一种基于增强现实技术和姿态识别技术的肢体康复方法
CN111339878B (zh) 一种基于眼动数据的修正型实时情感识别方法及系统
Wu et al. Generalized zero-shot emotion recognition from body gestures
Rwelli et al. Gesture based Arabic sign language recognition for impaired people based on convolution neural network
CN113901891A (zh) 帕金森病握拳任务的评估方法及系统、存储介质及终端
CN114255508A (zh) 一种基于OpenPose的学生体态检测分析及效率评估方法
Wu et al. A generalized zero-shot framework for emotion recognition from body gestures
CN112529054B (zh) 一种多源异构数据的多维度卷积神经网络学习者建模方法
Li et al. Automatic classification of ASD children using appearance-based features from videos
Hou Deep Learning-Based Human Emotion Detection Framework Using Facial Expressions
Kaur et al. Domain adaptation based topic modeling techniques for engagement estimation in the wild
CN115359522A (zh) 一种基于表情情感计算的老年人健康监测方法及系统
CN115116117A (zh) 一种基于多模态融合网络的学习投入度数据的获取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant