CN113837153B - 一种融合瞳孔数据和面部表情的实时情绪识别方法及系统 - Google Patents

一种融合瞳孔数据和面部表情的实时情绪识别方法及系统 Download PDF

Info

Publication number
CN113837153B
CN113837153B CN202111410951.2A CN202111410951A CN113837153B CN 113837153 B CN113837153 B CN 113837153B CN 202111410951 A CN202111410951 A CN 202111410951A CN 113837153 B CN113837153 B CN 113837153B
Authority
CN
China
Prior art keywords
data
pupil
emotion
real
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111410951.2A
Other languages
English (en)
Other versions
CN113837153A (zh
Inventor
李太豪
徐若豪
裴冠雄
刘昱龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202111410951.2A priority Critical patent/CN113837153B/zh
Publication of CN113837153A publication Critical patent/CN113837153A/zh
Application granted granted Critical
Publication of CN113837153B publication Critical patent/CN113837153B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Abstract

本发明属于人工智能和认知科学的交叉领域，涉及一种融合瞳孔数据和面部表情的实时情绪识别方法及系统，在沉浸式VR环境下利用HTC Vive Pro Eye虚拟现实头戴式设备和VR取像组件实时采集被试者瞳孔数据和人脸数据，提取人脸数据中的关键特征点，构造人脸几何结构特征向量，并融合瞳孔直径特征，采用支持向量机SVM分类器进行分类，从而在沉浸式环境中实时识别被试者情绪。本发明基于沉浸式VR头戴式设备进行实时人脸捕捉，同时融合瞳孔数据进行实时情绪识别，提高了情绪识别的准确率，能够在沉浸式虚拟现实环境中进行实时隐式测量，在情绪研究领域具有广泛的应用前景。

Description

一种融合瞳孔数据和面部表情的实时情绪识别方法及系统
技术领域
本发明属于人工智能和认知科学的交叉领域，涉及一种融合瞳孔数据和面部表情的实时情绪识别方法及系统。
背景技术
情绪是人对特定情况或刺激的身体反应，在每个人的生活中都扮演着非常重要的角色。人们在日常工作、人际交往或认知活动中都有情绪。近年来，对情绪自动识别方法的研究有了很大的增长。识别情绪的有效方法的发展不仅可以改善人机交互，还有助于其他领域的发展，如心理学、医学、教育和娱乐等。
情绪诱发是指利用情绪诱发素材对受试者的情绪进行诱发，通常由视觉刺激（图像、电影）和声音刺激（音乐、声音）诱发情绪。传统的基于照片或视频的情绪识别存在以下几个缺点：（1）难以通过操纵刺激来适应任务难度；（2）大多数刺激只在白色或中性背景下显示孤立的面孔或上半身；（3）二维电脑屏幕或照片沉浸感差。相比之下，日常生活中的情感识别是在复杂的环境中进行的，而且往往是在互动过程中进行的。
随着虚拟现实技术的快速发展，虚拟现实技术具有沉浸感、真实感、想象性和交互性等特点，利用沉浸式虚拟现实技术制作的情感诱发场景和360°视频场景在情绪诱发中具有极大的优势：（1）沉浸式VR能够提供被试者完全沉浸的体验，使被试者有一种身临其境的感觉；（2）沉浸式VR能够避免外界环境的干扰，获得相对客观的情绪反应；（3）360°视频数据比图片、平面视频能诱发更强烈的情绪反应，虚拟现实的沉浸感会产生更逼真的认知和情感功能；（4）在沉浸式VR中，单一环境刺激，能够获取多模态的情感。
在360°视频作为情绪刺激材料进行情绪诱发时，需要对360°视频对受试者所触发的情绪进行评价进而得到相应的情绪标签。根据二维情绪模型（情绪唤醒度和情绪效价）对被诱发的情绪状态进行总体评价，并标记快乐、悲伤、愤怒、惊讶、厌恶、恐惧和平静七种情绪标签。
传统虚拟现实头戴式设备由于面部遮挡，不利于识别被试者情绪，而内置眼动仪的虚拟现实头戴式设备能够在沉浸式环境中捕捉眼动数据，利用眼动数据能够辅助情绪识别。其中，瞳孔大小是眼动研究中一个重要的参数指标，在一定程度上能够反映人的心理活动并影响他人的心理与行为。瞳孔不仅受到亮度等物理因素的影响，还受到自身所经历的情绪影响，情绪唤醒会激活自主神经系统，进而引起瞳孔变化。瞳孔指标在控制好无关变量的前提下可以作为探测心理活动的重要指标之一。
发明内容
针对现有技术的不足，本发明提供了一种融合瞳孔数据和面部表情的实时情绪识别方法及系统，利用360°视频诱发情绪，基于沉浸式虚拟现实头戴式设备进行隐式人脸捕捉和瞳孔数据采集，提出在利用人脸特征进行情绪识别时融入瞳孔直径特征，最后采用支持向量机SVM分类器进行分类，从而识别被试者情绪。
其具体技术方案如下：
一种融合瞳孔数据和面部表情的实时情绪识别方法，包括以下步骤：
S1、获取用于诱发情绪的360°VR视频数据；
S2、基于Unity虚拟现实引擎搭建VR场景视频播放模块，作为情绪刺激材料，诱发被试者的情绪；
S3、基于HTC Vive Pro Eye虚拟现实头戴式设备记录情感诱发视频，并采集被试者人脸数据和瞳孔数据；
S4、采用5点校准法对被试者进行眼动校准，采集被试者静息态下的人脸数据和瞳孔数据，得到静息态下的标准人脸和瞳孔基线数据；
S5、播放360°情绪诱发视频，使被试者置身于沉浸的虚拟现实环境中，并同步采集被试者的人脸数据和瞳孔数据；
S6、在人脸数据上选取特征点，提取人脸几何特征向量；
S7、在瞳孔数据上进行数据预处理，计算瞳孔校正数据，得到瞳孔直径特征；
S8、将步骤S6获取的人脸几何特征向量融合步骤S7获取的瞳孔直径特征输入到训练好的SVM情绪识别模型进行实时情绪识别。
进一步的，所述步骤S1具体为：采用360°VR视频在沉浸式环境下唤起被试者情绪，对360°视频诱发的被试者情绪进行评价得到相应的情绪标签，诱发七种基本的情绪，包括快乐、悲伤、愤怒、惊讶、厌恶、恐惧和平静。
进一步的，所述步骤S4的静息态下的标准人脸数据和瞳孔基线数据，是指被试者在接受情感诱发视频之前的平静情绪下的人脸数据和瞳孔基线数据，其中瞳孔基线数据采用情绪诱发刺激前后多次测量的均值。
进一步的，所述步骤S6具体为：在人脸的眼睛、眉毛、鼻子和嘴巴选择80个特征点（
Figure 1675DEST_PATH_IMAGE001
,
Figure 387657DEST_PATH_IMAGE002
,
Figure 370656DEST_PATH_IMAGE003
,…,
Figure 234707DEST_PATH_IMAGE004
）以及构造眉心特征点
Figure 517921DEST_PATH_IMAGE005
，以鼻尖特征点
Figure 59759DEST_PATH_IMAGE006
和眉心特征点为基准，构造其 他人脸特征点与基准点之间的特征向量
Figure 264475DEST_PATH_IMAGE007
，提取人脸几何特征向量的公式如下：
Figure 932217DEST_PATH_IMAGE008
其中，
Figure 69937DEST_PATH_IMAGE009
为特征点
Figure 984DEST_PATH_IMAGE010
的坐标。
进一步的，所述步骤S7的瞳孔数据预处理，包括：异常数据剔除和缺失数据填补，异常数据通过低通滤波器滤波的方法剔除，缺失数据则通过线性插值填补。
进一步的，所述步骤S7的计算瞳孔校正数据，包括：计算由情绪变化引起的瞳孔校正数据和计算由屏幕亮度、注视位置不同而引起的瞳孔数据变化；
所述由情绪变化引起的瞳孔校正数据的计算公式如下：
Figure 958576DEST_PATH_IMAGE011
其中，
Figure 397385DEST_PATH_IMAGE012
为瞳孔校正数据，
Figure 124033DEST_PATH_IMAGE013
为实时的瞳孔直径，
Figure 22719DEST_PATH_IMAGE014
为瞳孔基线数据，
Figure 467607DEST_PATH_IMAGE015
为 由屏幕亮度和注视位置不同引起的瞳孔数据变化。
进一步的，所述由屏幕亮度、注视位置不同而引起的瞳孔数据变化，具体为：利用多元线性回归模型建立瞳孔直径与屏幕亮度和注视位置之间的关系，对于每个被试者，屏幕亮度和注视位置对瞳孔直径影响的线性模型如下：
Figure 945992DEST_PATH_IMAGE016
其中z是被试者两只眼睛的平均瞳孔直径，l是360°视频每帧的亮度值，v是起点在 屏幕中心
Figure 58305DEST_PATH_IMAGE017
终点在注视点位置
Figure 767373DEST_PATH_IMAGE018
的向量；亮度值通过计算视频每一帧的HSV颜色 空间中的V分量来评估；
由屏幕亮度和注视位置不同引起的瞳孔数据变化
Figure 168398DEST_PATH_IMAGE015
的计算公式如下：
Figure 417852DEST_PATH_IMAGE019
进一步的，所述步骤S8的在训练SVM情绪识别模型时，采用One-versus-One方法，对任意两类情绪训练样本都构造一个子分类器，在测试阶段将每个待测样本分别输入各个子分类器，最后统计子分类器结果，得到情绪识别结果。
进一步的，所述步骤S8中，在步骤S6获取的人脸几何特征和步骤S7获取的瞳孔直径特征上分别建立SVM模型，然后利用特征权重学习算法学习人脸几何特征和瞳孔直径特征的权重，对每一个待测样本分别利用这两个模型给出属于各个情绪类别的概率，再利用权重系数计算获得待测样本属于各个情绪的概率，根据最小误差原则获得该待测样本的为概率最大的情绪类别；
各个情绪类别的概率
Figure 384671DEST_PATH_IMAGE020
计算公式如下：
Figure 828421DEST_PATH_IMAGE021
Figure 247901DEST_PATH_IMAGE022
其中，
Figure 68090DEST_PATH_IMAGE023
为人脸特征的权重，
Figure 128231DEST_PATH_IMAGE024
为根据人脸特征给出的某一情绪类别 的概率，
Figure 100002_DEST_PATH_IMAGE025
为瞳孔直径特征的权重，
Figure 742883DEST_PATH_IMAGE026
为根据瞳孔直径特征给出的某一情绪 类别的概率，
Figure 100002_DEST_PATH_IMAGE027
为待测样本的情绪类别。
一种融合瞳孔数据和面部表情的实时情绪识别系统，包括：
VR头戴式显示设备，作为360°VR视频播放介质，用于诱发被试者的情绪，同时内置眼动仪用于捕捉被试者人脸眼睛与眉毛部位的运动以及采集瞳孔数据，并将该数据传输给实时人脸情绪识别单元；
VR取像组件，用于捕捉被试者人脸嘴巴部位的运动数据，并将其传输给实时人脸情绪识别单元；
实时人脸情绪识别单元，包括情绪诱发模块、人脸数据预处理模块、瞳孔数据预处理模块、实时情绪识别模块和数据可视化模块，所述的情绪诱发模块用于播放360°VR视频来诱发被试者情绪，所述的人脸数据预处理模块用于对采集的被试者人脸数据选取特征点并提取特征向量，所述的瞳孔数据预处理模块用于对采集的瞳孔数据进行异常数据剔除和缺失数据填补并计算瞳孔校正数据，提取瞳孔直径特征，所述的实时情绪识别模块用于将人脸几何特征和瞳孔直径特征输入到训练好的SVM情绪识别模型进行实时情绪识别，所述的数据可视化模块用于展示实时情绪识别结果。
与现有技术相比，本发明的有益效果如下：
本发明的一种融合瞳孔数据和面部表情的实时情绪识别方法及系统，在沉浸式环境下利用360°视频诱发情绪，通过沉浸式虚拟现实头戴式设备进行隐式人脸捕捉和瞳孔数据采集，在使用支持向量机分类器进行情绪分类时，融合了面部表情和瞳孔直径特征，提高了情绪识别的准确率。
附图说明
图1为本发明的融合瞳孔数据和面部表情的实时情绪识别系统的结构图；
图2为本发明的融合瞳孔数据和面部表情的实时情绪识别方法的流程图；
图3为本发明的人脸数据的人脸特征点示意图。
具体实施方式
为了使本发明的目的、技术方案和效果更加清楚明白，以下结合说明书附图对本发明的优选实例进行说明，应当理解，此处所描述的具体实施例仅仅用于说明和解释本发明，并不用于限定本发明。
如图1所示，本发明的融合瞳孔数据和面部表情的实时情绪识别系统，包括：
VR 头戴式显示设备，作为360°VR视频播放介质，用于诱发被试者的情绪，同时内置眼动仪用于捕捉被试者人脸眼睛与眉毛部位的运动以及采集瞳孔数据，并将这些数据传输给实时人脸情绪识别单元。本发明选用HTC Vive Pro Eye虚拟现实头戴式设备，内置眼动仪采集瞳孔数据。
VR取像组件，用于捕捉被试者人脸嘴巴部位的运动，并将其传输给实时人脸情绪识别单元。
实时人脸情绪识别单元，包括情绪诱发模块、人脸数据预处理模块、瞳孔数据预处理模块、实时情绪识别模块和数据可视化模块。
所述情绪诱发模块用于播放360°VR视频来诱发被试者情绪；所述人脸数据预处理模块用于对采集的被试者人脸数据选取特征点并提取特征向量；所述瞳孔数据预处理模块用于对采集的瞳孔数据进行异常数据剔除和缺失数据填补并计算排除屏幕亮度和注视位置影响后的瞳孔校正数据，提取瞳孔直径特征；所述实时情绪识别模块用于将人脸几何特征和瞳孔直径特征输入到训练好的SVM情绪识别模型进行实时情绪识别，并将情绪识别结果发送到数据可视化模块；所述数据可视化模块用于展示实时情绪识别结果，帮助用户对被试者的情绪识别进行监测，辅助研究。
如图2所示，本发明的融合瞳孔数据和面部表情的实时情绪识别方法，具体包括如下步骤：
S1、获取用于诱发情绪的360°VR视频数据；
采用360°VR视频在沉浸式环境下唤起被试者情绪，对360°视频诱发的被试者情绪进行评价进而得到相应的情绪标签，诱发七种基本的情绪，包括快乐、悲伤、愤怒、惊讶、厌恶、恐惧和平静；
S2、基于Unity虚拟现实引擎搭建VR场景视频播放模块，作为情绪刺激材料，诱发被试者的情绪；
S3、基于HTC Vive Pro Eye虚拟现实头戴式设备记录情感诱发视频，并采集被试者人脸数据和瞳孔数据；
S4、采用5点校准对被试者进行眼动校准，采集被试者静息态下的人脸数据和瞳孔数据，得到静息态下的标准人脸和瞳孔基线数据；
被试者被要求在扶手椅上采取一个舒适的姿势，支撑着他们的手和后背，头戴HTCVive Pro Eye虚拟现实头戴式设备，进行眼动追踪校准；
静息态下的标准人脸数据和瞳孔基线数据，是指被试者在接受情感诱发视频之前的平静情绪下的人脸数据和瞳孔基线数据，其中瞳孔基线数据采用情绪诱发刺激前后多次测量的均值；
S5、播放360°情绪诱发视频，使被试者置身于沉浸的虚拟现实环境中，并同步采集被试者的人脸数据和瞳孔数据；
播放唤起不同情绪的不同360°视频片段之间设置10秒的黑屏，平复之前的情绪，并且为下一次情绪诱发做准备，同时便于测量刺激前后的瞳孔基线数据；
S6、在人脸数据上选取特征点，提取人脸几何特征向量；
如图3所示，在人脸的眼睛、眉毛、鼻子和嘴巴选择80个特征点（
Figure 852921DEST_PATH_IMAGE001
,
Figure 476801DEST_PATH_IMAGE002
,
Figure 916747DEST_PATH_IMAGE003
,…,
Figure 233459DEST_PATH_IMAGE004
） 以及构造眉心特征点
Figure 627531DEST_PATH_IMAGE005
，以鼻尖特征点
Figure 320681DEST_PATH_IMAGE006
和眉心特征点
Figure 585440DEST_PATH_IMAGE005
为基准，构造其他人脸特征点 与基准点之间的特征向量
Figure 338632DEST_PATH_IMAGE007
，提取人脸几何特征向量的公式如下：
Figure 954421DEST_PATH_IMAGE008
其中，
Figure 949797DEST_PATH_IMAGE009
为特征点
Figure 334642DEST_PATH_IMAGE010
的坐标。
S7、在瞳孔数据上进行数据预处理，计算瞳孔校正数据，得到瞳孔直径特征；
瞳孔数据预处理包括异常数据剔除和缺失数据填补，异常数据通过低通滤波器滤波的方法剔除，缺失数据则通过线性插值填补；
计算瞳孔校正数据包括计算由情绪变化引起的瞳孔校正数据和计算由屏幕亮度、注视位置不同而引起的瞳孔数据变化；
由情绪变化引起的瞳孔校正数据的计算公式如下：
Figure 993156DEST_PATH_IMAGE011
其中，
Figure 361821DEST_PATH_IMAGE012
为瞳孔校正数据，
Figure 131194DEST_PATH_IMAGE013
为实时的瞳孔直径，
Figure 636124DEST_PATH_IMAGE014
为瞳孔基线数据，
Figure 964075DEST_PATH_IMAGE028
为 由屏幕亮度和注视位置不同引起的瞳孔数据变化。
利用多元线性回归模型建立了瞳孔直径与亮度和注视位置之间的关系。沉浸式虚拟现实头戴式设备能避免周围环境亮度的影响，因此亮度对被试者瞳孔变化的影响主要是屏幕亮度。对于每个被试者，屏幕亮度和注视位置对瞳孔直径影响的线性模型如下：
Figure 554457DEST_PATH_IMAGE016
其中z是被试者两只眼睛的平均瞳孔直径，l是360°视频每帧的亮度值，v是起点在 屏幕中心
Figure 861941DEST_PATH_IMAGE017
终点在注视点位置
Figure 221378DEST_PATH_IMAGE018
的向量；亮度值通过计算视频每一帧的HSV颜色 空间中的V分量来评估。
由屏幕亮度和注视位置不同引起的瞳孔数据变化
Figure 221695DEST_PATH_IMAGE015
的计算公式如下：
Figure 33794DEST_PATH_IMAGE019
S8、将S6获取的人脸几何特征向量融合S7获取的瞳孔直径特征输入到训练好的SVM情绪识别模型进行实时情绪识别。
在训练SVM情绪识别模型时，采用One-versus-One方法，对任意两类情绪训练样本都构造一个子分类器，在测试阶段将每个待测样本分别输入各个子分类器，最后统计子分类器结果，得到情绪识别结果。
在人脸几何特征和瞳孔直径特征上分别建立SVM模型，然后利用特征权重学习算法学习人脸几何特征和瞳孔直径特征的权重，对每一个待测样本分别利用这两个模型给出属于各个情绪类别的概率，再利用权重系数计算获得待测样本属于各个情绪的概率，根据最小误差原则获得该待测样本的为概率最大的情绪类别。
各个情绪类别的概率
Figure 903224DEST_PATH_IMAGE020
计算公式如下：
Figure 382747DEST_PATH_IMAGE021
Figure 553965DEST_PATH_IMAGE022
其中，
Figure 118939DEST_PATH_IMAGE023
为人脸特征的权重，
Figure 299384DEST_PATH_IMAGE024
为根据人脸特征给出的某一情绪类别 的概率，
Figure 367835DEST_PATH_IMAGE025
为瞳孔直径特征的权重，
Figure 474069DEST_PATH_IMAGE026
为根据瞳孔直径特征给出的某一情绪 类别的概率，
Figure 260759DEST_PATH_IMAGE027
为待测样本的情绪类别。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种融合瞳孔数据和面部表情的实时情绪识别方法，其特征在于，包括以下步骤：
S1、获取用于诱发情绪的360°VR视频数据；
S2、基于虚拟现实引擎搭建VR场景视频播放模块，作为情绪刺激材料，诱发被试者的情绪；
S3、基于虚拟现实头戴式设备记录情感诱发视频，并采集被试者人脸数据和瞳孔数据；
S4、采用5点校准法对被试者进行眼动校准，采集被试者静息态下的人脸数据和瞳孔数据，得到静息态下的标准人脸和瞳孔基线数据；
S5、播放360°情绪诱发视频，并同步采集被试者的人脸数据和瞳孔数据；
S6、在人脸数据上选取特征点，提取人脸几何特征向量；
S7、在瞳孔数据上进行数据预处理，计算瞳孔校正数据，得到瞳孔直径特征；
S8、将步骤S6获取的人脸几何特征向量融合步骤S7获取的瞳孔直径特征输入到训练好的SVM情绪识别模型进行实时情绪识别；
所述步骤S7的计算瞳孔校正数据，包括：计算由情绪变化引起的瞳孔校正数据和计算由屏幕亮度、注视位置不同而引起的瞳孔数据变化；
所述由情绪变化引起的瞳孔校正数据的计算公式如下：
Figure DEST_PATH_IMAGE001
其中，
Figure DEST_PATH_IMAGE002
为瞳孔校正数据，
Figure DEST_PATH_IMAGE003
为实时的瞳孔直径，
Figure DEST_PATH_IMAGE004
为瞳孔基线数据，
Figure DEST_PATH_IMAGE005
为由屏 幕亮度和注视位置不同引起的瞳孔数据变化；
所述由屏幕亮度、注视位置不同而引起的瞳孔数据变化，具体为：利用多元线性回归模型建立瞳孔直径与屏幕亮度和注视位置之间的关系，对于每个被试者，屏幕亮度和注视位置对瞳孔直径影响的线性模型如下：
Figure DEST_PATH_IMAGE006
其中z是被试者两只眼睛的平均瞳孔直径，l是360°视频每帧的亮度值，v是起点在屏幕 中心
Figure DEST_PATH_IMAGE007
终点在注视点位置
Figure DEST_PATH_IMAGE008
的向量；亮度值通过计算视频每一帧的HSV颜色空间 中的V分量来评估；
由屏幕亮度和注视位置不同引起的瞳孔数据变化
Figure 135647DEST_PATH_IMAGE005
的计算公式如下：
Figure DEST_PATH_IMAGE009
。
2.根据权利要求1所述的一种融合瞳孔数据和面部表情的实时情绪识别方法，其特征在于，所述步骤S1具体为：采用360°VR视频在沉浸式环境下唤起被试者情绪，对360°视频诱发的被试者情绪进行评价得到相应的情绪标签，诱发七种基本的情绪，包括快乐、悲伤、愤怒、惊讶、厌恶、恐惧和平静。
3.根据权利要求1所述的一种融合瞳孔数据和面部表情的实时情绪识别方法，其特征在于，所述步骤S4的静息态下的标准人脸数据和瞳孔基线数据，是指被试者在接受情感诱发视频之前的平静情绪下的人脸数据和瞳孔基线数据，其中瞳孔基线数据采用情绪诱发刺激前后多次测量的均值。
4.根据权利要求1所述的一种融合瞳孔数据和面部表情的实时情绪识别方法，其特征 在于，所述步骤S6具体为：在人脸的眼睛、眉毛、鼻子和嘴巴选择80个特征点（
Figure DEST_PATH_IMAGE010
,
Figure DEST_PATH_IMAGE011
,
Figure DEST_PATH_IMAGE012
,…,
Figure DEST_PATH_IMAGE013
）以及构造眉心特征点
Figure DEST_PATH_IMAGE014
，以鼻尖特征点
Figure DEST_PATH_IMAGE015
和眉心特征点
Figure 776756DEST_PATH_IMAGE014
为基准，构造其他人 脸特征点与基准点之间的特征向量
Figure DEST_PATH_IMAGE016
，提取人脸几何特征向量的公式如下：
Figure DEST_PATH_IMAGE017
其中，
Figure DEST_PATH_IMAGE018
为特征点
Figure DEST_PATH_IMAGE019
的坐标。
5.根据权利要求1所述的一种融合瞳孔数据和面部表情的实时情绪识别方法，其特征在于，所述步骤S7的瞳孔数据预处理，包括：异常数据剔除和缺失数据填补，异常数据通过低通滤波器滤波的方法剔除，缺失数据则通过线性插值填补。
6.根据权利要求1所述的一种融合瞳孔数据和面部表情的实时情绪识别方法，其特征在于，所述步骤S8的在训练SVM情绪识别模型时，采用One-versus-One方法，对任意两类情绪训练样本都构造一个子分类器，在测试阶段将每个待测样本分别输入各个子分类器，最后统计子分类器结果，得到情绪识别结果。
7.根据权利要求1所述的一种融合瞳孔数据和面部表情的实时情绪识别方法，其特征在于，所述步骤S8中，在步骤S6获取的人脸几何特征和步骤S7获取的瞳孔直径特征上分别建立SVM模型，然后利用特征权重学习算法学习人脸几何特征和瞳孔直径特征的权重，对每一个待测样本分别利用这两个模型给出属于各个情绪类别的概率，再利用权重系数计算获得待测样本属于各个情绪的概率，根据最小误差原则获得该待测样本的为概率最大的情绪类别；
各个情绪类别的概率
Figure DEST_PATH_IMAGE020
计算公式如下：
Figure DEST_PATH_IMAGE021
Figure DEST_PATH_IMAGE022
其中，
Figure DEST_PATH_IMAGE023
为人脸特征的权重，
Figure DEST_PATH_IMAGE024
为根据人脸特征给出的某一情绪类别的概 率，
Figure DEST_PATH_IMAGE025
为瞳孔直径特征的权重，
Figure DEST_PATH_IMAGE026
为根据瞳孔直径特征给出的某一情绪类别 的概率，
Figure DEST_PATH_IMAGE027
为待测样本的情绪类别。
8.一种根据权利要求1所述的一种融合瞳孔数据和面部表情的实时情绪识别方法的系统，其特征在于，包括：
VR头戴式显示设备，作为360°VR视频播放介质，用于诱发被试者的情绪，同时内置眼动仪用于捕捉被试者人脸眼睛与眉毛部位的运动以及采集瞳孔数据，并将该数据传输给实时人脸情绪识别单元；
VR取像组件，用于捕捉被试者人脸嘴巴部位的运动数据，并将其传输给实时人脸情绪识别单元；
实时人脸情绪识别单元，包括情绪诱发模块、人脸数据预处理模块、瞳孔数据预处理模块、实时情绪识别模块和数据可视化模块，所述的情绪诱发模块用于播放360°VR视频来诱发被试者情绪，所述的人脸数据预处理模块用于对采集的被试者人脸数据选取特征点并提取特征向量，所述的瞳孔数据预处理模块用于对采集的瞳孔数据进行异常数据剔除和缺失数据填补并计算瞳孔校正数据，提取瞳孔直径特征，得到由情绪变化引起的瞳孔校正数据，以及利用多元线性回归模型建立瞳孔直径与屏幕亮度和注视位置之间的关系从而得到由屏幕亮度、注视位置不同而引起的瞳孔数据变化，所述的实时情绪识别模块用于将人脸几何特征和瞳孔直径特征输入到训练好的SVM情绪识别模型进行实时情绪识别，所述的数据可视化模块用于展示实时情绪识别结果。
CN202111410951.2A 2021-11-25 2021-11-25 一种融合瞳孔数据和面部表情的实时情绪识别方法及系统 Active CN113837153B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111410951.2A CN113837153B (zh) 2021-11-25 2021-11-25 一种融合瞳孔数据和面部表情的实时情绪识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111410951.2A CN113837153B (zh) 2021-11-25 2021-11-25 一种融合瞳孔数据和面部表情的实时情绪识别方法及系统

Publications (2)

Publication Number Publication Date
CN113837153A CN113837153A (zh) 2021-12-24
CN113837153B true CN113837153B (zh) 2022-03-18

Family

ID=78971718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111410951.2A Active CN113837153B (zh) 2021-11-25 2021-11-25 一种融合瞳孔数据和面部表情的实时情绪识别方法及系统

Country Status (1)

Country Link
CN (1) CN113837153B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU215462U1 (ru) * 2022-05-25 2022-12-14 Элеонора Вячеславовна Липатова Устройство электронной маски для лица

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114209324B (zh) * 2022-02-21 2022-07-15 北京科技大学 基于图像视觉认知的心理测评数据获取方法及vr系统
CN114463827A (zh) * 2022-04-12 2022-05-10 之江实验室 一种基于ds证据理论的多模态实时情绪识别方法及系统
WO2023245309A1 (zh) * 2022-06-20 2023-12-28 大连理工大学 一种融合眼动追踪计算的轻量化实时情绪分析方法
CN116343314B (zh) * 2023-05-30 2023-08-25 之江实验室 一种表情识别方法、装置、存储介质及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103761508A (zh) * 2014-01-02 2014-04-30 大连理工大学 一种融合人脸和手势的生物识别方法和系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105868694B (zh) * 2016-03-24 2019-03-08 中国地质大学（武汉） 基于面部表情和眼球动作的双模态情感识别方法及系统
CN108216254B (zh) * 2018-01-10 2020-03-10 山东大学 基于面部图像与脉搏信息融合的路怒情绪识别方法
WO2022226747A1 (zh) * 2021-04-26 2022-11-03 华为技术有限公司 眼球追踪方法、装置及存储介质
CN113642393B (zh) * 2021-07-07 2024-03-22 重庆邮电大学 基于注意力机制的多特征融合视线估计方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103761508A (zh) * 2014-01-02 2014-04-30 大连理工大学 一种融合人脸和手势的生物识别方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种基于机器学习的人脸情绪识别方法研究;李广鹏等;《计算机技术与发展》;20181221(第05期);全文 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU215462U1 (ru) * 2022-05-25 2022-12-14 Элеонора Вячеславовна Липатова Устройство электронной маски для лица

Also Published As

Publication number Publication date
CN113837153A (zh) 2021-12-24

Similar Documents

Publication Publication Date Title
CN113837153B (zh) 一种融合瞳孔数据和面部表情的实时情绪识别方法及系统
CN109298779B (zh) 基于虚拟代理交互的虚拟训练系统与方法
US10210425B2 (en) Generating and using a predictive virtual personification
CN110349667B (zh) 结合调查问卷及多模态范式行为数据分析的孤独症评估系统
Vinola et al. A survey on human emotion recognition approaches, databases and applications
KR102277820B1 (ko) 반응정보 및 감정정보를 이용한 심리 상담 시스템 및 그 방법
US11301775B2 (en) Data annotation method and apparatus for enhanced machine learning
CN109475294A (zh) 用于治疗精神障碍的移动和可穿戴视频捕捉和反馈平台
Raudonis et al. Evaluation of human emotion from eye motions
CN110135242B (zh) 基于低分辨率红外热成像深度感知的情绪识别装置及方法
CN108363969B (zh) 一种基于移动终端的新生儿疼痛评估方法
Sivasangari et al. Emotion recognition system for autism disordered people
WO2007043712A1 (ja) 感情評価方法および感情表示方法、並びに、それらのための、プログラム、記録媒体およびシステム
CN113693552A (zh) 视觉疲劳监测方法、装置、电子设备及可读存储介质
CN111887867A (zh) 基于表情识别与心理学测试生成性格的分析方法及系统
Dubbaka et al. Detecting learner engagement in MOOCs using automatic facial expression recognition
David et al. A comprehensive survey of emotion recognition system in facial expression
CN116807476B (zh) 基于界面式情感交互的多模态心理健康评估系统及方法
CN117438048B (zh) 一种精神科患者用心理障碍测评方法及系统
CN109620265A (zh) 识别方法及相关装置
CN114067185A (zh) 一种基于人脸表情识别的电影评价系统
Masmoudi et al. Meltdowncrisis: Dataset of autistic children during meltdown crisis
CN115429271A (zh) 基于眼动和面部表情的孤独症谱系障碍筛查系统及方法
CN115578668A (zh) 目标行为识别方法、电子设备以及存储介质
CN112579815A (zh) 一种表情数据库的实时训练方法以及表情数据库的反馈机制

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant