CN107212896A - 一种情绪稳定性综合评价系统及信息处理方法 - Google Patents

Abstract

本发明属于情绪稳定性评价领域，尤其涉及一种情绪稳定性综合评价系统及信息处理方法，包括基本情绪深度检测；自适应N‑back认知负荷作业任务；基本情绪稳定性检测；基本情绪深度检测包括建立基本情绪诱发库；建立基于多生理参数的基本情绪深度检测模型；情绪诱发库是指诱发情绪的视频材料库，获取情绪主题相关视频材料并进行筛选和分类，形成基本情绪诱发库，多人次对所有情绪诱发材料进行单维度的情绪诱发深度打分，将每段诱发材料的平均得分作为该素材的单维情绪诱发深度得分。本发明有益效果：通过多模态生理信号的客观检测和融合分析，筛选不同类型情绪应激状态下的最佳生理表征,运用特征提取与模式分类算法,实现了基本情绪深度的自动分级。

Description

一种情绪稳定性综合评价系统及信息处理方法

技术领域

本发明涉及情绪稳定性评价领域，尤其涉及一种情绪稳定性综合评价系统及信息处理方法。

背景技术

情绪稳定性是一种不轻易因情境改变而表现出过分情绪反应的人格特质。情绪稳定个体的情绪反应轻微，且易平静，不易焦虑，能够更理性的反应工作情绪。因此对个体情绪稳定性的检测对特殊行业从业人员的选拔十分重要。例如，航天员在长期在轨飞行任务中,由于隔离幽闭的失重环境、90分钟的昼夜节律变化、机器噪音、以及高工作强度，容易引发脑力疲劳和情绪波动，航天员的生理心理会出现紧张、厌倦、焦虑、抑郁等消极情绪，对工作绩效产生影响，甚至造成重大安全事故。正因如此，在航天员的日常训练选拔中，非常注重其自我情绪控制能力，即情绪的稳定性评价。

目前，情绪稳定性的评价手段主要有主观评价方法和基于生理信号的检测方法。主观评价方法主观是通过人直接的观测，判断情绪的稳定性，包括两个方面：主观自评和主观他评。主观自评是由专家分析受试者填写的量表，评价受试者的情绪稳定性。主观他评是由专家或他人通过观察受试者的表情、行为和动作等特征，评估受试者的情绪稳定性。基于生理信号的检测方法主要通过检测心律及心率变异性、呼吸、脑电和肌电等生理信号评测情绪稳定性，研究表明，拥有较高和较低情绪稳定性的受试者在不同任务中，HRV中的LF、HF和LF/HF均有显著性差异，参考这篇论文(XF L,DM M,W X,WF H,F L,et al.Comparison ofheart rate variability and heart rate between individuals with differentemotional stability in two situations[J].Space Medicine&Medical Engineering,2004,(2).)；自发脑电不同特征可以检测焦虑患者的焦虑和抑郁，参考这篇论文(董锋云,赵淑宜,刘洪梅.脑电生物反馈治疗在焦虑症患者中的应用[J].中国民康医学,2013,25:54-55.)；诱发脑电中，高情绪稳定性的个体P300的波幅低于低情绪稳定性的个体，参考这篇论文(张佳丽.不同人格特质飞行员模拟飞行应激反应分析研究[D]；中国人民解放军军医进修学院,2013.)，另外，目前已有基于磁共振成像的情绪稳定性评价系统及其评价方法，专利授权公告号CN 102293656 B。

主观评价方法的的优点是测试简单、数据获取容易，适合大数据量的统计分析。但数据来源于受试者自己理解的自身状态或他人的主观观察，因此，主观评测受人的主观因素影响较大，尤其在被试刻意隐瞒感受和控制表情的情况下，该方法准确率及可靠性都较低。生理信号具有客观性和实时性的优点，和情绪的变化密切相关，通过多种指标联合检测个体的情绪状态是未来的发展方向。但目前的研究还有待深入，大多数研究集中在规律发现层面，即研究不同情绪稳定性的被试的某个生理指标变化特点，还未实现基于生理信号的情绪稳定性的全面评价。

发明内容

本发明为了解决现有情绪稳定性评价方法综合性差、准确率低等问题，本发明提供一种情绪稳定性综合评价系统及信息处理方法，能够全面客观地评价用户情绪稳定性。

为了实现上述目的，本发明采用如下方案：

一种情绪稳定性综合评价系统，包括基本情绪深度检测装置、自适应N-back认知负荷作业任务处理装置和基本情绪稳定性检测装置，所述基本情绪深度检测装置、所述自适应N-back认知负荷作业任务处理装置和所述基本情绪稳定性检测装置依次连接，所述基本情绪深度检测装置上设置基本情绪诱发库和基于多生理参数的基本情绪深度检测模型。

一种情绪稳定性综合信息处理方法，其特征在于，包括以下步骤：

步骤一、基本情绪深度检测；

步骤二、自适应N-back认知负荷作业任务；

步骤三、基本情绪稳定性检测。

进一步地，所述步骤一中所述基本情绪深度检测包括以下步骤：

步骤1、建立基本情绪诱发库；

步骤2、建立基于多生理参数的基本情绪深度检测模型。

进一步地，步骤1中所述情绪诱发库是指诱发情绪的视频材料库，通过多种渠道获取情绪主题相关视频材料并进行筛选和分类，形成基本情绪诱发库，所述基本情绪包括紧张、厌恶、悲伤、愤怒、惊讶、高兴六个种类型；同时，多人次对所有情绪诱发材料进行单维度的情绪诱发深度打分，将每段诱发材料的平均得分作为该素材的单维情绪诱发深度得分。

进一步地，步骤2中所述建立基于多生理参数的基本情绪深度检测模型是指运用基本情绪诱发库，进行不同深度的情绪诱发实验，实验过程中同时检测多生理参数，相关生理数据用于特征提取与建模。

进一步地，特征提取包括在各种生理参数的时-频-空-非线性特征基础上，研究多生理参数的交互作用，提取可辅助识别的互联参数，共同构建综合特征模式矩阵；建模采用多元线性回归方法。

进一步地，所述多生理参数包括脑电(EEG)、大脑近红外光谱(fNIRS)、心率变异性(HRV)、肌电(EMG)、呼吸、血压、桡动脉中医脉象信号、皮电、光电脉搏波。

进一步地，步骤二中所述自适应N-back认知负荷作业任务包括：参与者需要比较新出现图形与前N个出现的图形在位置、颜色和形状三个方面是否一致，如果相同就按下“YES”键；若不同则按下“NO"按键。同时记录被试每次按键是否正确以及反应时间。

进一步地，N值根据工作记忆任务的正确率，程序自动调节；

被试任务完成超过设定的正确率限度时N值加1，低于正确率限度时N值减1，初始值为N＝1。

进一步地，步骤三中基本情绪稳定性检测包括：

(1)基于情绪诱发与认知负荷作业相结合的基本情绪稳定性检测；

(2)六维情绪稳定性综合评测。

进一步地，所述基于情绪诱发与认知负荷作业相结合的基本情绪稳定性检测具体是，每种基本情绪诱发实验分三个阶段，包括情绪诱发5分钟，自适应可调节式N-back脑力负荷实验5分钟，然后休息5分钟，在情绪诱发结束后，被试立刻进行当下情绪的主观评分(0-10)。在情绪诱发实验阶段，进行基于多模态生理信号的情绪深度实时检测。在脑力负荷任务阶段，记录每次实验的最大N,以及在不同情绪诱发下，相同的N值的脑力负荷实验的反应速度和正确率作为绩效评价指标；

所述的综合评测基于情绪稳定性的三层面表现，即：心理感受、生理反应、工作绩效，设计六维情绪稳定性雷达图，用来建立个人情绪稳定性综合评价方法，该六维情绪稳定性雷达图可以一目了然的看出被试的心理感受、生理反应、工作绩效三个方面对6种基本情绪的稳定度；

其中“心理感受雷达图”是由被试主观评定打分得到的，0-10分别代表心理感觉的单维情绪深度；“生理反应雷达图”是由基于生理信号的情绪深度监测得到的客观指标；“工作绩效雷达图”是根据自适应N-back实验的绩效结果进行客观评价；最后，此三个层面的雷达图按照一定的权重进行组合，来综合评价个人的情绪稳定性。

本发明的有益效果：本技术方案涵盖了六种基本情绪维度(紧张、厌恶、悲伤、愤怒、惊讶、高兴)，创新性设计了情绪诱发与自适应N-back认知负荷作业相结合的六维基本情绪稳定性检测实验范式，同时通过对脑电(EEG)、大脑近红外光谱(fNIRS)、心率变异性(HRV)、肌电(EMG)、呼吸、血压、桡动脉中医脉象信号、皮电、光电脉搏波等多模态生理信号的客观检测和融合分析，筛选不同类型情绪应激状态下的最佳生理表征,运用特征提取与模式分类算法,实现了基本情绪深度的自动分级，并且，本发明针对情绪稳定性的“心理感受、生理反应和工作绩效”三个层面表现，创新性构建六维情绪稳定性雷达图。此雷达图以图形的形式完整展现了反应情绪稳定性的三方面因素，其中，既包括主客观因素(心理感受和生理反应)，又将与实际应用密切相关的工作绩效收纳在内，通过相应的权重整合，建立了基本情绪稳定性综合评价方法，相比已有评价方法更加准确客观，可以有效用于航天员等特殊任务工作者的选拔和训练。

附图说明

图1是本发明的一种情绪稳定性综合评价系统的框图。

图2是本发明的一种情绪稳定性综合信息处理方法整体流程图。

图3是单维基本情绪深度诱发检测实验范式。

图4是自适应可调节式N-back实验设计。

图5是基本情绪稳定性检测实验范式。

图6是六维情绪稳定性雷达图。

图7是六维情绪稳定性雷达图应用举例示意图。

具体实施方式

下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述，参考在附图中示出并在以下描述中详述的非限制性示例实施例，更加全面地说明本公开的示例实施例和它们的多种特征及有利细节。应注意的是，图中示出的特征不是必须按照比例绘制。本申请省略了已知材料、组件和工艺技术的描述，从而不使本申请的示例实施例模糊。所给出的示例仅旨在有利于理解本公开示例实施例的实施，以及进一步使本领域技术人员能够实施示例实施例。因而，这些示例不应被理解为对本申请的实施例的范围的限制。

图1是本发明的一种情绪稳定性综合评价系统的框图，一种情绪稳定性综合评价系统，包括基本情绪深度检测装置、自适应N-back认知负荷作业任务处理装置和基本情绪稳定性检测装置，基本情绪深度检测装置、自适应N-back认知负荷作业任务处理装置和基本情绪稳定性检测装置依次连接，基本情绪深度检测装置上设置基本情绪诱发库和基于多生理参数的基本情绪深度检测模型。

图2是本发明方法的整体流程图，一种情绪稳定性综合信息处理方法具体包括如下步骤：

一、基本情绪深度检测

单维基本情绪深度检测方法的研究是情绪稳定性客观检测方法的基础。包括建立基本情绪诱发库和建立基于多生理参数的基本情绪深度检测模型。

(1)建立基本情绪诱发库。

建立基本情绪诱发库首先需要确定基本情绪类型，根据本发明主要的应用场景和特点，选用Ekman提出的基本情绪类型，包括紧张、厌恶、悲伤、愤怒、惊讶、高兴。

情绪诱发方法采用视频材料诱发，视频诱发属于视听双通路动态刺激，与其他诱发方法相比，简单易用，且能诱发出强烈的主观体验和生理变化。基于此，通过多种渠道获取情绪主题相关视频材料，进行剪辑和后期处理，从六维基本情绪角度对视频情感诱发材料进行筛选和分类，并对视频长度，诱发效度和纯度进行评价和剪辑处理，形成六个基本情绪诱发库。然后，多人次对所有情绪诱发材料进行单维度的情绪诱发深度打分。0-10分：10分值代表诱发情绪最强烈，0分代表无情绪诱发作用。将每段诱发材料的平均得分作为该素材的单维情绪诱发深度得分。最终建立6种基本情绪维度下不同诱发深度的比较完整的情绪诱发库。

(2)建立基于多生理参数的基本情绪深度检测模型。

所述多生理参数包括脑电(EEG)、大脑近红外光谱(fNIRS)、心率变异性(HRV)、肌电(EMG)、呼吸、血压、桡动脉中医脉象信号、皮电、光电脉搏波等，也可根据实际需要采集其他生理参数。

图3是单维基本情绪深度诱发检测实验范式，运用(1)中的基本情绪诱发库，进行不同深度的情绪诱发实验。具体步骤包括：开始先保持5分钟平静状态，可给被试看平静情绪诱发素材，然后从情绪诱发库中筛选某种基本情绪诱发素材5种，其评分较均匀分布在1-10分之间，每个深度的诱发素材时间在3-5分钟，诱发情绪深度由小到大，每5分钟进行切换。整个单维情绪诱发实验用时35分钟，被试每次诱发2种基本情绪，分3次完成6维基本情绪的诱发实验任务，整个实验过程中，同时检测多生理信号，最后对采集到的多生理数据进行信号处理。

信号处理方法主要包括：①信号消噪方法：在常规时域滤波、空间滤波的基础上，尝试采用约束独立分量分析(cICA)方法进行脑电信号处理，并采用小波变换和Chirplet变换等新方法提高信噪比。②特征提取方法：在独立提取各种生理参数的时-频-空-非线性特征基础上，进一步采用相干性分析、相位耦合分析、和时间序列因果分析等技术研究多生理参数的交互作用，提取可辅助识别的互联参数，共同构建综合特征模式矩阵。③特征降维与回归建模方法：综合采用主成分分析等特征压缩技术和回归筛选等特征筛选技术来降低特征的维度，并采用多元线性回归方法进行回归建模。

自适应N-back认知负荷作业任务

本发明设计自适应N-back认知负荷作业任务的目的是考察被试在情绪诱发时对工作绩效的影响规律，并将工作绩效用于最终情绪稳定性评测。图4为自适应可调节式N-back实验设计，参与者需要比较新出现图形与前N个出现的图形在位置、颜色和形状三个方面是否一致，如果相同就按下“YES”键；若不同则按下“NO"按键，如图4基本情绪稳定性检测实验范式，,同时记录被试每次按键是否正确以及反应时间。

传统的N-back实验负荷程度为固定值，即不同的被试者在进行N-back任务时代表负荷的N值是固定的。本发明提出的自适应可调节是指根据工作记忆任务的正确率，程序自动调节N值，被试任务完成超过设定的正确率限度时N值加1，低于正确率限度时N值减1，初始值为N＝1，不设上限。因为不同N值对应的任务难度不同，因而设定的正确率限度也有差异：根据经验，1-back，2-back，3-back和4-back正确率过关值分别为90％，85％，80％和75％。相对于传统的N-back任务，任务难度的可调节具有一定的优势，首先，可调节任务可以解决不同人在同一工作记忆任务中脑力负荷不同的问题，比如同样是2-back，有的人做的很轻松，有的人则很吃力；其次，可调节任务可以使被试在最快时间内最大的脑力负荷，从而快速评价其工作绩效。

三、基本情绪稳定性检测

基本清晰度稳定性检测包括基于情绪诱发与认知负荷作业相结合的基本情绪稳定性检测和六维情绪稳定性综合评测。

(1)基于情绪诱发与认知负荷作业相结合的基本情绪稳定性检测。

图5为基本情绪稳定性检测实验范式。每种基本情绪诱发实验分三个阶段，包括情绪诱发5分钟，自适应可调节式N-back脑力负荷实验5分钟，然后休息5分钟，在情绪诱发结束后，被试立刻进行当下情绪的主观评分(0-10)，实验全程进行多模态生理信号监测。需要注意的是：在此情绪稳定性检测实验中，所采用的基本情绪诱发素材选择各类别中评价等级最高(10)的素材，目的是检测被试在高情绪刺激强度下的情绪稳定性。在情绪诱发实验阶段，进行基于多模态生理信号的情绪深度实时检测。在脑力负荷任务阶段，记录每次实验的最大N,以及在不同情绪诱发下，相同的N值的脑力负荷实验的反应速度和正确率作为绩效评价指标。通过本实验数据分析，可以得到基于情绪稳定性的三层面表现，即：心理感受、生理反应、工作绩效，分别建立被试在六种基本情绪维度下的客观稳定性评价方法。

(2)六维情绪稳定性综合评测

图6是六维情绪稳定性雷达图。本发明创新性设计了六维情绪稳定性雷达图，用来建立个人情绪稳定性综合评价方法。该六维情绪稳定性雷达图可以一目了然的看出被试的心理感受、生理反应、工作绩效三个方面对六种基本情绪的稳定度。其中“心理感受雷达图”是由被试主观评定打分得到的，0-10分别代表心理感觉的单维情绪深度。“生理反应雷达图”是由基于生理信号的情绪深度监测得到的客观指标。“工作绩效雷达图”是根据自适应N-back实验的绩效结果进行客观评价。最后，此三个层面的雷达图按照一定的权重进行组合，来综合评价个人的情绪稳定性。

图7为六维情绪稳定性雷达图应用举例示意，通过雷达图可以对被试进行全方位的情绪稳定性分析，比如对哪个情绪最敏感，哪个维度的情绪最稳定等，雷达图的面积越大情绪稳定性越差。

与现有技术相比，本技术方案涵盖了六种基本情绪维度(紧张、厌恶、悲伤、愤怒、惊讶、高兴)，创新性设计了情绪诱发与自适应N-back认知负荷作业相结合的六维基本情绪稳定性检测实验范式，同时通过对脑电(EEG)、大脑近红外光谱(fNIRS)、心率变异性(HRV)、肌电(EMG)、呼吸、血压、桡动脉中医脉象信号、皮电、光电脉搏波等多模态生理信号的客观检测和融合分析，筛选不同类型情绪应激状态下的最佳生理表征,运用特征提取与模式分类算法,实现了基本情绪深度的自动分级，并且，本发明针对情绪稳定性的“心理感受、生理反应和工作绩效”三个层面表现，创新性构建六维情绪稳定性雷达图。此雷达图以图形的形式完整展现了反应情绪稳定性的三方面因素，其中，既包括主客观因素(心理感受和生理反应)，又将与实际应用密切相关的工作绩效收纳在内，通过相应的权重整合，建立了基本情绪稳定性综合评价方法，相比已有评价方法更加准确客观，可以有效用于航天员等特殊任务工作者的选拔和训练。

以上对本发明的实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化、改进或组合等，均应仍归属于本发明的专利涵盖范围之内。

Claims (10)

1.一种情绪稳定性综合评价系统，包括基本情绪深度检测装置、自适应N-back认知负荷作业任务处理装置和基本情绪稳定性检测装置，所述基本情绪深度检测装置、所述自适应N-back认知负荷作业任务处理装置和所述基本情绪稳定性检测装置依次连接，所述基本情绪深度检测装置上设置基本情绪诱发库和基于多生理参数的基本情绪深度检测模型。

2.一种情绪稳定性综合信息处理方法，其特征在于，包括以下步骤：

步骤一、基本情绪深度检测；

步骤二、自适应N-back认知负荷作业任务；

步骤三、基本情绪稳定性检测。

3.根据权利要求2所述一种情绪稳定性综合信息处理方法，其特征在于，所述步骤一中所述基本情绪深度检测包括以下步骤：

步骤1、建立基本情绪诱发库；

步骤2、建立基于多生理参数的基本情绪深度检测模型。

4.根据权利要求3所述一种情绪稳定性综合信息处理方法，其特征在于，步骤1中所述情绪诱发库是指诱发情绪的视频材料库，通过多种渠道获取情绪主题相关视频材料并进行筛选和分类，形成基本情绪诱发库，所述基本情绪包括紧张、厌恶、悲伤、愤怒、惊讶、高兴六个种类型；同时，多人次对所有情绪诱发材料进行单维度的情绪诱发深度打分，将每段诱发材料的平均得分作为该素材的单维情绪诱发深度得分。

5.根据权利要求3或4所述一种情绪稳定性综合信息处理方法，其特征在于，步骤2中所述建立基于多生理参数的基本情绪深度检测模型是指运用基本情绪诱发库，进行不同深度的情绪诱发实验，实验过程中同时检测多生理参数，相关生理数据用于特征提取与建模。

6.根据权利要求5所述一种情绪稳定性综合信息处理方法，其特征在于，特征提取包括在各种生理参数的时-频-空-非线性特征基础上，研究多生理参数的交互作用，提取可辅助识别的互联参数，共同构建综合特征模式矩阵。

7.根据权利要求5所述一种情绪稳定性综合信息处理方法，其特征在于，建模采用多元线性回归方法，所述多生理参数包括脑电(EEG)、大脑近红外光谱(fNIRS)、心率变异性(HRV)、肌或挥霍电(EMG)、呼吸、血压、桡动脉中医脉象信号、皮电、光电脉搏波。

8.根据权利要求2或3所述一种情绪稳定性综合信息处理方法，其特征在于，步骤二中所述自适应N-back认知负荷作业任务包括：参与者需要比较新出现图形与前N个出现的图形在位置、颜色和形状三个方面是否一致，如果相同就按下“YES”键；若不同则按下“NO"按键。同时记录被试每次按键是否正确以及反应时间；N值根据工作记忆任务的正确率，程序自动调节；

被试任务完成超过设定的正确率限度时N值加1，低于正确率限度时N值减1，初始值为N＝1。

9.根据权利要求2、3、5、7任一所述一种情绪稳定性综合信息处理方法，其特征在于，步骤三中基本情绪稳定性检测包括：

(1)基于情绪诱发与认知负荷作业相结合的基本情绪稳定性检测；

(2)六维情绪稳定性综合评测。

10.根据权利要求9所述一种情绪稳定性综合信息处理方法，其特征在于，所述基于情绪诱发与认知负荷作业相结合的基本情绪稳定性检测具体是，每种基本情绪诱发实验分三个阶段，包括情绪诱发，自适应可调节式N-back脑力负荷实验，然后休息，在情绪诱发结束后，被试立刻进行当下情绪的主观评分(0-10)；在情绪诱发实验阶段，进行基于多模态生理信号的情绪深度实时检测；在脑力负荷任务阶段，记录每次实验的最大N,以及在不同情绪诱发下，相同的N值的脑力负荷实验的反应速度和正确率作为绩效评价指标；

所述的综合评测基于情绪稳定性的三层面表现，即：心理感受、生理反应、工作绩效，设计六维情绪稳定性雷达图，用来建立个人情绪稳定性综合评价方法；六维情绪稳定性雷达图可以看出被试的心理感受、生理反应、工作绩效三个方面对六种基本情绪的稳定度。