CN108056774A - 基于视频刺激材料的实验范式情绪分析实现方法及其装置 - Google Patents

Abstract

本发明属于情绪识别技术领域，特别涉及一种基于视频刺激材料的实验范式情绪分析实现方法及其装置，该方法包含：收集多种情绪类型状态刺激材料；通过脑电设备采集被试者基线信号，获取其情绪分析参考数据；随机选取情绪类型状态刺激材料刺激被试者，并通过脑电设备采集被试者当前状态下的脑电数据；获取被试者自我诱发状态下的情绪评估，被试者脑电数据通过神经网络完成训练测试，返回直至所有情绪类型状态刺激材料下均被选取；结合自我评估结果及训练测试结果，完成被试者外界刺激和自我诱发相结合模式下的情绪识别。本发明能够结合自发情绪进行良好标定，为情绪识别提供真实有效的生理信号，提高情绪识别率和实用性，具有较好的应用价值。

Description

基于视频刺激材料的实验范式情绪分析实现方法及其装置

技术领域

本发明属于情绪识别技术领域，特别涉及一种基于视频刺激材料的实验范式情绪分析实现方法及其装置。

背景技术

情绪是一种综合了人的感觉、思想和行为的状态，它包括人对外界或自身刺激的心理反应，也包括伴随这种心理反应的生理反应。在人们的日常工作和生活中，情绪的作用无处不在。作为心理状态的一项重要内容，情绪的测定与识别一直以来都是人们想要努力解决的问题；在各种人-机交互系统里，如果系统能识别出人的情绪状态，人与机器的交互就会变得更加友好和自然。因此，对情绪状态进行分析和识别是神经科学、心理学、认知科学、神经科学、心理学、认知科学、计算机科学和人工智能等领域的一项重要的交叉学科研究课题。情绪研究的重要前提条件之一就是诱发出人的不同情绪。情绪研究的重要前提条件之一就是诱发出人的不同情绪。情绪的诱发可以通过外部刺激和内部响应等方式实现，目前常见的情绪诱发方法主要有以下2种：(1)通过图片、音乐和视频等外部刺激诱发被试的不同情绪，这也是目前被学者们最普遍使用的刺激方法。(2)让被试自行回忆带有相应感情色彩的记忆片段。这是一种完全由被试内部诱发情绪的方法，也被一些学者作为情绪研究的基本方式。早期的情绪识别研究主要使用图片或声音作为诱发情绪的材料。

近年来，越来越多的情绪识别研究开始使用视听刺激结合的方式来诱发情绪。常用的视听觉刺激包括电影片段、音乐视频，或是呈现情绪图片的同时播放相应情绪的音乐。相比于单纯的视、听觉刺激，电影与实际生活中的情境更相似，内容和情节更为丰富，具有动态性、不可欺骗性和高生态效度，能够真实有效的诱发出相对应的情绪。通过视听觉的刺激诱发出相应的情绪，利用信号处理与计算模型，找出脑电等生理信号中代表情绪的稳定成分与特征，并通过机器学习算法，实现情绪的识别。基于情绪视频刺激的实验范式已经存在多个研究。2012年，瑞士日内瓦大学设计了基于音乐视频片段作为情绪刺激材料的实验范式，并在此基础上公开了DEAP生理信号情绪数据库。实验以2分钟的基线信号开始，此时被试要求注视屏幕中的“+”字，然后是40个观看音乐视频的试次。每个试次包含下面几个步骤：步骤1：2s的时间显示当前试次数，让被试知道实验的进程；步骤2：5s的基线信号记录，被试注视“+”字；步骤3：1分钟的音乐视频展示；步骤4：被试通过SAM量表进行效价，唤醒度，掌控度和喜欢程度4个维度的评分，前三个维度评分等级1-9，喜欢程度分为不喜欢，一般和喜欢。2012年，伦敦玛丽女王大学的研究学者设计了基于电影视频刺激的实验范式，截取了40个电影的片段，长度为1分钟至2分钟左右作为情绪刺激让30名被试观看，采集被试的脑电、眼动、心电、呼吸等生理信号，建立了MAHNOB-HCI情绪数据库。2016年，上海交通大学利用正性、中性、负性三种情绪类型的汉语电影作为刺激材料设计了情绪实验，让15名被试观看，采集了62导联的脑电信号，并在此基础上建立了SEED情绪数据库。之后很多学者的对于情绪识别的研究，基本是基于上述3个数据库的实验范式设计和生理信号。但是需要指出，以上基于视频刺激材料的实验范式均是在外界情绪刺激材料单一模式下进行的，并没有考虑自我诱发情绪的研究和识别。但是对于情绪识别走向实际应用，必然是针对自发情绪的识别。如何设计一种实验范式，能够对自发情绪进行良好的标定，并提供真实有效的生理信号以供情绪的研究，是非常有意义的。

发明内容

针对现有技术中的不足，本发明提供一种基于视频刺激材料的实验范式情绪分析实现方法及其识别装置，克服现有实验范式情绪分析局限于单一视频刺激的缺陷，将视频诱发的情绪与自我回忆自发的情绪集成到一个实验范式中，能够结合自发情绪进行良好标定，为情绪识别提供真实有效的生理信号，提高情绪识别率和实用性。

按照本发明所提供的设计方案，一种基于视频刺激材料的实验范式情绪分析实现方法，包含如下内容：

A)收集多种情绪类型状态刺激材料，存入情绪刺激材料库，所述的情绪类型状态刺激材料至少包含快乐状态刺激视频、中性状态刺激视频、愤怒状态刺激视频、悲伤状态刺激视频、厌恶状态刺激视频和恐惧状态刺激视频；

B)通过脑电设备采集被试者基线信号，获取其情绪分析参考数据；

C)选取情绪刺激材料库中的一种情绪类型状态刺激材料刺激被试者，并通过脑电设备采集被试者当前状态下的脑电数据；

D)获取被试者自我诱发状态下通过情绪评定表完成的自我评估，被试者脑电数据通过神经网络完成训练测试；并返回步骤C)中选取情绪刺激材料库中下一种情绪类型状态刺激材料，直至情绪刺激材料库中所有情绪类型状态刺激材料下均被选取；

E)结合每种情绪类型状态刺激材料下被试者的自我评估结果及脑电数据的训练学习结果，完成被试者外界刺激和自我诱发相结合模式下的情绪识别。

上述的，B)中采集被试者基线信号，包含：通过脑电设备，依次采集预定时间段内被试者正常状态下的睁眼基线信号和闭眼基线信号。

优选的，B)中，采集被试者睁眼基线信号时，通过在被试者面前设置黑底白色“+”字型屏幕，通过脑电设备采集被试者正常状态下在预定时间段内观看该屏幕上“+”字型时的脑电数据。

上述的，C)中，随机选取情绪刺激材料库中的一种情绪类型状态刺激材料刺激被试者。

上述的，D)中，情绪评定表中设置有0～9评分，该0～9的评分均分别对应情绪平静状态至愤怒状态的十个划分区间和不开心状态至开心状态的十个划分区间。

优选的，D)中，获取被试者自我诱发状态下通过情绪评定表完成自我评估，包含如下内容：根据情绪平静状态至愤怒状态划分区间，及不开心状态至开心状态划分区间，获取被试者经情绪类型状态刺激材料刺激后的情绪对应的划分区间评分。

上述的，D)中，脑电数据通过神经网络完成训练学习，包含：从脑电数据中提取情绪脑电特征，求取微分熵，将数据分为训练集和测试集，用训练集训练出一个深度卷积神经网络，主要包括输入层，隐藏层和输出层，然后将测试集数据输入神经网络进行分类。

一种基于视频刺激材料的实验范式情绪分析实现装置，包含：视频收集模块，参考信号采集模块，视频刺激模块，自我评估模块，训练学习模块和情绪分析模块，其中，

视频收集模块，用于收集多种情绪类型状态刺激材料，存入情绪刺激材料库，所述的情绪类型状态刺激材料至少包含快乐状态刺激视频、中性状态刺激视频、愤怒状态刺激视频、悲伤状态刺激视频、厌恶状态刺激视频和恐惧状态刺激视频；

参考信号采集模块，用于通过脑电设备采集被试者基线信号，获取其情绪分析参考数据；

视频刺激模块，用于选取情绪刺激材料库中的一种情绪类型状态刺激材料刺激被试者，并通过脑电设备采集被试者当前状态下的脑电数据；

自我评估模块，用于获取被试者自我诱发状态下通过情绪评定表完成的自我评估，并反馈至情绪分析模块；

训练学习模块，用于将被试者脑电数据通过神经网络进行训练测试，并反馈至情绪分析模块；

情绪分析模块，用于根据情绪刺激材料库中所有情绪类型状态刺激材料下被试者的自我评估模块及训练学习模块的输出，完成被试者外界刺激和自我诱发相结合模式下的情绪识别。

上述的装置中，所述的参考信号采集模块包含睁眼基线信号获取单元和闭眼基线信号获取单元，其中，

睁眼基线获取单元，用于通过脑电设备采集预定时间段内被试者正常状态下的睁眼基线信号；

闭眼基线获取单元，用于通过脑电设备采集预定时间段内被试者正常状态下的闭眼基线信号。

本发明的有益效果：

本发明利用中国情绪影像材料库的快乐、中性、愤怒、悲伤、厌恶和恐惧等六种离散情绪视频刺激材料，通过视频诱发情绪和自我回忆自发情绪相结合的实验范式，为情绪分析提供一个良好的标定和真实有效的研究基础，实验数据稳定、可靠，视频刺激和自我诱发相结合的实验模式，具有更为客观的特点，用途更为广泛，可广泛适用于心理健康研究、人机交互等领域，对情绪状态分析和识别具有重要指导意义。

附图说明：

图1为本发明的方法流程图；

图2为本发明的装置示意图；

图3为本发明的参考信号采集模块示意图；

图4为实施例中情绪实验范式流程图；

图5为实施例中自我评估量表示意图；

图6为实施例中基于中国情绪影像材料库的视频刺激列表示意图。

具体实施方式：

下面结合附图和技术方案对本发明作进一步清楚、完整的说明，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

针对现有基于视频刺激材料的实验范式均是在外界情绪刺激材料单一模式下进行的，并没有考虑自我诱发情绪的研究和识别；但是对于情绪识别走向实际应用，必然是针对自发情绪的识别等情形，本发明实施例提供一种基于视频刺激材料的实验范式情绪分析实现方法，参见图1所示，包含如下内容：

101)收集多种情绪类型状态刺激材料，存入情绪刺激材料库，所述的情绪类型状态刺激材料至少包含快乐状态刺激视频、中性状态刺激视频、愤怒状态刺激视频、悲伤状态刺激视频、厌恶状态刺激视频和恐惧状态刺激视频；

102)通过脑电设备采集被试者基线信号，获取其情绪分析参考数据；

103)选取情绪刺激材料库中的一种情绪类型状态刺激材料刺激被试者，并通过脑电设备采集被试者当前状态下的脑电数据；

104)获取被试者自我诱发状态下通过情绪评定表完成的自我评估，被试者脑电数据通过神经网络完成训练测试；并返回步骤103)中选取情绪刺激材料库中下一种情绪类型状态刺激材料，直至情绪刺激材料库中所有情绪类型状态刺激材料下均被选取；

105)结合每种情绪类型状态刺激材料下被试者的自我评估结果及脑电数据的训练学习结果，完成被试者外界刺激和自我诱发相结合模式下的情绪识别。

通过视频诱发情绪和自我回忆自发情绪相结合的实验范式，为情绪分析提供一个良好的标定和真实有效的研究基础，实验数据稳定、可靠，视频刺激和自我诱发相结合的实验模式，具有更为客观的特点。

优选的，在采集被试者基线信号，可通过采用如下实现过程：通过脑电设备，依次采集预定时间段内被试者正常状态下的睁眼基线信号和闭眼基线信号。更进一步的，采集被试者睁眼基线信号时，通过在被试者面前设置黑底白色“+”字型屏幕，通过脑电设备采集被试者正常状态下在预定时间段内观看该屏幕上“+”字型时的脑电数据。

为更好的获取情绪分析数据，可以采取随机选取的方式选取情绪刺激材料库中的一种情绪类型状态刺激材料刺激被试者。

结合自我情绪评定量表SAM进行效价和唤醒度的自我评估，其中，情绪评定表中可通过设置有0～9评分，该0～9的评分均分别对应情绪平静状态至愤怒状态的十个划分区间和不开心状态至开心状态的十个划分区间。更进一步的，获取被试者自我诱发状态下通过情绪评定表完成自我评估，包含如下内容：根据情绪平静状态至愤怒状态划分区间，及不开心状态至开心状态划分区间，获取被试者经情绪类型状态刺激材料刺激后的情绪对应的划分区间评分。

通过视频刺激诱发被试者相应情绪，利用信号处理与计算机模型，获取脑电数据中代表情绪稳定成分与特征，通过机器学习算法实现情绪识别。神经网络以样本的类别信息为指导，不断修正中间层到输出层的参数权值，再利用训练后的感知器对样本进行分类。本发明的实施例中，脑电数据通过神经网络完成训练学习，包含：从脑电数据中提取情绪脑电特征，求取微分熵，将数据分为训练集和测试集，用训练集训练出一个深度卷积神经网络，该深度卷积神经网络包括输入层、隐藏层和输出层，然后将测试集数据输入神经网络进行分类。通过脑电特征确定情绪状态，并结合被试者自我诱发状态下的自我评估结果，实现情绪识别。

对应于上述的基于视频刺激材料的实验范式情绪分析实现方法实施例，本发明还提供一种基于视频刺激材料的实验范式情绪分析实现装置，参见图2所示，包含：视频收集模块201，参考信号采集模块202，视频刺激模块203，自我评估模块204，训练学习模块205和情绪分析模块206，其中，

视频收集模块201，用于收集多种情绪类型状态刺激材料，存入情绪刺激材料库，所述的情绪类型状态刺激材料至少包含快乐状态刺激视频、中性状态刺激视频、愤怒状态刺激视频、悲伤状态刺激视频、厌恶状态刺激视频和恐惧状态刺激视频；

参考信号采集模块202，用于通过脑电设备采集被试者基线信号，获取其情绪分析参考数据；

视频刺激模块203，用于选取情绪刺激材料库中的一种情绪类型状态刺激材料刺激被试者，并通过脑电设备采集被试者当前状态下的脑电数据；

自我评估模块204，用于获取被试者自我诱发状态下通过情绪评定表完成的自我评估，并反馈至情绪分析模块；

训练学习模块205，用于将被试者脑电数据通过神经网络进行训练测试，并反馈至情绪分析模块；

情绪分析模块206，用于根据情绪刺激材料库中所有情绪类型状态刺激材料下被试者的自我评估模块及训练学习模块的输出，完成被试者外界刺激和自我诱发相结合模式下的情绪识别。

更进一步的，参见图3所示，参考信号采集模块202包含睁眼基线信号获取单元2021和闭眼基线信号获取单元2022，其中，

睁眼基线获取单元2021，用于通过脑电设备采集预定时间段内被试者正常状态下的睁眼基线信号；

闭眼基线获取单元2022，用于通过脑电设备采集预定时间段内被试者正常状态下的闭眼基线信号。

基于以上实施例，为进一步验证本发明的有效性，参见图4～6所示，通过具体实验范式对本发明做进一步解释说明，如图6所示，利用中国情绪影像材料库的快乐、中性、愤怒、悲伤、厌恶和恐惧等六种离散情绪视频刺激材料，该实验范式设计如下：

步骤1：被试进行睁眼，呈放松状态，盯住屏幕上的“+”；要求被试睁眼，呈放松状态，盯住刺激屏幕上的黑底白色“+”字，采集被试的4分钟睁眼基线信号。

步骤2：被试进行闭眼，呈放松状态；要求被试闭眼，呈放松状态，采集被试的4分钟闭眼基线信号。

步骤3：屏幕呈现情绪刺激材料即将播放提示；屏幕呈现视频材料即将播放提示，时间长度5秒。

步骤4：被试盯住屏幕呈现的“+”。要求被试睁眼，呈放松状态，盯住刺激屏幕上的黑底白色“+”字，采集被在观看刺激影片前的睁眼基线信号，时间长度5秒。

步骤5：被试观看情绪视频刺激材料；要求被试呈放松状态，观看刺激屏幕上的呈现的情绪刺激材料；这里需要说明的是，不同类型的情绪刺激播放顺序随机。

步骤6：被试闭眼回忆刚刚所观看的情绪刺激，努力沉浸到相应的情绪中；要求被试呈放松状态，闭上眼睛，努力回忆刚刚观看的情绪刺激内容，并沉浸到相应的情绪当中。

步骤7：被试通过SAM量表，进行效价和唤醒度的自我评估；要求被试对刚刚观看的情绪刺激进行效价和唤醒度的自我评估，评分通过SAM量表完成，评分标准为1-9，时间长度10秒。图5中对情绪状态进行举例，第一排的符号表情分别代表不开心到开心的情绪划分，第二排的符号表情分别代表平静到愤怒状态的情绪划分。

步骤8：被试充分休息，准备进入下一试次的实验。要求被试进行充分放松和自我休息，时间长度45秒，之后进入下一试次的实验，从权利要求1所述的步骤3开始至步骤8循环重复，直到所有情绪刺激播放完毕，实验结束。

首先让被试睁眼，呈放松状态，盯住屏幕上的“+”，采集睁眼基线信号；之后让被试闭眼，呈放松状态，采集闭眼基线信号。然后不同情绪类型的影片随机播放，每一个影片为一个实验试次。每个试次的循环中，首先是5秒的提示时间，告诉被试电影即将开始。之后是5秒的基线采集，被试盯住屏幕上黑底白色“+”字。基线采集完成后，被试观看情绪刺激视频，观看结束后，让被试闭眼回忆情绪影片的内容。这样在同一个范式中，既有关于情绪刺激材料诱发的情绪，又有被试自我回忆自发的情绪，这为外部诱发情绪和内部自发情绪的研究和对比提供了一个很好的实验范式和基础。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种基于视频刺激材料的实验范式情绪分析实现方法，其特征在于，包含如下内容：

A)收集多种情绪类型状态刺激材料，存入情绪刺激材料库，所述的情绪类型状态刺激材料至少包含快乐状态刺激视频、中性状态刺激视频、愤怒状态刺激视频、悲伤状态刺激视频、厌恶状态刺激视频和恐惧状态刺激视频；

B)通过脑电设备采集被试者基线信号，获取其情绪分析参考数据；

C)选取情绪刺激材料库中的一种情绪类型状态刺激材料刺激被试者，并通过脑电设备采集被试者当前状态下的脑电数据；

D)获取被试者自我诱发状态下通过情绪评定表完成的自我评估，被试者脑电数据通过神经网络完成训练测试；并返回步骤C)中选取情绪刺激材料库中下一种情绪类型状态刺激材料，直至情绪刺激材料库中所有情绪类型状态刺激材料下均被选取；

E)结合每种情绪类型状态刺激材料下被试者的自我评估结果及脑电数据的训练学习结果，完成被试者外界刺激和自我诱发相结合模式下的情绪识别。

2.根据权利要求1所述的基于视频刺激材料的实验范式情绪分析实现方法，其特征在于，B)中采集被试者基线信号，包含：通过脑电设备，依次采集预定时间段内被试者正常状态下的睁眼基线信号和闭眼基线信号。

3.根据权利要求2所述的基于视频刺激材料的实验范式情绪分析实现方法，其特征在于，B)中，采集被试者睁眼基线信号时，通过在被试者面前设置黑底白色“+”字型屏幕，通过脑电设备采集被试者正常状态下在预定时间段内观看该屏幕上“+”字型时的脑电数据。

4.根据权利要求1所述的基于视频刺激材料的实验范式情绪分析实现方法，其特征在于，C)中，随机选取情绪刺激材料库中的一种情绪类型状态刺激材料刺激被试者。

5.根据权利要求1所述的基于视频刺激材料的实验范式情绪分析实现方法，其特征在于，D)中，情绪评定表中设置有0～9评分，该0～9的评分均分别对应情绪平静状态至愤怒状态的十个划分区间和不开心状态至开心状态的十个划分区间。

6.根据权利要求5所述的基于视频刺激材料的实验范式情绪分析实现方法，其特征在于，D)中，获取被试者自我诱发状态下通过情绪评定表完成自我评估，包含如下内容：根据情绪平静状态至愤怒状态划分区间，及不开心状态至开心状态划分区间，获取被试者经情绪类型状态刺激材料刺激后的情绪对应的划分区间评分。

7.根据权利要求1所述的基于视频刺激材料的实验范式情绪分析实现方法，其特征在于，D)中，脑电数据通过神经网络完成训练学习，包含：从脑电数据中提取情绪脑电特征，求取微分熵，将数据分为训练集和测试集，用训练集训练出一个深度卷积神经网络，该深度卷积神经网络包括输入层、隐藏层和输出层，然后将测试集数据输入神经网络进行分类。

8.一种基于视频刺激材料的实验范式情绪分析实现装置，其特征在于，包含：视频收集模块，参考信号采集模块，视频刺激模块，自我评估模块，训练学习模块和情绪分析模块，其中，

视频收集模块，用于收集多种情绪类型状态刺激材料，存入情绪刺激材料库，所述的情绪类型状态刺激材料至少包含快乐状态刺激视频、中性状态刺激视频、愤怒状态刺激视频、悲伤状态刺激视频、厌恶状态刺激视频和恐惧状态刺激视频；

参考信号采集模块，用于通过脑电设备采集被试者基线信号，获取其情绪分析参考数据；

视频刺激模块，用于选取情绪刺激材料库中的一种情绪类型状态刺激材料刺激被试者，并通过脑电设备采集被试者当前状态下的脑电数据；

自我评估模块，用于获取被试者自我诱发状态下通过情绪评定表完成的自我评估，并反馈至情绪分析模块；

训练学习模块，用于将被试者脑电数据通过神经网络进行训练测试，并反馈至情绪分析模块；

情绪分析模块，用于根据情绪刺激材料库中所有情绪类型状态刺激材料下被试者的自我评估模块及训练学习模块的输出，完成被试者外界刺激和自我诱发相结合模式下的情绪识别。

9.根据权利要求8所述的基于视频刺激材料的实验范式情绪分析实现装置，其特征在于，所述的参考信号采集模块包含睁眼基线信号获取单元和闭眼基线信号获取单元，其中，

睁眼基线获取单元，用于通过脑电设备采集预定时间段内被试者正常状态下的睁眼基线信号；

闭眼基线获取单元，用于通过脑电设备采集预定时间段内被试者正常状态下的闭眼基线信号。