CN111026265A - 一种基于vr场景视频的情绪标签连续标注系统及方法 - Google Patents

Abstract

本发明属于认知心理学和软件开发的交叉融合领域，为基于VR场景视频的情绪标签连续标注系统及方法，其系统包括：VR场景视频播放模块、情绪标签初始值获取模块、系统触发模块、情绪标签连续标注模块和数据存储模块；情绪标签初始值获取模块获取每个受试者被VR场景视频所诱发情绪的评价初始值；系统触发模块触发并同步VR场景视频的播放和情绪标签连续标注的开始；情绪标签连续标注模块实现获得连续的情绪标签；数据存储模块实时记录信息。本发明能够高效率地获取大量带有情绪标签的虚拟现实场景数据集，推进在VR场景视频刺激下带有情绪标签的连续时间序列在情绪识别中的应用；操作便捷，节约了心理学评估实验所需要的大量受试者资源和时间成本。

Description

一种基于VR场景视频的情绪标签连续标注系统及方法

技术领域

本发明属于认知心理学和软件开发的交叉融合领域，具体为一种基于VR场景视频的情绪标签连续标注系统及方法。

背景技术

情绪诱发是指利用情绪诱发素材对受试者的情绪进行诱发，当前被广泛使用的情绪诱发素材主要为图片、音频和多媒体，其特点为沉浸度低、生态效度低和对实验环境要求高。随着虚拟现实技术的快速发展，虚拟现实技术具有高沉浸度、高真实感和良好的环境隔绝效果等特点，利用虚拟现实技术制作的情绪诱发场景在情绪诱发中表现了极大的优势，虚拟现实场景能够更加有效并准确地触发情绪，并且屏蔽外界干扰，获得相对客观的情绪数据，以解决现有刺激素材浸入感不强，环境干扰较大等问题。

在VR场景视频作为情绪刺激材料进行情绪诱发时，需要对VR场景视频对受试者所触发的情绪进行评价进而得到相应的情绪标签。在以往的情绪评价中，通常是通过规范化的心理学实验，在向受试者展示情绪刺激材料之后，请受试者利用SAM量表对自身被诱发的情绪状态(愉悦度、唤醒度和支配度)进行总体的评价，按照这样的评价方法情绪诱发素材的每个情绪状态只会具有一个评价值。这种评价方法对于图片、文本这些静态的情绪诱发素材显然是可行的。

当前已经有研究使用VR场景视频作为情绪刺激材料诱发受试者的情绪，在虚拟现实场景情绪评价方面，当前普遍使用的方法仍是按照传统的情绪评估手段，即在受试者观看完VR场景视频之后，对SAM量表中的愉悦度、唤醒度和支配度这三个维度各给出一个总体的评价值。然而采用VR场景视频作为情绪诱发素材势必要考虑其在播放过程中受试者产生的不同连续情绪反应，这就需要针对SAM量表中的三个维度分别对这些不同的连续情绪反应进行连续评价。因此很有必要建立一个能够在VR场景视频播放过程中能够连续对其进行情绪标注的系统。

发明内容

针对现有技术存在的问题，本发明提供一种基于VR场景视频的情绪标签连续标注系统及方法，以VR场景视频作为情绪诱发素材，对所诱发的情绪从愉悦度、唤醒度和支配度三个维度进行评价，实时记录视频每一帧对应的时间点和该时间点所对应的评价值，以获得连续时间序列的情绪标签值，能够高效率地获取大量的带有情绪标签的虚拟现实场景数据集，推进在VR场景视频刺激下带有情绪标签的连续时间序列在情绪识别中的应用。

本发明中情绪标签连续标注系统的技术方案如下：一种基于VR场景视频的情绪标签连续标注系统，包括：

VR场景视频播放模块，用于搭建VR场景视频的播放平台，并承载VR场景视频作为情绪刺激材料诱发受试者的情绪；

情绪标签初始值获取模块，用于获取每个受试者被VR场景视频所诱发的情绪在SAM量表中的评价初始值；

系统触发模块，用于触发VR场景视频的播放和情绪标签连续标注的开始，并将视频播放时间和情绪标签连续标注的时间同步；

情绪标签连续标注模块，基于UI界面对VR场景视频进行连续的VR手柄交互式的情绪评价，对情绪标签进行连续标注，以得到连续的情绪评价值；

数据存储模块，用于实时记录情绪标签连续标注过程中的时间和情绪评价值。

在优选的实施例中，所述情绪标签连续标注模块对情绪标签进行连续标注，指受试者在观看VR场景视频的同时，对SAM量表中的愉悦度、唤醒度和支配度这三个情感维度中任何一个维度或多个维度进行连续评价所得到的情绪评价值。

在优选的实施例中，所述情绪标签连续标注模块基于VR手柄交互式的情绪评价和UI界面对情绪标签进行标注，包括单维度情绪评价模式和多维度情绪评价模式；

对于单维度情绪评价模式，所述UI界面包括一个滑动条和一个文本框，VR手柄触摸板上的横坐标的范围与UI界面中滑动条的值一一对应，文本框用于显示滑动条的数值，即显示受试者此时对VR场景视频的单维度情绪评价值；

对于多维度情绪评价模式，所述UI界面包括多个滑动条和多个文本框，多个滑动条分别与VR手柄触摸板上的横坐标、纵坐标一一对应；文本框分别用于显示多个滑动条的数值，即分别显示多个维度的情绪评价值；滑动条的数量与情绪评价模式的维度相等。

在优选的实施例中，所述UI界面在VR眼镜中与VR场景视频一同被受试者看到，无论VR眼镜如何移动或旋转，UI界面始终在受试者的视野正前方；设置UI界面的透明度，以避免UI界面干扰VR场景视频的内容。

本发明中情绪标签连续标注方法的技术方案如下：一种基于VR场景视频的情绪标签连续标注方法，包括以下步骤：

S1、搭建VR场景视频的播放平台，受试者头戴VR眼镜看到VR场景视频的播放，以VR场景视频作为情绪刺激材料诱发受试者的情绪；

S2、搭建UI界面，使得UI界面与VR场景视频一同显示在VR眼镜中；

S3、获取受试者对VR场景视频的初始情绪标签，作为每个受试者被VR场景视频所诱发的情绪在SAM量表中的评价初始值；

S4、触发VR场景视频的播放和情绪标签连续标注的开始，将VR场景视频播放时间和情绪标签连续标注的时间同步；

S5、受试者头戴VR眼镜，实现VR手柄连续地交互控制UI界面，对情绪标签进行连续标注，从而获得连续的情绪评价值；

S6、实时记录情绪标签连续标注过程中的时间和情绪评价值。

在优选的实施例中，所述步骤S2包括：

S21、创建构成UI界面的滑动条和文本框，滑动条的值与VR手柄触摸板上的横/纵坐标的范围一一对应，文本框显示受试者此时对VR场景视频所诱发的情绪在愉悦度、唤醒度和支配度这三个情感维度中任何一个维度或多个维度进行连续评价所得到的情绪评价值；

S22、将UI界面设置为在VR眼镜中与VR场景视频一同被看到，无论VR眼镜如何移动或旋转，UI界面始终在受试者的视野正前方；

S23、设置UI界面的透明度，以避免UI界面干扰VR场景视频的内容。

在优选的实施例中，步骤S3的获取过程需要VR手柄交互控制UI界面；VR手柄交互控制UI界面指通过VR手柄进行SAM情绪评价，包括以下步骤：

S31、将VR手柄触摸板上的位置与UI界面中的滑动条位置关联起来；

S32、VR手柄触摸板被触摸位置横坐标的改变使得UI界面中滑动条的数值发生变化，UI界面中滑动条的数值即是VR场景视频所诱发的情绪在愉悦度/唤醒度/支配度上的评价值，将滑动条的数值实时显示在UI界面中的文本框中，使得受试者头戴VR眼镜时能够在UI界面看到情绪评价值。

本发明对VR场景视频进行情绪评估提供了一种新的途径，与现有技术相比，具有如下优点和有益效果：

本发明以VR场景视频作为情绪诱发素材，在VR眼镜中观看视频的同时对VR场景视频所诱发的情绪按照SAM量表中的愉悦度、唤醒度和支配度三个维度进行评价，评价过程主要由VR手柄交互控制UI评价界面来实现；实时记录视频每一帧对应的时间点和该时间点所对应的评价值，以获得连续时间序列的情绪标签值。与现有技术相比，本发明能够高效率地获取大量的带有情绪标签的虚拟现实场景数据集，推进在VR场景视频刺激下带有情绪标签的连续时间序列在情绪识别中的应用；同时该系统操作便捷，节约了心理学评估实验所需要的大量受试者资源和时间成本。

附图说明

图1是基于VR场景视频的情绪标签连续标注系统的结构框图；

图2是基于VR场景视频的情绪标签连续标注方法的实施流程图；

图3是VR手柄触摸板示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清晰，下面结合附图及实施例对本发明进行进一步详细的说明。此处所描述的具体实施例仅用于解释本发明，但本发明的实施方式不限于此。

实施例1

如图1所示，本发明基于VR场景视频的情绪标签连续标注系统，包括VR场景视频播放模块、情绪标签初始值获取模块、系统触发模块、情绪标签连续标注模块和数据存储模块。

所述VR场景视频播放模块用于搭建VR场景视频的播放平台，受试者头戴VR眼镜能够看到VR场景视频的播放，为受试者带来极强的沉浸体验，并承载VR场景视频作为情绪刺激材料诱发受试者的情绪。本实施例中，VR场景视频播放模块采用Unity3D引擎对VR场景视频播放平台进行搭建，采用Unity3D引擎中的Video Player插件实现VR场景视频的播放；VR场景视频涵盖了各种情绪空间，包括轻松、恐惧、恶心、激动、愉悦等种类。

所述情绪标签初始值获取模块用于获取每个受试者被VR场景视频所诱发的情绪在SAM量表中三个维度：愉悦度/唤醒度/支配度上的评价初始值。评价初始值是指受试者在开始进行正式的情绪标签连续评价之前让受试者观看VR场景视频的第一帧，给出对愉悦度/唤醒度/支配度的评价值。由于每个受试者对VR场景视频的情绪反应不同，对VR场景视频评价的初始值也不相同，所述情绪标签初始值获取模块获取的评价初始值被系统记录下来，在之后的情绪标签连续标注中作为受试者连续情绪标签的初始值，使得收集到的连续情绪标签的初始值在后期数据处理中具有可用性。

所述系统触发模块用于触发VR场景视频的播放和情绪标签连续标注的开始，并将VR场景视频播放时间和情绪标签连续标注的时间同步。系统触发模块可选用VR手柄按键或者电脑按键进行触发。在本实施例中，所述系统触发模块使用VR手柄Trigger键作为系统的触发按键，当Trigger键被按下去，VR场景视频开始播放，情绪标签也开始实现连续标注的功能。

所述情绪标签连续标注模块基于UI界面对VR场景视频进行连续的VR手柄交互式的情绪评价(可以是一维情绪评价或多维情空间情绪评价，本实施例优选三维情绪评价来实现)，对情绪标签进行连续标注，以得到连续的情绪评价值。情绪标签连续标注模块对情绪标签进行连续标注，指的是受试者在观看VR场景视频的同时，对SAM量表中的愉悦度、唤醒度和支配度这三个情感维度中任何一个维度(单维度)或多个维度进行连续评价所得到的情绪评价值，即分为单维度情绪评价模式和多维度情绪评价模式。

本实施例中，情绪标签连续标注模块基于VR手柄交互式的情绪评价和UI界面对情绪标签进行标注。对于单维度情绪评价模式来说，所述UI界面主要由一个滑动条和一个文本框组成，VR手柄触摸板上的横坐标的范围与UI界面中滑动条的值一一对应，文本框用于显示滑动条的数值，即显示受试者此时对VR场景视频的单维度情绪评价值；这个单维度可以是愉悦度、唤醒度和支配度三个情绪维度中的任意一个维度。对于多维度情绪评价模式来说，所述UI界面包括多个滑动条和多个文本框，多个滑动条分别与VR手柄触摸板上的横坐标、纵坐标一一对应；文本框分别用于显示多个滑动条的数值，即分别显示多个维度的情绪评价值；滑动条的数量与情绪评价模式的维度相等。以双维度空间情绪评价模式为例，所述UI界面中有两个滑动条和两个文本框，UI界面中的两个滑动条分别与VR手柄触摸板上的横坐标和VR手柄触摸板上纵坐标一一对应；文本框分别用于显示两个滑动条的数值，即分别显示两个维度的情绪评价值。

VR手柄触摸板的横坐标和纵坐标的范围是(-1,1)，UI界面中滑动条的数值范围是(1,9)，即VR手柄触摸板上的横/纵坐标-1对应滑动条的最小值1，触摸板上的横/纵坐标1对应滑动条的最大值9，如图3。文本框用于显示滑动条的数值，即显示受试者此时对VR场景视频的愉悦度/唤醒度/支配度的评价值。其中，UI界面能够在VR眼镜中与VR场景视频一同被受试者看到，无论VR眼镜如何移动或旋转，UI界面始终在受试者的视野正前方，且UI界面的透明度较高，不会干扰VR场景视频的内容。

而VR手柄交互式的情绪评价是指通过VR手柄交互控制所述UI界面对VR场景视频所诱发的情绪在愉悦度/唤醒度/支配度进行SAM情绪评价，VR手柄触摸板上的横坐标的范围与UI界面中滑动条的值一一对应，手柄触摸板被触摸位置横坐标的改变使得UI界面中滑动条的数值发生变化，UI界面中滑动条的数值即是VR场景视频所诱发的情绪在愉悦度/唤醒度/支配度上的评价值，即受试者通过移动VR手柄触摸板的位置来改变情绪维度评价值。以单维度情绪评价为例，所述VR手柄交互式的情绪评价是指通过VR手柄交互控制所述UI界面对VR场景视频所诱发的情绪在愉悦度/唤醒度/支配度上进行9点情绪评价。

本实施例中，无论是情绪标签初始值获取模块获得的评价初始值，还是情绪标签连续标注模块获得的连续情绪标签，都为受试者在观看VR场景视频之后，利用SAM量表分别对愉悦度、唤醒度和支配度这三个维度进行9点评价的评价值，最小评价值为1，最大评价值为9，评价值越大说明在该维度上的感受程度越大。

所述数据存储模块用于实时记录情绪连续标注过程中的时间点和所述时间点对应的情绪评价值等数据。数据存储模块工作时包括两个过程：系统内部记录信息和导出信息至外部文件。系统记录内部信息指在情绪评估的过程中，系统会实时记录从视频开始播放的某一时间点及该时间点对应的情绪评分，将时间点和情绪评分按照(时间，情绪评分)这种形式保存在Dictionary泛型类容器中。导出信息至外部文件指在VR场景视频播放完毕后，将Dictionary泛型类容器中的信息写入相应文件中，以便于后期数据处理。

系统内部记录信息的时间间隔是一致的，使得从不同的受试者收集到的连续时间序列中的时间数据及时间间隔都是相同的，且收集信息的时间间隔是可以设定的，本实例中收集信息的时间间隔为0.02秒。

实施例2

如图2所示，本发明基于VR场景视频的情绪标签连续标注方法，包括以下步骤：

S1、搭建VR场景视频的播放平台，受试者头戴VR眼镜能够看到VR场景视频的播放，为受试者带来极强的沉浸体验，并以VR场景视频作为情绪刺激材料诱发受试者的情绪。

本实施例利用游戏引擎Unity3D自带的3D视频播放组件Video Player实现VR场景视频播放，将文件格式为MP4的VR场景视频添加到组件Video Player中的Video Clip中。

S2、搭建UI界面，使得UI界面与VR场景视频一同显示在VR眼镜中。包括以下步骤：

S21、创建构成UI界面的滑动条和文本框，滑动条的值与VR手柄触摸板上的横/纵坐标的范围一一对应，文本框显示受试者此时对VR场景视频所诱发的情绪在愉悦度、唤醒度和支配度这三个情感维度中任何一个维度或多个维度进行连续评价所得到的情绪评价值；

S22、将UI界面设置为在VR眼镜中与VR场景视频一同被看到，无论VR眼镜如何移动或旋转，UI界面始终在受试者的视野正前方；

S23、设置UI界面的透明度，以避免UI界面干扰VR场景视频的内容。本实施例中，将UI界面设置为高透明度，以免UI界面干扰VR场景视频的内容。

S3、获取受试者对VR场景视频的初始情绪标签，作为每个受试者被VR场景视频所诱发的情绪在SAM量表中的评价初始值，获取过程需要VR手柄交互控制UI界面。在开始情绪标签连续标注之前，受试者通过VR手柄交互控制UI界面，进而获得此时受试者对VR场景视频的情绪评价值，即初始情绪标签，这个初始情绪标签被系统记录下来，在之后的情绪标签连续标注中作为连续情绪标签的初始值，即作为评价初始值；

所述VR手柄交互控制UI界面是指通过VR手柄进行SAM情绪评价，包括以下步骤：

S31、将VR手柄触摸板上的位置与UI界面中的滑动条位置关联起来；本实施例以单维度情绪评价模式为例，将VR手柄触摸板上的横坐标的范围与UI界面中滑动条的值一一对应起来，VR手柄触摸板的横坐标范围是(-1,1)，UI界面中滑动条的数值范围是(1,9)，即VR手柄触摸板上的横坐标-1对应滑动条的最小值1，触摸板上的横坐标1对应滑动条的最大值9。

S32、VR手柄触摸板被触摸位置横坐标的改变使得UI界面中滑动条的数值发生变化，UI界面中滑动条的数值即是VR场景视频所诱发的情绪在愉悦度/唤醒度/支配度上的评价值，将滑动条的数值实时显示在UI界面中的文本框中，使得受试者头戴VR眼镜时能够在UI界面看到评价值。

S4、按下系统触发键，触发VR场景视频的播放和情绪标签连续标注的开始，将VR场景视频播放时间和情绪标签连续标注的时间同步，该实例中使用的VR手柄的Trigger键作为触发按键；

S5、受试者头戴VR眼镜，实现VR手柄连续地交互控制UI界面，对情绪标签进行连续标注，从而获得连续的情绪评价值。

S6、情绪标签连续标注过程中的时间和情绪评价值等数据实时记录在Dictionary泛型类容器中。在VR手柄连续地交互控制UI界面，获得连续的情绪标签值的同时，系统会实时记录从视频开始播放的某一时间点及该时间点对应的情绪评分，将时间和情绪评分按照(时间，情绪评分)这种形式保存在Dictionary泛型类容器中；所述情绪连续标注过程中的信息实时记录的间隔是0.02秒；

S7、当VR场景视频播放完毕后，将记录在Dictionary泛型类容器中的信息写入相应文件中，以便于后期数据处理。本实例中，将系统内的信息导出至CSV格式的文件中。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于VR场景视频的情绪标签连续标注系统，其特征在于，包括：

VR场景视频播放模块，用于搭建VR场景视频的播放平台，并承载VR场景视频作为情绪刺激材料诱发受试者的情绪；

情绪标签初始值获取模块，用于获取每个受试者被VR场景视频所诱发的情绪在SAM量表中的评价初始值；

系统触发模块，用于触发VR场景视频的播放和情绪标签连续标注的开始，并将视频播放时间和情绪标签连续标注的时间同步；

情绪标签连续标注模块，基于UI界面对VR场景视频进行连续的VR手柄交互式的情绪评价，对情绪标签进行连续标注，以得到连续的情绪评价值；

数据存储模块，用于实时记录情绪标签连续标注过程中的时间和情绪评价值。

2.根据权利要求1所述的情绪标签连续标注系统，其特征在于，所述情绪标签连续标注模块对情绪标签进行连续标注，指受试者在观看VR场景视频的同时，对SAM量表中的愉悦度、唤醒度和支配度这三个情感维度中任何一个维度或多个维度进行连续评价所得到的情绪评价值。

3.根据权利要求1所述的情绪标签连续标注系统，其特征在于，所述情绪标签连续标注模块基于VR手柄交互式的情绪评价和UI界面对情绪标签进行标注，包括单维度情绪评价模式和多维度情绪评价模式；

对于单维度情绪评价模式，所述UI界面包括一个滑动条和一个文本框，VR手柄触摸板上的横坐标的范围与UI界面中滑动条的值一一对应，文本框用于显示滑动条的数值，即显示受试者此时对VR场景视频的单维度情绪评价值；

对于多维度情绪评价模式，所述UI界面包括多个滑动条和多个文本框，多个滑动条分别与VR手柄触摸板上的横坐标、纵坐标一一对应；文本框分别用于显示多个滑动条的数值，即分别显示多个维度的情绪评价值；滑动条的数量与情绪评价模式的维度相等。

4.根据权利要求3所述的情绪标签连续标注系统，其特征在于，所述UI界面在VR眼镜中与VR场景视频一同被受试者看到，无论VR眼镜如何移动或旋转，UI界面始终在受试者的视野正前方；设置UI界面的透明度，以避免UI界面干扰VR场景视频的内容。

5.根据权利要求3所述的情绪标签连续标注系统，其特征在于，VR手柄交互式的情绪评价指通过VR手柄交互控制所述UI界面对VR场景视频所诱发的情绪在愉悦度/唤醒度/支配度进行SAM情绪评价，VR手柄触摸板被触摸位置横坐标的改变使得UI界面中滑动条的数值发生变化，UI界面中滑动条的数值即是VR场景视频所诱发的情绪在愉悦度/唤醒度/支配度上的评价值，即受试者通过移动VR手柄触摸板的位置来改变情绪维度评价值。

6.根据权利要求1所述的情绪标签连续标注系统，其特征在于，所述系统触发模块用VR手柄按键或者电脑按键进行触发。

7.根据权利要求1所述的情绪标签连续标注系统，其特征在于，所述评价初始值指受试者在开始进行正式的情绪标签连续评价之前，让受试者观看VR场景视频的第一帧，给出对愉悦度/唤醒度/支配度的评价值。

8.一种基于VR场景视频的情绪标签连续标注方法，其特征在于，包括以下步骤：

S1、搭建VR场景视频的播放平台，受试者头戴VR眼镜看到VR场景视频的播放，以VR场景视频作为情绪刺激材料诱发受试者的情绪；

S2、搭建UI界面，使得UI界面与VR场景视频一同显示在VR眼镜中；

S3、获取受试者对VR场景视频的初始情绪标签，作为每个受试者被VR场景视频所诱发的情绪在SAM量表中的评价初始值；

S4、触发VR场景视频的播放和情绪标签连续标注的开始，将VR场景视频播放时间和情绪标签连续标注的时间同步；

S5、受试者头戴VR眼镜，实现VR手柄连续地交互控制UI界面，对情绪标签进行连续标注，从而获得连续的情绪评价值；

S6、实时记录情绪标签连续标注过程中的时间和情绪评价值。

9.根据权利要求8所述的情绪标签连续标注方法，其特征在于，所述步骤S2包括：

S21、创建构成UI界面的滑动条和文本框，滑动条的值与VR手柄触摸板上的横/纵坐标的范围一一对应，文本框显示受试者此时对VR场景视频所诱发的情绪在愉悦度、唤醒度和支配度这三个情感维度中任何一个维度或多个维度进行连续评价所得到的情绪评价值；

S22、将UI界面设置为在VR眼镜中与VR场景视频一同被看到，无论VR眼镜如何移动或旋转，UI界面始终在受试者的视野正前方；

S23、设置UI界面的透明度，以避免UI界面干扰VR场景视频的内容。

10.根据权利要求8所述的情绪标签连续标注方法，其特征在于，步骤S3的获取过程需要VR手柄交互控制UI界面；VR手柄交互控制UI界面指通过VR手柄进行SAM情绪评价，包括以下步骤：

S31、将VR手柄触摸板上的位置与UI界面中的滑动条位置关联起来；

S32、VR手柄触摸板被触摸位置横坐标的改变使得UI界面中滑动条的数值发生变化，UI界面中滑动条的数值即是VR场景视频所诱发的情绪在愉悦度/唤醒度/支配度上的评价值，将滑动条的数值实时显示在UI界面中的文本框中，使得受试者头戴VR眼镜时能够在UI界面看到情绪评价值。

Images