CN108717567A - 多模态的情感数据存储方法及装置 - Google Patents

Abstract

本公开公开了一种多模态的情感数据存储方法及装置，用于实现快速、便捷、以及条理化地存储情感数据。所述方法包括：在XML文件中建立信息节点、观看进度节点、以及情绪数据节点；在采集被测对象观看激发视频包括的每一个播放时刻的情绪表征数据后，将所述被测对象的个人信息以及所述激发视频的信息存储在所述信息节点中、将所述激发视频的播放时刻存储在所述观看进度节点中、以及将采集的所述被测对象在对应时刻的情绪表征数据存储在所述情绪数据节点中。

Description

多模态的情感数据存储方法及装置

技术领域

本公开涉及人工智能技术领域，具体地，涉及一种多模态的情感数据存储方法及装置。

背景技术

随着科学技术的不断发展，针对情感识别的研究也越来越多。例如，可以通过基于人工智能的情感计算技术来实现情感识别。情感计算技术是利用各种传感器获取由人的情感所引起的一些情感数据，通过机器学习的方式，建立情感模型，进而利用情感模型来进行情感识别。

在情感计算技术中，需要将情感数据归类进行存储，以便作为机器学习的输入数据。目前，通常采用填写量表的方式来存储采集的信号，以实现人格标注。然而，填写量表的方式需要人工参与，操作起来较为不便，且效率与准确率较为低下。

发明内容

本公开的目的是提供一种多模态的情感数据存储方法及装置，用于实现快速、便捷、以及条理化地存储情感数据。

根据本公开实施例的第一方面，提供一种多模态的情感数据存储方法，包括：

在XML(Extensible Markup Language，可扩展标记语言)文件中建立信息节点、观看进度节点、以及情绪数据节点；

在采集被测对象观看激发视频包括的每一个播放时刻的情绪表征数据后，将所述被测对象的个人信息以及所述激发视频的信息存储在所述信息节点中、将所述激发视频的播放时刻存储在所述观看进度节点中、以及将采集的所述被测对象在对应时刻的情绪表征数据存储在所述情绪数据节点中。

可选的，所述情绪数据节点包括皮电数据节点，将采集的所述被测对象在对应时刻的情绪表征数据存储在所述情绪数据节点中，包括：

将采集的所述被测对象在对应时刻的多组皮肤电阻数据存储在所述皮电数据节点中。

可选的，所述情绪数据节点包括脉搏数据节点，将采集的所述被测对象在对应时刻的情绪表征数据存储在所述情绪数据节点中，包括：

将采集的所述被测对象在对应时刻的多组脉搏数据存储在所述脉搏数据节点中。

可选的，所述情绪数据节点包括情感状况节点，将采集的所述被测对象在对应时刻的情绪表征数据存储在所述情绪数据节点中，包括：

将采集的所述被测对象在对应时刻标记的情感状态存储在所述情感状况节点中。

可选的，将所述被测对象的个人信息以及所述激发视频的信息存储在所述信息节点中，包括：

将所述激发视频的名称存储在所述信息节点的视频名字子节点中；

将所述激发视频的时间长度存储在所述信息节点的视频时长子节点中；

将观看所述激发视频的起始时间存储在所述信息节点的起始时间子节点中；

将所述被测对象的个人信息存储在所述信息节点的个人信息子节点中。

可选的，所述方法还包括：

通过人格测试系统向所述被测对象输出人格测试题目，以获取所述被测对象的人格信息；

将所述人格信息存储在所述信息节点的人格子节点中。

可选的，所述方法还包括：

在所述XML文件中建立时间节点；

将测试的时间信息存储在所述时间节点中。

根据本公开实施例的第二方面，提供一种多模态的情感数据存储装置，包括：

节点建立模块，用于在XML文件中建立信息节点、观看进度节点、以及情绪数据节点；

存储模块，用于在采集被测对象观看激发视频包括的每一个播放时刻的情绪表征数据后，将所述被测对象的个人信息以及所述激发视频的信息存储在所述信息节点中、将所述激发视频的播放时刻存储在所述观看进度节点中、以及将采集的所述被测对象在对应时刻的情绪表征数据存储在所述情绪数据节点中。

可选的，所述情绪数据节点包括皮电数据节点、脉搏数据节点、及情感状况节点中的至少一者，所述存储模块用于：

将采集的所述被测对象在对应时刻的多组皮肤电阻数据存储在所述皮电数据节点中；

将采集的所述被测对象在对应时刻的多组脉搏数据存储在所述脉搏数据节点中；

将采集的所述被测对象在对应时刻标记的情感状态存储在所述情感状况节点中。

可选的，所述存储模块用于：

将所述激发视频的名称存储在所述信息节点的视频名字子节点中；

将所述激发视频的时间长度存储在所述信息节点的视频时长子节点中；

将观看所述激发视频的起始时间存储在所述信息节点的起始时间子节点中；

将所述被测对象的个人信息存储在所述信息节点的个人信息子节点中。

本公开中，可以在XML文件中建立建立信息节点、观看进度节点、以及情绪数据节点；在采集被测对象观看激发视频包括的每一个播放时刻的情绪表征数据后，将被测对象的个人信息以及激发视频的信息存储在信息节点中、将激发视频的播放时刻存储在观看进度节点中、以及将采集的被测对象在对应时刻的情绪表征数据存储在情绪数据节点中。通过上述技术方案，可以实现对用于情感识别所采集的学习数据(即情感数据)进行条理化地存储，从而高效便捷地实现对被测对象的多模态情感数据的性格标注。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1是根据一示例性实施例示出的一种多模态的情感数据存储方法的流程图；

图2是根据一示例性实施例示出的XML文件存储信息示意图；

图3是根据一示例性实施例示出的一种多模态的情感数据存储装置的框图。

具体实施方式

以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。

首先，对情感数据的收集进行说明。例如，可以收集多个被测对象观看激发视频所产生的情感数据，针对每个要收集情感数据的被测对象，会采集该被测对象的身份注册信息(比如包括名字、年龄、性别等等信息)，然后向该被测对象依次播放预先准备好的不同情感类型的激发视频时，播放的同时会实时获取该被测对象在观看每个激发视频时的情绪表征数据(比如包括脉搏数据、皮肤电阻数据、被测对象针对播放的视频进行的情感标记或评分等数据)，同时还可以采集被测对象观看激发视频时的图像数据和视频数据，等等。

在收集情感数据后，为了在后期能够更好地进行机器学习，本公开提出一种较好的情感数据存储方法，能够条理化、多通道地存储情感数据。以下将对本公开提供的存储情感数据的方式进行说明。

图1是根据一示例性实施例示出的一种多模态的情感数据存储方法的流程图，如图1所示，该多模态的情感数据存储方法可以应用于计算机中，包括以下步骤。

步骤S11：在XML文件中建立信息节点、观看进度节点、以及情绪数据节点。

步骤S12：在采集被测对象观看激发视频包括的每一个播放时刻的情绪表征数据后，将被测对象的个人信息以及激发视频的信息存储在信息节点中、将激发视频的播放时刻存储在观看进度节点中、以及将采集的被测对象在对应时刻的情绪表征数据存储在情绪数据节点中。

被测对象也就是收集情感数据的试验对象，情感数据比如可以包括给被测对象播放各种情感的激发视频，然后收集的被测对象在观看激发视频时的脉搏数据、皮肤电阻数据等生理数据，还可以包括被测对象的人格数据，还可以包括被测对象给激发视频进行的情感标注或评分数据等等。

针对收集的情感数据，本公开采用在XML文件中建立节点的方式来存储情感数据。收集的情绪表征数据是与播放的激发视频的每一个时刻相对应的，也即是说，在XML文件中，每个激发视频的每一个播放时刻(比如每一秒种)均会对应有一组数据，该组数据中存储有被测对象的个人信息、激发视频的信息、以及这一秒钟采集的被测对象的情绪表征数据。

通过本公开的情感数据存储方式，在XML文件的节点设定好之后，便可实现情感数据自动地条理化存储，无需人工填表操作，提高了数据存储的效率和准确率。

可选的，情绪数据节点包括皮电数据节点，那么将采集的被测对象在对应时刻的情绪表征数据存储在情绪数据节点中，包括：将采集的被测对象在对应时刻的多组皮肤电阻数据存储在皮电数据节点中。

每一时刻，比如激发视频播放的每一秒种，会通过传感器采集被测对象的多组皮肤电阻数据，比如一秒钟采集140组皮肤电阻数据，然后将这140组皮肤电阻数据存储在该时刻对应的皮电数据节点中，从而将皮肤电阻数据与被测对象、激发视频、以及激发视频的播放时刻相关联，有利于后期较为准确地利用情感数据进行机器学习。

可选的，情绪数据节点包括脉搏数据节点，那么将采集的被测对象在对应时刻的情绪表征数据存储在情绪数据节点中，包括：将采集的被测对象在对应时刻的多组脉搏数据存储在脉搏数据节点中。

同样的，激发视频播放的每一秒钟，会通过传感器采集被测对象的多组脉搏数据，比如一秒钟采集140数据，然后将这140组脉搏数据存储在该时刻对应的脉搏数据节点中，从而将脉搏数据与被测对象、激发视频、以及激发视频的播放时刻相关联，有利于后期较为准确地利用情感数据进行机器学习。

可选的，情绪数据节点包括情感状况节点，那么将采集的被测对象在对应时刻的情绪表征数据存储在情绪数据节点中，包括：将采集的被测对象在对应时刻标记的情感状态存储在情感状况节点中。

被测对象在观看激发视频时，可以对每一秒的激发视频进行情感状态的标记或评分，标记比如可以按照悲伤、愤怒、高兴、惊奇、恐惧、厌恶等情绪进行标记。评分可以是针对不同情绪进行低、中、高、无四种等级的评分，或者按照满分100分进行打分。那么可以将被测对象进行的标记或评分存储在对应时刻的情感状况节点中，从而将标记的情感状态与被测对象、激发视频、以及激发视频的播放时刻相关联，有利于后期较为准确地利用情感数据进行机器学习。

可选的，还可以通过人格测试系统向被测对象输出人格测试题目，以获取被测对象的人格信息，然后将人格信息存储在信息节点的人格子节点中。

可以对被测对象的大五人格进行测试，确定该待测人员的性格信息为开放性性格、责任心性格、外倾性性格、宜人性性格、及神经质性格中的哪一种，然后存储到人格子节点中，从而将情感数据中的人格信息与其他信息关联起来。

可选的，还可以在XML文件中建立时间节点，将测试的时间信息存储在时间节点中。比如，将播放视频时的北京时间记录在时间节点中，有利于将时间信息与其他的信息进行关联。

可选的，将被测对象的个人信息以及激发视频的信息存储在信息节点中，包括：将激发视频的名称存储在信息节点的视频名字子节点中；将激发视频的时间长度存储在信息节点的视频时长子节点中；将观看激发视频的起始时间存储在信息节点的起始时间子节点中；将被测对象的个人信息存储在信息节点的个人信息子节点中。这样便可以将播放的激发视频的名称、视频时长、观看起始时间、被测对象的个人信息，等等数据与情感数据进行关联，从而实现信息的标记。

为了更好地阐明本公开的技术方案，以下将通过完整的实施例进行说明。

如图2所示的XML文件存储示意，以播放的激发视频总时长为18秒为例，每一秒都对应有一组数据，图2示意了第2、3、4、5秒分别对应的4组数据。

在每组数据中，INFO节点(信息节点)下有用于存储激发视频的时间长度的Film_time子节点(视频时长子节点)、用于存储观看该激发视频的起始时间的Start_time子节点(起始时间子节点)、用于存储激发视频名字的Film_name子节点(视频名字子节点)、用于存储被测对象个人信息的Person_info子节点(个人信息子节点)。图2以人格信息存储在Person_info子节点中为例，比如每组数据中个人信息末尾的信息“3333393534”即为人格信息。

SECOND_TIME节点(观看进度节点)用于存储观看视频进度时间点。

CURRTIME节点(时间节点)用于存储当前的真实时间，比如存储当前的北京时间。

PIDIAN节点(皮电数据节点)用于存储对应时间点被测对象的140组皮电数据。

MAIBO节点(脉搏数据节点)用于存储对应时间点被测对象的140组脉搏数据。

CurrFell节点(情感状况节点)用于存储对应时间点被测对象的情感状况。

请参见图3，基于同一发明构思，本公开实施例提供一种多模态的情感数据存储装置300，该装置300可以包括：

节点建立模块301，用于在XML文件中建立信息节点、观看进度节点、以及情绪数据节点；

存储模块302，用于在采集被测对象观看激发视频包括的每一个播放时刻的情绪表征数据后，将所述被测对象的个人信息以及所述激发视频的信息存储在所述信息节点中、将所述激发视频的播放时刻存储在所述观看进度节点中、以及将采集的所述被测对象在对应时刻的情绪表征数据存储在所述情绪数据节点中。

可选的，所述情绪数据节点包括皮电数据节点、脉搏数据节点、及情感状况节点中的至少一者，所述存储模块302用于：

将采集的所述被测对象在对应时刻的多组皮肤电阻数据存储在所述皮电数据节点中；

将采集的所述被测对象在对应时刻的多组脉搏数据存储在所述脉搏数据节点中；

将采集的所述被测对象在对应时刻标记的情感状态存储在所述情感状况节点中。

可选的，所述存储模块302用于：

将所述激发视频的名称存储在所述信息节点的视频名字子节点中；

将所述激发视频的时间长度存储在所述信息节点的视频时长子节点中；

将观看所述激发视频的起始时间存储在所述信息节点的起始时间子节点中；

将所述被测对象的个人信息存储在所述信息节点的个人信息子节点中。

在本公开所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个非临时性计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随机存取存储器)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以对本公开的技术方案进行了详细介绍，但以上实施例的说明只是用于帮助理解本公开的方法及其核心思想，不应理解为对本公开的限制。本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本公开的保护范围之内。

Claims (10)

1.一种多模态的情感数据存储方法，其特征在于，所述方法包括：

在XML文件中建立信息节点、观看进度节点、以及情绪数据节点；

在采集被测对象观看激发视频包括的每一个播放时刻的情绪表征数据后，将所述被测对象的个人信息以及所述激发视频的信息存储在所述信息节点中、将所述激发视频的播放时刻存储在所述观看进度节点中、以及将采集的所述被测对象在对应时刻的情绪表征数据存储在所述情绪数据节点中。

2.根据权利要求1所述的方法，其特征在于，所述情绪数据节点包括皮电数据节点，将采集的所述被测对象在对应时刻的情绪表征数据存储在所述情绪数据节点中，包括：

将采集的所述被测对象在对应时刻的多组皮肤电阻数据存储在所述皮电数据节点中。

3.根据权利要求1所述的方法，其特征在于，所述情绪数据节点包括脉搏数据节点，将采集的所述被测对象在对应时刻的情绪表征数据存储在所述情绪数据节点中，包括：

将采集的所述被测对象在对应时刻的多组脉搏数据存储在所述脉搏数据节点中。

4.根据权利要求1所述的方法，其特征在于，所述情绪数据节点包括情感状况节点，将采集的所述被测对象在对应时刻的情绪表征数据存储在所述情绪数据节点中，包括：

将采集的所述被测对象在对应时刻标记的情感状态存储在所述情感状况节点中。

5.根据权利要求1所述的方法，其特征在于，将所述被测对象的个人信息以及所述激发视频的信息存储在所述信息节点中，包括：

将所述激发视频的名称存储在所述信息节点的视频名字子节点中；

将所述激发视频的时间长度存储在所述信息节点的视频时长子节点中；

将观看所述激发视频的起始时间存储在所述信息节点的起始时间子节点中；

将所述被测对象的个人信息存储在所述信息节点的个人信息子节点中。

6.根据权利要求1-5任一所述的方法，其特征在于，所述方法还包括：

通过人格测试系统向所述被测对象输出人格测试题目，以获取所述被测对象的人格信息；

将所述人格信息存储在所述信息节点的人格子节点中。

7.根据权利要求1-5任一所述的方法，其特征在于，所述方法还包括：

在所述XML文件中建立时间节点；

将测试的时间信息存储在所述时间节点中。

8.一种多模态的情感数据存储装置，其特征在于，所述装置包括：

节点建立模块，用于在XML文件中建立信息节点、观看进度节点、以及情绪数据节点；

存储模块，用于在采集被测对象观看激发视频包括的每一个播放时刻的情绪表征数据后，将所述被测对象的个人信息以及所述激发视频的信息存储在所述信息节点中、将所述激发视频的播放时刻存储在所述观看进度节点中、以及将采集的所述被测对象在对应时刻的情绪表征数据存储在所述情绪数据节点中。

9.根据权利要求8所述的装置，其特征在于，所述情绪数据节点包括皮电数据节点、脉搏数据节点、及情感状况节点中的至少一者，所述存储模块用于：

将采集的所述被测对象在对应时刻的多组皮肤电阻数据存储在所述皮电数据节点中；

将采集的所述被测对象在对应时刻的多组脉搏数据存储在所述脉搏数据节点中；

将采集的所述被测对象在对应时刻标记的情感状态存储在所述情感状况节点中。

10.根据权利要求8所述的装置，其特征在于，所述存储模块用于：

将所述激发视频的名称存储在所述信息节点的视频名字子节点中；

将所述激发视频的时间长度存储在所述信息节点的视频时长子节点中；

将观看所述激发视频的起始时间存储在所述信息节点的起始时间子节点中；

将所述被测对象的个人信息存储在所述信息节点的个人信息子节点中。