CN108646914A - 一种多模态的情感数据收集方法及装置 - Google Patents
一种多模态的情感数据收集方法及装置 Download PDFInfo
- Publication number
- CN108646914A CN108646914A CN201810395071.4A CN201810395071A CN108646914A CN 108646914 A CN108646914 A CN 108646914A CN 201810395071 A CN201810395071 A CN 201810395071A CN 108646914 A CN108646914 A CN 108646914A
- Authority
- CN
- China
- Prior art keywords
- measured
- personnel
- data
- video
- personality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本公开公开了一种多模态的情感数据收集方法及装置，能够较好得收集用于建立情感识别模型的情感数据，有利于提升情感识别的准确度。所述方法包括：针对每个待测人员，采集该待测人员的身份注册信息；通过性格测试系统获取该待测人员的性格信息；向该待测人员依次播放不同情感类型的激发视频；实时获取该待测人员在观看每个激发视频时的情绪表征数据，并标记与播放的激发视频的播放时刻相对应的时间戳；将所述身份注册信息、所述性格信息、及所述情绪波动数据进行关联并存储。
Description
技术领域
本公开涉及人工智能技术领域，具体地，涉及一种多模态的情感数据收集方法及装置。
背景技术
随着科学技术的不断发展，针对情感识别的研究也越来越多。
目前，可以通过基于人工智能的情感计算技术来实现情感识别。情感计算技术是利用各种传感器获取由人的情感所引起的一些生理信号，通过机器学习的方式，建立情感模型，进而利用情感模型来进行情感识别。
对于机器学习的过程而言，获取训练所需的情感数据是至关重要的步骤，也是影响最终得到的情感模型识别情感准确度的关键。
发明内容
本公开的目的是提供一种多模态的情感数据收集方法及装置，能够较好得收集用于建立情感识别模型的情感数据，有利于提升情感识别的准确度。
根据本公开实施例的第一方面，提供一种多模态的情感数据收集方法，包括：
针对每个待测人员，采集该待测人员的身份注册信息；
通过性格测试系统获取该待测人员的性格信息；
向该待测人员依次播放不同情感类型的激发视频；
实时获取该待测人员在观看每个激发视频时的情绪表征数据，并标记与播放的激发视频的播放时刻相对应的时间戳；
将所述身份注册信息、所述性格信息、及所述情绪波动数据进行关联并存储。
可选的，所述情绪表征数据包括脉搏数据、皮肤电阻数据、该待测人员观看激发视频时录制的视频数据、该待测人员观看激发视频时拍摄的图像数据、该待测人员对各激发视频或激发视频中的各视频段做出的标记评分数据、及该待测人员对各激发视频做出的语音评价数据中的至少一者。
可选的，所述方法还包括：
针对每个待测人员，创建存储有该待测人员的身份注册信息及性格信息的文件夹；
针对每个激发视频，创建存储有已注册的各待测人员的身份注册信息及性格信息的文件夹；
将所述身份注册信息、所述性格信息、及所述情绪波动数据进行关联并存储，包括：
将携带有时间戳的所述脉搏数据、所述皮肤电阻数据、所述标记评分数据存储在该待测人员文件夹下的XML文件中，以及将携带有时间戳的所述视频数据、所述图像数据、所述语音评价数据存储在该待测人员文件夹下相应的媒体类文件中；和/或，
将携带有时间戳的所述脉搏数据、所述皮肤电阻数据、所述标记评分数据存储在相应激发视频文件夹下的XML文件中，以及将携带有时间戳的所述视频数据、所述图像数据、所述语音评价数据存储在相应激发视频文件夹下的媒体类文件中。
可选的，通过性格测试系统获取该待测人员的性格信息，包括：
通过所述性格测试系统向该待测人员输出性格测试题目；
根据该待测人员针对所述性格测试题目答复的信息，确定该待测人员的性格信息为开放性性格、责任心性格、外倾性性格、宜人性性格、及神经质性格中的一种。
可选的，向该待测人员播放的激发视频中，属于同一情感类型的激发视频至少包括两个。
根据本公开实施例的第二方面，提供一种多模态的情感数据收集装置，包括：
注册模块，用于针对每个待测人员，采集该待测人员的身份注册信息；
性格测试模块，用于通过性格测试系统获取该待测人员的性格信息；
播放模块，用于向该待测人员依次播放不同情感类型的激发视频；
数据采集模块，用于实时获取该待测人员在观看每个激发视频时的情绪表征数据，并标记与播放的激发视频的播放时刻相对应的时间戳；
存储模块，用于将所述身份注册信息、所述性格信息、及所述情绪波动数据进行关联并存储。
可选的，所述数据采集模块包括：
脉搏采集模块，用于采集该待测人员的脉搏数据；
皮肤电阻采集模块，用于采集该待测人员的皮肤电阻数据；
多媒体采集模块，用于采集该待测人员观看激发视频时录制的视频数据，以及该待测人员观看激发视频时拍摄的图像数据；
评分标记模块，用于采集该待测人员对各激发视频或激发视频中的各视频段做出的标记评分数据；
语音采集模块，用于采集该待测人员对各激发视频做出的语音评价数据。
可选的，所述装置还包括：
文件夹创建模块，用于针对每个待测人员，创建存储有该待测人员的身份注册信息及性格信息的文件夹；及，针对每个激发视频，创建存储有已注册的各待测人员的身份注册信息及性格信息的文件夹；
所述存储模块用于将携带有时间戳的所述脉搏数据、所述皮肤电阻数据、所述标记评分数据存储在该待测人员文件夹下的XML文件中，以及将携带有时间戳的所述视频数据、所述图像数据、所述语音评价数据存储在该待测人员文件夹下相应的媒体类文件中；和/或，
将携带有时间戳的所述脉搏数据、所述皮肤电阻数据、所述标记评分数据存储在相应激发视频文件夹下的XML文件中，以及将携带有时间戳的所述视频数据、所述图像数据、所述语音评价数据存储在相应激发视频文件夹下的媒体类文件中。
可选的，所述性格测试模块用于：
通过所述性格测试系统向该待测人员输出性格测试题目；
根据该待测人员针对所述性格测试题目答复的信息，确定该待测人员的性格信息为开放性性格、责任心性格、外倾性性格、宜人性性格、及神经质性格中的一种。
可选的，所述播放模块向该待测人员播放的激发视频中，属于同一情感类型的激发视频至少包括两个。
根据本公开实施例的第三方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由计算机的处理器执行时，使得该计算机能够执行第一方面所述的任一方法。
本公开实施例中，针对每个要收集情感数据的待测人员，会采集该待测人员的身份注册信息，然后通过性格测试系统获取该待测人员的性格信息。向该待测人员依次播放不同情感类型的激发视频时，会实时获取该待测人员在观看每个激发视频时的情绪表征数据，并标记与播放的激发视频的播放时刻相对应的时间戳，最后会将所述身份注册信息、所述性格信息、及所述情绪波动数据进行关联并存储。通过这样的方式，每个待测人员的身份注册信息、性格信息、及采集的情绪波动数据是关联的，数据的存储具有条理性，这样的存储方式有利于进一步更好地进行机器学习，另一方面，存储的情绪表征数据标记有时间戳，采集的数据能够与激发视频的内容进行同步匹配对应，有利于进行实时的情感分析，另一方面，采集了待测对象的性格信息还有情绪波动数据，实现了多模态的情感数据的采集。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是根据一示例性实施例示出的一种多模态的情感数据收集方法的流程图；
图2是根据一示例性实施例示出的一种多模态的情感数据收集装置的框图；
图3是根据一示例性实施例示出的一种多模态的情感数据收集装置的另一框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。
图1是根据一示例性实施例示出的一种情感数据收集方法的流程图，如图1所示，该情感数据收集方法可以应用于计算机中，包括以下步骤。
步骤S11：针对每个待测人员，采集该待测人员的身份注册信息。
待测人员也就是收集情感数据的试验对象，可以根据需要来设定人数，比如随机选取300个不同行业的人员作为试验对象，等等。收集的多个待测人员的情感数据，可以作为用来构建情感识别模型的训练数据，从而进行情感识别、人格预测、情感分类等。
对每个待测人员，会进行身份注册信息的采集，也就是由待测人员进行注册，需要填写的身份注册信息比如包括姓名、性别、年龄、身高、体重、测试次数、联系方式等。身份注册信息的采集有利于后续将采集的数据与对应的待测人员进行关联存储，实现数据条理化存储。
步骤S12：通过性格测试系统获取该待测人员的性格信息。
可选的，可以是先通过所述性格测试系统向该待测人员输出性格测试题目，然后根据该待测人员针对所述性格测试题目答复的信息，确定该待测人员的性格信息为开放性性格、责任心性格、外倾性性格、宜人性性格、及神经质性格中的一种。
即，可以对待测人员的大五人格进行测试，有利于构建能够进行人格测试的情感模型。
步骤S13：向该待测人员依次播放不同情感类型的激发视频。
激发视频可以是预先选取的情感类型突出的视频选段，比如可以有高兴、惊奇、厌恶、悲伤、恐怖、愤怒等等不同情感类型的激发视频。当然在依次播放不同情感类型的激发视频时，可以在每两段激发视频之间播放轻音乐作为情绪缓和的过渡。
可选的，为了提高收集的数据的可靠性，向该待测人员播放的激发视频中，属于同一情感类型的激发视频至少包括两个。
例如，每个类型的激发视频为三个，通过广泛的调查问卷、遴选出18个公认效果好的激发视频，按照以下顺序向待测人员播放：高兴激发视频1→轻音乐过渡视频→惊奇激发视频视频1→轻音乐过渡视频→厌恶激发视频1→轻音乐过渡视频→恐怖激发视频1→轻音乐过渡视频→悲伤激发视频1→轻音乐过渡视频→愤怒激发视频1→轻音乐过渡视频→高兴激发视频2→轻音乐过渡视频→惊奇激发视频视频2→轻音乐过渡视频→厌恶激发视频2→轻音乐过渡视频→恐怖激发视频2→轻音乐过渡视频→悲伤激发视频2→轻音乐过渡视频→愤怒激发视频2→轻音乐过渡视频→高兴激发视频3→轻音乐过渡视频→惊奇激发视频视频3→轻音乐过渡视频→厌恶激发视频3→轻音乐过渡视频→恐怖激发视频3→轻音乐过渡视频→悲伤激发视频3→轻音乐过渡视频→愤怒激发视频3。
步骤S14：实时获取该待测人员在观看每个激发视频时的情绪表征数据，并标记与播放的激发视频的播放时刻相对应的时间戳。
可选的，所述情绪表征数据包括脉搏数据、皮肤电阻数据、该待测人员观看激发视频时录制的视频数据、该待测人员观看激发视频时拍摄的图像数据、该待测人员对各激发视频或激发视频中的各视频段做出的标记评分数据、及该待测人员对各激发视频做出的语音评价数据中的至少一者。以下对可能的获取情绪表征数据的方式进行说明。
1、待测人员在观看激发视频时，将携带有红外脉搏传感器，进而能够实时获取待测人员在观看各激发视频的每一时刻的脉搏数据和皮肤电阻数据，并标记上与激发视频的播放时刻相对应的时间戳。
2、待测人员在观看激发视频时，还会通过调用摄像头实时录取待测人员测试时的视频数据和图像数据，并标记时间戳。
3、待测人员在观看激发视频时，可以对激发视频进行标记和评分，从而获取标记评分数据。比如可以在激发视频播放过程中，对每一秒进行标记和评分，或者也可以在每一段激发视频播放完成后，对该激发视频进行标记和评分。标记比如可以按照悲伤、愤怒、高兴、惊奇、恐惧、厌恶等情绪进行标记。评分可以是针对不同情绪进行低、中、高、无四种等级的评分，或者按照满分100分进行打分。
4、待测人员每观看完一个激发视频后，可以通过麦克风录制待测人员对该段激发视频做出的语音评价数据，另外，还可以让待测人员读一段预设的文字，通过麦克风进行录制。
通过以上方式，可以较好的获取被测对象的大五人格测试数据(即性格信息)、脉搏数据、皮肤电阻数据、视频数据、语音数据、图像数据、标记评分数据等多模态的情感数据，其中既有生理数据，也有非生理数据，有利于在进行机器学习或深度学习之后，获得能够较为准确预测情感的情感模型。
步骤S15：将所述身份注册信息、所述性格信息、及所述情绪波动数据进行关联并存储。
可选的，针对每个待测人员，创建存储有该待测人员的身份注册信息及性格信息的文件夹；针对每个激发视频，创建存储有已注册的各待测人员的身份注册信息及性格信息的文件夹。那么可以将携带有时间戳的所述脉搏数据、所述皮肤电阻数据、所述标记评分数据存储在该待测人员文件夹下的XML文件中，以及将携带有时间戳的所述视频数据、所述图像数据、所述语音评价数据存储在该待测人员文件夹下相应的媒体类文件中；和/或，将携带有时间戳的所述脉搏数据、所述皮肤电阻数据、所述标记评分数据存储在相应激发视频文件夹下的XML文件中，以及将携带有时间戳的所述视频数据、所述图像数据、所述语音评价数据存储在相应激发视频文件夹下的媒体类文件中。
也即是说，本公开实施例中，对于采集的多模态的情感数据，会进行条理化地存储，条理化体现在以上数据都存储在对应的待测人员的对应激发视频的文件夹中，同时有时间戳的脉搏数据、皮肤电阻数据、视频数据、图像数据、评分数据又能与激发视频的时间进行一一对应。
标有时间戳的脉搏数据、皮肤电阻数据和标记评分数据会分别保存在待测人员的文件夹下的XML文件中和激发素材对应的文件夹的XML中，以便后期进行人格分析、情感分类、或情感识别时处理方便。标有时间戳的视频数据、图像数据、语音评价数据会保存在被测对象的文件夹中和激发素材对应的媒体类文件夹中。
本公开实施例中，针对每个要收集情感数据的待测人员，会采集该待测人员的身份注册信息，然后通过性格测试系统获取该待测人员的性格信息。向该待测人员依次播放不同情感类型的激发视频时，会实时获取该待测人员在观看每个激发视频时的情绪表征数据，并标记与播放的激发视频的播放时刻相对应的时间戳，最后会将所述身份注册信息、所述性格信息、及所述情绪波动数据进行关联并存储。通过这样的方式，每个待测人员的身份注册信息、性格信息、及采集的情绪波动数据是关联的，数据的存储具有条理性，这样的存储方式有利于进一步更好地进行机器学习，另一方面，存储的情绪表征数据标记有时间戳，采集的数据能够与激发视频的内容进行同步匹配对应，有利于进行实时的情感分析另一方面，采集了待测对象的性格信息还有情绪波动数据，实现了多模态的情感数据的采集。
请参见图2，基于同一发明构思，本公开实施例提供一种多模态的情感数据收集装置200，该装置200可以包括：
注册模块201，用于针对每个待测人员，采集该待测人员的身份注册信息；
性格测试模块202，用于通过性格测试系统获取该待测人员的性格信息；
播放模块203，用于向该待测人员依次播放不同情感类型的激发视频；
数据采集模块204，用于实时获取该待测人员在观看每个激发视频时的情绪表征数据，并标记与播放的激发视频的播放时刻相对应的时间戳；
存储模块205，用于将所述身份注册信息、所述性格信息、及所述情绪波动数据进行关联并存储。
可选的，请参见图3所述数据采集模块204包括：
脉搏采集模块301，用于采集该待测人员的脉搏数据；
皮肤电阻采集模块302，用于采集该待测人员的皮肤电阻数据；
多媒体采集模块303，用于采集该待测人员观看激发视频时录制的视频数据，以及该待测人员观看激发视频时拍摄的图像数据；
评分标记模块304，用于采集该待测人员对各激发视频或激发视频中的各视频段做出的标记评分数据；
语音采集模块305，用于采集该待测人员对各激发视频做出的语音评价数据。
可选的，所述装置200还包括：
文件夹创建模块，用于针对每个待测人员，创建存储有该待测人员的身份注册信息及性格信息的文件夹；及，针对每个激发视频，创建存储有已注册的各待测人员的身份注册信息及性格信息的文件夹；
所述存储模块205用于将携带有时间戳的所述脉搏数据、所述皮肤电阻数据、所述标记评分数据存储在该待测人员文件夹下的XML文件中，以及将携带有时间戳的所述视频数据、所述图像数据、所述语音评价数据存储在该待测人员文件夹下相应的媒体类文件中；和/或，
将携带有时间戳的所述脉搏数据、所述皮肤电阻数据、所述标记评分数据存储在相应激发视频文件夹下的XML文件中，以及将携带有时间戳的所述视频数据、所述图像数据、所述语音评价数据存储在相应激发视频文件夹下的媒体类文件中。
可选的，所述性格测试模块202用于：
通过所述性格测试系统向该待测人员输出性格测试题目；
根据该待测人员针对所述性格测试题目答复的信息，确定该待测人员的性格信息为开放性性格、责任心性格、外倾性性格、宜人性性格、及神经质性格中的一种。
可选的，所述播放模块向该待测人员播放的激发视频中，属于同一情感类型的激发视频至少包括两个。
在本公开所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM(Read-OnlyMemory，只读存储器)、RAM(RandomAccess Memory，随机存取存储器)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以对本公开的技术方案进行了详细介绍，但以上实施例的说明只是用于帮助理解本公开的方法及其核心思想，不应理解为对本公开的限制。本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本公开的保护范围之内。
Claims (10)
1.一种多模态的情感数据收集方法，其特征在于，所述方法包括：
针对每个待测人员，采集该待测人员的身份注册信息；
通过性格测试系统获取该待测人员的性格信息；
向该待测人员依次播放不同情感类型的激发视频；
实时获取该待测人员在观看每个激发视频时的情绪表征数据，并标记与播放的激发视频的播放时刻相对应的时间戳；
将所述身份注册信息、所述性格信息、及所述情绪波动数据进行关联并存储。
2.根据权利要求1所述的方法，其特征在于，所述情绪表征数据包括脉搏数据、皮肤电阻数据、该待测人员观看激发视频时录制的视频数据、该待测人员观看激发视频时拍摄的图像数据、该待测人员对各激发视频或激发视频中的各视频段做出的标记评分数据、及该待测人员对各激发视频做出的语音评价数据中的至少一者。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
针对每个待测人员，创建存储有该待测人员的身份注册信息及性格信息的文件夹；
针对每个激发视频，创建存储有已注册的各待测人员的身份注册信息及性格信息的文件夹；
将所述身份注册信息、所述性格信息、及所述情绪波动数据进行关联并存储，包括：
将携带有时间戳的所述脉搏数据、所述皮肤电阻数据、所述标记评分数据存储在该待测人员文件夹下的XML文件中，以及将携带有时间戳的所述视频数据、所述图像数据、所述语音评价数据存储在该待测人员文件夹下相应的媒体类文件中；和/或，
将携带有时间戳的所述脉搏数据、所述皮肤电阻数据、所述标记评分数据存储在相应激发视频文件夹下的XML文件中，以及将携带有时间戳的所述视频数据、所述图像数据、所述语音评价数据存储在相应激发视频文件夹下的媒体类文件中。
4.根据权利要求1所述的方法，其特征在于，通过性格测试系统获取该待测人员的性格信息，包括：
通过所述性格测试系统向该待测人员输出性格测试题目；
根据该待测人员针对所述性格测试题目答复的信息，确定该待测人员的性格信息为开放性性格、责任心性格、外倾性性格、宜人性性格、及神经质性格中的一种。
5.根据权利要求1-4任一所述的方法，其特征在于，向该待测人员播放的激发视频中，属于同一情感类型的激发视频至少包括两个。
6.一种多模态的情感数据收集装置，其特征在于，所述装置包括：
注册模块，用于针对每个待测人员，采集该待测人员的身份注册信息；
性格测试模块，用于通过性格测试系统获取该待测人员的性格信息；
播放模块，用于向该待测人员依次播放不同情感类型的激发视频；
数据采集模块，用于实时获取该待测人员在观看每个激发视频时的情绪表征数据，并标记与播放的激发视频的播放时刻相对应的时间戳；
存储模块，用于将所述身份注册信息、所述性格信息、及所述情绪波动数据进行关联并存储。
7.根据权利要求6所述的装置，其特征在于，所述数据采集模块包括：
脉搏采集模块，用于采集该待测人员的脉搏数据；
皮肤电阻采集模块，用于采集该待测人员的皮肤电阻数据；
多媒体采集模块，用于采集该待测人员观看激发视频时录制的视频数据，以及该待测人员观看激发视频时拍摄的图像数据；
评分标记模块，用于采集该待测人员对各激发视频或激发视频中的各视频段做出的标记评分数据；
语音采集模块，用于采集该待测人员对各激发视频做出的语音评价数据。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
文件夹创建模块，用于针对每个待测人员，创建存储有该待测人员的身份注册信息及性格信息的文件夹；及，针对每个激发视频，创建存储有已注册的各待测人员的身份注册信息及性格信息的文件夹；
所述存储模块用于将携带有时间戳的所述脉搏数据、所述皮肤电阻数据、所述标记评分数据存储在该待测人员文件夹下的XML文件中，以及将携带有时间戳的所述视频数据、所述图像数据、所述语音评价数据存储在该待测人员文件夹下相应的媒体类文件中；和/或，
将携带有时间戳的所述脉搏数据、所述皮肤电阻数据、所述标记评分数据存储在相应激发视频文件夹下的XML文件中，以及将携带有时间戳的所述视频数据、所述图像数据、所述语音评价数据存储在相应激发视频文件夹下的媒体类文件中。
9.根据权利要求6所述的装置，其特征在于，所述性格测试模块用于：
通过所述性格测试系统向该待测人员输出性格测试题目；
根据该待测人员针对所述性格测试题目答复的信息，确定该待测人员的性格信息为开放性性格、责任心性格、外倾性性格、宜人性性格、及神经质性格中的一种。
10.根据权利要求6-9任一所述的装置，其特征在于，所述播放模块向该待测人员播放的激发视频中，属于同一情感类型的激发视频至少包括两个。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810395071.4A CN108646914A (zh) | 2018-04-27 | 2018-04-27 | 一种多模态的情感数据收集方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810395071.4A CN108646914A (zh) | 2018-04-27 | 2018-04-27 | 一种多模态的情感数据收集方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108646914A true CN108646914A (zh) | 2018-10-12 |
Family
ID=63748094
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810395071.4A Pending CN108646914A (zh) | 2018-04-27 | 2018-04-27 | 一种多模态的情感数据收集方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108646914A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109683840A (zh) * | 2018-12-25 | 2019-04-26 | 北京心法科技有限公司 | 复合性认知信息加工机制的激发方法与装置 |
| CN110321440A (zh) * | 2019-06-12 | 2019-10-11 | 汕头大学 | 一种基于情绪状态及情绪变化的人格评估方法及系统 |
| CN111026265A (zh) * | 2019-11-29 | 2020-04-17 | 华南理工大学 | 一种基于vr场景视频的情绪标签连续标注系统及方法 |
| CN113806476A (zh) * | 2021-07-28 | 2021-12-17 | 合肥工业大学 | 综合用户人格特征和社交关系的用户情绪分析方法和系统 |
| CN117076957A (zh) * | 2023-10-16 | 2023-11-17 | 湖南智警公共安全技术研究院有限公司 | 一种基于多模态信息的人员身份关联方法及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102293656A (zh) * | 2011-05-25 | 2011-12-28 | 四川大学华西医院 | 基于磁共振成像的情绪稳定性评价系统及其评价方法 |
| CN103339649A (zh) * | 2011-02-27 | 2013-10-02 | 阿弗科迪瓦公司 | 基于情感的视频推荐 |
| CN103714071A (zh) * | 2012-09-29 | 2014-04-09 | 株式会社日立制作所 | 标签情感倾向量化方法与系统 |
| CN103826160A (zh) * | 2014-01-09 | 2014-05-28 | 广州三星通信技术研究有限公司 | 获取视频的信息的方法及设备及播放视频的方法及设备 |
| CN104055529A (zh) * | 2014-06-19 | 2014-09-24 | 西南大学 | 一种计算情感心电信号标度指数的方法 |
| CN105615902A (zh) * | 2014-11-06 | 2016-06-01 | 北京三星通信技术研究有限公司 | 情绪监控方法和装置 |
| CN106341724A (zh) * | 2016-08-29 | 2017-01-18 | 刘永娜 | 一种表情图像标注的方法和系统 |
| CN107239769A (zh) * | 2017-06-16 | 2017-10-10 | 西南大学 | 一种使用多通道信息融合的个人情感效价识别方法 |
-
2018
- 2018-04-27 CN CN201810395071.4A patent/CN108646914A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103339649A (zh) * | 2011-02-27 | 2013-10-02 | 阿弗科迪瓦公司 | 基于情感的视频推荐 |
| CN102293656A (zh) * | 2011-05-25 | 2011-12-28 | 四川大学华西医院 | 基于磁共振成像的情绪稳定性评价系统及其评价方法 |
| CN103714071A (zh) * | 2012-09-29 | 2014-04-09 | 株式会社日立制作所 | 标签情感倾向量化方法与系统 |
| CN103826160A (zh) * | 2014-01-09 | 2014-05-28 | 广州三星通信技术研究有限公司 | 获取视频的信息的方法及设备及播放视频的方法及设备 |
| CN104055529A (zh) * | 2014-06-19 | 2014-09-24 | 西南大学 | 一种计算情感心电信号标度指数的方法 |
| CN105615902A (zh) * | 2014-11-06 | 2016-06-01 | 北京三星通信技术研究有限公司 | 情绪监控方法和装置 |
| CN106341724A (zh) * | 2016-08-29 | 2017-01-18 | 刘永娜 | 一种表情图像标注的方法和系统 |
| CN107239769A (zh) * | 2017-06-16 | 2017-10-10 | 西南大学 | 一种使用多通道信息融合的个人情感效价识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| CHAO LI ET AL.: "Physiological-Based Emotion Recognition with IRS Model", 《INTERNATIONAL CONFERENCE ON SMART COMPUTING 2014》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109683840A (zh) * | 2018-12-25 | 2019-04-26 | 北京心法科技有限公司 | 复合性认知信息加工机制的激发方法与装置 |
| CN110321440A (zh) * | 2019-06-12 | 2019-10-11 | 汕头大学 | 一种基于情绪状态及情绪变化的人格评估方法及系统 |
| CN111026265A (zh) * | 2019-11-29 | 2020-04-17 | 华南理工大学 | 一种基于vr场景视频的情绪标签连续标注系统及方法 |
| CN113806476A (zh) * | 2021-07-28 | 2021-12-17 | 合肥工业大学 | 综合用户人格特征和社交关系的用户情绪分析方法和系统 |
| CN117076957A (zh) * | 2023-10-16 | 2023-11-17 | 湖南智警公共安全技术研究院有限公司 | 一种基于多模态信息的人员身份关联方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Stappen et al. | The MuSe 2021 multimodal sentiment analysis challenge: sentiment, emotion, physiological-emotion, and stress | |
| CN108646914A (zh) | 一种多模态的情感数据收集方法及装置 | |
| Jiang et al. | Detecting depression using an ensemble logistic regression model based on multiple speech features | |
| Jessen | Forensic phonetics | |
| McKechnie et al. | Automated speech analysis tools for children’s speech production: A systematic literature review | |
| Gong et al. | Vocalsound: A dataset for improving human vocal sounds recognition | |
| Koolagudi et al. | Emotion recognition from speech signal using epoch parameters | |
| Pao et al. | Mandarin emotional speech recognition based on SVM and NN | |
| WO2014061015A1 (en) | Speech affect analyzing and training | |
| CN109448851A (zh) | 一种认知评估方法及装置 | |
| Drygajlo | Automatic speaker recognition for forensic case assessment and interpretation | |
| Long et al. | Detecting depression in speech: Comparison and combination between different speech types | |
| Zakariah et al. | [Retracted] An Analytical Study of Speech Pathology Detection Based on MFCC and Deep Neural Networks | |
| Sluis et al. | An automated approach to examining pausing in the speech of people with dementia | |
| Wagner et al. | Applying cooperative machine learning to speed up the annotation of social signals in large multi-modal corpora | |
| Warule et al. | Significance of voiced and unvoiced speech segments for the detection of common cold | |
| Qadri et al. | A critical insight into multi-languages speech emotion databases | |
| Mamidisetti et al. | A stacking-based ensemble framework for automatic depression detection using audio signals | |
| Flores et al. | Depression screening using deep learning on follow-up questions in clinical interviews | |
| Jo et al. | Diagnosis of depression based on four-stream model of bi-LSTM and CNN from audio and text information | |
| Pucci et al. | Speech emotion recognition with artificial intelligence for contact tracing in the COVID‐19 pandemic | |
| Chowdhury et al. | Parameter Selection for Analyzing Conversations with Autism Spectrum Disorder | |
| Mihalache et al. | Introducing the RODeCAR database for deceptive speech detection | |
| Rao et al. | Deep learning structure for emotion prediction using MFCC from native languages | |
| Kumar et al. | Can you hear me now? Clinical applications of audio recordings |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181012 |
|
| RJ01 | Rejection of invention patent application after publication |