CN112133406A - 基于情感图谱的多模态情感引导方法和系统、存储介质 - Google Patents

Abstract

本发明提供一种基于情感图谱的多模态情感引导方法和系统、存储介质，涉及情感引导技术领域。本发明实施例采用多种情感判别方式，更加精准的识别出被引导者的实时情感，及时反馈信息，极大程度的减少了噪声和个人特征对情感判别的影响；本发明实施例中还将目标情感输入多模态情感图谱中，得到目标情感实体，并得到所述目标情感实体对应的多模态属性，所述多模态属性包括文本关键词信息、图像信息、视频信息；即利用多模态情感图谱进行情感引导，情感实体之间有强关联，不断地进行搜索找到相关刺激，比网络随机链接更精准。

Description

基于情感图谱的多模态情感引导方法和系统、存储介质

技术领域

本发明涉及情感引导技术领域，具体涉及一种基于情感图谱的多模态情感引导方法和系统、存储介质。

背景技术

随着社会的飞速发展,人们的压力也日渐增加。正因如此，人们的身心健康备受关注。在面对不良情感时，如何及时化解，成为了科研人员日益关注的话题。

目前，现有技术中的情感引导方法主要包括两类。第一，获取被引导者的对话集，进行对话干预。具体的，提取被引导者的对话集，分析被引导者的情绪序列，根据被引导者的不同情绪反应，选择最优的情绪引导策略，进行对话干预。第二，通过获取面部表情图像和生理信号等生理参数。具体的，采集被引导者的生理信号和面部表情图像，根据被引导者产生的情绪，匹配预设的情感调节策略，如视频，图片等进行情绪转移的调整。并且基于生理的情感引导方法的效果明显优于基于对话干预的引导方法。

然而，上述基于生理的多模态情感引导方法，噪声和个人特征的影响对于情感的判别相对较大，容易得到误判的情感反馈。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种基于情感图谱的多模态情感引导方法和系统、存储介质，解决了现有的基于生理的多模态情感引导方法，噪声和个人特征的影响对于情感的判别相对较大，容易得到误判的情感反馈的技术问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

一种基于情感图谱的多模态情感引导方法，包括：

S1、设定被引导者的目标情感，所述目标情感包括类型和程度两部分；

S2、将所述目标情感输入多模态情感图谱中，得到目标情感实体，并得到所述目标情感实体对应的多模态属性，所述多模态属性包括文本关键词信息、图像信息、视频信息；

S3、依据所述文本关键词信息，针对所述被引导者进行关键词对话干预，采用不同的情感识别方式，综合判断被引导者的第一实时情感；

若所述第一实时情感未达到所述目标情感的类型或程度的要求，那么执行S4，

若所述第一实时情感达到所述目标情感的类型和程度的要求，那么结束本次引导过程；

S4、依据所述图像信息，针对所述被引导者进行图像引导，采用所述情感识别方式，综合判断被引导者的第二实时情感；

若所述第二实时情感未达到所述目标情感的类型或程度的要求，那么执行S5，

若所述第二实时情感达到所述目标情感的类型和程度的要求，那么结束本次引导过程；

S5、依据所述视频信息，针对所述被引导者进行视频引导，采用所述情感识别方式，综合判断被引导者的第三实时情感；

若所述第三实时情感未达到所述目标情感的类型或程度的要求，那么结束本次引导过程；

若所述第三实时情感达到所述目标情感的类型和程度的要求，那么结束本次引导过程。

优选的，所述步骤S2中的多模态情感图谱的构建过程包括：

获取带有情感词的语料集，并对所述语料集进行预处理；

将预处理后的语料集输入情感实体识别模型中，得到情感实体；

将所述情感实体输入开源框架OpenNRE模型，得到所述情感实体之间的关系；

按照一定的规则，依次对网络中与所述情感实体相关的文本关键词信息、图像信息、视频信息进行提取，并将所述文本关键词信息、图像信息、视频信息以属性的方式链接到对应的情感实体上，得到所述情感实体的多模态属性；

依据所述情感实体，所述情感实体之间的关系和所述情感实体的多模态属性，构建多模态情感图谱。

优选的，所述对所述语料集进行预处理，具体包括：

基于公开语料集，构建情感实体语料库；

将所述情感实体语料库添加到现代汉语标注语料库中，得到新的分词模型；

依据所述新的分词模型对所述带有情感词的语料集进行分词。

优选的，所述将预处理后的语料集输入情感实体识别模型中，得到情感实体，具体包括：

将分词后的带有情感词的语料集输入预先训练好的Skip-gram词向量模型，得到词向量；

将所述词向量输入BiLSTM-CRF命名实体识别模型，得到带有情感倾向的情感实体。

优选的，所述规则包括：只将网络中搜索点击率最高的与所述情感实体相关的文本关键词信息、图像信息、视频信息的链接内容提取出来。

优选的，所述步骤S3中的情感识别方式包括：主观情感问答采集，面部表情情感判别，实时热成像情感判别。

优选的，所述目标情感的类型包括高兴、惊奇、厌恶、悲伤、愤怒、恐惧；和/或所述目标情感的程度包括有点、比较、相当。

一种基于情感图谱的多模态情感引导系统，包括：

设定目标情感模块，用于设定被引导者的目标情感，所述目标情感包括类型和程度两部分；

获取多模态属性模块，用于将所述目标情感输入多模态情感图谱中，得到目标情感实体，并得到所述目标情感实体对应的多模态属性，所述多模态属性包括文本关键词信息、图像信息、视频信息；

关键词对话干预模块，用于依据所述文本关键词信息，针对所述被引导者进行关键词对话干预，采用不同的情感识别方式，综合判断被引导者的第一实时情感；

若所述第一实时情感未达到所述目标情感的类型或程度的要求，那么执行图像引导模块，

若所述第一实时情感达到所述目标情感的类型和程度的要求，那么结束本次引导过程；

图像引导模块，用于依据所述图像信息，针对所述被引导者进行图像引导，采用所述情感识别方式，综合判断被引导者的第二实时情感；

若所述第二实时情感未达到所述目标情感的类型或程度的要求，那么执行视频引导模块，

若所述第二实时情感达到所述目标情感的类型和程度的要求，那么结束本次引导过程；

视频引导模块，用于依据所述视频信息，针对所述被引导者进行视频引导，采用所述情感识别方式，综合判断被引导者的第三实时情感；

若所述第三实时情感未达到所述目标情感的类型或程度的要求，那么结束本次引导过程；

若所述第三实时情感达到所述目标情感的类型和程度的要求，那么结束本次引导过程。

一种计算机可读存储介质，其上存储有计算机程序，其特征在于，在处理器执行所述计算机程序时可实现上述任一项所述的方法。

(三)有益效果

本发明提供了一种基于情感图谱的多模态情感引导方法和系统、存储介质。与现有技术相比，具备以下有益效果：

本发明实施例采用多种情感判别方式，更加精准的识别出被引导者的实时情感，及时反馈信息，极大程度的减少了噪声和个人特征对情感判别的影响；本发明实施例中还将目标情感输入多模态情感图谱中，得到目标情感实体，并得到所述目标情感实体对应的多模态属性，所述多模态属性包括文本关键词信息、图像信息、视频信息；即利用多模态情感图谱进行情感引导，情感实体之间有强关联，不断地进行搜索找到相关刺激，比网络随机链接更精准。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于情感图谱的多模态情感引导方法的流程框图；

图2为本发明实施例提供的一种基于情感图谱的多模态情感引导系统的结构框图；

图3为本发明实施例提供的情感实体语料库构建方法的流程图；

图4为本发明实施例提供的情感实体识别步骤流程图；

图5为本发明实施例提供的开源框架OpenNRE的框架图；

图6为本发明实施例提供的多模态情感图谱的数据模型示意图；

图7为本发明实施例提供的实验对象“图图”的部分多模态情感图谱；

图8为本发明实施例提供的不同情感状态下的热成像图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请实施例通过提供一种基于情感图谱的多模态情感引导方法，解决了现有的基于生理的多模态情感引导方法，噪声和个人特征的影响对于情感的判别相对较大，容易得到误判的情感反馈的技术问题，实现更有效地引导被引导者至目标情感的有益效果。

本申请实施例中的技术方案为解决上述技术问题，总体思路如下：

本发明实施例采用多种情感判别方式，更加精准的识别出被引导者的实时情感，及时反馈信息，极大程度的减少了噪声和个人特征对情感判别的影响；本发明实施例中还将目标情感输入多模态情感图谱中，得到目标情感实体，并得到所述目标情感实体对应的多模态属性，所述多模态属性包括文本关键词信息、图像信息、视频信息；即利用多模态情感图谱进行情感引导，情感实体之间有强关联，不断地进行搜索找到相关刺激，比网络随机链接更精准。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

实施例：

本发明实施例提供一种基于情感图谱的多模态情感引导方法，其特征在于，包括：

S1、设定被引导者的目标情感，所述目标情感包括类型和程度两部分；

S2、将所述目标情感输入多模态情感图谱中，得到目标情感实体，并得到所述目标情感实体对应的多模态属性，所述多模态属性包括文本关键词信息、图像信息、视频信息；

S3、依据所述文本关键词信息，针对所述被引导者进行关键词对话干预，采用不同的情感识别方式，综合判断被引导者的第一实时情感；

若所述第一实时情感未达到所述目标情感的类型或程度的要求，那么执行S4，

若所述第一实时情感达到所述目标情感的类型和程度的要求，那么结束本次引导过程；

S4、依据所述图像信息，针对所述被引导者进行图像引导，采用所述情感识别方式，综合判断被引导者的第二实时情感；

若所述第二实时情感未达到所述目标情感的类型或程度的要求，那么执行S5，

若所述第二实时情感达到所述目标情感的类型和程度的要求，那么结束本次引导过程；

S5、依据所述视频信息，针对所述被引导者进行视频引导，采用所述情感识别方式，综合判断被引导者的第三实时情感；

若所述第三实时情感未达到所述目标情感的类型或程度的要求，那么结束本次引导过程；

若所述第三实时情感达到所述目标情感的类型和程度的要求，那么结束本次引导过程。

本发明实施例的有益效果至少包括：本发明实施例采用多种情感判别方式，更加精准的识别出被引导者的实时情感，及时反馈信息，极大程度的减少了噪声和个人特征对情感判别的影响；利用多模态情感图谱进行情感引导，情感实体之间有强关联，不断地进行搜索找到相关刺激，比网络随机链接更精准。

具体包括：

S1、设定被引导者的目标情感，所述目标情感包括类型和程度两部分。

本发明实施例设定目标情感包括类型和程度两部分。

目标情感的类型具体包括六个类型：高兴、惊奇、厌恶、悲伤、愤怒、恐惧。

目标情感的程度具体包括三个等级：有点、比较、相当。

S2、将所述目标情感输入多模态情感图谱中，得到目标情感实体，并得到所述目标情感实体对应的多模态属性，所述多模态属性包括文本关键词信息、图像信息、视频信息。

本发明实施例中的多模态情感图谱MS-KG是一个由情感实体、文本关键词信息、图像信息、视频信息构成的多模态系统。MS-KG是针对本发明实施例多模态情感引导任务构建的，以情感实体为节点，依据情感实体之间的关系生成<情感实体,关系,情感实体>和<情感实体,属性,值>三元组，并将这些三元组存储到图数据库Neo4j中，完成多模态情感知识图谱可视化。

其中，情感实体是MS-KG中实现情感引导索引的节点，情感实体之间的关系是情感引导过程中判别依据，而情感实体不同模态的信息以属性的方式链接在情感实体上。

所述多模态情感图谱的构建过程具体包括：

S21、获取带有情感词的语料集，并对所述语料集进行预处理。

本发明实施例从微博、贴吧、豆瓣、人人网的等公众用户活跃的社交平台评论中获取公开语料集，并从所述公开语料集中选取带有情感词的语料集。

对带有情感词的语料进行预处理，具体包括：

1)、基于公开语料集，构建情感实体语料库。

由于情感实体通常是名词性的词组或短语，对获取的数据集采用如图3所示的情感实体语料库构建方法，从公开语料集中自动抽取带有情感倾向的实体作为情感实体，减少人工创建情感语料库的重复劳动。

所述情感实体语料库构建步骤具体包括：

(1)、将获取的公开语料集作为自动提取情感实体的初始语料；

(2)、分别以汉语言处理包HanLP提供的中文分词模型和词性标注模型为基础，采用平均感知机算法完成中文分词和词性标注。因为平均感知机算法是一种二分类算法，能够解决训练过程中由于学习率参数过大所引起的训练过程中出现的震荡问题；

(3)、基于哈尔滨工业大学停用词词库和词性标注结果，过滤其中包含的停用词；

(4)、情感词标注是利用知网中文情感词典进行情感词标注，筛选出带有情感词的语料库；

(5)、词频统计是指每个词在情感语料集中出现的次数，次数较高的词语是情感实体的概率较大；

(6)、采用基于互信息和左右熵的中文多词表达提取算法，从过滤掉停用词的文本分词结果中自动发现固定短语，即自动抽取固定多词表达串。

(7)对自动抽取的多词表达串进行人工调优，删除一些错误的自动抽取结果，从而得到情感实体语料库。

2)、将所述情感实体语料库添加到现代汉语标注语料库中，得到新的分词模型。

将所构建的情感实体语料库添加到现代汉语标注语料库中，通过增量训练方式训练新的分词模型和词性标注模型，提高中文分词和词性标注的精度。

3)、依据所述新的分词模型对所述带有情感词的语料集进行分词。

利用情感实体语料库增量训练的分词模型对带有情感词的语料集进行分词。

S22、将预处理后的语料集输入情感实体识别模型中，得到情感实体。

本发明实施例为了自动识别情感引导所需的情感实体，采用Skip-gram向量模型和BiLSTM-CRF命名实体识别模型进行训练。

Skip-gram向量模型是一个具有三层神经网络结构的词向量计算模型，输出的词向量可用于词语语义相似度计算、语义查询等。

BiLSTM-CRF是一个基于双向长短时记忆网络(BiLSTM)和条件随机场(CRF)构成的命名实体识别模型，利用深度神经网络提取特征，避免人工定义和提取特征的问题，包括Look-up层、BiLSTM层和CRF层。

如图4所示，本发明实施例的情感实体识别步骤，具体包括：

1)、将分词后的带有情感词的语料集输入预先训练好的Skip-gram词向量模型，得到词向量。

(1)、基于中文分词语料库，例如Sighan05分词语料、搜狗分类互联网语料库等。结合上述情感实体语料库，训练Skip-gram词向量模型；

(2)、将分词后的带有情感词的语料集输入Skip-gram词向量模型，得到情感语料文本中每个词串的词向量，并对得到的词向量利用层次Softmax算法进行归一化处理，所输出的词向量可用于词语语义相似度计算、语义查询等；

2)、将所述词向量输入BiLSTM-CRF命名实体识别模型，得到带有情感倾向的情感实体。

以Skip-gram模型预测得到的词向量表示的句子作为输入，Look-up层将每个词向量映射到低维空间，然后将低维度表示的每个词向量输入到BiLSTM层，由BiLSTM层自动提取句子特征和词特征。最后，CRF层根据所提取的特征对知识实体进行标注，输出带有情感倾向关系的情感实体。

S23、所述情感实体输入开源框架OpenNRE模型，得到所述情感实体之间的关系。

本发明实施例采用开源框架OpenNRE进行情感实体间的关系抽取，该框架是基于TensorFlow的关系抽取模型，其将关系抽取的工作流程分为四个部分,即向量化，编码器，选择器和分类器，所述选择器用于远程监控(distant supervision)。只需将情感实体识别得到的情感实体对输入，即可提取情感实体间的关系。

所述OpenNRE的框架如图5所示。

利用OpenNRE的工具包我们把不同的情感实体构建成一个个实体节点相连的复杂网络，而情感引导所需的多模态信息，如文本关键词信息、图像信息、视频信息等则以属性的方式链接到对应的情感实体上。

S24、按照一定的规则，依次对网络中与所述情感实体相关的文本关键词信息、图像信息、视频信息进行提取，并将所述文本关键词信息、图像信息、视频信息以属性的方式链接到对应的情感实体上，得到所述情感实体的多模态属性。

本发明实施例利用情感实体库中的情感实体作为关键词，一定的规则，依次对网络中与其相关的文本关键词信息、图像信息、视频信息进行提取。所述规则为默认提取网络搜索点击率最高的一个链接内容。具体包括：

1)、新建采集任务：复制所需采集数据的搜索网址，在软件上新建采集任务，对任务指标进行设置，如选择任务创建的分组、名称、网址导入方式。此处的导入方式支持手动输入多个网址、从本地文件中导入网址及批量生成网址。

2)、配置采集规则：在流程图模式输入网址新建任务之后，还需要设置多个关键词循环任务的采集规则。首先点击搜索框，选择批量输入文本按钮，将得到的情感实体文件导入进去。然后再点击页面上的搜索按钮，在操作框内选择“提取该元素中的数据”按钮，可以保存该搜索结果页到生成文件。

另外我们还需要设置生成文件的提取字段数据，我们要求得到的生成文件需要包含情感实体关键词、信息链接类型、信息链接、信息时间这四个类型的内容。

3)、设置并启动采集任务：点击开始采集，进行运行设置和防屏蔽设置，根据要求确认搜集偏向，如设置默认点击率最高的链接。之后任务启动后开始可以看到实时采集进度和结果。

4)、导出数据：数据采集完成后，设置导出格式，所述格式包括EXCEL、CSV、HTML和TXT。本发明实施例设置格式为CSV，以便导入Neo4j中进行存储。

5)、利用得到的csv文件，将这些多模态链接信息连接到对应的情感实体上作为它的属性值。

S25、依据所述情感实体，所述情感实体之间的关系和所述情感实体的多模态属性，构建多模态情感图谱。

本发明实施例构建多模态情感图谱是自底而上的构建技术，即从公开采集的数据中提取出资源模式，选择其中置信度较高的新模式。如图6所示，多模态情感图谱默认的数据模型是三元组(实体，关系，实体)和(实体，属性，属性值)。

所述多模态情感图谱的生成过程具体包括：

1)、知识融合：为了将不同来源的数据进行融合，从而形成高质量的知识图谱，该工作的关键在于共指消解以及实体消歧。

首先利用多模态实体链接技术将抽取的非结构化数据链接到知识库对应的情感实体对象中，然后通过知识合并技术完成结构化数据的融合；

2)、知识存储：将上述步骤中抽取得到的数据，采用Neo4j数据库来完成对知识的存储。

首先将情感实体识别得到的实体集、关系抽取得到的关系集和多模态信息链接抽取得到的文本描述集、图片集、视频集，以CSV格式分别导入进Neo4j图数据库中，创建出节点与边以及相关的属性信息。

Neo4j可以使构建的MS-KG可视化，并且提供了简单便捷的操作语言Cypher，可以快速对图谱进行创建、修改以及查询等。

在之后的引导过程中，只要检索相关的情感实体可以得到所需的检索材料。

3)、知识加工：利用本体构建、知识推理和质量评估三个步骤的知识加工过程最终获得结构化、网络化的知识体系即我们所需的知识图谱。

完成多模态情感知识图谱构建之后，即可根据目标情感进行情感引导策略选择。

以实验对象“图图”为例，目标情感是相当高兴，目前情感状态是平静，以下进行多模态情感干预。

如图7所示，依据实验对象“图图”的相关语料构建了多模态情感图谱。展开而言：

S3、依据所述文本关键词信息，针对所述被引导者进行关键词对话干预，采用不同的情感识别方式，综合判断被引导者的第一实时情感。

关键词对话是根据图谱检索得到的情感实体，及其相关百度百科词条作为关键词。利用关键词自动回复技术，和被引导者进行多轮对话，对话内容是机器人自动生成的语音内容，被引导者需要进行对话反馈。在这个过程中判别目前被引导者的情感状态，分析情感转移。

对图图接着进行关键词对话引导，首先输入关键词“张碧晨”，自动生成对话内容如下：

Robot:听说你的偶像是张碧晨，我也喜欢她。

图图：对啊，她唱歌好好听啊。(由张碧晨，唱歌两个信息，从知识图谱中检索到张碧晨演唱过歌曲《凉凉》，以此做关键词进行对话引导)

Robot：我听了她的《凉凉》，真的好听。

图图：这也是我最喜欢的一首。(“最喜欢”表达情感强烈积极，和我们的目标情感相近，因此继续该关键词信息检索。)

Robot：那我给你播放一首《凉凉》。

图图：好呀。(检索图谱相关音频，播放给被引导者。)

Robot：凉凉夜色为你思念成河…

图图：哎呦，是我偶像的声音哦，真好听。

Robot：谢谢夸奖。

图图：哈哈你太有趣啦。

……

经过一轮关键词对话引导后，采用不同的情感识别方式，综合判断被引导者的第一实时情感。所述情感识别方式包括主观情感问答采集，面部表情情感判别，实时热成像情感判别。

主观情感问答采集：在进行所述主观情感情感问答采集之前，需要和被引导者确认情感类型和程度的限定范围，确保被引导者准确传达自己的情感信息。引导被引导者根据自身感受回答不同程度的感受，如“相当高兴，有点悲伤”。

面部表情情感判别：本判别方式需要用到高清摄像头。所述高清摄像头置于被引导者脸部的正前方，用于采集被引导者的面部信息。

对被引导者给予情感引导后5S内的面部表情进行连续抓拍，每秒抓拍一次，以图片形式进行记录，每张尺寸大小为256×256像素。抓拍操作可以是相关实验人员操作，也可以设置机器随机抓拍。

这里规定获取面部图片5张是为了进行表情抓拍，防止出现眨眼或者表情没做到位的情况，多张图片分别进行多次训练取平均情感。

高清摄像头采集到的面部表情图片，利用Viola-Jones人脸检测器进行人脸检测，得到人脸边界框后，原图像裁剪至面部区域，以便情感判别模型分析，得到上述六种情感类型的概率分布。

另外，本发明实施例规定要求判定情感程度的情感概率在<0,100>之间。其中，在<17，45>之间，表示情感程度为有点；<45，73>之间表示情感级别为比较；<73，100>之间表示情感级别为相当。

如输出表示对应的情感分别是高兴、惊奇、厌恶、悲伤、愤怒、恐惧的概率分布为<89.9,3.23,0.48,1.14,6.37,1.23>，则判定此时的情感就是相当高兴。

所述情感判别模型为现有技术。例如可以采用期刊《计算机工程与设计》第40卷，第10期的《跨连特征融合网络的面部表情识别》，作者为黄倩露，王强。

实时热成像情感判别：本判别方式需要红外热成像仪，所述红外热成像仪用于采集被引导者全身的热红外数据。

另被引导者全身面对红外热成像仪，对进行刺激引导30S后(人体反应情感需要一定的时间)的热成像进行采集，采集5S数据，每秒2次，则一次刺激后产生5*2张图。

如图8所示，本发明实施例参考芬兰Aalto大学研究总结的不同情感下的热成像图，作为情感判定的标准。

从图中8可以看出，由于不同情感下的人体热成像图有明显的区别，根据得到的实时热成像图，可以看到红色区域的面积和位置能区别出目前的情感状态属于哪种类别，因此能粗略估计目前被引导者的情感类别及程度。此外，该情感判别方式规定要求，判定情感程度根据红外采集图明亮程度区分。具体而言，采集图像红色区域轻微明亮，表示情感程度为有点；采集图像红色区域正常明亮，表示情感程度为比较；采集图像红色区域明显明亮，表示情感程度为相当。

以上三种方法得到的情感，既有主观表达又有客观分析，得到的情感类别和程度应基本一致。

1)、若三种方法得到的实时情感基本一致，我们则认为此时情感可靠，进行下一步实验分析。

2)若三种方法中有其中一种方法出现较大区别，重新对被引导者进行刺激引导采集数据，5次以上均有偏差则放弃该实验对象数据。

3)若三种方法都出现较大区别，我们重新进行刺激引导采集数据，3次以上均有偏差，则放弃该实验对象数据。

具体到本实施例，

1)、一轮关键词对话引导结束后，询问图图目前心情如何？反馈是有点高兴。

2)、面部表情识别得到的情感概率是<44,16.23,0.59,12.6,11.37,15.21>，则判定此时的情感为有点高兴。

3)、对话过程中得到的人体热成像图，整体人身轻微偏红，体温变化不大，判定为有点高兴。

基于上述三种情感判别方式，综合判断图图的第一实时情感为有点高兴，然后将所述第一实时情感和所述目标情感进行对比。

若所述第一实时情感未达到所述目标情感的类型或程度的要求，那么执行S4，

若所述第一实时情感达到所述目标情感的类型和程度的要求，那么结束本次引导过程。

由于目标情感为相当高兴，故第一实时情感未达到所述目标情感的类型或程度的要求，那么执行S4。

S4、依据所述图像信息，针对所述被引导者进行图像引导，采用所述情感识别方式，综合判断被引导者的第二实时情感。

本发明实施例提供的多模态情感图谱中链接的图片库包含着大量相关图片，可以作为强烈的视觉刺激。

根据被引导者感兴趣的情感实体所链接的图片信息，进行大屏幕展示引导，每次刺激引导后的情感反馈，作为下次刺激检索方向的依据，如果这个情感实体没有储备的图片库，则继续搜索与这个实体相关的下一个情感实体对应的图片。所述相关性也会根据目标情感的要求筛选积极相关或是消极相关。

对图图进行图片引导，根据关键词引导的反馈情感，我们继续围绕张碧晨这个情感实体检索图片库，输出一组张碧晨的写真照展示，展示后采集得到的三种情感分析：

1)、询问图图目前心情如何？反馈是比较高兴。

2)、面部表情识别得到的情感概率是<66.2,26.23,2.59,8.24,7.48,4.26>，分别对应高兴、惊奇、厌恶、悲伤、愤怒、恐惧，判定此时情感为比较高兴。

3)、图像刺激后得到的人体热成像图整体人身正常偏红，体温有升高现象，判定为比较高兴。

基于上述三种情感判别方式，综合判断图图的第二实时情感为比较高兴，然后将所述第二实时情感和所述目标情感进行对比。

若所述第二实时情感未达到所述目标情感的类型或程度的要求，那么执行S5，

若所述第二实时情感达到所述目标情感的类型和程度的要求，那么结束本次引导过程。

由于目标情感为相当高兴，故第二实时情感未达到所述目标情感的类型或程度的要求，那么执行S5。

S5、依据所述视频信息，针对所述被引导者进行视频引导，采用所述情感识别方式，综合判断被引导者的第三实时情感。

选择和图片相关的视频给予被引导者视觉和听觉双重刺激，适用于目标情感要求比较强烈的情况下，被引导者会根据视频中的配乐和动态变化产生明显的情感起伏现象。

对图图进行视频干预，检索图谱中张碧晨相关视频链接，展示到大屏幕播放，这里选择播放是张碧晨在中国好声音现场演唱《凉凉》的片段。播放结束后分析图图被采集到实时情感：

1)询问图图目前心情如何？反馈是非常高兴。

2)面部表情识别得到的情感概率是<83.2，12.6，3.82，0.31，0.07>分别对应高兴、惊奇、厌恶、悲伤、愤怒、恐惧，判定此时情感为相当高兴

3)视频刺激后得到的人体热成像图整体人身明显偏红，体温有升高，判定为相当高兴。

基于上述三种情感判别方式，综合判断图图的第二实时情感为比较高兴，然后将所述第二实时情感和所述目标情感进行对比。

若所述第三实时情感未达到所述目标情感的类型或程度的要求，那么结束本次引导过程；

若所述第三实时情感达到所述目标情感的类型和程度的要求，那么结束本次引导过程。

由于第三实时情感为相当高兴，同时达到目标情感的类型和程度要求，那么结束本次情感引导实验，并记录实验数据。

此外，本发明实施例还规定：

在以上关键词对话、图片、视频三种情感引导方式下：

1)、若某一方式判别得到的实时情感没达到目标情感的要求，还可以继续采用该种方式进行刺激引导，3次效果仍没明显变化，则更换下一种情感引导方式；

2)、若某一方式判别得到的情感有效果，但是情感实体对应该种引导方式的信息库不足，不能支持多次刺激引导，则通过实体链接找到与其相关的情感实体，继续该种方式的刺激引导；若未达到要求之前，仍然存在信息库不足情况，则更换下一种引导方式。

本发明实施例还提供一种基于情感图谱的多模态情感引导系统，包括：

设定目标情感模块，用于设定被引导者的目标情感，所述目标情感包括类型和程度两部分；

获取多模态属性模块，用于将所述目标情感输入多模态情感图谱中，得到目标情感实体，并得到所述目标情感实体对应的多模态属性，所述多模态属性包括文本关键词信息、图像信息、视频信息；

关键词对话干预模块，用于依据所述文本关键词信息，针对所述被引导者进行关键词对话干预，采用不同的情感识别方式，综合判断被引导者的第一实时情感；

若所述第一实时情感未达到所述目标情感的类型或程度的要求，那么执行图像引导模块，

若所述第一实时情感达到所述目标情感的类型和程度的要求，那么结束本次引导过程；

图像引导模块，用于依据所述图像信息，针对所述被引导者进行图像引导，采用所述情感识别方式，综合判断被引导者的第二实时情感；

若所述第二实时情感未达到所述目标情感的类型或程度的要求，那么执行视频引导模块，

若所述第二实时情感达到所述目标情感的类型和程度的要求，那么结束本次引导过程；

视频引导模块，用于依据所述视频信息，针对所述被引导者进行视频引导，采用所述情感识别方式，综合判断被引导者的第三实时情感；

若所述第三实时情感未达到所述目标情感的类型或程度的要求，那么结束本次引导过程；

若所述第三实时情感达到所述目标情感的类型和程度的要求，那么结束本次引导过程。

可以理解的是，本发明实施例提供的多模态情感引导系统与本发明实施例提供的多模态情感引导方法相对应，其有关内容的解释、举例和有益效果等部分可以参考多模态情感引导方法中的相应部分，此处不再赘述。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，在处理器执行所述计算机程序时可实现上述任一项所述的方法。

综上所述，与现有技术相比，具备以下有益效果：

1、本发明实施例采用多种情感判别方式，更加精准的识别出被引导者的实时情感，及时反馈信息，极大程度的减少了噪声和个人特征对情感判别的影响；本发明实施例中还将目标情感输入多模态情感图谱中，得到目标情感实体，并得到所述目标情感实体对应的多模态属性，所述多模态属性包括文本关键词信息、图像信息、视频信息；即利用多模态情感图谱进行情感引导，情感实体之间有强关联，不断地进行搜索找到相关刺激，比网络随机链接更精准。

2、本发明实施例多模态引导方式循序渐进的对被引导者情感进行调节，更有针对性，被引导者体验感好。

3、本发明实施例提供的情感引导方法相比其他仪器和心理咨询引导方式，更适合不配合治疗的情感治疗患者，通过推送给患者感兴趣的文本、语音、视频片段，帮助患者在无察觉情况下稳定情感。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种基于情感图谱的多模态情感引导方法，其特征在于，包括：

S1、设定被引导者的目标情感，所述目标情感包括类型和程度两部分；

S2、将所述目标情感输入多模态情感图谱中，得到目标情感实体，并得到所述目标情感实体对应的多模态属性，所述多模态属性包括文本关键词信息、图像信息、视频信息；

S3、依据所述文本关键词信息，针对所述被引导者进行关键词对话干预，采用不同的情感识别方式，综合判断被引导者的第一实时情感；

若所述第一实时情感未达到所述目标情感的类型或程度的要求，那么执行S4，

若所述第一实时情感达到所述目标情感的类型和程度的要求，那么结束本次引导过程；

S4、依据所述图像信息，针对所述被引导者进行图像引导，采用所述情感识别方式，综合判断被引导者的第二实时情感；

若所述第二实时情感未达到所述目标情感的类型或程度的要求，那么执行S5，

若所述第二实时情感达到所述目标情感的类型和程度的要求，那么结束本次引导过程；

S5、依据所述视频信息，针对所述被引导者进行视频引导，采用所述情感识别方式，综合判断被引导者的第三实时情感；

若所述第三实时情感未达到所述目标情感的类型或程度的要求，那么结束本次引导过程；

若所述第三实时情感达到所述目标情感的类型和程度的要求，那么结束本次引导过程。

2.如权利要求1所述的多模态情感引导方法，其特征在于，所述步骤S2中的多模态情感图谱的构建过程包括：

获取带有情感词的语料集，并对所述语料集进行预处理；

将预处理后的语料集输入情感实体识别模型中，得到情感实体；

将所述情感实体输入开源框架OpenNRE模型，得到所述情感实体之间的关系；

按照一定的规则，依次对网络中与所述情感实体相关的文本关键词信息、图像信息、视频信息进行提取，并将所述文本关键词信息、图像信息、视频信息以属性的方式链接到对应的情感实体上，得到所述情感实体的多模态属性；

依据所述情感实体，所述情感实体之间的关系和所述情感实体的多模态属性，构建多模态情感图谱。

3.如权利要求2所述的多模态情感引导方法，其特征在于，所述对所述语料集进行预处理，具体包括：

基于公开语料集，构建情感实体语料库；

将所述情感实体语料库添加到现代汉语标注语料库中，得到新的分词模型；

依据所述新的分词模型对所述带有情感词的语料集进行分词。

4.如权利要求3所述的多模态情感引导方法，其特征在于，所述将预处理后的语料集输入情感实体识别模型中，得到情感实体，具体包括：

将分词后的带有情感词的语料集输入预先训练好的Skip-gram词向量模型，得到词向量；

将所述词向量输入BiLSTM-CRF命名实体识别模型，得到带有情感倾向的情感实体。

5.如权利要求2所述的多模态情感引导方法，其特征在于，所述规则包括：只将网络中搜索点击率最高的与所述情感实体相关的文本关键词信息、图像信息、视频信息的链接内容提取出来。

6.如权利要求1所述的多模态情感引导方法，其特征在于，所述步骤S3中的情感识别方式包括：主观情感问答采集，面部表情情感判别，实时热成像情感判别。

7.如权利要求1所述的多模态情感引导方法，其特征在于，所述目标情感的类型包括高兴、惊奇、厌恶、悲伤、愤怒、恐惧；和/或所述目标情感的程度包括有点、比较、相当。

8.一种基于情感图谱的多模态情感引导系统，其特征在于，包括：

设定目标情感模块，用于设定被引导者的目标情感，所述目标情感包括类型和程度两部分；

获取多模态属性模块，用于将所述目标情感输入多模态情感图谱中，得到目标情感实体，并得到所述目标情感实体对应的多模态属性，所述多模态属性包括文本关键词信息、图像信息、视频信息；

关键词对话干预模块，用于依据所述文本关键词信息，针对所述被引导者进行关键词对话干预，采用不同的情感识别方式，综合判断被引导者的第一实时情感；

若所述第一实时情感未达到所述目标情感的类型或程度的要求，那么执行图像引导模块，

若所述第一实时情感达到所述目标情感的类型和程度的要求，那么结束本次引导过程；

图像引导模块，用于依据所述图像信息，针对所述被引导者进行图像引导，采用所述情感识别方式，综合判断被引导者的第二实时情感；

若所述第二实时情感未达到所述目标情感的类型或程度的要求，那么执行视频引导模块，

若所述第二实时情感达到所述目标情感的类型和程度的要求，那么结束本次引导过程；

视频引导模块，用于依据所述视频信息，针对所述被引导者进行视频引导，采用所述情感识别方式，综合判断被引导者的第三实时情感；

若所述第三实时情感未达到所述目标情感的类型或程度的要求，那么结束本次引导过程；

若所述第三实时情感达到所述目标情感的类型和程度的要求，那么结束本次引导过程。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，在处理器执行所述计算机程序时可实现权利要求1～7任一项所述的方法。

Images