CN112417172B - 一种多模态情绪知识图谱的构建及展示方法 - Google Patents

Abstract

本发明提供一种多模态情绪知识图谱的构建及展示方法，涉及多模态知识管理技术领域。该方法首先收集、下载情绪词汇本体或词典、人脸表情和动物表情图像及社会媒体平台常用的表情符号；并对获取的文本和图像数据资源，分别进行预处理，使这些数据资源满足统一的抽象本体模型需求；然后基于文本情绪词、表情图像以及社交媒体表情符号的预处理结果，构建能够表达不同模态实体以及实体之间关系的多模态情绪知识图谱；最后通过采用前端的文本标记语言和前端页面的元素渲染语言的编程来实现对多模态情绪知识图谱的节点、图谱的边、图谱实体属性信息的展示和渲染；在此基础上实现图谱的用户交互功能；同时，通过图形可视化库增加知识图谱的动态效果。

Description

一种多模态情绪知识图谱的构建及展示方法

技术领域

本发明涉及多模态知识管理技术领域，尤其涉及一种多模态情绪知识图谱的构建及展示方法。

背景技术

知识图谱(Knowledge Graph)是一种大规模的结构化数据集合，它用于描述现实世界中各种存在的实体与概念，以及实体和实体、实体和概念以及概念和概念的联系，由三元组(h,r,t)组成(h、r、t分别表示头实体、关系、尾实体)。知识图谱采用图模型来展示知识概念(头、尾实体)及其关系，由节点和边构成。当前，知识图谱技术的研究和应用均取得了可观的成果，出现了大量通用或特定领域的知识图谱，在信息检索、推荐、摘要等应用中起到了重要的作用。

就构建知识图谱的数据源而言，由于数据形式已从单纯的文本模态变成了文本、图像、视频、音频多种模态，因此知识图谱中的实体是不同模态的，展示知识的图节点是异构的，而边也是表达不同模态实体之间的关系。

就知识图谱的应用领域而言，情感和情绪分析当前已成为热点研究问题之一，在社会媒体平台上，用户更是以文本、图像、视频、音频这些不同的模态形式来表达自己对一个热点事件的情感和情绪，针对社会媒体内容的分析技术已从分析单一模态内容转向分析多模态内容。同时，基于情感和情绪分析的检索、问答、对话、推荐等应用同样需要知识图谱的支持，这种知识图谱显然也是多模态、并且面向情感和情绪这一特定领域的。

综上，构建多模态情绪知识图谱具有重要的理论意义和应用价值。当前，与多模态知识图谱相关技术的研究已有相当的进展，比如：多模态实体、关系的抽取，基于图像和视频的场景图构建，搜索引擎和推荐系统中所展现的不同模态结果。然而，作为完整的多模态知识图谱的研究尚在起步阶段，而多模态情绪知识图谱的研究成果目前尚未见报道。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种多模态情绪知识图谱的构建及展示方法，实现基于文本和图像两种模态、文本情绪词汇本体、人脸表情图像、动物表情图像、社会媒体表情符号4种形式的情绪知识图谱构建以及基于该图谱的、具有6项用户与系统交互操作功能的可视化在线展示。

为解决上述技术问题，本发明所采取的技术方案是：一种多模态情绪知识图谱的构建及展示方法，包括以下步骤：

步骤1：多模态情绪知识图谱数据资源的获取；

收集、下载情绪词汇本体或词典、人脸表情和动物表情图像及社会媒体平台常用的表情符号，具体步骤如下：

步骤1.1：文本情绪词资源获取；收集情绪词汇本体或词典；所述情绪词汇本体或词典中包括：情绪词、情绪大类、情绪强度以及情绪子类；

步骤1.2：人脸表情图像获取；一方面，收集人脸表情数据集，当已有类标签少于设定阈值时，进行手工标注；另一方面，采用半监督学习技术，基于已有的类标签和深度学习模型进行人脸表情识别，获得更多的人脸表情类标签，扩充人脸表情数据集；

步骤1.3：动物表情图像获取；通过收集和拍照方法获得动物表情图像数据，并基于文本情绪词的分类对动物表情类标签予以定义；在此基础上，还可以采用监督、半监督学习技术增加动物表情图像作为训练数据；

步骤1.4：社会媒体表情符号获取；从社会媒体开源网站下载表情符号数据及对应的类标签；

步骤2：多模态情绪知识图谱数据资源预处理；对步骤1获取的文本和图像数据资源，分别进行预处理，使这些数据资源满足统一的抽象本体模型需求，具体方法为：

步骤2.1：文本情绪词预处理；

首先对文本情绪词数据集进行清洗，剔除不需要的属性列表和非典型类型情感词，填充缺失的属性值；然后对文本情绪词数据集进行随机mini-batch抽取并分表；

所述文本情绪词预处理后的结构为：<情绪词,情绪词类别,词义数量,情绪类别,情绪强度,情绪的情感倾向,辅助情绪类别>；

步骤2.2：人脸表情图像和动物表情图像预处理；

首先对人脸表情图像和动物表情图像进行归一化处理，保证相同的尺寸；同时，建立不同模态知识在本体层的统一，即使文本情绪类别实体与表情图像相关实体相匹配，最终完成对表情图像的补全和分类；

步骤2.3：社交媒体表情符号预处理；

对社交媒体表情符号进行归一化及与对应文本情绪词的匹配，使各类社交媒体表情符号保持统一的尺寸；

步骤3：多模态情绪知识图谱构建；基于文本情绪词、表情图像以及社交媒体表情符号的预处理结果，构建能够表达不同模态实体以及实体之间关系的多模态情绪知识图谱，具体方法为：

步骤3.1：文本情绪词知识图谱构建；采用图形数据库及对应的结构化查询语言编程，构建文本词情绪知识图谱；

步骤3.1.1：实体抽取；对预处理后的文本情绪数据集的每条数据按行读取，提取出情绪词实体和情绪子类实体，并构建文本情绪词实体属性表和情绪子类实体属性表，为情绪子类实体分配全局唯一实体ID，加入情绪子类实体属性表；

步骤3.1.2：将得到的文本情绪词实体属性表和情绪子类实体属性表以csv格式存储；

步骤3.1.3：构建情绪大类实体属性表；

步骤3.1.4：关系抽取；基于现有的本体模型，通过关系抽取算法实现对“子类关系”、“属于关系”、“相关关系”三种关系的抽取，从而形成三元组文件；

所述三元组文件中包括以下三元组：

<中心表情,子类关系，情绪大类>，即：

<情绪大类,子类关系，情绪子类>，即：

<情绪子类,属于关系，情绪词>，即：

<情绪子类,相关关系，情绪词>，即：

步骤3.1.5：使用数据库提供的或编写查询语句分别将三个属性表文件和三元组文件通过图谱结构形式进行表示，并为情绪大类、情绪子类和文本情绪词三类实体创建索引；

步骤3.2：非文本模态实体的嵌入及关系构建；在文本情绪知识图谱的基础上，对情绪词实体属性表和情绪子类实体属性表通过全局唯一标识符嵌入另外两种模态情绪实体；对情绪大类实体属性表和情绪子类实体属性表分别嵌入预处理后的人脸图像数据集、动物表情数据集和社会媒体表情符号数据集中对应情感分类的全局唯一标识符，然后对情绪子类添加情感的描述信息；具体方法为：

步骤3.2.1：对每幅人脸表情图像、动物表情图像和社交媒体表情符号创建全局唯一标识符；

步骤3.2.2：对步骤3.2.1得到的所有人脸表情图像、动物表情图像和社交媒体表情符号赋予全局唯一标识符组IdGroup，分别对情绪大类实体属性表和情绪子类实体属性表文件的每条数据按行读取，将每行数据按照属性列进行分割，然后进行情绪实体的匹配、标识符分配以及描述信息的添加；

步骤3.2.3：将步骤3.2.2中得到的嵌入了人脸和表情符号并添加了子类情绪描述信息的情绪大类实体属性表和情绪子类实体属性表以csv格式存储并输出；

步骤4：构建多模态情绪知识图谱可视化网页，实现面向用户操作的人机交互；通过采用前端的文本标记语言和前端页面的元素渲染语言的编程来实现对多模态情绪知识图谱的节点、图谱的边、图谱实体属性信息的展示和渲染；在此基础上基于前端开发的脚本语言及查询语言实现图谱的用户交互功能；同时，通过图形可视化库增加知识图谱的动态效果，实现知识图谱的缩放、拖拽、聚焦这些可视化效果；

步骤4.1：数据准备及处理；以文本、图像两种模态，文本、人脸表情、动物表情和社会媒体表情符号4种形式表示的知识图谱为数据源构建多模态知识图谱展示网页；多模态知识图谱展示网页通过向服务器端发出请求自动将知识图谱数据加载到页面中，然后通过前端文本标记语言和前端页面元素渲染语言编程对知识图谱的信息进行排版和渲染，从而呈现知识图谱的可视化效果；服务器端对不同模态知识图谱数据的操作具体如下：

步骤4.1.1：对文本情绪词的处理；通过脚本语言从文本情绪词实体属性表中提取情绪实体的属性信息并且转换成统一的数据交换格式；

步骤4.1.2：对人脸、动物表情图像和社交媒体表情符号的处理；通过对表情图像按情绪类别进行分类存储、添加标签，并且托管于云端服务器上；在用户访问多模态情绪知识图谱时，通过异步请求方式加载图像数据，并且对图像进行排版；

步骤4.1.3：面向展示需求的定制；通过指定步长，按步长选取知识图谱中的节点，同时确保所有情绪类别均有节点被选中，从而实现从源知识图谱中抽取小图谱来进行可视化展示；

步骤4.2：网页用户界面设计；网页用户界面包括网页的名字、图谱的控制面板和使用操作提示、图谱节点和关系的展示画布以及图谱知识的信息栏；所述图谱知识的信息栏中包括文本情绪词的属性信息和与之对应的人脸表情图像信息和社交媒体表情信息；

步骤4.3：图谱节点渲染；采用圆圈和文字两种模式对图谱节点进行渲染和表示；

步骤4.4：用户与网页展示界面交互操作功能设计；在多模态情绪知识图谱展示的基础上，设计用户操作功能，使用户通过鼠标操作，实现与网页展示界面的交互；具体用户操作功能如下：

步骤4.4.1：按情绪类别查看图谱；多模态情绪知识图谱实体展示形式包括：一方面使用户选择所要查看的形式，另一方面，对四类情绪类别的实体节点通过设置节点开关的开或关控制相应情绪节点的显示与隐藏；

步骤4.4.2：图谱缩放；通过调用缩放函数为图谱添加缩放功能；

步骤4.4.3：图谱拖拽；当图谱中节点被拖拽时，首先找出当前被拖拽的节点，然后遍历图谱找到当前被拖拽的节点的所有相邻的节点和边，同时记录当前节点和相邻节点被拖拽后移动的距离，当拖拽动作结束后，更新被拖拽节点位置和相邻节点的位置，最后重新绘制图谱；

步骤4.4.4：图谱聚焦；通过事件的处理机制，实现图谱的聚焦；用户通过鼠标悬停方式，选择需要查看的图谱中的任意节点，将被鼠标悬停的节点信息和与之有直接相邻边的所有节点和边的信息作为目标知识图谱返回服务器端；

步骤4.4.5：图谱流体布局；基于图可视化开源工具库对图谱实现流体力学的自动布局；

步骤4.5：网页部署；采用开源的网站搭建云平台，将构建的多模态情绪知识图谱网页部署在云平台上。

采用上述技术方案所产生的有益效果在于：本发明提供的一种多模态情绪知识图谱的构建及展示方法，基于文本和图像两种模态、文本情绪词汇本体、人脸表情图像、动物表情图像、社会媒体表情符号4种形式构建情绪知识图谱，并针对该知识图谱，提供具有6项用户与网页展示界面交互操作功能的可视化在线展示方法；(1)用本发明提出的多模态情绪知识图谱构建方法，可以构建包括文本情绪词与表情图像、表情符号的多模态情绪知识图谱；(2)采用本发明提出的多模态情绪知识图谱展示方法可以提供给用户整体布局友好的、直观的与系统交互界面以及按需求进行查看、缩放、拖拽、聚焦和流体布局功能；(3)基于本发明提供的多模态情绪知识图谱，用户可以进一步开发面向多模态细粒度情感和情绪分析的搜索、推荐、预测、对话、问答相关的应用。

附图说明

图1为本发明实施例提供的多模态情绪知识图谱构建及展示框架图；

图2为本发明实施例提供的部分多模态情绪数据资源，其中，(a)为动物表情，(b)为社会媒体表情符号，(c)为Facial-Expression-Kaggle-2013人脸数据集中人脸表情，(d)为JAFFE人脸数据集中人脸表情；

图3为本发明实施例提供的人脸表情分类器训练模型结构示意图；

图4为本发明实施例提供的多模态实体及关系嵌入示意图；

图5为本发明实施例提供的多模态知识图谱展示网页架构图；

图6为本发明实施例提供的文本情绪词JOSN格式数据示例；

图7为本发明实施例提供的多模态情绪知识图谱用户界面，其中，(a)为布局图，(b)为实例图；

图8为本发明实施例提供的多模态情绪知识图谱节点渲染的两种模式示意图，其中，(a)为圆圈模式，(b)为文字模式；

图9为本发明实施例提供的多模态情绪知识图谱缩放效果图，其中，(a)为原图，(b)为放大图，(c)为缩小图；

图10为本发明实施例提供的多模态情绪知识图谱聚焦效果图，其中，(a)为聚焦前的多模态情绪知识图谱，(b)为聚焦后的多模态情绪知识图谱。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本实施例中，一种多模态情绪知识图谱的构建及展示方法，其总体框架图如图1所示，包括如下步骤：

步骤1：多模态情绪知识图谱数据资源的获取；

收集、下载目前流行的情绪词汇本体或词典、人脸表情和动物表情图像及社会媒体平台常用的表情符号，具体步骤如下：

步骤1.1：文本情绪词资源获取；收集目前流行的情绪词汇本体或词典；不同的情绪词汇本体或词典可能结构、属性不尽相同，但从构建情绪知识图谱的要求考虑，所述情绪词汇本体或词典中包括：情绪词、情绪大类、情绪强度以及情绪子类；

本实施例中，以大连理工大学开源文本情绪词数据集为例，该数据集包含情感词共计27466个，文本情绪词属性涉及词性、词义、情感分类、强度、极性。文本使用的文本情绪词数据集可以归纳为9个文本情绪属性，具体包括：情绪词(emotionName)，词性种类(wordClass)，词义数(totalMeanings)，情感分类(categoryName)，强度(intense)，极性(wordPolarity)，辅助情感分类(relatedCategoryName)，辅助情感强度(relatedIntense)，辅助情感极性(relatedWordPolarity)。该大连理工大学开源文本情绪词数据集部分数据示例如表1所示；

表1部分文本情绪词数据

步骤1.2：人脸表情图像获取；一方面，收集人脸表情数据集，当已有类标签少于设定阈值时，进行手工标注；另一方面，采用半监督学习技术，基于已有的类标签和深度学习模型进行人脸表情识别，获得更多的人脸表情类标签，扩充人脸表情数据集；

本实施例从开源人脸数据集JAFFE和Facial-Expression-Kaggle-2013人脸数据集获取人脸表情图像。人脸数据集JAFFE由10名日本女学生的7种面部表情，包括愤怒(Angry)、厌恶(Disgust)、恐惧(Fear)、高兴(Happy)、悲伤(Sad)、惊讶(Surprise)和中性(Neutral)，共计216张人脸表情图像组成，其中部分数据示例如图2(d)所示；Facial-Expression-Kaggle-2013人脸数据集的人脸特征图像为例，该数据集中的图像为灰度图像，包含了愤怒、厌恶、恐惧、高兴、悲伤和惊讶共6种情感类别，其中部分数据示例如图2(c)所示；

本实施例采用CNN模型——LeeNet网络进行训练，得到表情分类模型，对未知的表情进行预测，获得表情类别标签，扩充人脸表情数据资源。本实施例中，训练表情分类器的CNN模型——LeeNet网络结构如图3所示，采用ReLU←Sigmoid进行特征提取，卷积核大小为(5，5)，激活函数采用ReLU，最大池化尺寸为(2，2)；通过添加Dropout函数(26％)实现对部分模型参数的丢弃，提高计算效率。本实施例中，LeeNet网络在Kaggle数据集上的训练结果如表2所示，准确率为63.33％；

表2 LeeNet模型在Kaggle数据集上的训练结果

训练周期	时间	损失值	准确率
				10/100	11s98ms/步	1.6784	0.2995
30/100	11s98ms/步	1.4053	0.4424
				50/100	11s98ms/步	1.1760	0.5425
70/100	11s98ms/步	1.1635	0.5802
				90/100	11s98ms/步	1.1486	0.6111
100/100	11s98ms/步	1.1135	0.6366

步骤1.3：动物表情图像获取；通过收集和拍照方法获得动物表情图像数据，这些动物表情(特别是拍照的动物表情)图像大多没有类标签，因此，需要基于文本情绪词的分类对动物表情类标签予以定义；在此基础上，还可以采用监督、半监督学习技术增加动物表情图像作为训练数据；

本实施例中，已获得的动物表情图像包含3种动物，分别是猫、狗和仓鼠，涵盖了7大类情绪类别，共计84张，其中部分数据的示例展示如图2(a)所示；

步骤1.4：社会媒体表情符号获取；从社会媒体开源网站下载表情符号数据及对应的类标签；目前具有此类表情的网站较多，并且各种表情符号大多具有类标签，下载后即可作为数据资源。

本实施例中所使用的社交媒体情绪符号数据集均来自开源社会媒体表情网站https://emojipedia.org/，针对社交表情符号这一情绪模态收集整理了7大类情绪表情共计77张，其中部分数据示例展示如图2(b)所示。

综上，目前已经获得的多模态情绪数据资源(部分数据)如图2所示。这里需要说明的是，构建人脸表情分类器所采用的LeeNet模型是本实施例所采用的一种人脸表情识别方法，以此来扩充人脸表情数据资源，而实际上，其它人脸表情识别技术同样可以被应用于此。

步骤2：多模态情绪知识图谱数据资源预处理；对步骤1获取的文本和图像数据资源，分别进行预处理，使这些数据资源满足统一的抽象本体模型需求，具体方法为：

步骤2.1：文本情绪词预处理；

不同的情绪词汇本体或词典可能结构、属性不尽相同，这里的文本情绪词预处理就需要基于构建情绪知识图谱的需求，考虑其它模态资源情绪类别，考虑作为实体的文本词、不同层次的类别，还要考虑不同的实体之间的关系。首先对文本情绪词数据集进行清洗，剔除不需要的属性列表(例如辅助情感强度和极性)和非典型类型情感词(例如“寄人篱下”、“立足之地”、“囚车”、“前不见古人，后不见来者”等)，填充缺失的属性值，使情绪词在不同词性类别分布更加均匀；然后对文本情绪词数据集进行随机mini-batch抽取并分表；其原理是，从原来的文本情绪数据集中随机抽取一个mini版文本情绪词库，这个过程通过脚本语言实现，并且完全自动化抽取，而且保证了小词库的各种情绪大类和子类均匀分布；

所述文本情绪词预处理后的结构为：<情绪词(emotionName),情绪词类别(wordClass),词义数量(totalMeanings),情绪类别(categoryName),情绪强度(intense),情绪的情感倾向(wordPolarity),辅助情绪类别(relatedCategoryName)>；

步骤2.2：人脸表情图像和动物表情图像预处理；

首先对人脸表情图像和动物表情图像进行归一化处理，保证相同的尺寸，为多模态图谱的可视化做准备；同时，建立不同模态知识在本体层的统一，即使文本情绪类别实体与表情图像相关实体相匹配，最终完成对表情图像的补全和分类；例如，在文本情绪词这一单一模态中存在“好”这一情绪类别，而人脸表情数据集和动物表情数据集中却没有与之对应的这一情感类别，所以通过从“快乐”和“赞扬”这两类情感类别按1:1比例抽取人脸表情图像和动物表情图像作为对原数据集扩充，也就是将具有这两类情感标签的表情图像与“好”这一文本情感类别匹配，完成对这两类面部表情图像的补全和分类；

步骤2.3：社交媒体表情符号预处理；

对于该数据集所做的预处理主要是对社交媒体表情符号进行归一化及与对应文本情绪词的匹配，使各类社交媒体表情符号保持统一的尺寸，有利于后面多模态知识图谱的可视化工作；

步骤3：多模态情绪知识图谱构建；基于文本情绪词、表情图像以及社交媒体表情符号的预处理结果，构建能够表达不同模态实体以及实体之间关系的多模态情绪知识图谱，具体方法为：

步骤3.1：文本情绪词知识图谱构建；采用高性能的图形数据库及对应的结构化查询语言编程，构建文本词情绪知识图谱；Neo4j是一个高性能的图形数据库，在图谱存储中具有明显优势，Neo4j Server还提供了结构化的查询语言——Cypher，其具有简单易懂的语法，便于对图谱中的边和节点进行查询。因此，本实施例采用Neo4j构建文本词情绪知识图谱；

步骤3.1.1：实体抽取；对预处理后的文本情绪数据集的每条数据按行读取，提取出情绪词实体wordEntity和情绪子类实体categoryEntity，并构建文本情绪词实体wordEntity属性表和情绪子类实体categoryEntity属性表，为情绪子类实体分配全局唯一实体ID，加入情绪子类实体属性表；

本实施例中，按行读取文本情绪数据集的每条数据，将每行数据按照属性列分割。对分割的数据进行以下3部分操作：1)为每个文本情绪词分配全局唯一标识ID作为其实体ID号；2)检查文本情绪词emotionName是否与情绪子类有同名冲突，如果有直接舍弃该行数据，获取下一行数据；3)对每个情绪类别判断其是否存在于情绪子类categoryEntity实体属性表中，如果没有，为该情绪子类实体分配全局唯一实体ID，然后加入情绪类别实体；如果已经存在，则跳过这一步。循环读取，直至文本情绪词全部遍历完；

步骤3.1.2：将得到的文本情绪词实体wordEntity属性表和情绪子类实体categoryEntity属性表以csv格式存储；

步骤3.1.3：构建情绪大类(乐，好，怒，哀，惧，恶，惊)emotionEntity实体属性表；

步骤3.1.4：关系抽取；基于现有的本体模型，通过关系抽取算法实现对“子类关系”、“属于关系”、“相关关系”三种关系的抽取，从而形成三元组文件；

所述三元组文件中包括以下三元组：

<中心表情,子类关系，情绪大类>，即：

<情绪大类,子类关系，情绪子类>，即：

<情绪子类,属于关系，情绪词>，即：

<情绪子类,相关关系，情绪词>，即：

步骤3.1.5：使用数据库提供的或编写查询语句分别将三个属性表文件和三元组文件通过图谱结构形式进行表示，并为情绪大类，情绪子类和文本情绪词三类实体创建索引；本实施例使用Neo4j中的Cypher语句分别将三个属性表文件和三元组文件导入Neo4jServer，并为三类实体创建索引；

步骤3.2：非文本模态实体的嵌入及关系构建；在文本情绪知识图谱的基础上，对情绪词wordEntity实体属性表和情绪子类categoryEntity实体属性表通过全局唯一标识符嵌入另外两种模态情绪实体；对情绪大类emotionEntity实体属性表和情绪子类实体属性表categoryEntity分别嵌入预处理后的人脸图像数据集、动物表情数据集和社会媒体表情符号数据集中对应情感分类的全局唯一标识符，然后对情绪子类添加情感的描述信息；因为预处理后图像表情图谱在本体模型上与情绪知识图谱的本体模型相匹配，所以基于统一的本体模型分别将各种模态具体的实例进行嵌入来实现多模态实体的链接。具体方法为：

步骤3.2.1：对每幅人脸表情图像、动物表情图像和社交媒体表情符号创建全局唯一标识符(以ID+Category形式保存)；

步骤3.2.2：对步骤3.2.1得到的所有人脸表情图像、动物表情图像和社交媒体表情符号赋予全局唯一标识符组IdGroup，分别对情绪大类实体属性表和情绪子类实体属性表文件(emotionEntity.csv和categoryEntity.csv)的每条数据按行读取，将每行数据按照属性列进行分割，然后进行情绪实体的匹配、标识符分配以及描述信息的添加；

本实施例中，情绪实体的匹配、标识符分配以及描述信息的添加工作包括以下3步：1)对每个情绪实体，匹配IdGroup，添加其对应的子类情感ID；2)对已添加的子类情感实体分配全局唯一标识符；3)为已添加子类情感添加描述信息。循环读取每条数据，直至文件末尾；

步骤3.2.3：将步骤3.2.2中得到的嵌入了人脸和表情符号并添加了子类情绪描述信息的情绪大类实体属性表和情绪子类实体属性表以csv格式存储并输出；

本实施例中，非文本模态(即图像模态的3种形式)实体的嵌入及关系构建如图4所示。同时也需要说明的是，本实施例在多模态知识图谱构建时采用的途径是：首先应用Neo4j工具构建文本情绪知识图谱，在此基础上，对非文本模态资源基于统一的本体模型进行数据层的知识融合和实例层的关系链接。这是一种简洁且有效的途径，但在具体实施时，除Neo4j外，其它的知识图谱构建工具同样可以应用于此。

步骤4：构建多模态情绪知识图谱可视化网页，实现面向用户操作的人机交互；通过采用前端的文本标记语言和前端页面的元素渲染语言的编程来实现对多模态情绪知识图谱的节点、图谱的边、图谱实体属性信息的展示和渲染；在此基础上基于前端开发的脚本语言及查询语言实现图谱的用户交互功能；同时，通过图形可视化库增加知识图谱的动态效果，实现知识图谱的缩放、拖拽、聚焦这些可视化效果；

本实施例通过HTML5(一种前端的文本标记语言)和CSS3(一种前端页面的元素渲染语言)实现对图谱节点、图谱的边、图谱实体的属性信息的展示和渲染，在此基础上基于JavaScript(一种常用于前端开发的脚本语言)、DOM(操作HTML文档元素的官方API)以及jQuery(一种快速、简洁的JavaScript框架)实现图谱的用户交互功能。同时，本实施例还通过D3(图形可视化库)增加图谱的动态效果，实现图谱的缩放、拖拽、聚焦等可视化效果。本实施例中，多模态情绪知识图谱网页架构如图5所示；

步骤4.1：数据准备及处理；以文本、图像两种模态，文本、人脸表情、动物表情和社会媒体表情符号4种形式表示的知识图谱为数据源构建多模态知识图谱展示网页；多模态知识图谱展示网页通过向服务器端发出请求自动将知识图谱数据加载到页面中，然后通过前端文本标记语言(本实施例采用HTML5)和前端页面元素渲染语言(本实施例采用CSS3)编程对知识图谱的信息进行排版和渲染，从而呈现知识图谱的可视化效果；服务器端对不同模态知识图谱数据的操作具体如下：

步骤4.1.1：对文本情绪词的处理；一般在网页的数据请求中，数据以统一的数据交换格式进行传输，实现编程对象的表示以及该对象与数据之间的转换。通过脚本语言从文本情绪词实体属性表中提取情绪实体的属性信息并且转换成统一的数据交换格式，从而方便后续的数据请求和图谱的渲染；

本实施例中，网页的数据请求中，数据以JSON(一种轻量级的数据交换格式，具有可读性好、可扩展性强以及编码难度小的优点)进行传输，其可以实现JavaScript对象的表示以及JavaScript对象与JSON数据之间的转换。由于这个特性，JSON这种数据格式已成为网络数据传输的主要交换格式。本实施例通过python脚本语言从文本情绪词实体属性表中提取情绪实体的属性信息并且转换成对应的JSON格式数据，从而方便后续的数据请求工作和图谱的渲染工作。本实施例中，文本情绪词JOSN数据示例如图6所示；

步骤4.1.2：对人脸、动物表情图像和社交媒体表情符号的处理；这三类数据属于情绪图像类别，与情绪词一起构成多模态情绪实体，并通过全局标识符构成与情绪词的关系。通过对表情图像按情绪类别进行分类存储、添加标签，并且托管于云端服务器上；在用户访问多模态情绪知识图谱时，通过异步请求(本实施例采用Ajax异步请求)方式加载图像数据，并且对图像进行排版，以此来展示多模态的情绪知识；

步骤4.1.3：面向展示需求的定制；因为受到图谱中节点数量和节点之间边数量的制约，完整加载知识整个图谱需要用户具有强大的本地系统资源配置，如CPU、内存等资源。因此，为了呈现更舒适的用户体验和更流畅的可视化界面，本发明设计一种自动从源知识图谱中抽取数据均匀分布的小图谱方法，通过指定步长，按步长选取知识图谱中的节点，同时确保所有情绪类别均有节点被选中，从而实现从源知识图谱中抽取小图谱来进行可视化展示；

步骤4.2：网页用户界面(UI—User Interface)设计；本发明构建的网页基于优雅、美观的用户界面和丰富的客户端交流互功能需求对网页UI进行了设计与元素编排，实现图谱的节点和数据信息的完美展示，即保证了页面的简洁与层次分明，又兼顾了用户交互的需求。网页用户界面包括网页的名字、图谱的控制面板和使用操作提示、图谱节点和关系的展示画布以及图谱知识的信息栏；所述图谱知识的信息栏中包括文本情绪词的属性信息和与之对应的人脸表情图像信息和社交媒体表情信息；本实施例实现的多模态情绪知识图谱用户界面如图7所示；

步骤4.3：图谱节点渲染；采用如图8所示的圆圈和文字两种模式对图谱节点进行渲染和表示；其中，圆圈模式是可以调用现有的工具Neo4j进行展示，而文字模式则是本发明所特有的图谱展现模式，这种模式对于文本图谱的显示更加直观和便利；

步骤4.4：用户与网页展示界面交互操作功能设计；在多模态情绪知识图谱展示的基础上，设计用户操作功能，使用户通过鼠标操作，实现与网页展示界面的交互；具体用户操作功能如下：

步骤4.4.1：按情绪类别查看图谱；多模态情绪知识图谱实体展示形式包括：一方面使用户选择所要查看的形式(圆圈/文字)，另一方面，对四类情绪类别的实体节点通过设置节点开关的开或关控制相应情绪节点的显示(开)与隐藏(关)，使用户更加直观清晰地关注图谱中所需的定位；

步骤4.4.2：图谱缩放；通过调用缩放函数为图谱添加缩放功能，如图9所示，用户通过该功能来自动调整合适的尺寸以适应查看需求；

步骤4.4.3：图谱拖拽；当图谱中节点被拖拽时，首先找出当前被拖拽的节点，然后遍历图谱找到当前被拖拽的节点的所有相邻的节点和边，同时记录当前节点和相邻节点被拖拽后移动的距离，当拖拽动作结束后，更新被拖拽节点位置和相邻节点的位置，最后重新绘制图谱；

步骤4.4.4：图谱聚焦；通过事件的处理机制(本实施例采用JavaScript的事件处理机制)，实现图谱的聚焦，如图10所示；由于图谱的聚焦涉及多处节点和边的遍历操作，本发明还对图谱的遍历算法进行了优化以提高聚焦效率。用户通过鼠标悬停方式，选择需要查看的图谱中的任意节点，服务器端通过JavaScript对用户行为进行探测，将被鼠标悬停的节点信息和与之有直接相邻边的所有节点和边的信息作为目标知识图谱展示到用户端；

步骤4.4.5：图谱流体布局；基于图可视化开源工具库(本实施例采用D3图可视化开源工具库)对图谱实现流体力学的自动布局，用户每次对图谱进行拖拽之后，流体力学效果自动开启，通过节点之间的运动、挤压和碰撞使节点保持一定的距离，从而消除节点间相互重叠的影响；在对图谱进行自动调整时，通过模拟自然生活中的力，将其施加于图谱节点之间，以维持图谱之间节点位置的平衡，实现不重叠、不挤压、不溢出；

步骤4.5：网页部署；为了让更多用户和研究者使用并查看本发明所构建的多模态情绪知识图谱，通过将网页部署到云端来满足不同用户的访问需求，具体采用开源的网站搭建云平台，将构建的多模态情绪知识图谱网页部署在云平台上。Github Page是一个开源的网站搭建平台，其具有简单易用、网站自动托管和运维等优势，本实施例将构建的多模态情绪知识图谱网页部署在该平台上。

除图9、图10给出的图谱缩放和聚焦效果图外，步骤4中的其它功能，用户均可通过图7中的开关控制面板和操作提示进行操作并看到效果。同样需要说明的是，本实施例在可视化网页的构建和多模态情绪知识图谱展示时，采用了JavaScript及相关的开发工具。而实际上，遵循本发明方法给出的流程，采用其它开发工具同样可以实现相关功能。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (7)

1.一种多模态情绪知识图谱的构建及展示方法，其特征在于：包括以下步骤：

步骤1：多模态情绪知识图谱数据资源的获取；

收集、下载情绪词汇本体或词典、人脸表情和动物表情图像及社会媒体平台常用的表情符号；

步骤2：多模态情绪知识图谱数据资源预处理；对步骤1获取的文本和图像数据资源，分别进行预处理，使这些数据资源满足统一的抽象本体模型需求；

步骤3：多模态情绪知识图谱构建；基于文本情绪词、表情图像以及社交媒体表情符号的预处理结果，构建能够表达不同模态实体以及实体之间关系的多模态情绪知识图谱，具体方法为：

步骤3.1：文本情绪词知识图谱构建；采用图形数据库及对应的结构化查询语言编程，构建文本词情绪知识图谱；

步骤3.2：非文本模态实体的嵌入及关系构建；在文本情绪知识图谱的基础上，对情绪词实体属性表和情绪子类实体属性表通过全局唯一标识符嵌入另外两种模态情绪实体；对情绪大类实体属性表和情绪子类实体属性表分别嵌入预处理后的人脸图像数据集、动物表情数据集和社会媒体表情符号数据集中对应情感分类的全局唯一标识符，然后对情绪子类添加情感的描述信息；

步骤4：构建多模态情绪知识图谱可视化网页，实现面向用户操作的人机交互；通过采用前端的文本标记语言和前端页面的元素渲染语言的编程来实现对多模态情绪知识图谱的节点、图谱的边、图谱实体属性信息的展示和渲染；在此基础上基于前端开发的脚本语言及查询语言实现图谱的用户交互功能；同时，通过图形可视化库增加知识图谱的动态效果，实现知识图谱的缩放、拖拽、聚焦这些可视化效果；

步骤4.1：数据准备及处理；以文本、图像两种模态，文本、人脸表情、动物表情和社会媒体表情符号4种形式表示的知识图谱为数据源构建多模态知识图谱展示网页；多模态知识图谱展示网页通过向服务器端发出请求自动将知识图谱数据加载到页面中，然后通过前端文本标记语言和前端页面元素渲染语言编程对知识图谱的信息进行排版和渲染，从而呈现知识图谱的可视化效果；

步骤4.2：网页用户界面设计；网页用户界面包括网页的名字、图谱的控制面板和使用操作提示、图谱节点和关系的展示画布以及图谱知识的信息栏；所述图谱知识的信息栏中包括文本情绪词的属性信息和与之对应的人脸表情图像信息和社交媒体表情信息；

步骤4.3：图谱节点渲染；采用圆圈和文字两种模式对图谱节点进行渲染和表示；

步骤4.4：用户与网页展示界面交互操作功能设计；在多模态情绪知识图谱展示的基础上，设计用户操作功能，使用户通过鼠标操作，实现与网页展示界面的交互；

步骤4.5：网页部署；采用开源的网站搭建云平台，将构建的多模态情绪知识图谱网页部署在云平台上。

2.根据权利要求1所述的一种多模态情绪知识图谱的构建及展示方法，其特征在于：所述步骤1的具体方法为：

步骤1.1：文本情绪词资源获取；收集情绪词汇本体或词典；所述情绪词汇本体或词典中包括：情绪词、情绪大类、情绪强度以及情绪子类；

步骤1.2：人脸表情图像获取；一方面，收集人脸表情数据集，当已有类标签少于设定阈值时，进行手工标注；另一方面，采用半监督学习技术，基于已有的类标签和深度学习模型进行人脸表情识别，获得更多的人脸表情类标签，扩充人脸表情数据集；

步骤1.3：动物表情图像获取；通过收集和拍照方法获得动物表情图像数据，并基于文本情绪词的分类对动物表情类标签予以定义；在此基础上，还可以采用监督、半监督学习技术增加动物表情图像作为训练数据；

步骤1.4：社会媒体表情符号获取；从社会媒体开源网站下载表情符号数据及对应的类标签。

3.根据权利要求2所述的一种多模态情绪知识图谱的构建及展示方法，其特征在于：所述步骤2的具体方法为：

步骤2.1：文本情绪词预处理；

首先对文本情绪词数据集进行清洗，剔除不需要的属性列表和非典型类型情感词，填充缺失的属性值；然后对文本情绪词数据集进行随机mini-batch抽取并分表；

所述文本情绪词预处理后的结构为：<情绪词,情绪词类别,词义数量,情绪类别,情绪强度,情绪的情感倾向,辅助情绪类别>；

步骤2.2：人脸表情图像和动物表情图像预处理；

首先对人脸表情图像和动物表情图像进行归一化处理，保证相同的尺寸；同时，建立不同模态知识在本体层的统一，即使文本情绪类别实体与表情图像相关实体相匹配，最终完成对表情图像的补全和分类；

步骤2.3：社交媒体表情符号预处理；

对社交媒体表情符号进行归一化及与对应文本情绪词的匹配，使各类社交媒体表情符号保持统一的尺寸。

4.根据权利要求3所述的一种多模态情绪知识图谱的构建及展示方法，其特征在于：所述步骤3.1的具体方法为：

步骤3.1.1：实体抽取；对预处理后的文本情绪数据集的每条数据按行读取，提取出情绪词实体和情绪子类实体，并构建文本情绪词实体属性表和情绪子类实体属性表，为情绪子类实体分配全局唯一实体ID，加入情绪子类实体属性表；

步骤3.1.2：将得到的文本情绪词实体属性表和情绪子类实体属性表以csv格式存储；

步骤3.1.3：构建情绪大类实体属性表；

步骤3.1.4：关系抽取；基于现有的本体模型，通过关系抽取算法实现对“子类关系”、“属于关系”、“相关关系”三种关系的抽取，从而形成三元组文件；

所述三元组文件中包括以下三元组：

<中心表情,子类关系，情绪大类>，即：

<情绪大类,子类关系，情绪子类>，即：

<情绪子类,属于关系，情绪词>，即：

<情绪子类,相关关系，情绪词>，即：

步骤3.1.5：使用数据库提供的或编写查询语句分别将三个属性表文件和三元组文件通过图谱结构形式进行表示，并为情绪大类、情绪子类和文本情绪词三类实体创建索引。

5.根据权利要求4所述的一种多模态情绪知识图谱的构建及展示方法，其特征在于：所述步骤3.2的具体方法为：

步骤3.2.1：对每幅人脸表情图像、动物表情图像和社交媒体表情符号创建全局唯一标识符；

步骤3.2.2：对步骤3.2.1得到的所有人脸表情图像、动物表情图像和社交媒体表情符号赋予全局唯一标识符组IdGroup，分别对情绪大类实体属性表和情绪子类实体属性表文件的每条数据按行读取，将每行数据按照属性列进行分割，然后进行情绪实体的匹配、标识符分配以及描述信息的添加；

步骤3.2.3：将步骤3.2.2中得到的嵌入了人脸和表情符号并添加了子类情绪描述信息的情绪大类实体属性表和情绪子类实体属性表以csv格式存储并输出。

6.根据权利要求5所述的一种多模态情绪知识图谱的构建及展示方法，其特征在于：步骤4.1所述服务器端对不同模态知识图谱数据的操作具体为：

步骤4.1.1：对文本情绪词的处理；通过脚本语言从文本情绪词实体属性表中提取情绪实体的属性信息并且转换成统一的数据交换格式；

步骤4.1.2：对人脸、动物表情图像和社交媒体表情符号的处理；通过对表情图像按情绪类别进行分类存储、添加标签，并且托管于云端服务器上；在用户访问多模态情绪知识图谱时，通过异步请求方式加载图像数据，并且对图像进行排版；

步骤4.1.3：面向展示需求的定制；通过指定步长，按步长选取知识图谱中的节点，同时确保所有情绪类别均有节点被选中，从而实现从源知识图谱中抽取小图谱来进行可视化展示。

7.根据权利要求6所述的一种多模态情绪知识图谱的构建及展示方法，其特征在于：步骤4.4所述设计用户操作功能具体为：

步骤4.4.1：按情绪类别查看图谱；多模态情绪知识图谱实体展示形式包括：一方面使用户选择所要查看的形式，另一方面，对四类情绪类别的实体节点通过设置节点开关的开或关控制相应情绪节点的显示与隐藏；

步骤4.4.2：图谱缩放；通过调用缩放函数为图谱添加缩放功能；

步骤4.4.3：图谱拖拽；当图谱中节点被拖拽时，首先找出当前被拖拽的节点，然后遍历图谱找到当前被拖拽的节点的所有相邻的节点和边，同时记录当前节点和相邻节点被拖拽后移动的距离，当拖拽动作结束后，更新被拖拽节点位置和相邻节点的位置，最后重新绘制图谱；

步骤4.4.4：图谱聚焦；通过事件的处理机制，实现图谱的聚焦；用户通过鼠标悬停方式，选择需要查看的图谱中的任意节点，将被鼠标悬停的节点信息和与之有直接相邻边的所有节点和边的信息作为目标知识图谱返回服务器端；

步骤4.4.5：图谱流体布局；基于图可视化开源工具库对图谱实现流体力学的自动布局。

Images