CN117035081B

CN117035081B - 一种多元多模态知识图谱的构建方法及装置

Info

Publication number: CN117035081B
Application number: CN202311298515.XA
Authority: CN
Inventors: 王永恒; 金雄男; 段曼妮; 王亚鸽; 张璠璠; 王炳钰; 王智; 魏明雅; 贾琼莹; 施明君; 傅四维; 巫英才
Original assignee: Zhejiang Lab
Current assignee: Zhejiang Lab
Priority date: 2023-10-09
Filing date: 2023-10-09
Publication date: 2024-01-26
Anticipated expiration: 2043-10-09
Also published as: CN117035081A

Abstract

本说明书公开了一种多元多模态知识图谱的构建方法及装置，本方法可以确定用户通过预设的交互界面创建出的概念树，而后，确定用户针对概念树中的每个概念创建出的实体，并确定用户在该交互界面中选取的实体作为目标实体，根据目标实体所对应的目标概念以及所述概念树中所述目标概念对应的祖先概念，确定与目标实体相关的至少一个关系，确定用户从至少一个关系中选取出的目标关系，并确定用户针对目标实体选取出的邻居实体，以构建出目标实体与邻居实体之间的目标关系，邻居实体为目标实体的前置实体或后置实体，通过构建得到的各实体之间的关系，构建得到知识图谱并向用户进行展示，从而本方法提高了用户通过系统构建知识图谱的效率。

Description

一种多元多模态知识图谱的构建方法及装置

技术领域

本说明书涉及计算机网络技术领域，尤其涉及一种多元多模态知识图谱的构建方法及装置。

背景技术

知识图谱作为结构化人类知识的一种形式，被广泛采用于人工智能相关的下游应用中，例如问答系统、推荐系统、信息检索等。

现有图谱构建技术存在设置和定义过程复杂繁琐的问题，虽有一些可视化的本体构建方法，能适度降低了本体模型创作的门槛，但仍对用户有较高的专业程度要求，本发明提供了简洁方便的设置和定义方法。

现有图谱构建工具进行复杂的查询和操作时，往往需要编在代码中调用编程接口，因此需要进行频繁的切换页面操作。本发明提供的图谱构建方式在操作中不需要频繁切换界面，有利于保证思维的一致性。

发明内容

本说明书提供一种多元多模态知识图谱的构建方法及装置，以部分的解决现有技术存在的上述问题。

本说明书采用下述技术方案：

本说明书提供了一种多元多模态知识图谱的构建方法，包括：

确定用户通过预设的交互界面创建出的概念树，所述概念树用于表示各概念之间的继承关系；

确定用户针对所述概念树中的每个概念创建出的实体；

确定用户在所述交互界面中选取的实体作为目标实体，根据所述目标实体所对应的目标概念以及所述概念树中所述目标概念对应的祖先概念，确定与所述目标实体相关的至少一个关系；

确定用户从所述至少一个关系中选取出的目标关系，并确定用户针对所述目标实体选取出的邻居实体，以构建出所述目标实体与所述邻居实体之间的目标关系，所述邻居实体为所述目标实体的前置实体或后置实体；

通过构建得到的各实体之间的关系，构建得到知识图谱并向用户进行展示。

可选地，针对所述概念树中的每个概念，该概念所对应的概念属性包括该概念所对应的自有属性，以及继承自所述概念树中该概念对应的祖先概念的继承属性。

可选地，确定用户从所述至少一个关系中选取出的目标关系，并确定用户针对所述目标实体选取出的邻居实体，以构建出所述目标实体与所述邻居实体之间的目标关系之前，所述方法还包括：

确定用户从所述概念树中选取出的第一概念，作为前置概念，以及确定用户从所述概念树中选取出的第二概念，作为后置概念；

确定用户针对所述第一概念与所述第二概念之间构建的关系，并确定所述用户针对所述关系添加的关系属性，所述关系属性包括所述构建的关系对应的关系产生时间、关系产生地点以及关系概率中的至少一种。

可选地，属性支持多模态数据，包括：string, int, float, datetime,longitude, latitude, image, file，分别对应为字符串，整数，浮点数，时间，经度，纬度，图片，文件类型，所述属性包括概念属性和/或关系属性。

可选地，根据所述目标实体所对应的目标概念以及所述概念树中所述目标概念对应的祖先概念，确定与所述目标实体相关的至少一个关系，具体包括：

将用户针对所述目标实体所对应的目标概念创建出的关系、以及用户针对所述概念树中所述目标概念的祖先概念创建出的关系，作为与所述目标实体相关的至少一个关系。

可选地，所述方法还包括：

在接收到用户针对知识图谱的操作请求时，确定所述用户的用户类型；

根据所述用户类型，确定所述用户是否针对所述知识图谱拥有编辑权限；

若所述用户针对所述知识图谱拥有编辑权限，确定所述知识图谱是否为编辑状态，若所述知识图谱不为编辑状态，将所述知识图谱设置为编辑状态并接收所述用户针对所述知识图谱的编辑操作，否则，向所述用户展示所述知识图谱的预览页面。

可选地，所述用户类型包括创建者、开发者、管理员、游客，创建者和开发者对图谱有编辑权限，创建者可以将创建的图谱共享给其他用户，创建者对所创建的图谱拥有一切操作权限（增删改查、发布等）；当共享给开发者时，开发者可以对图谱内容进行编辑、预览查看，但无发布权限；当共享给管理员或者游客时，两者可以对图谱内容进行可视化预览查看，但无其他权限。图谱创建者可以将图谱共享给多个开发者，实现图谱的协同构建。

本说明书提供了一多元多模态知识图谱的构建装置，包括：

概念确定模块，用于确定用户通过预设的交互界面创建出的概念树，所述概念树用于表示各概念之间的继承关系；

实体确定模块，用于确定用户针对所述概念树中的每个概念创建出的实体；

关系确定模块，用于确定用户在所述交互界面中选取的实体作为目标实体，根据所述目标实体所对应的目标概念以及所述概念树中所述目标概念对应的祖先概念，确定与所述目标实体相关的至少一个关系；

关系建立模块，用于确定用户从所述至少一个关系中选取出的目标关系，并确定用户针对所述目标实体选取出的邻居实体，以构建出所述目标实体与所述邻居实体之间的目标关系，所述邻居实体为所述目标实体的前置实体或后置实体；

展示模块，用于通过构建得到的各实体之间的关系，构建得到知识图谱并向用户进行展示。

本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述多元多模态知识图谱的构建方法。

本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述多元多模态知识图谱的构建方法。

本说明书采用的上述至少一个技术方案能够达到以下有益效果：

从上述多元多模态知识图谱的构建方法中可以看出，确定用户通过预设的交互界面创建出的概念树，概念树用于表示各概念之间的继承关系，而后，确定用户针对概念树中的每个概念创建出的实体，确定用户在该交互界面中选取的实体作为目标实体，根据目标实体所对应的目标概念以及所述概念树中所述目标概念对应的祖先概念，确定与目标实体相关的至少一个关系，确定用户从至少一个关系中选取出的目标关系，并确定用户针对目标实体选取出的邻居实体，以构建出目标实体与邻居实体之间的目标关系，邻居实体为目标实体的前置实体或后置实体，通过构建得到的各实体之间的关系，构建得到知识图谱并向用户进行展示。

从上述内容中可以看出，在本方法中，用户构建了概念树和实体后，可以在同一个交互界面中选取出实体并直接为该实体构建出关系，并且，在构建关系时，可以参考概念数据中各概念之间的继承关系，即，可以参考实体对应的概念，以及在概念树中该概念继承的祖先概念相关的关系，来构建该实体与其他实体之间的关系，并且，在用户为各个实体之间构建出关系后，系统可以整合出知识图谱为用户进行展示，从而本方法提高了用户通过系统构建知识图谱的效率。

附图说明

此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：

图1为本说明书提供的一种多元多模态知识图谱的构建方法的流程示意图；

图2为本说明书中提供的一种用于图谱构建的系统的结构示意图；

图3为本说明书提供的一种交互界面中概念与实体的示意图；

图4为本说明书中提供的一种本体模型三元组的示意图；

图5为本说明书中提供的一种本体模型三元组实例化后的示意图；

图6为本说明书中提供的一种概念、实体之间的关系的示意图；

图7为本说明书提供的一种概念树的示意图；

图8为本说明书提供的一种交互界面中关系配置模块的示意图；

图9为本说明书提供的一种交互界面中实体之间的关系的示意图；

图10为本说明书提供的一种交互界面中构建实体之间的关系的示意图；

图11为本说明书中提供的一种构建知识图谱的示意图；

图12为本说明书中提供的一种知识图谱查看模块的示意图；

图13为本说明书提供的一种用户协同构建知识图谱的步骤示意图；

图14为本说明书提供的一种多元多模态知识图谱的构建装置示意图；

图15为本说明书提供的对应于图1的电子设备示意图。

具体实施方式

为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。

以下结合附图，详细说明本说明书各实施例提供的技术方案。

图1为本说明书中提供的一种多元多模态知识图谱的构建方法的流程示意图，具体包括以下步骤：

S100：确定用户通过预设的交互界面创建出的概念树，所述概念树用于表示各概念之间的继承关系。

S102：确定用户针对所述概念树中的每个概念创建出的实体。

S104：确定用户在所述交互界面中选取的实体作为目标实体，根据所述目标实体所对应的目标概念以及所述概念树中所述目标概念对应的祖先概念，确定与所述目标实体相关的至少一个关系。

S106：确定用户从所述至少一个关系中选取出的目标关系，并确定用户针对所述目标实体选取出的邻居实体，以构建出所述目标实体与所述邻居实体之间的目标关系，所述邻居实体为所述目标实体的前置实体或后置实体。

S108：通过构建得到的各实体之间的关系，构建得到知识图谱并向用户进行展示。

在本说明书中提供用于图谱构建的系统，该系统为用户提供图形化界面来构建知识图谱。

图2为本说明书中提供的一种用于图谱构建的系统的结构示意图。

如图2所示，所述系统可以包含图形用户界面 (GUI: Graphical UserInterface)人机交互模块、可视化交互模块、数据转化模块、数据查询模块、数据下载模块、数据导入模块、数据存储模块。系统中，构建知识图谱的功能主要由GUI人机交互模块和可视化交互模块实现，以GUI人机交互模块为主、可视化交互模块为辅，两者作为输入模块与数据转化模块、数据下载模块、数据导入模块、数据存储模块相连。GUI人机交互模块提供用户构建知识图谱的人机交互界面，可视化交互模块提供用户可视化构建本体模型三元组、构建本体模型三元组的实例化载体、整个图谱文件的可视化操作界面（包含画布）。所述数据下载模块、数据导入模块提供用户快速下载图谱文件、导入图谱文件的功能。

系统可以确定出用户通过预设的交互界面创建出的概念树，该概念树用于表示各概念之间的继承关系，这里提到的概念可以用于创建为知识图谱中节点对应的实体，将概念实例化即为实体。

例如，概念可以为人，则对应的实体为具体的人，如李雷、韩梅梅；再例如，概念为行业，则对应的实体可以为教育行业。

在本说明书中，概念树可以表示出概念之间的继承关系，即，一个概念可以存在有父概念和子概念，例如，行政区划这一概念下的子概念可以为省这一概念，而省这一概念下的子概念可以为市区这一概念，需要说明的，对于市区，行政区划与省均可以称之为其的祖先概念，对于行政区划这一概念，省与市区可以被称之为其的子孙概念。

而后，可以确定出用户针对概念树中每个概念创建出的实体，在用户在概念下构建出实体后，可以查看到实体列表，如图3所示。

图3为本说明书提供的一种交互界面中概念与实体的示意图。

从图3中可以看出用户可以针对一个概念创建多个概念属性，在创建概念下的实体时，可以填充概念属性，以得到实体。

需要说明的是，概念对应有概念属性，关系对应有关系属性，属性支持多模态数据，包括：string, int, float, datetime, longitude, latitude, image, file，分别对应为字符串，整数，浮点数，时间，经度，纬度，图片，文件类型，所述属性包括概念属性和/或关系属性。

而后，用户可以从交互界面的实体列表中选取出目标实体，系统可以根据目标实体所对应的目标概念以及概念树中目标概念对应的祖先概念，确定与该目标实体相关的至少一个关系，用户可以从至少一个关系中选取出目标关系，以及针对目标实体选取出邻居实体，以构建出目标实体与邻居实体之间的目标关系，邻居实体为目标实体的前置实体或后置实体。系统通过用户构建出的各实体之间的关系，可以构建得到知识图谱向用户进行展示。

需要说明的是，用户需要先构建概念之间的关系，再基于概念之间的关系，构建实体之间的关系。

可以确定用户从概念树中选取出的第一概念，作为前置概念，以及确定用户从概念树中选取出的第二概念，作为后置概念，而后，确定用户针对所述第一概念与第二概念之间构建的关系，并确定用户针对该关系添加的关系属性，关系属性可以包括构建的关系对应的关系名称、关系产生时间、关系产生地点以及关系概率等，从图3中可以看出，用户针对人和行业两个概念之间添加了从事关系，人为前置概念，行业为后置概念。

这样一来，在后续，可以通过上述方式为概念相关的实体添加关系。

需要说明的是，概念之间的关系可以实现继承，即，在用户针对一个实体创建关系时，不仅可以创建该实体所对应的概念相关的关系，还可以创建该实体所对应的概念的祖先概念相关的关系。

即，可以将用户针对目标实体所对应的目标概念创建出的关系、以及用户针对概念树中所述目标概念的祖先概念创建出的关系，作为与该目标实体相关的至少一个关系，而后，用户可以针对目标实体从确定出的至少一个关系中选取出一个关系为该目标实体进行创建。

在本发明中，涉及到的三元组名词，有本体模型三元组和资源描述框架 (RDF:Resource Description Framework) 三元组，其中本体模型三元组是＜前置概念、关系、后置概念＞三元组，本体模型三元组实例化之后是＜前置实体、关系、后置实体＞三元组，RDF三元组是一种底层数据存储结构。

在本发明中，可以将知识图谱构建分解成本体模型三元组的构建及实例化，本体模型三元组的构成如图4所示。

图4为本说明书中提供的一种本体模型三元组的示意图。

图5为本说明书中提供的一种本体模型三元组实例化后的示意图。

图6为本说明书中提供的一种概念、实体之间的关系的示意图。

本体模型三元组的实例化构成如图5所示。将本体模型三元组的构建及实例化分析分解到基础元素的构建：即概念、实体的创建（概念、实体之间的关系如图6所示），再基于概念构建关系（一个关系包含前置概念和后置概念，一个关系就是一个本体模型三元组），基于概念、实体和关系再去构建关系实体（一个关系实体包含前置实体和后置实体，一个关系实体就是一个本体模型三元组的实例化）。

系统中预先定义了用户添加概念、实体、关系、关系实体的数据存储格式，以概念树、关系树、实体列表、给实体添加前后置关系的形式逐步构建基础元素。用户可以根据三元组的构成元素，按照概念、实体、关系、关系实体的创建步骤，一步一步非常直观的完成本体模型三元组的构建及其实例化，最终所述系统自动将所有三元组组合成为一份知识图谱文件。

在本发明中，以树形结构组织并展示概念元素，统称为概念树，如图3所示。其中概念的数据存储定义包括概念ID、概念名称、概念属性集、父概念节点ID，具体定义如下：

{

"id": "concept1",

"name": "概念1",

"parentId": "conceptRoot",

"attributeList":

[

{

"id": "attribute1",

"name": "属性1",

"domainId": "concept1",

"comment": {

"type": "STRING",

"optional": false,

"multiple": false,

"validation": "$validation_operend_json",

"inherit": true

}

},

...

],

}

其中，id是概念的唯一标识符，name是概念的名称，parentId是概念的父概念的唯一标识符，attributeList是概念的属性列表。

从概念的数据定义中可以看出，每一个概念都有父概念，通过这种父子关系，可以构造一个如图7所示的概念树。

图7为本说明书提供的一种概念树的示意图。

每个概念的数据定义都包括概念属性集，所述系统中，以属性表格的形式直观的为用户展示概念属性集。属性的数据存储定义具体如下：

{

"id": "attribute1",

"name": "属性1",

"domainId": "concept1",

"comment": {

"type": "STRING",

"optional": false,

"multiple": false,

"validation": {

"type":"number",

"min":1,

"max":300

}，

"inherit": true

}

其中，id是属性的唯一标识符，name是属性名称，domainId是属性所属概念，表明这个属性是定义在哪一个概念上的，comment中，type是属性的类型，optional指定属性是否为必填项，multiple指定属性是否为多值，validation是属性值的校验规则（比如int类型数据，支持值范围校验，为之后的知识图谱属性检测提供系统检测依据。在用户主动触发知识图谱属性检测之后，系统在检测异常的属性之后，会在属性表格中以红色提示色标识异常属性。），inherit是指属性是否继承。

在本发明中，系统基于树结构实现了两种继承，分别是属性继承和关系继承，这里先介绍一下属性继承。系统基于概念树实现了概念属性的继承。概念树是树结构，每一个概念都可以找到他的所有祖先概念。对于所有祖先概念中的属性定义，可以根据如下方法得到属性继承信息：属性的定义按照json格式存放在RDF三元组中，再从RDF三元组中提取已保存的属性，根据json格式进行解析，可以得到对应属性是否需要继承的信息（inherit值）。基于以上方法，可以获取所有继承属性。

举例说明，如图7所示，概念1是概念2的父概念，概念1上定义了属性1，概念2定义了属性2，属性1的inherit值设置为true表明其可以被继承，那么概念2的属性共有两个，分别为继承自概念1的属性1以及自身定义的属性2。概念4的属性也是两个，分别为继承自概念1的属性1及自身定义的属性3。通过这种概念的树形结构以及属性中的inherit值，实现了属性继承。此外，当祖先概念的属性定义与概念本身定义的属性相同时，优先展示本身定义的属性而抛弃继承来的属性。

基于上述继承体系，系统中将概念属性分为自有属性、继承属性两种类型。自有属性：是指概念本身添加的属性，归属于概念本身，用户可以对自有属性进行编辑、复制、删除、继承/取消继承等操作；继承属性：是指概念的自有属性在经过数据继承转化装置之后，所有后代子概念都会自动继承该自有属性，概念的所有后代子概念所拥有的该属性称为继承属性，用户可以对继承属性进行复制、追溯、转为自有等操作。在本发明中，基于属性继承模块，概念和关系的属性集均包括了自有属性和继承属性。在操作概念属性时，比如新建保存、删除、继承/取消继承等操作时，首先通过数据转化模块更新概念在浏览器中的临时数据存储，接着再将临时数据存储中的整个概念的数据定义作为数据输入，输入到数据持久化模块中，实时进行存储。其他操作比如复制、追溯等操作，是通过数据转化模块更新概念在浏览器中的临时数据存储，方便用户更加直观的管理概念属性。

在本发明中，属性值支持多模态数据，系统中预置的类型有string, int, float,datetime, longitude, latitude, image, file。分别对应为字符串，整数，浮点数，时间，经度，维度，图片，文件类型。具体数据定义如下所示：

string类型格式：

{

"type":"string",

"value":"ssssss"

}

int类型格式：

{

"type":"long",

"value":66

}

float类型格式：

{

"type":"double",

"value":1.11

}

longitude类型格式：

{

"type":"longitude",

"value":30.12

}

latitude类型格式：

{

"type":"latitude",

"value":55.43

}

以上几种格式中，type存放数据类型，value存放属性值。

datetime类型格式：

{

"type":"dateTime",

"value":1681960489000,

"timeFormat":"yy-MM-dd HH:mm:ss",

"timeString":"2023-04-20 11:14:49"

}

时间类型结构中，type存放数据类型，value存放对应时间的时间戳，timeFormat存放时间格式，timeString存放属性值。读取时间类型的属性值时，先从RDF三元组中取出timeString的值，再根据特定的时间格式timeFormat对其进行解析，得到对应的时间数据。

image类型格式：

{

"type":"image",

"fileInfo":{

"name":"图片.png",

"fileSource":{

"type":"minio",

"bucket":"nebula-knowledge-graph",

"object":"BATQLRaDKzvtlurm"

}

file类型格式：

{

"type":"file",

"fileInfo":{

"name":"表格.csv",

"fileSource":{

"type":"minio",

"bucket":"nebula-knowledge-graph",

"object":"IiYcJQXerIzcnVjy"

}

以上两种格式中，type是数据类型，fileInfo中存放文件信息，其中name是文件名或者图片名，fileSource是文件存放目录,文件与图片实际存放于minIO之中。其中type是存放方式；bucket和object是文件在minIO中具体的存放目录。

在本发明中，概念树中的每个概念都对应一份实体列表，每个实体都是概念的实例化，实体会自动拥有概念定义的所有属性。一个实体的数据存储定义包括实体ID、实体名称、实体属性集、所属的概念的ID。选择概念树中的某个概念，在输入框中定义一个实体名称，鼠标失去焦点即可调用数据转化模块更新浏览器中的临时数据存储，接着调用数据持久化模块，实时存储实体定义。系统自动将实体的所属概念ID作为输入，输入到数据查询模块，实时获取实体属性集并以属性表格的形式展示出来，用户可以根据属性的数据定义（包括属性名称、是否必填、数据类型、单/多值、校验方式、校验标准）完成属性内容的填写，每个属性内容的填写都会直接调用数据转化模块更新浏览器中的临时数据存储，接着将临时数据存储中的整个实体数据定义作为输入，输入到数据持久化模块，实时进行存储。

如图9所示，概念配置模块包含上述概念树、概念属性集、实体列表、实体属性集等子模块。

在本发明中，以树形结构组织并展示关系元素，统称为关系树，如图5所示。关系的数据存储定义包括关系ID、关系名称、前置概念ID、后置概念ID、关系属性集、父关系节点ID。在关系树模块，用户可以很直观方便的管理所有的关系元素，包括新建、修改、删除等。触发这些操作会首先通过数据转化模块去更新浏览器中的临时数据存储，再将临时数据存储中的整个概念的数据定义作为数据输入，输入到数据持久化模块中，实时进行存储。每个关系对应一份关系属性表，在本发明中，关系属性和概念属性保持一致，对应的数据转化装置、数据查询装置、数据持久化装置会有略微差别。

在传统图谱中，关系不支持添加属性定义。为了解决这个问题，本发明在RDF三元组之上重新定义了关系的存储结构和它们连接实体的方式。为了区别关系的定义与实际连接两个实体的关系，所述系统中定义前者为关系（一个关系包含前置概念和后置概念，一个关系就是一个本体模型三元组），定义后者为关系实体（一个关系实体包含前置实体和后置实体，一个关系实体就是一个本体模型三元组的实例化）。一个关系的逻辑描述可以表示为

{

"id": "relation1",

"name": "关系1",

"attributeList": [

{

"id": "attribute1",

"name": "属性1",

"domainId": "relation1",

"comment": {

"type": "STRING",

"optional": false,

"multiple": false,

"validation": "$validation_operend_json",

"inherit": false

}

},

...

],

"parentId": "rootRelation",

"transferable": "true",

"symmetrical": "false",

"preConceptId": "concept1",

"postConceptId": "concept2"

}

其中，id是关系的唯一标识符，name是关系的名称，attributeList是关系的属性列表（属性的结构和概念属性定义保持一致），parentId是关系的父关系概念id，transferable是关系的传递性，symmetrical是关系的对称性，preConceptId是关系的前置概念id，postConceptId是关系的后置概念id。存放关系时，属性单独存放，属性中的domainId记录属性所属关系的唯一标识符，以此将关系与属性进行关联。在读取已保存的关系时，需要将与之相连的属性一并读取且填充到关系的属性列表中形成完整的关系数据。

一个关系实体的逻辑描述可以表示为

{

"id": "relationIndividual1",

"relationId": "relation1",

"attributeValueList": [

{

"individualId": "relationIndividual1",

"attributeId": "attribute1",

"value": "属性值1"

},

...

],

"preIndividualId": "individual1",

"postIndividualId": "individual2"

}

其中，id是该关系实体的唯一标识符，relationId是该关系实体对应的关系的唯一标识符，attributeValueList是关系中定义的属性集的属性值列表，其中individualId是该属性值属于哪一个关系实体；attributeId是属性；value是该属性的属性值，preIndividual是前置实体，该实体所属概念是关系中的前置概念或前置概念的子孙概念（这里用到了继承体系中的关系继承），postIndividual是后置实体，该实体所属概念是关系中的后置概念或后置概念的子孙概念（这里用到了继承体系中的关系继承）。对于常规知识图谱来讲，实体与实体之间是通过关系直接连接的，不支持挂靠属性集，在本发明中，所述系统通过关系实体的方式，实现了属性集的挂靠。

在本发明中，统一使用树结构组织概念元素、关系元素，统一使用属性表组织概念属性集、关系属性集、实体属性集、关系实体属性集，从用户使用角度来看，学习成本低，交互操作统一，构建图谱更加高效快捷。

图8为本说明书提供的一种交互界面中关系配置模块的示意图。

如图8所示，关系配置模块包含关系树、关系属性集、关系可视化交互配置子模块。

关系是本体模型三元组中两个概念之间的关系，是把概念组织起来的桥梁纽带，如图4所示。在定义关系时，需要定义前置概念、后置概念。在关系配置模块中，除了关系树的组织形式，所述系统还提供了可视化交互模块来展示每个关系所在的三元组，该可视化交互模块包括点、点之间的连线，其中点代表概念、线代表概念之间的关系。如图8所示，用户可以直接在该可视化交互模块上，右键点击关系连线触发关系的修改、删除等操作。

在本发明中，系统基于树结构实现了两种继承，分别是属性继承和关系继承，这里介绍一下关系继承。如上所述每一个关系都包含一个前置概念和一个后置概念，而在概念树中，每个概念都有n个子概念，则关系继承使得系统的（前置概念及其所有子概念-关系-后置概念及其所有子概念）天然成立。比如定义了(行政区划-设立-机构)，行政区划概念下的所有子概念和机构概念下的所有子概念，都满足设立这一关系，比如（省-设立-市场监督机构）、(市-设立-工商机构)等。从另外一个角度来看，在寻找某个概念的前/后置关系时，首先需要在概念树中找到该概念的所有祖先概念，然后找出这些祖先概念所涉及到的所有前/后置关系，加上该概念本身定义的前/后置关系，形成该概念完整的前/后置关系集合。因此，在寻找某个概念的前/后置关系时，首先需要找到该概念的所有祖先概念，然后找出这些祖先概念定义的前/后置关系，加上该概念本身定义的前/后置关系，形成该概念完整的前/后置关系。关系继承的实现，减少了用户非常大的重复定义工作，极大的提升用户构建知识图谱的效率。

构建完成关系树，就完成了本体模型三元组的构建。下一步，继续进行本体模型三元组的实例化。

如图5所示，关系实体，即本体模型三元组的实例化。在所述系统中，就是将（前置概念—关系—后置概念）三元组，实例化为（前置实体—关系—后置实体）三元组。在这里前置和后置都是相对而言，一个关系的入点，系统统称为前置，一个关系的出点，统称为后置。关系实体的数据存储定义为：实例化关系ID、关系ID、前置实体ID、后置实体ID、实例化关系名称、实例化关系属性集。所述系统中，选择概念树的某一概念，系统自动触发数据查询装置，获取对应的实体列表。

图9为本说明书提供的一种交互界面中实体之间的关系的示意图。

图10为本说明书提供的一种交互界面中构建实体之间的关系的示意图。

如图9所示，选择某一实体，所述系统在这里也提供了可视化交互模块，以点、线的形式展示关系实体。右键点击该实体点，新增前置关系或者后置关系，右键点击关系连线，可以编辑关系属性集、删除关系等。

在图10中选中了人概念下的李雷实体，如图10所示，可以点击实体右侧相关的按钮，为其添加关系，即，在图10中可以点击李雷右侧的“...”来进行关系的添加，在添加关系时可以选择前置实体或后置实体以及关系，在图10中未体现出，用户在为实体添加关系时，可以先选择是添加前置关系（前置实体指向该实体的关系）还是后置关系（该实体指向后置实体的关系），若是选择的是前置关系，则可以直接选择前置实体，若是选择的是后置关系，则可以直接选择后置实体，图10中选择是的前置关系。

在新增前置关系或者后置关系时，系统自动触发数据查询装置，获取该实体可配置的前置关系或者后置关系（如上所述，通过关系继承，找到该实体可配置的所有前置或者后置关系），用户选择对应的前后置关系后，系统再次自动触发数据查询装置获取该关系实体可选择的前后置实体列表。在上述关系实体配置完成之后，用户主动点击触发系统的数据转化装置，更新关系实体在浏览器中的临时数据存储，接着系统自动调用数据持久化装置，实时进行存储。

图11为本说明书中提供的一种构建知识图谱的示意图。

所述系统，构建知识图谱的过程如图11所示。在概念配置模块，新建概念形成概念树；在概念配置模块，新建实体形成实体列表；在关系配置模块，新建关系形成关系树，完成本体模型三元组的构建；在概念配置模块的可视化交互模块，配置实体前后置关系，完成本体模型三元组的实例化构建；综上步骤，完成知识图谱的构建。

图谱构建完成之后，所述系统提供了知识图谱查看模块。

图12为本说明书中提供的一种知识图谱查看模块的示意图。

在本发明中，知识图谱查看模块即整个图谱文件的可视化交互模块，如图12所示，该模块以点、线的形式可视化展示上述构建完成的知识图谱文件。所有的概念元素、实体都以点的形式展示，所有的关系、关系实体都以线的形式展示。图12中HasType为具有类型，subClass为继承，需要说明的是，概念元素点和实体点的可视化展示可以使用颜色体系进行区分。

如图12所示，鼠标hover到概念点、实体点、实体间关系连线时，弹出信息面板并自动触发系统的数据查询功能，用户可以通过信息面板快速浏览图谱详细内容。所述系统提供快速检索概念、实体、关系、属性值等的功能，用户输入关键词之后，主动触发系统的数据查询功能，在成功获取查询结果之后，画布快速渲染出查询结果对应的可视化图谱。所述系统提供图谱快速筛选功能，支持以概念类别、关系类别交叉筛选，用户勾选某些概念、关系的复选框之后，主动触发系统的数据查询功能，在成功获取查询结果之后，画布快速渲染出查询结果对应的可视化图谱。所述系统支持网格、流程图、力导、辐射等多样的知识图谱布局，用户可以主动触发切换图谱布局，以多种形态查看图谱。

在本发明系统中，颜色体色以第一层级的概念元素为主，即概念树根节点下面的子概念元素节点为主，比如根节点下面有10个子概念元素，则系统自动分配10种色系，每一种色系下面又分为4种颜色，分别为概念元素填充色、概念元素描边色、实体填充色、实体描边色。在概念树中，根节点统一使用灰色显示，系统为第一层级子概念元素分配颜色，第一层级子概念的所有后代概念自动继承第一层级子概念的颜色（概念元素填充色、概念元素描边色），概念对应的实体自动继承概念的颜色（实体填充色、实体描边色）。在本发明系统中，所有图谱可视化交互模块均按照这个颜色体系渲染节点。

图谱构建完成之后，所述系统支持用户一键触发数据下载装置，获取图谱的W3CWeb Ontology Language (OWL)文件，同时所述系统也支持用户一键触发数据导入装置，系统将导入并解析OWL格式的图谱文件。

图13为本说明书提供的一种用户协同构建知识图谱的步骤示意图。

协同构建模块，在所述系统中，用户角色分为创建者、开发者、管理员、游客四种角色，只有创建者和开发者对图谱有编辑权限。创建者可以将创建的图谱共享给其他用户，创建者对所创建的图谱拥有一切操作权限（增删改查、发布等）；当共享给开发者时，开发者可以对图谱内容进行编辑、预览查看，但无发布权限；当共享给管理员或者游客时，两者可以对图谱内容进行可视化预览查看，但无其他权限。图谱创建者可以将图谱共享给多个开发者，实现图谱的协同构建。在协同构建图谱时，用户首先请求编辑图谱，系统会经过两次判断，第一次判断用户是否拥有编辑图谱的权限，第二次判断当前图谱是否正在被其他用户编辑。

对于第一次判断，用于记录用户对于某个图谱的权限信息的表结构定义如下：

其中，user_id代表用户id, knowledge_graph_id代表图谱id, role_id代表权限信息。

服务端收到请求后会到该表中搜索对应用户id对于请求编辑图谱id的编辑权限，即根据user_id和knowledge_graph_id请求role_id。没有编辑权限的用户直接跳转预览页面。

对于第二次判断，新增cache，cache的key是图谱的id，cache的value是用户id。当用户对图谱进行编辑时，在cache中设置图谱id以及正在编辑的用户id，代表图谱正在编辑，设置失效时间为两分钟（用户两分钟没有操作当作用户退出编辑态）。当用户请求编辑图谱时，在cache中查询对应的图谱id，如果有且用户id与cache中存放的正在编辑的用户id不一致，说明图谱正在被其他用户编辑，当前请求编辑图谱的用户需要跳转预览页面。如果没有，说明没有用户编辑图谱，cache中设置图谱id与用户id，用户进入编辑态。流程图如图13所示。

以上为本说明书的一个或多个实施例提供多元多模态知识图谱的构建方法，基于同样的思路，本说明书还提供了多元多模态知识图谱的构建装置，如图14所示。

图14为本说明书提供的一种多元多模态知识图谱的构建装置示意图。

概念确定模块1401，用于确定用户通过预设的交互界面创建出的概念树，所述概念树用于表示各概念之间的继承关系；

实体确定模块1402，用于确定用户针对所述概念树中的每个概念创建出的实体；

关系确定模块1403，用于确定用户在所述交互界面中选取的实体作为目标实体，根据所述目标实体所对应的目标概念以及所述概念树中所述目标概念对应的祖先概念，确定与所述目标实体相关的至少一个关系；

关系建立模块1404，用于确定用户从所述至少一个关系中选取出的目标关系，并确定用户针对所述目标实体选取出的邻居实体，以构建出所述目标实体与所述邻居实体之间的目标关系，所述邻居实体为所述目标实体的前置实体或后置实体；

展示模块1405，用于通过构建得到的各实体之间的关系，构建得到知识图谱并向用户进行展示。

可选地，确定用户从所述至少一个关系中选取出的目标关系，并确定用户针对所述目标实体选取出的邻居实体，以构建出所述目标实体与所述邻居实体之间的目标关系之前，所述关系确定模块1403还用于，确定用户从所述概念树中选取出的第一概念，作为前置概念，以及确定用户从所述概念树中选取出的第二概念，作为后置概念；确定用户针对所述第一概念与所述第二概念之间构建的关系，并确定所述用户针对所述关系添加的关系属性，所述关系属性包括所述构建的关系对应的关系产生时间、关系产生地点以及关系概率中的至少一种。

可选地，所述关系确定模块1403具体用于，将用户针对所述目标实体所对应的目标概念创建出的关系、以及用户针对所述概念树中所述目标概念的祖先概念创建出的关系，作为与所述目标实体相关的至少一个关系。

可选地，所述装置还包括：

协同构建模块1406，用于在接收到用户针对知识图谱的操作请求时，确定所述用户的用户类型；根据所述用户类型，确定所述用户是否针对所述知识图谱拥有编辑权限；若所述用户针对所述知识图谱拥有编辑权限，确定所述知识图谱是否为编辑状态，若所述知识图谱不为编辑状态，将所述知识图谱设置为编辑状态并接收所述用户针对所述知识图谱的编辑操作，否则，向所述用户展示所述知识图谱的预览页面。

可选地，所述用户类型包括创建者、开发者、管理员、游客，创建者和开发者对图谱有编辑权限，创建者将创建的图谱共享给其他用户，创建者对所创建的图谱拥有一切操作权限（增删改查、发布等）；当共享给开发者时，开发者对图谱内容进行编辑、预览查看，但无发布权限；当共享给管理员或者游客时，两者对图谱内容进行可视化预览查看，但无其他权限。图谱创建者将图谱共享给多个开发者，实现图谱的协同构建。

本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述多元多模态知识图谱构建的方法。

本说明书还提供了图15所示的电子设备的示意结构图。如图15所述，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现多元多模态知识图谱构建的方法。

当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进（例如，对二极管、晶体管、开关等电路结构的改进）还是软件上的改进（对于方法流程的改进）。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件（Programmable Logic Device, PLD）（例如现场可编程门阵列（Field Programmable GateArray，FPGA））就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器（logic compiler）”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言（Hardware Description Language，HDL），而HDL也并非仅有一种，而是有许多种，如ABEL（Advanced Boolean Expression Language）、AHDL（Altera Hardware DescriptionLanguage）、Confluence、CUPL（Cornell University Programming Language）、HDCal、JHDL（Java Hardware Description Language）、Lava、Lola、MyHDL、PALASM、RHDL（RubyHardware Description Language）等，目前最普遍使用的是VHDL（Very-High-SpeedIntegrated Circuit Hardware Description Language）与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该（微）处理器执行的计算机可读程序代码（例如软件或固件）的计算机可读介质、逻辑门、开关、专用集成电路（Application Specific Integrated Circuit，ASIC）、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本说明书是参照根据本说明书实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims

1.一种多元多模态知识图谱的构建方法，其特征在于，包括：

确定用户通过输入概念属性针对所述概念树中的每个概念创建出的实体；

确定用户在所述交互界面中选取的实体作为目标实体，根据所述目标实体所对应的目标概念以及所述概念树中所述目标概念对应的祖先概念，确定与所述目标实体相关的至少一个关系，其中，概念对应有概念属性，关系对应有关系属性，属性支持多模态数据，包括：字符串，整数，浮点数，时间，经度，纬度，图片，文件类型，所述属性包括概念属性和/或关系属性，关系属性包括构建的关系对应的关系名称、关系产生时间、关系产生地点以及关系概率中的至少一种；

确定用户从所述至少一个关系中选取出的目标关系，并确定用户针对所述目标实体选取出的邻居实体，以构建出所述目标实体与所述邻居实体之间的目标关系，所述邻居实体为所述目标实体的前置实体或后置实体，所述前置实体为关系的入点所对应的实体，所述后置实体为关系的出点所对应的实体；

2.如权利要求1所述的方法，其特征在于，针对所述概念树中的每个概念，该概念所对应的概念属性包括该概念所对应的自有属性，以及继承自所述概念树中该概念对应的祖先概念的继承属性。

3.如权利要求1所述的方法，其特征在于，确定用户从所述至少一个关系中选取出的目标关系，并确定用户针对所述目标实体选取出的邻居实体，以构建出所述目标实体与所述邻居实体之间的目标关系之前，所述方法还包括：

确定用户针对所述第一概念与所述第二概念之间构建的关系，并确定所述用户针对所述关系添加的关系属性。

4.如权利要求1所述的方法，其特征在于，根据所述目标实体所对应的目标概念以及所述概念树中所述目标概念对应的祖先概念，确定与所述目标实体相关的至少一个关系，具体包括：

5.如权利要求1所述的方法，其特征在于，所述方法还包括：

6.如权利要求5所述的方法，其特征在于，所述用户类型包括创建者、开发者、管理员、游客，创建者和开发者对图谱有编辑权限，创建者将创建的图谱共享给其他用户，创建者对所创建的图谱拥有一切操作权限；当共享给开发者时，开发者对图谱内容进行编辑、预览查看，但无发布权限；当共享给管理员或者游客时，两者对图谱内容进行可视化预览查看，但无其他权限；图谱创建者将图谱共享给多个开发者，实现图谱的协同构建。

7.一种多元多模态知识图谱构建的装置，其特征在于，包括：

实体确定模块，用于确定用户通过输入概念属性针对所述概念树中的每个概念创建出的实体；

关系确定模块，用于确定用户在所述交互界面中选取的实体作为目标实体，根据所述目标实体所对应的目标概念以及所述概念树中所述目标概念对应的祖先概念，确定与所述目标实体相关的至少一个关系，其中，概念对应有概念属性，关系对应有关系属性，属性支持多模态数据，包括：字符串，整数，浮点数，时间，经度，纬度，图片，文件类型，所述属性包括概念属性和/或关系属性，关系属性包括构建的关系对应的关系名称、关系产生时间、关系产生地点以及关系概率中的至少一种；

关系建立模块，用于确定用户从所述至少一个关系中选取出的目标关系，并确定用户针对所述目标实体选取出的邻居实体，以构建出所述目标实体与所述邻居实体之间的目标关系，所述邻居实体为所述目标实体的前置实体或后置实体，所述前置实体为关系的入点所对应的实体，所述后置实体为关系的出点所对应的实体；

8.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1~6任一项所述的方法。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1~6任一项所述的方法。