CN114417018B - 一种知识图谱的全流程可视化配置系统及方法 - Google Patents

Abstract

本发明属于知识图谱可视化技术领域，公开了一种知识图谱的全流程可视化配置系统及方法。该系统包括：数据源管理模块，用于获取待连接数据源，建立与所有待连接数据源的连接；数据映射管理模块，用于获取待连接数据源中的结构化数据与图谱之间的映射关系；数据同步模块，用于将已连接的数据源中的数据抽取到图数据库，并基于所述映射关系，构建知识图谱；元素样式配置模块，用于获取图谱的元素样式，对知识图谱进行显示。本发明实现了用户点击、拖拽形式建立知识图谱；在知识图谱创建好以后，通过元素样式配置模块等，用户可针对每个节点及节点间的关系做可视化的各项配置。

Description

一种知识图谱的全流程可视化配置系统及方法

技术领域

本发明涉及知识图谱可视化技术领域，具体的说，是涉及一种知识图谱的全流程可视化配置系统及方法。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

知识图谱是把结构化的数据抽象为数据对象，作为图中的点，把数据之间的关系抽象为图中的连线，用图的形式直观表达数据逻辑关系的知识系统，用于由点到面，触类旁通的知识搜索，举一反三的解决问题。因而一个好的知识图谱解决方案，数据同步、自定义配置（样式、交互）、权限管理等都是必要的功能。

当前，知识图谱（KG）的展示虽然可以达到展现多个节点，以及连接节点线条，但是，在数据特别丰富节点上以百计的时候，不能聚焦或者顺着用户的思维进行展示，也不能让用户自行选定实体类别的颜色大小和形状，关系的展示也是单一的直线箭头形式。目前，比较流行的图谱展示设计方案是在代码中规定好各个节点的大小、字体、背景颜色等css样式，在读取数据以后再加载这些配置，这种方案的可扩展性、移植性都比较差，并且难以复用。

发明内容

本发明为了解决上述问题，本发明提供一种知识图谱的全流程可视化配置系统及方法，实现了用户针对知识图谱每个节点及节点间的关系做可视化的各项配置，以适应不同场景下的展示要求。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供一种知识图谱的全流程可视化配置系统。

一种知识图谱的全流程可视化配置系统，包括

数据源管理模块，用于获取待连接数据源，建立与所有待连接数据源的连接；

数据映射管理模块，用于获取待连接数据源中的结构化数据与图谱之间的映射关系；

数据同步模块，用于将已连接的数据源中的数据抽取到图数据库，并基于所述映射关系，构建知识图谱；

元素样式配置模块，用于获取图谱的元素样式，对知识图谱进行显示。

进一步地，所述元素样式配置模块包括主题设置模块；

所述主题设置模块，用于获取图谱的显示风格以及不同显示风格的显示时间，根据显示时间自适应切换知识图谱的显示风格。

进一步地，所述元素样式配置模块包括节点连线样式配置模块；

所述节点连线样式配置模块，用于获取图谱的节点样式和连线样式，根据节点样式和连线样式对知识图谱进行显示。

进一步地，所述元素样式配置模块包括布局设置模块；

所述布局设置模块，用于图谱的布局方式，根据布局方式对知识图谱进行显示。

进一步地，还包括交互配置模块；

所述交互配置模块，用于获取交互配置信息，生成并保存交互指令与事件间的关系、以及操作与反馈内容之间的关系。

进一步地，还包括图谱发布模块；

所述图谱发布模块，用于将知识图谱的全局配置信息保存为一个版本，持久化到磁盘上。

进一步地，还包括版本回退模块；

所述版本回退模块，用于获取用户选择的历史版本，在所述磁盘上读取用户选择的历史版本对应的持久化配置文件，将知识图谱回退到用户选择的历史版本。

进一步地，还包括接口发布模块；

所述接口发布模块，用于获取用户选取的查询算法，基于查询算法，对知识图谱进行查询，将查询结果集发布成可供第三方调用的数据接口。

进一步地，还包括权限配置模块；

所述权限配置模块，用于获取用户的角色、功能权限和数据权限，限制用户对知识图谱的操作和查看的范围。

本发明的第二个方面提供一种知识图谱的全流程可视化配置方法。

一种知识图谱的全流程可视化配置方法，包括如下步骤：

获取待连接数据源，建立与所有待连接数据源的连接；

获取待连接数据源中的结构化数据与图谱之间的映射关系；

将已连接的数据源中的数据抽取到图数据库，并基于所述映射关系，构建知识图谱；

获取图谱的元素样式，对知识图谱进行显示。

与现有技术相比，本发明的有益效果为：

本发明提供了一种知识图谱的全流程可视化配置系统，其通过数据源管理模块、数据映射管理模块和数据同步模块，实现了用户点击、拖拽形式建立知识图谱；在知识图谱创建好以后，通过元素样式配置模块等，用户可针对每个节点及节点间的关系做可视化的各项配置，包括不限于样式、布局方式、引导线、图谱展示路径、点击事件等，以适应不同场景下的展示要求。

附图说明

构成本发明的一部分说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的限定。

图1为本发明的实施例一的系统结构图；

图2为本发明的实施例一的图谱可视化配置工具的结构图；

图3为本发明的实施例一的图谱发布工具的结构图；

图4为本发明的实施例二的方法流程图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合下面结合附图与实施例对本发明作进一步说明。

实施例一

本实施例一的目的是提供一种知识图谱的全流程可视化配置系统，如图1所示，包括：客户端和多个数据源，客户端配置有图谱可视化配置工具和图谱发布工具。

具体的，客户端为PC端。多个数据源包括关系型数据库、图数据库、json、csv等数据库。

图谱可视化配置工具包括数据源配置模块、元素样式配置模块和交互配置模块；图谱发布工具包括版本管理模块、API发布管理模块和权限配置模块。

如图2所示，数据源配置模块包括数据源管理模块、数据映射管理模块、图谱信息读取模块和数据同步模块。

数据源管理模块，用于获取用户在页面配置的待连接数据源，建立与所有待连接数据源的连接。待连接数据源可以为关系型数据库、图数据库、json、csv等。

数据映射管理模块，用于配置多源数据结构和图数据库节点、属性的映射关系，建立结构化数据与图谱要素（实体、属性、关系）之间的映射关系。

图谱信息读取模块，用于选择配置好的Neo4j数据源并进行数据加载，系统会根据图数据库中的实体、关系数据反向生成本体schema，直观展示知识的概念、关系结构。

数据同步模块，用于将已连接的数据源中的多源异构数据同步抽取到图数据库（Neo4j数据库），并基于映射关系，构建知识图谱。

将已连接的数据源中的数据抽取到图数据库具体为：从异构数据源读取数据，进行数据的清洗和格式化，生成CSV文件；使用Cypher语句（LOAD CSV语句）将数据导入到Neo4j数据库中。或者，将已连接的数据源中的数据抽取到图数据库具体为：加载数据源（DB、CSV、XML、JSON），进行数据的清洗和格式化；使用APOC函数指令将数据导入到Neo4j数据库中。

其中，使用APOC导入数据的要求：

1)准备好数据源，包括csv数据文档、json文件、xml文件、关系型数据库中的任意一种或多种；

2)Neo4j必须在运行状态，且图数据库未被锁定；

3)Neo4j必须安装APOC插件（若数据源是关系型数据库，还需安装相应的数据库连接驱动），可通过RETURN apoc.version()命令验证是否具备APOC运行环境。

其中，使用LOAD CSV导入数据的要求包括：CSV文件已经备好；Neo4j Browser或Cypher-shell已打开；如果大于100K行数据，则需要特殊处理，将文件以流的形式存入磁盘中，然后通过多线程去分区读取（使用FileChannel、RandomAccessFile实现），根据分区读取的内容数量进行数据库连接的调用，因此不会造成网络传输压力大的问题，用Pipeline方式分批插入数据到图数据库。

使用Cypher语句将数据导入到Neo4j数据库中的步骤：将CSV文件进行规范化数据处理，确保ID唯一，确保CSV中的数据是干净的，是实体-关系-实体或实体-属性-属性值的三元组的格式；执行Cypher代码来检查数据，确定数据是否需要转化，确保有必要的数据约束，确定加载数据量的大小；执行Cypher代码来加载数据，执行数据抽取时要按照实际场景来配置策略，选择REMOVE->CREATE（全量更新）还是MERGE（增量更新）操作。

基于映射关系，构建知识图谱的过程为：首先是通过接口或Json数据读取本体模型，拿到目标图数据库中的概念、属性和关系，再从多源异构数据中提取查询结果集（表/视图/RDF等），将结果集和本体模型中的概念相映射，将结果集中的字段和本体中的属性一一映射，将多个结果集中的主外键关系和多个本体的关系进行映射。

如图2所示，元素样式配置模块用于获取图谱的元素样式，对知识图谱进行显示。包括主题设置模块、节点连线样式配置模块和布局设置模块。

主题设置模块，用于获取用户配置的图谱的显示风格以及不同显示风格的显示时间，根据显示时间自适应切换图谱的显示风格。其中，图谱显示风格包括light-mode（日光模式）、dark-mode（夜间模式）、science-fiction-mode（科技模式）。

节点连线样式配置模块，用于获取用户配置的图谱的节点样式和连线样式，根据节点样式和连线样式对知识图谱进行显示。其中，节点样式包括：节点边框颜色、节点颜色、节点字体颜色、节点边框粗细、节点形状（可选择圆形或者矩形）、节点显示宽度、节点显示高度、节点背景图片；连线样式包括线条颜色、线条粗细和线条形状（包括直线、鱼尾、折线等）。

布局设置模块，用于获取用户配置的图谱的布局方式，根据布局方式进行图谱的展示。其中，布局方式包括树状布局、中心布局和自动布局。树形布局下可通过levelDistance参数设置每一层的高度，例如：100,200,300,200；中心布局可通过设置distance_coefficient（层级距离系数)调节中心布局不同层级之间的距离，实现连线比较长的视觉效果；自动布局模式下通过配置gravity重力参数，调整节点图形之间的吸附能力。

如图2所示，交互配置模块用于获取交互配置信息（包括用户配置的交互指令对应的事件、用户配置的不同操作的反馈内容），生成并保存交互指令与事件间的关系、以及操作与反馈内容之间的关系。包括触发事件规则配置模块和交互内容配置模块。

触发事件规则配置模块用于定义交互事件，获取用户配置的交互指令对应的事件，得到交互指令与事件间的关系，从而在系统获取到用户的交互指令时，根据对应的事件，更新图谱。其中，交互指令包括点击、长按、鼠标悬浮等。

交互内容配置模块用于定义交互反馈，获取用户配置的不同操作的反馈内容，得到操作与反馈内容之间的关系，从而在系统获取到用户的操作时，根据对应的反馈内容，对图谱进行展示。其中，操作包括展开、隐藏、弹窗、下载。

例如，refresh()，布局器重新为节点分配位置；downloadAsImage(format)，下载图片，将当前图谱导出为图片，format可以为png/jpg，默认为png；getGraphJsonData()，读取当前图谱的节点、关系数据；ShowModal(node)，弹窗交互方法，根据node元素配置弹窗显示内容，支持文本内容，可通过多选框勾选需要展示的节点属性和关系信息，支持预览/下载弹窗，根据配置的网络地址或文件服务器路径加载并在线预览文档或图片。

如图3所示，版本管理模块包括图谱发布模块、版本回退模块和定时发布管理模块。

图谱发布模块，用于将图谱的所有配置化信息保存为一个版本并发布，加载当前发布版本的配置信息。使用Jackson将全局配置信息进行JSON序列化，持久化到磁盘上，保证版本配置不易丢失。

版本回退模块，用于获取用户选择的任意已发布的版本（历史版本），在磁盘上读取对应版本的持久化配置文件并解析JSON，调用refresh()方法重新加载配置和数据，刷新布局器，将配置回退到用户选择的历史版本。

定时发布管理模块，用于定时发布可视化配置版本。使用Schedule作为定时任务框架，用户可自由配置持久化策略。

其中，定时发布功能类似于配置版本的生效时间。比如用户可以配置两套可视化展示效果，一套日间使用，另一套夜间使用，可以分别在日出、日落时间定时发布版本。

如图3所示，API发布管理模块用于获取用户选取的查询算法，基于查询算法，对知识图谱进行查询，将查询结果集发布成可供第三方调用的数据接口。包括图算法配置模块和接口发布模块。

图算法配置模块，用于保存并管理系统内置的图数据库算法，并获取和保存用户自定义的查询算法；并获取用户选取的查询算法。

接口发布模块，用于基于查询算法（封装的算法或自定义Cypher查询语言（CQL）），将查询结果集发布成可供第三方调用的数据接口。用户可根据业务需求选择算法和入参（定义参数的占位符，暴露给第三方使用），将查询结果发布成http接口供第三方调用。调用方只需按照接口规定的格式填写参数，即可读取并使用本平台的图计算结果集。

其中，封装的算法包括：

中心性算法PageRank：基于algo算法库的pageRank()方法的封装，暴露label（节点标签）、relationship（关系）、weightProperty（权重参数），用户可通过点击节点、连线的方式进行快捷的中心性计算分析，评估节点的入度（被链接数）质量；

社区检测算法Louvain：基于algo算法库louvain()方法的封装，用户可通过选中任意节点和关系，查看其组成的图社区分布，通过调整includeIntermediateCommunities参数，可以查看不同层级的社区检测结果；

最短路径算法shortestPath：基于algo算法库shortestPath()方法的封装，用户只需输入起始节点、终止节点，即可查询两者之间的最短关系路径；

相似度算法similarity：基于algo算法库similarity.jaccard()和similarity.cosine()方法的封装，用户可通过选中任意两个节点，查询两者之间的相似度分数。

如图3所示，权限配置模块用于获取用户的角色、功能权限和数据权限，限制用户对知识图谱的操作和查看的范围。包括角色管理模块、功能权限配置模块和数据权限配置模块。

角色管理模块，用于获取用户配置的用户的角色，并保存。

功能权限配置模块，用于获取用户配置的角色的功能权限，并保存，可配置允许用户操作的功能项。

数据权限配置模块，用于获取用户配置的角色的数据权限，并保存，可配置允许用户查看的节点、属性、关系等信息范围。

本发明包括图谱可视化配置工具，支持以思维导图应用类似的点击、拖拽形式建立知识图谱概念层，可以在概念层就针对知识体系的节点、关系样式进行配置；在概念层创建好以后，用户可针对每个节点及节点间的关系做可视化的各项配置，包括不限于样式、布局方式、引导线、图谱展示路径、点击事件等，以适应不同场景下的展示要求。

此外，本实施例采用java代码的方式生成结果集，包括以下步骤：

数据采集：

读取关系型数据库例如MySQL、Oracle，选择表作为数据集。

支持在页面执行自定义sql，将查询结果保存为视图型结果集。

支持在页面执行java代码，将程序执行的结果保存为结果集。

本体模型加载：

通过接口或Json数据读取本体模型，拿到目标图数据库中的概念、属性和关系schema。

规则映射：

查询结果集（表/视图/RDF等），将结果集和本体模型中的概念相映射，将结果集中的字段和本体中的属性一一映射，将多个结果集中的主外键关系和多个本体的关系进行映射。

执行抽取：

将结果集和本体概念、属性、关系配置好规则后，可以执行数据抽取（迁移到图数据库），支持全量更新和增量更新两种策略，可以定时执行迁移任务。

相较于直接从表或者视图中抽取结果集，通过采用java代码的方式生成结果集的方式，不受限于数据库引擎，实现更为复杂的数据处理过程，例如递归查询、语义分析（可以在java代码中使用自然语言处理工具包，对查询结果进行分词、语义标注等操作，这些操作是在数据库层面实现不了的）。

本实施例的技术方案具有以下优点：

（1）有效解决代码碎片化问题：

该方案具有灵活性、便捷性、可扩展性、丰富性等特点，可以实现一次代码开发便可适用于所有知识图谱展示场景，不再需要为每一类场景展示进行单独的定制化开发。

（2）提升知识图谱数据挖掘能力：

可视化平台将图数据库的路径搜索算法、聚类算法、中心性算法、社区发现算法以组件化的形式暴露给用户，让图分析变简单，使得专业人员更集中精力在其专业的业务逻辑上。

（3）不停机升级，提升系统稳定性：

平台数据及运行时展示形式都基于用户配置，修改即时生效，不需要重新部署系统；平台具有版本发布功能，可在多个已发布的版本中进行切换，以快速响应业务场景变化或演示需求的调整。

实施例二

本实施例二的目的是提供一种知识图谱的全流程可视化配置方法，如图4所示，包括如下步骤：

获取待连接数据源，建立与所有待连接数据源的连接；

获取待连接数据源中的结构化数据与图谱之间的映射关系；

将已连接的数据源中的数据抽取到图数据库，并基于所述映射关系，构建知识图谱；

获取图谱的元素样式，对知识图谱进行显示。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (7)

1.一种知识图谱的全流程可视化配置系统，其特征在于：包括

数据源管理模块，用于获取待连接数据源，建立与所有待连接数据源的连接；

数据映射管理模块，用于获取待连接数据源中的结构化数据与图谱之间的映射关系；

数据同步模块，用于将已连接的数据源中的数据抽取到图数据库，并基于所述映射关系，构建知识图谱；

元素样式配置模块，用于获取图谱的元素样式，对知识图谱进行显示；

数据采集模块，用于读取关系型数据库，选择表作为数据集；支持在页面执行自定义sql，将查询结果保存为视图型结果集；支持在页面执行java代码，将程序执行的结果保存为结果集；

交互配置模块，用于获取交互配置信息，生成并保存交互指令与事件间的关系、以及操作与反馈内容之间的关系；所述交互配置模块包括触发事件规则配置模块和交互内容配置模块；所述触发事件规则配置模块用于定义交互事件，获取用户配置的交互指令对应的事件，得到交互指令与事件间的关系，以使系统获取到用户的交互指令时，根据对应的事件，更新图谱；其中，交互指令包括点击、长按、鼠标和悬浮；所述交互内容配置模块用于定义交互反馈，获取用户配置的不同操作的反馈内容，得到操作与反馈内容之间的关系，以使系统获取到用户的操作时，根据对应的反馈内容，对图谱进行展示；其中，操作包括展开、隐藏、弹窗和下载；

图谱信息读取模块，用于选择配置好的Neo4j数据源并进行数据加载，系统会根据图数据库中的实体、关系数据反向生成本体schema，直观展示知识的概念、关系结构；

API发布管理模块用于获取用户选取的查询算法，基于查询算法，对知识图谱进行查询，将查询结果集发布成可供第三方调用的数据接口，所述API发布管理模块包括图算法配置模块和接口发布模块；图算法配置模块，用于保存并管理系统内置的图数据库算法，并获取和保存用户自定义的查询算法；并获取用户选取的查询算法；接口发布模块，用于基于查询算法，将查询结果集发布成可供第三方调用的数据接口，用户根据业务需求选择算法和入参，将查询结果发布成http接口供第三方调用；调用方只需按照接口规定的格式填写参数，即可读取并使用本系统的图计算结果集；

权限配置模块，用于获取用户的角色、功能权限和数据权限，限制用户对知识图谱的操作和查看的范围。

2.如权利要求1所述的一种知识图谱的全流程可视化配置系统，其特征在于：所述元素样式配置模块包括主题设置模块；

所述主题设置模块，用于获取图谱的显示风格以及不同显示风格的显示时间，根据显示时间自适应切换知识图谱的显示风格。

3.如权利要求1所述的一种知识图谱的全流程可视化配置系统，其特征在于：所述元素样式配置模块包括节点连线样式配置模块；

所述节点连线样式配置模块，用于获取图谱的节点样式和连线样式，根据节点样式和连线样式对知识图谱进行显示。

4.如权利要求1所述的一种知识图谱的全流程可视化配置系统，其特征在于：所述元素样式配置模块包括布局设置模块；

所述布局设置模块，用于图谱的布局方式，根据布局方式对知识图谱进行显示。

5.如权利要求1所述的一种知识图谱的全流程可视化配置系统，其特征在于：还包括图谱发布模块；

所述图谱发布模块，用于将知识图谱的全局配置信息保存为一个版本，持久化到磁盘上。

6.如权利要求5 所述的一种知识图谱的全流程可视化配置系统，其特征在于：还包括版本回退模块；

所述版本回退模块，用于获取用户选择的历史版本，在所述磁盘上读取用户选择的历史版本对应的持久化配置文件，将知识图谱回退到用户选择的历史版本。

7.一种知识图谱的全流程可视化配置方法，其特征在于：采用权利要求1-6任一项所述的知识图谱的全流程可视化配置系统，包括如下步骤：

获取待连接数据源，建立与所有待连接数据源的连接；

获取待连接数据源中的结构化数据与图谱之间的映射关系；

将已连接的数据源中的数据抽取到图数据库，并基于所述映射关系，构建知识图谱；

获取图谱的元素样式，对知识图谱进行显示。

Images