CN112395365B - 一种知识图谱批量离线查询解决方案 - Google Patents

Abstract

本发明公开了一种知识图谱批量离线查询解决方案，该解决方案核心思路是将原有的图谱数据库内部执行的多度查询分解为多个1度K层展开，辅以图谱数据库的部分改造，具体实施细节如下：1)首先由Java应用程序往Spark Graphx传入开始检索的批量实体。有益效果在于：本发明通过对批量实体进行分类存储，并对图谱数据库进行了定制化改造，使得接口可接收的K层展开目标实体不局限于单个，而是允许按照类型对多个实体进行批量处理，从而减少应用程序和图谱数据库之间的交互通信次数，进而能够在实体及关系的总和超过100亿的数据量下，进行1万个以上节点的K层展开和多对多实体关系1度以上的批量离线查询时，能够有效将耗时降低到60秒，提高了查询的效率。

Description

一种知识图谱批量离线查询解决方案

技术领域

本发明涉及到知识图谱的快速批量查询技术领域，尤其涉及一种知识图谱批量离线查询解决方案。

背景技术

知识图谱(Knowledge Graph)又称为科学知识图谱，在图书情报界称为知识域可视化或知识领域映射地图，是显示知识发展进程与结构关系的一系列各种不同的图形，用可视化技术描述知识资源及其载体，挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。

当在实体及关系的总和超过100亿的数据量下，进行1万个以上节点的K层展开和多对多实体关系1度以上的批量离线查询时，图谱数据库原有提供的查询功能返回结果耗时超过30分钟，查找效率低下，不能满足用户需求。

发明内容

本发明的目的就在于为了解决上述问题而提供一种知识图谱批量离线查询解决方案。

本发明通过以下技术方案来实现上述目的：

一种知识图谱批量离线查询解决方案，该解决方案核心思路是将原有的图谱数据库内部执行的多度查询分解为多个1度K层展开，辅以图谱数据库的部分改造，具体实施细节如下：

1)首先由Java应用程序往Spark Graphx传入开始检索的批量实体；

2)Spark Graphx应用程序对批量实体进行分类，分批在图谱数据库中进行1度K层展开，结果存入Hive；

3)Spark Graphx应用程序取得该批次的K层展开结果，对1度关联的实体进行下一次的1度K层展开，按这样的过程重复执行，直到到达指定的查询深度或者没有更多的关联实体为止；

4)在全部1度K层展开执行结束后，Spark Graphx应用程序加载所有的中间结果，关系数据按照上一度结果的终点连接下一度结果的起点的形式进行拼接，然后返回最终的结果集；

5)该方案同时对图谱数据库进行了定制化改造，接口可接收的K层展开目标实体不局限于单个，而是允许按照类型对多个实体进行批量处理，从而减少应用程序和图谱数据库之间的交互通信次数。

进一步的，该知识图谱批量离线查询解决方案的软件运行流程如下：

1)由Program-01组装查询条件并交由Program-02进行步骤2查询；

2)由Program-02利用Spark Graphx分布式计算技术分步分批查询得到实体及关系数据，并组装最终结果。

进一步的，在实体及关系的总和超过100亿的数据量下，进行1万个以上节点的K层展开和多对多实体关系1度以上的批量离线查询时，能够有效将耗时降低到60秒。

本发明的有益效果在于：

本发明通过对批量实体进行分类存储，并对图谱数据库进行了定制化改造，使得接口可接收的K层展开目标实体不局限于单个，而是允许按照类型对多个实体进行批量处理，从而减少应用程序和图谱数据库之间的交互通信次数，进而能够在实体及关系的总和超过100亿的数据量下，进行1万个以上节点的K层展开和多对多实体关系1度以上的批量离线查询时，能够有效将耗时降低到60秒，提高了查询的效率。

附图说明

图1为本发明所述的一种知识图谱批量离线查询解决方案的软件运行流程框图。

附图标记说明如下：

Program-01：计算机Java语言编写的应用程序；

Program-02：基于图计算分布式引擎Spark Graphx编写的计算模块；

DataCluster-01：图谱数据库集群；

DB-01至DB-n：图谱数据库集群中的单个数据库服务器；

Flow-01：指代知识图谱离线查询过程的第1个步骤；

Flow-02：指代知识图谱离线查询过程的第2个步骤。

具体实施方式

下面结合附图来详细说明本发明。

一种知识图谱批量离线查询解决方案，该解决方案核心思路是将原有的图谱数据库内部执行的多度查询分解为多个1度K层展开，辅以图谱数据库的部分改造，具体实施细节如下：

1)首先由Java应用程序往Spark Graphx传入开始检索的批量实体；

2)Spark Graphx应用程序对批量实体进行分类，分批在图谱数据库中进行1度K层展开，结果存入Hive；

3)Spark Graphx应用程序取得该批次的K层展开结果，对1度关联的实体进行下一次的1度K层展开，按这样的过程重复执行，直到到达指定的查询深度或者没有更多的关联实体为止；

4)在全部1度K层展开执行结束后，Spark Graphx应用程序加载所有的中间结果，关系数据按照上一度结果的终点连接下一度结果的起点的形式进行拼接，然后返回最终的结果集；

5)该方案同时对图谱数据库进行了定制化改造，接口可接收的K层展开目标实体不局限于单个，而是允许按照类型对多个实体进行批量处理，从而减少应用程序和图谱数据库之间的交互通信次数。

本实施例中，该知识图谱批量离线查询解决方案的软件运行流程如下：

1)由Program-01组装查询条件并交由Program-02进行步骤2查询；

2)由Program-02利用Spark Graphx分布式计算技术分步分批查询得到实体及关系数据，并组装最终结果。

本实施例中，在实体及关系的总和超过100亿的数据量下，进行1万个以上节点的K层展开和多对多实体关系1度以上的批量离线查询时，能够有效将耗时降低到60秒。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种知识图谱批量离线查询方法，其特征在于：将原有的图谱数据库内部执行的多度查询分解为多个1度K层展开，辅以图谱数据库的部分改造，具体实施细节如下：

1)首先由Java应用程序往Spark Graphx传入开始检索的批量实体；

2)Spark Graphx应用程序对批量实体进行分类，分批在图谱数据库中进行1度K层展开，结果存入Hive；

3)Spark Graphx应用程序取得该批次的K层展开结果，对1度关联的实体进行下一次的1度K层展开，按这样的过程重复执行，直到到达指定的查询深度或者没有更多的关联实体为止；

4)在全部1度K层展开执行结束后，Spark Graphx应用程序加载所有的中间结果，关系数据按照上一度结果的终点连接下一度结果的起点的形式进行拼接，然后返回最终的结果集；

该知识图谱批量离线查询方法的软件运行流程如下：

1)由Program-01组装查询条件并交由Program-02进行步骤2) 查询；

2)由Program-02利用Spark Graphx分布式计算技术分步分批查询得到实体及关系数据，并组装最终结果。

Images