CN109684349A

CN109684349A - 一种基于sql与图计算交互式分析的查询方法和系统

Info

Publication number: CN109684349A
Application number: CN201811383695.0A
Authority: CN
Inventors: 程学旗; 王征; 郑天祺; 张志斌; 郭嘉丰
Original assignee: Institute of Computing Technology of CAS
Current assignee: Institute of Computing Technology of CAS
Priority date: 2018-11-20
Filing date: 2018-11-20
Publication date: 2019-04-26

Abstract

本发明涉及一种基于SQL与图计算交互式分析的查询方法和系统，包括：根据标准结构化查询语句对数据库中的节点表和边表进行筛选，得到原始节点集和原始边集，根据类结构化查询语句涉及的图计算算法将原始边集转换为图计算算法所需数据结构，原始节点集和原始边集进行连接查询的迭代计算，不断更新节点集，直至算法的迭代终止条件触发，从而得到图计算的最终结果，并将最终结果作为查询结果输出。本发明在已有的关系型数据查询语言SQL中嵌入图查询与图计算方法，既可发挥SQL数据处理与分析的优势，又可进行图查询与计算。

Description

一种基于SQL与图计算交互式分析的查询方法和系统

技术领域

本发明涉及数据库系统领域，特别涉及一种基于SQL与图计算交互式分析的查询方法和系统。

背景技术

近年来在数据库领域，统一标准的查询语言是结构化查询语言(StructuredQuery Language)简称SQL。SQL是一种特殊目的的编程语言，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统；同时也是数据库脚本文件的扩展名。结构化查询语言是高级的非过程化编程语言，允许用户在高层数据结构上工作。它不要求用户指定对数据的存放方法，也不需要用户了解具体的数据存放方式，所以具有完全不同底层结构的不同数据库系统,可以使用相同的结构化查询语言作为数据输入与管理的接口。结构化查询语言语句可以嵌套，这使它具有极大的灵活性和强大的功能。

在图数据库领域还没有统一的查询标准，日前比较流行的图查询语言包括：Cypher、Gremlin与SPARQL等。

Cypher是一种声明式图查询语言，表达高效查询和更新图数据库。Cypher 是相对简单的查询语法，书写直观可以不用编写复杂的查询代码即可实现对图数据库的操作。目前主要应用于Neo4J图数据库。

Gremlin是Apache TinkerPop框架下的图遍历语言。Gremlin是一种函数式数据流语言，可以使得用户使用简洁的方式表述复杂的属性图(property graph)的遍历或查询。每个Gremlin遍历由一系列步骤(可能存在嵌套)组成，每一步都在数据流(data stream)上执行一个原子操作。Gremlin查询的本质是图遍历，擅长解决求图的直径、点到点之间的路径。

SPARQL(SPARQL Protocol and RDF Query Language)，是为RDF开发的一种查询语言和数据获取协议，它是为W3C所开发的RDF数据模型所定义，但是可以用于任何可以用RDF来表示的信息资源。SPARQL构建在以前的RDF查询语言(例如rdfDB、RDQL和SeRQL)之上，拥有一些有价值的新特性。SPARQL的查询与RDF是一致的，RDF是图，SPARQL查询是子图匹配。

当前现有的技术存在着不同的问题：

1)标准SQL难以表达复杂的图查询与图分析算法。标准的SQL擅长对数据进行预处理与后处理，同时可以进行简单的图查询算法，但是效率低下，且无法表达图分析算法，如PageRank、连通子图等算法。

2)现有的图查询方法和语言一般是基于某一种图数据库，比如Cypher是基于Neo4J图数据库，这种方法直接舍弃了传统的关系型数据库，并且放弃了 SQL查询的巨大优势，无法使用SQL进行分析和数据处理。

发明内容

本发明的目的是解决上述现有技术无法通过SQL查询接口进行图查询与图计算算法，提出了一种基于SQL与图计算交互式分析的查询方法，从而设计了与SQL查询引擎可以无缝对接的Loop Join查询引擎，并且设计了一种具体的类SQL查询接口可以进行图分析计算。

具体地说，本发明公开了一种基于SQL与图计算交互式分析的查询方法，其特征在于，包括：

根据标准结构化查询语句对数据库中的节点表和边表进行筛选，得到原始节点集和原始边集，根据类结构化查询语句涉及的图计算算法将该原始边集转换为该图计算算法所需数据结构，该原始节点集和该原始边集进行连接查询的迭代计算，不断更新节点集，直至该算法的迭代终止条件触发，从而得到图计算的最终结果，并将该最终结果作为查询结果输出。

所述的基于SQL与图计算交互式分析的查询方法，其特征在于，迭代计算的该类结构化查询语句接口为：

SELECT<results>FROM(initial vertex set SQL)LOOP[(num)]JOIN

GraphAlgorithm((graph table),params…)[USING property table][WHERE…]

[GROUP BY…][ORDER BY…][LIMIT…]

其中，initial vertex set SQL是该原始点集；num表示目标迭代次数，作为最终收敛条件；GraphAlgorithm是该图计算算法，graph table是运行图计算的图表名称，params为方法参数；property table是进行图计算所用到的属性表； [WHERE…][GROUPBY…][ORDER BY…][LIMIT…]操作为标准结构化查询语句。

所述的基于SQL与图计算交互式分析的查询方法，其特征在于，该转换过程包括对点进行聚合转换；

所述的基于SQL与图计算交互式分析的查询方法，其特征在于，该数据结构使用图领域的压缩稀疏行存储；

所述的基于SQL与图计算交互式分析的查询方法，其特征在于，该图算法程序包括最短路径算法；

所述的基于SQL与图计算交互式分析的查询方法，其特征在于，该终止条件包括：该图计算算法的最终收敛条件；

所述的基于SQL与图计算交互式分析的查询方法，其特征在于，还包括：对该标准结构化查询语句进行扩展，得到支持图计算的结构化查询语句，作为该类结构化查询语句。

本发明还公开了一种基于SQL与图计算交互式分析的查询系统，其特征在于，包括：

查询模块，用于根据标准结构化查询语句对数据库中的节点表和边表进行筛选，得到原始节点集和原始边集，根据类结构化查询语句涉及的图计算算法将该原始边集转换为该图计算算法所需数据结构，该原始节点集和该原始边集进行连接查询的迭代计算，不断更新节点集，直至该算法的迭代终止条件触发，从而得到图计算的最终结果，并将该最终结果作为查询结果输出。

其中，迭代计算的该类结构化查询语句接口为：

SELECT<results>FROM(initial vertex set SQL)LOOP[(num)]JOIN

GraphAlgorithm((graph table),params…)[USING property table][WHERE…]

[GROUP BY…][ORDER BY…][LIMIT…]

其中，initial vertex set SQL是该原始点集；num表示目标迭代次数，作为最终收敛条件；GraphAlgorithm是该图计算算法，graph table是运行图计算的图表名称，params为方法参数；property table是进行图计算所用到的属性表；[WHERE…][GROUPBY…][ORDER BY…][LIMIT…]操作为标准结构化查询语句。

所述的基于SQL与图计算交互式分析的查询系统，其特征在于，查询模块还包括：对该标准结构化查询语句进行扩展，得到支持图计算的结构化查询语句，作为该类结构化查询语句。

所述的基于SQL与图计算交互式分析的查询系统，其特征在于，

该转换过程包括对点进行聚合转换；

该数据结构使用图领域的压缩稀疏行存储；

该图算法程序包括最短路径算法；

该终止条件包括：该图计算算法的最终收敛条件。

本发明的技术效果包括：

在传统的SQL引擎中，如果想进行图的迭代计算，如图1所示，在输入节点集和边集后需要进行连接查询(Join)操作，然后再将中间结果保存后再次进行Join操作，不断的保存中间结果并进行Join操作，直到满足迭代终止条件，从而得到所有节点的计算结果。这样不断的操作，不仅效率低下，性能不佳，而且十分不便。有此本发明在已有的关系型数据查询语言SQL中嵌入图查询与图计算方法，既可以发挥SQL数据处理与分析的优势，又可以进行图查询与计算。从而可以达到完备的数据处理流程，可交互式的数据处理与图分析过程。

附图说明

图1为SQL引擎图迭代计算流程图；

图2为Loop Join查询引擎执行图；

图3为最短路径算法Loop Join查询引擎执行流程图

图4为图计算实施例的查询接口示意图。

具体实施方式

为让本发明的上述特征和效果能阐述的更明确易懂，下文特举实施例，并配合说明书附图作详细说明如下。

发明人在使用关系型数据库进行SQL查询时发现，SQL查询难以表达图查询与图计算的算法，而其他图数据库虽然有自己的查询语言可以方便的进行图查询与计算，但是数据无法使用SQL进行预处理与后处理，预处理与后处理复杂。然而目前有许多图数据都存储在关系型数据库中，如果在已有的关系型数据查询语言SQL中嵌入图查询与图计算方法，那么就既可以发挥SQL数据处理与分析的优势，又可以进行图查询与计算。从而可以达到完备的数据处理流程，可交互式的数据处理与图分析过程。但是，图引擎难以直接集成进关系型数据库中，SQL也难以表达复杂的图分析算法。因为图分析算法几乎都是图的迭代算法，所以本发明设计了Loop Join的查询引擎结合SQL进行图分析。

Loop Join的查询引擎执行流程如图2所示，Vertex Scan表示原始点集的输入，Edge Scan表示原始边集的输入，原始点集和原始边集都是初始的输入，点集为所有的节点id，每条边包含源点和目标点两个节点，在图领域，图由点和边组成，节点即图中的点。原始边集输入后通过生成器Generator，生成器是一个SQL函数，接收边集数据，构建内存表，其内部数据结构使用图领域的压缩稀疏行存储。把边集Edge Scan转换成所需数据结构，转换过程可有多种选择，本实施例中采用的方法可通过SQL GroupBy对点进行聚合转换，所需的结构即为压缩稀疏行。然后具体的图算法(GraphAlgorithms)程序将迭代算法准备好后等待原始点集的输入，图算法包括pagerank、最短路径算法等。原始点集与边集进行LoopJoin迭代计算，不断的更新点集，直至迭代终止条件触发，从而最终得到图计算的结果，终止条件有两种情况：该算法的最终收敛条件和算法参数控制迭代的终止条件。

例如，要找出‘Alice’节点2017年到所有其他节点的最短路径集合(前 100)，可通过以下类SQL查询语句进行查询：

select label,distance from(select s from graph where name＝‘Alice’limit 1)loop(100)join shortestPath((select s,d from graph where year＝2017))

以上查询语句的执行过程如下图3所示，原始点集通过SQL语句“select s fromgraph where name＝‘Alice’limit 1”进行筛选，该sql语句本身就是对graph表进行筛选的语句，graph表中有多条数据，筛选出名字叫‘Alice’的一条，原始边集通过“select s,dfrom graph where year＝2017”进行筛选。在得到原始边集后，Generator生成器将边集转换成ShortestPath算法所需的数据结构(Graph Table)作为Input输入，并且ShortestPath将算法程序及终止条件(迭代100轮)准备好，等待原始点集的输入。ShortestPath算法得到原始点集的数据后，vertex table与GraphTable进行Loop Join迭代操作，直至迭代终止，得到最终的计算结果。vertex table为点集表，graph table为图表，即压缩稀疏行的数据结构。其中，shortestPath算法在sql语句中如何使用如上：select *from(……)loop(100)join shortestPath(……)，图计算的结果会以结构化的方式展示，即查询语句的结果。

Loop Join查询引擎为图计算查询提供了统一的查询接口，针对不同的图算法可以使用不同的图算法函数，从而可以对图算法进行一次性、自动化的迭代计算，大大的提高了查询效率和性能，查询操作也十分方便。

另外对与不同的图计算算法，具体的查询接口如下：

如图4所示，图计算例子1：simplebfs广度优先搜索。

从节点开始进行广度优先搜索：

select*from(select'a')loop(3)join simplebfs(graph)；

图计算例子2：pagerank。

select*from system.all loop(5)joinpagerank(graphTable)

1)system.all代替输入的初始集合，表示初始点集为全图

2)pagerank(graphTable,Damping,Epsilon)为图算法函数，后两个参数不写默认为Damping＝0.85,Epsilon＝0.0001

3)loop(5)表示迭代5次，最多迭代100次

图计算例子3：cc最大连通分量。

select*from system.all loopjoin cc(graph)；

图计算例子4：bellmanford最短路径距离。

找出节点a到其他节点的最短路径距离：

select*from(select'a')loop(3)joinbellmanford(graph)；

bellmanford函数有两个参数：参数1：graph表名，参数2：graph表的权重列，当参数2不写时默认相邻两点的距离为1.

在进行Loop Join时Loop后除了可以是num迭代次数，还可以是用户自定义操作。用户可以在进行Loop Join时进行自定义的操作。如用户自定义的迭代终止条件等，用关键词来表示。

综上通过本发明针对图计算引擎开发的查询引擎Loop Join可以与SQL查询引擎无缝对接，便于开发与使用，可进行交互式分析，具有高性能，可访问关系数据库所有数据。通过Loop Join查询接口，可对于不同的图分析算法都可以通过Loop Join的查询语言进行查询。以下是Loop Join类SQL的查询语言接口：

SELECT<results>FROM(initial vertex set SQL)LOOP[(num)]JOIN

GraphAlgorithm((graph table),params…)[USING property table][WHERE…]

[GROUP BY…][ORDER BY…][LIMIT…]

其中，initial vertex set SQL是原始点集；num表示迭代次数； GraphAlgorithm是具体的图计算算法，graphtable是运行图计算的图表名称， GraphAlgorithm算法之后可以有不同的参数；property table是进行图计算所用到的属性表；之后的[WHERE…][GROUPBY…][ORDER BY…] [LIMIT…]等操作，与标准SQL一致。其中，GraphAlgorithm是算法名，类似于一个函数，不同的算法会有不同的参数个数，根据算法需要可设置不同的参数。例如：pagerank(graphTable,Damping,Epsilon)。

并且Loop Join用户可以自定义操作，在进行Loop Join时Loop后除了可以是num迭代次数，还可以是用户自定义操作。用户可以在进行Loop Join时进行自定义的操作，以定义终止条件。

以下为与上述方法实施例对应的系统实施例，本实施方式可与上述实施方式互相配合实施。上述实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在上述实施方式中。

其中，迭代计算的该类结构化查询语句接口为：

SELECT<results>FROM(initial vertex set SQL)LOOP[(num)]JOIN

GraphAlgorithm((graph table),params…)[USING property table][WHERE…]

[GROUP BY…][ORDER BY…][LIMIT…]

其中，initial vertex set SQL是该原始点集；num表示目标迭代次数，作为最终收敛条件；GraphAlgorithm是该图计算算法，graph table是运行图计算的图表名称，params为方法参数；property table是进行图计算所用到的属性表； [WHERE…][GROUPBY…][ORDER BY…][LIMIT…]操作为该标准结构化查询语句。

所述的基于SQL与图计算交互式分析的查询系统，其特征在于，查询模块还包括：对该标准结构化查询语句进行扩展，得到支持图计算的结构化查询语句，作为该类结构化查询语句。扩展包括，initial vertex set SQL是根据标准 SQL查询到的结果，propertytable后的内容与标准SQL一致，该类结构化查询语句可以与标准SQL进行任意嵌套使用。

Claims

1.一种基于SQL与图计算交互式分析的查询方法，其特征在于，包括：

2.如权利要求1所述的基于SQL与图计算交互式分析的查询方法，其特征在于，迭代计算的该类结构化查询语句接口为：

SELECT<results>FROM(initial vertex set SQL)LOOP[(num)]JOIN

GraphAlgorithm((graph table),params…)[USING property table][WHERE…]

[GROUP BY…][ORDER BY…][LIMIT…]

其中，initial vertex set SQL是该原始点集；num表示目标迭代次数，作为最终收敛条件；GraphAlgorithm是该图计算算法，graph table是运行图计算的图表名称，params为方法参数；property table是进行图计算所用到的属性表；[WHERE…][GROUP BY…][ORDERBY…][LIMIT…]操作为该标准结构化查询语句。

3.如权利要求2所述的基于SQL与图计算交互式分析的查询方法，其特征在于，该转换过程包括对点进行聚合转换。

4.如权利要求2所述的基于SQL与图计算交互式分析的查询方法，其特征在于，该数据结构使用图领域的压缩稀疏行存储。

5.如权利要求2所述的基于SQL与图计算交互式分析的查询方法，其特征在于，该图算法程序包括最短路径算法。

6.如权利要求2所述的基于SQL与图计算交互式分析的查询方法，其特征在于，该终止条件包括：该图计算算法的最终收敛条件。

7.如权利要求2所述的基于SQL与图计算交互式分析的查询方法，其特征在于，还包括：对该标准结构化查询语句进行扩展，得到支持图计算的结构化查询语句，作为该类结构化查询语句。

8.一种基于SQL与图计算交互式分析的查询系统，其特征在于，包括：

其中，迭代计算的该类结构化查询语句接口为：

SELECT<results>FROM(initial vertex set SQL)LOOP[(num)]JOIN

GraphAlgorithm((graph table),params…)[USING property table][WHERE…]

[GROUP BY…][ORDER BY…][LIMIT…]

9.如权利要求8所述的基于SQL与图计算交互式分析的查询系统，其特征在于，查询模块还包括：对该标准结构化查询语句进行扩展，得到支持图计算的结构化查询语句，作为该类结构化查询语句。

10.如权利要求9所述的基于SQL与图计算交互式分析的查询系统，其特征在于，

该转换过程包括对点进行聚合转换；

该数据结构使用图领域的压缩稀疏行存储；

该图算法程序包括最短路径算法；

该终止条件包括：该图计算算法的最终收敛条件。