CN102521364B - 一种图上两点间最短路径查询方法 - Google Patents

Abstract

本发明涉及一种图上两点间最短路径查询方法，其步骤包括：1)从图上随机抽取若干点作为支点，根据各支点间的最短路径得出图上每点的中间性估计值；2)将中间性估计值大于设定值的点作为中心点，将图中各点到各中心点的最短路径信息加入图中各点的hop信息，这些中心点的集合记为Wb；3)将图去除Wb中各点后分割为若干小图Si，并得到点割集Ws；4)对于每个小图Si根据枚举出的任意两点间最短路径，得到该小图Si内的所有点的hop信息；5)根据Wb中各点到Ws中各点的最短路径得到不同小图之间的点的hop信息；6)根据图中各点的hop信息，得到用户输入的两查询点之间的最短路径。本发明的方法可行且高效，能在可接受时间内计算出大规模图上的hop信息。

Description

一种图上两点间最短路径查询方法

技术领域

本发明涉及数据库技术和图数据管理，主要涉及一种针对大规模图的基于2-hop处理两点间最短路径查询的软件实现方法。

背景技术

图数据库是一种利用图的结构和属性来表示与存储信息的新型数据库技术，是NoSQL数据库的一种。图数据库(graphic database)是利用计算机将点、线、画霹图基本元素按一定数据结同灶行存储的数据集合，将地图与其它类型的平面图中的图描述为点、线、面等基本元素，并将这些图元素按一定数据结构(通常为拓扑数据结构)建立起来的数据集合。包括两个层次：第一层次为拓扑编码的数据集合，由描述点、线、面等图元素间关系的数据文件组成，包括多边形文件、线段文件、结点文件等。文件间通过关联数据项相互联系；第二层次为坐标编码数据集合，由描述各图元素空间位置的坐标文件组成。图数据库仍是目前地理信息系统中对矢量结构地图数字化数据进行组织的主要形式。一般的图数据库应该能存储任何形式的图，包括地理上的地图、社会关系网络等等。

图数据库是基于图论的，它利用了图论中点、边等概念。其中，点常用来代表现实中的实体，如人、公司、账户及其他一切你希望记录的事物。边用来连接两个点，用来表示两点之间的关系。一般而言，点或边上还会附带其他信息。比如一个基于社交网络的图上，每个点代表一个人，那么这个点上不但包含有这人的名字，一般还会有诸如住址、联系方式等其他信息，而边上就可能会有两个人具体关系的描述，比如父子关系、朋友关系等。

相较于传统关系数据库，图数据库能更为直接地映射到面向对象的应用中去，同时也能更自然地扩展到海量数据集上。图数据库不依赖于模式，所以它们也更适合于管理那些会经常被更新的数据。

其中，最短路径查询是图数据库领域里极为重要的一项需求。例如，给定一个社交网络图，我们想了解两个人之间的关系。显然，我们可以将这两个人在社交网络图中对应的点找到，之后，这就需要我们在大的社交网络图中找出连接这两个点的路径以表示二者的关系。

对于最短路径查询，现阶段已经有了不少的方法。但是，这些方法中有一些是基于迪杰斯特拉(Dijkstra)算法的改进，这些算法的查找效率有限；另外一些通过对图上的点构建距离信息索引来提高路径查询的效率，但是现有的这些索引方法可扩展性都不强，无法满足大数据量级的图上路径查询需求。可见，传统的图数据库技术已经无法满足日益增长的图数据的应用的需求。

发明内容

本发明提出了一种基于2-hop的两点间路径查询方法，用以对大规模图数据上的最短路径查询进行高效地处理。

数据预处理主要是针对大规模图数据及最短路径查询的特点设计的利用2-hop定义为图构建索引并进行组织与存储的方法。所谓2-hop，是在计算图数据中两点间距离时常用的一种数据结构。利用2-hop的定义，我们将给图上每个点打上该点对应的hop信息，用来快速的计算两点间的可达性或者距离。常见的hop信息计算方法就是找出两点u和v之间最短路径上一个点作为中心点，然后将u和v到中心点的距离信息分别记录到u和v对应的hop信息中去。

本方法中，为了高效地计算构建索引，结合hop信息的定义，我们将hop信息分为两类：基于中间性(Betweenness)定义的hop信息和基于图分割技术的hop信息，我们并为其提出了新的计算方法。查询执行是针对本发明一种图上两点间最短路径查询方法，具体方法如下：

1)从图上随机抽取若干点作为支点，根据各支点间的最短路径得出图上每点的中间性估计值；

2)将中间性估计值大于设定值的点作为中心点，将图中各点到各中心点的最短路径信息加入图中各点的hop信息，这些中心点的集合记为Wb；

3)将图去除Wb中各点后分割为若干小图Si，1＜i≤m，m为小图个数，并得到点割集Ws；

4)对于每个小图Si根据枚举出的任意两点间最短路径，得到该小图Si内的所有点的hop信息；

5)根据Wb中各点到Ws中各点的最短路径得到不同小图之间的点的hop信息；

6)根据图中各点的hop信息，得到用户输入的两查询点之间的最短路径。

所述图中各点的hop信息存储为四元组<v，u，Dist_sp(v，u)，neighbor(v)|_u>，其中，v是大规模数据图上的任意点，u是覆盖v的一条最短路径的中心点，Dist_sp(v，u)是u与v之间的距离，neighbor(v)|_u表示从v到u的最短路径上v的邻居，排序后形成一hop信息文件。

根据所述hop信息文件建立hop信息索引，将图中各点的hop信息在hop文件的起始位置、长度存储为三元组，该三元组为<v，pos，len>，其中v是该大规模图中任意点，pos是每个点hop信息文件中起始位置，len是每个点hop信息文件长度。

所述中间性估计值按下述公式得出

$\mathrm{Betweenness}\left(u\right)=\underset{u_1\&NotEqual;u\&NotEqual;u_2\&Element;V}{\mathrm{\&Sigma;}}\frac{{\mathrm{\&sigma;}}_{u_1{u}_2}\left(u\right)}{{\mathrm{\&sigma;}}_{u_1{u}_2}},$

其中，u₁和u₂分别表示图上任意两个点，V表示在一大规模图中所有点所组成的集合，是u出现在不同的u₁和u₂之间的最短路径总个数，是不同的u₁和u₂之间的最短路径的总个数。

使用METIS图分割方法对所述大规模图进行分割得到一边割集合和小图S₁，S₂，……，S_m，1＜i≤m，其中m为小图的个数。

对边割集中每一条边e＝(u₁，u₂)，假设其连接大图的两个分割图P₁和P₂，其中u₁属于P₁，且u₂属于P₂，根据P₁和P₂大小将e放入所述P₁和P₂中，将所述边割集转化为点割集。

所述随机抽取的总点数为图上有所点数的1/100。

对于所述每个小图Si内的所有点，利用贪心算法求出所述枚举出的两条最短路径间的中心点，并存入其hop信息中。

所述小图贪心算法迭代次数为5～10次；在迭代5～10次后，直接用路径端点作为所述小图内中心点。

根据所述各点中的hop信息通过归并操作得到用户输入的两查询点之间的最短路径。

本发明主要改进点在于利用中间性原理和图分割技术对现有技术中的处理方法进行了改进，首先求得图上所有点求得其相应的中心点，然后利用中间点为每个点定义并构建了相应的hop信息索引，最后读入查询点的hop信息并通过归并方法求得查询点距离。主要的创新点在于hop信息的计算方式上的创新。

本发明的有益效果

通过对hop信息的分类及分开处理，本发明提供的方法能够在可接受的时间内对含有10⁵量级点的大规模图完成hop信息索引的构建，进而有更为广阔的适用范围和很强的可扩展性。同时，利用构建的hop信息索引，对于含有10⁵量级点的大规模图，也能在毫秒级的时间内完成最短路径查询，远远快于现有方法，也更符合实际应用中的需求。

附图说明

图1为本发明基于2-hop的两点间最短路径查询方法-实施例中整体框架示意图。

图2为本发明基于2-hop的两点间最短路径查询方法-实施例中大规模图数据预处理的方法示意图。

具体实施方式

本发明是根据图数据的特点，针对图上的最短路径查询构建索引并计算结果，整个方法参见图1为本发明基于2-hop的两点间最短路径查询方法一实施例中整体框架示意图。该方法分为两大部分，数据预处理部分和查询执行部分。

参见图2为本发明基于2-hop的两点间最短路径查询方法一实施例中大规模图数据预处理的方法示意图。

实施例中，大规模图数据预处理的方法包括：

步骤1：hop信息的定义与分类方法。

针对图数据最短路径查询，现有技术中提出过一系列的索引方法，其中有相当一部分方法就是利用图上每个点的hop信息来为图构建索引。对于图上每个点v而言，其hop信息就是这个点v到一部分点u距离所组成的集合，即可以表示为L(v)＝{<u，Dist_sp(v，u)，neighbor(v)|_u>}，其中Dist_sp(v，u)表示点u和点v之间最短路径距离，neighbor(v)|_u表示从v到u的最短路径上v的邻居，而所有的u称之为中心点。利用所述hop信息，当给出两个查询点时，我们就可以通过归并操作来得到两点间最短路径。

根据上述定义，在定义计算每个点的hop信息时，最重要的问题就是如何选取中心点。具体而言，对于图上任意两点v₁、v₂之间最短路径，起码至少有一个中心点对其进行覆盖，然后中心点与这条路径的相关信息必须进入到v₁、v₂的hop信息中去。当然，不同点之间的中心点可以不尽相同，但如果两个点是连通的，那么这两个点起码至少要有一个相同的中心点，而且这个中心点必须在两点间的最短路径上。

现有技术中求解中心点的方法一般是先枚举出图上任意两点间最短路径，然后通过贪心算法找出一些点来覆盖掉这些路径，继而用这些点作为中心点。这种方法复杂度高，只能支持在小规模的图上计算中心点，可扩展性差。为了支持在大规模图上的中心点的计算，在本发明的方法中，利用图分割的技术将大规模图分割成若干小图，并在这些小图中利用现有的枚举所有路径的方法得到一部分中心点。另一方面，为了提高效率，在图分割之前，我们会先结合中间性(Betweenness)定义计算出一部分hop信息。利用这些hop信息，能极大地减少后续的工作量。

于是，根据上述的分析，我们就可以将每个点的hop信息分为两类：基于中间性(Betweenness)定义的hop信息和基于图分割技术的hop信息。

步骤2：基于中间性(Betweenness)定义的hop信息的计算方法。

所谓中间性(Betweenness)是图论上的一种度量，用以表示一个点的对于其他所有点的最短路径的相关性。具体而言，给定图G和点u，u的中间性定义如下：

$\mathrm{Betweenness}\left(u\right)=\underset{u_1\&NotEqual;u\&NotEqual;u_2\&Element;V}{\mathrm{\&Sigma;}}\frac{{\mathrm{\&sigma;}}_{u_1{u}_2}\left(u\right)}{{\mathrm{\&sigma;}}_{u_1{u}_2}}$

其中，u₁和u₂分别表示图上任意两个点，V表示G中所有点所组成的集合，表示u出现在不同的u₁和u₂之间的最短路径上的次数，表示不同的u₁和u₂之间的最短路径的总个数。显然，如果某个点中间性值越高，意味着这个点越多地出现在最短路径上，那么这个点越应该成为中心点。

但是，找出所有的中间性值高的点是所需要的时间也是不可接受的，所以在实际中采取抽样的方法，找出一些近似的中间性值高点。具体而言，就是在大规模图上随机抽取若干个点(实际中大概会抽取所有点数目的1％)作为“支点”，然后计算出所有“支点”之间的最短路径，并以这些最短路径来计算图上每个点的中间性估计值，之后将中间性估计值最大的若干个点作为中心点放到每个随机抽取若干点的hop信息中去，将这些中间性估计值最大的若干个点记为W_b。

W_b中的点虽然只是中间性估计值比较大，但是实际中这些点能覆盖很多的最短路径，具有代表性，所以能极大地减少后续的计算。

当得到W_b之后，我们通过Dijkstra算法计算其中每个点的最短路径树，从而得到图上每个点v到W_b中每个点的距离，并将这个中心点信息及距离信息存入v的hop信息中去。

步骤3：基于图分割技术的hop信息的计算方法。

虽然选取的中间性估计值比较大的点集合W_b能覆盖掉很多最短路径，但是明显地，这些点不能覆盖所有最短路径。对于剩下的最短路径而言，我们将利用图分割的技术将原本的大规模图分割成若干小图，进而通过计算小图的hop信息来得到整个图的hop信息。这里，我们在分割图的时候，要求分割出来的小图能支持枚举所有最短路径的操作。

首先，在于图分割技术，本发明利用已有的图分割的方法METIS来进行图分割。METIS是一种基于边的分割方法，它通过依次去掉边来实现将图分割成若干部分，并得到一些边割集。利用METIS方法，我们可以将图分割成指定大小的若干块。这里，在分割之前，已经去掉W_b中所有点。因为W_b中所有点的最短路径信息都已经存到相应的hop信息中去了，所以去掉大规模图上W_b中的点可以提高效率。

然后，我们将相应的边割集转化为点割集。具体而言，对于边割集中每一条边e＝(u₁，u₂)，假设其连接大图的两个分割P₁和P₂，其中u₁属于P₁，且u₂属于P₂。这里，根据P₁和P₂的大小将e放入其中之一，进而将边割集变成点割集。比如，如果P₁比P₂大，将e放入P₂，并将u₁变成割点；反之，如果P₂比P₁大，将e放入P₁，并将u₂变成割点。这样的操作好处在于能使得各个小图之间的大小相互间不会差的太多。如此分割之后，假设我们得到的点割集是W_s及分割出来的一些小图S₁，S₂，……，S_m，其中m为小图的个数，且每个小图都足够小以至于支持枚举其中每条最短路径。

对于每个小图S_i，先枚举出任意两点间最短路径。然后，利用贪心算法，找出能覆盖所有路径的点。具体而言，首先计算出所有最短路径集合P，之后找出能覆盖最多路径的点，并以此点为中心点将覆盖的最短路径的相关信息存入路径端点的hop信息中去。然后将这些路径从P中去除掉，并迭代地进行上面的过程。

在实际中，对于小图而言当贪心算法迭代5-10次之后就能覆盖60％-80％的最短路径。之后，找出的中心点每次都只能覆盖很少的最短路径。所以，在实际中，对于每个小图，只会迭代5-10次，之后对于最短路径，直接用路径端点作为中心点，并将路径长度存入端点的hop信息中去。

如此，便计算出了小图内部的hop信息。之后，要计算小图之间的点的hop信息。对于属于不同小图的点v₁与v₂而言，它们在大规模图上的最短路径必然过中间性高的点所组成的集合W_b或者分割图时形成的点割集W_s中的点。由于W_b中的点的最短路径树已经计算过了，这里只需要计算W_s中所有点的最短路径树。同时，W_s中所有点的最短路径树也不用完全计算出来，只需要计算出W_s中所有点到W_b中所有点的最短路径就行了。其他的点都被W_b中点的最短路径树所覆盖了。如此一来就可以将所有点之间最短路径信息全部得到。

步骤4：hop信息的组织与存储。

在上述的计算过程中，将每个点v的hop信息组织成的一些四元组<v，u，Dist_sp(v，u)，neighbor(v)|_u>的形式，其中v是图上的任意点，u是覆盖v的一条最短路径的中心点，Dist_sp(v，u)是u与v之间的距离，neighbor(v)|_u表示从v到u的最短路径上v的邻居。之后，我们将每个四元组视为一个元素，然后通过外存排序算法将它们按照v的标识符大小排序。这样的话，与图上每个点v相关所有的四元组都聚集在一起，形成一个按v组织的hop信息文件。如此，每次查询的时候，我们只需要利用一次范围查询就可以读出与v相关的所有四元组信息，也即v所有的hop信息。

而实际中，这些hop信息的空间开销也会很大，也即无法读入内存中。所以，需要为之构建索引。这里，我们构建一个索引文件，然后将每个点v的hop信息和hop信息文件中的起始位置pos，以及v所有hop信息四元组合在一起在外存中所占用的长度len记录成一个三元组<v，pos，len>。如此，在每次需要读取v的hop信息时可以直接定位到其在hop信息文件的相应位置，并一次读取出来。

参见图2，实施例中，大规模图数据最短路径查询处理的方法的包括：

步骤1：对查询点的相应hop信息的读取与解析的部分

当用户给出查询调用之前，本发明基于2-hop的两点间最短路径查询的方法首先需要利用索引文件读入到内存中去，以提高效率。这里对于索引文件中的所有<v，pos，len>三元组，建立维护一个散列表。散列表是由关键字和值所组成的一种数据结构。在散列表中，每个关键字对应一个值，关键字之间各不相同，但不同的关键字可能对应同一个值。这里，我们将v作为关键字，pos和len作为值。

当读取用户给定查询点u和v之后，首先根据u和v读入其所对应的三元组在hop信息文件中的位置信息pos和hop信息的长度len。然后利用这些信息，在hop信息文件中读取u和v所对应的hop信息，即u和v分别对应的若干四元组。之后，对于u和v维护分别维护一个有序列表，列表中每一项对应一个四元组，列表按照四元组中的中心点的ID的值排序。

步骤2：利用相应hop信息计算查询点间最短路径部分

查询点u和v的hop信息四元组有序列表生成之后，我们开始对对两个列表进行归并操作，进而得到两点间距离。具体而言，我们设定两个指针c₁和c₂分别对u和v的hop信息有序列表进行遍历，当c₁和c₂所指向的四元组的中心点w一样时，将两个四元组的距离信息加起来作为u和v之间的距离的候选值，即将Dist_sp(u，w)+Dist_sp(v，w)作为u和v之间距离的候选值。当所有候选值都得到之后，我们去最小的那个值，这个值就为u和v之间距离。如果u和v之间不连通，那么我们就一个候选值都无法得到，也就是说不存在一条路径能将u和v连接起来，这时候我们返回“无穷大”作为两点间距离，并直接终止程序。

如果用户在查询中只是要求查询两点间距离，那么程序到此终止，若用户还要求计算出查询点之间路径，那么在记录候选值的时候还需记录u和v为了取这个候选值所需要途径的邻居结点neighbor(v)|_u和neighbor(v)|_v。然后迭代地计算neighbor(v)|_u和neighbor(v)|_v之间的最短路径，直到最后收敛到一个点。显然，由于两点间若不连通，则在计算距离时就能知道并终止程序；若还没终止，则两查询点之间距离肯定有限，那么最后一定会收敛。

综上所述，本发明实例中，针对规模日益增长的图数据，本发明设计了一种图上的基于2-hop的两点间最短路径查询方法。设计了基于中间性(Betweenness)定义和基于图分割技术的hop信息两个过程，并给出了计算方法与最终hop信息的组织与存储策略。通过所述的方法不但可行而且高效，能在可接受的时间内计算出大规模图上的hop信息。在查询时，有效地利用存储结构与索引，设计了相应的方法来高效地支持最短路径查询。

Claims (9)

1.一种基于数据库中数据集合进行的图上两点间最短路径查询方法，其步骤包括：

1）从图上随机抽取若干点作为支点，根据各支点间的最短路径得出图上每点的中间性估计值；

2）将中间性估计值大于设定值的点作为中心点及图中各点到各中心点的最短路径信息加入图中各点的hop信息，这些中心点的集合记为Wb；

3）将图去除Wb中各点后分割为若干小图Si，1<i≤m，m为小图个数，并得到点割集Ws；

4）对于每个小图Si根据枚举出的任意两点间最短路径，得到该小图Si内的所有点的hop信息；所述图中各点的hop信息为四元组<v,u,Dist_sp(v,u),neighbor(v)|_u>，其中，v是大规模数据图上的任意点，u是覆盖v的一条最短路径的中心点，Dist_sp(v,u)是u与v之间的距离，neighbor(v)|_u表示从v到u的最短路径上v的邻居；

5）根据Wb中各点到Ws中各点的最短路径得到不同小图之间的点的hop信息；

6）根据图中各点的hop信息，得到用户输入的两查询点之间的最短路径，具体操作过程如下：

6-1）当查询两个大规模数据图上的点v₁和v₂之间距离时，对于v₁和v₂分别维护一个hop信息的有序列表，列表中每一项对应一个四元组，列表按照四元组中的中心点的ID的值排序；

6-2）对两个列表进行归并操作，进而得到两点间距离，分别指定两个指针c₁和c₂分别对v₁和v₂的hop信息有序列表进行遍历，当c₁和c₂所指向的四元组的中心点w一样时，将Dist_sp(v₁,w)+Dist_sp(v₂,w)作为v₁和v₂之间距离的候选值；当所有候选值都得到之后，取最小的值即为v₁和v₂之间距离；如果v₁和v₂之间不连通，返回无穷大作为两点间距离；

6-3）计算查询点之间路径时，还需记录v₁和v₂为了取这个候选值所需要途径的邻居结点neighbor(v₁)|_w和neighbor(v₂)|_w，然后迭代地计算neighbor(v₁)|_w和neighbor(v₂)|_w之间的最短路径，直到最后收敛到一个点。

2.如权利要求1所述的基于数据库中数据集合进行的图上两点间最短路径查询方法，其特征在于，所述hop信息文件建立hop信息索引，将图中各点的hop信息在hop文件的起始位置、长度存储为三元组，该三元组为<v,pos,len>，其中v是该大规模图中任意点，pos是每个点hop信息文件中起始位置，len是每个点hop信息文件长度。

3.如权利要求1所述的基于数据库中数据集合进行的图上两点间最短路径查询方法，其特征在于，所述各支点间的最短路径通过中间性算法得到，所述中间性公式为

$\mathrm{Betweenness}\left(u\right)=\underset{u_1\&NotEqual;u\&NotEqual;u_2\&Element;V}{\mathrm{\&Sigma;}}\frac{{\mathrm{\&sigma;}}_{u_1{u}_2}\left(u\right)}{{\mathrm{\&sigma;}}_{u_1{u}_2}},$

其中，u₁和u₂分别表示图上任意两个点，V表示在一大规模图中所有点所组成的集合，是u出现在不同的u₁和u₂之间的最短路径总个数，是不同的u₁和u₂之间的最短路径的总个数。

4.如权利要求1所述的基于数据库中数据集合进行的图上两点间最短路径查询方法，其特征在于，所述分割方法为，使用METIS图分割方法对所述大规模图进行处理得到一边割集合和小图S₁,S₂,……,S_m，1<i≤m，其中m为小图的个数。

5.如权利要求4所述的基于数据库中数据集合进行的图上两点间最短路径查询方法，其特征在于，所述边割集转化为点割集的方法是，对边割集中每一条边e=(u₁,u₂)，假设其连接大图的两个分割图P₁和P₂，其中u₁属于P₁，且u₂属于P₂，根据P₁和P₂大小将e放入所述P₁和P₂中。

6.如权利要求1所述的基于数据库中数据集合进行的图上两点间最短路径查询方法，其特征在于，所述随机抽取的总点数为图上有所点数的1/100，所述设定值为每个点上中间性估计值按照降序排列后，中间性估计值点的1/100。

7.如权利要求1所述的基于数据库中数据集合进行的图上两点间最短路径查询方法，其特征在于，所述每个小图Si内的所有点的hop信息还包括，利用贪心算法求出所述枚举出的两条最短路径间的中心点，并存入hop信息中。

8.如权利要求7所述的基于数据库中数据集合进行的图上两点间最短路径查询方法，其特征在于，所述小图贪心算法迭代次数为5～10次，所述小图贪心算法迭代5～10次后，直接用路径端点作为所述小图内中心点。

9.如权利要求1所述的基于数据库中数据集合进行的图上两点间最短路径查询方法，其特征在于，所述各点中的hop信息，通过归并操作对查询请求的图上任意两点进行计算。