CN103823846A - 一种基于图论的大数据存储及查询方法 - Google Patents

Abstract

本发明公开了一种基于图论的大数据存储及查询方法，包括如下步骤：步骤1.用户发起数据存储请求，主服务器将接收到的数据进行数据抽象，得到点数据、边数据以及属性数据，并为每个数据申请索引值；步骤2.主服务器根据数据类型向对应的从服务器存储数据；步骤3.用户发起查询请求，主服务器分析查询请求所采用的图形查询语言并将查询请求提交给关系服务器；步骤4.关系服务器对所述查询请求基于索引值进行查询遍历，并将查询结果返回至主服务器；步骤5.主服务器处理返回的查询结果，并向用户发送处理结果。本发明方法提供了一个能够进行水平扩展的数据库，为数据计算和数据分析提供了极大的便利。

Description

一种基于图论的大数据存储及查询方法

技术领域

本发明涉及计算机处理领域，尤其涉及一种基于图论的大数据存储及查询方法。 

背景技术

随着信息技术的不断发展，海量大数据的存储系统占据了举足轻重的地位。当今时代，在数据量每分每秒都在以几何级别增长的趋势下，能够应对海量大数据的不断膨胀和在不影响查询效率小的持久性维持，同时需要支持快速有效率的数据结果查询请求。一个有效和优秀的大数据存储体系的设计和构建成为了当下最为关键和热火的讨论话题之一。在保持高速查询和遍历的情况下，如何保证大数据的持久性维护和扩容成为了本文提到的大数据存储系统的设计基本思想。 

传统的大数据存储大多都基于关系型数据库和单纯“键值对”非关系型数据库。在关系型数据库中，对于数据之间的内在关系表示都是基于表格和表格之间的连接操作。由于表格和表格之间进行连接操作是非常耗时的。所以对数据关系的查询和基于图数据库的查询相比是比较耗时的。在图数据库中，其数据的存储基础就是基于点和点之间的关系进行设计的，所以基于数据关系的查询和遍历在图数据库中是更加适合的，其执行效率在很大程度上都会表现得非常优秀。单纯“键值对”的非关系型数据库可以存储无关系的数据，当数据和数据之间存在必须的关系时，单纯“键值对”架构在数据存储方面就会变的非常棘手和无力。单纯“键值对”模式的数据存储体系对数据存储容量能力的扩展是非常适用的，但是在对数据之间关系的数据存储会通过形式化的转化，进行复杂的存储。这样就会导致查询效率的低下。所以对于一个能够支持存储能力水平横向扩展、支持基于数据关系的用户定义的高效查询和遍历的大数据存储体系是非常迫 切需要的。 

一个优秀的大数据存储体系会给很多系统带来很多帮助，无论是对于数据计算和数据分析都会带来极大的便利。同时基于数据关系优秀的大数据库会对现在的互联网模式——Web2.0，以用户主导而产生的内容为互联网产品下，数据之间的关系会比数据本身更加值得关注和研究计算。 

发明内容

本发明在图论的基础上，提供了一种大数据存储及查找的方法，以适应当今海量数据的存储和查找。 

一种基于图论的大数据存储及查询方法，包括如下步骤： 

步骤1，用户发起数据存储请求，主服务器将接收到的数据进行数据抽象，得到点数据、边数据以及属性数据三类数据，并为每个数据申请索引值； 

步骤2，主服务器根据数据类型向对应的从服务器存储数据，所述从服务器包括关系服务器和数值服务器； 

步骤3，用户发起查询请求，主服务器分析查询请求所采用的图形查询语言，分析出查询所涉及到的点数据和边数据，并将分析得到的数据作为查询请求提交给关系服务器； 

步骤4，关系服务器对所述查询请求基于索引值进行查询遍历，并将查询结果返回至主服务器； 

步骤5，主服务器处理返回的查询结果，并向用户发送处理结果。 

利用本发明基于图论的数据存储及查询方法的数据库，在数据存储方面和数据查询遍历方面，都是将其索引值和真正的数据分开存储的。其中索引值是由点和边通过申请全局唯一ID来统一分配的，用于指示数据的存储位置。 

主服务器存储整个集群的配置关系、从服务器的数据状态信息和数据的存储位置，负责集群的整体调度。同时主服务器负责接受用户的数据和查询请求。从服务器包括关系服务器和若干数值服务器，其中关系服务器用于存储数据的索引关系，包括点数据和数据；数值服务器负责存储基于 点数据索引值和边数据索引值的属性数据。多个数值服务器的情况下，数值服务器之间是数据无关的，所以数值服务器支持集群的水平的扩展和添加，如图4所示。 

在步骤1中，点数据和边数据所分配的索引值是全局唯一的。 

属性数据表示点数据和边数据的属性，其索引值由点数据和边数据决定。 

步骤2中，存储数据的方法为： 

步骤2-1，主服务器根据数据类型向对应的从服务器发送存储请求； 

步骤2-2，各个从服务器在接收到存储请求后存储数据，并向主服务器发送反馈消息； 

步骤2-3，主服务器根据反馈消息进行相应处理：反馈消息为存储成功消息，则主服务器向用户发送存储成功消息并结束；反馈消息为存储失败消息，则主服务器再次向发送存储失败消息的从服务器发送存储请求，进入步骤2-4； 

步骤2-4，重复步骤2-2和步骤2-3，直至达到存储请求次数的上限值，此时主服务器进行存储请求的延迟处理并结束。 

一个集群中的从服务器可能包括多个数值服务器，主服务器第一次向所有的从服务器发送存储请求，此后再次发送存储请求时，主服务器仅对发送存储失败消息的服务 

在步骤2-1中，主服务器据数据类型向对应的服务器发送存储请求的方法为，对数据类型进行判断并采用对应的模式向对应的服务器发送存储请求： 

数据类型为边数据，则将边数据作为存储请求发送至关系服务器； 

数据类型为点数据和属性数据，则将点数据和属性数据作为存储请求发送至数值服务器。 

其中点数据所存储的数值服务器地址是在主服务器上进行搜寻得到的，且在主服务器上记录有所述点数据所存储的数值服务器地址。 

所述边数据为邻接链表形式。 

其中，邻接链表是指，为图中的每个点建立的一个单链表，所述单链 表用于存储该点的所有邻接点及其索引值。 

所述属性数据为键值对形式。 

其中，所述键值对是指，以点数据或者边数据的索引值为键，以属性数据为值，建立键值对。 

所述图形查询语言包括：查询遍历的起始点、图形的匹配模式、查询遍历的过滤条件以及返回结果的形式。 

图形匹配模式包括：相关节点模式、接出关系模式、定向关系模式、关系类型匹配模式、多种关系匹配模式以及最短路径模式。其中，返回结果的形式包括数值展开或者索引表示的形式。由用户设定描述性的图形查询语言，用于描述查询的方式以及返回结果的形式，具有较高的灵活性。 

关系服务器基于索引值进行查询遍历的方法为，判断是否需要点数据和边数据之间的属性数据来继续遍历：是，则向主服务器发送属性数据请求，主服务器从对应的数值服务器获取属性数据发送至关系服务器，所述关系服务器根据属性数据继续进行查询遍历；否则，直接继续进行查询遍历。 

关系服务器会进行基于索引值的查询遍历，只当点数据和边数据对应的属性数据必须被使用到时候，关系服务器才会向主服务器发出属性数据请求，随后主服务器会通过属性数据的数据存储记录向数值服务器发出数据请求。 

根据用户所设置的返回结果形式，将返回结果基于索引进行数据展开或者直接向用户提供索引查询结果。 

关系服务器查询遍历得到的查询结果也是基于索引值的，当主服务器接收到关系服务器的查询结果时，才会将返回结果基于索引值根据用户需要进行展开或者直接提供。 

本发明方法提供了一个能够进行水平扩展的数据库，为数据计算和数据分析提供了极大的便利。 

附图说明

图1为本发明方法的步骤流程图； 

图2为本发明方法一个实施例的数据关系示意图； 

图3为本发明方法数据抽象应用于网络用户的示意图； 

图4为本发明当前实施例支持水平容量扩展的图数据库架构图； 

图5为本发明当前实施例中传统文件系统抽象映射于图论的示意图。 

具体实施方式

现结合具体实施例以及说明书附图对本发明进行解释。 

本发明方法的一个实施例基于传统文件系统进行本发明方法的流程如图1所示： 

步骤1：用户发起数据存储请求，主服务器将接收到的数据进行抽象分类，并为每个数据申请索引值。 

主服务器将整个数据存储体系中的数据抽象为三大类形式：“点”（点数据）、“边”（边数据）和“属性”（属性数据）这三个概念，其中各个数据关系如图2所示。其中，每个“点”都代表一个数据；“点”和“点”之间的“边”代表了数据和数据之间的关系，即关系数据；“点”和“边”都同时拥有属性数据，其中边数据为有向边数据，即“边”具有方向性的，也就是通常意义上图论中有向图内有向边方向性的概念。其中边数据存储形式为邻接链表模式，属性数据存储形式为键值对模式。同时每个点数据和边数据都拥有全局唯一的索引值。图3所示为一个简单的基于图存储的例子。其中描述了关于社交人群之间粉丝与阻止的关系，描述的就是数据与数据之间的关系。 

本发明当前实施例所采用的系统为了能够让数据存储对大数据存储形式的支持更加广泛性，系统会着重处理和支持传统文件系统。因为如果大数据存储系统支持了传统的文件系统，对其他的数据关系存储模型就会变得非常简单和有效率。 

因此在第一实施例中，数据满足以下条件： 

①文件夹和文件都被抽象为点数据，文件与文件夹之间区别之处只在于它们含有不同的索引值且它们的属性数据不同； 

②文件夹和文件的包含关系被抽象为边数据，父文件夹“包含”子文件，子文件“被包含”于父文件夹中，亦即文件夹和文件之间存在一种 有向边的关系； 

③文件的符号链接也被抽象为边数据，亦即文件和文件存在边的关系。文件的符号链接包括软链接和硬链接，硬链接表示同一个文件可以拥有别名，也就意味着点数据含有不同的索引值，但是其中数据拥有相同的属性数据。软链接表示同一个文件、同一个文件名的链接符号，那就意味着点数据含有相同的索引值。 

为所有数据分配索引值的方法为：如果是点数据，则为其申请全局唯一点ID，为点数据分配全局唯一的索引值，并在主服务器上查到可以为其存储的数值服务器地址，在主服务器上记录下来其存储的位置；如果是边数据，则为其申请全局唯一边ID，为其分配好索引数据，然后在主服务器的记录上找到其两边端点的索引ID；如果是属性数据，则查找到该属性的父节点ID。 

步骤2，主服务器根据数据类型向对应的从服务器存储数据，所述从服务器包括关系服务器和数值服务器。 

步骤2-1，主服务器根据数据类型向对应的从服务器发送存储请求。如果是点数据，则根据分配的数值服务器存储地址，将点数据通过网络传输的方式将存储请求发向对应的数值服务器；如果是边数据，则将边数据根据索引值将存储请求以邻接链表发向对应的关系服务器；如果是属性数据，则将属性数据以键值对形式发向对应的数值服务器。 

步骤2-2，各个从服务器在接收到存储请求后存储数据，并向主服务器发送反馈消息； 

步骤2-3，主服务器根据反馈消息进行相应处理：反馈消息为存储成功消息，则主服务器向用户发送存储成功消息并结束；反馈消息为存储失败消息，则主服务器再次向发送存储失败消息的从服务器发送存储请求，进入步骤2-4； 

步骤2-4，重复步骤2-2和步骤2-3，直至主服务器不再接收到存储失败消息。 

如图5所示，显示了当前实施例基于“点-关系”存储方式进行传统文件的存储，如图所示，根目录包含文件夹A，文件夹A包含文件B和文件夹 C，其中文件夹C包含文件D，文件B通过软链接到文件D。其中文件和文件夹都被理解抽象为点数据，文件夹包含文件被理解抽象为有向的边数据，软链接也被理解抽象为边数据，每个文件或者文件夹都包含其属性数据：包括文件最新修改时间、文件创建时间、文件大小、文件类型和文件校验值等等。 

这样整个传统的文件系统就可以被抽象映射到基于图存储的数据存储体系中。仅用点数据和边数据就可以描写表示整个传统的文件系统。 

步骤3，用户发起查询请求，主服务器分析查询请求所采用的图形查询语言并将查询请求提交给关系服务器。 

主服务器接收用户发出定义的一种描述性的图形查询语言，该图形查询语言包括图论中查询遍历的起始点、图形的匹配模式、遍历过滤条件和返回所需要的结果。 

主服务器分析用户提供的图形查询语言之后，会将查询请求打包提交给关系服务器，此时进入步骤4，关系服务器会进行基于索引数据的图论遍历。 

步骤4，关系服务器对所述查询请求基于索引值进行查询遍历，并将查询结果返回至主服务器。 

其中基于索引值进行查询遍历时，根据索引值查询得到对应的数据。主服务器根据用户提供的图形查询语言，分析其需要展开索引的地方。比如说在条件筛选中含有属性的表示，则需要将相对应的成员替代为索引值展开后的数据。 

如果“点”和“边”的属性数据必须被使用才可以继续遍历查询的时候，关系服务器会向主服务器发出属性数据请求。 

如果主服务器接收到属性数据请求时，主服务器会根据数据存储记录向对应的数值服务器发出数据打包请求。当获得结果之后，会将需要查询的属性数据返回给关系服务器。 

步骤5，主服务器处理返回的查询结果，并向用户发送处理结果。 

关系服务器查询返回得到的结果也是基于索引的，当主服务器接收到关系服务器返回的查询结果时，根据用户设定的返回结果形式，将返回结 果基于索引进行数据展开或者直接向用户提供索引查询结果。如此，知道查询遍历的时候遇到需要展开的地方就通过索引在数值服务器上进行数据展开。 

本发明方法提供了一个能够进行水平扩展的数据库，为数据计算和数据分析提供了极大的便利。 

Claims (9)

1.一种基于图论的大数据存储及查询方法，其特征在于，包括如下步骤：

步骤1，用户发起数据存储请求，主服务器将接收到的数据进行数据抽象，得到点数据、边数据以及属性数据三类数据，并为每个数据申请索引值；

步骤2，主服务器根据数据类型向对应的从服务器存储数据，所述从服务器包括关系服务器和数值服务器；

步骤3，用户发起查询请求，主服务器分析查询请求所采用的图形查询语言，分析出查询所涉及到的点数据和边数据，并将分析得到的数据作为查询请求提交给关系服务器；

步骤4，关系服务器对所述查询请求基于索引值进行查询遍历，并将查询结果返回至主服务器；

步骤5，主服务器处理返回的查询结果，并向用户发送处理结果。

2.如权利要求1所述基于图论的大数据存储及查询方法，其特征在于，在步骤1中，点数据和边数据所分配的索引值是全局唯一的。

3.如权利要求1所述基于图论的大数据存储及查询方法，其特征在于，步骤2中，存储数据的方法为：

步骤2-1，主服务器根据数据类型向对应的从服务器发送存储请求；

步骤2-2，各个从服务器在接收到存储请求后存储数据，并向主服务器发送反馈消息；

步骤2-3，主服务器根据反馈消息进行相应处理：反馈消息为存储成功消息，则主服务器向用户发送存储成功消息并结束；反馈消息为存储失败消息，则主服务器再次向发送存储失败消息的从服务器发送存储请求，进入步骤2-4；

步骤2-4，重复步骤2-2和步骤2-3，直至达到存储请求次数的上限值，此时主服务器进行存储请求的延迟处理并结束。

4.如权利要求3所述基于图论的大数据存储及查询方法，其特征在于，在步骤2-1中，主服务器据数据类型向对应的服务器发送存储请求的方法为，对数据类型进行判断并采用对应的模式向对应的服务器发送存储请求：

数据类型为边数据，则将边数据作为存储请求发送至关系服务器；

数据类型为点数据和属性数据，则将点数据和属性数据作为存储请求发送至数值服务器。

5.如权利要求4所述基于图论的大数据存储及查询方法，其特征在于，所述边数据为邻接链表形式。

6.如权利要求4所述基于图论的大数据存储及查询方法，其特征在于，所述属性数据为键值对形式。

7.如权利要求1所述基于图论的大数据存储及查询方法，其特征在于，所述图形查询语言包括：查询遍历的起始点、图形的匹配模式、查询遍历的过滤条件以及返回结果的形式。

8.如权利要求1所述基于图论的大数据存储及查询方法，其特征在于，关系服务器基于索引值进行查询遍历的方法为，判断是否需要点数据和边数据之间的属性数据来继续遍历：

是，则向主服务器发送属性数据请求，主服务器从对应的数值服务器获取属性数据发送至关系服务器，所述关系服务器根据属性数据继续进行查询遍历；

否则，直接继续进行查询遍历。

9.如权利要求7所述基于图论的大数据存储及查询方法，其特征在于，主服务器处理查询结果的方式为：根据用户所设置的返回结果的形式，将返回结果基于索引进行数据展开或者直接向用户提供索引查询结果。

Images