CN105354266A - 一种基于富图模型RichGraph的图数据管理方法 - Google Patents

Abstract

本发明公开了一种基于富图模型RichGraph的图数据管理方法，该图数据管理方法中提出了一种节点和边元素均可包含属性信息的属性图数据模型，并给出了该数据模型基于Lucene全文索引检索引擎的底层实现方法。本发明解决了传统关系数据库模型获取数据中固有的图结构信息的限制问题，为包含丰富语义信息的复杂数据提供了合理的表达模型，同时提高了图数据复杂信息的管理能力。

Description

一种基于富图模型RichGraph的图数据管理方法

技术领域

本发明涉及图数据管理的技术领域，具体涉及一种基于富图模型RichGraph的图数据管理方法。

背景技术

随着web2.0时代的到来，海量具有复杂图结构的数据不断产生，越来越多的领域不仅仅看重于信息实体本身，更关注于实体间的联系，例如网页挖掘、生物领域、化学领域、空间科学、地理学等。如何合理地、高效地管理具有图结构的信息是数据库领域面临的挑战。

然而目前应用最广泛的关系型数据库由于其关系逻辑模型的局限性，存在很多难以克服的问题，因此非关系型数据应运而生，如列存储数据库、文档型数据库、键值存储数据库以及图数据库。其中图数据库的逻辑模型即是图结构，因此十分易于信息实体间复杂语义关系的表达。但是目前的图数据模型未能表示实体及实体间关系所具有的丰富属性，对信息的表达并不充分。近期热门的图数据库如Sparksee和Neo4j，由于其底层索引方式较为复杂且并不开源，因此实用性不强。

本发明提出了一种基于富图模型RichGraph的图数据管理方法，给出了富图模型的完整定义以及基于Lucene的实现方法，并将其应用在图数据管理领域，实现了一种属性图数据库管理系统MyGraphDB。本发明的图数据方法对包含复杂语义关系的图结构数据具有良好的表示及管理能力。

发明内容

本发明要解决的问题为：克服现有技术的不足，提出了一种表达能力更为丰富的属性图数据模型RichGraph，并通过开源的Lucene全文索引检索引擎进行底层实现，为图数据信息的表示和管理提供了一种高效可行的技术解决方案。

本发明采用的技术方案为：一种基于富图模型RichGraph的图数据管理方法，该处理方法包括如下步骤：

(1)建立属性图数据模型RichGraph

属性图模型RichGraph符合一般数据模型的定义，分逻辑模型、物理模型和完整性约束三个方面进行定义；

所述的逻辑模型用于定义图数据库中的数据结构类型，即可以表示的节点以及边；该模型不仅可以表示图的拓扑结构，还能对表示信息实体的图节点以及表示实体间语义关系的边具有的复杂属性信息进行表示；

所述的操作模型定义了数据的增、删、改、查四类操作，通过该模型可以完成对数据信息的管理操作；关于数据查询，具体定义了6种原子操作和4种限制操作，通过这些操作可以实现对数据库中所有数据信息的查询；

所述的完整性约束是保证数据一致性，保证数据库中的数据实例与数据库预先定义模式相一致的约束条件；按照图数据模型中的两类主要元素，分别定义了节点完整性约束和边完整性约束；

(2)基于属性图模型RichGraph的图数据管理方法

采用lucene全文索引检索引擎作为图数据模型的底层物理实现方法，将属性图中的节点和边信息存储于lucene索引目录中，通过lucene检索引擎完成对属性图数据的全部操作。

本发明与现有技术相比的优点在于：

(1)、本发明完整地形式化表达了一种富图模型RichGraph，其在传统图模型的基础上增加了图节点以及边的属性信息描述，丰富了图数据模型的表达能力；

(2)、本发明提出了一种基于开源lucene全文检索引擎的图数据管理方法，其对于图数据的管理在效率和效果上均优于现有技术。

附图说明

图1为节点插入流程图；

图2为边插入流程图；

图3为富图数据逻辑模型与物理模型的映射示意图。

具体实施方式

下面参考附图，对本发明的实施分富图模型的定义、富图数据模型的实现方法以及属性图数据库管理系统MyGraphDB三部分进行详细的说明。

一、富图数据模型的定义

富图数据模型的定义分为逻辑模型、物理模型和完整性约束三个方面进行定义。

1.逻辑模型：通常情况下我们理解的图是由一些节点和边共同组成的一种数据模型，其可以定义为G＝(V,E)。其中V表示图中节点的集合，表示节点与节点之间边的集合。为了表示除拓扑结构以外更丰富的属性信息，定义富图数据模型如下，

G＝(V,E,I_v,I_e,T_v,T_e,R_v,S_v,R_e,S_e,λ_v,λ_e,μ_v,μ_v,μ_v,μ_e)

(1)富图中的节点

富图数据模型中V表示节点的集合，I_v表示节点的唯一标识符的集合。存在函数λ_v:V→I_v，表示每个节点与其唯一标识符的对应关系。这里的节点即表示现实世界中客观存在的实体，因此定义实体类型集合T_v,并定义函数η_v:V→T_v，表示每个节点与其所属实体类型的对应关系。此外，节点可包含属性信息，定义节点属性集合R_v，以及节点属性可取值的集合S_v，并定义函数μ_v:V×R_v→S_v，表示每个节点、节点具有的属性与属性取值的对应关系。因此，富图数据模型中的一个节点可以表示为，v(vertice_id,vertice_type,property_key₁,property_value₁,...,property_key_n,property_value_n)n≥1

vertice_id∈I_v表示该节点v的唯一标识符，vertice_type∈T_v表示该节点的实体类型，property_key_i∈R_v表示该节点具有的某一个属性，一个节点可以具有若干属性，每个属性对应一个具体的取值property_value_i∈S_v。

(2)富图中的边

富图数据模型中的表示边的集合，I_e表示边的唯一标识符的集合。存在函数λ_e:E→I_e，表示每条边与其唯一标识符的对应关系。这里的边是有向边，表示显示世界中实体与实体之间存在的关系，因此定义关系类型集合T_e，并定义函数η_e:E→T_e，表示每条边与其所属关系类型的对应关系。与节点相似，边也包含属性信息。定义边的属性集合R_e，以及边属性可取值的集合S_e，并定义了函数μ_e:E×R_e→S_e，表示每条边、边所具有的属性与属性取值的对应关系。因此，一条边可以表示为，

e(edge_id,start_vertice_id,end_vertice_id,edge_type,property_key₁,property_value₁,...,property_key_n,property_value_n),n≥0

edge_id∈I_e表示该边e的唯一标识符，edge_type∈T_e表示该边的关系类型，start_vertice_id和end_vertice_id分别表示起始节点ID和结束节点的ID，property_key_i∈R_e表示该边具有的某一个属性，每个属性对应一个具体的取值property_value_i∈S_e。

2.操作模型：在富图数据逻辑模型的基础上定义操作模型，具体为数据增、删、改、查四类操作。

(1)数据插入

数据插入分为两种，一种是插入节点信息，一种是插入边信息。

如图1所示，收到节点添加请求后，先进行节点查询，判断节点是否已经存在。根据实体类型可缩小检索范围，根据节点属性值判断节点是否已存在。如果满足要求的节点不存在，则添加新节点。

如图2所示，一个边插入请求需要包括边的起始节点信息、结束节点信息以及边的关系类型和边属性信息，收到插入请求后先判断起始节点和结束节点的存在性，如果节点不存在则返回相应异常信息提醒数据库管理员应先创建相应节点。若节点存在则根据边的具体属性信息判断边是否已经存在，如果满足要求的边不存在则创建新的边。

(2)数据删除

对数据的删除操作分为删除属性信息和删除整个数据元素两类。任何删除操作均应满足富图模型的完整性约束。删除数据元素又可分为删除节点和删除边两类。对于节点的删除较为特殊，删除某一节点之前应查询与该节点直接连接的边，在删除该节点的同时删除掉这些边以保证数据满足完整性约束。

(3)数据修改

数据修改主要指对节点或边的属性信息进行修改，其操作与数据删除操作类似，任何数据修改操作均应满足富图模型的完整性约束。

(4)数据查询

关于数据查询，具体定义了6种原子操作和4种限制操作，通过这些操作可以实现对数据库中所有数据信息的查询。

I.原子操作

节点和边是构成富图的元素，定义仅需一步查找即可从一个元素检索到另一个元素的操作为原子操作，如这一条边指向哪个节点？这个节点射出了哪几条边？原子操作的具体定义如下：

a)v_out:P(E)→P(V)，找到边的结束节点；

b)v_in:P(E)→P(V)，找到边的起始节点；

c)e_out:P(V)→P(E)，找到从节点射出的边；

d)e_in:P(V)→P(E)，找到指向节点的边(射入节点的边)；

e)s:P(V∪E)×R→P(S)，找到满足属性信息要求的元素；

f)(s^property_key)(i)，获取元素i的属性名称为property_key的属性值。

其中P(V)和P(E)分别节点和边的集合，R表示属性集合，S表示属性值，下同。

II.限制操作

在通过上述原子操作进行图元素的查找时需要对找到的结果附加一些限定操作，以确保最终查找得到的是所需信息。定义限制操作包括对节点实体类型的限制、对边关系类型的限制、对元素属性信息的限制以及对元素本身的限制，具体定义如下：

a)v_lab±:P(V)×T→P(V)，筛选或者过滤所有实体类型属于T的节点，lab+表示保留该类型的实体，lab-表示过滤该类型的节点；

b)e_lab±:P(E)×T→P(E)，筛选或者过滤所有关系类型属于T的边，lab+表示保留该类型的边，lab-表示过滤该类型的边；

c)s_p±:P(V∪E)×R×S→P(V∪E)，筛选或者过滤所有属性信息满足要求的元素，p+表示保留属性信息相符的元素，p-表示过滤属性信息相符的元素；

d)s_s±:P(V∪E)×(V∪E)→P(V∪E)，筛选或者过滤指定的元素，s+表示保留该元素，s-表示过滤该元素；

3.完整性约束

完整性约束是保证数据一致性，保证数据库中的数据实例与数据库预先定义的模式相一致的约束条件。在此按照富图数据模型中的两类主要元素，节点和边分别定义完整性约束。

(1)节点完整性约束

I.每个节点与一个唯一的节点标示符i_v对应，i_v∈I_v，表示该节点的id；

II.每个节点与一个实体类型t_v对应，t_v∈T_v；

III.每个节点必须具有“name”属性，且其属性值非空；“name”属性是除节点id外的唯一标识属性，其与实体类型共同作用相当于关系数据库中的“主键”。

IV.每个节点具有唯一性，即不能存在两个节点具有相同的实体类型且具有相同的属性及属性值。

(2)边完整性约束

I.每条边与一个唯一的边标示符i_e对应，i_e∈I_e，表示该边的id；

II.每条边与一个关系类型t_e对应，t_e∈T_e；

III.对于关系类型为t_e的边e:<v₁,v₂>，其初始节点、结束节点与关系类型应满足预先定义的关系模式P:T_e→T_v×T_v；该条约束保证了边所表示的关系在语义上符合预先定义好的关系模式。

IV.每条边具有唯一性，即不能存在两条边具有相同的始末节点、相同的实体类型、以及相同的属性及属性值。

二、富图数据模型的实现方法

如图3所示，采用lucene全文索引检索引擎实现富图数据模型，将富图数据模型中的数据元素映射为lucene底层索引项，将对图数据库中所有信息的操作映射为对lucene索引信息的操作。下面分别描述富图数据模型中逻辑模型、操作模型和完整性约束三部分的实现方法：

1、逻辑模型的实现方法

将富图数据逻辑模型中的节点和边作为各种文档(Document)构建在lucene检索引擎索引目录中，利用文档的域信息(Field)来存储节点和边的相关具体信息。节点的Field域信息组成如表1所示，节点Document中必须包含节点ID(vertice_id)、实体类型(vertice_type)以及节点名称(vertice_name)这三个Field项，除此之外还可选择性地增加某些节点属性项信息。

表1

Key	Value
		vertice_id	Int型，节点id
vertice_type	String,节点对应的实体类型
		vertice_name	除节点id外的唯一标识属性
[其余属性类型]	属性值

边的Field域信息组成如表2所示，边Document中必须包含边ID(edge_id)、关系类型(edge_type)、初始节点ID(start_node)和结束节点ID(end_node)，除此之外还可选择性地增加某些边属性项信息。

表2

Key	value
		Edge_id	Int型，边id
Edge_type	String,边对应的关系类型
		Start_node	边一侧的节点id(箭头节点ID)
End_node	边另一侧的节点id(箭尾节点ID)
		[边属性类型]	属性值

2、操作模型的实现方法

将富图数据操作模型中的数据插入映射为lucene检索引擎的addDocument(新建文档)操作，先将节点或边的Field项信息写入对应Document，再将Document信息加入到索引目录中。而针对富图数据操作模型中的数据删除和修改，由于lucene索引机制不支持单独对Field项信息的修改，因此数据删除和修改操作均映射为deleteDocuments(删除文档)操作，在删除对应索引文档后，按需要增加新的文档信息。

对于富图数据查询的各种原子操作和限制操作则可对应到lucene检索引擎Query类下支持的各种检索方法，如通过TermQuery可以按照节点ID查找到表示该节点的Document，进一步通过getField方法获取该节点的具体信息。

此外，lucene检索引擎索引的文档信息有两种管理方式，一是加载到内存中，有利于数据信息的快速检索和读取；二是持久化到磁盘中，待需要时再读取到内存中操作，有利于数据的安全性备份。

3、完整性约束的实现方法

对数据完整性的约束主要在数据插入和删除的过程中加以保证，即在调用lucene操作索引项的接口之前增加相关校验，以保证索引目录中的数据符合数据模型定义的各项完整性约束条件。

三、属性图数据库管理系统MyGraphDB

基于上述富图模型及其实现方法，我们设计并实现了一种应用系统——属性图数据库管理系统MyGraphDB。该数据库管理系统能够根据RichGraph富图模型对图数据信息进行建模，通过基于lucene的RichGraph富图模型实现方法对图数据信息进行管理，实现元数据定义、图数据信息的增、删、改、查操作。系统用户可以通过对外编程接口完成对图数据管理系统的操作。

通过使用属性图数据库管理系统MyGraphDB对IMDb电影数据进行管理，收获了良好的应用效果。IMDb电影数据具体包含了电影信息，演员信息，角色信息，电影关键词信息，制片公司信息及其出演关系、饰演关系、制片关系等语义关系。下面我们将分数据插入和查询两方面展示MyGraphDB的应用效果：

1、数据插入

下表3为不同量级的数据进行数据插入操作的时间和空间开销。其中我们共计使用38763个节点和147431条边作为十万量级的数据集，90万个节点和213万条边作为百万量级的数据集，1259万个节点和2632万条边作为千万量级的数据集。可以发现MyGraphDB面对不同量级的图数据信息插入均有良好的时间效率，且由于采用lucene倒排索引技术，数据索引占用的存储空间明显小于现有的图数据管理系统。

表3

数据量级	插入用时	索引空间
			十万	9分28秒	5.8Mb
百万	40分钟	95Mb
			千万	40小时	1.5Gb

2、数据查询

下表4为“千万量级”数据集上MyGraphDB进行不同查询操作的用时，测试结果体现了MyGraphDB在数据查询方面的效率较高。

表4

操作	MyGraphDB
		按ID检索节点	0.006s
按ID检索电影子图	0.1s
		按ID检索角色子图	0.01s
按ID检索演员子图	0.06s
		按ID检索公司子图	0.018s
共同出演电影的演员检索	0.73s

此外，MyGraphDB在数据查询的效果方面也有很好的表现，针对固定ID进行的一系列查询的返回结果准确率为100％，并且按属性项的查询方面由于采用对数据进行分词后构建索引的方法，MyGraphDB能够很好的支持模糊查询。而现有的图数据库管理系统仅支持数据的完全匹配查询，因此MyGraphDB在数据查询方面有着更大的优势。

Claims (1)

1.一种基于富图模型RichGraph的图数据管理方法，该管理方法包括如下步骤：

(1)建立属性图数据模型RichGraph

属性图模型RichGraph符合一般数据模型的定义，分逻辑模型、物理模型和完整性约束三个方面进行定义；

所述的逻辑模型用于定义图数据库中的数据结构类型，即可以表示的节点以及边，该逻辑模型不仅可以表示图的拓扑结构，还能对表示信息实体的图节点以及表示实体间语义关系的边具有的复杂属性信息进行表示；

所述的操作模型定义了数据的增、删、改、查四类操作，通过该操作模型可以完成对数据信息的管理操作；关于数据查询，具体定义了6种原子操作和4种限制操作，通过这些操作可以实现对数据库中所有数据信息的查询；

所述的完整性约束是保证数据一致性，保证数据库中的数据实例与数据库预先定义模式相一致的约束条件；按照图数据模型中的两类主要元素，分别定义了节点完整性约束和边完整性约束；

(2)基于属性图模型RichGraph的图数据管理方法

采用lucene全文索引检索引擎作为图数据模型的底层物理实现方法，将属性图中的节点和边信息存储于lucene索引目录中，通过lucene检索引擎完成对属性图数据的全部操作。