CN116226425A - 一种图数据的存储方法、读取方法和系统 - Google Patents

Abstract

本发明涉及数据存储技术领域，提供一种图数据的存储方法、读取方法和系统，方法包括：将图数据的每个顶点和边分别建立一个主键，所述主键能够排序，并且每个顶点和所述顶点的临边的主键是连续排序的；将所述图数据的顶点和边的数据值存储在持久性内存里，得到一个存储地址，每个所述存储地址都对应一个所述主键；利用特定数据结构形成索引来记录所述主键和对应存储地址的关系，所述特定数据结构为一个支持范围查询的数据结构，该数据结构以主键来排序；将所述特定数据结构存在动态随机存取存储器里。提高了图拓扑访问性能，以及对属性图查询的性能。该系统不仅支持属性图上的分析型负载，还能够支持事务型负载，具有较好的通用性和扩展性。

Description

一种图数据的存储方法、读取方法和系统

技术领域

本发明涉及数据存储技术领域，具体涉及图数据的存储方法、读取方法和系统。

背景技术

数字化普及后，图数据大量运用于计算机科学中。图数据是一种用节点和边来表示实体和关系的数据结构，它可以很好地模拟复杂的网络和系统。

图数据的应用场景有：

社交网络：可以用图数据来表示用户之间的好友关系、兴趣爱好、动态信息等，从而提供更个性化的服务。

知识图谱：可以用图数据来表示各种领域的知识实体和关系，从而支持智能问答、语义搜索、自然语言理解等。

电子商务：可以用图数据来表示商品之间的相似度、用户之间的购买行为、评价信息等，从而提供更精准的推荐和营销。

图数据的读取和存储是数字化生活、生产中非常重要的应用场景，读取和存储图数据的效率至关重要。

一种常见的存储属性图的做法是采用基于LSM—Tree的键值存储系统。在这些系统中，通常是把每一个顶点和每一条边都构建成一对独立的主键值-数据值对。LSM-Tree的结构对写友好，但是存在读放大的问题，特别是做图的拓扑遍历时。因为图遍历的基本操作是从某个顶点出发扫描邻居，这个操作在LSM-Tree里对应的是一个范围查询的操作，效率较低。

还有一种常见方式是利用已有的关系数据库来存储属性图，关系数据库的问题也是对拓扑查询不友好，会需要执行代价很高的表连接操作。

以上的这些方法都不能体现图的拓扑结构，查找某个顶点或者边通常涉及大量的图遍历操作，这会消耗大量的计算资源和网络带宽，导致性能下降，在图数据过大的时候，这个问题尤其严重。

发明内容

为解决上述问题，本发明提供一种图数据的存储方法。

该方法包括：

将图数据的每个顶点和边分别建立一个主键，所述主键能够排序，并且每个顶点和所述顶点的临边的主键是连续排序的；将所述图数据的顶点和边的数据值存储在持久性内存里，得到一个存储地址，每个所述存储地址都对应一个所述主键；利用特定数据结构形成索引来记录所述主键和对应存储地址的关系，所述特定数据结构为一个支持范围查询的数据结构，该数据结构以主键来排序；将所述特定数据结构存在动态随机存取存储器里。

进一步的，将所述图数据的顶点和边的数据值存储在持久性内存里包括：在持久性内存里申请一块连续的存储空间，将所述图数据的每个顶点及其临边的数据值存储在所述连续存储空间里。

优选的，将所述图数据的顶点和边的数据值存储在持久性内存里包括：将所述图数据的顶点和边的数据值分页存储在持久性内存里。

优选的，对于属性图的图数据，将标签相同的数据值存储在同一页里。

优选的，所述主键用数值来表示，所述主键排序使用数值排序规则。

优选的，所述特定数据结构为B+树，所述B+树的叶子节点记录所述存储地址。

本发明还公开了一种上述存储方法所存储的图数据的读取方法，包括：计算一个图数据的某个顶点或者边的键值；在动态随机存取存储器里根据所述键值查询持久性内存中的存储地址，所述存储地址存储了一个图数据的某个顶点或者边的数据值；以及从持久性内存中的所述存储地址中读取数据值。

为解决上述问题，本发明还提供了一种图数据的存储系统。

该系统包括：

主键生成模块，用于将图数据的每个顶点和边分别建立一个主键，所述主键能够排序，并且每个顶点和所述顶点的临边的主键是连续排序的；持久性内存存储模块，用于将所述图数据的顶点和边的数据值存储在持久性内存里，得到一个存储地址，每个所述存储地址都对应一个所述主键；匹配模块，用于利用特定数据结构形成索引来记录所述主键和对应存储地址的关系，所述特定数据结构为一个支持范围查询的数据结构，该数据结构以主键来排序；动态存储模块，用于将所述特定数据结构存在动态随机存取存储器里。

本发明中的系统与方法相对应，方法的具体优选方案，同样适用于系统。

本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

通过将图的拓扑和属性分别存储在动态随机存取存储器和持久性内存中，充分利用了这两种物理存储介质的优点。通过将拓扑和索引合二为一，把图中获取邻居的操作转换为对索引的范围扫描，提高了图拓扑访问性能时同时并不会增加额外的存储开销和操作的复杂性；并根据标签组织属性数据等策略，提高了对属性图查询的性能。该系统不仅支持属性图上的分析型负载，还能够支持事务型负载，具有较好的通用性和扩展性。

附图说明

图1为本发明实施例提供的一种图数据的存储方法的流程框图；

图2为本发明实施例提供的一种图数据的存储系统的框图；

图3为本发明实施例提供的从B+树查询存储地址的逻辑示意图；

图4为本发明实施例提供的属性图的点和边及其主键对应图；

图5为本发明实施例提供的分页存储数据的结构图；

图6为本发明实施例提供的动态随机存取存储器与持久性内存数据结构图。

具体实施方式

以下结合附图和具体实施例，对本发明进行详细说明，在详细说明本发明各实施例的技术方案前，对所涉及的名词和术语进行解释说明，在本说明书中，名称相同或标号相同的部件代表相似或相同的结构，且仅限于示意的目的。

众所周知，动态随机存取存储器与持久性内存相比读写速度略快，价格高，容量低，同时动态随机存取存储器的数据可能会丢失，而持久性内存的数据不易丢失。本发明针对持久性内存和动态随机存取存储器的特点构建了混合的架构，针对图的拓扑和属性的访问特点，分别设计了索引即拓扑的策略和基于标签的页划分策略，实现了对图的事务型和分析型负载的高效支持。

参见图1，本发明提供的图数据的存储方法，包括：

步骤102，将图数据的每个顶点和边分别建立一个主键，所述主键能够排序，并且每个顶点和所述顶点的临边的主键是连续排序的；

该主键可以是支持排序的任何数据类型，例如数字类型，字符串类型等。数字类型或者字符串类型的排序为本领域公知常识，在此不做详细叙述。每个顶点和所述顶点的临边的主键是连续排序的，即按照排序规则，每个顶点和该顶点的临边的主键中间不会有其他顶点或者边的主键。这样在查找某个顶点或边时，只需要在某个范围内查找，可以提升查找效率。

步骤104，将所述图数据的顶点和边的数据值存储在持久性内存里，得到一个存储地址，每个所述存储地址都对应一个所述主键；

每个顶点和边都会有唯一的主键，而且每个顶点和边的也都会有数据值。对简单图，该数据值可以仅是主键本身，对属性图，该数据值可以是主键以及属性值。该数据值存储在持久性内存中，记录下数据值的存储地址，这样，每个顶点和边的主键和其数据值的存储地址就一一对应。

步骤106，利用特定数据结构形成索引来记录所述主键和对应存储地址的关系，所述特定数据结构为一个支持范围查询的数据结构，该数据结构以主键来排序；

步骤108，将所述特定数据结构存在动态随机存取存储器里。

该数据结构能反映每个顶点和边的主键和其数据值的存储地址的对应关系，由于该数据结构支持范围查询且可排序，那么该数据结构就能支持根据主键快速查找对应的存储地址。由于动态随机存取存储器读取效率很高，那么在动态随机存取存储器中根据主键查找存储地址也非常快。

上述技术方案采用了分层架构，将图的数据信息存储在持久性内存上，在动态随机存取存储器上存储索引，以充分发挥持久性内存和动态随机存取存储器的物理特性。而且，通过精心设计索引，把主索引和图拓扑合二为一:索引不仅维护主键和记录之间的映射关系，用于快速查询顶点或边的数据值，同时也是图的拓扑。因此，仅需借助索引即可实现图的拓扑操作。

本发明中提到的数据结构为一个支持范围查询且可排序的数据结构，例如数组或者线段树。B+树为一个优选的数据结构，因为B+树可以支持范围查询，其次对于单点读、删除和更新等操作都有着不错的性能。B+树的叶子节点记录图数据的顶点或边的数据值的存储地址。

在持久性内存里存储图数据时，可以申请一块连续的存储空间，将图数据的每个顶点及其临边的数据值存储在所述连续存储空间里。在查找顶点及其临边的数据值时，可以提高读取效率。

以上方法可以很好地支持图数据的事务型负载，然而在日常应用中，对图数据的访问需求除了事务型负载外还有分析型负载。事务型负载是指对图数据进行增、删、改、查等操作，通常涉及到少量的顶点和边，例如，在社交网络中，用户可以创建、更新或删除自己的个人信息、好友关系、动态等，这些都属于事务型负载；图的分析型负载是指对图数据进行复杂的分析和挖掘，通常涉及到大量甚至全量的顶点和边，例如，在社交网络中，用户可以根据自己的兴趣、位置、年龄等条件进行推荐、分类等。

为了支持图数据的分析型负载，本发明进一步提出了以交错模式使用持久性内存，在交错模式下，以固定大小来组织持久性内存的存储空间，例如4KB，每块固定大小的连续存储空间称为一页，系统根据标签来组织数据，对于属性图，同一个页内只会写入相同标签的数据，对于简单图，可以将所有的顶点和边看作是同一个标签来处理。每条记录代表一个顶点或边，每个记录的格式是固定的，该格式的设计只要满足能够正确切分每条记录，并且在每条记录里能准确找到数据值的各个字段就可以了。例如，每个记录可以由三部分组成:主键、偏移表和属性，偏移表用于跟踪数据值中每个可变长度字段的偏移量。

通过用特定格式按顶点或者标签将数据分页存储，这样在读取数据时，就很容易地按照按标签或者顶点查找数据值里的某个字段，提高了对属性图查询的性能，很好地支持了属性图的事务型负载。例如，因为数据是按照标签来组织，当查询只关心某一类标签的数据时，只需要连续读取相应的数据页。当查询只关心属性的特定字段(例如人的年龄)，因为有偏移表，可以直接定位到对应的字段，减少读放大。

对于按照本发明提出的图数据存储办法存储的数据，本发明还提供了一种读取方法，即读取时先根据主键生成规律计算某个顶点或者边的主键，再在动态随机存取存储器里根据主键查询对应的顶点或边的数据值在持久性内存中的存储地址，最后根据该存储地址去持久性内存里读取数据值。

本发明还提供了一种图数据的存储系统，如图2所示，包括：

主键生成模块，用于将图数据的每个顶点和边分别建立一个主键，所述主键能够排序，并且每个顶点和所述顶点的临边的主键是连续排序的；

持久性内存存储模块，用于将所述图数据的顶点和边的数据值存储在持久性内存里，得到一个存储地址，每个所述存储地址都对应一个所述主键；

匹配模块，用于利用特定数据结构记录所述主键和对应存储地址的关系，所述特定数据结构为一个支持范围查询的可排序的数据结构；

动态存储模块，用于将所述特定数据结构存在动态随机存取存储器里。

下面结合一个具体的实施例来解释本发明。

将图数据的数据存储在持久性内存中时根据标签将数据进行组织，即同一页中只会写入同一种标签的数据，并使用数组来跟踪这些页面。

图5展示了一个页的结构:每个页面的开头使用一个字节来加锁，以确保并发访问的安全性；接下来是尾指针，它记录了下一次写入的起始位置；最后是需要存储的具体数据。每条记录代表一个顶点或边，由三部分组成:主键、偏移表和属性。偏移表用于跟踪每个可变长度字段的偏移量，每个字段的长度用一个字节记录。如果字段的长度小于255字节，则其数据直接存储在偏移表之后。对于特别大的字段，例如照片，会存储在其他位置。通过偏移表，读取属性图属性时可以直接访问特定字段，从而支持属性图的分析型负载。

对于属性图，每个顶点都有唯一的标识符，用VID来表示，本示例中每个VID不超过4个比特位。每个属性图中的标签数量通常是有限的，为每个标签也分配一个唯一的LID，而一个标签只需要几个字节的内存来存储它的名称和LID，因此带来的开销很小。

图4展示了一个属性图和对应的顶点和边的主键设计。其中，标签用4个比特位表示，最多可以表示16个标签。图4有4种标签，即Person、Post、Know、hasCreator，为它们分配的LID的二进制表示是(0001，0010，0011和0100)。主键由16个比特位表示。具体来说，对于一个顶点，最高的4位表示它的LID，接下来的4位表示顶点的VID，最低的8位设置为0以与边的主键对齐。对于一条边，最高的8位表示源顶点的LID和VID，后面的8位表示边的LID和目的顶点的VID。

在这个示例图中，主键是一个无符号16比特位的整数。在实际应用中，可以根据图的规模来设置键的位数。例如，当键的长度为64位时，可以编码包含个2³²顶点和2⁶⁴条边的图。

采用LID和顶点/边ID的组合来设计主键，这种设计不仅可以实现基于拓扑的高效访问，还可以隐含地表明顶点和边的标签。

随后将该属性图的每个点或边在持久性内存的存储地址和主键插入B+树中，该B+树使用主键排序，存储地址都存储在叶子节点。这种设计确保一个顶点的主键和它的相邻边在索引中连续存储，从而可以通过扫描索引实现图的遍历，并且有利于基于标签的访问模式。

例如，要检索标签为Person且VID为1的顶点所认识(KNOW)的人时，只需要执行范围查询，其区间为[0001000100110000，0001000101000000)。因为Person的LID为0001，顶底VID为1，KNOW(认识关系)的LID为0011，所有起始区间是0001 0001 0011 0000，当所有该顶点所有的标签为KNOW的边全部读完之后，才是下一种类型的边，而因为KNOW的LID是0011，所以下一种LID是0011加1，也就是0100。也就是确定了范围查询的终止键：0001 0001 01000000。

最后，将该B+树存储在动态随机存取存储器中。图6展示了动态随机存取存储器和持久性内存中的数据存储结构。

当读取该属性图图数据时，首先通过主键生成的规律得出某个点或者边的主键，再按照B+树的结构特性，找到该点或边的数据值对应的存储地址，根据此存储地址去持久性内存中读取数据。图3展示了B+树按照主键搜索对应存储关系的逻辑图。

以上是用属性图举例说明本发明的实现方式，对于简单图，逻辑类似，如果用8比特位的无符号数表示主键，每个VID不超过4个比特位，简单图的主键生成规律可以是每个顶点的主键由高4位的VID和低4位0拼接而成，边的主键由边所连接的两个顶点的VID组成，每个顶点的VID各占4个比特位。

此外，在本实施例中，属性图的数据值分页存储在持久性内存中，并使用数组来跟踪这些页面，每页的数据结构是固定的，所有的点和边的主键也存储在这些页面里。当动态随机存取存储器中的数据丢失时，可以直接从这些数组里找到所有的页面，在页面里拿出所有的主键以及该主键对应的数据值的存储地址，并基于此重建B+树，并将该B+树在此存入动态随机存取存储器中。

本发明通过将图的拓扑和属性分别存储在动态随机存取存储器和持久性内存中，充分利用了这两种物理存储介质的优点。通过将拓扑和索引合二为一，把图中获取邻居的操作转换为对索引的范围扫描，提高了图拓扑访问性能时同时并不会增加额外的存储开销和操作的复杂性；并根据标签组织属性数据等策略，提高了对属性图查询的性能。该系统不仅支持属性图上的分析型负载，还能够支持事务型负载，具有较好的通用性和扩展性。

以上所述实施方式仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明的权利要求书确定的保护范围内。

Claims (10)

1.一种图数据的存储方法，其特征在于，包括：

将图数据的每个顶点和边分别建立一个主键，所述主键能够排序，并且每个顶点和所述顶点的临边的主键是连续排序的；

将所述图数据的顶点和边的数据值存储在持久性内存里，得到一个存储地址，每个所述存储地址都对应一个所述主键；

利用特定数据结构形成索引来记录所述主键和对应存储地址的关系，所述特定数据结构为一个支持范围查询的数据结构，该数据结构以主键来排序；

将所述特定数据结构存在动态随机存取存储器里。

2.根据权利要求1所述的存储方法，其特征在于，将所述图数据的顶点和边的数据值存储在持久性内存里包括：

在持久性内存里申请一块连续的存储空间，将所述图数据的每个顶点及其临边的数据值存储在所述连续存储空间里。

3.根据权利要求1所述的存储方法，其特征在于，将所述图数据的顶点和边的数据值存储在持久性内存里包括：

将所述图数据的顶点和边的数据值分页存储在持久性内存里。

4.根据权利要求3所述的存储方法，其特征在于，对于属性图的图数据，将标签相同的数据值存储在同一页里。

5.根据权利要求1所述的存储方法，其特征在于，所述主键用数值来表示，所述主键排序使用数值排序规则。

6.根据权利要求1所述的存储方法，其特征在于，对于简单图的图数据，为每个顶点分配一个唯一的数值编号，每个顶点基于自己的数值编号生成一个唯一的主键,每个边基于组成所述边的两个顶点的数值编号生成一个唯一的主键。

7.根据权利要求1所述的存储方法，其特征在于，对于属性图的图数据，为每一种标签和每个顶点生成一个唯一的数值编号，每个顶点基于所属标签的数值编号以及自己的数值编号生成一个唯一的主键，每个边由所述边的源顶点所属标签的数值编号、所述边的源顶点的数值编号、所述边所属标签的数值编号、所述边的目的顶点的数值编号生成一个唯一的主键。

8.根据权利要求1所述的存储方法，其特征在于，所述特定数据结构为B+树，所述B+树的叶子节点记录所述主键以及主键对应的存储地址。

9.一种对根据权利要求1-7中任意一项所述存储方法存储的图数据的读取方法，其特征在于，包括：

计算一个图数据的某个顶点或者边的键值；

在动态随机存取存储器里根据所述键值查询持久性内存中的存储地址，所述存储地址存储了一个图数据的某个顶点或者边的数据值；以及

从持久性内存中的所述存储地址中读取数据值。

10.一种图数据的存储系统，其特征在于，包括：

主键生成模块，用于将图数据的每个顶点和边分别建立一个主键，所述主键能够排序，并且每个顶点和所述顶点的临边的主键是连续排序的；

持久性内存存储模块，用于将所述图数据的顶点和边的数据值存储在持久性内存里，得到一个存储地址，每个所述存储地址都对应一个所述主键；

匹配模块，用于利用特定数据结构形成索引来记录所述主键和对应存储地址的关系，所述特定数据结构为一个支持范围查询的数据结构，该数据结构以主键来排序；

动态存储模块，用于将所述特定数据结构存在动态随机存取存储器里。

Images