CN116737067A - 一种图数据的存储加载结构和方法 - Google Patents

Abstract

本发明提供了一种图数据的存储加载结构和方法，其中，图数据的存储加载结构包括：点文件和边文件；其中，每一点文件包括多个点片段，每一点片段包括点ID、边存储位置信息和点属性信息；每一边文件包括多个边片段，每一边片段包括起始点位置信息、边信息和下一段边片段位置信息；其中，每条边信息包括终止点ID、终止点位置信息和边属性信息；存储加载结构中、仅点片段的点ID和边存储位置信息加载至内存。本发明的技术方案能解决现有技术中大规模数据难以完全加载进内存，数组存储结构对变长数据需要预留空间，造成存储空间浪费；链表存储结构中磁盘对随机读操作不友好的问题。

Description

一种图数据的存储加载结构和方法

技术领域

本发明涉及图数据技术领域，尤其涉及一种图数据的存储加载结构和方法。

背景技术

图数据是一组点和边的集合，其中，“点”表示实体，“边”表示实体间的关系。图数据中，数据间的关系和数据本身同样重要，它们被作为数据的一部分进行存储。图数据能够直观地可视化关系，是存储、查询和分析高度互联数据的最优办法。随着技术的发展，人们对这些数据的分析和使用不再局限于从统计角度分析相关性，而是希望从关联角度揭示数据的因果联系，因此能够揭示数据因果联系的图数据日益成为人们存储和分析数据的首选。

图数据的存储加载结构通常包括数组存储和链表存储方式。其中，数组存储是最直接的图数据存储方式，能够将图数据中每一个点连接的所有边按照一定顺序一起存储。如图1所示，数组存储结构中点文件由一系列的点组成，每个点文件包括点的ID、META信息以及这个点的属性。每个边文件中按照起始点的顺序存储点上对应的边。每条边的存储包括终止点ID、META信息以及边的属性。META信息包括点边类型、边方向以及实现事务的额外字段等。此存储结构能够直接从起始点遍历所有的边数据，因此它的读取性能非常高。然而，该存储方式也需要处理一个很棘手的问题，就是变长数组。为了解决变长数组问题，可以改用链表方式存储图数据。在链表存储结构中，如图2所示，点文件和边文件存储的全部都是ID，每个ID都是固定长度的，通过ID能够计算偏移量位置，通过偏移量位置直接读取数据。因为它能够通过位置计算ID，而偏移量和ID是一一对应的，所以每个点不用保存自身ID。

数组存储结构和链表存储结构存在以下问题：首先，两种结构在面临大规模数据时难以完全加载进内存，需考虑内存+磁盘相结合的存储方案；另外，磁盘读写速度远不及内存，会降低查询效率，在进行磁盘访问时，需合理考虑磁盘数据的快速定位问题，而数组存储结构对变长数据需要预留空间，这就造成了存储空间的浪费，而链表存储结构中，磁盘对随机读操作很不友好。

发明内容

本发明提供一种图数据的存储加载结构和方法的技术方案，旨在解决现有技术中大规模数据难以完全加载进内存，数组存储结构对变长数据需要预留空间，造成存储空间浪费；链表存储结构中磁盘对随机读操作不友好的问题。

为解决上述问题，根据本发明的第一方面，本发明提出了一种图数据的存储加载结构，包括：点文件和边文件；其中，

每一点文件包括多个点片段，每一点片段包括点ID、边存储位置信息和点属性信息；

每一边文件包括多个边片段，每一边片段包括起始点位置信息、边信息和下一段边片段位置信息；其中，每条边信息包括终止点ID、终止点位置信息和边属性信息；

存储加载结构中、仅点片段的点ID和边存储位置信息加载至内存。

优选的，图数据的存储加载结构，边存储位置信息包括边片段在磁盘中的物理首地址，边片段在磁盘中的存储空间固定。

优选的，图数据的存储加载结构，边文件为多段定长存储的分段链表形式，边文件中、每一边片段的起始点位置信息、每条边信息的存储长度、每条边信息的存储数量和下一段边片段位置信息均为固定长度。

优选的，图数据的存储加载结构，每一边片段的起始点位置信息包括：所述边片段在点文件中对应起始点的物理存放地址。

优选的，图数据的存储加载结构，下一段边片段位置信息包括外链的下一边片段的起始点位置信息；

下一段边片段位置信息还包括边信息分配到新空间的新空间首地址，该边信息的数量大于或等于预留空间。

优选的，图数据的存储加载结构，每一边片段存储的边信息数量为可调参数；可调参数中，边信息数量与边信息的预留空间大小成线性关系。

优选的，图数据的存储加载结构，存储加载结构的每一点片段中、点ID和边存储位置信息加载在内存中，存储加载结构的其余部分存储在磁盘中。

根据本发明的第二方面，本发明还提供了一种图数据的存储加载方法，用于上述任一项技术方案提供的图数据的存储加载结构；存储加载方法包括：

当图数据的存储加载结构被加载时，将点文件中点片段的点ID和边存储位置信息加载至内存；

内存根据边存储位置信息查找对应的边信息在磁盘中的物理首地址；

内存根据边信息在磁盘中的物理首地址，定位和读取边信息。

优选的，图数据的存储加载方法，内存根据边信息在磁盘中的物理首地址，定位和读取边信息的步骤，包括：

根据边信息在磁盘中的物理首地址，定位边信息在磁盘中的存储空间位置；

根据边信息在磁盘中的存储空间位置以及边片段的固定存储空间，读取边信息。

优选的，图数据的存储加载方法，根据边信息在磁盘中的存储空间位置以及边片段的固定存储空间，读取边信息的步骤，包括：

从边片段的起始点位置信息处查找边信息在磁盘中的存储空间位置；

当从边片段中未查找到边信息时，根据边片段的下一段边片段位置信息中查找边信息在磁盘中的存储空间位置；

当定位到边片段在磁盘中的存储空间位置时，读取边信息。

综上，本发明提供的图数据的存储加载方案，通过设置点文件和边文件，每个点文件包括多个点片段，同样每个边文件包括多个边片段，点片段包括点ID、边存储位置信息和点属性信息，该边存储位置信息即对应边信息的空间存储位置，这样在加载存储加载结构时仅需要将点片段的点ID和边存储位置信息加载至内存中即可，该存储加载结构的其他部分均设置在磁盘中，而内存根据边存储位置信息就能查找到边文件中边片段上对应边信息的空间存储位置，进而定位和读取该边信息。通过上述方案能够解决大规模数据存储的内存占用问题，达到实现磁盘数据的快速定位，提高大规模数据存储的读取效率的目的。综上，本发明提供的技术方案能够解决现有技术中大规模数据难以完全加载进内存，数据存储结构对变长数据需要预留空间，造成存储空间浪费，而链表存储结构中磁盘对随机读操作不友好的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1是现有技术提供的一种数组存储结构的结构示意图；

图2是现有技术提供的一种链表存储结构的结构示意图；

图3是本发明实施例提供的一种图数据的存储加载结构的结构示意图；

图4是本发明实施例提供的一种图数据的存储加载方法的流程示意图；

图5是图4所示实施例提供的一种定位和读取边信息的方法的流程示意图；

图6是图5所示实施例提供的一种边信息的读取方法的流程示意图。

相关附图标记如下所示：

100-点文件、200-边文件、101-点片段、201-边片段、202-边信息

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的主要解决的技术问题是：

现有的图数据的存储加载结构通常包括数组存储结构和链表存储结构，数组存储结构和链表存储结构存在以下问题：首先，两种结构在面临大规模数据时难以完全加载进内存，需考虑内存+磁盘相结合的存储方案；另外，磁盘读写速度远不及内存，会降低查询效率，在进行磁盘访问时，需合理考虑磁盘数据的快速定位问题，而数组存储结构对变长数据需要预留空间，这就造成了存储空间的浪费，而链表存储结构中，磁盘对随机读操作很不友好。

为了解决上述问题，本发明下述实施例提供了一种图数据的存储加载结构和方法，通过设置点文件和边文件，每个点文件包括多个点片段，同样每个边文件包括多个边片段，点片段包括点ID、边存储位置信息和点属性信息，该边存储位置信息即对应边信息的空间存储位置，这样在存储加载结构加载时仅将点片段的点ID和边存储位置信息加载至内存中，该存储加载结构的其他部分均设置在磁盘中，而内存根据边存储位置信息就能查找到边文件中边片段上对应边信息的空间存储位置，进而定位和读取边信息。通过上述方案能够解决大规模数据存储的内存占用问题，达到实现磁盘数据的快速定位，提高大规模数据存储的读取效率的目的。

为实现上述目的，参见图3，图3为本发明实施例提供的一种图数据的存储加载结构的结构示意图。如图3所示，该图数据的存储加载结构包括：

点文件和边文件；其中，

每一点文件包括多个点片段，每一点片段包括点ID、边存储位置信息和点属性信息。其中，边存储位置信息仅仅包含边信息在边片段中的存储地址，且在加载至内存时，该存储加载结构中、仅点片段的点ID和边存储位置信息加载至内存，其他部分仍在磁盘中，这样就能够避免数组存储结构和链表存储结构在面临大规模数据难以完全加载进内存的问题。

每一边文件包括多个边片段，每一边片段包括起始点位置信息、边信息和下一段边片段位置信息；其中，每条边信息包括终止点ID、终止点位置信息和边属性信息。因为每一边文件包括多个边片段，而边片段的存储空间在磁盘中位置固定，并且每一边片段包括起始点位置信息、边新和下一边片段位置信息，这样在得知边片段的起始点位置信息和边存储位置信息后，就能够通过边片段在磁盘中固定的存储空间位置，快速查找到对应的边信息。从而减少磁盘读写速度慢，降低查询效率的问题，在磁盘访问时能够快速定位边信息，且不需要应对边片段数据边长的问题。另外，因为边片段的存储空间位置固定，这样就解决了传统的链表存储结构中磁盘对随机读操作不友好的问题。

综上，本发明提供的图数据的存储加载结构，通过设置点文件和边文件，每个点文件包括多个点片段，同样每个边文件包括多个边片段，点片段包括点ID、边存储位置信息和点属性信息，该边存储位置信息即对应边信息的空间存储位置，这样在加载存储加载结构时仅将点片段的点ID和边存储位置信息加载至内存中即可，该存储加载结构的其他部分均设置在磁盘中，而内存根据边存储位置信息就能查找到边文件中边片段上对应边信息的空间存储位置，进而定位和读取边信息。通过上述方案能够解决大规模数据存储的内存占用问题，达到实现磁盘数据的快速定位，提高大规模数据存储的读取效率的目的。综上，本发明提供的技术方案能够解决现有技术中大规模数据难以完全加载进内存，数据存储结构对变长数据需要预留空间，造成存储空间浪费，而链表存储结构中磁盘对随机读操作不友好的问题。

另外，作为一种优选的实施例，如图3所示，图数据的存储加载结构，边存储位置信息包括边片段在磁盘中的物理首地址，边片段在磁盘中的存储空间固定。

因为边存储位置信息需要加载在内存中，边存储位置信息包括边片段在磁盘中的物理首地址，而且边片段在磁盘中的存储空间固定，这样通过该边片段在磁盘中的物理首地址，磁盘就能够进行IO操作快速定位到边片段的具体位置，结合边片段的固定存储空间能够快速读取边片段上的边信息。另外磁盘根据地址信息指针能够快速跳转到制定位置的时间复杂度为0(1)，这样就能够快速高效地定位和提取边信息。另外因为边存储位置信息是会加载在内存中的，因此该边存储位置信息仅包括边片段在磁盘中的物理首地址，这样仅仅将该物理首地址加载在内存中即可，解决了大规模数据难以完全加载进内存的问题。

另外，作为一种优选的实施例，如图3所示的图数据的存储加载结构中，边文件为多段定长存储的分段链表形式，边文件中、每一边片段的起始点位置信息、每条边信息的存储长度、每条边信息的存储数量和下一段边片段位置信息均为固定长度。

因为边文件采取多段定长存储的分段链表结构的形式，所以在边文件中每一边片段的起始点位置信息、每条边信息的存储长度、每条边信息的存储数量和下一段边片段的位置信息均为固定长度，此时在进行边数据读取时，获知边片段的首地址结合边信息的偏移量，就能够快速查找并读取指定的边信息。

另外，作为一种优选的实施例，如图3所示的图数据的存储加载结构，每一边片段的起始点位置信息包括：点文件中对应该起始点的物理存放地址。

因为每一边片段的起始点位置信息包括点文件对应该起始点的物理存放地址，所以通过该起始点的位置信息，即起始点的物理存放地址就能够快速回溯起始点信息。

另外，作为一种优选的实施例，如图3所示，图数据的存储加载结构，下一段边片段位置信息包括外链的下一边片段的起始点位置信息；

下一段边片段位置信息还包括特定的边信息分配到新空间的新空间首地址，该特定的边信息为数量(或者说存储长度)大于或等于预留空间的边信息。

下一段边片段位置信息是针对边信息数量不均的情况进行的一个外链操作，当边信息数量大于或等于预留空间时，磁盘能够自动分配新空间，在新空间中存储该边信息的空间首地址，这样就能保证每一边片段的存储空间的长度固定，方便内存在磁盘中通过起始点位置信息快速查找边信息。

另外，作为一种优选的实施例，如图3所示，图数据的存储加载结构，每一边片段存储的边信息数量为可调参数；可调参数中，边信息数量与边信息的预留空间大小成线性关系。

因为每条边片段存储的边信息的数量为可调数据，边信息数量与边信息的预留空间大小成线性关系，所以边信息的数量越大，则预留空间越大，空间复杂度越高，跳表越少，时间复杂度越低，越趋近于基于数组的存储；而边信息的数量越小，预留空间越小，空间复杂度越低，跳表约多，时间复杂度越高，则越趋近于基于链表的存储方案。

另外，作为一种优选的实施例，如图3所示，图数据的存储加载结构，存储加载结构的每一点片段中、点ID和边存储位置信息加载在内存中，存储加载结构的其余部分存储在磁盘中。在数据加载时，仅需要将图3所示的Memory部分加载进内存，该Memory部分包括每一点片段中点ID和边存储位置信息，该存储加载结构的其余部分均为磁盘操作，这样就大大压缩了内存用量。另外该存储加载结构的大部分数据存储在磁盘，解决了数据持久化的问题。

另外，基于上述图数据的存储加载结构实施例的同一构思，本发明实施例还提供图数据的存储加载方法的技术方案，用于实现本发明的上述结构，由于该方法实施例解决问题的原理与结构相似，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。

参见图4，图4为本发明实施例提供的一种图数据的存储加载方法的流程示意图。如图4所示，该图数据的存储加载方法，用于上述任一项实施例提供的图数据的存储加载结构；该图数据的存储加载方法包括：

S110：当图数据的存储加载结构被加载时，将点文件中点片段的点ID和边存储位置信息加载至内存。

S120：内存根据边存储位置信息查找对应的边信息在磁盘中的物理首地址。

S130：内存根据边信息在磁盘中的物理首地址，定位和读取边信息。

综上，本发明提供的图数据的存储加载方法，通过设置点文件和边文件，每个点文件包括多个点片段，同样每个边文件包括多个边片段，点片段包括点ID、边存储位置信息和点属性信息，该边存储位置信息即对应边信息的空间存储位置，这样在存储加载结构加载时仅将点片段的点ID和边存储位置信息加载至内存中即可，该存储加载结构的其他部分均设置在磁盘中，而内存根据边存储位置信息就能查找到边文件中边片段上对应边信息的空间存储位置，进而定位和读取边信息。通过上述方案能够解决大规模数据存储的内存占用问题，达到实现磁盘数据的快速定位，提高大规模数据存储的读取效率的目的。综上，本发明提供的技术方案能够解决现有技术中大规模数据难以完全加载进内存，数据存储结构对变长数据需要预留空间，造成存储空间浪费，而链表存储结构中磁盘对随机读操作不友好的问题。

作为一种优选的实施例，如图5所示，上述图数据的存储加载方法，步骤S130：内存根据边信息在磁盘中的物理首地址，定位和读取边信息的步骤，包括：

S131：根据边信息在磁盘中的物理首地址，定位边信息在磁盘中的存储空间位置。

S132：根据边信息在磁盘中的存储空间位置以及边片段的固定存储空间，读取边信息。

在获取边信息在磁盘中的物理首地址后，就能够根据点文件中的边存储位置查找边文件的起始点位置，然后根据该起始点位置查找该边信息在磁盘中的物理首地址，然后定位边信息在磁盘中的存储空间位置，因为边片段的存储空间固定，因此通过上述边片段的存储空间大小和边信息的存储空间位置，就能够快速定位和读取到边信息。

因为边文件中边片段的存储空间大小是固定的，这样多余的边信息可能存在在下一段边片段处，所以能够通过当前边片段中的下一段边片段位置查找下一段边片段的起始点位置，进而从下一段边片段中查找到边信息。具体地，如图6所示，作为一种优选的实施例，上述图数据的存储加载方法，步骤S132：根据边信息在磁盘中的存储空间位置以及边片段的固定存储空间，读取边信息的步骤，包括：

S1321：从边片段的起始点位置信息处查找边信息在磁盘中的存储空间位置。

S1322：当从边片段中未查找到边信息时，根据边片段的下一段边片段位置信息中查找边信息在磁盘中的存储空间位置。

S1323：当定位到边信息在磁盘中的存储空间位置时，读取边信息。

具体地，作为一种优选的实施例，本申请随机创建N个节点，每个节点创建M条边(度数)，每条边有N个属性，统计内存使用和检索平均用时，结果如下表1所示：

表1

根据上述实验，可得如下结论：

①本技术方案内存使用量较基于内存方法明显降低，代价是检索效率有所下降；

②尽管检索效率下降，但仍能达到11Wit/s的效率，满足多数场景，且超过多数数据库的检索效率；

③节点数量增加，也不影响检索效率；

④本实验采用机械硬盘进行实验，如果使用固态硬盘，速度能够再次提升；

⑤本技术方案所用内存仅与节点数量有关，与节点度数和节点属性数量无关，在大规模图数据存储时，具有较大优势。

应用场景实例：在进行企业图谱构建时，企业数量达8000万家，每个节点平均关联4条边，具有7个属性信息，研发环境具有1T内存，可以轻松对其加载与加工，然而加工后数据却因为生产环境无法满足内存需求而无法应用，生产环境仅需基本查询工作，图谱预估内存需要700G，实际服务器内存64G，相差较大，采用该技术方案仅需10G内存，且检索效率符合业务需求，满足生产需求。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种图数据的存储加载结构，其特征在于，包括：点文件和边文件；其中，

每一点文件包括多个点片段，每一点片段包括点ID、边存储位置信息和点属性信息；

每一边文件包括多个边片段，每一边片段包括起始点位置信息、边信息和下一段边片段位置信息；其中，每条边信息包括终止点ID、终止点位置信息和边属性信息；

所述存储加载结构中、仅所述点片段的点ID和边存储位置信息加载至内存。

2.根据权利要求1所述的图数据的存储加载结构，其特征在于，所述边存储位置信息包括所述边片段在磁盘中的物理首地址，所述边片段在所述磁盘中的存储空间固定。

3.根据权利要求1所述的图数据的存储加载结构，其特征在于，所述边文件为多段定长存储的分段链表形式，所述边文件中、每一边片段的起始点位置信息、每条边信息的存储长度、每条边信息的存储数量和下一段边片段位置信息均为固定长度。

4.根据权利要求1所述的图数据的存储加载结构，其特征在于，每一所述边片段的起始点位置信息包括：所述点文件中对应起始点的物理存放地址。

5.根据权利要求1所述的图数据的存储加载结构，其特征在于，所述下一段边片段位置信息包括外链的下一边片段的起始点位置信息；

所述下一段边片段位置信息还包括边信息分配到新空间的新空间首地址；所述边信息的数量大于或等于预留空间。

6.根据权利要求1所述的图数据的存储加载结构，其特征在于，所述每一边片段存储的边信息数量为可调参数；所述可调参数中，所述边信息数量与边信息的预留空间大小成线性关系。

7.根据权利要求1所述的图数据的存储加载结构，其特征在于，所述存储加载结构的每一点片段中、所述点ID和边存储位置信息加载在内存中，所述存储加载结构的其余部分存储在磁盘中。

8.一种图数据的存储加载方法，其特征在于，用于权利要求1至7中任一项所述的图数据的存储加载结构；所述存储加载方法包括：

当所述图数据的存储加载结构被加载时，将点文件中点片段的点ID和边存储位置信息加载至内存；

所述内存根据所述边存储位置信息查找对应的边信息在磁盘中的物理首地址；

所述内存根据所述边信息在磁盘中的物理首地址，定位和读取所述边信息。

9.根据权利要求8所述的图数据的存储加载方法，其特征在于，所述内存根据所述边信息在磁盘中的物理首地址，定位和读取所述边信息的步骤，包括：

根据所述边信息在磁盘中的物理首地址，定位所述边信息在所述磁盘中的存储空间位置；

根据所述边信息在所述磁盘中的存储空间位置以及边片段的固定存储空间，读取所述边信息。

10.根据权利要求8所述的图数据的存储加载方法，其特征在于，所述根据所述边信息在所述磁盘中的存储空间位置以及边片段的固定存储空间，读取所述边信息的步骤，包括：

从所述边片段的起始点位置信息开始，查找所述边信息在所述磁盘中的存储空间位置；

当从所述边片段中未查找到所述边信息时，根据所述边片段的下一段边片段位置信息中查找所述边信息在所述磁盘中的存储空间位置；

当定位到所述边信息在所述磁盘中的存储空间位置时，读取所述边信息。