CN110941619A - 针对多种使用场景的图数据存储模型和结构的定义方法 - Google Patents

Abstract

本发明公开了一种针对多种使用场景的图数据存储模型和结构的定义方法，属于应用数据挖掘技术的图存储设计领域，本发明要解决的技术问题为如何实现数据的均衡分布以及关系数据的高效查询与分析，同时满足数据的实时增、删、改的使用场景，采用的技术方案为：该方法包括：采用主索引+点数据+边数据分离存储的存储结构；采用Driver节点与数据节点相结合的方式，Driver节点作为驱动节点，配合多个数据节点进行使用，提高查询的效率；采用数据预加载机制，对热点数据进行缓存，减少查询和计算的时间；图数据存储结构化，以结构化的方式存储非结构化的图数据，实现数据实时的增删改，满足数据的实时性。

Description

针对多种使用场景的图数据存储模型和结构的定义方法

技术领域

本发明属于应用数据挖掘技术的图存储设计领域，具体地说是一种针对多种使用场景的图数据存储模型和结构的定义方法。

背景技术

图(Graph)是表示实体与实体之间的关系的数学逻辑对象，在数学中被表示为一个G＝(V,E)的二元组，其自身由N个顶点(V＝vertex)和M个边(E＝edge)构成，每个顶点对应着多个边(<＝M)，每个边有连接着两个顶点，边可以存在方向，如果图所包含的边带有方向，称为有向图(oriented graph)，反之为无向图(undirected graph)。图论(GraphTheory)是以图为基本研究对象的一个数学分支，而使用图论对图进行求解的算法被称为图算法(Graph Algorithm)。

在现今互联网信息行业中，图和图算法在数据挖掘(Data Mining)领域得到了广泛的使用，其所延伸出的应用包括：交通路由、社交网络计算、商品推荐、网络通信等。

图数据库(graph database)是根据图作为逻辑结构进行存取的数据库工具，常见的图数据库包括：neo4j、janusgraph、titan等，但都存在各自的非适用场景。例如，neo4j非分布式存储，janusgraph数据存储集中，可能但节点数据过多，分布不均等。选一个图数据库，主要可以从性能、容量、查询能力等各方面考虑：

(1)、性能：要求图查询及图分析算法的执行快，涉及到底层存储结构，原生图存储基于点和边，计算中不需要过多的逻辑和物理层转换；

(2)、容量：大数据时代可获取的数据越来越多，单机的容量有限。原生图存储如何实现分布式存储是困难所在；

(3)、查询能力：图数据库要具备点关系的查询能力，必不可少的如两点间所有路径，最短路径，多度查询等。

结合当前实际中的应用场景，针对所用图数据库的数据分布不均等问题，故如何实现数据的均衡分布以及关系数据的高效查询与分析，同时满足数据的实时增、删、改的使用场景是目前现有技术中急需解决的问题。

专利号为CN109446362A的专利文献公开了基于外存的图数据库结构，图数据存储方法，图数据存储装置和电子设备。该图数据存储方法包括：分别将图数据中的每一顶点数据和与该顶点相关的入边数据和出边数据存储于一数据存储节点；分别指定不同的键值对应于不同的数据存储节点，其中，键值表示用以表征不同数据存储节点的唯一标识符，以及，将所有的数据存储节点保存于一数据树中。但是该技术方案不能实现数据的均衡分布以及关系数据的高效查询与分析，同时满足数据的实时增、删、改的使用场景。

专利号为CN110321444A的专利文献公开了一种基于图数据库的存储方法，所述基于图数据库的存储方法包括以下步骤：获取待存储实例和所述待存储实例之间的待存储关系；建立所述待存储实例对应的实例节点和所述待存储关系对应的关系实例节点；将所述关系实例节点与构成所述待存储关系的各个实例对应的实例节点分别通过有向线段连接。但是该技术方案不能实现数据的均衡分布以及关系数据的高效查询与分析，同时满足数据的实时增、删、改的使用场景。

发明内容

本发明的技术任务是提供一种针对多种使用场景的图数据存储模型和结构的定义方法，来解决如何实现数据的均衡分布以及关系数据的高效查询与分析，同时满足数据的实时增、删、改的使用场景的问题。

本发明的技术任务是按以下方式实现的，一种针对多种使用场景的图数据存储模型和结构的定义方法，该方法包括：

采用主索引+点数据+边数据分离存储的存储结构，围绕主索引数据为核心，点数据和边数据集成使用的思想，满足不同查询场景的使用；

采用Driver节点与数据节点相结合的方式，Driver节点作为驱动节点，配合多个数据节点进行使用，提高查询的效率；

采用数据预加载机制，对热点数据进行缓存，减少查询和计算的时间；

图数据存储结构化，以结构化的方式存储非结构化的图数据，实现数据实时的增删改，满足数据的实时性。

作为优选，所述主索引是指数据存储时，维护一份srcId+edgeId+tarId为索引的主索引数据，主索引数据根据srcId进行哈希分片，保证索引与数据信息在一个分片。

作为优选，所述点数据中点的详细信息存储的物理文件，根据点的ID进行哈希分片。

作为优选，所述边数据中边的详细信息存储的物理文件，边的存储暂时未做分片(考虑到边的数量远远小于点的数量)。

作为优选，所述数据预加载机制采用LRU灵活的缓存过期策略，实现既能保证热点数据缓存不丢失，又能保证过期数据删除释放缓存的效果。

更优地，所述LRU灵活的缓存过期策略具体如下：

缓存使用量达到阈值时，清除缓存中使用最古老的数据；同时新查询数据时，存放进入缓存生命周期队列的70％的地方，防止刷库操作；其中，阀值根据使用场景进行自助配置。

作为优选，所述查询的流程如下：

(1)、所有Edge信息保存在Driver节点，由于边的数量小于点的数量，故存储在一个节点(未进行分布式处理)；

(2)、每次查询请求经过Driver节点，根据点的ID，哈希找到数据所在分片，进行相应数据的查询有关处理；

(3)、主索引采用srcId+edgeId+tarId的结构存储，保证点和点的索引信息在一个分片，减少查询的网络开销；

(4)、采用数据的预加载机制，查询节点数据的1度关系的节点索引信息，在节点的查询过程中，采用异步的方式，预先加载进入所在节点的内存(节点查询之后，相邻节点的查询概率较大)；

(5)、数据的预加载机制采用LRU的缓存过期策略，缓存使用量达到阈值时，清除缓存中使用最古老的数据；同时新查询数据时，存放进入缓存生命周期队列的70％的地方，防止刷库操作；

(6)、Driver与数据存储节点之间采用task的形式交互，即Driver把节点的操作包装为Task，分发到相应分片节点上进行处理，再返回Driver数据。

更优地，所述数据的实时新增过程如下：

①、节点数据：Driver节点根据节点的ID路由保存节点信息到对应的节点分片；

②、边数据：Driver节点存储边信息，同时根据边的初始节点的ID路由保存初始节点ID+边ID+目标节点ID的主索引到对应的节点分片。

本发明的针对多种使用场景的图数据存储模型和结构的定义方法具有以下优点：

(一)结合当前实际中的应用场景，针对所用图数据库的数据分布不均等问题，本发明解决数据的均衡分布，关系数据的高效查询与分析，同时满足数据的实时增、删、改的使用场景；

(二)本发明，解决大数据量下，图数据的分布式存储以及加快图数据的查询和实时增删改问题，满足我们多数场景的使用需求；

(三)本发明围绕主索引数据为核心，点数据和边数据集成使用的思想，满足不同查询场景的使用；

(四)本发明的Driver节点作为驱动节点，配合多个数据节点进行使用，提高查询的效率；

(五)本发明采用数据预加载机制，对热点数据进行缓存，减少查询和计算的时间；

(六)本发明以结构化的方式存储非结构化的图数据，实现数据实时的增删改，满足数据的实时性；

(七)本发明采用灵活的LRU缓存过期策略，实现既能保证热点数据缓存不丢失，又能保证过期数据删除释放缓存的效果；

(八)本发明主要引入了多节点存储和操作数据，加快数据的处理能力和存储容量，同时图数据结构化存储，满足图数据的实时增删改操作，预加载的引用，保证数据的查询效率等等。

附图说明

下面结合附图对本发明进一步说明。

附图1为针对多种使用场景的图数据存储模型和结构的定义方法的结构示意图；

附图2为查询的流程的结构示意图；

附图3为LRU缓存过期策略的示意图。

具体实施方式

参照说明书附图和具体实施例对本发明的一种针对多种使用场景的图数据存储模型和结构的定义方法作以下详细地说明。

实施例：

如附图1所示，本发明的针对多种使用场景的图数据存储模型和结构的定义方法,该方法包括：

S1、采用主索引+点数据+边数据分离存储的存储结构，围绕主索引数据为核心，点数据和边数据集成使用的思想，满足不同查询场景的使用；

S2、采用Driver节点与数据节点相结合的方式，Driver节点作为驱动节点，配合多个数据节点进行使用，提高查询的效率；

S3、采用数据预加载机制，对热点数据进行缓存，减少查询和计算的时间；

S4、图数据存储结构化，以结构化的方式存储非结构化的图数据，实现数据实时的增删改，满足数据的实时性。

步骤S1中，主索引是指数据存储时，维护一份srcId+edgeId+tarId为索引的主索引数据，主索引数据根据srcId进行哈希分片，保证索引与数据信息在一个分片。

点数据中点的详细信息存储的物理文件，根据点的ID进行哈希分片。

边数据中边的详细信息存储的物理文件，边的存储暂时未做分片(考虑到边的数量远远小于点的数量)。

其中，主索引与点数据为不同的数据，依据主索引只是维护出发节点、目标节点与对应边的ID信息，具体的节点详情维护在分片中，边详情维护在Driver中；当进行增删改的写操作时，就可以快速定位数据的存储位置而进行相应操作，达到准实时的目的；最终可以理解为以非结构化的方式来存储结构化的数据。

步骤S3中，数据预加载机制采用LRU灵活的缓存过期策略，实现既能保证热点数据缓存不丢失，又能保证过期数据删除释放缓存的效果。如附图3所示，LRU灵活的缓存过期策略具体如下：

缓存使用量达到阈值时，清除缓存中使用最古老的数据；同时新查询数据时，存放进入缓存生命周期队列的70％的地方，防止刷库操作；其中，阀值根据使用场景进行自助配置。

其中，如附图2所示，查询的流程如下：

(1)、所有Edge信息保存在Driver节点，由于边的数量小于点的数量，故存储在一个节点(未进行分布式处理)；

(2)、每次查询请求经过Driver节点，根据点的ID，哈希找到数据所在分片，进行相应数据的查询有关处理；

(3)、主索引采用srcId+edgeId+tarId的结构存储，保证点和点的索引信息在一个分片，减少查询的网络开销；

(4)、采用数据的预加载机制，查询节点数据的1度关系的节点索引信息，在节点的查询过程中，采用异步的方式，预先加载进入所在节点的内存(节点查询之后，相邻节点的查询概率较大)；

(5)、数据的预加载机制采用LRU的缓存过期策略，缓存使用量达到阈值时，清除缓存中使用最古老的数据；同时新查询数据时，存放进入缓存生命周期队列的70％的地方，防止刷库操作；

(6)、Driver与数据存储节点之间采用task的形式交互，即Driver把节点的操作包装为Task，分发到相应分片节点上进行处理，再返回Driver数据。

查询简化流程：节点ID—>Driver节点路由到对应的节点分片返回数据；

节点ID—>Driver节点路由到对应的节点分片返回主索引，然后Driver节点根据主索引对应的边ID查询对应的边数据返回；

数据的实时新增过程如下：

①、节点数据：Driver节点根据节点的ID路由保存节点信息到对应的节点分片；

②、边数据：Driver节点存储边信息，同时根据边的初始节点的ID路由保存初始节点ID+边ID+目标节点ID的主索引到对应的节点分片。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种针对多种使用场景的图数据存储模型和结构的定义方法，其特征在于，该方法包括：

采用主索引+点数据+边数据分离存储的存储结构，围绕主索引数据为核心，点数据和边数据集成使用的思想，满足不同查询场景的使用；

采用Driver节点与数据节点相结合的方式，Driver节点作为驱动节点，配合多个数据节点进行使用，提高查询的效率；

采用数据预加载机制，对热点数据进行缓存，减少查询和计算的时间；

图数据存储结构化，以结构化的方式存储非结构化的图数据，实现数据实时的增删改，满足数据的实时性。

2.根据权利要求1所述的针对多种使用场景的图数据存储模型和结构的定义方法，其特征在于，所述主索引是指数据存储时，维护一份srcId+edgeId+tarId为索引的主索引数据，主索引数据根据srcId进行哈希分片，保证索引与数据信息在一个分片。

3.根据权利要求1所述的针对多种使用场景的图数据存储模型和结构的定义方法，其特征在于，所述点数据中点的详细信息存储的物理文件，根据点的ID进行哈希分片。

4.根据权利要求1所述的针对多种使用场景的图数据存储模型和结构的定义方法，其特征在于，所述边数据中边的详细信息存储的物理文件，边的存储暂时未做分片。

5.根据权利要求1所述的针对多种使用场景的图数据存储模型和结构的定义方法，其特征在于，所述数据预加载机制采用LRU灵活的缓存过期策略，实现既能保证热点数据缓存不丢失，又能保证过期数据删除释放缓存的效果。

6.根据权利要求5所述的针对多种使用场景的图数据存储模型和结构的定义方法，其特征在于，所述LRU灵活的缓存过期策略具体如下：

缓存使用量达到阈值时，清除缓存中使用最古老的数据；同时新查询数据时，存放进入缓存生命周期队列的70％的地方，防止刷库操作；其中，阀值根据使用场景进行自助配置。

7.根据权利要求1所述的针对多种使用场景的图数据存储模型和结构的定义方法，其特征在于，所述查询的流程如下：

(1)、所有Edge信息保存在Driver节点，由于边的数量小于点的数量，故存储在一个节点；

(2)、每次查询请求经过Driver节点，根据点的ID，哈希找到数据所在分片，进行相应数据的查询有关处理；

(3)、主索引采用srcId+edgeId+tarId的结构存储，保证点和点的索引信息在一个分片，减少查询的网络开销；

(4)、采用数据的预加载机制，查询节点数据的1度关系的节点索引信息，在节点的查询过程中，采用异步的方式，预先加载进入所在节点的内存；

(5)、数据的预加载机制采用LRU的缓存过期策略，缓存使用量达到阈值时，清除缓存中使用最古老的数据；同时新查询数据时，存放进入缓存生命周期队列的70％的地方，防止刷库操作；

(6)、Driver与数据存储节点之间采用task的形式交互，即Driver把节点的操作包装为Task，分发到相应分片节点上进行处理，再返回Driver数据。

8.根据权利要求1所述的针对多种使用场景的图数据存储模型和结构的定义方法，其特征在于，所述数据的实时新增过程如下：

①、节点数据：Driver节点根据节点的ID路由保存节点信息到对应的节点分片；

②、边数据：Driver节点存储边信息，同时根据边的初始节点的ID路由保存初始节点ID+边ID+目标节点ID的主索引到对应的节点分片。

Images