CN109145121A - 一种时变图数据的快速存储查询方法 - Google Patents

Abstract

本发明公开了一种时变图的快速存储查询方法。将时变图数据分为结构和属性数据，将结构数据变成带关系节点的网络图模型；使用日志结构存储时变图的属性数据，建立日志属性模型；根据时变图的结构数据存储模型和属性数据存储模型建立时变图查询模型，对输入数据分类执行到网络图模型和日志属性模型对应的不同物理存储中并执行查询并行化，并且构建图数据库和文档数据库的底层数据存储和特殊的上层查询封装进行查询。本发明建立了通用的上层存储模型，并设计了时变图数据的查询，发明相比传统方法在实体状态和历史属性值查询上有显著的查询效率，在历史属性值的存储空间上也有显著的节省。

Description

一种时变图数据的快速存储查询方法

技术领域

本发明涉及数据库领域的存储查询方法、图数据领域的版本管理方法与查询语言方法。

背景技术

时变图数据是实体间相互关联、实体的属性和实体之间的关系会发生频繁变化的图结构数据。时变的特征在于(1)对图的变更发生在图的局部，是对某条关系或实体上某项属性的变更；(2)变更发生的时间分散不集中，变更之间没有聚集的规律。故时变是以单个实体、关系或属性为粒度的变更，具有局域性和分散性。与时变形成对比的是图的整体版本变更，如知识图谱的定期数据更新和版本管理，是以一定时间间隔下的对全图的变更作为粒度单元的变更存储和查询。

以电子商务举例，可以将商品和用户作为不同类型的节点表达，将用户与商品之间的收藏、购买和评论行为用连接在节点之间的边来表示。在繁忙的电子商城中用户的参与行为使得图的结构和属性内容发生着持续不间断的变化。在这样的模型下，通常需要进行的查询包括：a)历史结构查询，查询历史上某个时间点下的图结构关系，比如用户在过去一个月内的购买情况；b)历史内容查询，某个实体随着时间发生的属性变化，比如商品在发布后一年内的销量变化。

时变图数据这一模型广泛适用于目前互联网的多个领域，如电子商务领域可将商品、类目、用户购买评论行为以及商品的评分变化等信息组织成时变图数据。从而实现用户个性化推荐和流量智能调度以提升电商平台的收益。社交网络领域通过组织在线用户之间的关注、交互关系，可以实现交友圈分析、新用户的关注推荐以及可能感兴趣的事件推送，实现社交网络应用智能化，提升用户的使用体验。

目前实际应用中对于这些时变数据的存储通常采用传统数据库或依据数据类型特定存储方案，存在应用开发和数据迁移的代价，未能通过建立通用的模型方案以封装实现细节来化解这一领域的成本。

发明内容

本发明通过约束时变图数据的使用场景，提出了在关于图的局域结构和变更查询场景下的时变图数据存储检索优化方案，实现了对历史属性的高效化存储和对历史关系结构的查询统一化。

本发明解决其技术问题采用的技术方案如下：

本发明将时变图数据分为结构数据和属性数据，基于网络模型将时变图的结构数据变成带关系节点的网络图模型，作为时变图的结构数据存储模型，网络图模型中带有和时变节点关联的网络节点；使用日志结构存储时变图的属性数据，建立日志属性模型，作为时变图的属性数据存储模型；

时变图数据例如可以是用户行为的交互数据，例如电子商城、社交网络上用户和商品之间购买、关注、收藏的交互数据。

然后根据时变图的结构数据存储模型和属性数据存储模型，建立时变图查询模型，对用户输入的数据分类执行到网络图模型和日志属性模型对应的不同物理存储中并执行查询并行化，并且构建图数据库和文档数据库的底层数据存储和特殊的上层查询封装进行查询。

所述步骤1)中时变图的时变节点代表为用户或者商品的实体对象，时变图的边代表为实体对象之间的关联关系以及实体对象自身的创建和删除操作。

具体实施中，实体对象可以为商品、用户。实体对象之间的关联关系可以为用户和商品之间、商品和商品之间以及用户和用户之间。

所述方法的步骤如下：

1)首先获取时变图结构数据，时变图的结构数据是包括时变图中的时变节点和边的关联关系数据及其变更数据；

例如对于用户的时变节点，时变节点的创建和删除操作可以为用户有注册和注销；对于商品的时变节点，时变节点的创建和删除操作可以为商品对象的上架和下架；对于用户和商品之间的，时变节点之间的关联关系可以为收藏关系，收藏关系有收藏和取消收藏。

2)建立网络图模型：

通过网络图模型的应用将时序图中的关联关系使用关系节点的形式表示，网络图模型主要由时变节点、网络节点、关系节点构成，网络图模型中，网络图模型在时变图基础上建立关系节点和网络节点，关系节点为在两个时变节点之间插入的用于表达两个时变节点之间边信息的节点，网络节点关联有边的历史信息，即网络节点和时变节点之间的边存储有网络节点和时变节点之间关联关系的历史信息，网络节点和关系节点之间的边存储有网络节点和关系节点之间关联关系的历史信息，一个网络节点对应于实体对象的一个交互操作周期或者一个生存周期，而将时变图中的不同时间维度描述成不同的网络节点；

关系节点和网络节点之间关联关系用于代表实体对象之间的关联关系及其变更数据。

网络节点和时变节点之间关联关系用于代表实体对象的创建和删除操作及其变更数据。

3)建立日志属性模型

采用日志结构存储由时变节点和边的所有属性内容构成的日志属性模型，属性内容为属性、属性变更及其变更情况的历史信息，具体是将时变节点的历史属性的状态解耦合，属性的状态是指时变节点的所有属性值，对时变节点的每个属性建立日志结构，存储其所有属性的历史属性值和属性变更的时间；

商品的属性例如为商品的价格、排名、评分、商品名称和商品标识码，用户的属性例如为用户标签、昵称、年龄，属性变更例如为商品价格变化等属性变化。

5)建立时变图查询模型。

根据网络图模型和日志属性模型，将用户输入的对时变图的变更数据按照结构数据和属性数据进行分类，执行到网络图模型和日志属性模型对应的不同物理存储中，根据查询内容对应的分类类型执行在两个模型的查询并行化；

6)时变图的存储和查询

将图数据库作为底层的结构数据存储，将文档数据库作为底层的属性数据存储，使用通用图查询框架作为上层的查询封装，扩展通用图查询框架框架中的查询语法，使支持时变图数据的存储和查询。

现有技术中，图数据和文档数据库不支持时变图数据，本发明通过上述方法实现了通过图数据和文档数据库能够应用于存储和查询时变图数据，并且能够采用扩展通用图查询框架框架进行查询和扩展。

所述步骤2)中，交互操作周期为用户在电子商务网站或者社交网站上对商品的交互操作，生存周期为商品在电子商务网站或者社交网站上存在的时间周期。

所述步骤3)中，所述的日志属性模型包括时变图的所有创建过的时变节点和时变节点之间关联关系的历史属性值，及属性变更时的变更时间。

所述步骤6)中，通过改写扩展图查询框架中的查询方式替换接口调用，查询中带入扩展图查询框架中的副作用变量作为额外的时间参数传入至扩展图查询框架中，实现在与查询语法一致的基础上支持时变图数据的变更和历史查询的场景扩展。

本发明具有的有益效果是：

本发明设计了时变图存储和查询框架，建立了通用的上层存储模型，并设计了时变图数据的查询，发明相比传统方法在实体状态和历史属性值查询上有显著的查询效率，在历史属性值的存储空间上也有显著的节省。

本发明提出了面向时变图数据的存储方案。通过建立通用数据存储模型，设计实现跨数据库存储方案。该方案使用户降低了迁移数据和学习使用的成本。

本发明设计时变图数据的查询，以支持关于图数据的变更写入和历史查询。在支持基本图数据查询的同时，扩展了图数据的应用场景，能够更高效地满足多领域的应用要求。基于不同种类的数据库和查询框架的现有优势，对上述存储和查询方案进行了实现，并通过实验验证了方案的可行性。

附图说明

图1是使用网络模型存储结构数据的示意图。

图2是使用日志模型存储属性数据的示意图。

图3是系统的实现框架描述图。

图4是查询框架接口的实现与扩展示意图。

具体实施方式

现结合具体实施和示意图对本发明的技术方案作进一步说明。

如图1，本发明具体实施例及其实施过程如下：

步骤1：首先建立图结构数据的模型，结构数据包括图的节点和边，以及所有关于节点和边的创建和删除操作。

如图1，图中左侧为时变图的概念图举例，概念图中左侧的时变节点表示商城中的一位用户，右侧的时变节点表示商城中一项商品，用户与商品之间存在评论的行为，用户对商品的评论评分为4.5分，该评论之后被删除，故关系使用虚线表示。图中的用户和商品的时变节点，如评论关系的时变图的边，以及对于时变节点和时变图的边的变更数据都属于图结构数据。

步骤2：建立图结构数据的存储模型。通过网络模型的应用将关系使用关系节点的形式表示；将时变图中的不同时间维度描述成不同的网络节点；将对关系节点和边的所有创建和删除操作用边的形式表达；将所述的变更边关联在网络节点上。

如图1中的网络模型中，网络节点作为图的核心管理节点，通过与其关联的边维持关于时变节点和时变图的边的变更信息，包括对用户和商品的创建，用户对商品的评论关系的创建和删除。图中举例表示用户A于2017/10/01评论商品B，而后于2017/10/10删除评论。评论关系在网络图模型中表示为关系节点，由两条边关联到网络节点，分别表示对该关系的创建和删除。

这一存储模型的优势在于两个方面：一方面通过创建边的方式描述事件，使得变更的表示更为直接，提升了事件描述的灵活性，优化了结构变更事件查询的效率。另一方面，图中可以创建多个语义网络节点，用以表示不同的事件维度的信息描述，提升了时变图存储的灵活性。

粗看这一模型会担心随着网络上实体数量的增多，在查询时是否会造成网络节点的负载过重。但经过对查询流程的分析可以发现，对于局部实体的状态查询出发点是目标实体，由于图数据存储局域性的特点，不相关的节点和关系不会被载入，从而避免了这一方面的忧虑。

步骤3：建立图属性数据的模型。属性模型包括图的所有创建过的节点和关系的历史属性值，以及属性变更时的变更时间与相关描述。

如图2中的当前状态概念图，用户A具有年龄的属性，商品B具有商品编号、价格的属性，其中年龄和价格的属性值随时间会发生变更。用户A的不同时间点下的年龄值、商品B的所有历史价格和变更描述都属于属性模型中的数据。

步骤4：建立图属性数据的存储模型。通过日志模型将结构目标的历史属性状态解耦合，对每个结构的每个属性建立日志结构，存储其所有的过往属性值和创建时间。通过对实体中的历史镜像细化到属性粒度存储，从而提升存储效率。通过减小镜像的存储粒度至镜像，降低当单个属性发生变化时的存储增加代价，通过解耦实体属性，减少由于属性变化的组合而带来的历史状态的组合。

如图2中的日志模型属性中，各个时变节点的不同属性各自构建一个日志结构，存储关于这个属性的所有变更描述，包括历史值、变更类型、变更时间以及变更原因等附属信息，如用户A在2016年的年龄为19，在2017年更新为20岁。商品B于2017/10/10因为促销降价至399。另外日志模型中有时变节点的所有属性的记录存储，如商品B-属性的文档结构中，商品有编号和价格，对应的值为属性的创建时间。

步骤5：建立时变图查询模型。根据存储设计方案，将用户输入的变更按照结构和属性分类，执行到不同的物理存储中。根据查询的类型，执行查询的并行化。

将用户给定的变更操作分为属性内容和结构两部分记录，该两部分的变更可以并行执行，执行完成后进行同步检查一致性。如出现问题，则执行回滚重行执行，如顺利完成变更记录，则返回相应的数据结构。

由于变更存储的划分，对用户的查询也进行相应的分类，将对结构和对历史属性的查询交由不同的底层存储执行，最终返回相应的结果。

步骤6：实现时变图的存储和查询设计。如图4将图数据库如Neo4J作为结构数据的底层存储，将文档数据库如MongoDB作为属性数据的底层存储。使用通用图查询框架如Tinkerpop作为上层的查询封装。用户通过Tinkerpop框架实现与系统间的交互，其中包括对图的变更和历史查询。

Neo4J作为典型的图数据库具有稳定可靠的特点，用于存储结构数据可在图的遍历性能上随着层数增多相比传统关系型数据库通过关联查找有指数级的性能差异。MongoDB作为存储检索文档的数据库，在日志检索方面具备查询优势。

Tinkerpop是由Apache提出的开源查询框架，为图数据的联机分析处理(OnlineAnalytical Processing,OLAP),联机事务处理(Online Transaction Processing,OLTP)提供统一的查询语法，提升图查询的通用性。借助Tinkerpop的查询封装，可以融合上层既有的聚合运算框架，从而支持更多更丰富的查询计算功能；同时经过外部程序可以通过HTTP接口调用查询，从而支持查询服务化，使得框架易用。

步骤7：扩展图查询框架中的查询语法，使支持时变图数据的存储和查询。通过改写Tinkerpop中的查询策略，替换接口调用，将查询中带入的SideEffect变量作为额外的时间参数传入至系统中，从而实现在与Gremlin查询语法一致的基础上支持时变图数据的变更和历史查询的场景扩展。

Claims (6)

1.一种时变图的快速存储查询方法，其特征在于：将时变图数据分为结构数据和属性数据，将时变图的结构数据变成带关系节点的网络图模型，作为时变图的结构数据存储模型；使用日志结构存储时变图的属性数据，建立日志属性模型，作为时变图的属性数据存储模型；然后根据时变图的结构数据存储模型和属性数据存储模型，建立时变图查询模型，对用户输入的数据分类执行到网络图模型和日志属性模型对应的不同物理存储中并执行查询并行化，并且构建图数据库和文档数据库的底层数据存储和特殊的上层查询封装进行查询。

2.根据权利要求1所述的一种时变图的快速存储查询方法，其特征在于：

所述步骤1)中时变图的时变节点代表为用户或者商品的实体对象，时变图的边代表为实体对象之间的关联关系以及实体对象自身的创建和删除操作。

3.根据权利要求1所述的一种时变图的快速存储查询方法，其特征在于：

所述方法的步骤如下：

1)首先获取时变图结构数据，时变图的结构数据是包括时变图中的时变节点和边的关联关系数据及其变更数据；

2)建立网络图模型：

网络图模型中，网络图模型在时变图基础上建立关系节点和网络节点，关系节点为在两个时变节点之间插入的用于表达两个时变节点之间边信息的节点，网络节点关联有边的历史信息，即网络节点和时变节点之间的边存储有网络节点和时变节点之间关联关系的历史信息，网络节点和关系节点之间的边存储有网络节点和关系节点之间关联关系的历史信息，一个网络节点对应于实体对象的一个交互操作周期或者一个生存周期；

采用日志结构存储由时变节点和边的所有属性内容构成的日志属性模型，属性内容为属性、属性变更及其变更情况的历史信息，具体是将时变节点的历史属性的状态解耦合，属性的状态是指时变节点的所有属性值，对时变节点的每个属性建立日志结构，存储其所有属性的历史属性值和属性变更的时间；

5)建立时变图查询模型。

根据网络图模型和日志属性模型，将用户输入的对时变图的变更数据按照结构数据和属性数据进行分类，执行到网络图模型和日志属性模型对应的不同物理存储中，根据查询内容对应的分类类型执行在两个模型的查询并行化；

6)时变图的存储和查询

将图数据库作为底层的结构数据存储，将文档数据库作为底层的属性数据存储，使用通用图查询框架作为上层的查询封装，扩展通用图查询框架框架中的查询语法，使支持时变图数据的存储和查询。

4.根据权利要求1所述的一种时变图的快速存储查询方法，其特征在于，

所述步骤2)中，交互操作周期为用户在电子商务网站或者社交网站上对商品的交互操作，生存周期为商品在电子商务网站或者社交网站上存在的时间周期。

5.根据权利要求1所述的一种时变图的快速存储查询方法，其特征在于，

所述步骤3)中，所述的日志属性模型包括时变图的所有创建过的时变节点和时变节点之间关联关系的历史属性值，及属性变更时的变更时间。

6.根据权利要求1所述的一种时变图的快速存储查询方法，其特征在于，

所述步骤6)中，通过改写扩展图查询框架中的查询方式替换接口调用，查询中带入扩展图查询框架中的副作用变量作为额外的时间参数传入至扩展图查询框架中，实现在与查询语法一致的基础上支持时变图数据的变更和历史查询的场景扩展。