CN112417033A

CN112417033A - 一种分布式图数据库多节点数据一致性实现方法和系统

Info

Publication number: CN112417033A
Application number: CN202011117730.1A
Authority: CN
Inventors: 沈志宏; 曾成林; 周园春; 刘忠新
Original assignee: Computer Network Information Center of CAS
Current assignee: Computer Network Information Center of CAS
Priority date: 2020-10-19
Filing date: 2020-10-19
Publication date: 2021-02-26

Abstract

本发明涉及一种分布式图数据库多节点数据一致性实现方法和系统。该方法对分布式图数据库的节点数据做快照备份，通过快照备份对分布式图数据库的日志进行压缩；利用压缩后的分布式图数据库的日志，对分布式图数据库进行节点间增量数据同步；新节点进行数据同步时加载快照备份，快照备份时间点之前的日志操作不用重新执行，只需同步快照备份时间点之后的日志，以快速地保持和其他节点的数据一致性。该系统包括日志管理模块、快照管理模块和节点启动数据同步模块。本发明通过快照和日志相结合的方式，能很好的对日志进行压缩，新节点也能够快速加入集群提供服务，在提升分布式图数据库系统性能方面获得了显著效果。

Description

一种分布式图数据库多节点数据一致性实现方法和系统

技术领域

本发明涉及分布式系统、图数据库，数据传输与存储领域，提出一种分布式图数据库多节点数据一致性方法及对该方法的系统实现。

背景技术

随着互联网在各行各业的深入应用，分析事物关联关系的需求逐渐涌现，如果使用关系数据库进行关联分析，会进行大量连接操作，为高效处理海量复杂数据之间的关联操作，图数据库应运而生。由于单机能力有限，海量数据要求图数据库分布式化。图数据库分布式化带来的一个重要问题就是保持分布式多节点之间数据一致性，以保证从不同节点进行读写数据的正确性。目前通用的保持分布式图数据库数据一致性方法是通过在各节点同步日志，然后各节点执行日志操作以保持数据一致。但是这种方式有明显的问题，随着分布式图数据库系统产生的日志量越来越多，日志的管理代价也呈线性增长趋势，新节点加入集群提供服务也会由于要同步大量历史日志，导致准备时间变长，浪费系统资源。

快照技术，是对数据库某个时间点系统状态做完全备份的技术。研究快照和日志相结合的技术能对日志进行一定程度的压缩，能较好的解决由于分布式图数据库系统日志量过大导致的一系列问题。

发明内容

本发明的目的在于提供一种分布式图数据库多节点数据一致性实现方法及对该方法的系统实现。

本发明的技术方案为：

一种分布式图数据库多节点数据一致性实现方法，包括以下步骤：

对分布式图数据库的节点数据做快照备份，通过快照备份对分布式图数据库的日志进行压缩；

利用压缩后的分布式图数据库的日志，对分布式图数据库进行节点间增量数据同步。

进一步地，所述对分布式图数据库的节点数据做快照备份，通过快照备份对分布式图数据库的日志进行压缩，包括：

在某个时间点对分布式图数据库的节点数据做快照备份，快照备份的数据代表该时间点以前所有日志操作执行的最终结果；

保存该快照备份，并将该快照备份的时间点以前的所有日志记录舍弃，以减少要记录的日志量。

进一步地，利用快照备份和快照备份时间点之后的日志，对新节点进行快速数据同步；所述新节点加载快照备份，快照备份时间点之前的日志操作不用重新执行，只需同步快照备份时间点之后的日志，以快速地保持和其他节点的数据一致性。

进一步地，所述快照备份的每次保存都有一个版本号，用于标识不同时间点做的快照备份，版本号越大表示快照备份的时间点越新，压缩的日志记录也越大；做快照备份的同时对日志文件记录一个索引值index，该index指向做快照时间点执行完的最后一条日志操作。

进一步地，节点启动时采用以下步骤进行数据同步：

从其他正常服务节点获取快照版本号并与自己本地的快照版本号进行比较，如果本地版本号低于其他节点的版本号，则调用rpc服务，从其他节点下载最新版本快照和对应的日志文件；如果版本号相同，则使用本地快照和对应的日志文件；

将快照加载到数据库，同时读取日志文件，获取index记录，将index之后的操作执行一遍，执行完后，该节点即和集群内其他节点保持了数据一致性。

进一步地，新节点启动时，从其他节点获取最新快照和日志文件，通过加载快照和执行日志操作的方式快速实现数据一致性，并加入集群提供服务。

一种采用上述方法的分布式图数据库多节点数据一致性实现系统，其包括：

日志管理模块，用于进行分布式图数据库的日志记录的存储和同步；

快照管理模块，用于进行分布式图数据库的快照备份的保存和加载；

节点启动数据同步模块，用于进行分布式图数据库的节点启动，保证分布式多节点的数据一致性，为节点加入集群提供服务做准备。

进一步地，所述日志管理模快对日志采用文本文件进行存储，日志的格式设计为operation+index的方式，其中operation记录数据库的写操作，index记录日志的编号，用于对日志记录进行标识；日志同步采用rpc进行传输，节点启动之后与其他节点建立rpc连接，当需要传输日志时，直接调用rpc发送sendLog消息，将日志同步到其他节点，其他节点收到消息后，将同步过来的日志记录到本地的日志文件里，并在数据库上执行相应的操作。

进一步地，所述快照管理模快对快照的保存是对本地数据库文件做备份，形成zip压缩文件进行保存；快照的每次保存都有一个版本号，用于标识不同时间点对数据库状态做的快照备份，版本号越大表示快照备份的时间点越新，压缩的日志记录也越大；做快照的同时对日志文件记录一个索引值index，该index指向做快照时间点执行完的最后一条日志操作；所述快照管理模快对快照的加载是将快照文件解压到指定的数据目录，数据库读取该目录下的数据库文件后，完成加载操作。

进一步地，所述节点启动数据同步模块在节点启动时，首先从其他正常服务节点获取快照版本号和自己本地的快照版本号进行比较，如果本地版本号低于其他节点的版本号，则会调用rpc服务，从其他节点下载最新版本快照和对应的日志文件，如果版本号相同则使用本地快照和对应的日志文件；然后使用快照管理模块的加载功能，将数据加载到数据库，同时读取日志文件，获取index记录，将index之后的操作执行一遍，执行完以后，节点即和集群内其他节点保持了数据一致性，能够加入集群提供读写服务；新节点启动时，从其他节点获取最新快照和日志文件，通过加载快照和执行日志操作的方式快速实现数据一致性，加入集群提供服务。

本发明的有益效果在于：

通过快照和日志相结合的方式，能很好的对日志进行压缩，新节点也能够快速加入集群提供服务。在提升分布式图数据库系统性能方面，获得了显著效果。

附图说明

图1是本发明的系统单节点模块示意图。

图2是本发明的新节点加入集群流程图。

具体实施方式

下面通过具体实施例，并配合附图，对本发明做进一步的说明。

本发明的一种分布式图数据库多节点数据一致性实现方法，其内容包括：

1)分布式图数据库多节点间增量数据同步方法；

2)分布式图数据库日志压缩方法；

3)分布式图数据库新节点快速同步数据方法。

所述分布式图数据库多节点间增量数据同步方法。系统中某个节点进行写操作时，节点数据将发生改变，为保证系统里各节点数据始终保持一致性，系统里所有的节点都必须执行相同的操作。采用同步日志的方式能方便地将写操作同步到系统各个节点。系统中某个节点要进行写操作时，先将操作记录成日志形式，然后发送到其他节点，系统中所有节点根据日志执行相同的操作。通过对相同的数据执行相同的操作，系统中各节点数据始终保持一致性。以对图数据库中节点属性数据进行写操作为例，系统中各图数据库数据是保持一致的，均包含一个数据节点，节点标签为student，用查询语句match(n:student)return n可以返回，现有一个图数据库节点要对这个数据节点进行写操作，增加一个age属性，对应的执行语句为match(n:student)set n.age＝18，为保证分布式系统中图数据库节点数据一致性，所有的图数据库节点都执行相同的语句，即match(n:student)set n.age＝18。执行完后，所有的数据库节点里的student数据节点都增加了一个age属性，从而保证了增量数据同步。

所述分布式图数据库日志压缩方法。分布式图数据库系统运行一段时间后，对系统进行频繁的读写操作，使得记录写操作的日志文件变得很大，不方便管理。对系统节点定期做快照能很好的对日志进行压缩，减少要记录的日志量。在某个时间点对节点数据做快照备份，快照备份的数据代表了这个时间点以前所有日志操作执行的最终结果，通过保存快照备份，这个时间点以前的所有日志记录都可以舍弃，不用保存，从而减少了要记录的日志量。以图数据库为例，当前日志记录的写操作有10000条，对图数据库状态做个快照备份，通过保存这个快照，日志记录的10000条写操作就可以舍弃，当需要对数据进行恢复时，通过加载快照备份就可以方便的进行数据恢复。

所述分布式图数据库新节点快速同步数据方法。分布式图数据库系统运行一段时间后，有新节点要加入集群提供读写服务，首先要进行数据同步，达成和其他数据库节点间的数据一致性条件之后，才能加入集群，正常提供服务。传统的做法是同步其他正常服务节点的日志，然后按顺序将日志记录的操作执行一遍。运行一段时间的图数据库系统进行频繁的读写操作，日志记录的操作量是非常大的，从头到尾执行一遍会耗费大量时间。通过加载快照的方式则可以节省时间，让新节点快速加入到集群提供服务。新节点加载快照，快照备份时间点之前的日志操作就可以不用重新执行，只需同步快照备份时间点之后的日志，这样就能快速地保持和其他节点的数据一致性。以分布式图数据库为例，系统运行一段时间后，日志记录的操作达到了10020条，在日志记录为10000条时对图数据库做了一个快照备份，实际记录的日志只有20条。新节点加入，只需加载系统中正常服务节点的快照，然后执行日志记录里的20条操作，就和其他节点保持了数据一致性，可以加入集群提供服务。

本发明的分布式图数据库多节点数据一致性实现系统，其内容包括：1)日志管理模块；2)快照管理模块；3)节点启动数据同步模块。图1示意了各个模块。

所述日志管理模快。该模块包含日志存储和同步功能。日志采用文本文件进行存储。日志的格式设计为operation+index的方式。其中operation记录的是数据库的写操作，读操作由于对数据不产生影响，可以不用记录，index记录的是日志的编号，用于对日志记录进行标识。一条完整的图数据库日志记录为：create(n:student{name:codeBaby})1。operation是create语句，代表在数据库创建一个标签为student的节点，包含name属性，index是1，代表这条日志是第一条执行的操作。日志同步采用rpc进行传输，节点启动之后会和其他集群内的节点建立rpc连接，当需要传输日志时，直接调用rpc发送sendLog消息，将日志同步到其他节点，其他节点收到消息后，会将同步过来的日志记录到本地的日志文件里，并在数据库上执行相应的操作。

所述快照管理模快。该模块包含快照的保存和加载功能。快照的保存是对本地数据库文件做备份，形成zip压缩文件进行保存，快照的每次保存都有一个版本号，该版本号在分布式集群系统内是统一的，用于标识不同时间点对数据库状态做的快照备份，版本号越大，表示快照备份的时间点越新，压缩的日志记录也越大。做快照的同时对日志文件记录一个索引值index，该index指向做快照时间点执行完的最后一条日志操作。快照的加载功能是将快照文件解压到指定的数据目录，数据库读取该目录下的数据库文件后，完成加载操作。

所述节点启动数据同步模块。该模块用于节点启动，保证分布式多节点的数据一致性，为节点加入集群提供服务做准备。节点启动首先会从其他正常服务节点获取快照版本号和自己本地的快照版本号进行比较，如果本地版本号低于其他节点的版本号，则会调用rpc服务，从其他节点下载最新版本快照和对应的日志文件。如果版本号相同，则使用本地快照和对应的日志文件。然后使用快照管理模块的加载功能，将数据加载到数据库，同时读取日志文件，获取index记录，将index之后的操作执行一遍。执行完以上操作后，节点就和集群内其他节点保持了数据一致性，可以加入集群提供读写服务。对于新节点启动，由于没有本地快照备份，会从其他节点获取最新快照和日志文件，如图2所示，通过加载快照和执行日志操作的方式快速实现数据一致性，加入集群提供服务。

基于分布式动态图数据库系统示例：

某针对动态图数据进行管理的分布式图数据库系统，集群目前运行三个节点，分别是node1，node2，node3，集群采用主从模式，其中node1是主节点，node2和node3是从节点，三个节点的数据目前保持一致，日志文件为log，记录了10020条操作，三个节点统一在执行完10000条日志的时候对数据库做了快照备份，备份文件为backup-5.zip，快照文件编号为5，日志文件的index指向编号为10000的操作。现在基于负载均衡考虑，准备启动一个新节点加入集群提供服务，其过程如下：

1)节点启动，和集群其他三个节点建立rpc连接，获取集群基本信息。

2)检查本地快照编号和集群快照编号，发现本地没有快照文件，于是调用rpc服务从集群中将快照文件和日志文件至本地。

3)通过快照加载功能加载快照至数据库中。

4)检查日志文件的index，指向10000，将index后面的20条日志记录取出，并在数据库执行操作。

5)数据保持一致，加入集群提供服务。

本发明未详细阐述的部分属于本领域技术人员的公知技术。

以上实施仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。

Claims

1.一种分布式图数据库多节点数据一致性实现方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，所述对分布式图数据库的节点数据做快照备份，通过快照备份对分布式图数据库的日志进行压缩，包括：

3.根据权利要求1所述的方法，其特征在于，利用快照备份和快照备份时间点之后的日志，对新节点进行快速数据同步；所述新节点加载快照备份，快照备份时间点之前的日志操作不用重新执行，只需同步快照备份时间点之后的日志，以快速地保持和其他节点的数据一致性。

4.根据权利要求1所述的方法，其特征在于，所述快照备份的每次保存都有一个版本号，用于标识不同时间点做的快照备份，版本号越大表示快照备份的时间点越新，压缩的日志记录也越大；做快照备份的同时对日志文件记录一个索引值index，该index指向做快照时间点执行完的最后一条日志操作。

5.根据权利要求4所述的方法，其特征在于，节点启动时采用以下步骤进行数据同步：

6.根据权利要求5所述的方法，其特征在于，新节点启动时，从其他节点获取最新快照和日志文件，通过加载快照和执行日志操作的方式快速实现数据一致性，并加入集群提供服务。

7.一种采用权利要求1～6中任一权利要求所述方法的分布式图数据库多节点数据一致性实现系统，其特征在于，包括：

8.根据权利要求7所述的系统，其特征在于，所述日志管理模快对日志采用文本文件进行存储，日志的格式设计为operation+index的方式，其中operation记录数据库的写操作，index记录日志的编号，用于对日志记录进行标识；日志同步采用rpc进行传输，节点启动之后与其他节点建立rpc连接，当需要传输日志时，直接调用rpc发送sendLog消息，将日志同步到其他节点，其他节点收到消息后，将同步过来的日志记录到本地的日志文件里，并在数据库上执行相应的操作。

9.根据权利要求7所述的系统，其特征在于，所述快照管理模快对快照的保存是对本地数据库文件做备份，形成zip压缩文件进行保存；快照的每次保存都有一个版本号，用于标识不同时间点对数据库状态做的快照备份，版本号越大表示快照备份的时间点越新，压缩的日志记录也越大；做快照的同时对日志文件记录一个索引值index，该index指向做快照时间点执行完的最后一条日志操作；所述快照管理模快对快照的加载是将快照文件解压到指定的数据目录，数据库读取该目录下的数据库文件后，完成加载操作。

10.根据权利要求7所述的系统，其特征在于，所述节点启动数据同步模块在节点启动时，首先从其他正常服务节点获取快照版本号和自己本地的快照版本号进行比较，如果本地版本号低于其他节点的版本号，则会调用rpc服务，从其他节点下载最新版本快照和对应的日志文件，如果版本号相同则使用本地快照和对应的日志文件；然后使用快照管理模块的加载功能，将数据加载到数据库，同时读取日志文件，获取index记录，将index之后的操作执行一遍，执行完以后，节点即和集群内其他节点保持了数据一致性，能够加入集群提供读写服务；新节点启动时，从其他节点获取最新快照和日志文件，通过加载快照和执行日志操作的方式快速实现数据一致性，加入集群提供服务。