CN106776894B - 日志数据库系统和同步方法 - Google Patents

Abstract

本发明提供一种日志数据库系统和同步方法，该系统包括同步配置单元、日志获取单元、数据同步单元和数据库执行单元。同步配置单元配置用于获取待同步的数据对象名称以配置同步名称列表。日志获取单元配置用于进行交易，生成交易信息并参与共识，将通过共识的交易信息存入本地区块链。其中，交易信息包括数据库操作日志。数据同步单元配置用于根据同步名称列表在本地区块链中查找对应的数据库操作日志，根据查找到的数据库操作日志确定数据同步操作。数据库执行单元配置用于对预定的数据库执行数据同步操作。本发明将操作日志和数据分离，利用区块链技术在实现分布式存储的同时有效地保障安全性，同时可以配置不同类型数据库，无需改造节点。

Description

日志数据库系统和同步方法

技术领域

本申请涉及数据存储技术领域，具体涉及一种日志数据库系统和同步方法。

背景技术

分布式数据库相对传统的集中式数据库的优点显而易见，在各领域的使用需求逐步增长。

当前分布式数据库的同步方式通常由各节点的本地数据库之间直接进行同步。一方面，上述方案的安全性有待提高；另一方面，上述方案通常只能在相同类型的数据库之间进行同步，导致需要将各节点的本地数据库配置为相同类型。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种安全性较强、并可以在不同节点配置的不同类型数据库之间进行同步的日志数据库系统和同步方法。

第一方面，本发明提供一种日志数据库系统，该系统包括同步配置单元、日志获取单元、数据同步单元和数据库执行单元。

同步配置单元配置用于获取待同步的数据对象名称以配置同步名称列表。

日志获取单元配置用于进行交易，生成交易信息并参与共识，将通过共识的交易信息存入本地区块链。其中，该交易信息包括数据库操作日志。

数据同步单元配置用于根据同步名称列表在本地区块链中查找对应的数据库操作日志，根据查找到的数据库操作日志确定数据同步操作。

数据库执行单元配置用于对预定的数据库执行数据同步操作。

第二方面，本发明提供一种日志数据库同步方法，该方法包括：

获取待同步的数据对象名称以配置同步名称列表；

进行交易，生成交易信息并参与共识，将通过共识的交易信息存入本地区块链；其中，该交易信息包括数据库操作日志；

根据所述同步名称列表在本地区块链中查找对应的数据库操作日志，根据查找到的数据库操作日志确定数据同步操作；

对预定的数据库执行数据同步操作。

第三方面，本发明还提供一种设备，包括一个或多个处理器和存储器，其中存储器包含可由该一个或多个处理器执行的指令以使得该一个或多个处理器执行根据本发明各实施例提供的同步方法。

第四方面，本发明还提供一种存储有计算机程序的计算机可读存储介质，该计算机程序使计算机执行根据本发明各实施例提供的同步方法。

本发明诸多实施例提供的日志数据库系统和同步方法利用区块链的共识机制在网络中的各节点之间共享数据库操作日志，并与待同步的数据对象名称进行匹配以确定数据同步操作，最后对节点本地配置的数据库执行数据同步操作，以实现对当前节点的数据同步，本发明将数据库操作日志和数据分离，利用区块链技术在实现分布式存储的同时有效地保障了数据同步的安全性，同时可以在各节点本地配置插件化的不同类型数据库，无需对节点本地数据库进行改造；

本发明一些实施例提供的日志数据库系统和同步方法进一步通过记录同步信息，保障了在因网络或节点故障导致同步失败时可根据同步信息继续进行同步，增强了系统的健壮性；

本发明一些实施例提供的日志数据库系统和同步方法进一步通过根据实际需求配置在本地区块链中保留的日志数量，保障本地区块链中的数据量级可控；

本发明一些实施例提供的日志数据库系统和同步方法进一步通过自动获取待同步的数据对象名称实现自动同步。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1为本发明一实施例中日志数据库系统的结构示意图。

图2为本发明一实施例中日志数据库同步方法的流程图。

图3为图2所示方法的一种优选实施方式的流程图。

图4为图2所示方法的另一种优选实施方式的流程图。

图5为图2所示方法的又一种优选实施方式中步骤S20的流程图。

图6为本发明一实施例中一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1为本发明一实施例中日志数据库系统的结构示意图。

如图1所示，在本实施例中，当前网络的各个节点中分别配置有日志数据库系统10，以及若干数据库20。日志数据库系统10具体包括同步配置单元11、日志获取单元13、数据同步单元15和数据库执行单元17。各节点中的日志获取单元13之间通过Ripple协议进行交易和共识以对各用户的数据库操作日志进行同步，各节点中的数据库执行单元17分别根据数据同步单元15确定的数据同步操作对本地数据库20进行同步。

在本实施例中，网络中的每个节点分别配置有日志数据库系统10，日志数据库系统10和节点一一对应；在另一实施例中，可以仅在网络中的部分节点中分别配置日志数据库系统10，即配置有日志数据库系统10的部分节点共同组成分布式数据库。

在本实施例中，日志数据库系统10的各单元配置为节点中的软件程序；在另一实施例中，日志数据库系统10可以配置为与节点连接、专用于配置分布式数据库的硬件装置；在更多实施例中，日志数据库系统10的各单元还可以本领域技术人员可以理解的各类方式配置为不同的软硬件组合，均可实现相同的技术效果。

在本实施例中，各节点中的日志获取单元13之间基于Ripple协议进行交易和共识；在更多实施例中，还可根据实际需求将日志获取单元13配置为基于其它不同的协议进行交易和共识。

每个节点可以根据实际需求配置不同数量、不同类型的数据库20，并由本节点对应的日志数据库系统10以插件的形式统一配置和管理。数据库20的类型可以配置为以下至少一项：DB2数据库，火鸟(Firebird)数据库，MySQL数据库，ODBC数据库，PostgreSOL数据库，SQLite3数据库；也可以配置为包括本领域技术人员能通过预设接口(API)进行配置的其它类型的数据库，只要能通过API进行配置和管理，即可实现相同的技术效果。

以下对日志数据库系统10的各单元进行具体说明：

同步配置单元11配置用于获取待同步的数据对象名称以配置同步名称列表。

具体地，在本实施例中，数据对象配置为数据表，在更多实施例中还可根据实际需求配置为不同格式的数据对象。

同步配置单元11可以配置为手动同步模式，获取用户输入的待同步的数据表名称。此外，同步配置单元11还可配置为下文将要介绍的自动同步模式。

在一优选实施例中，同步配置单元11进一步配置用于配置数据对象的结构。例如，配置数据表的结构，包括字段、属性等，以及配置数据表的读写权限等。在本实施例中，数据表的读写权限配置为只有创建数据表的用户具有读写权限，以保障其安全性；在更多实施例中，还可根据实际需求配置为不同的权限策略，只要能保障数据对象的安全性，即可实现相同的技术效果。

日志获取单元13配置用于进行交易，生成交易信息并参与共识，将通过共识的交易信息存入本地区块链。其中，交易信息包括数据库操作日志。

具体地，日志获取单元13监听本地端口是否接收到交易，如接收到交易则校验其是否合法，定时将校验合法的若干交易打包生成交易信息，并发送至其它各节点参与共识，同时也接收其它各节点发送的交易信息进行共识，并接收通过共识的交易信息，将其存入本地区块链中。上述交易信息为分布式账本(ledger)，其中包括数据库操作日志，通常为发起交易用户的数据库操作日志。

在一优选实施例中，日志数据库系统10进一步还包括数据库操作单元，配置用于供用户对数据库进行各类操作，并生成数据库操作日志；以及，交易单元，配置用于根据数据库操作单元生成的数据库操作日志发起交易。

在一优选实施例中，日志获取单元13进一步配置用于保留预定数量的数据库操作日志。

具体地，日志获取单元13可根据实际需求将本地区块链中保留的数据库操作日志数量配置为预定的数量，例如1000条，也可配置为全部保留，并可为用户提供修改该配置的接口。

以配置为1000条为例，当在本地区块链中存储新的交易信息后，数据库操作日志超过1000条时，则删除所存储的时间最早的数据库操作日志，直至本地区块链中存储的数据库操作日志不超过1000条。

在一优选实施例中，同步配置单元11还可配置为自动同步模式，根据本地区块链存储的各数据库操作日志获取待同步的数据对象名称。具体地，同步配置单元11可以配置根据不同的筛选策略判断出各数据库操作日志中记录的各项操作的目标数据对象是否为本地节点配置的数据库的待同步的数据对象，例如，通过标记上次同步的时间节点，或通过判断操作类型或操作的数据对象等，或其它本领域技术人员可以理解的判断筛选策略。

当同步配置单元11配置为自动同步模式时，由于日志获取单元13在向本地区块链存入新的数据库操作日志，同步配置单元11定时通过本地区块链获取待同步的数据对象名称，配置同步名称列表，再由数据同步单元15和数据库执行单元17完成数据同步，从而实现自动同步。

数据同步单元15配置用于根据同步名称列表在本地区块链中查找对应的数据库操作日志，根据查找到的数据库操作日志确定数据同步操作。

具体地，数据同步单元15根据同步名称列表中的数据表名称查找到对应的数据库操作日志中记录的操作，例如新增数据表、修改数据表、删除数据表等，数据同步操作包括以下至少一项：

根据查找到的数据库操作日志向对应的节点请求待同步的数据对象，接收所述数据对象后在预定的数据库中进行同步。例如，新增数据表、修改数据表，等等。

根据查找到的数据库操作日志在预定的数据库中同步删除待同步的数据对象。例如，删除数据表，等等。

在一优选实施例中，数据同步单元15进一步配置用于接收数据对象下载请求，验证所述请求的权限，验证通过后通过数据库执行单元17从任一预定的数据库20中读取所请求的数据对象并返回。

数据库执行单元17配置用于对预定的数据库执行所述数据同步操作。

具体地，数据库执行单元17利用本地配置的数据库20的API对其执行上述数据同步操作。

在一优选实施例中，数据库执行单元17进一步配置用于记录同步信息，以及，在执行失败或中断后根据同步信息继续执行数据同步操作。具体地，同步信息可以配置为操作过程中实时记录的检查点位置，或其它本领域技术人员可以理解的同步信息。

上述实施例利用区块链的共识机制在网络中的各节点之间共享数据库操作日志，并与待同步的数据对象名称进行匹配以确定数据同步操作，最后对节点本地配置的数据库执行数据同步操作，以实现对当前节点的数据同步，本发明将数据库操作日志和数据分离，利用区块链技术在实现分布式存储的同时有效地保障了数据同步的安全性，同时可以在各节点本地配置插件化的不同类型数据库，无需对节点本地数据库进行改造。

图2为本发明一实施例中日志数据库同步方法的流程图。图2所示的日志数据库同步方法可对应应用于上述任一实施例提供的日志数据库系统10中。

如图2所示，在本实施例中，本发明提供的日志数据库同步方法包括：

S20：获取待同步的数据对象名称以配置同步名称列表。

S40：进行交易，生成交易信息并参与共识，将通过共识的交易信息存入本地区块链。其中，交易信息包括数据库操作日志。

S60根据同步名称列表在本地区块链中查找对应的数据库操作日志，根据查找到的数据库操作日志确定数据同步操作。

S80：对预定的数据库执行所述数据同步操作。

图3为图2所示方法的一种优选实施方式的流程图。

如图3所示，在一优选实施例中，步骤S80还包括：记录同步信息。步骤S80之后还包括：

S90：在执行失败或中断后根据同步信息继续执行数据同步操作。

上述实施例进一步通过记录同步信息，保障了在因网络或节点故障导致同步失败时可根据同步信息继续进行同步，增强了系统的健壮性。

图4为图2所示方法的另一种优选实施方式的流程图。

如图4所示，在一优选实施例中，步骤S40之后还包括：

S50：判断本地区块链中存储的数据库操作日志是否超过预定数量：是，则依次删除最早的数据库操作日志，直至剩余数量不超过预定数量。

上述实施例进一步通过根据实际需求配置在本地区块链中保留的日志数量，保障本地区块链中的数据量级可控。

图5为图2所示方法的又一种优选实施方式中步骤S20的流程图。

如图5所示，在一优选实施例中，当步骤S20配置为自动同步时，步骤S20包括：

S21：根据本地区块链存储的各数据库操作日志获取待同步的数据对象名称；

S23：根据获取的数据对象名称配置同步名称列表。

上述实施例进一步通过自动获取待同步的数据对象名称实现自动同步。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这根据所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以通过执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以通过专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，同步配置单元可以是设置在计算机或移动智能设备中的软件程序，也可以是单独进行获取待同步的数据对象名称以配置同步名称列表的硬件装置。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，日志获取单元还可以被描述为“用于进行交易和共识的区块链单元”。

图6为本发明一实施例中一种设备的结构示意图。

如图6所示，作为另一方面，本申请还提供了一种设备600，包括一个或多个中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分508加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有设备600操作所需的各种程序和数据。CPU 601、ROM602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本公开的实施例，上述任一实施例描述的同步方法可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行同步方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。

作为又一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例的装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，该程序被一个或者一个以上的处理器用来执行描述于本申请的同步方法。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离本申请构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (17)

1.一种日志数据库系统，其特征在于，所述系统包括：

同步配置单元，配置用于获取待同步的数据对象名称以配置同步名称列表；

日志获取单元，配置用于进行交易，生成交易信息并参与共识，将通过所述共识的交易信息存入本地区块链；其中，所述交易信息包括数据库操作日志；

数据同步单元，配置用于根据所述同步名称列表在所述本地区块链中查找对应的数据库操作日志，根据查找到的数据库操作日志确定数据同步操作；

数据库执行单元，配置用于对预定的本地数据库执行所述数据同步操作。

2.根据权利要求1所述的日志数据库系统，其特征在于，所述数据库执行单元进一步配置用于记录同步信息，以及，在执行失败或中断后根据所述同步信息继续执行所述数据同步操作。

3.根据权利要求1所述的日志数据库系统，其特征在于，所述数据同步操作包括以下至少一项：

根据查找到的数据库操作日志向对应的节点请求待同步的数据对象，接收所述数据对象后在预定的本地数据库中进行同步；

根据查找到的数据库操作日志在预定的本地数据库中同步删除待同步的数据对象。

4.根据权利要求3所述的日志数据库系统，其特征在于，所述数据同步单元进一步配置用于接收数据对象下载请求，验证所述请求的权限，验证通过后通过所述数据库执行单元从任一预定的本地数据库中读取所请求的数据对象并返回。

5.根据权利要求1-4任一项所述的日志数据库系统，其特征在于，所述日志获取单元进一步配置用于保留预定数量的数据库操作日志。

6.根据权利要求1-4任一项所述的日志数据库系统，其特征在于，所述同步配置单元进一步配置用于配置所述数据对象的结构。

7.根据权利要求1-4任一项所述的日志数据库系统，其特征在于，所述同步配置单元进一步配置用于在自动同步时，根据本地区块链存储的各数据库操作日志获取待同步的数据对象名称。

8.根据权利要求1-4任一项所述的日志数据库系统，其特征在于，所述交易和所述共识基于瑞波(Ripple)协议进行。

9.根据权利要求1-4任一项所述的日志数据库系统，其特征在于，所述预定的本地数据库包括以下至少一项：DB2数据库，火鸟(Firebird)数据库，MySQL数据库，ODBC数据库，PostgreSOL数据库，SQLite3数据库。

10.一种日志数据库同步方法，其特征在于，所述方法包括：

获取待同步的数据对象名称以配置同步名称列表；

进行交易，生成交易信息并参与共识，将通过所述共识的交易信息存入本地区块链；其中，所述交易信息包括数据库操作日志；

根据所述同步名称列表在所述本地区块链中查找对应的数据库操作日志，根据查找到的数据库操作日志确定数据同步操作；

对预定的本地数据库执行所述数据同步操作。

11.根据权利要求10所述的同步方法，其特征在于，所述对预定的本地数据库执行所述数据同步操作还包括：记录同步信息；

所述对预定的本地数据库执行所述数据同步操作之后还包括：在执行失败或中断后根据所述同步信息继续执行所述数据同步操作。

12.根据权利要求10所述的同步方法，其特征在于，所述数据同步操作包括以下至少一项：

根据查找到的数据库操作日志向对应的节点请求待同步的数据对象，接收所述数据对象后在预定的本地数据库中进行同步；

根据查找到的数据库操作日志在预定的本地数据库中同步删除待同步的数据对象。

13.根据权利要求10所述的同步方法，其特征在于，所述进行交易，生成交易信息并参与共识，将通过所述共识的交易信息存入本地区块链之后还包括：

判断本地区块链中存储的数据库操作日志是否超过预定数量：是，则依次删除最早的数据库操作日志，直至剩余数量不超过预定数量。

14.根据权利要求10-13任一项所述的同步方法，其特征在于，在自动同步时，所述获取待同步的数据对象名称以配置同步名称列表包括：

根据本地区块链存储的各数据库操作日志获取待同步的数据对象名称；

根据获取的数据对象名称配置同步名称列表。

15.根据权利要求10-13任一项所述的同步方法，其特征在于，所述交易和所述共识基于瑞波(Ripple)协议进行。

16.根据权利要求10-13任一项所述的同步方法，其特征在于，所述预定的本地数据库包括以下至少一项：DB2数据库，火鸟(Firebird)数据库，MySQL数据库，ODBC数据库，PostgreSOL数据库，SQLite3数据库。

17.一种设备，其特征在于，所述设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求10-16中任一项所述的同步方法。