CN113641760A - 数据同步方法及装置 - Google Patents

Abstract

本发明实施例公开了一种数据同步方法及装置，其中，所述方法包括：获取数据库的前端应用程序的操作指令；根据所述操作指令生成消息队列；将所述消息队列发送至其它服务器，以使得所述其它服务器根据所述消息队列对数据进行同步，所述消息队列的与所述其它服务器相对应。避免由于进程或者线程寿命造成的数据变化记录不及时，同时，利用同步消息队列生成异步消息队列，可以将数据变化内容准确灵活的发送到其它数据库中，避免大量数据堆积，形成网络阻塞。有效提升了数据同步的效率，进而提升数据同步效果。

Description

数据同步方法及装置

技术领域

本发明涉及分布式异构数据库技术领域，尤其涉及一种数据同步方法及装置。

背景技术

随着数据库的广泛应用以及网络技术和分布式技术的不断发展，分布式异构数据库的应用越来越广泛。异构数据库同步是对在物理上分布的多个异构的数据库，在尽量少地影响本地自治性的基础上，构造具有用户所需要的全局数据库，从而实现分布数据的透明和共享访问。

目前，实现分布式异构数据库之间的同步采用如下方式进行：利用内存中存在的进程或者线程队列作为数据库信息变化的来源，并通过TCP/IP等协议发送至其它数据库，进行数据同步。

在实现本发明的过程中，发明人发现如下技术问题：采用上述方式进行分布式异构数据库的数据同步，由于内存中的线程或者进程寿命较短，因此，需要在短时间内构建相应的信息，对系统短时间内数据处理能力有较高的要求，同时，由于存在多个数据库需要进行同步，也容易产生网络堵塞，影响数据同步效果。

发明内容

本发明实施例提供了一种数据同步方法及装置，以解决现有技术中分布式异构数据库数据同步效果不佳的技术问题。

第一方面，本发明实施例提供了一种数据同步方法，包括：

获取数据库的前端应用程序的操作指令；

根据所述操作指令生成消息队列；

将所述消息队列发送至其它服务器，以使得所述其它服务器根据所述消息队列对数据进行同步，所述消息队列的与所述其它服务器相对应。

进一步的，所述根据所述操作指令生成消息队列包括：

根据所述操作指令生成缓存同步消息队列；

根据所述缓存同步消息队列生成异步消息队列。

进一步的，所述获取数据库的前端应用程序的操作指令，包括：

通过调用接口类函数获取数据库数据的更新操作和更新的内容。

进一步的，所述根据所述操作指令生成缓存同步消息队列，包括：

创建专用队列，所述专用队列用于记录所有更新数据库信息的消息。

进一步的，所述根据所述缓存同步消息队列生成异步消息队列，包括：

根据所述数据库数据的更新操作和更新的内容和专用队列中与所述更新操作和更新内容对应的消息生成异步消息队列。

进一步的，所述方法还包括：

接收其它服务器的返回的确认接收信息。

更进一步的，所述将所述消息队列发送至其它服务器，包括：

将所述数据的更新操作和更新的内容转换为可扩展标记语言记录形式的队列信息。

第二方面，本发明实施例还提供了一种数据同步装置，包括：

获取模块，用于获取数据库的前端应用程序的操作指令；

生成模块，用于根据所述操作指令生成消息队列；

发送模块，用于将所述消息队列发送至其它服务器，以使得所述其它服务器根据所述消息队列对数据进行同步，所述消息队列的与所述其它服务器相对应。

进一步的，所述生成模块，包括：

缓存同步消息队列生成单元，用于根据所述操作指令生成缓存同步消息队列；

异步消息队列生成单元，用于根据所述缓存同步消息队列生成异步消息队列。

进一步的，所述获取模块，包括：

获取单元，用于通过调用接口类函数获取数据库数据的更新操作和更新的内容。

进一步的，所述异步消息队列生成单元，用于：

根据所述数据库数据的更新操作和更新的内容和专用队列中与所述更新操作和更新内容对应的消息生成异步消息队列。

进一步的，所述装置还包括：

接收模块，用于接收其它服务器的返回的确认接收信息。

进一步的，所述发送模块，包括：

转换单元，用于将所述数据的更新操作和更新的内容转换为可扩展标记语言记录形式的队列信息。

本发明实施例提供的数据同步方法及装置，通过获取数据库的前端应用程序的操作指令；根据所述操作指令生成消息队列；将所述消息队列发送至其它服务器，以使得所述其它服务器根据所述消息队列对数据进行同步，所述消息队列的与所述其它服务器相对应。利用操作指令生成一个同步消息队列，可利用同步消息队列对操作进行记录。避免由于进程或者线程寿命造成的数据变化记录不及时，同时，利用同步消息队列生成异步消息队列，可以将数据变化内容准确灵活的发送到其它数据库中，避免大量数据堆积，形成网络阻塞。有效提升了数据同步的效率，进而提升数据同步效果。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明实施例一提供的数据同步方法的流程示意图；

图2是本发明实施例二提供的数据同步方法的流程示意图；

图3是本发明实施例三提供的数据同步装置的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1是本发明实施例一提供的数据同步方法的流程图，本实施例可适用于对分布式异构数据库中的数据进行同步的情况，该方法可以由数据同步装置来执行，并可集成于分布式异构数据库的每个数据库中，具体包括如下步骤：

S110，获取数据库的前端应用程序的操作指令。

分布式异构数据库系统是相关的多个数据库系统的集合，可以实现数据的共享和透明访问，几个数据库系统在加入异构数据库系统之前本身就已经存在，拥有自己的数据库管理系统、外构数据库的各个组成部分具有自身的自治性，实现数据共享的同时，每个数据库系统仍有自己的应用特性、完整性控制和安全性控制。各个参与的数据库可以分别运行在大型机、小型机、工作站、PC或嵌入式系统中。各个数据库系统的基础操作系统可以是Unix、Windows NT、Linux等。还可以是同为关系型数据库系统的Oracle、SQL Server等，也可以是不同数据模型的数据库，如关系、模式、层次、网络、面向对象，函数型数据库共同组成一个异构数据库系统。

通常在数据库操作过程中，用户利用前段应用程序进行各种数据的操作。因此，利用数据库的前端应用程序可以获取数据是否存在变化，并记录相应的变化信息，与原有方式相比，对数据库的运行没有任何扰动，无需消耗数据库的相应运算资源，提升了数据库的运行效率。

在本实施例中，可选的，所述获取数据库的前端应用程序的操作指令，可以包括：通过调用接口类函数获取数据库数据的更新操作和更新的内容可以利用SendMessageQueue提供相应的接口，获取到数据库的前端应用程序的操作指令。

S120，根据所述操作指令生成消息队列。

在本实施例中，所述数据同步方法可以由集成于分布式异构数据库中的插件执行。在本实施例中，所述根据所述操作指令生成消息队列可以包括：根据所述操作指令生成缓存同步消息队列；根据所述缓存同步消息队列生成异步消息队列。即相当于需要先后生成两个消息队列，其中，所述缓存同步信息队列用于根据操作指令，利用SendMessageQueue提供相应的接口，生成相应的缓存同步消息队列。缓存同步消息队列仅在所驻留的本地计算机上可用。缓存同步消息队列只能知道队列的完整路径名或标签的应用程序访问。记录了同步系统中所有包含更新数据库信息的消息，并按照先进先出的原则，传输消息。可以使用队列路径名来唯一确定一个在所驻留的本地计算机上可用。专用队列只能山知道队列的完整路径名或标签的应用程序访问。“专用队列”由本机的数据库同步软件创建，并驻留在本地。它像一个管道一样，记录了同步系统中所有包含更新数据库信息的消息，并按照先进先出的原则，传输消息。可以使用队列路径名来唯一确定一个专用队列。

而异步消息队列用于根据所述缓存同步消息队列生成，其用于向其它数据库发送同步信息，所述同步信息中包括数据库中的更改内容，以实现分布式异构数据库中所有数据的同步。可选的，所述根据所述缓存同步消息队列生成异步消息队列，可以包括根据所述数据库数据的更新操作和更新的内容和专用队列中与所述更新操作和更新内容对应的消息生成异步消息队列。

S130，将所述消息队列发送至其它服务器，以使得所述其它服务器根据所述消息队列对数据进行同步，所述消息队列的与所述其它服务器相对应。

为了保证消息发送的及时性和准确性，在本实施例中，可以利用异步消息队列向其它数据库发送信息，以使得分布式异构数据库能够接收到同步信息。在本实施例中，为使得分布式异构数据库中所有数据库均能根据同步信息进行同步。可以为每个数据库服务器单独创建一个异步消息队列。同时分别建立网络通信通道。由于采用异步方式，同时为每个数据库对应建立相应的队列和通道，可以有效方式网络阻塞，同时还可确保数据同步信息发送至对应的数据库进行数据同步。

本发明实施例通过获取数据库的前端应用程序的操作指令；根据所述操作指令生成消息队列；将所述消息队列发送至其它服务器，以使得所述其它服务器根据所述消息队列对数据进行同步，所述消息队列的与所述其它服务器相对应。利用操作指令生成一个同步消息队列，可利用同步消息队列对操作进行记录。避免由于进程或者线程寿命造成的数据变化记录不及时，同时，利用同步消息队列生成异步消息队列，可以将数据变化内容准确灵活的发送到其它数据库中，避免大量数据堆积，形成网络阻塞。有效提升了数据同步的效率，进而提升数据同步效果。

在本实施例的一个优选实施方式中，所述方法还可增加如下步骤：接收其它服务器的返回的确认接收信息。为了得到更好的通信安全性，通过接受其他服务器饭后的确认接收信息。其他数据库服务器在处理完单钱消息后，会发送确认消息。在接收到确认信息后才认为这一次通信成功。一旦网络出现故障或者在处理消息的过程中出现问题，都会收不到确认消息，说明通信存在问题。通过反复发送，直至确认成功确保数据同步。可选的，可以设定发送次数阈值，在超出阈值时，计入系统日志，并发出提醒，提醒工作人员确认当前通信的数据库服务器是否正常。利用上述方式，可以保证通信安全性，同时还可及时发现故障，确保分布式异构数据库中所有数据库实现数据同步一致。

实施例二

图2为本发明实施例二提供的数据同步方法的流程示意图。本实施例以上述实施例为基础进行优化，在本实施例中，将所述消息队列发送至其它服务器，具体优化为：将所述数据的更新操作和更新的内容转换为可扩展标记语言记录形式。相应的，本实施例所提供的数据同步方法，具体包括：

S210，获取数据库的前端应用程序的操作指令。

S220,根据所述操作指令生成缓存同步消息队列。

S230,根据所述数据库数据的更新操作和更新的内容和专用队列中与所述更新操作和更新内容对应的消息生成异步消息队列。

S240,将数据的更新操作和更新的内容转换为可扩展标记语言记录形式的队列信息。

由于需要在分布环境下支持多种语言及应用程序、多通信协议、不同的硬件和软件平台下扩展进程间的通信，为应用系统提供可靠的通信手段，实现不同平台下的数据通信。需要实现并发执行、无连接通信、位置透明性、智能路由、提供多线程支持等功能。因此传输消息须采用标准IP协议进行封装用以保证多种不同平台下数据通信的要求，实现跨平台数据的通信。

因此，在本实施例中，可以将数据的更新操作和更新的内容转换为可扩展标记语言记录形式的队列信息。便于实现IP传输。

XML是一种用于标记电子文件使其具有结构性的标记语言。它可以用来标记数据、定义数据类型，是一种允许用户对自己的标记语言进行定义的源语言。它非常适合万维网传输，提供统一的方法来描述和交换独立于应用程序或供应商的结构化数据。XML可以在不兼容的系统之间交换数据，计算机系统和数据库系统所存储的数据有多种形式，对于开发者来说，最耗时间的工作就是在遍布网络的系统之间交换数据。把数据转换为XML格式存储将大大减少交换数据时的复杂性，还可以使这些数据能被不同的程序读取。

在本实施例中，可以设定包括一个开始标记，一个结束标记以及两个标记之间的内容，例如，可以将XML元素标记为更新操作和更新的内容。标记是对文档存储格式和逻辑结构的描述。实现将更新操作和更新的内容转换为可扩展标记语言记录形式的队列信息。

S250，将可扩展标记语言记录形式的队列信息送至其它服务器，以使得所述其它服务器根据所述消息队列对数据进行同步，所述消息队列的与所述其它服务器相对应。

利用TCP/IP协议可将上述步骤生成的可扩展标记语言记录形式的队列信息送至其它服务器。以减少同步数据的处理，进一步减轻分布式异构数据库的运算，提升分布式异构数据库的的性能。

本实施例通过所述消息队列发送至其它服务器，具体优化为：将所述数据的更新操作和更新的内容转换为可扩展标记语言记录形式。充分利用可扩展标记语言的灵活性和适用性。可以在多种操作系统和多种数据库之间快速灵活的完成数据同步，减少数据同步的传输量，并且可以进一步减轻分布式异构数据库的运算，提升分布式异构数据库的的性能。

实施例三

图3是本发明实施例安提供的数据同步装置的结构示意图，如图3所示，所述装置包括：

获取模块310，用于获取数据库的前端应用程序的操作指令；

生成模块320，用于根据所述操作指令生成消息队列；

发送模块330，用于将所述消息队列发送至其它服务器，以使得所述其它服务器根据所述消息队列对数据进行同步，所述消息队列的与所述其它服务器相对应。

本实施例提供的数据同步装置，通过获取数据库的前端应用程序的操作指令；根据所述操作指令生成消息队列；将所述消息队列发送至其它服务器，以使得所述其它服务器根据所述消息队列对数据进行同步，所述消息队列的与所述其它服务器相对应。利用操作指令生成一个同步消息队列，可利用同步消息队列对操作进行记录。避免由于进程或者线程寿命造成的数据变化记录不及时，同时，利用同步消息队列生成异步消息队列，可以将数据变化内容准确灵活的发送到其它数据库中，避免大量数据堆积，形成网络阻塞。有效提升了数据同步的效率，进而提升数据同步效果

在上述各实施例的基础上，所述生成模块，包括：

缓存同步消息队列生成单元，用于根据所述操作指令生成缓存同步消息队列；

异步消息队列生成单元，用于根据所述缓存同步消息队列生成异步消息队列。

在上述各实施例的基础上，所述获取模块，包括：

获取单元，用于通过调用接口类函数获取数据库数据的更新操作和更新的内容。

在上述各实施例的基础上，所述异步消息队列生成单元，用于：

根据所述数据库数据的更新操作和更新的内容和专用队列中与所述更新操作和更新内容对应的消息生成异步消息队列。

在上述各实施例的基础上，所述装置还包括：

接收模块，用于接收其它服务器的返回的确认接收信息。

在上述各实施例的基础上，所述发送模块，包括：

转换单元，用于将所述数据的更新操作和更新的内容转换为可扩展标记语言记录形式的队列信息。。

本发明实施例所提供的数据同步装置可执行本发明任意实施例所提供的数据同步方法，具备执行方法相应的功能模块和有益效果。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种数据同步方法，其特征在于，包括：

获取数据库的前端应用程序的操作指令；

根据所述操作指令生成消息队列；

将所述消息队列发送至其它服务器，以使得所述其它服务器根据所述消息队列对数据进行同步，所述消息队列的与所述其它服务器相对应。

2.根据权利要求1所述的方法，其特征在于，所述根据所述操作指令生成消息队列包括：

根据所述操作指令生成缓存同步消息队列；

根据所述缓存同步消息队列生成异步消息队列。

3.根据权利要求2所述的方法，其特征在于，所述获取数据库的前端应用程序的操作指令，包括：

通过调用接口类函数获取数据库数据的更新操作和更新的内容。

4.根据权利要求3所述的方法，其特征在于，所述根据所述操作指令生成缓存同步消息队列，包括：

创建专用队列，所述专用队列用于记录所有更新数据库信息的消息。

5.根据权利要求4所述的方法，其特征在于，所述根据所述缓存同步消息队列生成异步消息队列，包括：

根据所述数据库数据的更新操作和更新的内容和专用队列中与所述更新操作和更新内容对应的消息生成异步消息队列。

6.根据权利要求3所述的方法，其特征在于，所述方法还包括：

接收其它服务器的返回的确认接收信息。

7.根据权利要求3所述的方法，其特征在于，所述将所述消息队列发送至其它服务器，包括：

将所述数据的更新操作和更新的内容转换为可扩展标记语言记录形式的队列信息。

8.一种数据同步装置，特征在于，包括：

获取模块，用于获取数据库的前端应用程序的操作指令；

生成模块，用于根据所述操作指令生成消息队列；

发送模块，用于将所述消息队列发送至其它服务器，以使得所述其它服务器根据所述消息队列对数据进行同步，所述消息队列的与所述其它服务器相对应。

9.根据权利要求8所述的装置，其特征在于，所述生成模块，包括：

缓存同步消息队列生成单元，用于根据所述操作指令生成缓存同步消息队列；

异步消息队列生成单元，用于根据所述缓存同步消息队列生成异步消息队列。

10.根据权利要求8所述的装置，其特征在于，所述获取模块，包括：

获取单元，用于通过调用接口类函数获取数据库数据的更新操作和更新的内容。

Images