CN106385382A - 一种数据同步方法、装置和系统 - Google Patents

Abstract

本发明公开一种数据同步方法、装置和系统，用于多套系统模块的数据同步，包括如下步骤：接收来自第一系统模块的已执行的数据操作信息；将所述数据操作信息储存于消息队列；将消息队列内的数据操作信息有序发送至第二系统模块，用以供所述第二系统模块执行。本发明具有提高数据同步的可靠性的效果。

Description

一种数据同步方法、装置和系统

技术领域

本发明涉及系统同步技术领域，特别涉及一种数据同步方法、装置和系统。

背景技术

在应用系统重构的时候，通常会构建一套新的系统，然后会保证新旧系统同时运行，然后初步的灰度过渡到新系统上。由于新旧两套系统处于同时运行的状态，两套系统数据会经历新增、删除、更新和查询的操作，从而会涉及到两套系统的数据同步。

现有的常见的做法：采用对外暴露http接口的方法，达到两个系统相互暴露http接口，提供对方系统调用。则当有数据新增、修改、删除的时候就调用相应的http接口进行同步数据。但是，这种做法存在的缺点：http接口调用很难控制先后顺序，例如一次同步要先新增再修改，http接口就无法做到，从而造成数据同步失败。因此http接口存在可靠性差的问题。

发明内容

本发明的主要目的是提供一种数据同步方法、装置和系统，旨在增加对同步的修改的先后顺序的控制，提高可靠性。

为实现上述目的，本发明提出的一种数据同步方法，用于多套系统模块的数据同步，包括如下步骤：

接收来自第一系统模块的已执行的数据操作信息；

将所述数据操作信息储存于消息队列；

将消息队列内的数据操作信息有序发送至第二系统模块，用以供所述第二系统模块执行。

优选的，所述“将所述数据操作信息储存于消息队列”的步骤包括，

将所述数据操作信息储存于持久化的消息队列。

优选的，所述“将所述数据操作信息储存于持久化的消息队列”的步骤包括，

将所述数据操作信息存于队列持久化的开源消息队列系统模块RabbitMQ的消息队列。

本发明提供的一种数据同步装置，用于多套系统模块的数据同步，包括：

接收模块，用于接收来自第一系统模块的已执行的数据操作信息；

储存模块，用于将所述数据操作信息储存于消息队列；

发送模块，用于将消息队列内的数据操作信息有序发送至第二系统模块，用以供所述第二系统模块执行。

优选的，所述储存模块具体用于，将所述数据操作信息储存于持久化的消息队列。

优选的，所述储存模块具体用于，将所述数据操作信息存于队列持久化的开源消息队列系统模块RabbitMQ的消息队列。

本发明提供的一种数据同步方法，用于系统模块之间的数据同步，包括步骤：

第一系统模块接收数据操作信息，并进行相应的操作更新；

根据所述数据操作信息在版本管理模块查询相应的数据版本号，并对版本管理器中相应的数据版本号进行递增，并获取递增后的数据版本号；

将所获的数据版本号附加至所述数据操作信息而组成同步消息，并将所述同步消息通过消息队列有序转发至第二系统模块；

第二系统模块接收并获取所述同步消息携带的数据操作信息和数据版本号；

根据所述数据操作信息在版本管理模块获取相应的数据版本号；

判断来自同步消息的数据版本号和来自版本管理模块的数据版本号是否相同；

若是，则根据所述同步消息的数据操作信息进行相应的操作更新。

优选的，所述版本管理模块预存有多个数据标识，每一数据标识关联对应的一个数据版本号；

所述“根据所述数据操作信息在版本管理模块获取相应的数据版本号”的具体步骤包括：

获取所述数据操作信息携带的所需操作数据的数据标识，根据所述数据标识在版本管理模块获取相应的数据版本号。

本发明提供的一种数据同步系统，包括第一系统模块、第二系统模块、数据同步装置和版本管理模块；

所述第一系统模块用于接收数据操作信息，并进行相应的操作更新；再根据所述数据操作信息在版本管理模块查询相应的数据版本号，并对版本管理器中相应的数据版本号进行递增，并获取递增后的数据版本号；然后将所获的数据版本号附加至所述数据操作信息而组成同步消息，并将所述同步消息通过数据同步装置的消息队列有序转发至所述第二系统模块；

所述第二系统模块用于接收并获取所述同步消息携带的数据操作信息和数据版本号；再根据所述数据操作信息在版本管理模块获取相应的数据版本号；然后判断来自同步消息的数据版本号和来自版本管理模块的数据版本号是否相同；若是，则根据所述同步消息的数据操作信息进行相应的操作更新；

所述数据同步装置用于接收来自所述第一系统模块的已执行的数据操作信息；再将所述数据操作信息储存于消息队列；然后将消息队列内的数据操作信息有序发送至第二系统模块，用以供所述第二系统模块执行；

所述版本管理模块用于预存数据版本号，供所述第一系统和第二系统使用。

优选的，所述版本管理模块还用于预存有多个数据标识，每一数据标识关联对应的一个数据版本号；

所述“根据所述数据操作信息在版本管理模块获取相应的数据版本号”的具体步骤包括：

获取所述数据操作信息携带的所需操作数据的数据标识，根据所述数据标识在版本管理模块获取相应的数据版本号。

相对于现有方案中，通过对外暴露http接口，从而提供对方系统调用的方法；本发明将数据操作信息通过消息队列转发的方案，可以有效的进行信息传递，并且利用队列机制保证同步消息有序，从而使得多系统之间的数据同步能够控制同步信息的先后顺序，提高可靠性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明数据同步方法一实施例的流程图；

图2为图1所示数据同步方法的变形实施例的流程图；

图3为图1所示数据同步方法的又一变形实施例的流程图；

图4为本发明数据同步装置一实施例的模块化示意图；

图5为实现本发明数据同步方法一实施例的流程图；

图6为本发明数据同步系统一实施例的模块化示意图；

图7为图6所示的数据同步系统的运行原理图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

现在将参考附图描述实现本发明各个实施例的移动终端。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。

请参看图1，一种数据同步方法，用于多套系统模块的数据同步，包括如下步骤：

步骤S100，接收来自第一系统模块的已执行的数据操作信息。例如新增、删除、更新或查询等数据操作信息。

步骤S200，将所述数据操作信息储存于消息队列。

步骤S300，将消息队列内的数据操作信息有序发送至第二系统模块，用以供所述第二系统模块执行。例如依次进行新增、第一次更新和第二次更新的数据操作信息，则将上述数据操作信息逐一发送至第二系统模块，以供第二系统模块执行。

相对于现有方案中，通过对外暴露http接口，从而提供对方系统调用的方法；本实施例将数据操作信息通过消息队列转发的方案，可以有效的进行信息传递，并且利用队列机制保证同步消息有序，从而使得多系统之间的数据同步能够控制同步信息的先后顺序，提高可靠性。

需要说明的是，本实施例中的第二系统模块，可以是一个也可以是多个，例如双系统的数据同步中，仅存在一个第二系统模块；三系统的数据同步中，则存在两个第二系统模块。并且，由于在多个系统的实际维护中，数据操作信息的对象可能是任一的系统模块，例如，当第二系统模块收到数据操作信息时，操作方法与上述实施例中的方法基本一致，仅需将第二系统模块替换为第一系统模块即可，在此不再赘述。因此为了描述更简洁，本文仅以第一系统模块接收数据操作信息为例来说明，但并不限定仅能以第一系统模块作为数据操作信息的接收对象。

请参看图2，进一步的，所述步骤S200的步骤包括：

将所述数据操作信息储存于持久化的消息队列。持久化的消息队列指能够获得保存，从而在断电之后也可以恢复；并且在操作消息发送之后也可以查看发送历史。

请参看图3，进一步的，所述步骤S200包括，

将所述数据操作信息存于队列持久化的开源消息队列系统模块RabbitMQ的消息队列。本实施例中，由于采用的RabbitMQ作为操作消息的消息中间件，形成所述消息队列，并且采用队列持久化的方式，从而数据会持久化到磁盘上，在消息中间件宕机的时候仍然能够保证数据不丢失。

请参看图4，本申请公开了一种数据同步装置100，用于多套系统模块的数据同步，包括：

接收模块110，用于接收来自第一系统模块的已执行的数据操作信息。例如新增、删除、更新或查询等数据操作信息。

储存模块120，用于将所述数据操作信息储存于消息队列。

发送模块130，用于将消息队列内的数据操作信息有序发送至第二系统模块，用以供所述第二系统模块执行。例如依次进行新增、第一次更新和第二次更新的数据操作信息，则将上述数据操作信息逐一发送至第二系统模块，以供第二系统模块执行。

相对于现有方案中，通过对外暴露http接口，从而提供对方系统调用的方法；本方案将数据操作信息通过消息队列转发的方案，可以有效的进行信息传递，并且利用队列机制保证同步消息有序，从而使得多系统之间的数据同步能够更稳定。

进一步的，所述储存模块120具体用于，将所述数据操作信息储存于持久化的消息队列。持久化的消息队列指能够获得保存，从而在断电之后也可以恢复；并且在操作消息发送之后也可以查看发送历史。

进一步的，所述储存模块120具体用于，将所述数据操作信息存于队列持久化的开源消息队列系统模块RabbitMQ的消息队列。本实施例中，由于采用的RabbitMQ作为操作消息的消息中间件，形成所述消息队列，并且采用队列持久化的方式，从而数据会持久化到磁盘上，在消息中间件宕机的时候仍然能够保证数据不丢失。

请参看图5，本申请还提供了一种数据同步方法，用于系统模块之间的数据同步，包括步骤：

步骤S400，第一系统模块接收数据操作信息，并进行相应的操作更新。例如新增、删除、更新或查询等数据操作信息。

步骤S410，根据所述数据操作信息在版本管理模块查询相应的数据版本号，并对版本管理器中相应的数据版本号进行递增，并获取递增后的数据版本号。版本管理模块为每一条数据设定版本号。

步骤S420，将所获的数据版本号附加至所述数据操作信息而组成同步消息，并将所述同步消息通过消息队列有序转发至第二系统模块。消息队列作为第一系统模块和第二系统模块之间的中间件。例如对同一数据依次进行新增、第一次更新和第二次更新的数据操作信息，则每次对数据进行操作时，版本号都将增加；将上述数据操作信息逐一发送至第二系统模块，以供第二系统模块执行。并且每一操作所涉及到的数据版本号也跟随数据操作信息发送至第二系统模块。

步骤S500，第二系统模块接收并获取所述同步消息携带的数据操作信息和数据版本号。

步骤S510，根据所述数据操作信息在版本管理模块获取相应的数据版本号。

步骤S520，判断来自同步消息的数据版本号和来自版本管理模块的数据版本号是否相同。

步骤S530，若是，则根据所述同步消息的数据操作信息进行相应的操作更新。

由于本实施例所提供的数据同步方法，新增版本号控制，即为每一条数据设定版本号。只有当接收的数据操作信息附带的数据版本号与版本管理模块内储存的数据版本号进行验证且相同时，第二系统模块才执行该数据操作信息。例如版本管理模块内当前对应数据X的版本号是20，当第一系统模块接收到数据X的三次数据操作信息；则第一次数据操作信息附加数据版本号21；第二次数据操作信息附加数据版本号22；第三次附加数据版本号23。上述三次数据操作信息通过消息队列发送至第二系统模块时，由于版本管理模块内当前对应数据X的版本号是23，则将抛弃第一次和第二次数据操作信息，而写入第三次数据操作信息。

为了更清楚说明，进一步举例：如果在第一系统模块的同步信息发送至第二系统模块时，第二系统模块接收到对应数据X的第四次数据操作信息，则版本管理模块内当前对应数据X的版本号将增加为24；则此时第二系统模块将抛弃包含前三次数据操作信息的同步信息；而且第二系统模块的修改将通过消息队列同步至第一系统模块；而在版本号核对成功的情况下，第一系统模块内的数据X将根据第四次数据操作信息修改，从而使得第一系统模块和第二系统模块的数据X保持同步。

因此本实施例为两系统的数据做版本号同步，即两系统的数据处于一致的状态。这样就避免了两个系统同时操作一条数据的时候数据冲突的情况。从而相对于第一实施例所提供的数据同步方法，本实施例具有可靠性更高的效果。

在实际应用时第一系统模块可以是新系统、而第二系统模块为旧系统；当然也可以是第一系统模块是旧系统，而第一系统模块为新系统。其中，旧系统：为老旧系统，在新系统试运行顺利之后将会被抛弃，完全由新系统替代。新系统：为重构后的系统和旧系统是一个可替代的关系。在第一系统模块或第二系统模块中新增、修改、删除数据的时候都会对版本号递增。

进一步的，所述版本管理模块预存有多个数据标识，每一数据标识关联对应的一个数据版本号。例如对应数据X的数据标识是05，版本号是20；对应数据Y的数据标识是06，版本号是263。

所述步骤S410和步骤S510中的“根据所述数据操作信息在版本管理模块获取相应的数据版本号”的具体步骤包括：获取所述数据操作信息携带的所需操作数据的数据标识，根据所述数据标识在版本管理模块获取相应的数据版本号。

本实施例通过数据标识来查找数据版本号，具有易于记录、查找和大小较小的效果。在其他实施例中，也可以通过对数据的描述或者数据的位置来区别数据。

请结合参看图6和图7，本申请还提供了一种数据同步系统200，包括第一系统模块210、第二系统模块220、数据同步装置230和版本管理模块240。其中，第一系统模块210、第二系统模块220都可以接收数据操作信息。本实施例中，以数据操作信息的受体为第一系统模块为例进行说明。

所述第一系统模块210用于接收数据操作信息，并进行相应的操作更新。再根据所述数据操作信息在所述版本管理模块240查询相应的数据版本号，并对版本管理器240中相应的数据版本号进行递增，并获取递增后的数据版本号。然后将所获的数据版本号附加至所述数据操作信息而组成同步消息，并将所述同步消息通过数据同步装置230的消息队列有序转发至所述第二系统模块220。

其中，数据操作信息例如新增、删除、更新或查询等数据操作信息。版本管理模块为每一条数据设定版本号。消息队列作为第一系统模块和第二系统模块之间的中间件。例如对同一数据依次进行新增、第一次更新和第二次更新的数据操作信息，则每次对数据进行操作时，版本号都将增加；将上述数据操作信息逐一发送至第二系统模块，以供第二系统模块执行。并且每一操作所涉及到的数据版本号也跟随数据操作信息发送至第二系统模块。

所述第二系统模块220用于接收并获取所述同步消息携带的数据操作信息和数据版本号。再根据所述数据操作信息在版本管理模块240获取相应的数据版本号。然后判断来自同步消息的数据版本号和来自版本管理模块240的数据版本号是否相同；若是，则根据所述同步消息的数据操作信息进行相应的操作更新。

所述数据同步装置230用于接收来自所述第一系统模块210的已执行的数据操作信息；再将所述数据操作信息储存于消息队列；然后将消息队列内的数据操作信息有序发送至第二系统模块220，用以供所述第二系统模块220执行。本实施例所提供的数据同步装置230与上述实施例中的数据同步装置100结构相同，功能相同，因此，本实施例也具有上述实施例所具有的效果。数据同步装置230具体功能和变形可以参看上述实施例，在此不再赘述。

所述版本管理模块240用于预存数据版本号，供所述第一系统和第二系统使用。

由于本实施例所提供的数据同步方法，新增版本号控制，即为每一条数据设定版本号。只有当接收的数据操作信息附带的数据版本号与版本管理模块内储存的数据版本号进行验证且相同时，第二系统模块才执行该数据操作信息。例如版本管理模块内当前对应数据X的版本号是20，当第一系统模块接收到数据X的三次数据操作信息；则第一次数据操作信息附加数据版本号21；第二次数据操作信息附加数据版本号22；第三次附加数据版本号23。上述三次数据操作信息通过消息队列发送至第二系统模块时，由于版本管理模块内当前对应数据X的版本号是23，则将抛弃第一次和第二次数据操作信息，而写入第三次数据操作信息。

为了更清楚说明，进一步举例：如果在第一系统模块的同步信息发送至第二系统模块时，第二系统模块接收到对应数据X的第四次数据操作信息，则版本管理模块内当前对应数据X的版本号将增加为24；则此时第二系统模块将抛弃包含前三次数据操作信息的同步信息；而且第二系统模块的修改将通过消息队列同步至第一系统模块；而在版本号核对成功的情况下，第一系统模块内的数据X将根据第四次数据操作信息修改，从而使得第一系统模块和第二系统模块的数据X保持同步。

因此本实施例为两系统的数据做版本号同步，即两系统的数据处于一致的状态。这样就避免了两个系统同时操作一条数据的时候数据冲突的情况。从而相对于第一实施例所提供的数据同步方法，本实施例具有可靠性更高的效果。

在实际应用时第一系统模块可以是新系统、而第二系统模块为旧系统；当然也可以是第一系统模块是旧系统，而第一系统模块为新系统。其中，旧系统：为老旧系统，在新系统试运行顺利之后将会被抛弃，完全由新系统替代。新系统：为重构后的系统和旧系统是一个可替代的关系。在第一系统模块或第二系统模块中新增、修改、删除数据的时候都会对版本号递增。

进一步的，所述版本管理模块240还用于预存有多个数据标识，每一数据标识关联对应的一个数据版本号。例如对应数据X的数据标识是05，版本号是20；对应数据Y的数据标识是06，版本号是263。

所述“根据所述数据操作信息在版本管理模块240获取相应的数据版本号”的具体步骤包括：获取所述数据操作信息携带的所需操作数据的数据标识，根据所述数据标识在版本管理模块240获取相应的数据版本号。

本实施例通过数据标识来查找数据版本号，具有易于记录、查找和大小较小的效果。在其他实施例中，也可以通过对数据的描述或者数据的位置来区别数据。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是移动终端，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种数据同步方法，用于多套系统模块的数据同步，其特征在于，包括如下步骤：

接收来自第一系统模块的已执行的数据操作信息；

将所述数据操作信息储存于消息队列；

将消息队列内的数据操作信息按预设顺序发送至第二系统模块，用以供所述第二系统模块执行。

2.如权利要求1所述的数据同步方法，其特征在于，所述“将所述数据操作信息储存于消息队列”的步骤包括，

将所述数据操作信息储存于持久化的消息队列。

3.如权利要求2所述的数据同步方法，其特征在于，所述“将所述数据操作信息储存于持久化的消息队列”的步骤包括，

将所述数据操作信息存于队列持久化的开源消息队列系统模块RabbitMQ的消息队列。

4.一种数据同步装置，用于多套系统模块的数据同步，其特征在于，包括：

接收模块，用于接收来自第一系统模块的已执行的数据操作信息；

储存模块，用于将所述数据操作信息储存于消息队列；

发送模块，用于将消息队列内的数据操作信息有序发送至第二系统模块，用以供所述第二系统模块执行。

5.如权利要求4所述的数据同步方法，其特征在于，所述储存模块具体用于，将所述数据操作信息储存于持久化的消息队列。

6.如权利要求5所述的数据同步方法，其特征在于，所述储存模块具体用于，将所述数据操作信息存于队列持久化的开源消息队列系统模块RabbitMQ的消息队列。

7.一种数据同步方法，用于系统模块之间的数据同步，其特征在于，包括如下步骤：

第一系统模块接收数据操作信息，并进行相应的操作更新；

根据所述数据操作信息在版本管理模块查询相应的数据版本号，并对版本管理器中相应的数据版本号进行递增，并获取递增后的数据版本号；

将所获的数据版本号附加至所述数据操作信息而组成同步消息，并将所述同步消息通过消息队列有序转发至第二系统模块；

第二系统模块接收并获取所述同步消息携带的数据操作信息和数据版本号；

根据所述数据操作信息在版本管理模块获取相应的数据版本号；

判断来自同步消息的数据版本号和来自版本管理模块的数据版本号是否相同；

若是，则根据所述同步消息的数据操作信息进行相应的操作更新。

8.如权利要求7所述的双系统模块数据同步的方法，其特征在于，所述版本管理模块预存有多个数据标识，每一数据标识关联对应的一个数据版本号；

所述“根据所述数据操作信息在版本管理模块获取相应的数据版本号”的具体步骤包括：

获取所述数据操作信息携带的所需操作数据的数据标识，根据所述数据标识在版本管理模块获取相应的数据版本号。

9.一种数据同步系统，其特征在于，包括第一系统模块、第二系统模块、数据同步装置和版本管理模块；

所述第一系统模块用于接收数据操作信息，并进行相应的操作更新；再根据所述数据操作信息在版本管理模块查询相应的数据版本号，并对版本管理器中相应的数据版本号进行递增，并获取递增后的数据版本号；然后将所获的数据版本号附加至所述数据操作信息而组成同步消息，并将所述同步消息通过数据同步装置的消息队列有序转发至所述第二系统模块；

所述第二系统模块用于接收并获取所述同步消息携带的数据操作信息和数据版本号；再根据所述数据操作信息在版本管理模块获取相应的数据版本号；然后判断来自同步消息的数据版本号和来自版本管理模块的数据版本号是否相同；若是，则根据所述同步消息的数据操作信息进行相应的操作更新；

所述数据同步装置用于接收来自所述第一系统模块的已执行的数据操作信息；再将所述数据操作信息储存于消息队列；然后将消息队列内的数据操作信息有序发送至第二系统模块，用以供所述第二系统模块执行；

所述版本管理模块用于预存数据版本号，供所述第一系统和第二系统使用。

10.如权利要求9所述的数据同步系统，其特征在于，所述版本管理模块还用于预存有多个数据标识，每一数据标识关联对应的一个数据版本号；

所述“根据所述数据操作信息在版本管理模块获取相应的数据版本号”的具体步骤包括：

获取所述数据操作信息携带的所需操作数据的数据标识，根据所述数据标识在版本管理模块获取相应的数据版本号。