CN112084254A - 一种数据同步方法和系统 - Google Patents

Abstract

本发明公开了一种数据同步方法和系统，涉及计算机技术领域。该方法的一具体实施方式包括：接收来自于客户端的同步写命令，加载预定义的同步模块，以按照同步模块中同步写命令的实现逻辑，将同步写命令中的当前键，以及第一版本信息保存至源数据库；调用同步模块的同步读命令，以从源数据库中获取待同步数据，以及与待同步数据的待同步键相对应的第一版本信息；调用同步模块的同步回放命令，以获取第二版本信息，若待同步键的第一版本信息表示的更新时间晚于第二版本信息表示的更新时间，则将待同步数据写入目标数据库。该方法基于预定义的同步模块实现数据库的数据同步，无需改写数据库源码，可以跟随开源数据库版本进行升级。

Description

一种数据同步方法和系统

技术领域

本发明涉及计算机领域，尤其涉及一种数据同步方法和系统。

背景技术

为了保障业务的高可用性，最大程度的减少甚至消除系统故障对于正常业务的影响，互联网企业可以构建异地多活架构，以在异常情况下也能够向用户提供良好的服务。其中，异地多活是指分布在异地的多个数据中心同时对外提供服务的业务场景。

实现异地多活架构设计的其中一个关键环节是：如何实现多个数据中心之间的数据同步。目前数据同步的技术主要分为两种，第一种是将数据库的aof(append only log)日志改造为binlog日志，再扫描binlog日志进行同步；第二种是采用伪slave的方案，即实现redis协议，伪装成为redis slave，让redis master推送数据至伪slave，然后进行同步。其中，aof是一个只进行追加操作的日志文件，binlog是一个二进制格式的文件。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

(1)上述两种方案均需要选择一个数据库版本改写其源码，实现复杂，开发成本高，不能跟随开源数据库版本进行升级。

(2)上述两种方案在实现双向同步时，会存在循环同步的问题，即将当前数据库的更新数据同步到另一个数据库后，又将该另一个数据库的该更新数据同步到当前数据库。

发明内容

有鉴于此，本发明实施例提供一种数据同步方法和系统，基于预定义的同步模块实现数据库的数据同步，无需改写数据库源码，可以跟随开源数据库版本进行升级。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据同步方法。

本发明实施例的一种数据同步方法，包括：接收来自于客户端的同步写命令，加载预定义的同步模块，以按照所述同步模块中同步写命令的实现逻辑，将所述同步写命令中的当前键，以及用于表示所述当前键在源数据库的更新时间的第一版本信息保存至所述源数据库；调用所述同步模块的同步读命令，以从所述源数据库中获取待同步数据，以及与所述待同步数据的待同步键相对应的第一版本信息；其中，所述待同步键包括至少一个所述当前键；调用所述同步模块的同步回放命令，以获取用于表示所述待同步键在目标数据库的更新时间的第二版本信息，若所述待同步键的第一版本信息表示的更新时间晚于所述第二版本信息表示的更新时间，则将所述待同步数据写入所述目标数据库。

可选地，所述第一版本信息和所述第二版本信息为全局递增的版本号；所述获取用于表示所述待同步键在目标数据库的更新时间的第二版本信息的步骤之后，还包括：比较所述第一版本信息与所述第二版本信息的大小，以确定所述待同步键在所述源数据库和所述目标数据库的更新时间早晚。

可选地，所述方法还包括：自定义实现所述同步模块；其中，所述同步模块中包括所述同步写命令的实现逻辑、所述同步读命令的实现逻辑和所述同步回放命令的实现逻辑。

可选地，所述同步写命令的实现逻辑为：调用与所述当前键的数据类型相对应的原生写命令，以将所述当前键对应的键值写入所述源数据库；按照设定的数据类型，将所述当前键和所述当前键的第一版本信息写入所述源数据库。

可选地，所述同步读命令的实现逻辑为：分别调用与所述待同步键、所述待同步键对应的键值以及所述第一版本信息的数据类型相对应的原生读命令，以从所述源数据库获取指定数量的所述待同步键、所述待同步键对应的键值以及所述第一版本信息；返回所述待同步键、所述待同步键对应的键值以及所述第一版本信息。

可选地，所述客户端的同步写命令是在原生写命令中添加设定的前缀后得到的。

可选地，所述源数据库和所述目标数据库均为redis数据库，在所述redis数据库的module模块实现所述同步写命令、所述同步读命令和所述同步回放命令。

为实现上述目的，根据本发明实施例的另一方面，提供了一种数据同步系统。

本发明实施例的一种数据同步系统，包括：加载保存模块，用于接收来自于客户端的同步写命令，加载预定义的同步模块，以按照所述同步模块中同步写命令的实现逻辑，将所述同步写命令中的当前键，以及用于表示所述当前键在源数据库的更新时间的第一版本信息保存至所述源数据库；调用获取模块，用于调用所述同步模块的同步读命令，以从所述源数据库中获取待同步数据，以及与所述待同步数据的待同步键相对应的第一版本信息；其中，所述待同步键包括至少一个所述当前键；调用写入模块，用于调用所述同步模块的同步回放命令，以获取用于表示所述待同步键在目标数据库的更新时间的第二版本信息，若所述待同步键的第一版本信息表示的更新时间晚于所述第二版本信息表示的更新时间，则将所述待同步数据写入所述目标数据库。

可选地，所述第一版本信息和所述第二版本信息为全局递增的版本号；所述系统还包括：比较确定模块，用于比较所述第一版本信息与所述第二版本信息的大小，以确定所述待同步键在所述源数据库和所述目标数据库的更新时间早晚。

可选地，所述系统还包括：同步实现模块：自定义实现所述同步模块；其中，所述同步模块中包括所述同步写命令的实现逻辑、所述同步读命令的实现逻辑和所述同步回放命令的实现逻辑。

为实现上述目的，根据本发明实施例的再一方面，提供了一种电子设备。

本发明实施例的一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的一种数据同步方法。

为实现上述目的，根据本发明实施例的再一方面，提供了一种计算机可读介质。

本发明实施例的一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例的一种数据同步方法。

上述发明中的一个实施例具有如下优点或有益效果：基于预定义的同步模块实现数据库的数据同步，无需改写数据库源码，可以跟随开源数据库版本进行升级；同步回放命令的实现逻辑中不会将待同步键写入目标数据库，避免了双向同步时的循环同步问题；通过设置全局递增的版本号，并比较待同步键在源数据库与在目标数据库的版本号大小，即可方便的获知待同步键在源数据库相比在目标数据库的更新时间早晚，以将源数据库的待同步数据同步到目标数据库；在定义同步模块时，实现了同步写命令、同步读命令和同步回放命令，后续调用这三个命令即可完成数据同步，方便进行批量数据的同步和回放，开发维护成本低；通过在原生命令中增加前缀的方式得到同步命令，实现简单，便于开发维护。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的数据同步方法的主要步骤的示意图；

图2是根据本发明实施例的数据同步方法的系统架构图；

图3是根据本发明实施例的数据同步方法的主要流程示意图；

图4是根据本发明实施例的数据同步系统的主要模块的示意图；

图5是本发明实施例可以应用于其中的示例性系统架构图；

图6是适用于来实现本发明实施例的电子设备的计算机装置的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本发明实施例的数据同步方法的主要步骤的示意图。如图1所示，本发明实施例的数据同步方法，主要包括如下步骤：

步骤S101：接收来自于客户端的同步写命令，加载预定义的同步模块，以按照所述同步模块中同步写命令的实现逻辑，将所述同步写命令中的当前键，以及用于表示所述当前键在源数据库的更新时间的第一版本信息保存至所述源数据库。预先实现同步模块，该模块中包括同步写命令的实现逻辑、同步读命令的实现逻辑和同步回放命令的实现逻辑。其中，同步写命令用于将当前键以及当前键对应的第一版本信息，按照设定数据类型写入源数据库。同步读命令用于统一获取待同步键、对应的键值和第一版本信息。同步回放命令用于获取待同步键在目标数据库的第二版本信息，并与第一版本信息比较，根据比较结果进行数据同步。

与源数据库相对应的客户端在原生写命令中添加设定的前缀，得到同步写命令，之后将同步写命令发送至源数据库。源数据库接收到来自于相应客户端的同步写命令后，加载同步模块，使其支持同步写命令、同步读命令和同步回放命令。源数据库加载同步模块完毕后，按照同步模块中同步写命令的实现逻辑，保存同步写命令中的当前键以及对应的第一版本信息。

步骤S102：调用所述同步模块的同步读命令，以从所述源数据库中获取待同步数据，以及与所述待同步数据的待同步键相对应的第一版本信息；其中，所述待同步键包括至少一个所述当前键。待同步数据包括待同步键以及待同步键对应的键值。通过调用同步读命令，从源数据库中获取指定数量的待同步键、待同步键对应的键值和第一版本信息。

步骤S103：调用所述同步模块的同步回放命令，以获取用于表示所述待同步键在目标数据库的更新时间的第二版本信息，若所述待同步键的第一版本信息表示的更新时间晚于所述第二版本信息表示的更新时间，则将所述待同步数据写入所述目标数据库。实施例中，第一版本信息和第二版本信息为全局递增的版本号，比如，待同步键的第一版本信息为4.0，待同步键的第二版本信息为3.0，说明待同步键在源数据库的更新时间晚于在目标数据库的更新时间。通过调用同步回放命令，获取待同步键在目标数据库的第二版本信息，之后比较第一版本信息与第二版本信息的大小，如果第一版本信息大于第二版本信息，则调用原生写命令，将待同步数据写入目标数据库。

图2是根据本发明实施例的数据同步方法的系统架构图。如图2所示，本发明实施例的数据同步方法，由源客户端、源数据库、同步提取代理节点、同步回放代理节点、目标数据库和目标客户端实现。具体实现原理为：

(1)源客户端在原生写命令中添加前缀，以将原生写命令改写为同步写命令，之后将同步写命令发送至源数据库。

(2)源数据库和目标数据库分别加载同步模块，以使数据库支持同步写命令、同步读命令和同步回放命令。源数据库在收到同步写命令后，执行同步写命令，以保存同步写命令中的当前键，以及当前键在源数据库的第一版本信息。实施例中，将当前键保存到源数据库的同步列表中。

(3)同步提取代理节点调用同步读命令，以从对接的源数据库中获取待同步数据，以及与待同步数据的待同步键相对应的第一版本信息。同步提取代理节点与同步回放代理节点之间建立有同步通道，以进行数据传输。

(4)同步回放代理节点从同步通道获取待同步数据和待同步键对应的第一版本信息，之后调用同步回放命令，以获取待同步键在目标数据库的第二版本信息，比较第一版本信息与第二版本信息的大小，在第一版本信息大于第二版本信息时，将待同步数据写入目标数据库。后续目标客户端可以通过原生读命令，从目标数据库获取待同步数据。

本发明实施例中的同步模块需预先定义实现，以便于作为数据库的外部扩展功能加载到数据库。在进行数据同步时，仅需开发同步模块，无需改动数据库源码，可跟随开源版本随时升级；方便进行批量数据同步和回放；由于同步回放命令不会将待同步键写入目标数据库的同步列表，故双向同步时不存在循环同步问题；开发维护成本低。实施例中，数据库为键值对(key-value)类型的数据库，比如为redis数据库。

实施例中的数据库数量可以大于2个，各数据库可以放置在异地机房。在进行数据同步时，可以选取其中任意一个数据库作为源数据库，其他数据库作为相应的目标数据库。

图3是根据本发明实施例的数据同步方法的主要流程示意图。如图3所示，本发明实施例的数据同步方法，主要包括如下步骤：

步骤S301：基于数据库的模块功能，自定义实现同步模块。redis 4.0及以上版本均支持模块功能(module)，使得用户可以根据自身需求对redis数据库进行功能性扩展。实施例中，可以将要扩展的功能通过同步模块实现。该同步模块的具体实现为：新增与原生写命令对应的同步写命令，新增同步读命令，以及与原生写命令对应的同步回放命令。比如原生set命令对应的同步写命令为sync.set命令，对应的同步回放命令为repl.set命令；同步读命令比如为sync.get命令。

其中，同步写命令，同步读命令、同步回放命令的实现逻辑如下：

(1)同步写命令的实现逻辑为：

(11)调用原生写命令。redis支持5种基本数据类型：string(字符串)，hash(哈希)，list(列表)，set(集合)和zset(有序集合)，每种数据类型具有相对应的原生写命令。实施例中，通过调用原生写命令，将原生写命令的当前键和对应的键值写入到源数据库中。以string类型的set命令为例，调用set k1 v1后，会将k1，v1记录到redis数据库中。

(12)将原生写命令中的当前键通过rpush命令添加到同步列表中。其中，rpush命令用于将一个或多个值插入到列表的尾部(最右边)。需要注意的是，可以根据需求自定义设置写入源数据库的当前键的数据类型。由于列表的有序性，便于数据的写入、读取，故实施例中以列表的形式将当前键写入源数据库。

(13)将原生写命令中的当前键对应的第一版本信息，以字符串类型或者有序集合类型写入源数据库。优选的，版本信息可以是全局递增的版本号。实施例中，除版本号外，还可以使用当前时间戳作为当前键的版本信息，该当前时间戳的取值为源数据库对应客户端(即源客户端)的系统时间。

(2)同步读命令的实现逻辑为：

(21)执行lrange命令从同步列表中获取指定数量的待同步键。实施例中，使用lrange命令从同步列表中获取一个或者多个当前键作为待同步键。

(22)调用原生读命令获取待同步键对应的键值。每种数据类型也具有相对应的原生读命令。以string类型为例，可以调用原生get命令获取待同步键对应的键值。

(23)调用原生读命令从源数据库中获取待同步键对应的第一版本信息。若为字符串类型，则调用原生get命令获取待同步键对应的第一版本信息；若为有序集合类型，则调用原生zrange命令获取待同步键对应的第一版本信息。

(24)返回待同步键、待同步键对应的键值和第一版本信息。

(3)同步回放命令的实现逻辑为：

(31)获取待同步键对应的第一版本信息V1，以及待同步键在目标数据库的第二版本信息V2，判断第一版本信息V1与第二版本信息V2的大小，如果第一版本信息V1＞第二版本信息V2，则执行(32)；否则，直接返回。如果第一版本信息V1＞第二版本信息V2，说明第一版本信息V1对应的源数据库是更新后的，需要更新第二版本信息V2对应的目标数据库。如果第一版本信息V1＜第二版本信息V2，说明第二版本信息V2对应的目标数据库已经更新，无需再对该目标数据库做处理。实施例中，除版本号外，还可以使用当前时间戳作为待同步键的第二版本信息，该当前时间戳的取值为目标数据库对应客户端(即目标客户端)的系统时间。

(32)调用原生写命令。调用当前数据类型对应的原生写命令，比如当前数据类型为string类型，则调用原生set命令。该步骤完成后，会将待同步键和对应的键值写入到目标数据库中，整个数据同步过程完成。实施例中，每个数据库对应一个同步列表，由于同步回放命令不会将待同步键写入目标数据库的同步列表，所以在将目标数据库的数据反向同步到源数据库时，不会从同步列表中获取到该待同步键，故在无需增加数据库实例标识或者其他标识等特别处理的前提下，就可以避免双向同步时的循环同步问题。

步骤S302：源客户端在原生写命令中添加设定的前缀，得到同步写命令，将同步写命令发送至源数据库。在源客户端将需要进行同步的原生写命令进行改写。假设sync.为改写后的同步写命令的前缀，以set命令为例，通过上述步骤可以将set命令改写为sync.set命令。

set命令的基本语法：redis>set key value，则改写后得到的sync.set命令的基本语法为：redis>sync.set key value。

步骤S303：源数据库加载同步模块，以按照同步模块中同步写命令的实现逻辑，执行同步写命令。源数据库通过执行同步写命令，将原生写命令中的当前键和对应的键值写入源数据库，将当前键添加到源数据库的同步列表，以及将当前键对应的第一版本信息以字符串类型或者有序集合类型写入源数据库。

步骤S304：同步提取代理节点调用同步模块的同步读命令，以从源数据库中获取待同步数据和待同步键对应的第一版本信息。实施例中，所述待同步数据包括待同步键和待同步键对应的键值。同步提取代理节点按照同步模块中同步读命令的实现逻辑，执行同步读命令，以从同步列表中获取待同步键，获取待同步键、待同步键对应的键值和第一版本信息。

步骤S305：目标数据库加载同步模块。实施例中并不限定该步骤的执行顺序，其在步骤S301之后，以及步骤S306之前执行即可。

步骤S306：同步回放代理节点从同步通道获取待同步数据，之后调用同步模块的同步回放命令，以将待同步数据写入目标数据库。其中，同步通道本质为用于数据传输的TCP连接，可以复用消息系统的消息通道。同步回放代理节点按照同步模块中同步回放命令的实现逻辑，将待同步键、对应的键值和版本信息作为输入参数，从源数据库获取序列化后的信息，在同步回放代理节点反序列化即可得到第一版本信息V1；之后再获取待同步键在目标数据库的第二版本信息V2，比较第一版本信息V1与第二版本信息V2的大小，若第一版本信息V1＞第二版本信息V2，则将待同步数据写入目标数据库。若第一版本信息V1＜第二版本信息V2，则不做处理。

通过本发明实施例的数据同步方法可以看出，基于预定义的同步模块实现数据库的数据同步，无需改写数据库源码，可以跟随开源数据库版本进行升级；同步回放命令的实现逻辑中不会将待同步键写入目标数据库，避免了双向同步时的循环同步问题；通过设置全局递增的版本号，并比较待同步键在源数据库与在目标数据库的版本号大小，即可方便的获知待同步键在源数据库相比在目标数据库的更新时间早晚，以将源数据库的待同步数据同步到目标数据库；在定义同步模块时，实现了同步写命令、同步读命令和同步回放命令，后续调用这三个命令即可完成数据同步，方便进行批量数据的同步和回放，开发维护成本低；通过在原生命令中增加前缀的方式得到同步命令，实现简单，便于开发维护。

图4是根据本发明实施例的数据同步系统的主要模块的示意图。如图4所示，本发明实施例的数据同步系统400，主要包括：

加载保存模块401，用于接收来自于客户端的同步写命令，加载预定义的同步模块，以按照所述同步模块中同步写命令的实现逻辑，将所述同步写命令中的当前键，以及用于表示所述当前键在源数据库的更新时间的第一版本信息保存至所述源数据库。预先实现同步模块，该模块中包括同步写命令的实现逻辑、同步读命令的实现逻辑和同步回放命令的实现逻辑。其中，同步写命令用于将当前键以及当前键对应的第一版本信息，按照设定数据类型写入源数据库。同步读命令用于统一获取待同步键、对应的键值和第一版本信息。同步回放命令用于获取待同步键在目标数据库的第二版本信息，并与第一版本信息比较，根据比较结果进行数据同步。

与源数据库相对应的客户端在原生写命令中添加设定的前缀，得到同步写命令，之后将同步写命令发送至源数据库。源数据库接收到来自于相应客户端的同步写命令后，加载同步模块，使其支持同步写命令、同步读命令和同步回放命令。源数据库加载同步模块完毕后，按照同步模块中同步写命令的实现逻辑，保存同步写命令中的当前键以及对应的第一版本信息。

调用获取模块402，用于调用所述同步模块的同步读命令，以从所述源数据库中获取待同步数据，以及与所述待同步数据的待同步键相对应的第一版本信息；其中，所述待同步键包括至少一个所述当前键。实施例中，该模块在同步提取代理节点实现。待同步数据包括待同步键以及待同步键对应的键值。通过调用同步读命令，从源数据库中获取指定数量的待同步键、待同步键对应的键值和第一版本信息。

调用写入模块403，用于调用所述同步模块的同步回放命令，以获取用于表示所述待同步键在目标数据库的更新时间的第二版本信息，若所述待同步键的第一版本信息表示的更新时间晚于所述第二版本信息表示的更新时间，则将所述待同步数据写入所述目标数据库。实施例中，该模块在同步回放代理节点实现。第一版本信息和第二版本信息为全局递增的版本号，比如，待同步键的第一版本信息为4.0，待同步键的第二版本信息为3.0，说明待同步键在源数据库的更新时间晚于在目标数据库的更新时间。通过调用同步回放命令，获取待同步键在目标数据库的第二版本信息，之后比较第一版本信息与第二版本信息的大小，如果第一版本信息大于第二版本信息，则调用原生写命令，将待同步数据写入目标数据库。

另外，本发明实施例的数据同步系统400还可以包括：比较确定模块和同步实现模块(图4中未示出)。其中，比较确定模块，用于比较所述第一版本信息与所述第二版本信息的大小，以确定所述待同步键在所述源数据库和所述目标数据库的更新时间早晚。同步实现模块：自定义实现所述同步模块；其中，所述同步模块中包括所述同步写命令的实现逻辑、所述同步读命令的实现逻辑和所述同步回放命令的实现逻辑。

从以上描述可以看出，基于预定义的同步模块实现数据库的数据同步，无需改写数据库源码，可以跟随开源数据库版本进行升级；同步回放命令的实现逻辑中不会将待同步键写入目标数据库，避免了双向同步时的循环同步问题；通过设置全局递增的版本号，并比较待同步键在源数据库与在目标数据库的版本号大小，即可方便的获知待同步键在源数据库相比在目标数据库的更新时间早晚，以将源数据库的待同步数据同步到目标数据库；在定义同步模块时，实现了同步写命令、同步读命令和同步回放命令，后续调用这三个命令即可完成数据同步，方便进行批量数据的同步和回放，开发维护成本低；通过在原生命令中增加前缀的方式得到同步命令，实现简单，便于开发维护。

图5示出了可以应用本发明实施例的数据同步方法或数据同步系统的示例性系统架构500。

如图5所示，系统架构500可以包括终端设备501、502、503，网络504和服务器505。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备501、502、503通过网络504与服务器505交互，以接收或发送消息等。终端设备501、502、503上可以安装有各种通讯客户端应用。

终端设备501、502、503可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器505可以是提供各种服务的服务器，例如对用户利用终端设备501、502、503发送的同步写命令进行处理的后台管理服务器。后台管理服务器可以在接收到同步写命令后，加载同步模块，调用同步模块的命令，以进行数据同步等处理，并将处理结果(例如数据同步结果)反馈给终端设备。

需要说明的是，本申请实施例所提供的数据同步方法一般由服务器505执行，相应地，数据同步系统一般设置于服务器505中。

应该理解，图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

根据本发明的实施例，本发明还提供了一种电子设备和一种计算机可读介质。

本发明的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的一种数据同步方法。

本发明的计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例的一种数据同步方法。

下面参考图6，其示出了适用于来实现本发明实施例的电子设备的计算机系统600的结构示意图。图6示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有计算机系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本发明公开的实施例，上文主要步骤图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行主要步骤图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括加载保存模块、调用获取模块和调用写入模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，加载保存模块还可以被描述为“接收来自于客户端的同步写命令，加载预定义的同步模块，以按照所述同步模块中同步写命令的实现逻辑，将所述同步写命令中的当前键，以及用于表示所述当前键在源数据库的更新时间的第一版本信息保存至所述源数据库的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：接收来自于客户端的同步写命令，加载预定义的同步模块，以按照所述同步模块中同步写命令的实现逻辑，将所述同步写命令中的当前键，以及用于表示所述当前键在源数据库的更新时间的第一版本信息保存至所述源数据库；调用所述同步模块的同步读命令，以从所述源数据库中获取待同步数据，以及与所述待同步数据的待同步键相对应的第一版本信息；其中，所述待同步键包括至少一个所述当前键；调用所述同步模块的同步回放命令，以获取用于表示所述待同步键在目标数据库的更新时间的第二版本信息，若所述待同步键的第一版本信息表示的更新时间晚于所述第二版本信息表示的更新时间，则将所述待同步数据写入所述目标数据库。

从以上描述可以看出，基于预定义的同步模块实现数据库的数据同步，无需改写数据库源码，可以跟随开源数据库版本进行升级；同步回放命令的实现逻辑中不会将待同步键写入目标数据库，避免了双向同步时的循环同步问题；通过设置全局递增的版本号，并比较待同步键在源数据库与在目标数据库的版本号大小，即可方便的获知待同步键在源数据库相比在目标数据库的更新时间早晚，以将源数据库的待同步数据同步到目标数据库；在定义同步模块时，实现了同步写命令、同步读命令和同步回放命令，后续调用这三个命令即可完成数据同步，方便进行批量数据的同步和回放，开发维护成本低；通过在原生命令中增加前缀的方式得到同步命令，实现简单，便于开发维护。

上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (12)

1.一种数据同步方法，其特征在于，包括：

接收来自于客户端的同步写命令，加载预定义的同步模块，以按照所述同步模块中同步写命令的实现逻辑，将所述同步写命令中的当前键，以及用于表示所述当前键在源数据库的更新时间的第一版本信息保存至所述源数据库；

调用所述同步模块的同步读命令，以从所述源数据库中获取待同步数据，以及与所述待同步数据的待同步键相对应的第一版本信息；其中，所述待同步键包括至少一个所述当前键；

调用所述同步模块的同步回放命令，以获取用于表示所述待同步键在目标数据库的更新时间的第二版本信息，若所述待同步键的第一版本信息表示的更新时间晚于所述第二版本信息表示的更新时间，则将所述待同步数据写入所述目标数据库。

2.根据权利要求1所述的方法，其特征在于，所述第一版本信息和所述第二版本信息为全局递增的版本号；

所述获取用于表示所述待同步键在目标数据库的更新时间的第二版本信息的步骤之后，还包括：

比较所述第一版本信息与所述第二版本信息的大小，以确定所述待同步键在所述源数据库和所述目标数据库的更新时间早晚。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

自定义实现所述同步模块；其中，所述同步模块中包括所述同步写命令的实现逻辑、所述同步读命令的实现逻辑和所述同步回放命令的实现逻辑。

4.根据权利要求3所述的方法，其特征在于，所述同步写命令的实现逻辑为：

调用与所述当前键的数据类型相对应的原生写命令，以将所述当前键对应的键值写入所述源数据库；

按照设定的数据类型，将所述当前键和所述当前键的第一版本信息写入所述源数据库。

5.根据权利要求3所述的方法，其特征在于，所述同步读命令的实现逻辑为：

分别调用与所述待同步键、所述待同步键对应的键值以及所述第一版本信息的数据类型相对应的原生读命令，以从所述源数据库获取指定数量的所述待同步键、所述待同步键对应的键值以及所述第一版本信息；

返回所述待同步键、所述待同步键对应的键值以及所述第一版本信息。

6.根据权利要求1所述的方法，其特征在于，所述客户端的同步写命令是在原生写命令中添加设定的前缀后得到的。

7.根据权利要求1-6的任一项所述的方法，其特征在于，所述源数据库和所述目标数据库均为redis数据库，在所述redis数据库的module模块实现所述同步写命令、所述同步读命令和所述同步回放命令。

8.一种数据同步系统，其特征在于，包括：

加载保存模块，用于接收来自于客户端的同步写命令，加载预定义的同步模块，以按照所述同步模块中同步写命令的实现逻辑，将所述同步写命令中的当前键，以及用于表示所述当前键在源数据库的更新时间的第一版本信息保存至所述源数据库；

调用获取模块，用于调用所述同步模块的同步读命令，以从所述源数据库中获取待同步数据，以及与所述待同步数据的待同步键相对应的第一版本信息；其中，所述待同步键包括至少一个所述当前键；

调用写入模块，用于调用所述同步模块的同步回放命令，以获取用于表示所述待同步键在目标数据库的更新时间的第二版本信息，若所述待同步键的第一版本信息表示的更新时间晚于所述第二版本信息表示的更新时间，则将所述待同步数据写入所述目标数据库。

9.根据权利要求8所述的系统，其特征在于，所述第一版本信息和所述第二版本信息为全局递增的版本号；所述系统还包括：比较确定模块，用于

比较所述第一版本信息与所述第二版本信息的大小，以确定所述待同步键在所述源数据库和所述目标数据库的更新时间早晚。

10.根据权利要求8所述的系统，其特征在于，所述系统还包括：同步实现模块：

自定义实现所述同步模块；其中，所述同步模块中包括所述同步写命令的实现逻辑、所述同步读命令的实现逻辑和所述同步回放命令的实现逻辑。

11.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。

12.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。

Images