CN111460034B - 一种数据库双向同步方法、同步单元及系统 - Google Patents

Abstract

本申请实施例示出一种数据库双向同步方法、同步单元及系统，所述同步单元，被配置为：响应于第一标识表征第一数据的来源是第二数据库，忽略所述第一数据；响应于第一标识表征第一数据的来源不是第二数据库，根据第一数据，生成第二标识，将所述第一数据和第二标识发送到第二数据库。本申请实施例，可以利用第一标识，确定第一数据的来源，当第一数据的来源是第二数据库时，将第一数据同步到第二数据库中，当第一数据的来源是第二数据库时，则忽略第一数据。本申请实施例实现简单，不需要修改数据库源码，通过同步单元即可执行，高效防止回环问题的发生。

Description

一种数据库双向同步方法、同步单元及系统

技术领域

本发明涉及软件技术领域，特别涉及一种数据库双向同步方法、同步单元及系统。

背景技术

目前互联网迅速发展，各公司的业务也都在逐步扩大，业务的稳定性备受关注。很多公司都考虑做异地多活，这样当一个机房出现故障，业务可以迅速切换到另外的机房正常工作。而异地多活的设计中涉及流量的切分、数据同步等核心部分。由于跨机房网络波动与延迟，两个机房的业务都只写本机房的数据库，并且数据需要双向同步。

但是，数据库双向同步时经常会出现以下情况：第一数据库将数据库中的数据同步到第二数据库，随后第二数据库将其内部数据同步到第一数据库，但是第二数据库的数据中经常存在由第一数据库同步得到的数据，这样就会出现，同一数据被二次同步，造成数据库同步的回环问题。

发明内容

基于上述技术问题，本发明的发明目的在于提供一种数据库双向同步方法、同步单元及系统。

本申请实施例第一方面示出一种数据库双向同步系统，包括第一数据库、同步单元和第二数据库，所述第一数据库和第二数据库通过所述同步单元连接；

所述第一数据库，被配置为：响应于接收第一数据和第一标识，发送所述第一数据和第一标识到同步单元，其中，所述第一标识用于表征第一数据的来源；

所述同步单元，被配置为：响应于第一标识表征第一数据的来源是第二数据库，忽略所述第一数据；

响应于第一标识表征第一数据的来源不是第二数据库，根据第一数据，生成第二标识，将所述第一数据和第二标识发送到第二数据库。

本申请实施例第二方面示出一种同步单元，被配置为：

响应于第一标识表征第一数据的来源是第二数据库，忽略所述第一数据；

响应于第一标识表征第一数据的来源不是第二数据库，根据第一数据，生成第二标识，将所述第一数据和第二标识发送到第二数据库。

本申请实施例第三方面示出一种数据库双向同步方法，应用于同步单元，包括：

响应于第一标识表征第一数据的来源是第二数据库，忽略所述第一数据；

响应于第一标识表征第一数据的来源不是第二数据库，根据第一数据，生成第二标识，将所述第一数据和第二标识发送到第二数据库。

由以上技术方案可以看出，本申请实施例示出一种数据库双向同步方法、同步单元及系统，所述同步单元，被配置为：响应于第一标识表征第一数据的来源是第二数据库，忽略所述第一数据；响应于第一标识表征第一数据的来源不是第二数据库，根据第一数据，生成第二标识，将所述第一数据和第二标识发送到第二数据库。本申请实施例，可以利用第一标识，确定第一数据的来源，当第一数据的来源是第二数据库时，将第一数据同步到第二数据库中，当第一数据的来源是第二数据库时，则忽略第一数据。本申请实施例实现简单，不需要修改数据库源码，通过同步单元即可执行，高效防止回环问题的发生。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1中示例性示出了根据实施例中的数据库双向同步系统的结构示意图；

图2中示例性示出了根据实施例中的一种数据库双向同步方法的流程图。

具体实施方式

为使本申请示例性实施例的目的、技术方案和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施例中的技术方案进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

现有技术中，数据库双向同步时经常会出现以下情况：第一数据库将数据库中的数据同步到第二数据库，随后第二数据库将其内部数据同步到第一数据库，但是第二数据库的数据中经常包括由第一数据库同步得到的数据，这样就会出现，同一数据被二次同步，造成数据库同步的回环问题，最终导致资源浪费。

基于上述技术问题，本申请示出第一方面示出一种数据库双向同步系统，如图1所示，包括第一数据库、同步单元和第二数据库。

本申请实施例中同步单元和数据库之间的数据通过模拟从节点的方式进行传送。具体的，同步单元模拟第一数据库的从节点，当第一数据库中写入数据时，将写入的数据发送到同步单元。同步单元还模拟第二数据库的从节点，当第二数据库中写入数据时，将写入的数据发送到同步单元。

本申请实施例中的所述第一数据库和所述第二数据库通过所述同步单元元连接。具体的，所述同步单元负责将第一数据库的数据同步到第二数据库，以及负责将第二数据库的数据同步到第一数据库中。本申请实施例第一数据库和第二数据库通过同步单元的同步过程进行详细说明，具体参见如下内容：

所述第一数据库，被配置为：响应于接收第一数据和第一标识，发送所述第一数据和第一标识到同步单元，其中，所述第一标识用于表征第一数据的来源；

需要说明的是，本申请实施例中，当第一数据的数据来源为第二数据库，即第一数据由第二数据库同步得到时，不再需要将第一数据再次同步给第二数据库，这样可以避免造成数据库同步的回环问题。当第一数据的数据来源为其他数据库，此时需要将第一数据同步给第二数据库，进而实现数据库的双向同步。因此，由于第一数据的来源不同，处理方式不同，所以在同步单元接收到第一数据库发送的第一数据后，需要确认第一数据的数据来源。

本申请实施例，利用第一标识确定第一数据的来源。所述第一标识是根据第三KEY值生成的，所述第三KEY值包括预设字符串，以及根据数据生成的第一MD5值和第四KEY值。

举例说明：所述第一标识的生成过程：数据为set name lxp，根据所述数据，确定所述第四KEY值为name，所述第一MD5值位利用数据计算MD5值，确定为MD5-1。需要说明的是，数据库均为Redis(Remote Dictionary Server远程字典服务)数据库，Redis数据库是一种高性能Key-value数据库，常用于异地多活设计中，redis数据库中的数据为KEY-value形式。所以，当数据为set name Ixp时，所述第四KEY值为name。另外，MD5值是根据MD5信息摘要算法确定的，由于实际第一MD5值不便撰写，这里用MD5-1简略替代。因此由预设字符串、第四KEY值和第一MD5值组成的第三KEY值，为ignore_name_MD5-1。根据第三KEY值，生成第一标识，第一标识可以为setex ignore_name_MD5-1601。本申请实施例中，所述预设字符串可以为ignore，当然，也可以为其他不与KEY值重复的其他字符串。

在本申请实施例中，所述第一标识和第一数据均是以pipeline(线性通信模型)的方式发送到第一数据库。

在一些实施例中，所述同步单元，被配置为：按照以下步骤执行判断第一标识表征第一数据的来源是否是第二数据库：

解析所述第一标识，得到对应的第一KEY值。

当同步单元接收到第一标识，随后解析得到对应的第一KEY值。如果第一标识为setex ignore_name_MD5-1601，解析后，第一标识对应的第一KEY值为ignore_name_MD5-1。

将所述第一标识对应的第一KEY值，存储在队列中，所述队列用于存储包括预设字符串的第一KEY值。

根据所述第一数据，生成第一数据对应的第二KEY值，本申请实施例中的所有的KEY值结构均相同。举例说明第二KEY值的生成过程：当第一数据为set name lxp，第二KEY值包括预设字符串、根据第一数据生成的MD5值和第一数据的KEY值，最终第二KEY值为ignore_name_MD5-1。

本申请实施例，将第二KEY值和存储在队列中第一KEY值相比较，如果相同，则说明第二KEY值对应的第一数据为由第二数据库同步的数据，如果不相同，则说明第二KEY值对应的第一数据为由其他数据库同步的数据。具体如下：

响应于所述队列中存在与所述第二KEY值相同的第一KEY值，则确定第一标识表征第一数据的来源是第二数据库；

响应于所述队列中不存在与所述第二KEY值相同的第一KEY值，则确定第一标识表征第一数据的来源不是第二数据库。

如果第二KEY值与所述队列中的任一第一KEY值均不相同，则第二KEY值对应的第一数据并非由第二数据库同步得到。为了加强识别效果，本申请实施例中具有识别功能的KEY值，均设置有MD5值，例如第一标识，这样可以避免KEY值的重复，避免识别失败。

所述同步单元，还被配置为：响应于第一标识表征第一数据的来源是第二数据库，忽略所述第一数据；如果当第一数据的来源是第二数据库，则不再将第一数据同步到第二数据库，这样就可以避免数据库同步回环的问题。

响应于第一标识表征第一数据的来源不是第二数据库，根据第一数据，生成第二标识，将所述第一数据和第二标识发送到第二数据库。如果当第一数据的来源不是第二数据库，则可以将该第一数据同步到第二数据库中。首先同步单元根据第一数据，生成第二标识，随后，将第一数据和第二标识一同发送到第二数据库。所述第二标识和第一标识的作用相同，为了避免与第二标识对应的数据再次同步到第一数据库。

举例说明，本申请实施例双向同步的过程：响应于第一数据库中写入第一数据和第一标识，第一数据为set name lxp，第一标识为setex ignore_name_MD5-1601，第一数据库将第一数据和第一标识发送到同步单元。同步单元将第一标识解析得到第一KEY值，并存储在队列中，另外根据第一数据生成第二KEY值，第一标识对应的第一KEY值为ignore_name_MD5-1，第一数据生成的第二KEY值为ignore_name_MD5-1。由于第二KEY值与队列中的第一KEY值相同，所以第一数据是由第二数据库同步而来。

又如，响应于第一数据库中写入第一数据和第一标识，第一数据为set name who，第一标识为setex ignore_name_MD5-1601，第一数据库将第一数据和第一标识发送到同步单元。同步单元将第一标识解析得到第一KEY值，并存储在队列中，另外根据第一数据生成第二KEY值，第一标识对应的第一KEY值为ignore_name_MD5-1，第一数据生成的第二KEY值为ignore_name_MD5-2。由于第二KEY值与队列中的第一KEY值不同，所以第一数据不是由第二数据库同步而来，需要将第一数据set name who同步到第二数据库中。

在一些实施例中，所述同步单元，还用于在预设时长后删除所述队列中的第一标识对应的第一KEY值。

需要说明的是，所述第一标识还用于指示在预设时长后删除所述队列中的第一KEY值。由于存储在队列中的第一KEY值只是为了用于判断第一数据的来源，所以可以在预设时长后对其进行删除，节省容量。例如，第一标识可以为setex ignore_name_MD5-1601，此时队列中的第一KEY值ignore_name_MD5-1，在60s后被删除，需要说明的是，第一标识中的value值可以任意设置，在该第一KEY值中value值为1。

本申请示出第二方面示出一种同步单元，响应于第一标识表征第一数据的来源是第二数据库，忽略所述第一数据；

响应于第一标识表征第一数据的来源不是第二数据库，根据第一数据，生成第二标识，将所述第一数据和第二标识发送到第二数据库。

在一些实施例中，判断第一标识表征第一数据的来源是否是第二数据库的步骤包括：

解析所述第一标识，得到对应的第一KEY值；

将所述第一标识对应的第一KEY值，存储在队列中；

根据所述第一数据，生成第一数据对应的第二KEY值；

响应于所述队列中存在与所述第二KEY值相同的第一KEY值，则确定第一标识表征第一数据的来源是第二数据库；

响应于所述队列中不存在与所述第二KEY值相同的第一KEY值，则确定第一标识表征第一数据的来源不是第二数据库。

在一些实施例中，同步单元还被配置为在预设时长后删除所述队列中的第一标识对应的第一KEY值。

本申请示出第三方面示出一种数据库双向同步方法，应用于同步单元，如图2所示，包括：

S100、响应于第一标识表征第一数据的来源是第二数据库，忽略所述第一数据。

S200、响应于第一标识表征第一数据的来源不是第二数据库，根据第一数据，生成第二标识，将所述第一数据和第二标识发送到第二数据库。

在一些实施例中，判断第一标识表征第一数据的来源是否是第二数据库的步骤包括：

解析所述第一标识，得到对应的第一KEY值；

将所述第一标识对应的第一KEY值，存储在队列中；

根据所述第一数据，生成第一数据对应的第二KEY值；

响应于所述队列中存在与所述第二KEY值相同的第一KEY值，则确定第一标识表征第一数据的来源是第二数据库；

响应于所述队列中不存在与所述第二KEY值相同的第一KEY值，则确定第一标识表征第一数据的来源不是第二数据库。

在一些实施例中，在预设时长后删除所述队列中的第一标识对应的第一KEY值。

由以上技术方案可以看出，本申请实施例示出一种数据库双向同步方法、同步单元及系统，本申请实施例示出的技术方案中，所述系统包括：第一数据库、同步单元和第二数据库，所述第一数据库和第二数据库通过所述同步单元连接；所述第一数据库，被配置为：响应于接收第一数据和第一标识，发送所述第一数据和第一标识到同步单元，其中，所述第一标识用于表征第一数据的来源；所述同步单元，被配置为：响应于第一标识表征第一数据的来源是第二数据库，忽略所述第一数据；响应于第一标识表征第一数据的来源不是第二数据库，根据第一数据，生成第二标识，将所述第一数据和第二标识发送到第二数据库。本申请实施例，可以利用第一标识，确定第一数据的来源，当第一数据的来源是第二数据库时，将第一数据同步到第二数据库中，当第一数据的来源是第二数据库时，则忽略第一数据。本申请实施例实现简单，不需要修改数据库源码，通过同步单元即可执行，高效防止回环问题的发生。

基于本申请中示出的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整技术方案。

此外，术语″包括″和″具有″以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (6)

1.一种数据库双向同步系统，其特征在于，包括第一数据库、同步单元和第二数据库，所述第一数据库和第二数据库通过所述同步单元连接；

所述第一数据库，被配置为：响应于接收到第二数据库发送的第一数据和第一标识，发送第一数据和第一标识到同步单元，其中，所述第一标识为所述第二数据库向所述第一数据库发送第一数据时，在所述同步单元中生成的，所述第一标识包括第一KEY值，所述第一KEY值用于表征第二数据库发送给第一数据库的第一数据的来源，同时所述第一KEY值用于表征所述第一数据库从所述第二数据库接收到第一数据时第一数据的数据内容；

所述同步单元，被配置为：解析所述第一标识，得到所述第一标识对应的所述第一KEY值，并且将所述第一标识对应的第一KEY值，存储在队列中以作为同步单元生成的KEY值的比较对象，其中KEY值具有MD5值，数据内容被修改时，数据对应的MD5值同步更新，同时数据对应的KEY值同步更新；

根据所述第一数据库发送给所述第二数据库的第一数据，生成所述第一数据库发送给所述第二数据库的第一数据对应的第二KEY值，其中，所述第二KEY值用于表征从所述第一数据库向所述同步单元传输第一数据时第一数据的数据内容；

将所述第二KEY值和所述同步单元的队列中存储的KEY值进行比对；

如果所述队列中存在与所述第二KEY值相同的所述第一KEY值，忽略所述第一数据库发送给所述第二数据库的第一数据，其中，所述队列中存在与所述第二KEY值相同的所述第一KEY值时表征，第一数据已在所述第一数据库和所述第二数据库之间传递，并且所述第一数据库向所述第二数据库回传的第一数据的数据内容，与所述第二数据库向所述第一数据库发送的第一数据的数据内容相比未发生变化；

如果所述队列中不存在与所述第二KEY值相同的所述第一KEY值，根据所述第一数据库向所述第二数据库发送的第一数据，生成第二标识，将所述第一数据库向所述第二数据库发送的第一数据和第二标识发送到所述第二数据库，其中，所述队列中不存在与所述第二KEY值相同的所述第一KEY值时表征，第一数据已在所述第一数据库和所述第二数据库之间传递，并且所述第一数据库向所述第二数据库回传的第一数据的数据内容，与所述第二数据库向所述第一数据库发送的第一数据的数据内容相比已发生变化。

2.根据权利要求1所述的系统，其特征在于，所述同步单元，还用于在预设时长后删除所述队列中的第一标识对应的第一KEY值。

3.一种同步单元，其特征在于，被配置为：

从第一数据库接收第一数据和第一标识，其中，所述第一标识为第二数据库向所述第一数据库发送第一数据时，在所述同步单元中生成的，所述第一标识包括第一KEY值，所述第一KEY值用于表征第二数据库发送给第一数据库的第一数据的来源，同时所述第一KEY值用于表征所述第一数据库从所述第二数据库接收到第一数据时第一数据的数据内容；

解析所述第一标识，得到所述第一标识对应的所述第一KEY值，并且将所述第一标识对应的第一KEY值，存储在队列中以作为同步单元生成的KEY值的比较对象，其中KEY值具有MD5值，数据内容被修改时，数据对应的MD5值同步更新，同时数据对应的KEY值同步更新；

根据所述第一数据库发送给所述第二数据库的第一数据，生成所述第一数据库发送给所述第二数据库的第一数据对应的第二KEY值，其中，所述第二KEY值用于表征从所述第一数据库向所述同步单元传输第一数据时第一数据的数据内容；

将所述第二KEY值和所述同步单元的队列中存储的KEY值进行比对；

如果所述队列中存在与所述第二KEY值相同的所述第一KEY值，忽略所述第一数据库发送给所述第二数据库的第一数据，其中，所述队列中存在与所述第二KEY值相同的所述第一KEY值时表征，第一数据已在所述第一数据库和所述第二数据库之间传递，并且所述第一数据库向所述第二数据库回传的第一数据的数据内容，与所述第二数据库向所述第一数据库发送的第一数据的数据内容相比未发生变化；

如果所述队列中不存在与所述第二KEY值相同的所述第一KEY值，根据所述第一数据库向所述第二数据库发送的第一数据，生成第二标识，将所述第一数据库向所述第二数据库发送的第一数据和第二标识发送到所述第二数据库，其中，所述队列中不存在与所述第二KEY值相同的所述第一KEY值时表征，第一数据已在所述第一数据库和所述第二数据库之间传递，并且所述第一数据库向所述第二数据库回传的第一数据的数据内容，与所述第二数据库向所述第一数据库发送的第一数据的数据内容相比已发生变化。

4.根据权利要求3所述的同步单元，其特征在于，还被配置为在预设时长后删除所述队列中的第一标识对应的第一KEY值。

5.一种数据库双向同步方法，应用于同步单元，其特征在于，包括：

从第一数据库接收第一数据和第一标识，其中，所述第一标识为第二数据库向所述第一数据库发送第一数据时，在所述同步单元中生成的，所述第一标识包括第一KEY值，所述第一KEY值用于表征第二数据库发送给第一数据库的第一数据的来源，同时所述第一KEY值用于表征所述第一数据库从所述第二数据库接收到第一数据时第一数据的数据内容；

解析所述第一标识，得到所述第一标识对应的所述第一KEY值，并且将所述第一标识对应的第一KEY值，存储在队列中以作为同步单元生成的KEY值的比较对象，其中KEY值具有MD5值，数据内容被修改时，数据对应的MD5值同步更新，同时数据对应的KEY值同步更新；

根据所述第一数据库发送给所述第二数据库的第一数据，生成所述第一数据库发送给所述第二数据库的第一数据对应的第二KEY值，其中，所述第二KEY值用于表征从所述第一数据库向所述同步单元传输第一数据时第一数据的数据内容；

将所述第二KEY值和所述同步单元的队列中存储的KEY值进行比对；

如果所述队列中存在与所述第二KEY值相同的所述第一KEY值，忽略所述第一数据库发送给所述第二数据库的第一数据，其中，所述队列中存在与所述第二KEY值相同的所述第一KEY值时表征，第一数据已在所述第一数据库和所述第二数据库之间传递，并且所述第一数据库向所述第二数据库回传的第一数据的数据内容，与所述第二数据库向所述第一数据库发送的第一数据的数据内容相比未发生变化；

如果所述队列中不存在与所述第二KEY值相同的所述第一KEY值，根据所述第一数据库向所述第二数据库发送的第一数据，生成第二标识，将所述第一数据库向所述第二数据库发送的第一数据和第二标识发送到所述第二数据库，其中，所述队列中不存在与所述第二KEY值相同的所述第一KEY值时表征，第一数据已在所述第一数据库和所述第二数据库之间传递，并且所述第一数据库向所述第二数据库回传的第一数据的数据内容，与所述第二数据库向所述第一数据库发送的第一数据的数据内容相比已发生变化。

6.根据权利要求5所述的方法，其特征在于，在预设时长后删除所述队列中的第一标识对应的第一KEY值。