CN110188142A - 异地容灾数据同步方法、装置、服务器以及存储介质 - Google Patents

Abstract

本发明提供一种异地容灾数据同步方法、装置、服务器以及存储介质。该方法响应于主机数据库和备机数据库的数据不一致时，通过控制主机数据库和备机数据库之间不进行数据复制，对主机数据库进行全量备份，并设置备份标记，其中，备份标记包括所述备份标记的设置时间，应理解，备份标记之前的数据为已备份数据，将已备份数据同步给所述备机数据库，在主机和备机存在数据冲突或者数据不一致时，简单的数据复制过程无法使数据达到一致，而本方案通过设置备份标记，使服务器能够在不停止业务服务的同时完成主机和备机数据的全量同步，以免造成数据丢失，确保数据安全。

Description

异地容灾数据同步方法、装置、服务器以及存储介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种异地容灾数据同步方法、装置、服务器以及存储介质。

背景技术

随着信息技术的不断发展，数据信息成为越来越重要的生产生活资源，数据如何有效并安全的存储以及传输也受到越来越多的关注。

面对当前用户对数据安全的迫切要求，可建立一个异地容灾系统，现有技术中的异地容灾系统设置有主机服务器和异地的备机服务器，在不同的地域，构建一套或者多套相同的应用或者数据库设置于主机和备机服务器中，主机服务器实时向备机服务器进行数据复制，以使得在发生灾难后起到相互接管的作用。

然而，在某些场景下存在数据无法同步的问题，例如当备机的断电时间超过日志文件的最长保留时间后，导致主机数据不能完整同步给备机，或者，主机和备机之间的网络断开后以双主机状态运行后，造成了数据冲突，在上述场景中，通过现有技术中的数据复制无法实现数据的全量同步，可见，现有技术中的异地容灾系统容易带来主机备机数据一致性的问题，进而造成数据丢失，难以保证数据安全。

发明内容

本发明提供一种异地容灾数据同步方法、装置、服务器以及存储介质，在主机数据库和备机数据库的数据不一致时，保证数据完成全量同步，以免造成数据丢失，确保数据安全。

第一方面，本发明提供一种异地容灾数据同步方法，包括：

响应于主机数据库和备机数据库的数据不一致时，控制所述主机数据库和所述备机数据库之间不进行数据复制；

对所述主机数据库进行全量备份，并设置备份标记；所述备份标记包括所述备份标记的设置时间，所述备份标记之前的数据为已备份数据；

将所述已备份数据同步给所述备机数据库。

进一步地，在所述将所述已备份数据同步给所述备机数据库之后，所述方法还包括：

配置备机的数据复制权限；

根据所述数据复制权限，将所述备份标记之后的数据复制到所述备机数据库。

可选的，所述方法还包括：

检测备机的复制链路的断开时间，若所述复制链路的断开时间大于日志文件的保留时间，则所述主机数据库和备机数据库的数据不一致；

和/或，

检测备机在与主机断开连接后是否运行，若是，则所述主机数据库和备机数据库的数据不一致。

在一种具体的实现方式中，所述对所述主机数据库进行全量备份，并设置备份标记，包括：

按照预设置的时间间隔，对所述主机数据库进行周期性的全量备份，并在全量备份完成时设置备份标记。

进一步地，所述时间间隔小于所述日志文件的保留时间。

第二方面，本发明提供一种异地容灾数据同步装置，包括：

中断处理模块，用于响应于主机数据库和备机数据库的数据不一致时，控制所述主机数据库和所述备机数据库之间不进行数据复制；

备份处理模块，用于对所述主机数据库进行全量备份，并设置备份标记；所述备份标记包括所述备份标记的设置时间，所述备份标记之前的数据为已备份数据；

同步处理模块，用于将所述已备份数据同步给所述备机数据库。

进一步地，在所述将所述已备份数据同步给所述备机数据库之后，所述装置还包括：

配置模块，用于配置备机的数据复制权限；

发送模块，用于根据所述数据复制权限，将所述备份标记之后的数据复制到所述备机数据库。

可选的，所述装置还包括检测模块；

所述检测模块用于：

检测备机的复制链路的断开时间，若所述复制链路复制链路的断开时间大于日志文件的保留时间，则所述主机数据库和备机数据库的数据不一致；

和/或，

检测备机在与主机断开连接后是否运行，若是，则所述主机数据库和备机数据库的数据不一致。

在一种具体的实现方式中，所述备份处理模块具体用于：

按照预设置的时间间隔，对所述主机数据库进行周期性的全量备份，并在全量备份完成时设置备份标记。

进一步地，所述时间间隔小于所述日志文件的保留时间。

第三方面，本发明提供一种服务器，包括：存储器及处理器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如第一方面所述的异地容灾数据同步方法。

第四方面，本发明提供一种存储介质，包括：可读存储介质和计算机程序，所述计算机程序用于实现第一方面所述的异地容灾数据同步方法。

本发明实施例提供的异地容灾数据同步方法、装置、服务器以及存储介质，本方案响应于主机数据库和备机数据库的数据不一致时，通过停止向备机数据库进行数据复制，对主机数据库进行全量备份，并设置备份标记，其中，备份标记包括所述备份标记的设置时间，应理解，备份标记之前的数据为已备份数据，将已备份数据同步给所述备机数据库，在主机和备机存在数据冲突或者数据不一致时，简单的数据复制过程无法使数据达到一致，而本方案通过设置备份标记，使服务器能够在不停止业务服务的同时完成主机和备机数据的全量同步，以免造成数据丢失，确保数据安全。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种异地容灾数据同步方法实施例一的流程示意图；

图2为本发明实施例提供的一种异地容灾数据同步方法实施例二的流程示意图；

图3为本发明实施例提供的一种异地容灾数据同步方法实施例三的流程示意图；

图4为本发明实施例提供的一种异地容灾数据同步方法实施例四的流程示意图；

图5为本发明实施例提供的一种异地容灾数据同步装置实施例一的结构示意图；

图6为本发明实施例提供的一种异地容灾数据同步装置实施例二的结构示意图；

图7为本发明实施例提供的一种异地容灾数据同步装置实施例三的结构示意图；

图8为本发明一实施例提供的服务器的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本文中使用的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明的说明书中通篇提到的“一实施例”或“另一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一实施例中”或“本实施例中”未必一定指相同的实施例。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

现有技术中的异地容灾方案在某些场景下存在数据无法同步的问题，例如当备机的断电时间或者复制链路与主机断开的时间，超过主机的日志文件(如二进制日志Binlog)的最长保留时间后，导致主机数据不能完整同步给备机，或者，主机和备机之间的网络断开后以双主机状态运行，造成了数据冲突，通过现有技术进行数据复制无法使数据达到一致，容易造成数据丢失，难以保证数据安全。

针对现有技术中存在的问题，本方案通过对主机数据库设置备份标记，对备份标记之前的数据进行全量数据的备份，并对备份标记之后的数据通过数据复制同步给备机数据库，使服务器能够在不停止业务服务的同时完成主机和备机数据的全量同步，以免造成数据丢失，确保数据安全。

下面通过几个实施例对本方案的实现过程进行具体说明。

图1为本发明实施例提供的一种异地容灾数据同步方法实施例一的流程示意图，如图1所示，本方案应用于一种服务器，在实际应用场景中，应至少包括两个服务器，可分别设置为主机服务器和备机服务器，在下面的实施例中也称作主机和备机，该方法包括：

S101：响应于主机数据库和备机数据库的数据不一致时，控制主机数据库和备机数据库之间不进行数据复制。

在实际应用场景中，主机和备机通过实时的数据复制，保持数据库的一致性，而在某些特殊的场景下，会使主机和备机的数据库的数据不一致，例如，场景一：备机在断电状态或者主机备机之间网络断开状态下，备机未和主机连接，并且未连接时间超出了日志文件，例如Binlog文件，的最长保留时间，假设日志文件的最长保留时间为3天，而备机未和主机连接时间超过3天，则通过数据复制无法使主机的全量数据同步给备机，造成主机和备机的数据库的数据不一致；场景二：备机和主机之间的网络断开，则备机以主机状态运行，导致主机和备机以双主机状态运行，则备机和主机中存在了不同的运行数据，当主机和备机之间的网络恢复后，主机和备机的数据库存在数据冲突，则使二者的数据库的数据不一致。

在本步骤中，当检测出主机数据库和备机数据库的数据不一致时，控制主机数据库和备机数据库之间不进行数据复制，但主机仍可与外界进行数据交互，提供业务服务。

S102：对主机数据库进行全量备份，并设置备份标记。

其中，备份标记包括所述备份标记的设置时间，应理解，备份标记之前的数据为已备份数据，备份标记之后的数据为未备份数据。

在一种具体的实现方式中，可按照预设置的时间间隔，对主机数据库进行周期性的全量备份，并在全量备份完成时设置备份标记，应理解，为保证备份标记之后的未备份数据能够通过基于Binlog的数据复制操作发送给备机数据库，则预设置的时间间隔应小于日志文件所设置的保留时间。

可选的，主机通过数据库备份工具(例如XtraBackup)进行全量备份，并生成备份文件。

进一步地，主机按照预设的规则对生成的备份文件进行存储，可选的，存储一定期限内的备份文件，如一天内、一周内备份生成的备份文件；或者存储一定数量的备份文件，如最近2个周期备份生成的备份文件等。

S103：将已备份数据同步给所述备机数据库。

在本步骤中，将步骤S102通过全量备份生成的备份文件，即已备份数据，同步给备机数据库。

本实施例提供的一种异地容灾数据同步方法，响应于主机数据库和备机数据库的数据不一致时，通过停止向备机数据库进行数据复制，对主机数据库进行全量备份，并设置备份标记，其中，备份标记包括所述备份标记的设置时间，应理解，备份标记之前的数据为已备份数据，将已备份数据同步给所述备机数据库，在主机和备机存在数据冲突或者数据不一致时，简单的数据复制过程无法使数据达到一致，而本方案通过设置备份标记，使服务器能够在不停止业务服务的同时完成主机和备机数据的全量同步，以免造成数据丢失，确保数据安全。

在图1所示实施例的基础上，图2为本发明实施例提供的一种异地容灾数据同步方法实施例二的流程示意图，如图2所示，在步骤S103之后，该方法还包括：

S104：配置备机的数据复制权限。

在步骤S103完成后，重新开启数据复制，主机对备机进行数据复制权限的配置操作，也成为复制权限授权。

S105：根据数据复制权限，将备份标记之后的数据复制到备机数据库。

对于配置了数据复制权限的备机，主机可将备份标记之后的数据复制到备机数据库，可选的，可通过基于Binlog的数据复制操作将备份标记之后的数据发送给备机数据库。

本实施例中，通过配置备机的数据复制权限，并根据数据复制权限，将备份标记之后的数据复制到备机数据库，这样可以保证主机在不停止提供业务服务的同时，能够将备份之后产生的数据也全量同步给备机，以保证数据的完整同步。

在图1和图2所示实施例的基础上，本方案还包括如何检测主机数据库和备机数据库的数据是否一致，下面将通过两种具体的实现过程对此进行说明。

一、检测备机的复制链路的断开时间，若所述复制链路的断开时间大于日志文件的保留时间，则所述主机数据库和备机数据库的数据不一致。

在实际应用中，备机的复制链路存在断开的情况，例如，备机断电或者备机和主机之间的网络断开的情况，当备机再次与主机获得通信连接时，主机检测备机的复制链路的断开时间，若复制链路的断开时间大于日志文件的保留时间，例如日志文件的保留时间设置为3天，而复制链路的断开时间大于3天，则可以确定主机数据库与备机数据库的数据不一致。

和/或，

二、检测备机在与主机断开连接后是否运行，若是，则所述主机数据库和备机数据库的数据不一致。

应理解，若备机和主机之间的网络断开，则备机将以主机状态运行，导致主机和备机以双主机状态运行，那么，备机和主机中就可能存储了不同的运行数据，当主机和备机之间的网络恢复后，主机和备机的数据库存在数据冲突，则使二者的数据库的数据不一致。

具体的，在主机和备机之间的网络恢复后，主机可通过主机的运行时间和备机的运行时间判断主机和备机在网络断开后，是否有重复的运行时间，若存在运行时间重复，则表明，备机在于主机断开连接后以主机状态运行并产生了运行数据，即主机数据库与备机数据库的数据不一致。

在上述实施例的基础上，图3为本发明实施例提供的一种异地容灾数据同步方法实施例三的流程示意图，如图3所示，该方法包括：

S201：检测备机网络连接断开。

S202：停止向备机数据库进行数据复制。

通过主机的检测模块检测备机的网络连接断开，则停止向备机数据库进行数据复制

S203：检测备机网络连接恢复。

S204：判断是否存在双主机运行状态。

若否，则进入步骤S206；若否，则进入步骤S207。

S205：检测备机的复制链路断开时间超过日志文件的保留时间。

S206：恢复数据复制操作。

S207：发送主机数据库和备机数据库的数据不一致告警。

S208：将主机和备机数据库的数据同步。

步骤S208中包括步骤S101～S105中所述的任一项内容，在此不再赘述。

在一种具体的实现方式中，图4为本发明实施例提供的一种异地容灾数据同步方法实施例四的流程示意图，如图4所示，该方法包括：

S301：停止主机数据库向备机数据库进行数据复制。

S302：主机数据库向备机数据库进行全量数据同步。

S303：主机为备机配置复制权限授权。

S304：从全量数据同步的最后位置开始进行基于日志文件Binlog的数据复制操作。

S305：同步指定目录文件。

可选的，可通过快速增量备份工具(Remote Sync，Rsync)进行文件同步。

图5为本发明实施例提供的一种异地容灾数据同步装置实施例一的结构示意图，如图5所示，本实施例提供的异地容灾数据同步装置10包括：

中断处理模块11：用于响应于主机数据库和备机数据库的数据不一致时，停止向所述备机数据库进行数据复制；

备份处理模块12：用于对所述主机数据库进行全量备份，并设置备份标记；所述备份标记包括所述备份标记的设置时间，所述备份标记之前的数据为已备份数据；

同步处理模块13：用于将所述已备份数据同步给所述备机数据库。

本实施例提供的异地容灾数据同步装置10包括终端处理模块11、备份处理模块12和同步处理模块13，响应于主机数据库和备机数据库的数据不一致时，通过停止向备机数据库进行数据复制，对主机数据库进行全量备份，并设置备份标记，其中，备份标记包括所述备份标记的设置时间，应理解，备份标记之前的数据为已备份数据，将已备份数据同步给所述备机数据库，在主机和备机存在数据冲突或者数据不一致时，简单的数据复制过程无法使数据达到一致，而本方案通过设置备份标记，使服务器能够在不停止业务服务的同时完成主机和备机数据的全量同步，以免造成数据丢失，确保了数据安全。

在图5所示实施例的基础上，图6为本发明实施例提供的一种异地容灾数据同步装置实施例二的结构示意图，如图6所示，本实施例提供的异地容灾数据同步装置10还包括：

配置模块14：用于配置备机的数据复制权限；

发送模块15：用于根据所述数据复制权限，将所述备份标记之后的数据复制到所述备机数据库。

在图5和图6所示实施例的基础上，图7为本发明实施例提供的一种异地容灾数据同步装置实施例三的结构示意图，如图7所示，本实施例提供的异地容灾数据同步装置10还包括：检测模块16；

所述检测模块16用于：

检测备机的复制链路的断开时间，若所述复制链路复制链路的断开时间大于日志文件的保留时间，则所述主机数据库和备机数据库的数据不一致；

和/或，

检测备机在与主机断开连接后是否运行，若是，则所述主机数据库和备机数据库的数据不一致。

在一种具体的实现方式中，所述备份处理模块具体用于：

按照预设置的时间间隔，对所述主机数据库进行周期性的全量备份，并在全量备份完成时设置备份标记。

在一种具体的实现方式中，所述时间间隔小于所述日志文件的保留时间。

上述实施例提供的异地容灾数据同步装置，可以执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图8为本发明一实施例提供的服务器的硬件结构示意图。如图8所示，本实施例提供的服务器20可以包括：存储器201、处理器202；可选的还可以包括总线203。其中，总线203用于实现各元件之间的连接。

所述存储器201存储计算机执行指令；

所述处理器202执行所述存储器201存储的计算机执行指令，使得所述处理器执行前述任一项实施例提供的异地容灾数据同步方法。

其中，存储器201和处理器202之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可以通过一条或者多条通信总线或信号线实现电性连接，如可以通过总线203连接。存储器201中存储有实现数据访问控制方法的计算机执行指令，包括至少一个可以软件或固件的形式存储于存储器201中的软件功能模块，处理器202通过运行存储在存储器201内的软件程序以及模块，从而执行各种功能应用以及数据处理。

存储器201可以是，但不限于，随机存取存储器(Random Access Memory，简称：RAM)，只读存储器(Read Only Memory，简称：ROM)，可编程只读存储器(ProgrammableRead-Only Memory，简称：PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，简称：EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，简称：EEPROM)等。其中，存储器201用于存储程序，处理器202在接收到执行指令后，执行程序。进一步地，上述存储器201内的软件程序以及模块还可包括操作系统，其可包括各种用于管理系统任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动，并可与各种硬件或软件组件相互通信，从而提供其他软件组件的运行环境。

处理器202可以是一种集成电路芯片，具有信号的处理能力。上述的处理器202可以是通用处理器，包括中央处理器(Central Processing Unit，简称：CPU)、网络处理器(Network Processor，简称：NP)等。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。可以理解，图8的结构仅为示意，还可以包括比图8中所示更多或者更少的组件，或者具有与图8所示不同的配置。图8中所示的各组件可以采用硬件和/或软件实现。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机执行指令，计算机执行指令被处理器执行时可以实现上述任一方法实施例提供的异地容灾数据同步方法。

本实施例中的计算机可读存储介质可以是计算机能够存取的任何可用介质，或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备，可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如SSD)等。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (12)

1.一种异地容灾数据同步方法，其特征在于，包括：

响应于主机数据库和备机数据库的数据不一致时，控制所述主机数据库和所述备机数据库之间不进行数据复制；

对所述主机数据库进行全量备份，并设置备份标记；所述备份标记包括所述备份标记的设置时间，所述备份标记之前的数据为已备份数据；

将所述已备份数据同步给所述备机数据库。

2.根据权利要求1所述的方法，其特征在于，在所述将所述已备份数据同步给所述备机数据库之后，所述方法还包括：

配置备机的数据复制权限；

根据所述数据复制权限，将所述备份标记之后的数据复制到所述备机数据库。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

检测备机的复制链路的断开时间，若所述复制链路的断开时间大于日志文件的保留时间，则所述主机数据库和备机数据库的数据不一致；

和/或，

检测备机在与主机断开连接后是否运行，若是，则所述主机数据库和备机数据库的数据不一致。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述对所述主机数据库进行全量备份，并设置备份标记，包括：

按照预设置的时间间隔，对所述主机数据库进行周期性的全量备份，并在全量备份完成时设置备份标记。

5.根据权利要求1至3任一项所述的方法，其特征在于，所述时间间隔小于所述日志文件的保留时间。

6.一种异地容灾数据同步装置，其特征在于，包括：

中断处理模块，用于响应于主机数据库和备机数据库的数据不一致时，控制所述主机数据库和所述备机数据库之间不进行数据复制；

备份处理模块，用于对所述主机数据库进行全量备份，并设置备份标记；所述备份标记包括所述备份标记的设置时间，所述备份标记之前的数据为已备份数据；

同步处理模块，用于将所述已备份数据同步给所述备机数据库。

7.根据权利要求6所述的装置，其特征在于，在所述将所述已备份数据同步给所述备机数据库之后，所述装置还包括：

配置模块，用于配置备机的数据复制权限；

发送模块，用于根据所述数据复制权限，将所述备份标记之后的数据复制到所述备机数据库。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括检测模块；

所述检测模块用于：

检测备机的复制链路的断开时间，若所述复制链路复制链路的断开时间大于日志文件的保留时间，则所述主机数据库和备机数据库的数据不一致；

和/或，

检测备机在与主机断开连接后是否运行，若是，则所述主机数据库和备机数据库的数据不一致。

9.根据权利要求6至8任一项所述的装置，其特征在于，所述备份处理模块具体用于：

按照预设置的时间间隔，对所述主机数据库进行周期性的全量备份，并在全量备份完成时设置备份标记。

10.根据权利要求6至8任一项所述的装置，其特征在于，所述时间间隔小于所述日志文件的保留时间。

11.一种服务器，其特征在于，包括：存储器及处理器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如权利要求1至5任一项所述的异地容灾数据同步方法。

12.一种存储介质，其特征在于，包括：可读存储介质和计算机程序，所述计算机程序用于实现权利要求1至5任一项所述的异地容灾数据同步方法。