CN110489274A - 数据备份方法、装置及交互系统 - Google Patents

Abstract

本发明公开了一种数据备份方法、装置及数据库异地备份系统，其中，数据备份方法，适用于数据库异地备份系统的主库，主库与备库通过镜像通信进程通信，包括：接收备库的第一预写日志的第一标识；根据第一标识得到第二预写日志的第二标识相对于第一标识的标识增量，第二预设日志存储于主库；向备库发送标识增量对应的第二预写日志增量，使备库根据第二预设日志增量将主库中的第二预设日志增量对应的修改数据进行存储。主库中的相对于备库中预设日志增量发送至备库，主库与备库组成数据库异地备份系统的内部逻辑将修改的数据进行备份，不需要断开业务即可完成备份。

Description

数据备份方法、装置及交互系统

技术领域

本公开涉及大数据技术领域，具体涉及一种数据备份方法、装置及交互系统。

背景技术

现代社会中信息系统发挥着越来越重要的作用，大多的信息系统依赖于数据库系统来管理和存放数据。对系统的可靠性要求也越来越高，数据库的可靠性自然收到了很高的关注。现在数据库系统实现系统内部可靠，系统内备份已经是基本的要求。然而这只能一定程度上保证信息系统安全性，不能解决细信息系统数据的一些自然灾害威胁，如火灾、地震等对数据库可靠性的威胁。异地备份建立在不同的地理位置区域，可以解决一些发生在一定地理位置的数据库可靠性威胁。

对于数据库系统的数据可靠性现在大多采用可靠的存储系统方式实现。把数据存储到介质抽象一层，数据库系统不直接写数据到存储介质上，接一套存储系统的方式，存储系统提供存储功能并管理存储介质。数据的可靠性也就是靠存储系统保证，现在的存储系统在可靠性和性能上也越来越高。现在的云存储和分布式存储都有很多都可以保证数据的异地备份容灾。然而，外加一套这样的存储系统，会增加成本，而且增加了方案的复杂性。

通常，现有技术中采用本地主库基于一个时间段的状态通过数据库工具第一次全量导出数据，保存成文件格式。将文件拷贝到异地的远端或者FTP工具等上传到服务器上。远端下载到保存的文件后通过数据库自带的工具导入数据库，做到一次备份过程。随着时间主库的变化可以通过增量的方式导出变化的数据，当然也可全量。同样以文件方式传到异地的远端，再次导入。

然而，即便上述方式通过一定的自动化工具，或者是简单开发的工具可以自动的实现数据的导入导出功能。但数据的导入导出都不是轻量级的，而且为了保证数据的状态的一致性，需要经常离线备份，例如，通常按天或者小时级别的备份周期进行备份，在离线的备份的过程中，数据库服务必须关闭，导致在数据备份过程中数据库业务无法正常运行。

发明内容

有鉴于此，本公开实施例提供了一种数据备份方法、装置及数据库异地备份系统以解决现有技术中在数据备份过程中数据库业务无法正常运行的问题。

根据第一方面，本公开实施例提供了一种数据备份方法，适用于主库，所述主库与备库通过镜像通信进程通信，所述方法包括：接收所述备库的第一预写日志的第一标识；根据所述第一标识得到第二预写日志的第二标识相对于所述第一标识的标识增量，所述第二预设日志存储于所述主库；向所述备库发送所述标识增量对应的第二预写日志增量，使所述备库根据所述第二预设日志增量将所述主库中的所述第二预设日志增量对应的修改数据进行存储。

可选地，所述向所述备库发送所述标识增量对应的第二预写日志增量包括：对所述第二预写日志增量进行加密；发送加密后的第二预写日志增量。

可选地，所述预写日志中包括至少一个日志数据组，所述向所述备库发送所述标识增量对应的第二预写日志增量包括：获取所述第二预写日志增量中的各个日志数据组的数据量和/或数据长度；根据所述数据量和/或数据长度对日志数据组进行合并；发送合并后的日志数据组。

可选地，在所述向所述备库发送所述标识增量对应的第二预写日志增量之后包括：监测所述第二预写日志中是否生成新的日志数据组；当所述第二预写日志中生成新的日志数据组时，向所述备库发送新的日志数据组。

根据第二方面，本公开实施例提供了一种数据备份方法，包括：适用于备库，所述备库与主库通过镜像通信进程通信；向所述主库发送第一预写日志的第一标识，所述第一标识用于使主库根据所述第一标识得到第二预写日志的第二标识相对于第一标识的标识增量，其中，第二预设日志存储于所述主库；接收所述主库发送的所述标识增量对应的第二预写日志增量；根据所述第二预写日志增量将所述主库中的与所述第二预写日志增量对应的修改数据存储至本端的存储器。

可选地，所述根据所述第二预写日志增量将所述主库中的与所述第二预写日志增量对应的修改数据存储至本端存储器包括：将所述第二预写日志增量合并至所述第一预写日志；根据合并后的预写日志对应的所述主库的修改数据存储至所述存储器。

根据第三方面，本公开实施例提供了一种数据备份装置，适用于主库，所述主库与备库通过镜像通信进程通信，所述装置包括：第一接收单元，用于接收所述备库的第一预写日志的第一标识；计算单元，用于根据所述第一标识得到第二预写日志的第二标识相对于所述第一标识的标识增量，所述第二预设日志存储于所述主库；第一发送单元，用于向所述备库发送所述标识增量对应的第二预写日志增量，使所述备库根据所述第二预设日志增量将所述主库中的所述第二预设日志增量对应的修改数据进行存储。

根据第四方面，本公开实施例提供了一种数据备份装置，适用于备库，所述主库与备库通过镜像通信进程通信，所述装置包括：第二发送单元，用于向所述主库发送第一预写日志的第一标识，所述第一标识用于使主库根据所述第一标识得到第二预写日志的第二标识相对于第一标识的标识增量，其中，第二预设日志存储于所述主库；第二接收单元，用于接收主库发送的所述标识增量对应的第二预写日志增量；存储单元，用于根据所述第二预写日志增量将所述主库中的与所述第二预写日志增量对应的修改数据存储至本端的存储器。

根据第五方面，本公开实施例提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行上述第一方面任意一项所述的数据备份方法或权利要求或上述第二方面任意一项所述的数据备份方法。

根据第六方面，本公开实施例提供了一种数据库异地备份系统，包括：上述第三方面和上述第四方面所述的数据备份装置。

本公开具有如下有益效果：

数据库异地备份系统中，在主库与备库镜像连接后，将主库中的相对于备库中预写日志增量发送至备库，备库可以根据主库中的预写日志备份与主库相同的修改数据的镜像数据，备库按照主库中的预写日志进行备份，可以实现热备份。备份过程为主库与备库组成数据库异地备份系统的内部逻辑，不需要断开业务即可完成备份，当主库由于一定的因素损坏后，还有备库上存在一份正确的数据，可以把数据库的访问切换到备库上保证系统的可服务性。

附图说明

为了更清楚地说明本公开具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了数据库异地备份系统示意图；

图2示出了本公开实施例的数据备份方法的流程图；

图3示出了本公开实施例的另一数据备份方法的流程图；

图4示出了本公开实施例的另一数据备份方法示意图

图5示出了本公开实施例的数据备份装置的示意图；

图6示出了本公开实施例的数据备份装置的示意图；

图7示出了本公开实施例的数据库异地备份系统交互流程示意图；

图8示出了本公开实施例提供的电子设备的硬件结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

本实施例提供的数据备份方法适用于数据库异地备份系统中的至少一个数据库，如图1所示，本申请实施例适用的备份数据库系统的架构图。图1所示的备份数据库系统100包括主库110和备库120。

主库110，可以为本地数据库，即数据库异地备份系统的主库，用于接收客户端发送的操作请求，并先在主库的预写日志(Write-Ahead Logging，WAL)中记录操作请求对应的事务，再根据操作请求修改主库中存储的数据，即修改主库中修改数据是在修改主库中WAL的记录之后，其中，WAL是作为一个文件段的集合，即WAL中存在多个日志数据组，每个日志数据组可以作为每次新数据修改时的修改记录。上述操作请求可以是写入数据请求或者删除数据请求，操作请求为写入数据请求时，主库可以根据写入数据请求向主库写数据，或者操作请求为删除请求时，主库可以根据删除请求删除主库中存储的数据。

备库120，可以为远端数据库，数据库异地备份系统的备库，用于为主库的备份数据提供存储空间。

具体的，如图2所示，数据备份方法适用于主库，具体的可以包括如下步骤：

S11.接收备库的第一WAL的第一标识。在本实施例中，在接收第一WAL的第一标识之前，需要建立主库和备库之间的通信，具体的，主库启动镜像进程(Mirror Daemon，MD)，所称MD负责监听镜像客户端的请求并和镜像客户端建立通信连接，备库可以作为镜像请求客户端(Client)，发出连接请求，与主库建立镜像通信进程(Mirror Peer，MP)。在本实施例中，所称、第一标识可以为第一WAL的ID，例如，当数据被第一次修改时，第一WAL产生一条修改记录，该修改记录的ID的可以为“0001A”，当数据第二修改时，第一WAL产生第二条修改记录，该修改记录的ID的可以为“0001B”，每次修改生成一条第一WAL的修改记录，并且，该具有次序性的ID用以标识第一WAL修改历程，在本实施例中，所接受到的第一WAL的第一标识为发送端即备库中最后一次数据修改时的第一WAL的修改记录的ID。

S12.根据第一标识得到第二WAL的第二标识相对于第一标识的标识增量。第二预设日志存储于主库。在主库接收到备库发送的第一标识后，可以对比第二WAL的第二标识相对于第一标识的增量，如存在标识增量，确定标识增量，例如，例如，接收到的第一WAL的ID即第一标识为“0001B”，而主库中第二WAL的ID即第二标识已经累计到“0001F”，则第二标识相对于第一标识的标识增量为：“0001C”-“0001F”。

S13.向备库发送标识增量对应的第二WAL增量，使备库根据第二预设日志增量将主库中的第二预设日志增量对应的修改数据进行存储。再确认标识增量后，例如标识增量为“0001C”-“0001F”，则主库的MP发送ID“0001C”-“0001F”对应的WAL，即，标识增量对应的第二WAL增量。备库根据主库通过连接进程发送过来的WAL记录通过数据库原有的逻辑即可以完成数据的存储。备库根据主库发送过来的增量的WAL即可以通过数据库原有的逻辑完成主库数据的同步。可以实现热备份。备份过程为主库与备库组成数据库异地备份系统的内部逻辑，不需要断开业务即可完成备份，当主库由于一定的因素损坏后，还有备库上存在一份正确的数据，可以把数据库的访问切换到备库上保证系统的可服务性。

在具体的实施例中，在完成主库中增量的WAL发送后，为实现热备份，使主库与备库中的数据尽量保持一致，在本实施例中，在步骤S13之后，当前主库与备库中的数据相同，在当主库接收到客户端再次发送的操作请求，请求写入数据或删除数据时，第二WAL记录操作请求对应的事务，即第二WAL生成了新的日志数据组即生成了新的日志记录，之后，再根据操作请求修改主库中存储的数据。此时，主库与备库中的数据出现不一致，因此，为了更好的保持主库与备库中的数据的一致性，在可选的实施例中，如图3所示，在步骤S13之后，还可以包括如下步骤：

S14.监测第二WAL中是否生成新的日志数据组。在本实施例中，可以检测第二WAL是否出现记录新的操作请求对应的事务而生成新的日志数据组，即是否存在第二WAL增量。当第二WAL存在增量时，进入步骤S15。

S15.备库发送新的日志数据组。在本实施例中，实时检测第二WAL，当第二WAL中生成新的日志数据组时，激活MP将生成的新的日志数据组同步至备库，以使得备库中的数据状态与主库中一致，无需断开业务即可完主库与备库的数据状态一致操作。

为保证数据以及WAL的传输安全，在本实施例中，MP发送时采用加密方式，即网络通信的数据都采用密文发送。具体的，对第二WAL记录进行加密；发送加密后的第二WAL。在备库收到加密的第二WAL后，对加密的第二WAL进行解密，以保证数据WAL的传输安全。进而保证主库与备库的数据的一致性。

为减少传输资源的浪费，增加传输效率，在可选的实施例中，WAL中包括至少一个日志数据组，即WAL是由多个日志记录组成，由于主库和备库之间传输的报文长度为预定的长度，在发送第二WAL的日志记录之前，可以对第二WAL中的各个日志数据组的数据长度进行检测，根据数据量和/或数据长度对第二WAL的日志数据组进行合并，具体的，可以根据报文的预定的长度确定第二WAL的日志数据组的合并的个数，即一个报文发送该报文能够承载的最大个数的第二WAL的日志数据组。

本公开实施例提供了一种数据备份方法，适用于数据库异地备份系统中的备库，具体的参见图4，在本实施例中数据备份方法可以包括如下步骤：

S21.向主库发送第一WAL的第一标识。其中，第一标识用于使主库根据第一标识得到第二WAL的第二标识相对于第一标识的标识增量，其中，第二预设日志存储于主库。在发送第一WAL的标识信息之前，需要建立主库和备库之间的通信，具体的，主库启动MD，所称MD负责监听镜像客户端的请求并和镜像客户端建立通信连接，备库可以作为镜像请求客户端，发出连接请求，与主库建立MP。在本实施例中，备库所发送的第一WAL的第一标识为备库中最新的第一WAL的ID，例如，备库中存在“0001A”和“0001B”，则发送的第一WAL的第一标识为“0001B”。

S22.接收主库发送的标识增量对应的第二WAL增量，具体的关于第二WAL的描述可以参见上述实施例中步骤S12-S13中主库发送第二WAL增量的描述。

S23.根据第二WAL增量将主库中的与第二WAL增量对应的修改数据存储至本端的存储器。在本实施例中，接收到第二WAL增量之后，存入本端的WAL，本端按照本端原有数据修改的逻辑将修改的数据持久化至本端存储器进行存储。

在主库与备库镜像连接后，将主库中的相对于备库中WAL增量发送至备库，备库可以根据主库中的WAL备份与主库相同的修改数据的镜像数据，备库将主库中的WAL增量合并至本端，备库按照本端的逻辑，对修改后的数据进行存储，可以实现热备份。备份过程为主库与备库组成数据库异地备份系统的内部逻辑，不需要断开业务即可完成备份，当主库由于一定的因素损坏后，还有备库上存在一份正确的数据，可以把数据库的访问切换到备库上保证系统的可服务性。

本公开实施例提供了一种数据备份装置，适用于主库，主库与备库通过镜像通信进程通信，如图5所示，该数据备份装置可以包括：

第一接收单元11，用于接收备库的第一WAL的第一标识；计算单元12，用于根据第一标识得到第二WAL的第二标识相对于第一标识的标识增量，第二WAL存储于主库；第一发送单元13，用于向备库发送标识增量对应的第二WAL增量，使备库根据第二预设日志增量将主库中的第二预设日志增量对应的修改数据进行存储。

本公开实施例提供了一种数据备份装置，适用于备库，主库与备库通过镜像通信进程通信，如图6所示，该数据备份装置可以包括：

第二发送单元21，用于向主库发送第一WAL的第一标识，第一标识用于使主库根据第一标识得到第二WAL的第二标识相对于第一标识的标识增量，其中，第二WAL存储于主库；第二接收单元22，用于接收主库发送的标识增量对应的第二WAL增量；存储单元23，用于根据第二WAL将主库中的第二WAL增量对应的修改数据存储至本端的存储器。

本公开实施例还提供了一种数据库异地备份系统，具体的，可以参见图7所示的数据库异地备份系统交互图，包括主库110和备库120，具体的主库和备库的描述可以参见上述实施例中关于主库和备库的描述。

主库与备库之间建立镜像通信连接，具体的，环境搭建的时候主库搭建的时候启动MD进程。备库作为Client和主库的MD进程通信，请求连接。建立一组主库与备库之间MP互相通信。

备库的MP主动上报本端的WAL的ID，例如：备库中的WAL存在ID为“0001A”和“0001B”的日志数据组，备库上报“0001B”。主库的MP根据备库上报的WAL的ID，向备库的MP发送主库相对于备库的WAL增量。根据需要发送的记录数据量及消息的长度设置合并发送记录以节省通信资源。当当前增量的记录被发送完成后，主库MP进入等待状态，当主库有新的记录时激活MP完成WAL主库到备库的同步。例如，主库中第二WAL的ID已经累计到“0001F”，主库的MP根据备库的MP主动上报WAL的ID“0001B”，发送“0001C～0001F”到备库，具体的，可以根据包围可容纳的长度，将“0001C”和“0001D”两条记录合并发送到备库。MP发送时采用加密方式，即网络通信的数据都采用密文发送。到了对端MP端接收到数据采用解密还原数内容。备库的MP接收主库发送的WAL增量并存入本端的WAL，由本端的原有逻辑持久化到存储器。即本端根据本端的WAL，将本端的WAL对应的修改数据持久化至存储器。

本公开实施例提供了了一种电子设备，该电子设备可以位于需要升级的BGP设备和/或BGP邻居设备，具体的可以参见图8，该电子设备可以包括处理器11和存储器12，其中处理器11和存储器12可以通过总线或者其他方式连接，图8中以通过总线连接为例。

处理器11可以为中央处理器(Central Processing Unit，CPU)。处理器11还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器12作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本公开实施例中的容器镜像的管理、使用或构建方法所对应的程序指令/模块。处理器11通过运行存储在存储器12中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的数据备份方法。

存储器12可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器11所创建的数据等。此外，存储器12可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器12可选包括相对于处理器11远程设置的存储器，这些远程存储器可以通过网络连接至处理器11。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

一个或者多个模块存储在存储器12中，当被处理器11执行时，执行上述方法实施例中的数据备份方法。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-StateDrive，SSD)等；存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本公开的实施例，但是本领域技术人员可以在不脱离本公开的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种数据备份方法，其特征在于，适用于主库，所述主库与备库通过镜像通信进程通信，所述方法包括：

接收所述备库的第一预写日志的第一标识；

根据所述第一标识得到第二预写日志的第二标识相对于所述第一标识的标识增量，所述第二预设日志存储于所述主库；

向所述备库发送所述标识增量对应的第二预写日志增量，使所述备库根据所述第二预设日志增量将所述主库中的所述第二预设日志增量对应的修改数据进行存储。

2.如权利要求1所述的数据备份方法，其特征在于，所述向所述备库发送所述标识增量对应的第二预写日志增量包括：

对所述第二预写日志增量进行加密；

发送加密后的第二预写日志增量。

3.如权利要求1所述的数据备份方法，其特征在于，所述预写日志中包括至少一个日志数据组，所述向所述备库发送所述标识增量对应的第二预写日志增量包括：

获取所述第二预写日志增量中的各个日志数据组的数据量和/或数据长度；

根据所述数据量和/或数据长度对日志数据组进行合并；

发送合并后的日志数据组。

4.如权利要求1所述的数据备份方法，其特征在于，在所述向所述备库发送所述标识增量对应的第二预写日志增量之后包括：

监测所述第二预写日志中是否生成新的日志数据组；

当所述第二预写日志中生成新的日志数据组时，向所述备库发送新的日志数据组。

5.一种数据备份方法，其特征在于，包括：适用于备库，所述备库与主库通过镜像通信进程通信；

向所述主库发送第一预写日志的第一标识，所述第一标识用于使主库根据所述第一标识得到第二预写日志的第二标识相对于第一标识的标识增量，其中，第二预设日志存储于所述主库；

接收所述主库发送的所述标识增量对应的第二预写日志增量；

根据所述第二预写日志增量将所述主库中的与所述第二预写日志增量对应的修改数据存储至本端的存储器。

6.如权利要求5所述的数据备份方法，其特征在于，所述根据所述第二预写日志增量将所述主库中的与所述第二预写日志增量对应的修改数据存储至本端存储器包括：

将所述第二预写日志增量合并至所述第一预写日志；

根据合并后的预写日志对应的所述主库的修改数据存储至所述存储器。

7.一种数据备份装置，其特征在于，适用于主库，所述主库与备库通过镜像通信进程通信，所述装置包括：

第一接收单元，用于接收所述备库的第一预写日志的第一标识；

计算单元，用于根据所述第一标识得到第二预写日志的第二标识相对于所述第一标识的标识增量，所述第二预设日志存储于所述主库；

第一发送单元，用于向所述备库发送所述标识增量对应的第二预写日志增量，使所述备库根据所述第二预设日志增量将所述主库中的所述第二预设日志增量对应的修改数据进行存储。

8.一种数据备份装置，其特征在于，适用于备库，所述主库与备库通过镜像通信进程通信，所述装置包括：

第二发送单元，用于向所述主库发送第一预写日志的第一标识，所述第一标识用于使主库根据所述第一标识得到第二预写日志的第二标识相对于第一标识的标识增量，其中，第二预设日志存储于所述主库；

第二接收单元，用于接收主库发送的所述标识增量对应的第二预写日志增量；

存储单元，用于根据所述第二预写日志增量将所述主库中的与所述第二预写日志增量对应的修改数据存储至本端的存储器。

9.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-4任意一项所述的数据备份方法或权利要求或5或6任意一项所述的数据备份方法。

10.一种数据库异地备份系统，其特征在于，包括：

权利要求7和权利要求8所述的数据备份装置。