CN106528330A - 一种数据备份方法、节点及数据备份系统 - Google Patents

Abstract

本发明实施例提供了一种数据备份方案，在该数据备份方案中，备份数据保护域中的节点接收至少两个数据保护域中的节点发送的第一版本数据，将第一版本数据进行校验操作得到第一校验数据，存储第一校验数据，接收至少两个数据保护域中的节点发送的压缩的差异数据，将第一校验数据与差异数据进行校验操作得到第二校验数据，存储第二校验数据；其中，差异数据表示第二版本数据与第一版本数据之间差异的数据，第二版本数据为第一版本数据修改后的数据。

Description

一种数据备份方法、节点及数据备份系统

技术领域

本发明涉及数据存储技术领域，尤其涉及一种数据备份方法、节点及数据备份系统。

背景技术

为了保障数据中心中数据的可靠性，通常数据中心的数据在多个数据中心以多副本的方式实现数据冗余，实现数据中心间的备份与容灾。

如图1所示，数据中心1中的数据有三个版本，分别为A1、A2和A3，其中，A1为第一版本数据，A2为A1修改后的数据，即第二版本数据，A3为A2修改后的数据，即第三版本数据。数据中心2中的数据有三个版本，分别为B1、B2和B3，其中，B1为第一版本数据，B2为B1修改后的数据，即第二版本数据，B3为B2修改后的数据，即第三版本数据。数据中心1分别将数据A1，A2和A3发送到数据中心3，数据中心2分别将数据B1，B2和B3发送到数据中心3，数据中心3将A1与B1异或(表示为A1XOR B1或A1⊕B1)得到校验数据P1，A2与B2异或得到校验数据P2，A3与B3异或得到校验数据P3。数据中心存储校验数据P1、P2和P3。为减少数据存储空间，数据中心3不再存储A1、A2、A3、B1、B2和B3。

当数据中心1发生故障，需要恢复数据A1，A2和A3时，通常数据中心2要将B1、B2和B3发送给数据中心3，数据中心3将P1与B1异或得到P1，将P2与B2异或得到P2，将P3与B3异或得到P3。数据中心3将A1、A2和A3发送给数据中心1。

上述操作过程，数据中心间需要传递大量的数据，消耗了数据中心间的带宽。

发明内容

第一方面，本发明实施例提供了一种数据备份方案，在该数据备份方案中，备份数据保护域中的节点接收至少两个数据保护域中的节点发送的第一版本数据，备份数据保护域中的节点将第一版本数据进行校验操作得到第一校验数据，备份数据保护域中的节点存储第一校验数据，备份数据保护域中的节点接收至少两个数据保护域中的节点发送的压缩的差异数据；其中，差异数据表示第二版本数据与第一版本数据之间差异的数据，第二版本数据为第一版本数据修改后的数据；备份数据保护域中的节点将第一校验数据与差异数据进行校验操作得到第二校验数据，备份数据保护域中的节点存储第二校验数据。其中，校验操作可以为异或操作或同或操作。为节省备份数据保护域中的节点的存储空间，备份数据保护域中的节点不存储第一版本数据和差异数据。数据被修改，通常只有部分数据被修改，也就是第一版本数据和第二版本数据，只有部分数据不同，大部分数据均相同，将第二版本数据与第一版本数据进行异或操作，得到差异数据，也可以将第二版本数据与第一版本数据进行同或操作，得到差异数据，差异数据是用来表征第二版本数据与第一版本之间差异的数据。通过异或操作，会得到大量全0数据，通过同或操作，会得到大量全1数据。这样，将差异数据进行压缩，会提高数据压缩率。

因此，数据保护域中的节点发送压缩的差异数据，可以减少数据保护域之间数据传输量，节省带宽。通常，数据保护域可以为数据中心，也可以为不同机架等，或其他可以进行故障隔离的域。

可选的，备份数据保护域中的节点生成第一元数据和第二元数据；第一元数据用于记录第一校验数据是由第一版本数据进行校验操作得到的；第二元数据用于记录第二校验数据是由第一校验数据与差异数据进行校验操作得到的。因此，根据第一元数据和第二元数据，方便查找对应的校验操作关系，以加快数据恢复操作。

第二方面，相应地，本发明实施例还提供了一种节点，作为备份数据保护域中的节点，用于实现第一方面各种实现方案。其中，备份数据保护域中的节点包括实现本发明实施例第一方面各种的实现方案的结构单元，或者，备份数据保护域中的节点包括接口和处理器以分别执行本发明实施例第一方面各种的实现方案。

相应地，本发明还提供了非易失性计算机可读存储介质和计算机程序产品，当本发明实施例提供的备份数据保护域中的节点的存储器加载非易失性计算机可读存储介质和计算机程序产品中包含的计算机指令，备份数据保护域中的节点的中央处理单元(Central Processing Unit，CPU)执行该计算机指令时，使备份数据保护域中的节点分别执行本发明实施例第一方面的各种可能实现方案。

附图说明

为了更清楚地说明现有技术和本发明实施例中的技术方案，下面将对现有技术和实施例描述中所需要使用的附图作简单地介绍。

图1为现有技术操作数据中心间数据备份的示意图；

图2为本发明实施例场景示意图；

图3为本发明实施例提供的节点结构示意图；

图4为本发明实施例提供的流程示意图；

图5为本发明实施例提供的数据备份示意图；

图6为本发明实施例提供的数据恢复流程示意图；

图7为本发明实施例提供的节点结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述。

如图2所示，在云环境下，数据中心是数据大集中而形成的集成IT应用环境，它是各种IT应用服务的提供中心，也是云的承载体。通常数据中心由计算设备、网络设备以及存储设备组成，也可以由包含存储功能的服务器以及网络组成。数据中心间通过网络通信。其中，网络用于数据中心内部以及数据中心间通信，具体地，数据中心之间可以通过局域网、城域网或广域网等连接。本发明实施例中，一种实施方式将数据中心的计算设备及存储设备的组合或服务器本身等作为节点，另一种可能的实现方式中，节点还可以指数据中心中运行的虚拟机，本发明对此不作限定。本发明实施例中的数据保护域可以为数据中心，但也可以由其他具有故障隔离功能的域，如不同的机架、服务器等，本发明对此不作限定。因此，数据保护域亦可称为故障域。

如图3所示，节点包含中央处理单元(Central Processing Unit,CPU)301、存储器302和接口303，存储器302中存储计算机指令，CPU301执行存储器302中的计算机指令以进行数据备份操作。另外，为节省CPU301的计算资源，现场可编程门阵列(FieldProgrammable Gate Array,FPGA)或其他硬件也可以用于执行本发明实施例中CPU全部操作，或者，FPGA或其他硬件与CPU分别用于执行本发明实施例CPU的部分操作，以实现本发明实施例描述的技术方案。为方便描述，本发明实施例统一描述为节点的处理器用于实现本发明实施例的技术方案。接口303与处理器进行通信，接口303具体可以为主机总线适配器(Host Bus Adapter,HBA)卡，高速外围组件互联(Peripheral Component InterconnectExpress,PCIE)接口卡、网络接口卡(Network Interface Card,NIC)等。

结合图2，数据保护域以数据中心为例，其中，数据中心3作为数据中心1和数据中心2的备份数据中心，在图4所示的本发明实施例，包括：

步骤401：数据中心3中的节点接收数据中心1和数据中心2中的节点发送的第一版本数据。

本发明实施例中，数据中心1中的节点发送的第一版本数据为A1，具体为00011，数据中心2中的节点发送的第一版本数据为B1，具体为11110。其中，第一版本可以为数据的初始版本，也可以为初始版本数据后面某一版本的数据，本发明实施例对此不作限定。例如数据中心1中的节点发送的第一版本数据为初始版本数据，而数据中心2中的节点发送的第一版本数据为初始版本数据修改后的某一版本数据(例如为初始版本数据B0修改后的数据)。数据中心3中的节点接收数据中心1和数据中心2中的节点发送的第一版本数据，可以为同时接收数据中心1和数据中心2中的节点发送的第一版本数据，也可以为不同时接收(即先后接收)数据中心1和数据中心2中的节点发送的第一版本数据。

步骤402：数据中心3中的节点将第一版本数据进行校验操作得到第一校验数据P1。

数据中心3中的节点将A1与B1进行校验得到第一校验数据。其中，校验操作可以为异或操作或同或操作。本发明实施例以异或操作为例，A1与B1异或操作得到第一校验数据P1，即00011 XOR 11110＝11101，即P1为11101。可选的，数据中心3中的节点生成第一元数据，记录P1是由A1与B1进行校验操作得到的。

步骤403：数据中心3中的节点存储第一校验数据P1。

本发明实施例中，数据中心3中的节点只存储第一校验数据P1，不存储A1与B1。从而节省节点的存储空间。

步骤404：数据中心3中的节点接收数据中心1和数据中心2中的节点发送的压缩的第一差异数据。

数据中心1中的节点将第一版本数据A1修改为第二版本数据A2，具体为00010，数据中心2中的节点将第一版本数据B1修改为第二版本数据B2，具体为11111。本发明实施例中，第二版本数据为第一版本数据修改后的数据，但不限定为第一版本数据第一次修改后的数据，也可以为多次修改后的数据。本发明实施例中，数据中心1和数据中心2中的节点不向数据中心3中的节点发送第二版本数据本身，而是发送表示第二版本数据和第一版本数据之间差异的数据，即第一差异数据。具体的，可以将第二版本数据与第一版本数据进行异或操作或同或操作，本发明实施例以异或操作为例。即将A1与A2进行异或操作得到差异数据DA1，00011 XOR 00010＝00001，将B1与B2进行异或操作得到差异数据DB1，11110 XOR11111＝00001。通常第二版本数据相对第一版本数据，只有部分数据发生修改，因此，通过异或操作得到的数据中会包含大量的0。将第一版本数据与第二版本数据进行异或操作得到的数据进行压缩，会提高数据压缩效率，例如使用字典压缩算法等，从而减少了数据中心间数据传输的带宽。

步骤405：数据中心3中的节点将第一校验数据P1与第一差异数据进行校验操作得到第二校验数据P2。

数据中心3的节点解压缩接收到的压缩的第一差异数据得到DA1和DB1,数据中心3中的节点将P1、DA1和DB1进行异或操作得到第二校验数据P2，即11101 XOR 00001 XOR00001＝11101。可选的，数据中心3中的节点生成第二元数据，记录P2是由DA1、DB1与P1进行校验操作得到的。

步骤406：数据中心3中的节点存储第二校验数据P2。

本发明实施例中，数据中心3中的节点只存储第二校验数据P2，不存储DA1和DB1。从而节省节点的存储空间。可选的，据中心3中的节点也可以存储DA1和DB1，从而可以减少数据恢复的时间，即在数据恢复时，直接使用DA2和DB2进行数据恢复，关于数据恢复具体操作请见下面实施例描述。进一步地，可以存储压缩的DA1和DB1，从而节省数据中心3中的节点的存储空间。

步骤407：数据中心3中的节点接收数据中心1和数据中心2中的节点发送的压缩的第二差异数据。

数据中心1中的节点将第二版本数据A2修改为第三版本数据A3，具体为10010，数据中心2中的节点将第二版本数据B2修改为第三版本数据B3，具体为01111。本发明实施例中，第三版本数据为第二版本数据修改后的数据，但不限定为第二版本数据第一次修改后的数据，也可以为多次修改后的数据。本发明实施例中，数据中心1和数据中心2中的节点不向数据中心3中的节点发送第三版本数据本身，而是发送表示第三版本数据和第二版本数据之间差异的数据，即第二差异数据。具体的，将第三版本数据与第二版本数据进行异或操作。即，将A2与A3进行异或操作得到差异数据DA2，00010 XOR 10010＝10000，将B2与B3进行异或操作得到差异数据DB2，11111 XOR 01111＝10000。通常第三版本数据相对第二版本数据，只有部分数据发生修改，因此，通过异或操作得到的数据中会包含大量的0。将第三版本数据与第二版本数据进行异或操作得到的数据进行压缩，会提高数据压缩效率，例如使用字典压缩算法等，从而减少了数据中心间数据传输的带宽。

步骤408：数据中心3中的节点将第二校验数据P2与第二差异数据进行校验操作得到第三校验数据P3。

数据中心3的节点解压缩接收到的压缩的第二差异数据得到DA2和DB2,数据中心3中的节点将P2、DA2和DB2进行异或操作得到第二校验数据P2，即11101 XOR 10000 XOR10000＝11101。可选的，数据中心3中的节点生成第三元数据，记录P3是由DA2、DB2与P2进行校验操作得到的。

步骤409：数据中心3中的节点存储第三校验数据P3。

本发明实施例中，数据中心3中的节点只存储第三校验数据P3，不存储DA2和DB2，从而节省节点的存储空间。可选的，据中心3中的节点也可以存储DA2和DB2，从而可以减少数据恢复的时间，即在数据恢复时，直接使用DA2和DB2进行数据恢复，关于数据恢复具体操作请见下面实施例描述。进一步地，可以存储压缩的DA2和DB2，从而节省数据中心3中的节点的存储空间。

如图5所示，本发明实施例在实现过程，数据中心中的节点发送压缩的差异数据，可以减少数据保护域之间数据传输量，节省带宽。

结合图4所示实施例，在图6所示的实施方式中，当数据中心1发生故障，即A1、A2和A3丢失，需要进行数据恢复时，本发明实施例包括：

步骤601：数据中心3中的节点根据第一元数据，确定A1的恢复关系。

数据中心3中的节点确定P1＝A1XOR B1，因此，A1可以由P1XOR B1获取。

步骤602：数据中心3中的节点从数据中心2的节点获取B1。

步骤603：数据中心3中的节点将B1与P1进行异或操作得到A1。

同理，数据中心3中的节点根据第二元数据，确定数据中心1中的DA1的恢复关系，即P2是由P1、DA1和DB1进行异或操作得到的，因此，数据中心3的节点从数据中心2的节点获取DB1(例如获得取压缩的DB1)，将P2、P1以及DB1进行异或操作得到DA1，将DA1与A1进行异或操作，得到数据中心1的节点上的第二版本数据A2。

同理，数据中心3中的节点根据第三元数据，确定数据中心1中的DA2的恢复关系，即P3是由P2、DA2和DA3进行异或操作得到的。因此，数据中心3的节点从数据中心2的节点获取DB2，将P3、P2以及DB2进行异或操作得到DA2，将DA2与A2进行异或操作，得到数据中心1的节点上的第二版本数据A3，从而完成数据中心1中的节点上的数据的恢复。上述数据恢复过程，数据中心3的节点获取数据中心2的节点上的差异数据时，也可以获取压缩的差异数据，减少数据中心间的数据传输量，节省了带宽。

根据本发明实施例的所描述的方案，本发明另一实施例提供了一种如图7所示的节点，作为备份数据保护域中的节点，备份数据保护域中的节点包括接收单元701、校验操作单元702和存储单元703。其中，接收单元701，用于接收至少两个数据保护域中的节点发送的第一版本数据；校验操作单元702，用于将第一版本数据进行校验操作得到第一校验数据；存储单元703，用于存储第一校验数据；接收单元701，还用于接收至少两个数据保护域中的节点发送的压缩的差异数据；校验操作单元702，还用于将第一校验数据与差异数据进行校验操作得到第二校验数据；存储单元703，还用于存储第二校验数据；差异数据表示第二版本数据与第一版本数据之间差异的数据，第二版本数据为第一版本数据修改后的数据。可选的，差异数据是由第二版本数据与第一版本数据进行异或操作得到的数据。可选的，差异数据是由第二版本数据与第一版本数据进行同或操作得到的数据。

进一步的，备份数据保护域中的节点还包括生成单元，用于生成第一元数据和第二元数据；第一元数据用于记录第一校验数据是由第一版本数据进行校验操作得到的；第二元数据用于记录第二校验数据是由第一校验数据与差异数据进行校验操作得到的。

可选的，备份数据保护域和至少两个数据保护域分别为数据中心。

图7所示的节点所实现的效果以及进一步的实现可参考前面各实施例对应的描述，在此不再赘述。

如图7所示的节点，一种实现方式为节点上安装有上述单元，上述单元可被加载到节点的存储器中，由节点中的CPU执行存储器中的指令，实现本发明对应的实施例中的功能；另一种实现，节点中包含的单元可以由硬件来实现，或者由CPU执行存储器中的指令与硬件组合实现。上述单元也称为结构单元。

本发明实施例，还提供了非易失性计算机可读存储介质和计算机程序产品，非易失性计算机可读存储介质和计算机程序产品中包含的计算机指令，CPU执行存储器中加载的该计算机指令用于实现本发明各实施中节点对应的功能。

本发明实施例中的校验操作以异或操作为例，还可以使用同或操作，或纠删码(Erasure Coding,EC)等，本发明实施例对此不作限定。

在本发明所提供的几个实施例中，应该理解到，所公开的装置、方法，可以通过其它的方式实现。例如，以上所描述的装置实施例所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

Claims (19)

1.一种数据备份方法，其特征在于，所述方法包括：

备份数据保护域中的节点接收至少两个数据保护域中的节点发送的第一版本数据；

所述备份数据保护域中的节点将所述第一版本数据进行校验操作得到第一校验数据；

所述备份数据保护域中的节点存储所述第一校验数据；

所述备份数据保护域中的节点接收所述至少两个数据保护域中的节点发送的压缩的差异数据；所述差异数据表示第二版本数据与所述第一版本数据之间差异的数据，所述第二版本数据为所述第一版本数据修改后的数据；

所述备份数据保护域中的节点将所述第一校验数据与所述差异数据进行所述校验操作得到第二校验数据；

所述备份数据保护域中的节点存储所述第二校验数据。

2.根据权利要求1所述的方法，其特征在于，所述差异数据是由所述第二版本数据与所述第一版本数据进行异或操作得到的数据。

3.根据权利要求1所述的方法，其特征在于，所述差异数据是由所述第二版本数据与所述第一版本数据进行同或操作得到的数据。

4.根据权利要求1至3任一所述的方法，其特征在于，所述方法还包括：

所述备份数据保护域中的节点生成第一元数据和第二元数据；所述第一元数据用于记录所述第一校验数据是由所述第一版本数据进行所述校验操作得到的；所述第二元数据用于记录所述第二校验数据是由所述第一校验数据与所述差异数据进行所述校验操作得到的。

5.根据权利要求1至4任一所述的方法，其特征在于，所述备份数据保护域和所述至少两个数据保护域分别为数据中心。

6.一种节点，其特征在于，所述节点为备份数据保护域中的节点，所述备份数据保护域中的节点包括：

接收单元，用于接收至少两个数据保护域中的节点发送的第一版本数据；

校验操作单元，用于将所述第一版本数据进行校验操作得到第一校验数据；

存储单元，用于存储所述第一校验数据；

所述接收单元，还用于接收所述至少两个数据保护域中的节点发送的压缩的差异数据；所述差异数据表示第二版本数据与所述第一版本数据之间差异的数据，所述第二版本数据为所述第一版本数据修改后的数据；

所述校验操作单元，还用于将所述第一校验数据与所述差异数据进行所述校验操作得到第二校验数据；

所述存储单元，还用于存储所述第二校验数据。

7.根据权利要求6所述的节点，其特征在于，所述差异数据是由所述第二版本数据与所述第一版本数据进行异或操作得到的数据。

8.根据权利要求6所述的节点，其特征在于，所述差异数据是由所述第二版本数据与所述第一版本数据进行同或操作得到的数据。

9.根据权利要求6至8任一所述的节点，其特征在于，所述备份数据保护域中的节点还包括生成单元；

所述生成单元，用于生成第一元数据和第二元数据；所述第一元数据用于记录所述第一校验数据是由所述第一版本数据进行所述校验操作得到的；所述第二元数据用于记录所述第二校验数据是由所述第一校验数据与所述差异数据进行所述校验操作得到的。

10.根据权利要求6至9任一所述的节点，其特征在于，所述备份数据保护域和所述至少两个数据保护域分别为数据中心。

11.一种节点，其特征在于，所述节点为备份数据保护域中的节点，所述备份数据保护域中的节点包括接口和处理器；

其中，所述接口用于：

接收至少两个数据保护域中的节点发送的第一版本数据；

所述处理器，用于将所述第一版本数据进行校验操作得到第一校验数据，存储所述第一校验数据；

所述接口，还用于接收所述至少两个数据保护域中的节点发送的压缩的差异数据；所述差异数据表示第二版本数据与所述第一版本数据之间差异的数据，所述第二版本数据为所述第一版本数据修改后的数据；

所述处理器，还用于将所述第一校验数据与所述差异数据进行所述校验操作得到第二校验数据，存储所述第二校验数据。

12.根据权利要求11所述的节点，其特征在于，所述差异数据是由所述第二版本数据与所述第一版本数据进行异或操作得到的数据。

13.根据权利要求11所述的节点，其特征在于，所述差异数据是由所述第二版本数据与所述第一版本数据进行同或操作得到的数据。

14.根据权利要求11至13任一所述的节点，其特征在于，所述处理器，还用于生成第一元数据和第二元数据；所述第一元数据用于记录所述第一校验数据是由所述第一版本数据进行所述校验操作得到的；所述第二元数据用于记录所述第二校验数据是由所述第一校验数据与所述差异数据进行所述校验操作得到的。

15.根据权利要求11至14任一所述的节点，其特征在于，所述备份数据保护域和所述至少两个数据保护域分别为数据中心。

16.一种数据备份系统，其特征在于，所述数据备份系统包括备份数据保护域中的节点和至少两个数据保护域中的节点；其中，

所述至少两个数据保护域中的节点，用于向所述备份数据保护域中的节点发送第一版本数据；

所述备份数据保护域中的节点，用于接收所述至少两个数据保护域中的节点发送的所述第一版本数据，将所述第一版本数据进行校验操作得到第一校验数据，存储所述第一校验数据；

所述至少两个数据保护域中的节点，还用于向所述备份数据保护域中的节点发送压缩的差异数据；

所述备份数据保护域中的节点，还用于接收所述压缩的差异数据，将所述第一校验数据与所述差异数据进行所述校验操作得到第二校验数据，存储所述第二校验数据；其中，所述差异数据表示第二版本数据与所述第一版本数据之间差异的数据，所述第二版本数据为所述第一版本数据修改后的数据。

17.根据权利要求16所述的系统，其特征在于，所述备份数据保护域中的节点，还用于生成第一元数据和第二元数据；所述第一元数据用于记录所述第一校验数据是由所述第一版本数据进行所述校验操作得到的；所述第二元数据用于记录所述第二校验数据是由所述第一校验数据与所述差异数据进行所述校验操作得到的。

18.根据权利要求16所述的系统，其特征在于，所述差异数据是由所述第二版本数据与所述第一版本数据进行异或操作得到的数据。

19.根据权利要求16所述的系统，其特征在于，所述差异数据是由所述第二版本数据与所述第一版本数据进行同或操作得到的数据。