CN105117307B - 数据实时备份方法及系统 - Google Patents

Abstract

本发明提供一种数据实时备份方法及系统，通过第一服务器获取写入数据，所述第一服务器中包括第一DRBD层和第一虚拟文件系统层；将写入数据转换为bio结构数据；将bio结构数据发送至第一DRBD层，并激活第二服务器中的第二DRBD层进行实时备份，第二服务器中还包括第二虚拟文件系统层；将bio结构数据转换为fileio格式数据；将fileio格式数据分别写入第一服务器的第一虚拟文件系统层和第二服务器的第二虚拟文件系统层。其兼顾了fielio模式和blockio模式的优势，能够保证数据的安全性并有效提高整体性能。

Description

数据实时备份方法及系统

技术领域

本发明涉及使用SCST及DRBD远程同步功能的集群系统，特别是涉及一种数据实时备份方法及系统。

背景技术

DRBD(Distributed Replicated Block Device，分布式复制块设备)是一个用软件实现的、无共享的、服务器之间镜像块设备内容的存储复制解决方案。DRBD是由内核模块和相关脚本构成的，用以构建高可用的集群系统，其实现方式是通过网络来镜像整个设备，促进共享存储系统的替换，可以把DRBD看作一种网络RAID(Redundant Arrays ofIndependent Disks，磁盘冗余阵列)。DRBD一般会作为一个共享存储设备应用在高可用的集群系统中。在工作时，集群系统中的本地服务器负责接收数据，通过DRBD把数据写到本地磁盘，并同时发送给远程服务器相应的DRBD，最后写入远程服务器的磁盘中。

当往本地服务器的磁盘中写数据时，集群系统默认采用fileio(文件)模式，当把数据写入VFS(Virtual File System，虚拟文件系统)的cache(缓存)时，集群系统就判定数据写入完成，然后本地服务器和远程服务器中的内核定时分别把VFS中的数据写入相应的磁盘。在此过程中，当数据经过传输到DRBD时，会激活DRBD的远程备份功能，将数据备份到远程服务器中。但如果本地服务器的cache损坏，数据还没来得及备份到远程服务器时，会导致数据丢失。

若直接采用blockio(块)模式，立即转换成通用设备块层(Generic Block Layer)可识别的格式写入磁盘并激活DRBD将数据备份到远程服务器中，直到数据写入到本地服务器和远程服务器的磁盘中才判定数据写入完成，这样能够保证数据的安全性，但是效率较低。

发明内容

鉴于此，本发明提供了一种能够保证数据安全性并有效整体性能的数据实时备份方法及系统。

为达到发明目的，提供一种数据实时备份方法，所述方法包括：

通过第一服务器获取写入数据，所述第一服务器中包括第一DRBD层和第一虚拟文件系统层；

将所述写入数据转换为bio结构数据；

将所述bio结构数据发送至所述第一服务器的第一DRBD层，并激活第二服务器的第二DRBD层进行实时备份，所述第二服务器中包括第二虚拟文件系统层；

将所述bio结构数据转换为fileio格式数据；

将所述fileio格式数据分别写入所述第一服务器的第一虚拟文件系统层和所述第二服务器的第二虚拟文件系统层。

在其中一个实施例中，所述将所述fileio格式数据分别写入所述第一服务器的第一虚拟文件系统层和所述第二服务器的第二虚拟文件系统层，包括如下步骤：

将所述fileio格式数据分别以多线程的方式写入所述第一虚拟文件系统层和所述第二虚拟文件系统层。

在其中一个实施例中，在所述第一服务器将所述bio结构数据转换为fileio格式数据之后，还包括以下步骤：

将所述fileio格式数据标识为本地数据。

在其中一个实施例中，在所述将所述fileio格式数据写入所述第二服务器的第二虚拟文件系统层之后，还包括以下步骤：

发送写入完成信号到所述第一服务器。

在其中一个实施例中，所述将所述fileio格式数据分别写入所述第一服务器的第一虚拟文件系统层和所述第二服务器的第二虚拟文件系统层之后，还包括以下步骤：

将所述第一虚拟文件系统层中的所述fileio格式数据写入所述第一服务器的第一磁盘中；

将所述第二虚拟文件系统层中的所述fileio格式数据写入所述第二服务器的第二磁盘中。

本发明还提供一种数据实时备份系统，所述系统包括：

获取模块，被配置以通过第一服务器获取写入数据，所述第一服务器中包括第一DRBD层和第一虚拟文件系统层；

转换模块，被配置以将所述写入数据转换为bio结构数据；

备份模块，被配置以将所述bio结构数据发送至所述第一DRBD层，并激活第二服务器中的第二DRBD层进行实时备份，所述第二服务器中还包括第二虚拟文件系统层；

所述转换模块还被配置以将所述bio结构数据转换为fileio格式数据；

写入模块，被配置以将所述fileio格式数据分别写入所述第一服务器的第一虚拟文件系统层和所述第二服务器的第二虚拟文件系统层。

在其中一个实施例中，所述写入模块包括：

多线程单元，被配置以将所述fileio格式数据分别以多线程的方式写入所述第一服务器的第一虚拟文件系统层和所述第二服务器的第二虚拟文件系统层。

在其中一个实施例中，还包括：

标识模块，被配置以在所述第一服务器将所述bio结构数据转换为fileio格式数据之后，将所述fileio格式数据标识为本地数据。

在其中一个实施例中，还包括：

发送模块，被配置以在所述将所述fileio格式数据写入所述第二服务器的第二虚拟文件系统层之后，发送写入完成信号到所述第一服务器。

在其中一个实施例中，还包括：

第一写入磁盘模块，被配置以将所述第一虚拟文件系统层中的所述fileio格式数据写入所述第一服务器的第一磁盘中；

第二写入磁盘模块，被配置以将所述第二虚拟文件系统层中的所述fileio格式数据写入所述第二服务器的第二磁盘中。

本发明的有益效果包括：

本发明的数据实时备份方法及系统，写入数据在第一服务器的SCST层(Linux通用SCSI目标子系统)时采用blockio模式，即将写入数据转换为bio结构数据，在将bio结构数据传输至DRBD层时，激活DRBD层，使得第二服务器能够实时备份第一服务器中的数据，降低远程备份延时，有效防止数据丢失，保证数据的安全性。在将数据传输到虚拟文件系统层的过程中，再将bio结构数据转换为fileio格式数据，并写入虚拟文件系统层的缓存中，利用虚拟文件系统层中缓存的缓存机制提升系统性能，写入部分比blockio的方式远远提高，并和blockio方式时远程备份速度一致，兼顾了fielio模式和blockio模式的优势，能够保证数据的安全性并有效提高整体性能。

附图说明

图1为一个实施例中的使用SCST及DRBD远程同步功能的集群系统的结构示意图；

图2为一个实施例中的数据实时备份方法的流程示意图；

图3为另一个实施例中的数据实时备份方法的流程示意图；

图4为一个实施例中的数据实时备份系统的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明数据实时备份方法及系统进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明实施例中所提供的数据实时备份方法，适用于应用在集群系统中，该集群系统如图1所示，包括第一服务器和第二服务器，第一服务器和第二服务器一个为本地服务器(即主节点)，另一个为远程服务器(即从节点)。具体的，在本实施例中，第一服务器为本地服务器，第二服务器为远程服务器。在通过第一服务器获取写入数据之后，写入数据会依次经过第一服务器的SCST(Linux通用的SCSI目标子系统，它提供Linux内核之间处理和SCSI目标驱动程序的统一一致的接口，且允许创建复杂的存储设备，提供先进的功能)层，第一DRBD层，第一VFS(Virtual file system，虚拟文件系统)层和第一LVM(LogicalVolume Manager，逻辑卷管理)层，最后存入第一服务器的对应的第一磁盘中。在写入数据通过第一服务器的第一DRBD层的同时，会激活第二服务器的第二DRBD层，实现第二服务器的实时远程备份，备份后的数据依次经过第二服务器的第二VFS层，第二LVM层，最后写入第二服务器的对应的第二磁盘中。其中，需要说明的是，图1中所示的每个服务器对应的磁盘的数量为3个，但在实际实施例中，磁盘的数量不限于3个。第一服务器的第一磁盘和第一VFS层之间设置有第一通用设备块层(图1中未示出)，在通过第一服务器中的内核将fileio格式数据写入第一磁盘时，通过第一通用设备块层在块设备(如第一磁盘)上执行写操作，传输请求的fileio格式数据；第二服务器的第二磁盘和第二VFS层之间设置有第二通用设备块层(图1中未示出)，在通过第二服务器中的内核将fileio格式数据写入第二磁盘时，通过第二通用设备块层在块设备(如第二磁盘)上执行写操作，传输请求的fileio格式数据。

值得说明的是，使用DRBD作为集群系统的共享存储设备，不需要任何硬件的投资，并且使用的是IP网络运行。第一DRBD层和第二DRBD层之间通过TCP/IP网络连接。

在一个实施例中，如图2所示，提供了一种数据实时备份方法，该方法包括以下步骤：

S200，通过第一服务器获取写入数据。其中，第一服务器中包括第一DRBD层和第一虚拟文件系统层。

S400，将写入数据转换为bio结构数据。

S600，将bio结构数据发送至第一服务器的第一DRBD层，并激活第二服务器的第二DRBD层进行实时备份。其中，第二服务器中包括第二虚拟文件系统层。

S800，将bio结构数据转换为fileio格式数据。

S1000，将fileio格式数据分别写入第一服务器的第一虚拟文件系统层和第二服务器的第二虚拟文件系统层。

本实施例中，通过第一服务器响应输入设备发出的写请求，并根据写请求获取写入数据。在通过第一服务器获取写入数据之后，在第一服务器的SCST层采用blockio模式，即将写入数据转换为bio结构数据，然后将该bio结构数据发送至第一服务器的第一DRBD层，由于第一DRBD层和第二DRBD层之间通过TCP/IP网络连接，在将该bio结构数据发送至第一服务器的第一DRBD层后，便会激活第二服务器的第二DRBD层进行实时数据备份，使得第二DRBD层以镜像的方式将第一DRBD层中的bio结构数据写入第二DRBD，降低远程备份的延时，起到防止数据丢失的效果，保证数据的安全性。数据备份后会继续向服务器的下层(VFS层)传输，此时将bio结构数据转换为fileio格式数据，以fileio模式将fileio格式数据分别写入第一服务器的第一虚拟文件系统层和第二服务器的第二虚拟文件系统层。

此处需要说明的是，将bio结构数据转换为fileio格式数据分别在第一服务器和第二服务器中进行，在通过第一服务器将bio结构数据转换为fileio格式数据后，将fileio格式数据写入第一服务器的第一虚拟文件系统层中；在通过第二服务器将bio结构数据转换为fileio格式数据后，将fileio格式数据写入第二服务器的第二虚拟文件系统层中。

第一虚拟文件系统层和第二虚拟文件系统层中均设置有缓存，具体的，将fileio格式数据写入第一虚拟文件系统层的缓存中，将fileio格式数据写入第二虚拟文件系统层的缓存中。在数据备份之后，由于是以fileio模式写入虚拟文件系统层的缓存中的，因此在将fileio格式数据写入第一VFS层的缓存和将fileio格式数据写入第二VFS层的缓存之后，便判定本次写操作完成，第一服务器便可以返回继续响应输入设备发出的下一个写请求。因为数据只写入了缓存中，而没有写入磁盘中，因此提高了集群系统的读写效率，从而提升了集群系统的整体性能。本实施例的数据实时备份方法，兼顾了数据以fileio模式和blockio模式写入的优势，能够保证数据的安全性并有效提高整体性能。

在一个实施例中，参见图3，步骤S1000中包括步骤S1001，将fileio格式数据分别以多线程的方式写入第一服务器的第一虚拟文件系统层和第二服务器的第二虚拟文件系统层。

多线程是指从软件或硬件上实现多个线程并发执行的技术，具有多线程能力的计算机因有硬件支持而能够在同一时间执行多于一个线程，进而提升整体处理性能。在本实施例中，将fileio格式数据以多线程的方式写入第一服务器的第一虚拟文件系统层，同时将fileio格式数据以多线程的方式写入第二服务器的第二虚拟文件系统层，以多线程的方式写入能够达到有效提升集群系统性能的效果。

在一个实施例中，在第一服务器将bio结构数据转换为fileio格式数据之后，还包括：将fileio格式数据标识为本地数据。

具体的，在写入数据从SCST层以blockio模式传输到DRBD层的过程中，给bio结构数据配置一个远程参数，在激活DRBD层进行远程备份后，bio结构数据从DRBD层传输到虚拟文件系统层，在此过程中bio结构数据会转换为fileio格式数据，由于fileio格式数据在写入虚拟文件系统层时可能会再次激活DRBD层，因此给转换后的fileio格式数据配置一个本地参数。通过第一服务器的配置参数判定是否激活DRBD层进行远程备份，若配置参数为远程参数，则激活DRBD层进行远程备份，若配置的数据为本地参数，则不激活DRBD层进行远程备份，从而有效防止数据往磁盘写入时再次激活DRBD层进行远程备份，避免不必要的资源浪费。

在一个实施例中，在将fileio格式数据写入第二服务器的第二虚拟文件系统层之后，还包括：发送写入完成信号到第一服务器。

在将fileio格式数据写入第二服务器的第二虚拟文件系统层之后，向第一服务器发送写入完成信号，以告知第一服务器已完成在第二服务器的数据写入。在将fileio格式数据分别写入第一服务器的第一虚拟文件系统层以及第二服务器的第二虚拟文件系统层之后，判定本次写操作完成，可以返回执行下一个写请求。

在一个实施例中，在步骤S1000之后，还包括以下步骤：将第一虚拟文件系统层中的fileio格式数据写入第一服务器的第一磁盘中；将第二虚拟文件系统层中的fileio格式数据写入第二服务器的第二磁盘中。

本实施例中，优选的，通过第一服务器的内核定时将第一虚拟文件系统层中的fileio格式数据写入第一磁盘中，通过第二服务器的内核定时将第二虚拟文件系统层中的fileio格式数据写入第二磁盘中。数据缓存在虚拟文件系统层的缓存中，当系统发生故障(如掉电)或者虚拟文件系统层的缓存损坏时，数据就会丢失，通过服务器的内核定时将缓存中的数据写入相应的磁盘中，有效防止数据丢失，至少保证一定时间内的数据不会丢失，保证数据的安全性。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

在一个实施例中，如图4所示，还提供了一种数据实时备份系统，该系统包括：获取模块200，被配置以通过第一服务器获取写入数据，第一服务器中包括第一DRBD层和第一虚拟文件系统层。转换模块400，被配置以将写入数据转换为bio结构数据。备份模块600，被配置以将bio结构数据发送至第一DRBD层，并激活第二服务器中的第二DRBD层进行备份，第二服务器中还包括第二虚拟文件系统层。转换模块400还被配置以将所述bio结构数据转换为fileio格式数据。写入模块800，被配置以将fileio格式数据分别写入第一服务器的第一虚拟文件系统层和第二服务器的第二虚拟文件系统层。

在一个实施例中的数据实时备份系统，写入数据在第一服务器的SCST层时采用blockio模式，即将写入数据转换为bio结构数据，在将bio结构数据传输至DRBD层时，激活DRBD层，使得第二服务器能够实时备份第一服务器中的数据，降低远程备份延时，有效防止数据丢失，保证数据的安全性。在将数据传输到虚拟文件系统层的过程中，再将bio结构数据转换为fileio格式数据，并写入虚拟文件系统层的缓存中，利用虚拟文件系统层中缓存的缓存机制提升系统性能，提高工作效率。其兼顾了fielio模式和blockio模式的优势，能够保证数据的安全性并有效提高整体性能。

在一个实施例中，写入模块800包括：多线程单元801，被配置以将fileio格式数据分别以多线程的方式写入第一服务器的第一虚拟文件系统层和第二服务器的第二虚拟文件系统层。

在一个实施例中，还包括：标识模块500，被配置以在第一服务器将bio结构数据转换为fileio格式数据之后，将转换后的fileio格式数据标识为本地数据。

在一个实施例中，还包括：发送模块900，被配置以在将fileio格式数据写入第二服务器的第二虚拟文件系统层之后，发送写入完成信号到第一服务器。

在一个实施例中，还包括：第一写入磁盘模块1000，被配置以将第一虚拟文件系统层中的fileio格式数据写入第一服务器的第一磁盘中。第二写入磁盘模块1200，被配置以将第二虚拟文件系统层中的fileio格式数据写入第二服务器的第二磁盘中。

由于此系统解决问题的原理与前述一种数据实时备份方法相似，因此该系统的实施可以参见前述方法的实施，重复之处不再赘述。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据实时备份方法，所述方法包括：

通过第一服务器获取写入数据，所述第一服务器中包括第一DRBD层和第一虚拟文件系统层；

将所述写入数据转换为bio结构数据；

将所述bio结构数据发送至所述第一DRBD层，并激活第二服务器中的第二DRBD层进行实时备份，所述第二服务器中还包括第二虚拟文件系统层；

在第一服务器和第二服务器中将所述bio结构数据转换为fileio格式数据；

将所述fileio格式数据分别写入所述第一服务器的第一虚拟文件系统层和所述第二服务器的第二虚拟文件系统层。

2.根据权利要求1所述的数据实时备份方法，其特征在于，所述将所述fileio格式数据分别写入所述第一服务器的第一虚拟文件系统层和所述第二服务器的第二虚拟文件系统层，包括如下步骤：

将所述fileio格式数据分别以多线程的方式写入所述第一虚拟文件系统层和所述第二虚拟文件系统层。

3.根据权利要求1所述的数据实时备份方法，其特征在于，在所述第一服务器将所述bio结构数据转换为fileio格式数据之后，还包括以下步骤：

将所述fileio格式数据标识为本地数据。

4.根据权利要求1所述的数据实时备份方法，其特征在于，在所述将所述fileio格式数据写入所述第二服务器的第二虚拟文件系统层之后，还包括以下步骤：

发送写入完成信号到所述第一服务器。

5.根据权利要求1至4任一项所述的数据实时备份方法，其特征在于，所述将所述fileio格式数据分别写入所述第一服务器的第一虚拟文件系统层和所述第二服务器的第二虚拟文件系统层之后，还包括以下步骤：

将所述第一虚拟文件系统层中的所述fileio格式数据写入所述第一服务器的第一磁盘中；

将所述第二虚拟文件系统层中的所述fileio格式数据写入所述第二服务器的第二磁盘中。

6.一种数据实时备份系统，其特征在于，所述系统包括：

获取模块，被配置以通过第一服务器获取写入数据，所述第一服务器中包括第一DRBD层和第一虚拟文件系统层；

转换模块，被配置以将所述写入数据转换为bio结构数据；

备份模块，被配置以将所述bio结构数据发送至所述第一DRBD层，并激活第二服务器中的第二DRBD层进行实时备份，所述第二服务器中还包括第二虚拟文件系统层；

所述转换模块还被配置以在第一服务器和第二服务器中将所述bio结构数据转换为fileio格式数据；

写入模块，被配置以将所述fileio格式数据分别写入所述第一服务器的第一虚拟文件系统层和所述第二服务器的第二虚拟文件系统层。

7.根据权利要求6所述的数据实时备份系统，其特征在于，所述写入模块包括：

多线程单元，被配置以将所述fileio格式数据分别以多线程的方式写入所述第一服务器的第一虚拟文件系统层和所述第二服务器的第二虚拟文件系统层。

8.根据权利要求6所述的数据实时备份系统，其特征在于，还包括：

标识模块，被配置以在所述第一服务器将所述bio结构数据转换为fileio格式数据之后，将所述fileio格式数据标识为本地数据。

9.根据权利要求6所述的数据实时备份系统，其特征在于，还包括：

发送模块，被配置以在所述将所述fileio格式数据写入所述第二服务器的第二虚拟文件系统层之后，发送写入完成信号到所述第一服务器。

10.根据权利要求6至9任一项所述的数据实时备份系统，其特征在于，还包括：

第一写入磁盘模块，被配置以将所述第一虚拟文件系统层中的所述fileio格式数据写入所述第一服务器的第一磁盘中；

第二写入磁盘模块，被配置以将所述第二虚拟文件系统层中的所述fileio格式数据写入所述第二服务器的第二磁盘中。