CN103593264B - 远距离广域网络容灾备份系统及方法 - Google Patents

Abstract

本发明公开了一种远距离广域网络容灾备份系统及方法，方法包括：一节点上的数据存储服务器在每个文件数据流进行数据传输时，均识别是否已经传输过与当前文件数据流一样的文件数据流；若是，直接将当前文件数据流的索引指向已经传输过的相同文件数据流，并对当前文件数据流删除，确定将保存唯一文件数据流发送给数据中心服务器；数据中心服务器接收一节点上的数据存储服务器重复数据删除处理后的文件数据流，经另一节点上的数据存储服务器转发远程站点服务器；由于数据存储服务器查找定位重复的文件数据流，确保大量重复数据文件流不再重复传输，减少了数据传输量也节省了网络带宽和传输时间，并保障备份数据不占用远程站点服务器大量的存储空间。

Description

远距离广域网络容灾备份系统及方法

技术领域

本发明涉及信息处理技术领域，尤其涉及一种远距离广域网络容灾备份系统及方法。

背景技术

信息系统数据对任何企事业单位来说是非常重要的，目前有多种数据容灾备份方法来保护这些重要数据；其中：数据容灾备份，就是指建立一个异地的数据系统，为计算机信息系统提供的一个能应付各种灾难的环境（例如火灾、水灾、地震、战争等不可抗拒的自然灾难以及计算机犯罪、计算机病毒、掉电、网络/通信失败、硬件/软件错误和人为操作错误等人为灾难），所以容灾备份系统也是保证用户数据的安全性的重要保障。

参见图1，目前常用的技术方法之一就是对这些重要数据进行本地数据备份，利用专业备份软件把这些重要数据根据制定的备份策略把数据自动备份到磁带库、磁盘空间进行存放。

另一方法就是采用Mirror镜像技术，对集中到本地存储设备的数据通过Mirror镜像技术远程复制到异地机房的存储设备进行保存。当这些数据损坏、误删、修改后，如果需要恢复某一时段的数据时，可以利用存放在本地磁带库、磁盘的数据进行有效的恢复，或通过异地存放的数据进行恢复。

显然，上述两个备份方法都存在技术缺陷：本地数据备份到磁带库、磁盘阵列的技术方法会面临多种挑战，有很多弊端：磁带库使用的磁带容易损坏不利于保管；磁带用于灾难恢复和还原不可靠；随着数据量的大增，需要的磁带越来越多，更不易保管；磁盘库没有RAID的保护机制，磁带损坏时，备份数据就丢失；磁带库所提供的备份速度经常不能满足数据备份需要。用磁盘阵列当备份介质时会面临当备份数据量大时，备份数据保留时间长时，需要大量的磁盘空间；磁盘阵列不能多路并发处理备份数据，备份速度经常不满足需要。

通过将集中到本地存储设备的数据通过Mirror镜像技术远程复制到异地机房的存储设备进行保存会面临需要两地机房的网络带宽足够大时才能传输备份数据量，大量数据需要复制时，需要数据传输时间就较长，尤其是对于跨度达到2000公里的不同城市，现有数据备份这种技术方法往往不能使用。

发明内容

本发明的目的在于提供一种远距离广域网络容灾备份系统及方法，以解决上述问题。

为了达到上述目的，本发明的技术方案是这样实现的：

本发明提供了一种远距离广域网络容灾备份系统，包括多个数据存储服务器、本地磁盘数据库、数据中心服务器和多个远程站点服务器，其中：

每个所述数据存储服务器设置在所述数据中心服务器与本地磁盘数据库之间，或所述数据中心服务器与远程站点服务器之间；所述数据中心服务器分别与多个数据存储服务器通信连接；

所述数据存储服务器，用于对文件数据流执行重复数据删除处理操作；在每个文件数据流进行数据传输时，均识别是否已经传输过与当前文件数据流一样的文件数据流；若是，则直接将当前文件数据流的索引指向已经传输过的相同文件数据流，并对当前文件数据流进行删除，确定将保存唯一的文件数据流发送给数据中心服务器；

所述数据中心服务器，用于接收一个节点上的数据存储服务器重复数据删除处理后的文件数据流并存储，并转发给另一节点上的数据存储服务器；

所述远程站点服务器，用于接收另一节点上的数据存储服务器发送的文件数据流，并存储。

相应地，本发明还提供了一种远距离广域网络容灾备份方法，包括如下步骤：

一节点上的数据存储服务器在每个文件数据流进行数据传输时，均识别是否已经传输过与当前文件数据流一样的文件数据流；若是，则直接将当前文件数据流的索引指向已经传输过的相同文件数据流，并对当前文件数据流进行删除，确定将保存唯一的文件数据流发送给数据中心服务器；

数据中心服务器接收一个节点上的数据存储服务器重复数据删除处理后的文件数据流并存储，并转发给另一节点上的数据存储服务器；

所述远程站点服务器接收另一节点上的数据存储服务器发送的文件数据流，并存储。

与现有技术相比，本发明实施例的优点在于：

分析上述远距离广域网络容灾备份方法可知：每个数据存储服务器构成了上述备份系统中一个用于重复数据删除的设备节点。在本地磁盘数据库进行文件数据流传输时，均需要经过数据存储服务器进行重复数据删除，即识别是否已经传输过与当前文件数据流一样的文件数据流；若是，则直接将当前文件数据流的索引指向已经传输过的相同文件数据流，并对当前文件数据流进行删除，确定将保存唯一的文件数据流发送给数据中心服务器；再由数据中心服务器将处理后的文件数据流发送给另一节点上的数据存储服务器，该数据存储服务器将文件数据流迁移至远程站点服务器上存储。

显然在上述数据迁移过程中，数据存储服务器查找定位重复的文件数据流，在数据传输过程中确保大量重复数据文件流不再重复传输（避免了现有技术中的复制大量的重复数据），这样减少了数据传输量，也节省了网络带宽和传输时间，减轻了远距离广域网络容灾备份系统的所使用的网络负载，同时可以保障备份数据不会占用大量的网络带宽和远程站点服务器的剩余存储空间，减轻了远程站点服务器端的压力数据存储负担。

附图说明

图1为现有技术中的网络容灾备份系统的结构示意图；

图2为本发明实施例提供的远距离广域网络容灾备份方法的系统架构示意图；

图3为本发明实施例提供的远距离广域网络容灾备份方法的流程示意图。

具体实施方式

下面通过具体的实施例子并结合附图对本发明做进一步的详细描述。

参见图2，本发明实施例提供了一种远距离广域网络容灾备份系统1，包括多个数据存储服务器10、本地磁盘数据库11、数据中心服务器12和多个远程站点服务器13，其中：

每个所述数据存储服务器10设置在所述数据中心服务器12与本地磁盘数据库11之间，或所述数据中心服务器12与远程站点服务器13之间；所述数据中心服务器12分别与多个数据存储服务器10通信连接；

所述数据存储服务器10，用于对文件数据流执行重复数据删除处理操作（即参与重复数据删除技术，通过重复数据删除，把少量的不重复的文件数据流异地远程传输到异地机房的远程站点服务器进行异地备份，即包括异地全局文件系统）；执行重复数据删除处理操作，包括如下步骤：在每个文件数据流进行数据传输时，均识别是否已经传输过与当前文件数据流一样的文件数据流；若是，则直接将当前文件数据流的索引指向已经传输过的相同文件数据流，并对当前文件数据流进行删除，确定将保存唯一的文件数据流发送给数据中心服务器12；

所述数据中心服务器12，用于接收一个节点上的数据存储服务器重复数据删除处理后的文件数据流并存储，并转发给另一节点上的数据存储服务器；

所述多个远程站点服务器13，用于接收另一节点上的数据存储服务器发送的文件数据流，并存储。

其中，需要说明的是，异地全局文件系统包括多个数据存储服务器和对应的多个远程站点服务器；

分析上述远距离广域网络容灾备份系统的架构可知：每个数据存储服务器构成了上述备份系统中一个用于重复数据删除的设备节点。在本地磁盘数据库进行文件数据流传输时，均需要经过数据存储服务器进行重复数据删除，即识别是否已经传输过与当前文件数据流一样的文件数据流；若是，则直接将当前文件数据流的索引指向已经传输过的相同文件数据流，并对当前文件数据流进行删除，确定将保存唯一的文件数据流发送给数据中心服务器；再由数据中心服务器将处理后的文件数据流发送给另一节点上的数据存储服务器，该数据存储服务器将文件数据流迁移至远程站点服务器上存储。

显然在上述数据迁移过程中，数据存储服务器查找定位重复的文件数据流，在数据传输过程中确保大量重复数据文件流不再重复传输（避免了现有技术中的复制大量的重复数据），这样减少了数据传输量，也节省了网络带宽和传输时间，减轻了远距离广域网络容灾备份系统的所使用的网络负载，同时可以保障备份数据不会占用大量的网络带宽（保障了容灾备份系统网络运行的稳定性）和远程站点服务器的剩余存储空间，减轻了远程站点服务器端的压力数据存储负担。

下面对本发明提供的远距离广域网络容灾备份系统的具体架构做进一步说明：

较佳地，所述数据中心服务器分别与多个数据存储服务器建立广域网WAN通信连接。

较佳地，所述本地磁盘数据库包括多个磁盘阵列设备。

较佳地，所述数据中心服务器，还用于在本地磁盘数据库存储的文件数据流需要执行恢复时，向多个远程站点服务器接收备份的文件数据流，并进行汇聚复制，将复制备份后的文件数据流发送给所述数据存储服务器；

所述数据存储服务器，还用于将复制备份的文件数据流经重复数据删除处理后，发送给本地磁盘数据库。

需要说明的是，检测本地磁盘数据库的存储的文件数据流是否需要容灾备份（若发生了严重数据损坏时，应该启动文件数据流的备份操作），即数据中心服务器向多个远程站点服务器接收备份的文件数据流，并进行汇聚复制，将复制备份后的文件数据流发送给所述数据存储服务器；显然在上述文件数据流的备份时，数据存储服务器将对需要备份的文件数据流执行重复数据删除处理，保障减少了需要复制的数据量。例如，在完整备份的内容中，序列经过压缩后，通常只有不到1%是真正的、具有唯一性的新内容，只有这些内容才需通过WAN进行复制。由于备份数据被大量重复数据删除处理，这样可以保障备份数据不会占用大量的网络带宽（保障了容灾备份系统网络运行的稳定性）和远程站点服务器的剩余存储空间。

基于同一发明构思，本发明实施例还提供了一种远距离广域网络容灾备份方法，由于此方法解决问题的原理通过前述一种远距离广域网络容灾备份的系统来实现，因此该方法的实施可以参见前述系统功能的实施，重复之处不再赘述。

参见图3，相应地，本发明实施例还提供了一种远距离广域网络容灾备份方法，包括如下步骤：

步骤S100、一节点上的数据存储服务器在每个文件数据流进行数据传输时，均识别是否已经传输过与当前文件数据流一样的文件数据流；若是，则直接将当前文件数据流的索引指向已经传输过的相同文件数据流，并对当前文件数据流进行删除，确定将保存唯一的文件数据流发送给数据中心服务器；

步骤S200、数据中心服务器接收一个节点上的数据存储服务器重复数据删除处理后的文件数据流并存储，并转发给另一节点上的数据存储服务器；

步骤S300、所述远程站点服务器接收另一节点上的数据存储服务器发送的文件数据流，并存储。

较佳地，在步骤S300之后（即在所述远程站点服务器接收另一节点上的数据存储服务器发送的文件数据流，并存储的步骤之后），还包括如下步骤：

步骤S400、所述数据中心服务器在本地磁盘数据库存储的文件数据流需要执行恢复时，向多个远程站点服务器接收备份的文件数据流，并进行汇聚复制，将复制备份后的文件数据流发送给所述数据存储服务器；

步骤S500、所述数据存储服务器将复制备份的文件数据流经重复数据删除处理后（将在多个远程站点服务器之间进行重复数据文件流的识别，并删除重复数据），发送给本地磁盘数据库。

在上述步骤S500中，所述数据存储服务器将复制备份的文件数据流经重复数据删除处理后，发送给本地磁盘数据库，包括如下步骤：

步骤S510、所述数据存储服务器将在多个远程站点服务器之间进行重复数据文件流的识别，并删除重复数据文件流；

步骤S520、将多个远程站点服务器之间保存唯一的文件数据流发送给本地磁盘数据库。

需要说明的是，在步骤S500中，如果从多个远程站点服务器向同一个目标（例如本地磁盘数据库）复制数据，便可采用跨站点重复数据消除。这样之前从任何远程站点传输的或因本地备份而产生的任何冗余数据段，都不会由其他远程站点重复复制，从而节约了宝贵的网络带宽。跨站点重复数据消除可提高所有站点的网络效率，并减少目标处所需的存储，从而进一步提高了重复数据消除效率。

需要说明的是，本发明实施例还提供了一种远距离广域网络容灾备份系统，主要依靠重复数据消除存储技术；

高速线内重复数据消除和网络高效型复制：使用重复数据消除，可将保留和保护数据所需要的磁盘存储容量减少至1/10-1/30甚至减少更多，从而使磁盘成为了磁带的经济高效取代者。磁盘上的数据可以在线使用，并且可在现场保留更长时间，还原操作将变得快速且可靠。由于仅在磁盘上存储唯一的数据，因而可通过现有网络将数据经济高效地复制到远程站点服务器，以便实现灾难恢复(DR)和整合式磁带操作。

重复数据消除存储系统可轻松地与现有基础架构集成，并且可与多种数据移动器和应用程序工作负载无缝地搭配使用。通过整合到一个基于磁盘的共用目标，您将不再创建数据和存储的“孤岛”。使用一个重复数据消除存储系统即可执行备份和恢复、保护企业应用程序（Oracle、Exchange、VMware和其他应用程序）、归档和在线引用存储。

分布式企业中的重复数据消除存储系统：重复数据消除存储系统可在备份过程中对数据进行线内重复数据消除。数据经过重复数据消除后，可以存储在现场以便立即还原，也可以长期保留在磁盘上。经过重复数据消除的数据还可以通过WAN复制到远程站点服务器，以便执行灾难恢复操作，从而不再需要进行基于磁带的备份，也无需将磁带备份整合到一个中心位置。重复数据消除存储系统提供了可优化备份的灵活复制技术，这些技术包括完整系统镜像、一到多（例如：数据中心服务器到多个远程站点服务器）、选择性、双向（例如：本地磁盘数据库与远程站点的双向数据传输）、多到一和级联复制。

超远距离远程站点服务器的数据存储服务器，在向本地磁盘数据库或异地全局文件系统传输备份数据。倘若使用重复数据消除技术，当有两个完全相同的文件数据流（双列直插数据），重复数据删除引擎会对每个文件进行重复数据的排除，并代之以指向第一份数据的索引；而重复数据删除则能分辨出两个文件完全相同，从而只保存第一个文件。而且，它还跟数据压缩一样，排除掉第一个文件里的重复数据，使实际存储的数据进一步减少。最终在全局文件存储系统中保留的单一的文件，大大减少超远距离广域网传输的数据量，节约存储空间和节省带宽投资成本。

重复数据消除存储系统可将较小的远程办公室装置扩展为大型数据中心系统。这些系统可作为集成装置或采用外部存储的网关使用。

下面介绍一下本发明涉及的远距离广域网络容灾备份系统实际应用时的技术特点：

由以CPU为中心的体系结构提供支持的高速线内重复数据消除：重复数据消除存储系统可在备份过程中对数据进行线内重复数据消除，使数据在放置至磁盘之前便已经过重复数据消除，从而只需原始数据集的小部分磁盘空间。数据已做好“灾难恢复准备”，可通过现有广域网(WAN)基础架构快速、高效地恢复。Stream-Informed Segment Layout(SISLTM)扩展体系结构可利用CPU性能的持续改进，直接为系统吞吐量的提升带来裨益。

易于集成：重复数据消除存储系统经验证可与所有主流的企业备份软件和归档应用程序配合运行，并可以轻松集成到现有的存储基础架构中，而不必更改数据中心或分布式办公室的数据保护方案。

多站点灾难恢复：重复数据消除存储系统支持从最多180个远程站点进行汇聚复制。跨站点重复数据消除最大限度地减少了所有站点之间所需的带宽，因为跨任何WAN网段时都只传输数据的第一个实例。数据集被有效地压缩了99%，这一大小使网络高效型复制变得迅速且可靠。

可靠恢复：从最初备份起到数据的整个生命周期，重复数据消除存储数据无损体系结构都可提供连续的恢复验证，并持续检测和预防数据完整性问题。与任何其他企业级阵列或文件系统都不同的是，每一装置都可确保可恢复性得到验证，然后持续执行重新验证。这些系统配置有双磁盘奇偶校验RAID-6，如果两个磁盘同时发生故障，此功能将对系统给予保护。

操作简洁性：重复数据消除存储系统易于安装和管理，从而降低了管理和运营成本。所有重复数据消除存储系统都具有自动呼叫总部系统报告功能（称为自动支持），此功能可提供有关整个系统状态的电子邮件通知。这种无干扰警报和数据收集功能有助于实现主动预防性支持和服务，无需管理员干预，从而进一步简化了日常管理。

策略灵活：重复数据消除存储可应用多种复制策略，这些策略包括完整系统镜像、一到多、选择性、双向、多到一和级联复制。

实现两个级别的带宽缩减：本地磁盘数据库和跨站点重复数据消除。重复数据消除存储重复数据消除大幅减少了本地存储的数据量，进而减少了需要复制的数据量。例如，在完整备份的内容中，序列经过压缩后，通常只有不到1%是真正的、具有唯一性的新内容，只有这些内容才需通过WAN进行复制。

重复数据消除存储应用：（即95-99%的跨站点带宽节约），如果从多个远程站点服务器向同一个目标系统复制数据，便可采用跨站点重复数据消除。之前从任何远程站点传输的或因本地备份而产生的任何冗余数据段都不会由其他远程站点重复复制，从而节约了宝贵的网络带宽。跨站点重复数据消除可提高所有站点的网络效率，并减少目标处所需的存储，从而进一步提高了重复数据消除效率。

本领域技术人员应该可以理解：本发明实施例提供的远距离广域网络容灾备份系统及方法，通过具有重复数据删除技术的存储系统就可以实现超远程异地城市远程数据复制，通过已实现数据重复数据删除的数据，把少量的数据异地远程传输到异地机房进行异地备份，以解决本地磁盘数据库与远程站点服务器之间异地数据备份的技术缺陷。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种远距离广域网络容灾备份方法，其特征在于，其利用远距离广域网络容灾备份系统实施网络容灾备份，包括如下步骤：

一节点上的数据存储服务器在每个文件数据流进行数据传输时，均识别是否已经传输过与当前文件数据流一样的文件数据流；若是，则直接将当前文件数据流的索引指向已经传输过的相同文件数据流，并对当前文件数据流进行删除，确定将保存唯一的文件数据流发送给数据中心服务器；

数据中心服务器接收一个节点上的数据存储服务器重复数据删除处理后的文件数据流并存储，并转发给另一节点上的数据存储服务器；

远程站点服务器接收另一节点上的数据存储服务器发送的文件数据流，并存储；

在所述远程站点服务器接收另一节点上的数据存储服务器发送的文件数据流，并存储之后，还包括如下步骤：

所述数据中心服务器在本地磁盘数据库存储的文件数据流需要执行恢复时，向多个远程站点服务器接收备份的文件数据流，并进行汇聚复制，将复制备份后的文件数据流发送给所述数据存储服务器；

所述数据存储服务器将复制备份的文件数据流经重复数据删除处理后，发送给本地磁盘数据库；

其中，所述远距离广域网络容灾备份系统包括多个数据存储服务器、本地磁盘数据库、数据中心服务器和多个远程站点服务器，其中：

每个所述数据存储服务器设置在所述数据中心服务器与本地磁盘数据库之间，或所述数据中心服务器与远程站点服务器之间；所述数据中心服务器分别与多个数据存储服务器通信连接；

所述数据存储服务器，用于对文件数据流执行重复数据删除处理操作；在每个文件数据流进行数据传输时，均识别是否已经传输过与当前文件数据流一样的文件数据流；若是，则直接将当前文件数据流的索引指向已经传输过的相同文件数据流，并对当前文件数据流进行删除，确定将保存唯一的文件数据流发送给数据中心服务器；

所述数据中心服务器，用于接收一个节点上的数据存储服务器重复数据删除处理后的文件数据流并存储，并转发给另一节点上的数据存储服务器；

所述远程站点服务器，用于接收另一节点上的数据存储服务器发送的文件数据流，并存储；

所述数据中心服务器分别与多个数据存储服务器建立广域网WAN通信连接；

所述本地磁盘数据库包括多个磁盘阵列设备；

所述数据中心服务器，还用于在本地磁盘数据库存储的文件数据流需要执行恢复时，向多个远程站点服务器接收备份的文件数据流，并进行汇聚复制，将复制备份后的文件数据流发送给所述数据存储服务器；

所述数据存储服务器，还用于将复制备份的文件数据流经重复数据删除处理后，发送给本地磁盘数据库。

2.如权利要求1所述的远距离广域网络容灾备份方法，其特征在于，

所述数据存储服务器将复制备份的文件数据流经重复数据删除处理后，发送给本地磁盘数据库，包括如下步骤：

所述数据存储服务器将在多个远程站点服务器之间进行重复数据文件流的识别，并删除重复数据文件流；

将多个远程站点服务器之间保存唯一的文件数据流发送给本地磁盘数据库。