CN107729177A - 基于云存储的备份数据存储管理方法、装置和系统 - Google Patents

Abstract

本发明涉及一种基于云存储的备份数据存储管理方法、装置和系统。备份控制端进行备份作业、恢复作业、迁移作业的管理和调度；备份客户端执行备份作业时将数据复制到本地存储端，执行恢复作业时接收本地存储端或云储存端发送的数据；本地存储端执行备份作业时接收来自备份客户端的数据并将其写入本地存储介质；执行迁移作业时将本地存储介质内的数据迁移到云存储端，执行恢复任务时将本地存储介质内的数据复制到备份客户端；云存储端执行迁移任务时接收来自本地存储端的迁移数据，执行恢复任务时将云存储设备内的数据复制到备份客户端。本发明充分结合了本地存储的高效性与云存储的可靠性，在提升备份效率的同时实现了备份数据云存储的目标。

Description

基于云存储的备份数据存储管理方法、装置和系统

技术领域

本发明属于数据容灾备份技术领域，具体涉及的是一种基于云存储的备份数据存储管理方法、装置和系统。

背景技术

据IDC统计数字表明，到2020年，全球产生和复制的数据将达到35ZB，随着物联网技术的普及，数据量规模将进一步扩大。与此同时，基于大数据技术的应用与服务，促进了人们的生产、生活方式的深入革新与发展。人们在享受大数据以及大数据服务带来的便利的同时，进一步加剧了对数据的依赖程度。然而，自然灾害、病毒攻击、误操作等形式多样的数据损坏方式为数据带来极大的威胁。例如最近，针对开放式MongoDB数据库的攻击、针对windows平台的勒索病毒大范围传播、扩散，都极大的威胁了数据的可靠性，数据一旦丢失将造成无法估计的损失。

数据的容灾备份技术已经成为保障数据安全的最后一道屏障，目前已经引起各大云服务厂商的关注，例如华为提出基于openstack的容灾标准等。因此，如何面对大数据环境，高效的进行数据备份与恢复、提升数据的安全性和生存能力，业界提出不同的解决思路。

基于云存储技术的提出，为数据容灾提供了新的方法与解决思路。由于云存储系统往往拥有数据多副本管理技术、低成本、海量存储规模等优点，成为目前构建“云灾备”系统的有效平台。例如，文章“Pokharel M,Lee S,Park J S.Disaster recovery for systemarchitecture using cloud computing”中提出利用云存储环境优化传统容灾系统的解决方案。但是云存储系统往往数据读写速度慢，尤其在设置多副本条件下，副本之间的同步进一步降低了数据的传输效率，无法支撑在线业务与应用程序的快速备份。

随着信息处理技术的不断发展，数据已经成为各类信息系统核心价值。数据备份与恢复系统，是保证数据安全性、可靠性的最后一道屏障。但是在大数据应用背景下，不但数据规模巨大，而且数据类型众多，用户对备份数据管理需求差异也较大，对备份数据存储管理提出了新的挑战。

发明内容

本发明针对上述问题，提出一种基于云存储的高效备份数据存储管理方法、装置和系统。该方案充分结合了本地存储的高效性与云存储的可靠性，通过在备份系统中设计一种备份数据在本地存储与云存储之间的自动迁移技术，在提升备份效率的同时实现了备份数据云存储的目标。

本发明采用的技术方案如下：

一种数据本地备份方法，包括以下步骤：

1)通过备份控制端定义备份作业；

2)备份客户端执行备份控制端的备份作业的命令，将待备份的数据复制到本地存储端；

3)本地存储端从备份客户端接收待备份的数据并写入本地存储介质。

进一步地，所述备份作业以配置文件的形式进行定义，包括备份客户端地址、本地存储端地址、源数据、作业调度时间。

进一步地，根据触发条件执行备份作业，所述触发条件包括用户触发、日程触发、事件触发。

进一步地，在本地存储端的数据写入过程中，若待写入的数据超过本地存储介质的存储空间，则按照FIFO原则清除已写入的数据，直到有足够空间存储新数据为止。

一种数据迁移及恢复方法，包括以下步骤：

1)本地存储端采用上面所述方法进行数据本地备份，将数据写入本地存储介质；

2)本地存储端的执行备份控制端的迁移作业的命令，将本地存储介质内的数据复制到云存储端，使得云存储端在执行备份控制端的恢复作业的命令时，能够将云存储设备内的数据复制到备份客户端；

3)本地存储端执行备份控制端的恢复作业的命令，将本地存储介质内的数据复制到备份客户端。

一种数据迁移及恢复方法，其特征在于，包括以下步骤：

1)云存储端执行备份控制端的迁移作业的命令，接收来自本地存储端的迁移数据；所述迁移数据是本地存储端采用上面所述方法进行数据本地备份时写入本地存储介质的数据；

2)云存储端执行备份控制端的恢复作业的命令，将云存储设备内的数据复制到备份客户端。

进一步地，在进行迁移作业之前进行迁移检测，当检测到可用的网络带宽，或本地存储端的本地存储空间超过配额时执行迁移作业。

进一步地，根据预设的迁移条件选择合适的文件进行迁移作业。

进一步地，所述迁移条件包括：

a)全部迁移：本地存储端将本地存储介质内的全部数据复制到云存储端；

b)在迁移作业增加文件过滤条件：通过定义迁移作业的过滤条件来指定特殊的文件集、特殊的文件类型进行有选择的迁移；

c)限定本地存储容量的迁移条件：通过迁移作业来指定一个容量上限值和一个容量下限值，当执行迁移作业时，若本地存储容量超过上限值则通过FIFO原则迁移数据，直至本地存储容量低于下限值。

进一步地，在进行恢复作业时，若数据存在于云存储端，则将数据直接从云存储端恢复至备份客户端；若数据存在于本地存储端，则将数据从本地存储端恢复至备份客户端。

一种备份数据本地存储管理装置，包括：

备份控制端，用于进行备份作业、恢复作业、迁移作业的管理和调度；

备份客户端，用于接收备份控制端的命令，当执行备份作业时，将数据复制到本地存储端，以使得本地存储端能够将数据迁移到云存储端；当执行恢复作业时，接收本地存储端或云储存端发送的数据；

本地存储端，用于接收备份控制端的命令，当执行备份作业时，接收来自备份客户端的数据并将其写入本地存储介质；当执行迁移作业时，将本地存储介质内的数据迁移到云存储端；当执行恢复任务时，将本地存储介质内的数据复制到备份客户端。

进一步地，所述备份控制端、所述备份客户端、所述本地存储端三部分分别部署在一台服务器上；或者其中两部分部署在一台服务器上，另一部分部署在另一台服务器上；或者三部分部署在同一台服务器上。

一种备份数据云存储管理装置，包括云存储端，所述云存储端接收备份控制端的命令，当执行迁移任务时，接收来自本地存储端的迁移数据；当执行恢复任务时，将云存储设备内的数据复制到备份客户端。

一种基于云存储的备份数据存储管理系统，其特征在于，包括上面所述的备份数据本地存储管理装置以及备份数据云存储管理装置。

本发明提出的高效的备份数据云存储管理方法，通过有机结合备份数据迁移技术与备份策略管理技术，实现在本地存储介质(如高速磁盘、固态硬盘)、云存储介质(GlusterFS，Ceph)等混合环境下，数据的高效备份以及高可靠性、高可用、低成本备份数据的存储管理，在支持在线快速备份的同时，能够有效确保备份数据的安全性和可靠性。本发明提出的基于云存储的备份数据存储管理与调度技术，在充分利用了云存储系统海量数据规模、可靠存储等优点的同时，有效解决了云存储效率低、无法支持频繁、高效的增量数据备份与快速数据恢复的问题，能够在海量数据、复杂应用条件下提高数据备份与恢复效率。与传统的数据备份系统相比，本发明显著提升了备份数据的可靠性和备份数据管理成本，同时仍然可以为在线应用、服务提供快速的备份响应与高效的数据读写能力。

附图说明

图1基于云存储的备份管理系统的结构示意图。

图2为数据本地备份流程图。

图3为数据迁移流程图。

图4为数据恢复流程图。

图5为不同文件大小下备份效率对比图。

图6为不同文件数下备份效率对比图。

具体实施方式

下面通过具体实施例和附图，对本发明做进一步详细说明。

本发明的一实施例中利用GlusterFS做为云存储环境，主要考虑其有如下优点：良好的扩展性，GlusterFS是一个开源的分布式文件系统，具有强大的横向扩展能力，通过扩展能够支持数PB存储容量和处理数千客户端，允许通过简单的增加资源来提高存储容量和性能，磁盘、计算和I/O资源都可以独立增加；高可用性，GlusterFS可以对文件进行自动复制，从而确保数据总是可以访问，甚至是在硬件故障的情况下也能正常访问。另外，GlusterFS充分兼容Posix接口，与标准的磁盘文件系统(如EXT3、ZFS)，因此数据可以使用各种标准工具进行复制和访问。

本地存储介质可以采用高速磁盘SSD等存储介质对各类增量备份数据进行暂存，基于所设计的备份数据自动迁移技术，通过统一的备份策略管理与触发机制，实现数据在本地存储与云存储之间的自动迁移。

本发明的基于云存储的备份系统(或称为数据备份容灾系统)的结构如图1所示，其具体组成与功能如下：

(1)备份控制端：该部分为系统调度器，用户或管理员通过该备份控制端实现作业管理和创建，能够查看系统内各部分运行状态；同时支持作业(备份作业、恢复作业、迁移作业等)管理和备份策略管理功能；

(2)备份客户端：该部分为源数据机器、恢复目标机器的代理，用于接收备份控制端的命令。当执行备份任务时，源数据机器通过备份客户端将数据复制到备份存储端(这里指复制到本地存储端，然后由本地存储端复制/迁移到云储存端)；当执行恢复任务时，恢复目标机器将通过备份客户端接收备份存储端(本地存储端或云储存端)发送的数据。备份策略上支持全量备份、增量备份、差量备份。为了提升数据的可靠性，通常采用增量备份方式。

(3)本地存储端：该部分为实现数据本地备份的机器的存储端代理，用于接收备份控制端的命令。当执行备份任务时，其将接收来自备份客户端的数据并将其写入本地存储池(即图1中的“本地存储介质”)；当执行迁移任务时，其将本地存储池内的数据复制到分布式存储端(即图1中的“云存储端”)；当执行恢复任务时，其将本地存储池内的数据复制到备份客户端。

(4)云存储端：该部分为分布式存储集群的存储代理，接收备份控制端的命令。当执行迁移任务时，接收来自本地存储端的迁移数据；当执行恢复任务时，将分布式存储池(即图1中的“云存储设备”)内的数据复制到备份客户端。

本发明中，备份控制端、备份客户端、本地存储端这三个部分之间松耦合，各部分可单独部署在各自的服务器上，也可以任意组合部署在一台服务器上，比如其中任意两部分部署在一台服务器上，或者三部分部署在同一服务器上。

本发明的基于云存储的数据备份方法，主要包括以下步骤：

1)对于每个备份作业以配置文件的形式进行定义；

2)备份控制端获取作业信息，包括业务机器地址、源数据、作业调度信息；

3)根据触发条件(用户触发、日程触发，事件触发)执行备份作业；其中，用户触发是指用户和根据需求手动执行备份作业；日程触发是指对备份作业设置自动执行时间，例如每天几点、每周周几的几点、每月几号的几点；条件触发是指，当系统达到某条件时执行备份作业，例如网络负载从繁忙变为空闲，本地磁盘占满等；

4)系统默认将备份数据复制到读写速度快、备份效率高的本地存储介质中；

5)启动迁移检测作业，当检测到可用的网络带宽，或本地存储空间超过配额时执行迁移作业；

6)迁移作业可以根据迁移条件，选择合适的文件进行数据迁移，如选择*.cfg，*.xml等配置文件迁移；

7)本地存储介质设置循环使用机制，在备份数据量超过本地存储池的存储能力时，系统将回收最早写入数据的存储空间供最新写入的数据使用。由于系统定时将数据迁入至云存储端的分布式文件系统，用户则无需担心备份数据被覆盖而影响恢复操作。

8)在云存储端选择网络状况良好的时间把本地数据迁移至GlusterFS分布式文件系统中，减少对本地存储端资源占用情况。

本发明可以设置不同的迁移条件(或称迁移策略)，以灵活、高效地实现数据迁移。比如可以采用以下不同的迁移条件：

1)迁移作业中进一步增加文件过滤与判断条件，即用户通过定义迁移作业的过滤条件来指定特殊的文件集、特殊的文件类型进行有选择的迁移。

特殊文件集的选择，可以使用备份任务进行判断或通过备份客户端的名字进行判断，仅针对特殊备份任务下产生的数据进行迁移，此条件下可以根据作业名，将所有满足条件的备份作业的数据复制到分布式文件系统。

特殊文件类型的选择，可以使用正则表达式，描述满足条件的文件类型进行进行迁移。这样，用户可根据需求将重要性强，需要长期保存的数据进行云存储。

2)限定本地容量的迁移条件，即用户通过迁移作业来指定一个容量上限值和一个容量下限值，当执行迁移作业时，若存储容量超过上限值则通过FIFO(First Input FirstOutput，先进先出)原则迁移数据，直至存储池容量低于下限值。这样，用户可通过此方法来保证本地存储池处于一个存储容量健康的状态。

3)其他可用于适配的迁移条件包括：FIFO先进先出迁移策略、最小使用量迁移策略、最大使用量数据集迁移策略，最老数据迁移策略等。

综合上述迁移条件，可以灵活的判定选择待迁移的数据集，并实现把满足条件的数据高效的迁移到云存储系统中。

图2为数据本地备份流程图，可以实现本地存储的数据的容灾备份，包括如下步骤：

1)在备份控制端定义备份作业，备份作业包括备份客户端地址、存储端地址(本地存储端和云存储端的地址)、源数据、作业调度时间，用户可手动执行备份作业或备份控制端根据调度时间自动执行备份作业；

2)备份客户端首先将与本地存储端之间通过备份控制端完成相互授权，本地存储端准备接收备份客户端的备份数据；

3)本地存储端将备份数据从上一次数据写入完成点开始向本地存储池写入数据；

4)若在写入过程中超过本地的预期存储空间，则以作业编号(JobId)为单位按照FIFO原则清除备份作业数据，直到有足够空间用来存储新数据为止，如此便完成了高效的本地数据备份。

图3为数据迁移流程图，面向云存储的数据迁移过程是通过自动判断或手动触发等方式，执行迁移作业，包括以下步骤：

1)根据网络的使用情况，选择网络状况良好的时间段自动执行数据迁移作业。

2)迁移作业根据迁移条件选择迁移数据，数据的迁移只发生在本地存储端和云存储端之间，与备份客户端不存在通信。

3)若迁移条件为全部迁移，则在定时执行迁移任务时，本地存储端将存储池内的全部数据都复制到云存储端，并为其中的每一个作业重新建立新的作业ID供恢复时使用，而之前的作业记录将被清除。

4)若迁移条件为作业迁移，则在定时执行迁移作业时，系统根据迁移作业中的正则表达式匹配存储池中所有作业名，将满足条件的作业从本地存储端迁移至分布式存储端，其中一个作业名将对应多个作业ID，为每一个作业重新建立新的作业ID供恢复时使用，之前的作业记录将被清除。

5)若迁移条件为存储容量迁移，用户将在迁移作业中设置一个容量上限值和一个容量下限值，在定时执行迁移作业时，系统将坚持存储池容量是否超过上限值，若不超过则不执行迁移；若超过则系统将从最先写入存储池的作业开始进行迁移，直到存储池容量小于下限值时停止数据迁移。同样的系统为每一次的迁移作业重新生成一个作业ID以便恢复操作，之前的作业记录则被清除。

6)当再次执行备份任务时，数据同样会被备份到本地存储端，由于本地存储池拥有循环机制，用户不必担心数据无法获得本地存储空间；由于定时执行迁移作业，用户不必担心数据的覆盖导致的数据丢失。

图4为数据恢复流程图。执行恢复操作时，用户根据作业号进行数据恢复，此时数据存放地点是对外透明的，GlusterFS中每台机器均可进行读取，因此恢复效率与本地相近。在恢复时，根据备份作业编号来执行相关的数据恢复，分为以下两种情况：

1)数据存在于云存储端：若数据在云存储端，数据直接从云存储端恢复至备份客户端；

2)数据存在于本地存储端：若数据在本地存储端，数据从本地存储端恢复至备份客户端。

综上所述，本发明利用了本地高速存储介质作为中间缓存设备结合灵活的数据迁移技术，使用户拥有较高高备份效率的同时，充分利用了云存储的冗余机制、以及高可靠、高可用、无限扩容等优势；提升备份系统的备份效率和可靠性。本发明将进一步应用于企业级数据备份与恢复系统，面向多版本、海量备份数据管理提供在线数据备份与恢复的能力。上述实施例，可做许多修改与变化，本说明书选取其中具体实施例，只为更好的说明本发明原理和实际应用。

本发明在4台物理机器上进行测试，选用配置类文件进行备份。GlusterFS副本数为3，测试中统计在不同文件平均大小、不同文件数据条件下，本发明提出的原型系统与直接使用云存储系统进行数据备份的效率差异。

图5表示不同平均文件大小，在原型系统和直接利用云存储下的备份效率折线图，由此可得出，对于不同平均文件大小，原型系统的备份效率远大于直接采用云存储的备份效率；实验云存储环境采用三副本冗余存储，备份效率几乎为原型系统的三分之一,对于不同大小的文件，原型系统、直接利用云存储的备份效率稳定。

图6表示相同的平均文件大小、不同文件数，在原型系统和直接利用云存储下的备份效率折线图，由此可得出：对于不同文件数，原型系统的备份效率远大于直接采用云存储的备份效率；不同文件数下，原型系统的备份效率几乎为直接采用云存储的备份效率的三倍；对于不同文件数的文件，原型系统、直接利用云存储的备份效率稳定。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。

Claims (10)

1.一种数据本地备份方法，其特征在于，包括以下步骤：

1)通过备份控制端定义备份作业；

2)备份客户端执行备份控制端的备份作业的命令，将待备份的数据复制到本地存储端；

3)本地存储端从备份客户端接收待备份的数据并写入本地存储介质。

2.如权利要求1所述的方法，其特征在于，所述备份作业以配置文件的形式进行定义，包括备份客户端地址、本地存储端地址、源数据、作业调度时间。

3.如权利要求1所述的方法，其特征在于，根据触发条件执行所述备份作业，所述触发条件包括用户触发、日程触发、事件触发；在本地存储端的数据写入过程中，若待写入的数据超过本地存储介质的存储空间，则按照FIFO原则清除已写入的数据，直到有足够空间存储新数据为止。

4.一种数据迁移及恢复方法，其特征在于，包括以下步骤：

1)本地存储端采用权利要求1所述方法进行数据本地备份，将数据写入本地存储介质；

2)本地存储端的执行备份控制端的迁移作业的命令，将本地存储介质内的数据复制到云存储端，使得云存储端在执行备份控制端的恢复作业的命令时，能够将云存储设备内的数据复制到备份客户端；

3)本地存储端执行备份控制端的恢复作业的命令，将本地存储介质内的数据复制到备份客户端。

5.一种数据迁移及恢复方法，其特征在于，包括以下步骤：

1)云存储端执行备份控制端的迁移作业的命令，接收来自本地存储端的迁移数据；所述迁移数据是本地存储端采用权利要求1所述方法进行数据本地备份时写入本地存储介质的数据；

2)云存储端执行备份控制端的恢复作业的命令，将云存储设备内的数据复制到备份客户端。

6.如权利要求4或5所述的方法，其特征在于，在进行迁移作业之前进行迁移检测，当检测到可用的网络带宽，或本地存储端的本地存储空间超过配额时执行迁移作业；并根据预设的迁移条件选择合适的文件进行迁移作业；所述迁移条件包括：

a)全部迁移：本地存储端将本地存储介质内的全部数据复制到云存储端；

b)在迁移作业增加文件过滤条件：通过定义迁移作业的过滤条件来指定特殊的文件集、特殊的文件类型进行有选择的迁移；

c)限定本地存储容量的迁移条件：通过迁移作业来指定一个容量上限值和一个容量下限值，当执行迁移作业时，若本地存储容量超过上限值则通过FIFO原则迁移数据，直至本地存储容量低于下限值。

7.如权利要求4或5所述的方法，其特征在于，在进行恢复作业时，若数据存在于云存储端，则将数据直接从云存储端恢复至备份客户端；若数据存在于本地存储端，则将数据从本地存储端恢复至备份客户端。

8.一种备份数据本地存储管理装置，其特征在于，包括：

备份控制端，用于进行备份作业、恢复作业、迁移作业的管理和调度；

备份客户端，用于接收备份控制端的命令，当执行备份作业时，将数据复制到本地存储端，以使得本地存储端能够将数据迁移到云存储端；当执行恢复作业时，接收本地存储端或云储存端发送的数据；

本地存储端，用于接收备份控制端的命令，当执行备份作业时，接收来自备份客户端的数据并将其写入本地存储介质；当执行迁移作业时，将本地存储介质内的数据迁移到云存储端；当执行恢复任务时，将本地存储介质内的数据复制到备份客户端。

9.一种备份数据云存储管理装置，其特征在于，包括云存储端，所述云存储端接收备份控制端的命令，当执行迁移任务时，接收来自本地存储端的迁移数据；当执行恢复任务时，将云存储设备内的数据复制到备份客户端。

10.一种基于云存储的备份数据存储管理系统，其特征在于，包括权利要求8所述的备份数据本地存储管理装置，以及权利要求9所述的备份数据云存储管理装置。