CN110659161B - 一种基于Docker的备份数据有效性验证方法及系统 - Google Patents

Abstract

本发明涉及一种基于Docker的备份数据有效性验证方法，该方法在备份恢复系统内集成Docker容器管理服务模块，并预置标准化的应用系统Docker镜像和应用数据有效性验证脚本或工具，对完成数据备份步骤的备份数据进行有效性验证，所述的备份数据有效性验证包括以下步骤：S1、根据设定的待验证备份数据时间点信息，确定对应的待验证备份数据集，并选择对应的应用系统Docker镜像启动应用数据验证容器；S2、将待验证备份数据集挂载到应用容器内部；S3、Docker容器管理服务模块执行备份应用有效性验证脚本或工具，对备份数据进行有效性验证；S4、根据验证结果不同执行不同操作，与现有技术相比，本发明具有高效率和低成本等优点。

Description

一种基于Docker的备份数据有效性验证方法及系统

技术领域

本发明涉及计算机应用系统备份恢复领域，尤其是涉及一种基于Docker的备份数据有效性验证方法及系统。

背景技术

随着企业信息化的发展，企业内部的应用系统如雨后春笋般涌现，而这些应用系统运行过程中产生的数据，逐渐成了企业最宝贵的无形资产，在企业内部得到了前所未有的重视。为了保护好这些无形资产，企业不得不花费巨资，购置备份恢复系统。但企业往往只注重如何制定完善的生产数据备份设计方案，而忽视对备份数据有效性进行检测。当数据灾难发生时，企业寄希望于备份数据，而备份数据失效导致企业数据无法恢复的事件常有发生，并没有真正的做到“有备无患”。因此，如何进行应用系统备份数据有效性验证成了备份恢复系统设计中亟待解决的难题。

传统的备份恢复系统通常只会基于内部私有数据格式的数据块或数据对象做校验，保证数据从备份代理客户端经传输通道发送到备份服务器端的正确性和完整性。但这只是最基本的数据校验，与真正的应用系统备份数据有效性验证相去甚远。

也有一部分备份恢复系统通过备份数据自动恢复的方式，将备份数据定期自动恢复到企业内部额外准备的一套对等的应用系统环境上，进行应用系统备份数据有效性验证。这种方式有两个弊端：其一是成本的问题，企业内部环境应用系统众多，为了进行备份数据有效性验证，每一套应用系统都要准备一套对等的环境和相应的存储资源，虽然通过虚拟化技术能够降低成本的开销，但仍然耗资巨大；其二是效率问题，对于一些重量级的应用系统，数据量往往在TB级别，而这么大体量的数据经过一次自动恢复，通常需要耗费数小时的时间，而根据墨菲定律，这数小时的时间，在验证出备份数据失效而未来得及采取其他措施之前，最坏的事情已经发生。因此，这种实现方式也不能很好的满足应用系统备份数据有效性验证的需求。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于Docker的备份数据有效性验证方法及系统。

本发明的目的可以通过以下技术方案来实现：

一种基于Docker的备份数据有效性验证方法，用于对应用系统备份数据的有效性验证，该方法在备份恢复系统内集成Docker容器管理服务模块，集成一整套Docker运行环境，使备份恢复系统具有运行Docker的能力，并在Docker容器管理服务模块中预置标准化的应用系统Docker镜像和应用数据有效性验证脚本或工具，对完成数据备份步骤的备份数据进行有效性验证，所述的备份数据有效性验证包括以下步骤：

S1、根据设定的待验证备份数据时间点信息，确定对应的待验证备份数据集，并选择对应的应用系统Docker镜像启动应用数据验证容器；

S2、将待验证备份数据集挂载到应用数据验证容器内部；

S3、Docker容器管理服务模块执行备份应用有效性验证脚本或工具，对备份数据进行有效性验证；

S4、若备份数据有效性验证通过，则自动清理应用数据验证容器，并上传验证通过状态，若备份数据有效性验证不通过，则保留应用数据验证容器，并上传风险通知，使得企业IT管理人员可根据该风险通知介入排查问题和解除风险。

进一步地，所述的数据备份步骤包括：

1)备份恢复系统从应用系统中获取应用数据；

2)生成当次的备份数据集；

3)标记时间信息点后存储在备份恢复系统内部，标记的时间点信息作为以后备份数据有效性验证时选取对应备份数据集的依据。

进一步地，所述的待验证备份数据集通过快照存储子系统提供的数据访问框架，挂载到应用数据验证容器内部，快照存储子系统通过数据访问框架对外提供直接访问能力：

进一步地，所述的步骤S3具体包括：

31)备份恢复系统的数据验证服务模块自动匹配对应的应用数据有效性验证模块；

32)Docker客户端向Docker容器管理服务模块发送执行应用数据有效性验证脚本或工具的通知；

33)Docker容器管理服务模块中的Docker守护进程接收执行通知；

34)Docker容器管理服务模块在目标应用数据验证容器内部执行对应的验证脚本或工具，对备份数据进行有效性验证，该步骤中对备份数据的有效性验证是有针对性的，降低了备份数据有效性验证的成本的同时提高了效率。

进一步地，所述的备份恢复系统中存储备份数据有效性验证策略，当备份数据有效性验证策略中设定的执行条件满足时，所述的备份恢复系统自动启动备份数据有效性验证任务，实现备份恢复系统的自动有效性验证，提高系统的可靠性。

进一步地，预置标准化的应用系统Docker镜像和应用数据有效性验证脚本或工具时，根据部署环境中要求保护的应用系统类型选择预置的应用系统Docker镜像和应用数据有效性验证脚本或工具的类型。

一种实现所述的基于Docker的备份数据有效性验证方法的备份恢复系统，该系统集成于备份恢复系统中，包括数据备份服务模块和Docker容器管理服务模块，所述的Docker容器管理服务模块中预置标准化的应用系统Docker镜像和应用数据有效性验证脚本或工具，所述的数据验证服务模块包括数据验证任务元数据索引、数据验证任务调度引擎和Docker客户端，用于具体应用数据有效性验证任务的管理与调度，所述的Docker客户端向Docker容器管理服务模块发送消息，通知Docker容器管理服务模块执行应用数据有效性验证脚本或工具。

进一步地，所述的备份恢复系统包括：

WEB服务模块：用于提供备份恢复系统与企业IT管理的交互UI；

任务编排服务模块：包括任务策略计划元数据索引和任务编排调度引擎，用于保存策略并按照策略触发相应任务的执行；

数据备份服务模块：包括备份任务元数据索引和备份任务调度引擎，用于具体应用备份任务的管理与调度；

快照存储子系统：包括数据访问框架、元数据存储引擎和数据存储引擎，用于存储应用备份数据，并通过数据访问框架对外提供直接访问能力；

Docker容器管理服务模块：集成于备份恢复系统中，用于给备份恢复系统提供Docker运行环境。

进一步地，所述的Docker容器管理服务模块包括Docker守护进程、应用数据验证容器和Docker镜像仓库，所述的Docker守护进程负责侦听Docker API请求，并管理Docker对象，所述的Docker镜像仓库Docker镜像仓库根据实施部署环境，存放备份数据有效性验证所需的应用系统Docker镜像。

进一步地，所述的数据访问框架包括iSCSI、SCSI、FC、NFS、S3和LoopBack。

与现有技术相比，本发明具有以下优点：

1)效率高：本发明通过在备份恢复系统中预置Docker运行环境、应用系统Docker镜像以及应用系统数据有效性验证脚本和工具，快速生成应用系统容器，提高备份有效性验证的效率，将备份任务生成的备份数据挂载到应用数据验证容器内部，大幅提高了验证的效率及准确性；

2)成本低且准确性高：通过模拟真实应用系统环境，根据设定的数据验证任务以及待验证的备份数据时间点信息，索引到备份任务关联的应用系统信息，针对性的对备份数据进行有效性验证，显著降低了备份数据有效性验证的成本，极大的缩短了验证所需时间。

附图说明

图1为备份恢复系统整体框架示意图；

图2为任务编排服务框架示意图；

图3为数据备份服务框架示意图；

图4为数据验证服务框架示意图；

图5为快照存储子系统框架示意图；

图6为Docker容器管理服务框架示意图。

其中，1、备份恢复系统，11、WEB服务模块，12、任务编排服务模块，13、数据备份服务模块，14、数据验证服务模块，141、Docker客户端，142、数据验证任务调度引擎，143、数据验证任务元数据索引，15、快照存储子系统，151、数据访问框架，16、Docker容器管理服务模块，161、Docker守护进程，162、Dokcer镜像仓库，163、应用数据验证容器。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

本发明提供一种基于Docker的备份数据有效性验证方法，用于对应用系统备份数据的有效性验证，该方法在备份恢复系统1内部集成Docker容器管理服务模块16,提供Docker运行环境，通过Docker容器管理服务模块16内预置的应用系统Docker镜像和应用数据有效性验证脚本或工具，运行应用数据验证容器163，将备份数据挂载到应用数据验证容器163内部，通过应用系统对备份数据进行有效性验证。

本发明的基本思想是在原有备份恢复系统内部，集成Docker容器管理服务模块16，并根据备份恢复系统1部署环境中要求保护的应用系统类型，构建应用系统Docker镜像和应用数据有效性验证脚本或工具，上传到备份恢复系统1中。根据企业用户设定的备份数据有效性验证策略，基于预置应用系统Docker镜像启动应用数据验证容器163，将备份任务生成的备份数据挂载到应用数据验证容器163内部，执行应用数据有效性验证脚本或工具，对备份数据进行有效性验证。

基于Docker的具有备份数据有效性验证能力的备份恢复系统整体框架如图1所示。具体实现方法如下：

1、根据当前企业市场主流应用系统类型，构建标准化的应用系统Docker镜像和应用数据有效性验证脚本或工具，应用系统Docker镜像和应用数据有效性验证脚本或工具通过企业内部私有Docker镜像仓库进行维护；

2、在备份恢复系统内部集成如图6所示的Docker容器管理服务模块16，使备份恢复系统1具备运行Docker容器的能力，其中Docker守护进程161负责侦听Docker API请求，并管理Docker对象，如镜像、容器、网络和卷，Docker镜像仓库162用于存放实施部署环境备份数据有效性校验所需的应用系统Docker镜像；

3、在实际部署备份恢复系统1时，根据部署环境中要求保护的应用系统类型，将标准化的应用系统Docker镜像和应用数据有效性验证脚本或工具预置在备份恢复系统1内部；

4、备份恢复系统1根据用户设定的应用系统数据备份策略，启动备份任务，备份任务通过备份代理或者无代理的方式从应用系统获取应用数据，生成当次备份数据集，并标记时间点信息后，存储在备份恢复系统1内部；

5、任务编排服务模块12如图2所示，负责存储并管理企业IT管理员设定的应用系统备份策略和备份数据有效性验证策略，按照相应策略执行调度，当备份数据有效性验证策略中计划约定的执行条件满足时，自动启动备份数据有效性验证任务；

6、备份数据有效性验证任务基于设定的待验证备份数据时间点信息，索引到备份任务关联的应用系统信息，选择对应的应用系统Docker镜像启动应用数据验证容器163，并将当次需要验证的备份数据集，通过快照存储子系统15提供的数据访问框架151，挂载到应用容器内部，快照存储子系统15如图5所示；

7、数据验证服务模块14如图4所示，通过内部的数据验证任务调度引擎142，自动匹配对应的应用数据有效性验证模块，通过Docker客户端141向Docker容器管理服务模块16发送消息，通知Docker容器管理服务模块16执行应用数据有效性验证脚本或工具，Docker容器管理服务模块16中的Docker守护进程161接收到消息后，在目标容器内部执行对应的验证脚本或工具，对备份数据进行有效性验证，Docker容器管理服务模块16如图6所示。

在备份恢复系统1内集成Docker容器管理服务模块16，并根据部署环境中要求保护的应用系统类型预置标准化的应用系统Docker镜像和应用数据有效性验证脚本或工具后，对已存在的备份数据进行有效性验证包括以下步骤：

S1、根据设定的待验证备份数据时间点信息，确定对应的待验证备份数据集，并选择对应的应用系统Docker镜像启动应用数据验证容器163；

S2、将待验证备份数据集挂载到应用数据验证容器163内部；

S3、Docker容器管理服务模块16执行备份应用有效性验证脚本或工具，对备份数据进行有效性验证；

S4、若备份数据有效性验证通过，则自动清理应用数据验证容器163，并上传验证通过状态，若备份数据有效性验证不通过，则保留应用数据验证容器163，并上传风险通知。

其中，步骤S3具体包括：

31)备份恢复系统1的数据验证服务模块14自动匹配对应的应用数据有效性验证模块；

32)Docker客户端141向Docker容器管理服务模块16发送执行应用数据有效性验证脚本或工具的通知；

33)Docker容器管理服务模块16中的Docker守护进程161接收执行通知；

34)Docker容器管理服务模块16在目标应用数据验证容器163内部执行对应的验证脚本或工具，对备份数据进行有效性验证。

本发明还提供一种基于Docker的备份数据有效性验证方法的备份恢复系统，如图1所示，该系统集成于备份恢复系统1中，包括数据备份服务模块13和Docker容器管理服务模块16，Docker容器管理服务模块16中预置标准化的应用系统Docker镜像和应用数据有效性验证脚本或工具，数据验证服务模块14：包括数据验证任务元数据索引143、数据验证任务调度引擎142和Docker客户端141，用于具体应用数据有效性验证任务的管理与调度，Docker客户端141向Docker容器管理服务模块16发送消息，通知Docker容器管理服务模块16执行应用数据有效性验证脚本或工具。

备份恢复系统1包括：

WEB服务模块11：用于提供备份恢复系统与企业IT管理的交互UI；

任务编排服务模块12：包括任务策略计划元数据索引和任务编排调度引擎，用于保存策略并按照策略触发相应任务的执行；

数据备份服务模块13：包括备份任务元数据索引和备份任务调度引擎，用于具体应用备份任务的管理与调度；

快照存储子系统15：包括数据访问框架151、元数据存储引擎和数据存储引擎，用于存储应用备份数据，并通过数据访问框架151对外提供直接访问能力；

Docker容器管理服务模块16：集成于备份恢复系统中，用于给备份恢复系统提供Docker运行环境。

如图5所示，快照存储子系统15的数据访问框架151包括iSCSI、SCSI、FC、NFS、S3和LoopBack。

如图6所示，Docker容器管理服务模块16包括Docker守护进程161、应用数据验证容器163和Docker镜像仓库162，Docker守护进程161负责侦听Docker API请求，并管理Docker对象，Docker镜像仓库162根据数据有效性验证所需，获取应用系统Docker镜像。

本实施例以企业内部常见的应用数据库Oracle为例，说明企业IT管理员利用本发明的备份恢复系统，进行应用数据库Oracle数据备份或备份数据有效性验证的流程，其他应用系统与本操作流程基本一致：

a)在企业生产环境部署如图1所示的备份恢复系统1；

b)获取企业生产环境Oracle数据库版本信息；

c)构建Oracle数据库Docker镜像并上传到如图6所示的Docker容器管理服务模块16内部的Docker镜像仓库162；

d)企业IT管理员创建Oracle备份任务，并根据SLA服务等级要求，为应用系统设置应用系统数据备份策略，该Oracle数据备份策略将被保存到如图2所示任务编排服务模块12中的任务策略计划元数据索引中；

e)企业IT管理员为应用系统设定备份数据有效性验证策略，该Oracle数据有效性验证策略将被保存到如图2所示任务编排服务模块12中的任务策略计划元数据索引中；

f)任务编排服务模块12根据策略，调用如图3所示的数据备份服务模块13生成应用备份数据时间点信息，或调用如图4所示的数据验证服务模块14对指定待验证备份数据时间点信息执行本发明提供的备份数据有效性验证方法；

g)若数据有效性验证通过，则自动清理应用数据验证容器163，释放资源，上传验证通过状态；

h)若数据有效性验证不通过，则保留应用数据验证容器163，并通过邮件通知企业IT管理员，告知风险，企业IT管理员可介入排查问题并解除风险。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (7)

1.一种基于Docker的备份数据有效性验证方法，用于对应用系统备份数据的有效性验证，其特征在于，该方法在备份恢复系统(1)内集成Docker容器管理服务模块(16)，并在Docker容器管理服务模块(16)内预置标准化的应用系统Docker镜像和应用数据有效性验证脚本或工具，对完成数据备份步骤的备份数据进行有效性验证，所述的备份数据有效性验证包括以下步骤：

S1、根据设定的待验证备份数据时间点信息，确定对应的待验证备份数据集，并选择对应的应用系统Docker镜像启动应用数据验证容器(163)；

S2、将待验证备份数据集挂载到应用数据验证容器(163)内部；

S3、Docker容器管理服务模块(16)执行备份应用有效性验证脚本或工具，对备份数据进行有效性验证；

S4、若备份数据有效性验证通过，则自动清理应用数据验证容器(163)，并上传验证通过状态，若备份数据有效性验证不通过，则保留应用数据验证容器(163)，并上传风险通知；

所述的备份恢复系统(1)中存储备份数据有效性验证策略，当备份数据有效性验证策略中设定的执行条件满足时，所述的备份恢复系统(1)自动启动备份数据有效性验证任务；

预置标准化的应用系统Docker镜像和应用数据有效性验证脚本或工具时，根据部署环境中要求保护的应用系统类型选择预置的应用系统Docker镜像和应用数据有效性验证脚本或工具的类型；

通过在备份恢复系统中预置Docker运行环境、应用系统Docker镜像以及应用系统数据有效性验证脚本和工具，快速生成应用系统容器，并将备份任务生成的备份数据挂载到应用数据验证容器内部；通过模拟真实应用系统环境，根据设定的数据验证任务以及待验证的备份数据时间点信息，索引到备份任务关联的应用系统信息，针对性的对备份数据进行有效性验证；

所述的步骤S3具体包括：

31)备份恢复系统(1)的数据验证服务模块(14)自动匹配对应的应用数据有效性验证模块；

32)Docker客户端(141)向Docker容器管理服务模块(16)发送执行应用数据有效性验证脚本或工具的通知；

33)Docker容器管理服务模块(16)中的Docker守护进程(161)接收执行通知；

34)Docker容器管理服务模块(16)在目标应用数据验证容器(163)内部执行对应的验证脚本或工具，对备份数据进行有效性验证。

2.根据权利要求1所述的一种基于Docker的备份数据有效性验证方法，其特征在于，所述的数据备份步骤包括：

1)备份恢复系统(1)从应用系统中获取应用数据；

2)生成当次的备份数据集；

3)标记时间信息点后存储在备份恢复系统(1)内部。

3.根据权利要求2所述的一种基于Docker的备份数据有效性验证方法，其特征在于，所述的待验证备份数据集通过快照存储子系统(15)提供的数据访问框架(151)，挂载到应用数据验证容器(163)内部。

4.一种实现如权利要求1-3任一项所述的基于Docker的备份数据有效性验证方法的系统，其特征在于，该系统集成于备份恢复系统(1)中，包括数据备份服务模块(13)和Docker容器管理服务模块(16)，所述的Docker容器管理服务模块(16)中预置标准化的应用系统Docker镜像和应用数据有效性验证脚本或工具，所述的数据验证服务模块(14)包括数据验证任务元数据索引(143)、数据验证任务调度引擎(142)和Docker客户端(141)，用于具体应用数据有效性验证任务的管理与调度，所述的Docker客户端(141)向Docker容器管理服务模块(16)发送消息，通知Docker容器管理服务模块(16)执行应用数据有效性验证脚本或工具。

5.根据权利要求4所述的系统，其特征在于，所述的备份恢复系统(1)包括：

WEB服务模块(11)：用于提供备份恢复系统与企业IT管理的交互UI；

任务编排服务模块(12)：包括任务策略计划元数据索引和任务编排调度引擎，用于保存策略并按照策略触发相应任务的执行；

数据备份服务模块(13)：包括备份任务元数据索引和备份任务调度引擎，用于具体应用备份任务的管理与调度；

快照存储子系统(15)：包括数据访问框架(151)、元数据存储引擎和数据存储引擎，用于存储应用备份数据，并通过数据访问框架(151)对外提供直接访问能力；

Docker容器管理服务模块(16)：集成于备份恢复系统(1)中，用于给备份恢复系统(1)提供Docker运行环境。

6.根据权利要求5所述的系统，其特征在于，所述的Docker容器管理服务模块(16)包括Docker守护进程(161)、应用数据验证容器(163)和Docker镜像仓库(162)，所述的Docker守护进程(161)负责侦听Docker API请求，并管理Docker对象，所述的Docker镜像仓库(162)根据实施部署环境，存放备份数据有效性验证所需的应用系统Docker镜像。

7.根据权利要求5所述的系统，其特征在于，所述的数据访问框架(151)包括iSCSI、SCSI、FC、NFS、S3和LoopBack。