CN106095656A - 一种云备份与分析方法及系统 - Google Patents

Abstract

本发明涉及一种云备份与分析方法及系统，包括：1)部署单点备份设备与中央控制设备；2)采集备份信息与设备信息，信息采集过程定时循环地查询各个单点备份设备的各种信息，并将这些信息存储于本地，以备份后续的分析使用；3)输出实时数据，并分析数据生成报表。与现有技术相比，本发明具有减轻运维过程中的复杂度与强度，使更加有效地进行备份系统的管理以及备份系统的预测等优点。

Description

一种云备份与分析方法及系统

技术领域

本发明涉及一种云备份系统，尤其是涉及一种云备份与分析方法及系统。

背景技术

随着信息技术对人们的生产生活的渗透，目前我们的生活与生产都无法离开计算机。特别是互联网技术，对社会生产力的发展有巨大的推动作用。而信息技术最根本的要素是计算机中所存储的数据，以及这些数据中所承载的信息。由于计算机系统并不是牢固的，各种不同的意外事件都可能导致数据的损坏与丢失。如自然灾害、战争、物理损耗等自然特性都可能导致存储在计算机中的数据不可用。因此，在现实的解决方案中，会设立各种各样的备份系统，来进行数据的冗余存储，以备在一份数据损坏或者丢失时，可以使用备用的数据来还原。

数据的产生具有累积特性，即数据一旦产生，则有可能在未来某一段时间内是不会消失的，因此产生的数据量会不断增长。特别是随着信息技术的广泛应用，产生的数据的数据源也在呈现指数增长。如各种数据库数据，电子交易数据，审计数据，日志数据，图片，语音，文字等等。由于数据产生源的快速增长，而数据的增长以更快的速度进行增长，对这些数据又需要进行备份保护。因此相应的备份系统不但变得越来越大，同时也使备份系统越来越复杂。而备份系统本身也是一个计算机系统，也会产生大量的数据。当备份系统变得越来越大，越来越复杂的时候，就需要对这些系统进行统一的运维与管理。

传统的备份是单个的备份系统来完成的，因此对一个备份系统的运维与管理是直接而简单的。但是在目前的互联网环境下，特别是信息技术的云化的场景下，备份需要由各种各样的备份系统来组成完整的备份平台，来对各个数据进行保护。正如前述，备份系统本身也是一个数据源，会产生大量的日志数据，审计数据，以及各种运维数据。当数据量增长到一定程度时，这些数据就能够提供一些很有用的信息来使得维护、管理、预测等IT系统的工作更有效率，并从这些数据中提取更有价值的管理信息。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种云备份与分析方法及系统，通过对备份系统的各种数据进行存储、统计，并进行分析，从这些数据中提供取有价值的信息来为信息系统的运维，维护工作提供支持；同时使用这些数据指导用户信息系统的建设与预测，优化信息系统。

本发明的目的可以通过以下技术方案来实现：

一种云备份与分析方法，其特征在于，包括以下步骤：

1)部署单点备份设备与中央控制设备；

2)采集备份信息与设备信息，信息采集过程定时循环地查询各个单点备份设备的各种信息，并将这些信息存储于本地，以备份后续的分析使用；

3)输出实时数据，并分析数据生成报表。

所述的步骤1)具体为：

1.1)根据数据保护需求部署备份设备，具体为根据实际要保护的数据量和数据类型部署备份设备，并创建对应的备份任务；

1.2)部署中央控制设备，设定采集周期，其中中央控制设备用于采集并且记录所有连接到中央控制设备中的备份设备的运行信息以及任务信息。

所述的步骤2)具体为：

2.1)启动中央控制设备，并依次将需要采集信息的备份设备连接到中央控制设备中；

2.2)根据设置采集周期，启动采集过程。

所述的采集过程具体为：

2.2.1)采集所有备份设备的运行信息，包括CPU的利用率、内存的利用率及大小，网络的利用率及流量，并将这些信息存储到本地的数据库中；

2.2.2)采集所有备份设备上所有任务的执行信息、统计信息、任务信息、恢复信息、日志信息、备份容量信息，并将这些信息存储在本地的数据库中；

2.2.3)采用所有备份设备的存储信息，包括总容量、已用容量，并将这些信息存储在本地的数据库中。

所述的输出实时数据，并分析数据生成报表具体为：

3.1)输出监控的实时信息，包括纳入监控的设备数、正常的设备数、不正常的设备数，当前各设备的存储容量情况图，以及各种实时告警信息；

3.2)从历史数据中提取相关的数据，分析总结监控一段时间以来的运行情况，并对已经存在数据库中的数据进行报表输出。

通过分析数据得到以下信息：

3.2.1)得到数据量增长情况，通过将一段时间内的开始数量与最后的数据量进行比较，即可得增长情况，并通过图表显示出来；

3.2.2)得到备份设备历史运行情况，通过历史的设备运行情况，得到单个备份设备在一段时间内的资源利用情况，通过得到某段时间内的CPU、内存和网络的总体情况，来判断一段时间内的设备运行是否正常，并将这些历史运行情况以图表显示。

3.2.3)得到备份任务执行情况，从历史数据中取得备份任务的数量、执行情况、关联的数据量、成功次数、失败次数和失败原因，并将数据显示在图表中；

3.2.4)得到数据恢复执行情况，从历史数中得到单个设备中数据恢复次数、数据量和数据类型，并以图表的方式显示出来，通过这个图表显示数据恢复操作的执行次数，以得到数据系统的稳定程度；

3.2.5)得到不同备份设备以及一组备份设备的运行情况，为了分情况列示上面的信息，将备份设备按照分组的方式来进行，根据设备分组方式来进行数据的统计与分析。

一种所述的云备份与分析方法的系统，包括中央控制设备以及分别与中央控制设备连接的至少一台单点备份设备；

所述的单点备份设备对IT系统中局部的数据，或者指定的应用进行备份保护；

所述的中央控制设备通过网络与单点备份设备进行连接，并获取单点备份设备的各种信息，包括物理运行信息和所有与备份相关的执行信息，通过将这些信息保存下来，并进行调取分析，从而得到有价值的结果。

与现有技术相比，本发明对系统进行统一的管理以及数据收集，并对收集的数据进行分析，以生成各种有效的分析结果，以指导备份系统以及其他IT系统的建设与维护；还通过对这些数据的分析，及时有效地掌握整个云备份系统的运行情况，历史报表等，以减轻运维过程中的复杂度与强度，使更加有效地进行备份系统的管理以及备份系统的预测。

附图说明

图1为单点备份设备与中央控制设备的拓扑图；

图2为备份设备与数据源关系图。

其中1位中央控制设备，2位备份设备，3为网络，4为数据源客户端。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

正是基于目前的备份系统的特点，并出于这样的目的，我们设计发明了本发明，以实现前述的各种功能。通过这些发明，来使用维护工作更有效率，并减少维护工作的强度。

本发明涉及到如下概念：

单点备份设备2，实现的是对IT系统中局部的数据，或者指定的应用进行备份保护的备份系统。

中央控制设备1通过网络3与单点备份设备2进行连接，并获取单点备份设备的各种信息，如物理运行信息，包括内存，存储等的使用情况的信息。还包括所有与备份相关的执行信息。通过将这些信息保存下来，并在合适的时候进行调取并分析，从而得到有价值的结果。

上面的两个设备的拓扑关系如图1所示。

备份任务是执行备份动作的一个单一执行单元，这个执行单元记录了备份动作的各种必要的信息，如数据源，备份目的地，备份策略等各种配置，这样可以通过执行系统重复，自动地调用任务执行，实现备份动作的自动化。

本发明具体内容如下：

1.部署单点备份设备与中央控制设备

1.1根据实际的需求，针对不同的备份需求以及应用部署单点备份设备。

1.2根据实际情况，创建备份任务来执行相应的备份动作，并设置任务的各个属性与策略。包括：备份间隔，备份时间，备份的数据源与目的地，恢复策略，恢复目的地，备份数据类型，数据源系统类型，等等各种信息。

一个单点备份设备可以有一到多个备份任务，每个任务对应一个具体的应用。同时将单点备份设备接入网络。

1.3部署中央控制设备。

部署完单点备份设备后，则部署中央控制设备。中央控制设备不执行具体的备份与恢复，只是作为所有接入到这个中央控制设备的备份设备的管理平台与数据收集平台。将中央控制设备接入到与单点备份设备所处的同一个物理网络，并启动收集信息的过程。

2.采集备份信息与设备信息

当部署完成单点备份以及中央控制设备后，就可以启动信息收集过程。信息收集过程会定时循环地查询各个单点备份设备的各种信息，并将这些信息存储于本地，以备份后续的分析使用。这些信息包括：

A、设备的物理信息，如CPU的使用率，内存的大小及使用率，网络的流量及使用率。

B、各个备份设备数据的存储容量，已用容量及使用率。

C、备份任务的任务信息，如任务类型，任务名称，任务策略等。

D、备份任务的执行信息，如执行次数，成功次数，失败次数及原因等。

E、备份任务的数据源与目的地。

F、单个备份设备的物理标识信息，如IP地址，设备名，连接状态等。

G、单个备份设备所备份的数据源，其关联应用，关联设备等。

H、单个备份设备中任务的执行日历，即按照任务的配置，计算得到的任务未来执行的时间图等。

I、单个备份设备中的告警信息，包括历史的与实时的。

3.分析数据输出报表

收集尽量多的数据，是为了在分析时产生更有价值报表输出，及其他输出。通过分析数据可以得到如下(不限于如下)的有价值的信息：

A、设备的健康状态。设备的健康状态可以由设备的物理资源的使用情况来表示。如偶尔的CPU利用率过高，不会说明设备已经负载过高。但是，持续一段时间的CPU利用率过高，则可以表示设备的运行过载。类型的情况也可以应用于内存或者网络的情况。因此，相应的健康状态可以告知维护人员进行相应的处理。如增加内存，增加网卡，或者将其上的任务分配到其他的单点备份设备上，以分担相应的负载。

B、任务的执行情况。

备份任务一般都是自动化执行的，在平时的IT系统的使用过程中一般不太关注备份任务的执行情况。通过集中控制设备的循环监控，可以了解到不同的任务执行情况。如某个任务执行总是失败或者失败次数较多，则可以检查失败的原因，并排除，以防止数据没有被正确保护的情况的发生。同时也可以根据任务每次执行的数据量，可以评估任务对应的应用数据的活跃度，可以根据这些活跃度来给予这些应用更多的关注。活跃度越高，说明任务的重要性越大，对应的数据更值得更高等级的备份保护等等。

C、数据类型及其增长情况。

每个备份任务的数据都有固定的类型，类型决定了数据产生的主要源头。比如数据库产生的源比较多，则其数据的特征主要表现为数据库的特征，比较查询较多，数据变化较小，但是分布很散等等。利用这些信息可以设置备份策略。同时。同时根据备份数据的增长情况，可以设置备份任务删除历史数据的策略。如果数据增长量小，可以保留更多的时间点的备份，这样可以应对不同时间点的数据查询要求。

D、每周，每月，每季，每年周期的详细报表输出。报表的输出是备份云的历史运行情况。可以按照整个备份云也可以按照单个备份设备进行报表统计。根据时间不同，可以输出每周，每月，每季，每年的详细运行情况，报表中包括设备的运行情况，任务的运行情况等各种详细信息。通过这些信息可以了解整个或者单个的备份设备的运维状态。

E、数据被保护的状态。

需要监测任务的执行情况，或者被保护的应用于备份设备的连通情况，当任务执行失败或者被保护的数据的应用与备份设备的连通情况不良时，可以表示数据被保护的状态是异常的，需要进行干预处理。

F、成功任务与失败任务的分布情况，以及失败的原因等。根据任务失败的原因可以了解整个系统的运行情况。当由于网络导致失败较多时，可能需要检查网络运行情况。当由于备份设备与数据源连接问题导致失败时，则需要查看在备份任务运行时，数据源的运行情况是否正常等。通过对于这个失败的情况的分析，可以了解系统的整个运行情况，以对系统进行有针对性的优化与改进，并指导备份流程的优化。

G、容量呈现与预测。

容量是备份系统的重要属性之一。如何保证备份系统有充足的容量来应对备份的需求，需要统计所有与这个备份系统对应的的任务的容量的使用情况，以此来预测容量的下一个周期的预算。或者设置并优化备份任务的执行策略，通过自动化的手段来删除一些过期数据，以保证容量的使用一直处于合理的范围之内，以减少投资以及运维的复杂度。

H、IT系统建设指导。

IT系统的建设需要有数据的支持，通过备份信息以及设备信息的收集可以指导IT系统的建设。当备份系统的存储容量增长很快时，表明数据产生的速度较高，可以指示相应的IT系统是否需要增加容量以应对未来的数据增长。当备份系统经常处于高负载时，则表示相应的备份系统所承载的业务量很大，则可能需要额外采购新的备份设备以应对这样的数据量的增长以及计算增长。

I、恢复情况。

通过对恢复情况的统计，可以了解对应任务的恢复情况，当整个系统中恢复任务较多时，表明整个IT系统的数据运行不太稳定，需要对IT系统的运行情况进行重新评估或者调优。如果恢复的数据量较大，则可能表示相应的系统所面临的风险也可能较大，需要额外留意。

J、审计。

对于备份系统的运维与管理，都有相应的操作日志记录，以备满足审计的需求。

具体实施例如下：

在本实施例中，一个备份设备2可以针对多个数据源进行备份保护。每一个数据源称为一个数据源客户端4，如图2所示。

1.根据数据保护需求部署备份设备。

根据实际要保护的数据量和数据类型部署备份设备，并创建对应的备份任务JOB1到JOBn。指定这些任务的数据源，目的地，备份周期，执行策略等。依此类推，将所有的备份设备部署完成，并且创建所有的必要的备份任务，然后进行下一步，步骤中央控制设备。

2.部署中央控制设备，设定采集周期并启动采集进程。

中央控制设备用于采集并且记录所有连接到中央控制设备中的所有备份设备的运行信息以及任务信息。

2.1启动中央控制设备，并依次将需要采集信息的备份设备连接到中央控制设备中。

2.2设置采集周期SAMPLE_CYCLE为5秒，并启动采集过程。采集过程周期地执行如下2.2.1到2.2.3步骤。

2.2.1采集所有备份设备的运行信息，包括CPU的利用率，内存的利用率及大小，网络的利用率及流量，并将这些信息存储到本地的数据库中。

2.2.2采集所有备份设备上的所有任务的执行信息，统计信息，任务信息，恢复信息，日志信息，备份容量信息等，并将这些信息存储在本地的数据库中。

2.2.3采用所有备份设备的存储信息，包括总容量，已用容量等，并将这些信息存储在本地的数据库中。

3.输出实时数据以及报表。

3.1为了监控整合云备份平台的运行情况，可以输出监控的实时信息，包括纳入监控的设备数，正常的设备数，不正常的设备数。当前各设备的存储容量情况图。各种实时告警信息，当前所有监控以来的基本统计信息，如任务总数，失败总数，成功总数，备份的数据量，恢复的数据量。数据源的来源类型等等信息。

3.2为了回顾监控以来的历史信息，从历史数据中提取有价值的结论，分析总结监控一段时间以来的运行情况，需要对已经存在数据库中的数据进行报表输出，报表输出需要达到如下效果。

3.2.1得到数据量增长情况。通过历史数中可以到得到一段时间内的备份数据量的增长情况。只要将一段时间内的开始数量量与最后的数据量进行比较，即可得增长情况，并通过图表显示出来。

3.2.2得到备份设备历史运行情况。通过历史的设备运行情况，可以得到单个备份设备在一段时间内的资源利用情况，可以得到某段时间内的CPU，内存，网络的总体情况，可以判断一段时间内的运行是否正常。并将这些历史运行情况以图表显示。

3.2.3得到备份任务执行情况。

从历史数据中取得备份任务的数量，执行情况，关联的数据量，成功次数，失败次数，失败原因等各种数据显示在图表中。

3.2.4得到数据恢复执行情况。

从历史数中得到单个设备中数据恢复次数，数据量，数据类型，并以图表的方式显示出来。可以通过这个图表显示数据恢复操作的执行次数，以得到数据系统的稳定程度。

3.2.5得到不同备份设备以及一组备份设备的运行情况。为了分情况列示上面的信息，可以将备份设备按照分组的方式来进行，这样可以根据设备分组方式来进行数据的统计与分析。如某个部门等的所有备份设备分成一个组来进行统计分析。

3.2.6其他情况。通过历史数还可以取得的其他的分析数据。

所有以上的报表数都可以按照不同的周期长度，不同的备份设备分组以及不同的历史数，将这些数据输出为PDF格式，或者HTML格式的报表数据，以备检查。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (7)

1.一种云备份与分析方法，其特征在于，包括以下步骤：

1)部署单点备份设备与中央控制设备；

2)采集备份信息与设备信息，信息采集过程定时循环地查询各个单点备份设备的各种信息，并将这些信息存储于本地，以备份后续的分析使用；

3)输出实时数据，并分析数据生成报表。

2.根据权利要求1所述的一种云备份与分析方法，其特征在于，所述的步骤1)具体为：

1.1)根据数据保护需求部署备份设备，具体为根据实际要保护的数据量和数据类型部署备份设备，并创建对应的备份任务；

1.2)部署中央控制设备，设定采集周期，其中中央控制设备用于采集并且记录所有连接到中央控制设备中的备份设备的运行信息以及任务信息。

3.根据权利要求1所述的一种云备份与分析方法，其特征在于，所述的步骤2)具体为：

2.1)启动中央控制设备，并依次将需要采集信息的备份设备连接到中央控制设备中；

2.2)根据设置采集周期，启动采集过程。

4.根据权利要求3所述的一种云备份与分析方法，其特征在于，所述的采集过程具体为：

2.2.1)采集所有备份设备的运行信息，包括CPU的利用率、内存的利用率及大小，网络的利用率及流量，并将这些信息存储到本地的数据库中；

2.2.2)采集所有备份设备上所有任务的执行信息、统计信息、任务信息、恢复信息、日志信息、备份容量信息，并将这些信息存储在本地的数据库中；

2.2.3)采用所有备份设备的存储信息，包括总容量、已用容量，并将这些信息存储在本地的数据库中。

5.根据权利要求4所述的一种云备份与分析方法，其特征在于，所述的输出实时数据，并分析数据生成报表具体为：

3.1)输出监控的实时信息，包括纳入监控的设备数、正常的设备数、不正常的设备数，当前各设备的存储容量情况图，以及各种实时告警信息；

3.2)从历史数据中提取相关的数据，分析总结监控一段时间以来的运行情况，并对已经存在数据库中的数据进行报表输出。

6.根据权利要求5所述的一种云备份与分析方法，其特征在于，通过分析数据得到以下信息：

3.2.1)得到数据量增长情况，通过将一段时间内的开始数量与最后的数据量进行比较，即可得增长情况，并通过图表显示出来；

3.2.2)得到备份设备历史运行情况，通过历史的设备运行情况，得到单个备份设备在一段时间内的资源利用情况，通过得到某段时间内的CPU、内存和网络的总体情况，来判断一段时间内的设备运行是否正常，并将这些历史运行情况以图表显示。

3.2.3)得到备份任务执行情况，从历史数据中取得备份任务的数量、执行情况、关联的数据量、成功次数、失败次数和失败原因，并将数据显示在图表中；

3.2.4)得到数据恢复执行情况，从历史数中得到单个设备中数据恢复次数、数据量和数据类型，并以图表的方式显示出来，通过这个图表显示数据恢复操作的执行次数，以得到数据系统的稳定程度；

3.2.5)得到不同备份设备以及一组备份设备的运行情况，为了分情况列示上面的信息，将备份设备按照分组的方式来进行，根据设备分组方式来进行数据的统计与分析。

7.一种实施权利要求1所述的云备份与分析方法的系统，其特征在于，包括中央控制设备以及分别与中央控制设备连接的至少一台单点备份设备；

所述的单点备份设备对IT系统中局部的数据，或者指定的应用进行备份保护；

所述的中央控制设备通过网络与单点备份设备进行连接，并获取单点备份设备的各种信息，包括物理运行信息和所有与备份相关的执行信息，通过将这些信息保存下来，并进行调取分析，从而得到有价值的结果。