CN117271222A - 一种面向大数据的云容灾备份方法及系统 - Google Patents

Abstract

本发明公开了一种面向大数据的云容灾备份方法及系统，涉及云容灾备份技术领域，包括备份数据采集模块、第一采集单元、备份引擎模块、备份存储模块、第二采集单元、服务器、异常感知单元、偶然异常排除单元、预警单元以及云容恢复模块。本发明通过对云容备份系统进行数据备份时的过程进行监测，当系统进行数据备份时存在数据备份不完整或者丢失的异常隐患时，发出预警提示，提示备份人员知晓该情况，并采取相关措施提前应对处理，确保系统进行数据备份时的数据完整性，从而在数据丢失可通过系统恢复最新的数据版本，避免因数据备份不完整对业务造成重大损害。

Description

一种面向大数据的云容灾备份方法及系统

技术领域

本发明涉及云容灾备份技术领域，具体涉及一种面向大数据的云容灾备份方法及系统。

背景技术

面向大数据的云容灾备份系统是一种专门设计用于保护大规模数据集和应用程序的解决方案，以确保数据的高可用性、持久性和恢复能力，这种系统结合了云计算和容灾备份技术，以应对数据丢失、硬件故障、自然灾害或其他灾难性事件。面向大数据的云容灾备份系统可以为企业提供可靠的数据保护和容灾解决方案，确保其大规模数据的安全性和可用性。这对于满足法规合规性、业务连续性和数据保护需求至关重要。

云容灾备份系统的主要作用是保护数据，确保数据的安全性和完整性，通过定期备份数据到云存储中，系统创建了数据的可靠副本，这意味着即使发生数据损坏、误删除、硬件故障、自然灾害或恶意攻击等问题，仍能够从备份中恢复数据，以保持业务连续性。云容备份系统通过定期备份数据，可以显著减少数据丢失的风险，如果数据在主要存储位置发生问题，仍然可以访问备份数据，避免了潜在的数据丢失和业务中断。

现有技术存在以下不足：云容备份系统进行数据备份时，如果系统未能及时感知备份异常，数据将会持续保持异常备份状态，如此可能会导致备份数据不完整或丢失，当发生此情况时，这意味着在数据丢失时，无法恢复最新的数据版本，导致数据不一致或数据丢失，可能会对业务造成重大损害。

在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明的目的是提供一种面向大数据的云容灾备份方法及系统，通过对云容备份系统进行数据备份时的过程进行监测，当系统进行数据备份时存在数据备份不完整或者丢失的异常隐患时，发出预警提示，提示备份人员知晓该情况，并采取相关措施提前应对处理，确保系统进行数据备份时的数据完整性，从而在数据丢失可通过系统恢复最新的数据版本，避免因数据备份不完整对业务造成重大损害，以解决上述背景技术中的问题。

为了实现上述目的，本发明提供如下技术方案：一种面向大数据的云容灾备份系统，包括备份数据采集模块、第一采集单元、备份引擎模块、备份存储模块、第二采集单元、服务器、异常感知单元、偶然异常排除单元、预警单元以及云容恢复模块；

备份数据采集模块，与数据源建立连接，从数据源中读取需要备份的数据，将需要备份的数据进行压缩和加密后传递至备份引擎模块；

第一采集单元，采集云容灾备份系统进行备份数据采集时的性能度量信息，采集后，将性能度量信息处理后上传至服务器；

备份引擎模块，根据备份策略，自动化地执行备份作业，将数据转换为备份格式，并在备份之前对数据进行压缩，并将压缩后的数据传递至备份存储模块；

备份存储模块，将压缩后的备份数据存储在云存储平台中，并维护备份数据的目录结构和元数据；

第二采集单元，采集云容灾备份系统将压缩后的备份数据存储在云存储平台时的云储存信息，采集后，将云储存信息处理后上传至服务器；

服务器，将云容备份系统进行数据备份时经过处理后的性能度量信息和经过处理后的云储存信息进行综合分析，生成备份评估指数，并将备份评估指数传递至异常感知单元；

异常感知单元，将云容备份系统进行数据备份时生成的备份评估指数与预先设定的备份评估指数参考阈值进行比对分析，生成高异常备份信号或者低异常备份信号，并将信号传递至偶然异常排除单元；

偶然异常排除单元，接收到云容备份系统进行数据备份时生成的高异常备份信号后，将后续通过服务器生成的若干个备份评估指数建立分析集合进行综合分析，生成偶然异常信号或者非偶然异常信号，并将信号传递至预警单元，通过预警单元对非偶然异常信号发出预警提示；

云容恢复模块，从备份存储模块中恢复数据，包括完全恢复、部分恢复或单个文件恢复。

优选的，云容灾备份系统进行备份数据采集时的性能度量信息包括数据读写速率异常隐匿系数和数据任务队列传输系数，云容灾备份系统将压缩后的备份数据存储在云存储平台时的云储存信息包括数据写入速率异常变动系数，采集后，通过第一采集单元将数据读写速率异常隐匿系数和数据任务队列传输系数分别标定为V^DX和B^YS，将数据写入速率异常变动系数标定为Vτ^XR。

优选的，数据读写速率异常隐匿系数获取的逻辑如下：

S101、获取云容灾备份系统进行备份数据采集时的最佳数据读写速率范围，并将最佳数据读写速率范围标定为V^DX _min～V^DX _max；

S102、获取云容灾备份系统进行备份数据采集时在T时间内若干个时段的实际数据读写速率，并将实际数据读写速率标定为V^DX _x，x表示云容灾备份系统进行备份数据采集时在T时间内若干个时段的实际数据读写速率的编号，x＝1、2、3、4、……、m，m为正整数；

S103、计算数据读写速率异常隐匿系数，计算的表达式为： m表示云容灾备份系统进行备份数据采集时在T时间内获取的实际数据读写速率的总数量，/>x′表示云容灾备份系统进行备份数据采集时在T时间内获取不处于最佳数据读写速率范围之间的实际数据读写速率的编号，x′＝1、2、3、4、……、m′，m′为正整数。

优选的，数据任务队列传输系数获取的逻辑如下：

S201、获取云容灾备份系统对备份数据进行传输时在T时间内的任务队列实时积压率情况，并将任务队列实时积压率标定为B(t)；

S202、计算数据任务队列传输系数，计算的表达式为： 式中，[t₁，t₂]为备份数据传输已完成的时段，[t₃，t₄]为等待备份数据传输的时段，t₁<t₂，t₃<t₄。

优选的，数据写入速率异常变动系数获取的逻辑如下：

S301、获取云容灾备份系统将压缩后的备份数据存储在云存储平台时在T时间内若干个时段内的实际数据写入速率，并将实际数据写入速率标定为Vτ^XR _y，y表示云容灾备份系统将压缩后的备份数据存储在云存储平台时在T时间内若干个时段内的实际数据写入速率的编号，y＝1、2、3、4、……、n，n为正整数；

S302、通过云容灾备份系统将压缩后的备份数据存储在云存储平台时在T时间内生成的实际数据写入速率计算数据写入速率变异系数，计算的表达式为：Vτ＝τ1/τ2，式中，τ1表示数据写入速率标准差，τ2表示数据写入速率平均值，

S303、计算数据写入速率异常变动系数，计算的表达式为：Vτ^XR＝Vτ*2^Vτ+1。

优选的，服务器将经过处理后的数据读写速率异常隐匿系数V^DX、数据任务队列传输系数B^YS以及数据写入速率异常变动系数vτ^XR后，建立数据分析模型，生成备份评估指数依据的公式为：/> 式中，f1、f2、f3分别为数据读写速率异常隐匿系数V^DX、数据任务队列传输系数B^YS、数据写入速率异常变动系数Vτ^XR的预设比例系数，且f1、f2、f3均大于0。

优选的，异常感知单元将云容备份系统进行数据备份时生成的备份评估指数与预先设定的备份评估指数参考阈值进行比对分析，比对分析的结果如下：

若备份评估指数大于等于备份评估指数参考阈值，则通过异常感知单元生成高异常备份信号，并将信号传递至偶然异常排除单元，通过偶然异常排除单元进一步判断云容备份系统是否出现了偶然备份异常；

若备份评估指数小于备份评估指数参考阈值，则通过异常感知单元生成低异常备份信号，并将信号传递至偶然异常排除单元，不通过偶然异常排除单元进行任何指示。

优选的，偶然异常排除单元接收到云容备份系统进行数据备份时生成的高异常备份信号后，将后续通过服务器生成的若干个备份评估指数建立分析集合，并将分析集合标定为Z，则u表示分析集合内的备份评估指数的编号，u＝1、2、3、4、……、s，s为正整数；

通过分析集合内的若干个备份评估指数求出备份评估指数平均值和备份评估指数标准差，并将备份评估指数平均值和备份评估指数标准差分别与预先设定的备份评估指数参考阈值和预先设定的标准差参考阈值进行比对分析，比对分析的结果如下：

若备份评估指数平均值小于备份评估指数参考阈值并且备份评估指数标准差小于标准差参考阈值，则通过偶然异常排除单元生成偶然异常信号，并将传递至预警单元，不通过预警单元对偶然异常信号发出预警提示；

若备份评估指数平均值小于备份评估指数参考阈值并且备份评估指数标准差大于等于标准差参考阈值、或者备份评估指数平均值大于等于备份评估指数参考阈值，则通过偶然异常排除单元生成非偶然异常信号，并将传递至预警单元，通过预警单元对非偶然异常信号发出预警提示。

一种面向大数据的云容灾备份方法，包括以下步骤：

从数据源中读取需要备份的数据，将需要备份的数据进行压缩和加密后根据备份策略，自动化地执行备份作业，将数据转换为备份格式，并在备份之前对数据进行压缩；

采集云容灾备份系统进行备份数据采集时的性能度量信息，采集后，将性能度量信息处理后上传至服务器；

将压缩后的备份数据存储在云存储平台中，并维护备份数据的目录结构和元数据；

采集云容灾备份系统将压缩后的备份数据存储在云存储平台时的云储存信息，采集后，将云储存信息处理后上传至服务器；

将云容备份系统进行数据备份时经过处理后的性能度量信息和经过处理后的云储存信息进行综合分析，生成备份评估指数，将云容备份系统进行数据备份时生成的备份评估指数与预先设定的备份评估指数参考阈值进行比对分析，生成高异常备份信号或者低异常备份信号；

接收到云容备份系统进行数据备份时生成的高异常备份信号后，将后续通过服务器生成的若干个备份评估指数建立分析集合进行综合分析，生成偶然异常信号或者非偶然异常信号，并对非偶然异常信号发出预警提示；

从备份存储模块中恢复数据，包括完全恢复、部分恢复或单个文件恢复。

在上述技术方案中，本发明提供的技术效果和优点：

本发明通过对云容备份系统进行数据备份时的过程进行监测，当系统进行数据备份时存在数据备份不完整或者丢失的异常隐患时，发出预警提示，提示备份人员知晓该情况，并采取相关措施提前应对处理，确保系统进行数据备份时的数据完整性，从而在数据丢失可通过系统恢复最新的数据版本，避免因数据备份不完整对业务造成重大损害；

本发明在感知到系统进行数据备份时存在异常隐患时，对系统进行数据备份的过程进行综合分析，当系统进行数据备份出现偶然性异常时，不发出预警提示，避免系统因偶然备份异常导致的频繁预警，保证系统对数据备份过程监测的准确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本发明一种面向大数据的云容灾备份方法及系统的模块示意图。

图2为本发明一种面向大数据的云容灾备份方法及系统的方法流程图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些示例实施方式使得本公开的描述将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

本发明提供了如图1所示的一种面向大数据的云容灾备份系统，包括备份数据采集模块、第一采集单元、备份引擎模块、备份存储模块、第二采集单元、服务器、异常感知单元、偶然异常排除单元、预警单元以及云容恢复模块；

备份数据采集模块，与数据源(例如数据库、文件系统、应用程序)建立连接，从数据源中读取需要备份的数据，将需要备份的数据进行压缩和加密后传递至备份引擎模块；

从数据源中提取需要备份的数据通常使用适当的数据提取工具和协议，在数据传输过程中对数据进行压缩和加密是为了确保数据的安全性和减少带宽消耗；

第一采集单元，采集云容灾备份系统进行备份数据采集时的性能度量信息，采集后，将性能度量信息处理后上传至服务器；

云容灾备份系统进行备份数据采集时的性能度量信息包括数据读写速率异常隐匿系数和数据任务队列传输系数，采集后，通过第一采集单元将数据读写速率异常隐匿系数和数据任务队列传输系数分别标定为V^DX和B^YS；

备份系统需要从源数据源(例如数据库、文件系统或应用程序)中读取数据以进行备份，这包括将源数据加载到备份系统中，以便进行进一步的处理，数据读取速率表示备份系统从源数据位置(例如数据库、文件系统或应用程序)读取数据的速度，通常以每秒读取的数据量来衡量，通常以字节或位每秒(Bps或bps)为单位较高的读取速率意味着备份系统可以更快地从源数据中提取数据，这有助于减少备份过程的持续时间；

数据读写速率的偏大或偏小可以对数据备份的完整性和可用性产生不同的影响，具体情况取决于备份系统的整体设计、配置和性能。

数据读写速率偏大：

影响因素：如果数据读写速率过大，备份系统可能会在短时间内尝试处理大量数据，这可能导致备份系统超负荷，无法有效处理数据流，从而导致备份作业失败或中断；

结果：如果备份系统无法有效处理高速率的数据读写，可能导致备份数据不完整，因为某些数据块可能会被跳过或丢失，此外，过高的速率可能对备份存储设备的性能产生负面影响，导致数据写入错误或数据损坏；

数据读写速率偏小：

影响因素：如果数据读写速率过小，备份过程可能需要更长的时间来完成，这可能会导致备份作业在备份窗口内无法完成，或者备份数据的及时性受到威胁；

结果：如果备份速率偏小，可能会导致备份数据的不及时性，这在需要频繁备份的情况下可能导致数据的过时性，此外，如果备份窗口内无法完成备份作业，那么在下次备份开始之前可能会发生新数据的丢失；

因此，对云容灾备份系统进行备份数据采集时的数据读写速率进行监测，可及时发现数据读写速率异常可能导致数据备份不完整或丢失的隐患问题；

数据读写速率异常隐匿系数获取的逻辑如下：

S101、获取云容灾备份系统进行备份数据采集时的最佳数据读写速率范围，并将最佳数据读写速率范围标定为V^DX _min～V^DX _max；

需要说明的是，执行性能基准测试，使用不同的数据读写速率来模拟不同的负载情况，这些测试应包括典型的备份操作和数据流量，以便评估备份系统在各种负载条件下的性能表现，再根据实际需求去综合确定云容灾备份系统进行备份数据采集时的最佳数据读写速率范围，云容灾备份系统进行备份数据采集时的最佳数据读写速率范围在此不作具体的限定，可根据性能基准测试结果和实际需求进行综合调整；

S102、获取云容灾备份系统进行备份数据采集时在T时间内若干个时段(时段内的时间在此不做具体的限定)的实际数据读写速率，并将实际数据读写速率标定为V^DX _x，x表示云容灾备份系统进行备份数据采集时在T时间内若干个时段的实际数据读写速率的编号，x＝1、2、3、4、……、m，m为正整数；

需要说明的是，使用专门的性能监控工具，例如Prometheus、Grafana、Nagios等，以实时监控备份系统的性能参数，这些工具可以收集各种性能数据，包括数据读写速率、CPU利用率、内存使用率、磁盘活动等；

S103、计算数据读写速率异常隐匿系数，计算的表达式为： m表示云容灾备份系统进行备份数据采集时在T时间内获取的实际数据读写速率的总数量，/>x′表示云容灾备份系统进行备份数据采集时在T时间内获取不处于最佳数据读写速率范围之间的实际数据读写速率的编号，x′＝1、2、3、4、……、m′，m′为正整数；

由数据读写速率异常隐匿系数的计算表达式可知，云容灾备份系统进行备份数据采集时在T时间内生成的数据读写速率异常隐匿系数的表现值越大，表明数据备份不完整或丢失的隐患越大，反之则表明数据备份不完整或丢失的隐患越小；

传输任务队列的数据积压较大可能导致数据备份不完整或丢失，尤其在云容灾备份系统中，这是因为数据积压可能引发一系列潜在问题，如以下所述：

备份窗口延长：数据积压会导致备份窗口变长，备份操作无法在规定的时间内完成，如果备份窗口被耗尽，可能会导致某些数据未能备份，尤其是在持续写入或更新的情况下；

数据变化：当数据备份队列积压时，已经备份的数据可能在队列中等待传输，如果这些数据在传输之前发生了更改，传输的数据可能不再与源数据匹配，从而导致备份数据不完整或不准确；

资源竞争：数据传输队列的积压可能导致资源竞争，例如网络带宽和存储资源，这可能导致传输的数据不完整，因为系统无法有效地处理大量的数据传输请求；

中断或错误：数据传输过程中的错误或中断可能会更容易发生，尤其是在任务队列积压的情况下，这些错误可能导致传输的数据丢失或损坏；

性能下降：数据积压可能会导致备份系统的性能下降，从而影响数据传输速度和效率，较慢的数据传输速度可能导致备份操作不及时完成，从而影响数据的备份完整性；

因此，对云容灾备份系统进行备份数据采集时的传输任务队列数据情况进行监测，可及时发现传输任务队列数据积压可能导致数据备份不完整或丢失的隐患问题；

数据任务队列传输系数获取的逻辑如下：

S201、获取云容灾备份系统对备份数据进行传输时在T时间内的任务队列实时积压率情况，并将任务队列实时积压率标定为B(t)；

需要说明的是，使用专门的性能监控工具，这些工具能够实时监测备份系统的各项性能参数，包括任务队列的状态，一些常见的监控工具包括：

Prometheus：Prometheus是一个流行的开源性能监控系统，可以用于收集、存储和查询备份系统的性能数据，可以配置适当的监控指标来跟踪任务队列的积压情况；

Grafana：Grafana通常与Prometheus等数据源结合使用，提供了丰富的可视化和仪表板功能，以显示任务队列的实时积压率；

Nagios：Nagios是一种广泛使用的监控工具，可以通过自定义插件来监测备份系统的性能参数，包括任务队列状态；

S202、计算数据任务队列传输系数，计算的表达式为： 式中，[t₁，t₂]为备份数据传输已完成的时段，[t₃，t₄]为等待备份数据传输的时段，t₁<t₂，t₃<t₄；

由数据任务队列传输系数的计算表达式可知，云容灾备份系统对备份数据进行传输时在T时间内生成的数据任务队列传输系数的表现值越大，表明数据备份不完整或丢失的隐患越小，反之则表明数据备份不完整或丢失的隐患越大；

备份引擎模块，根据备份策略，自动化地执行备份作业，将数据转换为备份格式，并在备份之前对数据进行压缩，并将压缩后的数据传递至备份存储模块；

备份策略包括备份频率、保留期、备份类型(完全备份、增量备份、差异备份等)，备份作业包括完全备份、增量备份和差异备份；

将数据转换为备份格式并在备份之前对数据进行压缩的目的是节省存储空间；

备份存储模块，将压缩后的备份数据存储在云存储平台(如AWS S3、Azure BlobStorage)中，并维护备份数据的目录结构和元数据；

此过程通常使用对象存储，维护备份数据的目录结构和元数据是为了快速检索和恢复数据；

第二采集单元，采集云容灾备份系统将压缩后的备份数据存储在云存储平台时的云储存信息，采集后，将云储存信息处理后上传至服务器；

云容灾备份系统将压缩后的备份数据存储在云存储平台时的云储存信息包括数据写入速率异常变动系数，采集后，通过第二采集单元将数据写入速率异常变动系数标定为Vτ^XR；

云容灾备份系统将压缩后的备份数据存储在云存储平台时的数据写入速率指的是在备份数据传输至云存储平台时，数据以多快的速度写入云存储系统中的过程，这个速率通常以数据量(通常是字节或位)每单位时间(通常是秒)来度量，例如兆字节每秒(MB/s)或千兆位每秒(Gbps)；

云容灾备份系统中数据写入速率波动较大可能会导致数据备份不完整或丢失，尤其是在特殊情况下，以下是详细的阐述：

数据一致性问题：当数据写入速率波动较大时，可能会导致数据备份不一致，如果备份系统在写入速率波动期间无法正确处理数据传输，备份数据可能不会按顺序或完全传输，导致备份不一致；

部分备份问题：如果数据写入速率波动导致备份操作被中断或延迟，备份系统可能只能备份部分数据，这可能会导致备份数据不完整，缺少某些文件或数据块；

数据丢失风险：在极端情况下，数据写入速率波动可能导致备份数据包完全丢失，如果备份系统在传输期间严重中断，备份数据可能无法到达云存储平台，从而导致数据丢失；

备份窗口延长：数据写入速率波动可能导致备份操作花费更长的时间来完成，从而延长备份窗口，如果备份窗口被超出，可能会导致部分备份数据未能备份；

数据一致性和完整性：在备份系统中，数据一致性和完整性非常重要，数据写入速率波动可能会破坏这些方面，从而对备份数据的质量产生负面影响；

因此，对云容灾备份系统将压缩后的备份数据存储在云存储平台时的数据写入速率进行监测，可及时发现数据写入速率异常可能导致数据备份不完整或丢失的隐患问题；

数据写入速率异常变动系数获取的逻辑如下：

S301、获取云容灾备份系统将压缩后的备份数据存储在云存储平台时在T时间内若干个时段(时段内的时间在此不做具体的限定)内的实际数据写入速率，并将实际数据写入速率标定为Vτ^XR _y，y表示云容灾备份系统将压缩后的备份数据存储在云存储平台时在T时间内若干个时段内的实际数据写入速率的编号，y＝1、2、3、4、……、n，n为正整数；

需要说明的是，使用性能监控工具，如Prometheus、Grafana、Nagios等，来监测备份系统的性能参数，包括实时的数据写入速率，这些工具可通过监控备份系统的API或性能计数器来收集数据；

S302、通过云容灾备份系统将压缩后的备份数据存储在云存储平台时在T时间内生成的实际数据写入速率计算数据写入速率变异系数，计算的表达式为：Vτ＝τ1/τ2，式中，τ1表示数据写入速率标准差，τ2表示数据写入速率平均值，

由数据写入速率变异系数可知，云容灾备份系统将压缩后的备份数据存储在云存储平台时在T时间内生成的数据写入速率变异系数越大，表明云容灾备份系统将压缩后的备份数据存储在云存储平台时在T时间内获取的实际数据写入速率的变动越大，反之则表明云容灾备份系统将压缩后的备份数据存储在云存储平台时在T时间内获取的实际数据写入速率的变动越小；

S303、计算数据写入速率异常变动系数，计算的表达式为：Vτ^XR＝Vτ*2^Vτ+1；

由数据写入速率异常变动系数的计算表达式可知，云容灾备份系统将压缩后的备份数据存储在云存储平台时在T时间内生成的数据写入速率异常变动系数的表现值越小，表明数据备份不完整或丢失的隐患越大，反之则表明数据备份不完整或丢失的隐患越小；

服务器，将云容备份系统进行数据备份时经过处理后的性能度量信息和经过处理后的云储存信息进行综合分析，生成备份评估指数，并将备份评估指数传递至异常感知单元；

服务器将经过处理后的数据读写速率异常隐匿系数V^DX、数据任务队列传输系数B^YS以及数据写入速率异常变动系数Vτ^XR后，建立数据分析模型，生成备份评估指数依据的公式为：/>式中，f1、f2、f3分别为数据读写速率异常隐匿系数V^DX、数据任务队列传输系数B^YS、数据写入速率异常变动系数Vτ^XR的预设比例系数，且f1、f2、f3均大于0；

由计算公式可知，云容备份系统进行数据备份时在T时间内生成的数据读写速率异常隐匿系数越大、数据任务队列传输系数越小、数据写入速率异常变动系数越大，即云容备份系统进行数据备份时在T时间内生成的备份评估指数的表现值越大，表明数据备份不完整或丢失的隐患越大，反之则表明数据备份不完整或丢失的隐患越小；

需要说明的是，上述T时间的选取为一个时间较为短暂的时间段，时间段内的时间在此不做具体的限定，可根据实际情况进行设定，其目的是监测云容备份系统进行数据备份时在T时间内的情况，从而通过此方式对云容备份系统进行数据备份时在不同时段(T时间内)内的备份情况进行实时监测；

异常感知单元，将云容备份系统进行数据备份时生成的备份评估指数与预先设定的备份评估指数参考阈值进行比对分析，生成高异常备份信号或者低异常备份信号，并将信号传递至偶然异常排除单元；

异常感知单元将云容备份系统进行数据备份时生成的备份评估指数与预先设定的备份评估指数参考阈值进行比对分析，比对分析的结果如下：

若备份评估指数大于等于备份评估指数参考阈值，则通过异常感知单元生成高异常备份信号，并将信号传递至偶然异常排除单元，通过偶然异常排除单元进一步判断云容备份系统是否出现了偶然备份异常；

若备份评估指数小于备份评估指数参考阈值，则通过异常感知单元生成低异常备份信号，并将信号传递至偶然异常排除单元，不通过偶然异常排除单元进行任何指示；

偶然异常排除单元，接收到云容备份系统进行数据备份时生成的高异常备份信号后，将后续通过服务器生成的若干个备份评估指数建立分析集合进行综合分析，生成偶然异常信号或者非偶然异常信号，并将信号传递至预警单元，通过预警单元对非偶然异常信号发出预警提示；

偶然异常排除单元接收到云容备份系统进行数据备份时生成的高异常备份信号后，将后续通过服务器生成的若干个备份评估指数建立分析集合，并将分析集合标定为Z，则u表示分析集合内的备份评估指数的编号，u＝1、2、3、4、……、s，s为正整数；

通过分析集合内的若干个备份评估指数求出备份评估指数平均值和备份评估指数标准差(备份评估指数平均值和备份评估指数标准差的详细计算请参考数据写入速率标准差和数据写入速率平均值，在此不做具体的计算详述)，并将备份评估指数平均值和备份评估指数标准差分别与预先设定的备份评估指数参考阈值和预先设定的标准差参考阈值进行比对分析，比对分析的结果如下：

若备份评估指数平均值小于备份评估指数参考阈值并且备份评估指数标准差小于标准差参考阈值，则通过偶然异常排除单元生成偶然异常信号，并将传递至预警单元，不通过预警单元对偶然异常信号发出预警提示；

若备份评估指数平均值小于备份评估指数参考阈值并且备份评估指数标准差大于等于标准差参考阈值、或者备份评估指数平均值大于等于备份评估指数参考阈值，则通过偶然异常排除单元生成非偶然异常信号，并将传递至预警单元，通过预警单元对非偶然异常信号发出预警提示；

云容恢复模块，从备份存储模块中恢复数据，包括完全恢复、部分恢复或单个文件恢复；

本发明通过对云容备份系统进行数据备份时的过程进行监测，当系统进行数据备份时存在数据备份不完整或者丢失的异常隐患时，发出预警提示，提示备份人员知晓该情况，并采取相关措施提前应对处理，确保系统进行数据备份时的数据完整性，从而在数据丢失可通过系统恢复最新的数据版本，避免因数据备份不完整对业务造成重大损害；

本发明在感知到系统进行数据备份时存在异常隐患时，对系统进行数据备份的过程进行综合分析，当系统进行数据备份出现偶然性异常时，不发出预警提示，避免系统因偶然备份异常导致的频繁预警，保证系统对数据备份过程监测的准确性。

本发明提供了如图2所示的一种面向大数据的云容灾备份方法，包括以下步骤：

从数据源中读取需要备份的数据，将需要备份的数据进行压缩和加密后根据备份策略，自动化地执行备份作业，将数据转换为备份格式，并在备份之前对数据进行压缩；

采集云容灾备份系统进行备份数据采集时的性能度量信息，采集后，将性能度量信息处理后上传至服务器；

将压缩后的备份数据存储在云存储平台中，并维护备份数据的目录结构和元数据；

采集云容灾备份系统将压缩后的备份数据存储在云存储平台时的云储存信息，采集后，将云储存信息处理后上传至服务器；

将云容备份系统进行数据备份时经过处理后的性能度量信息和经过处理后的云储存信息进行综合分析，生成备份评估指数，将云容备份系统进行数据备份时生成的备份评估指数与预先设定的备份评估指数参考阈值进行比对分析，生成高异常备份信号或者低异常备份信号；

接收到云容备份系统进行数据备份时生成的高异常备份信号后，将后续通过服务器生成的若干个备份评估指数建立分析集合进行综合分析，生成偶然异常信号或者非偶然异常信号，并对非偶然异常信号发出预警提示；

从备份存储模块中恢复数据，包括完全恢复、部分恢复或单个文件恢复；

本发明实施例提供的一种面向大数据的云容灾备份方法，通过上述一种面向大数据的云容灾备份系统来实现，一种面向大数据的云容灾备份方法的具体方法和流程详见上述一种面向大数据的云容灾备份系统的实施例，此处不再赘述。

上述公式均是去量纲取其数值计算，公式是由采集大量数据进行软件模拟得到最近真实情况的一个公式，公式中的预设参数由本领域的技术人员根据实际情况进行设置。

应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种面向大数据的云容灾备份系统，其特征在于，包括备份数据采集模块、第一采集单元、备份引擎模块、备份存储模块、第二采集单元、服务器、异常感知单元、偶然异常排除单元、预警单元以及云容恢复模块；

备份数据采集模块，与数据源建立连接，从数据源中读取需要备份的数据，将需要备份的数据进行压缩和加密后传递至备份引擎模块；

第一采集单元，采集云容灾备份系统进行备份数据采集时的性能度量信息，采集后，将性能度量信息处理后上传至服务器；

备份引擎模块，根据备份策略，自动化地执行备份作业，将数据转换为备份格式，并在备份之前对数据进行压缩，并将压缩后的数据传递至备份存储模块；

备份存储模块，将压缩后的备份数据存储在云存储平台中，并维护备份数据的目录结构和元数据；

第二采集单元，采集云容灾备份系统将压缩后的备份数据存储在云存储平台时的云储存信息，采集后，将云储存信息处理后上传至服务器；

服务器，将云容备份系统进行数据备份时经过处理后的性能度量信息和经过处理后的云储存信息进行综合分析，生成备份评估指数，并将备份评估指数传递至异常感知单元；

异常感知单元，将云容备份系统进行数据备份时生成的备份评估指数与预先设定的备份评估指数参考阈值进行比对分析，生成高异常备份信号或者低异常备份信号，并将信号传递至偶然异常排除单元；

偶然异常排除单元，接收到云容备份系统进行数据备份时生成的高异常备份信号后，将后续通过服务器生成的若干个备份评估指数建立分析集合进行综合分析，生成偶然异常信号或者非偶然异常信号，并将信号传递至预警单元，通过预警单元对非偶然异常信号发出预警提示；

云容恢复模块，从备份存储模块中恢复数据，包括完全恢复、部分恢复或单个文件恢复。

2.根据权利要求1所述的一种面向大数据的云容灾备份系统，其特征在于，云容灾备份系统进行备份数据采集时的性能度量信息包括数据读写速率异常隐匿系数和数据任务队列传输系数，云容灾备份系统将压缩后的备份数据存储在云存储平台时的云储存信息包括数据写入速率异常变动系数，采集后，通过第一采集单元将数据读写速率异常隐匿系数和数据任务队列传输系数分别标定为V^DX和B^YS，将数据写入速率异常变动系数标定为Vτ^XR。

3.根据权利要求2所述的一种面向大数据的云容灾备份系统，其特征在于，数据读写速率异常隐匿系数获取的逻辑如下：

S101、获取云容灾备份系统进行备份数据采集时的最佳数据读写速率范围，并将最佳数据读写速率范围标定为V^DX _min～V^DX _max；

S102、获取云容灾备份系统进行备份数据采集时在T时间内若干个时段的实际数据读写速率，并将实际数据读写速率标定为V^DX _x，x表示云容灾备份系统进行备份数据采集时在T时间内若干个时段的实际数据读写速率的编号，x＝1、2、3、4、……、m，m为正整数；

S103、计算数据读写速率异常隐匿系数，计算的表达式为： m表示云容灾备份系统进行备份数据采集时在T时间内获取的实际数据读写速率的总数量，x′表示云容灾备份系统进行备份数据采集时在T时间内获取不处于最佳数据读写速率范围之间的实际数据读写速率的编号，x′＝1、2、3、4、……、m′，m′为正整数。

4.根据权利要求3所述的一种面向大数据的云容灾备份系统，其特征在于，数据任务队列传输系数获取的逻辑如下：

S201、获取云容灾备份系统对备份数据进行传输时在T时间内的任务队列实时积压率情况，并将任务队列实时积压率标定为B(t)；

S202、计算数据任务队列传输系数，计算的表达式为： 式中，[t₁，t₂]为备份数据传输已完成的时段，[t₃，t₄]为等待备份数据传输的时段，t₁<t₂，t₃<t₄。

5.根据权利要求4所述的一种面向大数据的云容灾备份系统，其特征在于，数据写入速率异常变动系数获取的逻辑如下：

S301、获取云容灾备份系统将压缩后的备份数据存储在云存储平台时在T时间内若干个时段内的实际数据写入速率，并将实际数据写入速率标定为Vτ^XR _y，y表示云容灾备份系统将压缩后的备份数据存储在云存储平台时在T时间内若干个时段内的实际数据写入速率的编号，y＝1、2、3、4、……、n，n为正整数；

S302、通过云容灾备份系统将压缩后的备份数据存储在云存储平台时在T时间内生成的实际数据写入速率计算数据写入速率变异系数，计算的表达式为：Vτ＝τ1/τ2，式中，τ1表示数据写入速率标准差，τ2表示数据写入速率平均值，

S303、计算数据写入速率异常变动系数，计算的表达式为：Vτ^XR＝Vτ*2^Vτ+1。

6.根据权利要求5所述的一种面向大数据的云容灾备份系统，其特征在于，服务器将经过处理后的数据读写速率异常隐匿系数V^DX、数据任务队列传输系数B^YS以及数据写入速率异常变动系数Vτ^XR后，建立数据分析模型，生成备份评估指数依据的公式为： 式中，f1、f2、f3分别为数据读写速率异常隐匿系数V^DX、数据任务队列传输系数B^YS、数据写入速率异常变动系数Vτ^XR的预设比例系数，且f1、f2、f3均大于0。

7.根据权利要求6所述的一种面向大数据的云容灾备份系统，其特征在于，异常感知单元将云容备份系统进行数据备份时生成的备份评估指数与预先设定的备份评估指数参考阈值进行比对分析，比对分析的结果如下：

若备份评估指数大于等于备份评估指数参考阈值，则通过异常感知单元生成高异常备份信号，并将信号传递至偶然异常排除单元，通过偶然异常排除单元进一步判断云容备份系统是否出现了偶然备份异常；

若备份评估指数小于备份评估指数参考阈值，则通过异常感知单元生成低异常备份信号，并将信号传递至偶然异常排除单元，不通过偶然异常排除单元进行任何指示。

8.根据权利要求7所述的一种面向大数据的云容灾备份系统，其特征在于，偶然异常排除单元接收到云容备份系统进行数据备份时生成的高异常备份信号后，将后续通过服务器生成的若干个备份评估指数建立分析集合，并将分析集合标定为Z，则u表示分析集合内的备份评估指数的编号，u＝1、2、3、4、……、s，s为正整数；

通过分析集合内的若干个备份评估指数求出备份评估指数平均值和备份评估指数标准差，并将备份评估指数平均值和备份评估指数标准差分别与预先设定的备份评估指数参考阈值和预先设定的标准差参考阈值进行比对分析，比对分析的结果如下：

若备份评估指数平均值小于备份评估指数参考阈值并且备份评估指数标准差小于标准差参考阈值，则通过偶然异常排除单元生成偶然异常信号，并将传递至预警单元，不通过预警单元对偶然异常信号发出预警提示；

若备份评估指数平均值小于备份评估指数参考阈值并且备份评估指数标准差大于等于标准差参考阈值、或者备份评估指数平均值大于等于备份评估指数参考阈值，则通过偶然异常排除单元生成非偶然异常信号，并将传递至预警单元，通过预警单元对非偶然异常信号发出预警提示。

9.一种面向大数据的云容灾备份方法，通过权利要求1-8中任意一项所述的一种面向大数据的云容灾备份系统来实现，其特征在于，包括以下步骤：

从数据源中读取需要备份的数据，将需要备份的数据进行压缩和加密后根据备份策略，自动化地执行备份作业，将数据转换为备份格式，并在备份之前对数据进行压缩；

采集云容灾备份系统进行备份数据采集时的性能度量信息，采集后，将性能度量信息处理后上传至服务器；

将压缩后的备份数据存储在云存储平台中，并维护备份数据的目录结构和元数据；

采集云容灾备份系统将压缩后的备份数据存储在云存储平台时的云储存信息，采集后，将云储存信息处理后上传至服务器；

将云容备份系统进行数据备份时经过处理后的性能度量信息和经过处理后的云储存信息进行综合分析，生成备份评估指数，将云容备份系统进行数据备份时生成的备份评估指数与预先设定的备份评估指数参考阈值进行比对分析，生成高异常备份信号或者低异常备份信号；

接收到云容备份系统进行数据备份时生成的高异常备份信号后，将后续通过服务器生成的若干个备份评估指数建立分析集合进行综合分析，生成偶然异常信号或者非偶然异常信号，并对非偶然异常信号发出预警提示；

从备份存储模块中恢复数据，包括完全恢复、部分恢复或单个文件恢复。