CN117472652A - 一种云计算运维平台的数据备份方法、装置及系统 - Google Patents
一种云计算运维平台的数据备份方法、装置及系统 Download PDFInfo
- Publication number
- CN117472652A CN117472652A CN202311639163.XA CN202311639163A CN117472652A CN 117472652 A CN117472652 A CN 117472652A CN 202311639163 A CN202311639163 A CN 202311639163A CN 117472652 A CN117472652 A CN 117472652A
- Authority
- CN
- China
- Prior art keywords
- data
- backup
- cloud computing
- backed
- idle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012423 maintenance Methods 0.000 title claims abstract description 94
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012216 screening Methods 0.000 claims abstract description 17
- 238000004590 computer program Methods 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 9
- 238000011084 recovery Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 7
- 238000013515 script Methods 0.000 claims description 6
- 238000012986 modification Methods 0.000 claims description 5
- 230000004048 modification Effects 0.000 claims description 5
- 230000000737 periodic effect Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/90335—Query processing
- G06F16/90348—Query processing by searching ordered data, e.g. alpha-numerically ordered data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9035—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/906—Clustering; Classification
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种云计算运维平台的数据备份方法、装置、系统及计算机可读存储介质，对各数据类型存在修改的数据分别进行记录，生成包括多个待备份数据的数据集，并统计所述待备份数据的数据量；分别确定为备份待备份数据所需要的备份期望时长；在预期的空闲时段中任意一个空闲时段开始时，判断云计算运维平台的负载是否空闲；如果空闲，则在待备份数据中筛选出目标时长小于当前空闲时段时长的数据；对筛选出的数据按照优先级顺序依次进行备份。本申请可以自动在筛选出的稳定空闲时段进行周期性的重要数据的备份，提高了备份效率，并减少了人为错误。同时，该方法还可以保证备份数据的完整性和可恢复性，提高了业务连续性和数据安全性。
Description
技术领域
本发明涉及云计算运维技术领域，尤其涉及一种云计算运维平台的数据备份方法、装置、系统及计算机可读存储介质。
背景技术
随着技术的发展，云计算技术得到了广泛应用。针对不同场景，研发人员开发了各种云产品，通过云计算运维平台能够更高效地进行产品部署。在云计算环境下，及时备份重要数据以及定期完整备份数据，可以确保数据安全和业务连续性。当发生灾难、事故或恶意操作时，及时进行数据备份能够快速恢复数据。
然而，现有技术中，传统的手动备份方式效率低且容易出错。现有的数据备份策略往往会影响云计算运维平台的正常业务流程，或备份过程很容易被打断，也不适用于云计算运维平台数据所具有的数据量大、种类多、使用频繁、业务流程不能中断的特点。因此，急需一种自动化的数据备份方法，来提高备份效率、减少人为错误，并且不影响云计算运维平台正常的产品交付工作和其他业务流程。
发明内容
鉴于以上现有技术的不足，发明的目的在于提供一种云计算运维平台的数据备份方法、装置、系统以及计算机可读存储介质，旨在提高备份效率、减少人为错误，同时不影响云计算运维平台正常的产品交付工作和其他业务流程。
第一方面，本申请提供了一种云计算运维平台的数据备份方法，包括：
对备份周期内各数据类型存在修改的数据分别进行记录，生成包括多个待备份数据的数据集D{d1,d2,d3,…,dn}，并统计所述待备份数据的数据量x；
依据所述待备份数据的数据量x，分别确定为备份所述待备份数据所需要的备份期望时长t{t1,t2,…,tn}；
在预期的空闲时段T{T1,T2,…,Tn}中任意一个空闲时段开始时，判断所述云计算运维平台的负载是否空闲；其中，所述预期的空闲时段为预先根据所述云计算运维平台的负载数据筛选出每个备份周期中空闲概率最大的多个空闲时段；
如果所述云计算运维平台的负载空闲，则在所述待备份数据中筛选出目标时长小于当前空闲时段时长的数据；所述目标时长为备份期望时长t{t1,t2,…,tn}乘以预设数值；
对筛选出的数据按照优先级顺序依次进行备份。
可选地，所述依据所述待备份数据的数据量x，分别确定备份所述待备份数据所需要的备份期望时长t{t1,t2,…,tn}包括：
确定所述云计算运维平台的数据磁盘的平均可用传输速度s；
将所述待备份数据的数据量x除以所述平均可用传输速度s，确定各各所述待备份数据的备份期望时长t{t1,t2,…,tn}。
可选地，在所述对筛选出的数据按照优先级顺序依次进行备份之前还包括：
依据重要性衡量指标以及数据类型分级情况，将所述待备份数据按照优先级顺序进行排序；
其中，所述重要性衡量指标包括数据缺失对所述云计算运维平台运行的影响程度、数据缺失对对用户服务的影响程度、恢复难度、恢复成本的；重要性衡量指标越重要对应的优先级顺序越高；所述数据类型分级情况分为三级，第一级包括工程信息以及用户信息；第二级包括镜像文件、部署脚本以及平台程序；第三级包括日志数据；第一级对应的优先级最高，其次为第二级，最后为第三级。
可选地，对备份周期内各数据类型存在修改的数据分别进行记录之前还包括：
在一个预采样期内，对云计算运维平台的负载数据进行记录；
根据记录的负载数据筛选出每个备份周期中空闲概率最大的多个空闲时段T{T1,T2,…,Tn}；
其中，将云计算运维平台中CPU负载低于预设第一阈值，内存利用率低于预设第二阈值、数据磁盘的I/O负载低于预设第三阈值、部署云计算交付工具平台访问量低于预设第四阈值的时段确定为空闲时段。
可选地，在所述依据所述待备份数据的数据量x，分别确定为备份所述待备份数据所需要的备份期望时长t{t1,t2,…,tn}之后还包括：
依据所述待备份数据的备份期望时长t{t1,t2,…,tn}，确定其中的最小值t_min；
将预期的空闲时段T{T1,T2,…,Tn}中的每一个与所述最小值t_min进行比较，将预期的空闲时段中小于所述最小值t_min的时段进行剔除，得到本周期可用空闲时段T{Tx,Ty,…}。
可选地，所述在所述待备份数据中筛选出目标时长小于当前空闲时段时长的数据包括：
在所述待备份数据中筛选出目标时长小于本周期可用空闲时段时长的数据。
可选地，所述预设数值为110％。
第二方面，本申请还提供了一种云计算运维平台的数据备份装置，包括：
记录模块，被配置为对备份周期内各数据类型存在修改的数据分别进行记录，生成包括多个待备份数据的数据集D{d1,d2,d3,…,dn}，并统计所述待备份数据的数据量x；
确定模块，被配置为依据所述待备份数据的数据量x，分别确定为备份所述待备份数据所需要的备份期望时长t{t1,t2,…,tn}；
判断模块，被配置为在预期的空闲时段T{T1,T2,…,Tn}中任意一个空闲时段开始时，判断所述云计算运维平台的负载是否空闲；其中，所述预期的空闲时段为预先根据所述云计算运维平台的负载数据筛选出每个备份周期中空闲概率最大的多个空闲时段；
筛选模块，被配置为如果所述云计算运维平台的负载空闲，则在所述待备份数据中筛选出目标时长小于当前空闲时段时长的数据；所述目标时长为备份期望时长t{t1,t2,…,tn}乘以预设数值；
备份模块，被配置为对筛选出的数据按照优先级顺序依次进行备份。
第三方面，本申请还提供了一种云计算运维平台的数据备份系统，包括：
至少一个处理器；以及
存储有计算机程序的至少一个存储器；
其中，当所述计算机程序由所述至少一个处理器执行时，使得所述云计算运维平台的数据备份系统执行根据上述任一种所述的云计算运维平台的数据备份方法的步骤。
第四方面，本申请还提供了一种存储有计算机程序的计算机可读存储介质，其中，所述计算机程序在由处理器执行时实现上述任一种所述的云计算运维平台的数据备份方法的步骤。
本发明有益效果如下：
本发明所述的云计算运维平台的数据备份方法，通过对云计算运维平台数据进行重要性分类，可以自动在筛选出的稳定空闲时段进行周期性的重要数据的备份，并根据时段的时长进行所备份数据的调整，提高了备份效率，并减少了人为错误。同时，该方法还可以保证备份数据的完整性和可恢复性，提高了业务连续性和数据安全性。此外，本申请还提供了一种具有上述技术效果的云计算运维平台的数据备份装置、系统及计算机可读存储介质。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本申请所提供的云计算运维平台的数据备份方法的一种具体实施方式的流程图；
图2为本申请所提供的云计算运维平台的数据备份方法的另一种具体实施方式的流程图；
图3为本申请提供的对数据进行重要性分级的示意图；
图4为本申请所提供的云计算运维平台的数据备份装置的结构框图；
图5为本申请所提供的云计算运维平台的数据备份系统的结构框图。
具体实施方式
为了使本领域的人员更好地理解本发明实施例中的技术方案，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。应该理解，这些描述只是示例性的，并非用于限定本发明的范围。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明公开的概念。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的方法和系统的例子。
可以理解的是，本申请中云计算运维平台(Cloud Computing Operation andMaintenance Platform)是指能够自动进行云计算产品交付的平台。其中，云计算(CloudComputing)是一种通过互联网按需访问计算资源的技术，这些资源包括应用程序、服务器(物理服务器和虚拟服务器)、数据存储、开发工具、网络功能等。此外，数据备份是容灾的基础，是指为防止系统出现操作失误或系统故障导致数据丢失，而将全部或部分数据集合从应用主机的硬盘或阵列复制到其它的存储介质的过程。
本申请的一个具体实施例提供了一种云计算运维平台的数据备份方法，如图1本申请所提供的云计算运维平台的数据备份方法的一种具体实施方式的流程图所示，该方法具体包括：
S101：对备份周期内各数据类型存在修改的数据分别进行记录，生成包括多个待备份数据的数据集D{d1,d2,d3,…,dn}，并统计所述待备份数据的数据量x。
备份周期是指进行数据备份的时间间隔。在云计算环境下，备份周期通常根据业务需求和数据重要性来确定。较为常见的备份周期包括每日备份、每周备份或者每月备份。
备份周期的选择可以综合考虑数据的重要性、变更频率、存储成本以及业务需求等因素，并确保能够在发生数据丢失或灾难情况下快速恢复数据。
数据类型可以包括但不限于工程信息、用户信息、镜像文件、部署脚本、平台程序、日志数据等数据。针对不同的数据类型，通过监控其存在修改的数据进行记录，得到待备份数据。
S102：依据所述待备份数据的数据量x，分别确定为备份所述待备份数据所需要的备份期望时长t{t1,t2,…,tn}。
具体地，可以采用如下方式来确定为备份所述待备份数据所需要的备份期望时长t{t1,t2,…,tn}：确定所述云计算运维平台的数据磁盘的平均可用传输速度s；将所述待备份数据的数据量x除以所述平均可用传输速度s，确定各各所述待备份数据的备份期望时长t{t1,t2,…,tn}。
具体地，可以收集和显示资源的使用情况，通过配置和分析云监控工具的指标和日志，获得数据磁盘的传输速度信息。
S103：在预期的空闲时段T{T1,T2,…,Tn}中任意一个空闲时段开始时，判断所述云计算运维平台的负载是否空闲。
其中，所述预期的空闲时段为预先根据所述云计算运维平台的负载数据筛选出每个备份周期中空闲概率最大的多个空闲时段。
作为一种具体实施方式，预期的空闲时段可以采用如下方式得到：在一个预采样期内，对云计算运维平台的负载数据进行记录；根据记录的负载数据筛选出每个备份周期中空闲概率最大的多个空闲时段T{T1,T2,…,Tn}。
一个预采样期可以根据需要设置，例如为一周。通过对云计算平台上的预采样期内的实际使用情况数据进行分析和统计，找出在哪些时间段内出现了持续的空闲情况。这可以通过监测用户的活动模式、资源利用率等指标来实现。
作为一种具体实施方式，将云计算运维平台中CPU负载低于预设第一阈值，内存利用率低于预设第二阈值、数据磁盘的I/O负载低于预设第三阈值、部署云计算交付工具平台访问量低于预设第四阈值的时段确定为空闲时段。
S104：如果所述云计算运维平台的负载空闲，则在所述待备份数据中筛选出目标时长小于当前空闲时段时长的数据；所述目标时长为备份期望时长t{t1,t2,…,tn}乘以预设数值。
作为一种具体实施方式，所述预设数值为考虑当日新增数据量的比例系数确定得到。一个示例可以为110％，这是由于经统计从0时到当天的任意时段，待备份数据量的增值不会达到10％。
S105：对筛选出的数据按照优先级顺序依次进行备份。
在所述对筛选出的数据按照优先级顺序依次进行备份之前，依据重要性衡量指标以及数据类型分级情况，将所述待备份数据按照优先级顺序进行排序。
其中，所述重要性衡量指标包括数据缺失对所述云计算运维平台运行的影响程度、数据缺失对对用户服务的影响程度、恢复难度、恢复成本的；重要性衡量指标越重要对应的优先级顺序越高。作为一种具体实施方式，所述数据类型的分级情况可以分为三级，第一级包括工程信息以及用户信息；第二级包括镜像文件、部署脚本以及平台程序；第三级包括日志数据；第一级对应的优先级最高，其次为第二级，最后为第三级。可以理解的是，以上分级仅为一种具体示例，在实际的情况下，针对不同数据类型可以定义多个数据分级，并不限于这里示出的三级，并且也可以根据需要指定不同的划分规则，将数据类型划分到不同的数据分级中，这均不影响本申请的实现。
在上述步骤筛选出的多个数据均满足时，按照预先确定的优先级顺序进行备份，先备份优先级最高的，依次进行备份。
本发明所述的云计算运维平台的数据备份方法，通过对云计算运维平台数据进行重要性分类，可以自动在筛选出的稳定空闲时段进行周期性的重要数据的备份，并根据时段的时长进行所备份数据的调整，提高了备份效率，并减少了人为错误。同时，该方法还可以保证备份数据的完整性和可恢复性，提高了业务连续性和数据安全性。
本申请所提供的云计算运维平台的数据备份方法的另一种具体实施方式的流程图如图2所示，其具体包括：
S201：在一个预采样期内，对云计算运维平台的负载数据以及待备份数据的数据类型进行记录。
在一个预采样期内，对云计算运维平台进行数据监控。针对负载数据可以记录平台负载情况，包括但不限于GPU负载、内存利用率、数字磁盘的I/O负载、所部署云计算交付工具平台的访问量或在线用户数。针对待备份数据的数据类型进行统计，可以具体为对云计算运维平台日常所需备份的数据类型进行收集，得到数据集D{d1,d2,d3,…,dn}。
数据类型可以包括但不限于工程信息、用户信息、镜像文件、部署脚本、平台程序、日志数据等数据。
其中，预采样期可以选为一周，或者其他时间段，这均不影响本申请的实现。
S202：根据记录的负载数据筛选出每个备份周期中空闲概率最大的多个空闲时段T{T1,T2,…,Tn}。
根据记录的CPU、内存、I/O等负载数据筛选空闲时段，空闲时段的确定可以根据平台具体情况设定。作为一个具体实施方式，该确定方法包括但不限于将云计算运维平台中CPU负载低于预设第一阈值，和内存利用率低于预设第一第二阈值、数据磁盘的I/O负载低于预设第二第三阈值、部署云计算交付工具平台访问量低于预设第三第四阈值的时段确定为空闲时段。例如，在CPU负载低于30％，内存利用率低于50％、数据磁盘的I/O负载低于50％、所部署云计算交付工具平台访问量低于设定最大访问量20％时，计算得到每个备份周期空闲的时间段概率最大的若干空闲时段T{T1,T2,…,Tn}。
其中，备份周期可以是一天或一周等，在此不做限定。
S203：依据重要性衡量指标以及数据类型分级情况，将所述待备份数据按照优先级顺序进行排序。
参照图3本申请提供的对数据进行重要性分级的示意图，对D{d1,d2,d3,…,dn}中的数据类型进行重要性分级，重要性衡量指标包括数据缺失对所述云计算运维平台运行的影响程度、数据缺失对对用户服务的影响程度、恢复难度、恢复成本的；重要性衡量指标越重要对应的优先级顺序越高；所述数据类型分级情况分为待备份数据被分级为三级，第一级包括工程信息以及用户信息；第二级包括镜像文件、部署脚本以及平台程序；第三级包括日志数据；第一级对应的优先级最高，其次为第二级，最后为第三级。
S204:对备份周期内各数据类型存在修改的数据分别进行记录，生成包括多个待备份数据的数据集D{d1,d2,d3,…,dn}，并统计所述待备份数据的数据量x。
在备份周期开始后，如果上个周期的数据有修改则进行数据的记录和数据量的统计，待备份数据记为Dn，数据量记为x。
例如，可以选择每天零时为备份周期开始时间点，如果数据库中的工程信息以及镜像文件对应的数据从上次备份到现在存在修改，则进行数据的记录和数据量的统计。例如，数据记为D1(工程信息)，D2(镜像文件)。
S205：依据所述待备份数据的数据量x，分别确定为备份所述待备份数据所需要的备份期望时长t{t1,t2,…,tn}。
该过程中，可以确定所述云计算运维平台的数据磁盘的平均可用传输速度s；将所述待备份数据的数据量x除以所述平均可用传输速度s，确定各各所述待备份数据的备份期望时长t{t1,t2,…,tn}。磁盘的平均可用传输速度s的单位MB/S，表示可用于备份的速度。
S206：依据所述待备份数据的备份期望时长t{t1,t2,…,tn}，确定其中的最小值t_min；将预期的空闲时段T{T1,T2,…,Tn}中的每一个与所述最小值t_min进行比较，将预期的空闲时段中小于所述最小值t_min的时段进行剔除，得到本周期可用空闲时段T{Tx,Ty,…}。
S207：在预期的空闲时段T{T1,T2,…,Tn}中任意一个空闲时段开始时，判断所述云计算运维平台的负载是否空闲。
对T中的每个时间段，在其开始时对云计算运维平台进行负载判断，若该云计算运维平台处于上述定义的空闲时段，则继续执行下述流程。
S208：如果负载空闲，在所述待备份数据中筛选出目标时长小于本周期可用空闲时段时长的数据。
在Dn中寻找t{t1,t2,43，t4，t5}×预设数值后时长小于本周期可用空闲时段时长的数据。预设数值可以为110％。该数值的确定是考虑当日新增数据量的比例系数。经统计从0时到当天的任意时段，待备份数据量的增值不会达到10％。
S209：对筛选出的数据按照优先级顺序依次进行备份。
若有多个数据都满足，则按照优先级次序，先选择优先级高的数据进行备份。
本申请实施例采用周期的方式进行自动化的时段检测、数据选取和备份，能够将云计算运维平台中更新的重要数据及时进行完整的备份。通过重要性分级，不同级别的数据对应不同的备份策略，因此能找到最有备份价值的数据，避免普通增量式备份数据过多的问题。另外，通过空闲状态的定义和监测，通过监控一段时间内的忙闲情况，得到处于空闲概率最高的时间段，在这些时间段进行数据备份，能够保证数据的完整备份，同时最大程度避免对平台正常业务的影响。因此，针对云计算运维平台数据海量、更新频率高且业务不便被打断的特点，本申请能够保障云计算运维平台业务完整性、数据安全性、备份的及时性。
此外，本申请还提供了一种云计算运维平台的数据备份装置，如图4本申请所提供的云计算运维平台的数据备份装置的结构框图所示，该装置具体包括：
记录模块401，被配置为对备份周期内各数据类型存在修改的数据分别进行记录，生成包括多个待备份数据的数据集D{d1,d2,d3,…,dn}，并统计所述待备份数据的数据量x。
确定模块402，被配置为依据所述待备份数据的数据量x，分别确定为备份所述待备份数据所需要的备份期望时长t{t1,t2,…,tn}。
判断模块403，被配置为在预期的空闲时段T{T1,T2,…,Tn}中任意一个空闲时段开始时，判断所述云计算运维平台的负载是否空闲；其中，所述预期的空闲时段为预先根据所述云计算运维平台的负载数据筛选出每个备份周期中空闲概率最大的多个空闲时段。
筛选模块404，被配置为如果所述云计算运维平台的负载空闲，则在所述待备份数据中筛选出目标时长小于当前空闲时段时长的数据；所述目标时长为备份期望时长t{t1,t2,…,tn}乘以预设数值。
备份模块405，被配置为对筛选出的数据按照优先级顺序依次进行备份。
此外，本申请还提供了一种云计算运维平台的数据备份系统，如图5本申请所提供的云计算运维平台的数据备份系统的结构框图所示，该系统具体包括：
至少一个处理器501；以及存储有计算机程序的至少一个存储器502。
其中，当所述计算机程序由所述至少一个处理器501执行时，使得所述云计算运维平台的数据备份系统执行上述任一种所述的云计算运维平台的数据备份方法的步骤。
此外，本申请还提供了一种存储有计算机程序的计算机可读存储介质，其中，所述计算机程序在由处理器执行时实现上述任一种所述的云计算运维平台的数据备份方法的步骤。
可以理解的是，本申请所提供的云计算运维平台的数据备份装置、系统以及计算机可读存储介质的具体实施过程可以参照上述云计算运维平台的数据备份方法中介绍的具体实施过程，在此不再赘述。
本申请通过对云计算运维平台数据进行重要性分类，可以自动在筛选出的稳定空闲时段进行周期性的重要数据的备份，并根据时段的时长进行所备份数据的调整，提高了备份效率，并减少了人为错误。同时，该方法还可以保证备份数据的完整性和可恢复性，提高了业务连续性和数据安全性。
最后应说明的是，以上实施例仅用以说明本发明实施例的技术方案，而非对其限制。尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，任何熟悉本技术领域的技术人员在本发明公开的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种云计算运维平台的数据备份方法，其特征在于，包括：
对备份周期内各数据类型存在修改的数据分别进行记录，生成包括多个待备份数据的数据集D{d1,d2,d3,…,dn}，并统计所述待备份数据的数据量x；
依据所述待备份数据的数据量x，分别确定为备份所述待备份数据所需要的备份期望时长t{t1,t2,…,tn}；
在预期的空闲时段T{T1,T2,…,Tn}中任意一个空闲时段开始时，判断所述云计算运维平台的负载是否空闲；其中，所述预期的空闲时段为预先根据所述云计算运维平台的负载数据筛选出每个备份周期中空闲概率最大的多个空闲时段；
如果所述云计算运维平台的负载空闲，则在所述待备份数据中筛选出目标时长小于当前空闲时段时长的数据；所述目标时长为备份期望时长t{t1,t2,…,tn}乘以预设数值；
对筛选出的数据按照优先级顺序依次进行备份。
2.根据权利要求1所述的云计算运维平台的数据备份方法，其特征在于，所述依据所述待备份数据的数据量x，分别确定备份所述待备份数据所需要的备份期望时长t{t1,t2,…,tn}包括：
确定所述云计算运维平台的数据磁盘的平均可用传输速度s；
将所述待备份数据的数据量x除以所述平均可用传输速度s，确定各各所述待备份数据的备份期望时长t{t1,t2,…,tn}。
3.根据权利要求1所述的云计算运维平台的数据备份方法，其特征在于，在所述对筛选出的数据按照优先级顺序依次进行备份之前还包括：
依据重要性衡量指标以及数据类型分级情况，将所述待备份数据按照优先级顺序进行排序；
其中，所述重要性衡量指标包括数据缺失对所述云计算运维平台运行的影响程度、数据缺失对对用户服务的影响程度、恢复难度、恢复成本的；重要性衡量指标越重要对应的优先级顺序越高；所述数据类型分级情况分为三级，第一级包括工程信息以及用户信息；第二级包括镜像文件、部署脚本以及平台程序；第三级包括日志数据；第一级对应的优先级最高，其次为第二级，最后为第三级。
4.根据权利要求1所述的云计算运维平台的数据备份方法，其特征在于，对备份周期内各数据类型存在修改的数据分别进行记录之前还包括：
在一个预采样期内，对云计算运维平台的负载数据进行记录；
根据记录的负载数据筛选出每个备份周期中空闲概率最大的多个空闲时段T{T1,T2,…,Tn}；
其中，将云计算运维平台中CPU负载低于预设第一阈值，内存利用率低于预设第二阈值、数据磁盘的I/O负载低于预设第三阈值、部署云计算交付工具平台访问量低于预设第四阈值的时段确定为空闲时段。
5.根据权利要求1至4任一项所述的云计算运维平台的数据备份方法，其特征在于，在所述依据所述待备份数据的数据量x，分别确定为备份所述待备份数据所需要的备份期望时长t{t1,t2,…,tn}之后还包括：
依据所述待备份数据的备份期望时长t{t1,t2,…,tn}，确定其中的最小值t_min；
将预期的空闲时段T{T1,T2,…,Tn}中的每一个与所述最小值t_min进行比较，将预期的空闲时段中小于所述最小值t_min的时段进行剔除，得到本周期可用空闲时段T{Tx,Ty,…}。
6.根据权利要求5所述的云计算运维平台的数据备份方法，其特征在于，所述在所述待备份数据中筛选出目标时长小于当前空闲时段时长的数据包括：
在所述待备份数据中筛选出目标时长小于所述本周期可用空闲时段时长的数据。
7.根据权利要求5所述的云计算运维平台的数据备份方法，其特征在于，所述预设数值为110％。
8.一种云计算运维平台的数据备份装置，其特征在于，包括：
记录模块，被配置为对备份周期内各数据类型存在修改的数据分别进行记录，生成包括多个待备份数据的数据集D{d1,d2,d3,…,dn}，并统计所述待备份数据的数据量x；
确定模块，被配置为依据所述待备份数据的数据量x，分别确定为备份所述待备份数据所需要的备份期望时长t{t1,t2,…,tn}；
判断模块，被配置为在预期的空闲时段T{T1,T2,…,Tn}中任意一个空闲时段开始时，判断所述云计算运维平台的负载是否空闲；其中，所述预期的空闲时段为预先根据所述云计算运维平台的负载数据筛选出每个备份周期中空闲概率最大的多个空闲时段；
筛选模块，被配置为如果所述云计算运维平台的负载空闲，则在所述待备份数据中筛选出目标时长小于当前空闲时段时长的数据；所述目标时长为备份期望时长t{t1,t2,…,tn}乘以预设数值；
备份模块，被配置为对筛选出的数据按照优先级顺序依次进行备份。
9.一种云计算运维平台的数据备份系统，包括：
至少一个处理器；以及
存储有计算机程序的至少一个存储器；
其中，当所述计算机程序由所述至少一个处理器执行时，使得所述云计算运维平台的数据备份系统执行根据权利要求1至7中任一项所述的云计算运维平台的数据备份方法的步骤。
10.一种存储有计算机程序的计算机可读存储介质，其中，所述计算机程序在由处理器执行时实现根据权利要求1至7中任一项所述的云计算运维平台的数据备份方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311639163.XA CN117472652A (zh) | 2023-12-01 | 2023-12-01 | 一种云计算运维平台的数据备份方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311639163.XA CN117472652A (zh) | 2023-12-01 | 2023-12-01 | 一种云计算运维平台的数据备份方法、装置及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117472652A true CN117472652A (zh) | 2024-01-30 |
Family
ID=89636312
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311639163.XA Pending CN117472652A (zh) | 2023-12-01 | 2023-12-01 | 一种云计算运维平台的数据备份方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117472652A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117785491A (zh) * | 2024-02-28 | 2024-03-29 | 北京蓝耘科技股份有限公司 | 一种gpu云计算资源管理方法、系统及存储介质 |
-
2023
- 2023-12-01 CN CN202311639163.XA patent/CN117472652A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117785491A (zh) * | 2024-02-28 | 2024-03-29 | 北京蓝耘科技股份有限公司 | 一种gpu云计算资源管理方法、系统及存储介质 |
| CN117785491B (zh) * | 2024-02-28 | 2024-05-28 | 北京蓝耘科技股份有限公司 | 一种gpu云计算资源管理方法、系统及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6165886B2 (ja) | 動的ストレージサービスレベル・モニタリングの管理システムおよび方法 | |
| CN107656807B (zh) | 一种虚拟资源的自动弹性伸缩方法及装置 | |
| CN113051147A (zh) | 一种数据库集群的监控方法、装置、系统、以及设备 | |
| CN117472652A (zh) | 一种云计算运维平台的数据备份方法、装置及系统 | |
| CN111443867B (zh) | 一种数据存储方法、装置、设备及存储介质 | |
| CN101635651A (zh) | 一种网络日志数据管理方法、系统及装置 | |
| JP2009129134A (ja) | ストレージ管理システム、性能監視方法及び管理サーバ | |
| US20110145197A1 (en) | Storage system and method for operating storage system | |
| CN102231673A (zh) | 用于监控业务服务器的系统和方法 | |
| CN109918448A (zh) | 一种基于用户行为的云存储数据分级方法 | |
| CN113485999A (zh) | 数据清理方法、装置和服务器 | |
| CN112363886A (zh) | 数据库监控方法、系统、终端及存储介质 | |
| CN117666947A (zh) | 一种数据存储方法、装置、电子设备及计算机可读介质 | |
| CN117632897A (zh) | 动态扩缩容方法及装置 | |
| CN114595085A (zh) | 磁盘失效预测方法、预测模型训练方法、电子设备 | |
| CN110175100B (zh) | 一种存储盘故障预测方法及预测系统 | |
| CN109947730A (zh) | 元数据恢复方法、装置、分布式文件系统及可读存储介质 | |
| CN114281256A (zh) | 基于分布式存储系统的数据同步方法、装置、设备及介质 | |
| WO2024139333A1 (zh) | 存储集群运行状态的预测方法及装置 | |
| CN116414661B (zh) | 分布式存储的固态硬盘处理方法和装置 | |
| CN115145494B (zh) | 一种基于大数据时间序列分析的磁盘容量预测系统及方法 | |
| JP2001077813A (ja) | ネットワーク情報管理装置とネットワーク情報管理方法およびその処理プログラムを記録した記録媒体 | |
| US20160253591A1 (en) | Method and apparatus for managing performance of database | |
| CN110932935A (zh) | 资源控制方法、装置、设备及计算机存储介质 | |
| CN115993932A (zh) | 数据处理方法、装置、存储介质以及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |