CN116755939A - 一种基于系统资源的智能化数据备份任务规划方法及系统 - Google Patents
一种基于系统资源的智能化数据备份任务规划方法及系统 Download PDFInfo
- Publication number
- CN116755939A CN116755939A CN202311019788.6A CN202311019788A CN116755939A CN 116755939 A CN116755939 A CN 116755939A CN 202311019788 A CN202311019788 A CN 202311019788A CN 116755939 A CN116755939 A CN 116755939A
- Authority
- CN
- China
- Prior art keywords
- data
- backup
- storage
- backed
- partition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000005192 partition Methods 0.000 claims abstract description 150
- 238000012216 screening Methods 0.000 claims description 41
- 238000004458 analytical method Methods 0.000 claims description 32
- 238000012163 sequencing technique Methods 0.000 claims description 28
- 238000007477 logistic regression Methods 0.000 claims description 25
- 238000007405 data analysis Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012821 model calculation Methods 0.000 claims description 4
- 238000007476 Maximum Likelihood Methods 0.000 claims description 3
- 238000007726 management method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于系统资源的智能化数据备份任务规划方法及系统,涉及智能数据处理技术领域,包括:确定系统中各备份存储分区的存储状态;获取系统中所有待备份数据;基于系统中所有待备份数据进行分析,获取待备份数据的备份存储需求数据;确定每个待备份数据对应的备份存储分区;确定每一个备份存储分区对应的所有待备份数据的备份优先级;基于备份优先级数据进行数据备份任务排序。本发明的优点在于:根据系统中存储设备的运行状态结合待备份数据的属性进行智能化规划数据备份任务以保证系统运行数据保持最优的备份存储状态,有效的保证了系统进行备份任务规划时的智能性和合理性。
Description
技术领域
本发明涉及智能数据处理技术领域,具体是涉及一种基于系统资源的智能化数据备份任务规划方法及系统。
背景技术
计算机系统指用于数据库管理的计算机硬软件及网络系统。数据库系统需要大容量的主存以存放和运行操作系统、数据库管理系统程序、应用程序以及数据库、目录、系统缓冲区等,而辅存则需要大容量的直接存取设备。数据是计算机系统存在的原因和基础。
在系统运行过程中,为保证系统运行稳定性,通常需要对系统运行过程中产生的系统数据进行备份以避免数据丢失造成系统运行出错,因此数据备份是系统运行过程中的一项重要任务,而如何根据系统中存储设备的运行状态结合待备份数据的属性进行智能化规划数据备份任务以保证系统运行数据保持最优的备份存储状态是本领域亟须解决的技术问题,基于此,本方案提出一种基于系统资源的智能化数据备份任务规划方法及系统。
发明内容
为解决上述技术问题,提供一种基于系统资源的智能化数据备份任务规划方法及系统,本技术方案根据系统中存储设备的运行状态结合待备份数据的属性进行智能化规划数据备份任务以保证系统运行数据保持最优的备份存储状态,有效的保证了系统进行备份任务规划时的智能性和合理性。
为达到以上目的,本发明采用的技术方案为:
一种基于系统资源的智能化数据备份任务规划方法,包括:
确定系统中各备份存储分区的存储状态;
获取系统中所有待备份数据;
基于系统中所有待备份数据进行分析,获取待备份数据的备份存储需求数据;
基于备份存储分区的存储状态和待备份数据的备份存储需求数据综合分析,确定每个待备份数据对应的备份存储分区;
基于每一个待备份数据对应的备份任务类型,确定每一个备份存储分区对应的所有待备份数据的备份优先级,获取备份优先级数据;
基于备份优先级数据进行数据备份任务排序,按照数据备份任务排序依次进行各备份存储分区的数据备份。
优选的,所述确定系统中各备份存储分区的存储状态具体包括:
获取每一个备份存储分区对应的存储设备的型号;
调取存储设备的运行状态,获取存储设备的运行状态指标;
基于每一个存储设备的型号,调取其运行状态指标对应的历史运行数据,基于运行状态指标对应的历史运行数据建立存储设备的运行Logistic回归模型,所述存储设备的运行Logistic回归模型以存储设备的使用时长为输入,以存储设备的故障概率为输出;
其中,所述运行Logistic回归模型的表达式为:
式中,F为存储设备的故障概率,T为存储设备的使用时长,均为运行Logistic回归模型的系数。
优选的,所述基于运行状态指标对应的历史运行数据建立存储设备的运行Logistic回归模型具体包括:
获取若干组相同型号的存储设备在相同运行状态指标下历史运行数据;
根据存储设备是否发生故障,将存储设备在相同运行状态指标下历史运行数据划分成未故障运行数据和故障运行数据;
根据未故障运行数据和故障运行数据的工作时长,以最大似然法进行计算运行Logistic回归模型的系数。
优选的,所述基于备份存储分区的存储状态和待备份数据的备份存储需求数据综合分析,确定每个待备份数据对应的备份存储分区具体包括:
获取每一个待备份数据的备份存储时长;
基于待备份数据的备份存储时长进行计算每一个备份存储分区对应的存储设备在备份存储时间内的故障概率,判断存储设备在备份存储时间内发生故障的概率是否大于预设值,若是,则判定存储设备存储风险高,若否,则判定存储设备存储风险低;
获取待备份数据的数据量;
确定所有判定为存储风险低的存储设备对应的备份存储分区的剩余备份存储空间;
筛选出所有剩余备份存储空间大于待备份数据的数据量的备份存储分区作为初次筛分备份存储分区;
计算每个初次筛分备份存储分区的相对于待备份数据的综合存储指标,筛选出综合存储指标最小的初次筛分备份存储分区作为待备份数据对应的备份存储分区。
优选的,所述计算每个初次筛分备份存储分区的相对于待备份数据的综合存储指标具体包括:
确定待备份数据的数据量与初次筛分备份存储分区的剩余备份存储空间的比值,记为存储占比;
基于存储占比和初次筛分备份存储分区对应的存储设备的故障概率,通过存储指标计算公式进行计算初次筛分备份存储分区的相对于待备份数据的综合存储指标;
其中,所述存储指标计算公式具体为:
式中,为初次筛分备份存储分区的相对于待备份数据的综合存储指标,/>为初次筛分备份存储分区对应的存储设备的故障概率,/>为存储占比。
优选的,所述基于每一个待备份数据对应的备份任务类型,确定每一个备份存储分区对应的所有待备份数据的备份优先级,获取备份优先级数据具体包括:
对备份存储分区对应的所有待备份数据按照从小到大进行排序,根据排序结构从低到高设定备份文件大小优先系数;
根据待备份数据对应的备份任务类型在系统架构层级对应的优先度,设定任务类型优先系数;
将备份文件大小优先系数和任务类型优先系数相乘,获得备份优先指标,将备份存储分区对应的所有待备份数据的备份优先指标组合成备份存储分区对应的备份优先级数据。
优选的,所述基于备份优先级数据进行数据备份任务排序,按照数据备份任务排序依次进行各备份存储分区的数据备份具体包括:
将备份存储分区对应的备份优先级数据中各个待备份数据的备份优先指标按照从小到大排序;
根据排序结果备份优先指标对应的待备份数据进行排序编号;
各备份存储分区按照排序编号依次执行数据备份任务。
进一步的,提出一种基于系统资源的智能化数据备份任务规划系统,用于实现如上述的基于系统资源的智能化数据备份任务规划方法,包括:
存储状态分析模块,所述存储状态分析模块用于确定系统中各备份存储分区的存储状态;
数据分析模块,所述数据分析模块用于获取系统中所有待备份数据和基于系统中所有待备份数据进行分析,获取待备份数据的备份存储需求数据;
备份规划模块,备份规划模块与所述存储状态分析模块和数据分析模块电性连接,所述备份规划模块用于基于备份存储分区的存储状态和待备份数据的备份存储需求数据综合分析,确定每个待备份数据对应的备份存储分区、基于每一个待备份数据对应的备份任务类型,确定每一个备份存储分区对应的所有待备份数据的备份优先级,获取备份优先级数据和基于备份优先级数据进行数据备份任务排序,按照数据备份任务排序依次进行各备份存储分区的数据备份。
可选的,所述存储状态分析模块包括:
设备分析单元,所述设备分析单元用于获取每一个备份存储分区对应的存储设备的型号和调取存储设备的运行状态,获取存储设备的运行状态指标;
模型计算单元,所述模型计算单元用于基于每一个存储设备的型号,调取其运行状态指标对应的历史运行数据,基于运行状态指标对应的历史运行数据建立存储设备的运行Logistic回归模型。
可选的,所述备份规划模块包括:
存储分区确定单元,所述存储分区确定单元用于基于备份存储分区的存储状态和待备份数据的备份存储需求数据综合分析,确定每个待备份数据对应的备份存储分区;
优先级分析单元,所述优先级分析单元用于基于每一个待备份数据对应的备份任务类型,确定每一个备份存储分区对应的所有待备份数据的备份优先级,获取备份优先级数据;
备份排序单元,所述备份排序单元用于基于备份优先级数据进行数据备份任务排序,按照数据备份任务排序依次进行各备份存储分区的数据备份。
与现有技术相比,本发明的有益效果在于:
本发明提出一种基于系统资源的智能化数据备份任务规划方案,通过分析系统中存储设备的运行故障风险,并基于待备份数据的大小、优先级、备份存储时长进行综合分析,进行综合化,智能化的确定待备份数据的备份存储方案,使得系统运行数据保持最优的备份存储状态,进而有效的避免因存储设备故障而数据丢失,进而有效的保证了备份数据的备份存储安全性,保证了系统进行备份任务规划时的智能性和合理性。
附图说明
图1为本发明提出的基于系统资源的智能化数据备份任务规划方法流程图;
图2为本发明中的确定系统中各备份存储分区的存储状态的方法流程图;
图3为本发明中的建立存储设备的运行Logistic回归模型的方法流程图;
图4为本发明中的确定每个待备份数据对应的备份存储分区的方法流程图;
图5为本发明中的计算综合存储指标的方法流程图;
图6为本发明中的确定备份优先级的方法流程图;
图7为本发明中的进行各备份存储分区的数据备份的方法流程图;
图8为本发明提出的基于系统资源的智能化数据备份任务规划系统框图。
具体实施方式
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例,本领域技术人员可以想到其他显而易见的变型。
参照图1所示,一种基于系统资源的智能化数据备份任务规划方法,包括:
确定系统中各备份存储分区的存储状态;
获取系统中所有待备份数据;
基于系统中所有待备份数据进行分析,获取待备份数据的备份存储需求数据;
基于备份存储分区的存储状态和待备份数据的备份存储需求数据综合分析,确定每个待备份数据对应的备份存储分区;
基于每一个待备份数据对应的备份任务类型,确定每一个备份存储分区对应的所有待备份数据的备份优先级,获取备份优先级数据;
基于备份优先级数据进行数据备份任务排序,按照数据备份任务排序依次进行各备份存储分区的数据备份。
本方案通过分析系统中存储设备的运行故障风险,并基于待备份数据的大小、优先级、备份存储时长进行综合分析,进行综合化,智能化的确定待备份数据的备份存储方案,使得系统运行数据保持最优的备份存储状态,进而有效的避免因存储设备故障而数据丢失,进而有效的保证了备份数据的备份存储安全性。
参照图2所示,确定系统中各备份存储分区的存储状态具体包括:
获取每一个备份存储分区对应的存储设备的型号;
调取存储设备的运行状态,获取存储设备的运行状态指标;
基于每一个存储设备的型号,调取其运行状态指标对应的历史运行数据,基于运行状态指标对应的历史运行数据建立存储设备的运行Logistic回归模型,存储设备的运行Logistic回归模型以存储设备的使用时长为输入,以存储设备的故障概率为输出;
其中,运行Logistic回归模型的表达式为:
式中,F为存储设备的故障概率,T为存储设备的使用时长,均为运行Logistic回归模型的系数。
参照图3所示,基于运行状态指标对应的历史运行数据建立存储设备的运行Logistic回归模型具体包括:
获取若干组相同型号的存储设备在相同运行状态指标下历史运行数据;
根据存储设备是否发生故障,将存储设备在相同运行状态指标下历史运行数据划分成未故障运行数据和故障运行数据;
根据未故障运行数据和故障运行数据的工作时长,以最大似然法进行计算运行Logistic回归模型的系数。
Logistic回归模型是一种广义的线性回归分析模型,常用于数据挖掘,结果预测等领域,本方案中,基于存储设备在相同运行状态指标下的历史运行数据进行建立关于运行时间的一元Logistic回归模型,通过此模型进行预测存储设备在不同运行时间下的故障概率,为后续进行数据备份规划时提供硬件安全指标。
参照图4所示,基于备份存储分区的存储状态和待备份数据的备份存储需求数据综合分析,确定每个待备份数据对应的备份存储分区具体包括:
获取每一个待备份数据的备份存储时长;
基于待备份数据的备份存储时长进行计算每一个备份存储分区对应的存储设备在备份存储时间内的故障概率,判断存储设备在备份存储时间内发生故障的概率是否大于预设值,若是,则判定存储设备存储风险高,若否,则判定存储设备存储风险低;
获取待备份数据的数据量;
确定所有判定为存储风险低的存储设备对应的备份存储分区的剩余备份存储空间;
筛选出所有剩余备份存储空间大于待备份数据的数据量的备份存储分区作为初次筛分备份存储分区;
计算每个初次筛分备份存储分区的相对于待备份数据的综合存储指标,筛选出综合存储指标最小的初次筛分备份存储分区作为待备份数据对应的备份存储分区。
参照图5所示,计算每个初次筛分备份存储分区的相对于待备份数据的综合存储指标具体包括:
确定待备份数据的数据量与初次筛分备份存储分区的剩余备份存储空间的比值,记为存储占比;
基于存储占比和初次筛分备份存储分区对应的存储设备的故障概率,通过存储指标计算公式进行计算初次筛分备份存储分区的相对于待备份数据的综合存储指标;
其中,存储指标计算公式具体为:
式中,为初次筛分备份存储分区的相对于待备份数据的综合存储指标,/>为初次筛分备份存储分区对应的存储设备的故障概率,/>为存储占比。
可以理解的是,在进行存储数据规划时,故障概率越低代表着硬件运行风险越低,存储占比越低,代表着备份存储分区的运行状态越佳,基于故障概率和存储占比求积,作为存储指标,该存储指标越小,则代表着备份存储分区的硬件运行风险和备份存储分区的运行状态综合属性越低,对于备份数据的保存越佳。
参照图6所示,基于每一个待备份数据对应的备份任务类型,确定每一个备份存储分区对应的所有待备份数据的备份优先级,获取备份优先级数据具体包括:
对备份存储分区对应的所有待备份数据按照从小到大进行排序,根据排序结构从低到高设定备份文件大小优先系数;
根据待备份数据对应的备份任务类型在系统架构层级对应的优先度,设定任务类型优先系数;
将备份文件大小优先系数和任务类型优先系数相乘,获得备份优先指标,将备份存储分区对应的所有待备份数据的备份优先指标组合成备份存储分区对应的备份优先级数据。
参照图7所示,基于备份优先级数据进行数据备份任务排序,按照数据备份任务排序依次进行各备份存储分区的数据备份具体包括:
将备份存储分区对应的备份优先级数据中各个待备份数据的备份优先指标按照从小到大排序;
根据排序结果备份优先指标对应的待备份数据进行排序编号;
各备份存储分区按照排序编号依次执行数据备份任务。
可以理解的是,待备份文件越大,其备份时所需时长越长,占用的备份命令越长,待备份文件越小,其备份时所需时长越短,可越快的释放占用的备份命令,因此,本方案中,对于数据量越小的备份文件,其大小优先系数越小,大小优先级越高;
可以理解的是,在系统的运行过程中,产生的备份文件属性不同,其对应的备份任务的优先级不同,基于此逻辑,本方案根据备份任务的不同进行设定任务类型优先系数,备份任务在系统架构层级对应的优先度越高,则任务类型优先系数越小,以备份文件大小优先系数和任务类型优先系数相乘作为备份优先指标,备份优先指标越小,则待备份文件综合优先级越高。
进一步的,请参阅图8所示,基于与上述基于系统资源的智能化数据备份任务规划方法相同的发明构思,本方案还提出一种基于系统资源的智能化数据备份任务规划系统,包括:
存储状态分析模块,存储状态分析模块用于确定系统中各备份存储分区的存储状态;
数据分析模块,数据分析模块用于获取系统中所有待备份数据和基于系统中所有待备份数据进行分析,获取待备份数据的备份存储需求数据;
备份规划模块,备份规划模块与存储状态分析模块和数据分析模块电性连接,备份规划模块用于基于备份存储分区的存储状态和待备份数据的备份存储需求数据综合分析,确定每个待备份数据对应的备份存储分区、基于每一个待备份数据对应的备份任务类型,确定每一个备份存储分区对应的所有待备份数据的备份优先级,获取备份优先级数据和基于备份优先级数据进行数据备份任务排序,按照数据备份任务排序依次进行各备份存储分区的数据备份。
存储状态分析模块包括:
设备分析单元,设备分析单元用于获取每一个备份存储分区对应的存储设备的型号和调取存储设备的运行状态,获取存储设备的运行状态指标;
模型计算单元,模型计算单元用于基于每一个存储设备的型号,调取其运行状态指标对应的历史运行数据,基于运行状态指标对应的历史运行数据建立存储设备的运行Logistic回归模型。
备份规划模块包括:
存储分区确定单元,存储分区确定单元用于基于备份存储分区的存储状态和待备份数据的备份存储需求数据综合分析,确定每个待备份数据对应的备份存储分区;
优先级分析单元,优先级分析单元用于基于每一个待备份数据对应的备份任务类型,确定每一个备份存储分区对应的所有待备份数据的备份优先级,获取备份优先级数据;
备份排序单元,备份排序单元用于基于备份优先级数据进行数据备份任务排序,按照数据备份任务排序依次进行各备份存储分区的数据备份。
上述基于系统资源的智能化数据备份任务规划系统的使用过程为:
步骤一:设备分析单元获取每一个备份存储分区对应的存储设备的型号和调取存储设备的运行状态,获取存储设备的运行状态指标;
步骤二:模型计算单元基于每一个存储设备的型号,调取其运行状态指标对应的历史运行数据,基于运行状态指标对应的历史运行数据建立存储设备的运行Logistic回归模型;
步骤三:数据分析模块获取系统中所有待备份数据和基于系统中所有待备份数据进行分析,获取待备份数据的备份存储需求数据;
步骤四:存储分区确定单元基于备份存储分区的存储状态和待备份数据的备份存储需求数据综合分析,确定每个待备份数据对应的备份存储分区,具体包括:获取每一个待备份数据的备份存储时长;基于待备份数据的备份存储时长进行计算每一个备份存储分区对应的存储设备在备份存储时间内的故障概率,判断存储设备在备份存储时间内发生故障的概率是否大于预设值,若是,则判定存储设备存储风险高,若否,则判定存储设备存储风险低;获取待备份数据的数据量;确定所有判定为存储风险低的存储设备对应的备份存储分区的剩余备份存储空间;筛选出所有剩余备份存储空间大于待备份数据的数据量的备份存储分区作为初次筛分备份存储分区;计算每个初次筛分备份存储分区的相对于待备份数据的综合存储指标,筛选出综合存储指标最小的初次筛分备份存储分区作为待备份数据对应的备份存储分区;
步骤五:优先级分析单元用于基于每一个待备份数据对应的备份任务类型,确定每一个备份存储分区对应的所有待备份数据的备份优先级,获取备份优先级数据,具体包括:对备份存储分区对应的所有待备份数据按照从小到大进行排序,根据排序结构从低到高设定备份文件大小优先系数;根据待备份数据对应的备份任务类型在系统架构层级对应的优先度,设定任务类型优先系数;将备份文件大小优先系数和任务类型优先系数相乘,获得备份优先指标,将备份存储分区对应的所有待备份数据的备份优先指标组合成备份存储分区对应的备份优先级数据;
步骤六:备份排序单元基于备份优先级数据进行数据备份任务排序,按照数据备份任务排序依次进行各备份存储分区的数据备份,具体包括:将备份存储分区对应的备份优先级数据中各个待备份数据的备份优先指标按照从小到大排序;根据排序结果备份优先指标对应的待备份数据进行排序编号;各备份存储分区按照排序编号依次执行数据备份任务。
综上所述,本发明的优点在于:根据系统中存储设备的运行状态结合待备份数据的属性进行智能化规划数据备份任务以保证系统运行数据保持最优的备份存储状态,有效的保证了系统进行备份任务规划时的智能性和合理性。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是本发明的原理,在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。
Claims (10)
1.一种基于系统资源的智能化数据备份任务规划方法,其特征在于,包括:
确定系统中各备份存储分区的存储状态;
获取系统中所有待备份数据;
基于系统中所有待备份数据进行分析,获取待备份数据的备份存储需求数据;
基于备份存储分区的存储状态和待备份数据的备份存储需求数据综合分析,确定每个待备份数据对应的备份存储分区;
基于每一个待备份数据对应的备份任务类型,确定每一个备份存储分区对应的所有待备份数据的备份优先级,获取备份优先级数据;
基于备份优先级数据进行数据备份任务排序,按照数据备份任务排序依次进行各备份存储分区的数据备份。
2.根据权利要求1所述的一种基于系统资源的智能化数据备份任务规划方法,其特征在于,所述确定系统中各备份存储分区的存储状态具体包括:
获取每一个备份存储分区对应的存储设备的型号;
调取存储设备的运行状态,获取存储设备的运行状态指标;
基于每一个存储设备的型号,调取其运行状态指标对应的历史运行数据,基于运行状态指标对应的历史运行数据建立存储设备的运行Logistic回归模型,所述存储设备的运行Logistic回归模型以存储设备的使用时长为输入,以存储设备的故障概率为输出;
其中,所述运行Logistic回归模型的表达式为:
式中,F为存储设备的故障概率,T为存储设备的使用时长,均为运行Logistic回归模型的系数。
3.根据权利要求2所述的一种基于系统资源的智能化数据备份任务规划方法,其特征在于,所述基于运行状态指标对应的历史运行数据建立存储设备的运行Logistic回归模型具体包括:
获取若干组相同型号的存储设备在相同运行状态指标下历史运行数据;
根据存储设备是否发生故障,将存储设备在相同运行状态指标下历史运行数据划分成未故障运行数据和故障运行数据;
根据未故障运行数据和故障运行数据的工作时长,以最大似然法进行计算运行Logistic回归模型的系数。
4.根据权利要求3所述的一种基于系统资源的智能化数据备份任务规划方法,其特征在于,所述基于备份存储分区的存储状态和待备份数据的备份存储需求数据综合分析,确定每个待备份数据对应的备份存储分区具体包括:
获取每一个待备份数据的备份存储时长;
基于待备份数据的备份存储时长进行计算每一个备份存储分区对应的存储设备在备份存储时间内的故障概率,判断存储设备在备份存储时间内发生故障的概率是否大于预设值,若是,则判定存储设备存储风险高,若否,则判定存储设备存储风险低;
获取待备份数据的数据量;
确定所有判定为存储风险低的存储设备对应的备份存储分区的剩余备份存储空间;
筛选出所有剩余备份存储空间大于待备份数据的数据量的备份存储分区作为初次筛分备份存储分区;
计算每个初次筛分备份存储分区的相对于待备份数据的综合存储指标,筛选出综合存储指标最小的初次筛分备份存储分区作为待备份数据对应的备份存储分区。
5.根据权利要求4所述的一种基于系统资源的智能化数据备份任务规划方法,其特征在于,所述计算每个初次筛分备份存储分区的相对于待备份数据的综合存储指标具体包括:
确定待备份数据的数据量与初次筛分备份存储分区的剩余备份存储空间的比值,记为存储占比;
基于存储占比和初次筛分备份存储分区对应的存储设备的故障概率,通过存储指标计算公式进行计算初次筛分备份存储分区的相对于待备份数据的综合存储指标;
其中,所述存储指标计算公式具体为:
式中,为初次筛分备份存储分区的相对于待备份数据的综合存储指标,/>为初次筛分备份存储分区对应的存储设备的故障概率,/>为存储占比。
6.根据权利要求5所述的一种基于系统资源的智能化数据备份任务规划方法,其特征在于,所述基于每一个待备份数据对应的备份任务类型,确定每一个备份存储分区对应的所有待备份数据的备份优先级,获取备份优先级数据具体包括:
对备份存储分区对应的所有待备份数据按照从小到大进行排序,根据排序结构从低到高设定备份文件大小优先系数;
根据待备份数据对应的备份任务类型在系统架构层级对应的优先度,设定任务类型优先系数;
将备份文件大小优先系数和任务类型优先系数相乘,获得备份优先指标,将备份存储分区对应的所有待备份数据的备份优先指标组合成备份存储分区对应的备份优先级数据。
7.根据权利要求6所述的一种基于系统资源的智能化数据备份任务规划方法,其特征在于,所述基于备份优先级数据进行数据备份任务排序,按照数据备份任务排序依次进行各备份存储分区的数据备份具体包括:
将备份存储分区对应的备份优先级数据中各个待备份数据的备份优先指标按照从小到大排序;
根据排序结果备份优先指标对应的待备份数据进行排序编号;
各备份存储分区按照排序编号依次执行数据备份任务。
8.一种基于系统资源的智能化数据备份任务规划系统,用于实现如权利要求1-7任一项所述的基于系统资源的智能化数据备份任务规划方法,其特征在于,包括:
存储状态分析模块,所述存储状态分析模块用于确定系统中各备份存储分区的存储状态;
数据分析模块,所述数据分析模块用于获取系统中所有待备份数据和基于系统中所有待备份数据进行分析,获取待备份数据的备份存储需求数据;
备份规划模块,备份规划模块与所述存储状态分析模块和数据分析模块电性连接,所述备份规划模块用于基于备份存储分区的存储状态和待备份数据的备份存储需求数据综合分析,确定每个待备份数据对应的备份存储分区、基于每一个待备份数据对应的备份任务类型,确定每一个备份存储分区对应的所有待备份数据的备份优先级,获取备份优先级数据和基于备份优先级数据进行数据备份任务排序,按照数据备份任务排序依次进行各备份存储分区的数据备份。
9.根据权利要求8所述的一种基于系统资源的智能化数据备份任务规划系统,其特征在于,所述存储状态分析模块包括:
设备分析单元,所述设备分析单元用于获取每一个备份存储分区对应的存储设备的型号和调取存储设备的运行状态,获取存储设备的运行状态指标;
模型计算单元,所述模型计算单元用于基于每一个存储设备的型号,调取其运行状态指标对应的历史运行数据,基于运行状态指标对应的历史运行数据建立存储设备的运行Logistic回归模型。
10.根据权利要求8所述的一种基于系统资源的智能化数据备份任务规划系统,其特征在于,所述备份规划模块包括:
存储分区确定单元,所述存储分区确定单元用于基于备份存储分区的存储状态和待备份数据的备份存储需求数据综合分析,确定每个待备份数据对应的备份存储分区;
优先级分析单元,所述优先级分析单元用于基于每一个待备份数据对应的备份任务类型,确定每一个备份存储分区对应的所有待备份数据的备份优先级,获取备份优先级数据;
备份排序单元,所述备份排序单元用于基于备份优先级数据进行数据备份任务排序,按照数据备份任务排序依次进行各备份存储分区的数据备份。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311019788.6A CN116755939B (zh) | 2023-08-14 | 2023-08-14 | 一种基于系统资源的智能化数据备份任务规划方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311019788.6A CN116755939B (zh) | 2023-08-14 | 2023-08-14 | 一种基于系统资源的智能化数据备份任务规划方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116755939A true CN116755939A (zh) | 2023-09-15 |
CN116755939B CN116755939B (zh) | 2023-10-27 |
Family
ID=87948047
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311019788.6A Active CN116755939B (zh) | 2023-08-14 | 2023-08-14 | 一种基于系统资源的智能化数据备份任务规划方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116755939B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116991636A (zh) * | 2023-09-26 | 2023-11-03 | 武汉吧哒科技股份有限公司 | 基于分布式存储的数据增量备份方法、系统及存储介质 |
CN117172671A (zh) * | 2023-11-01 | 2023-12-05 | 深圳市聚一科技有限公司 | 一种智能企业货物管理方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009277090A (ja) * | 2008-05-15 | 2009-11-26 | Hitachi Ltd | Pc予防保守システム、pc予防保守方法、およびpc予防保守プログラム |
KR101588365B1 (ko) * | 2015-02-26 | 2016-01-26 | 주식회사 트라콤 | 항만 컨테이너 이동장비의 고장 예측방법 |
CN106445743A (zh) * | 2016-09-29 | 2017-02-22 | 广东欧珀移动通信有限公司 | 数据备份传输方法及移动终端 |
US20190325663A1 (en) * | 2018-04-23 | 2019-10-24 | Woodward, Inc. | Predicting electromechanical actuator health and remaining life |
CN113157491A (zh) * | 2021-04-01 | 2021-07-23 | 深圳依时货拉拉科技有限公司 | 数据备份方法、装置、通信设备及存储介质 |
CN115756955A (zh) * | 2022-11-09 | 2023-03-07 | 中电信数智科技有限公司 | 一种数据备份、数据恢复的方法、装置及计算机设备 |
-
2023
- 2023-08-14 CN CN202311019788.6A patent/CN116755939B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009277090A (ja) * | 2008-05-15 | 2009-11-26 | Hitachi Ltd | Pc予防保守システム、pc予防保守方法、およびpc予防保守プログラム |
KR101588365B1 (ko) * | 2015-02-26 | 2016-01-26 | 주식회사 트라콤 | 항만 컨테이너 이동장비의 고장 예측방법 |
CN106445743A (zh) * | 2016-09-29 | 2017-02-22 | 广东欧珀移动通信有限公司 | 数据备份传输方法及移动终端 |
US20190325663A1 (en) * | 2018-04-23 | 2019-10-24 | Woodward, Inc. | Predicting electromechanical actuator health and remaining life |
CN113157491A (zh) * | 2021-04-01 | 2021-07-23 | 深圳依时货拉拉科技有限公司 | 数据备份方法、装置、通信设备及存储介质 |
CN115756955A (zh) * | 2022-11-09 | 2023-03-07 | 中电信数智科技有限公司 | 一种数据备份、数据恢复的方法、装置及计算机设备 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116991636A (zh) * | 2023-09-26 | 2023-11-03 | 武汉吧哒科技股份有限公司 | 基于分布式存储的数据增量备份方法、系统及存储介质 |
CN116991636B (zh) * | 2023-09-26 | 2024-01-19 | 武汉吧哒科技股份有限公司 | 基于分布式存储的数据增量备份方法、系统及存储介质 |
CN117172671A (zh) * | 2023-11-01 | 2023-12-05 | 深圳市聚一科技有限公司 | 一种智能企业货物管理方法及系统 |
CN117172671B (zh) * | 2023-11-01 | 2024-02-13 | 深圳市聚一科技有限公司 | 一种智能企业货物管理方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN116755939B (zh) | 2023-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116755939B (zh) | 一种基于系统资源的智能化数据备份任务规划方法及系统 | |
US20210160307A1 (en) | Probability-distribution-based log-file analysis | |
CN103513983B (zh) | 用于预测性警报阈值确定工具的方法和系统 | |
US20100262964A1 (en) | Virtual Machine Packing Method Using Scarcity | |
Chen et al. | MRGIS: A MapReduce-Enabled high performance workflow system for GIS | |
US20070250517A1 (en) | Method and Apparatus for Autonomically Maintaining Latent Auxiliary Database Structures for Use in Executing Database Queries | |
CN108647137B (zh) | 一种作业性能预测方法、装置、介质、设备及系统 | |
CN113391913A (zh) | 一种基于预测的分布式调度方法和装置 | |
US20230325235A1 (en) | Training task queuing cause analysis method and system, device and medium | |
CN114519006A (zh) | 测试方法、装置、设备以及存储介质 | |
CN116302574B (zh) | 一种基于MapReduce的并发处理方法 | |
US10552419B2 (en) | Method and system for performing an operation using map reduce | |
CN116069480B (zh) | 一种处理器及计算设备 | |
CN109947828B (zh) | 一种处理报表数据的方法和装置 | |
CN114817226A (zh) | 政府数据的处理方法及装置 | |
CN118210653A (zh) | 一种用于软件开发数据的安全管理方法 | |
CN109918410B (zh) | 基于Spark平台的分布式大数据函数依赖发现方法 | |
CN115858324B (zh) | 基于ai的it设备故障处理方法、装置、设备和介质 | |
CN113886111B (zh) | 一种基于工作流的数据分析模型计算引擎系统及运行方法 | |
CN113641670B (zh) | 数据存储及数据检索方法、装置、电子设备及存储介质 | |
CN116383454B (zh) | 图数据库的数据查询方法、电子设备及存储介质 | |
CN118093949A (zh) | 结构树生成方法、装置、计算机设备和存储介质 | |
CN117762348A (zh) | 文件的分布式存储方法、装置、设备以及存储介质 | |
CN106326024B (zh) | 一种基于lsf平台的集群管理系统查错方法及装置 | |
CN117911004A (zh) | 检修信息的确定方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |