CN115640167A - 数据备份方法、装置、电子设备及存储介质 - Google Patents
数据备份方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115640167A CN115640167A CN202211346719.1A CN202211346719A CN115640167A CN 115640167 A CN115640167 A CN 115640167A CN 202211346719 A CN202211346719 A CN 202211346719A CN 115640167 A CN115640167 A CN 115640167A
- Authority
- CN
- China
- Prior art keywords
- resource usage
- time period
- usage amount
- data backup
- predicted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明的数据备份方法、装置、电子设备及存储介质,获取服务端的在线业务在目标历史时间段的历史资源使用量;根据历史资源使用量获取服务端的在线业务在预设时段内的第一预测资源使用量;根据预设时段内的第一预测资源使用量、预设的预留资源使用量以及服务端的资源量获取所述预设时段内的第二预测资源使用量;在预设时段为至少一个数据备份任务分配所述第二预测资源使用量以执行所述数据备份任务;通过上述方式,在不占用在线业务的资源量的前提下,任何时段均可以进行数据备份,提高了数据备份的效率,并且,提前预测在线业务在预设时段内的第一预测资源使用量,基于预测结果为数据备份任务动态分配资源使用量,提高了数据备份的灵活性。
Description
技术领域
本发明涉及计算机应用技术领域,尤其涉及一种数据备份方法、装置、电子设备及存储介质。
背景技术
用户在例如云平台等服务端上部署有RDS(Relation Data System,关系数据系统)数据库,为了保障RDS数据库的安全,需要对数据库进行周期性的备份,将数据库中的数据备份到其他存储介质上。
现有技术中,大多数服务端的RDS数据库进行备份时,为了不影响在线业务,选择在凌晨时段进行全量备份的方式,随着RDS数据库中数据量越来越大,往往需要在连续几天甚至十几天的凌晨时段进行备份才能完成一次全量备份,不利于数据备份效率的提高;并且,若在全量备份过程中出现故障导致备份失败,需要重新开始该备份周期的全量备份或跳过该备份周期的全量备份,导致数据备份不完整。
发明内容
本发明的目的在于提供一种数据备份方法、装置、电子设备及存储介质,以解决现有技术中数据备份效率低的技术问题。
本发明的技术方案如下:提供一种数据备份方法,包括:
获取服务端的在线业务在目标历史时间段的历史资源使用量;
根据所述历史资源使用量获取所述在线业务在预设时段内的第一预测资源使用量根据所述预设时段内的所述第一预测资源使用量、预设的预留资源使用量以及所述服务端的资源量获取所述预设时段内的第二预测资源使用量,其中,所述预留资源使用量包括动态预留资源使用量,所述动态预留资源使用量是根据第二目标历史时间段的预测误差获取的;
在所述预设时段为至少一个数据备份任务分配所述第二预测资源使用量以执行所述数据备份任务。
可选地,所述预留资源使用量包括最小预留资源使用量以及所述动态预留资源使用量;
所述动态预留资源使用量的获取步骤包括:
根据所述服务端的所述在线业务在第二目标历史时间段内的真实资源使用量以及第一预测资源使用量获取所述第二目标历史时间段内的预测误差;
根据所述预测误差以及所述第二目标历史时间段的第一预测资源使用量获取所述动态预留资源使用量。
可选地,所述根据所述服务端的所述在线业务在第二目标历史时间段内的真实资源使用量以及第一预测资源使用量获取所述第二目标历史时间段内的预测误差,包括:
获取所述服务端的所述在线业务在所述第二目标历史时间段内每个单元时间段的单元真实资源使用量以及单元第一预测资源使用量;
根据每个所述单元时间段的单元真实资源使用量以及单元第一预测资源使用量获取对应的单元预测误差;
将所述单元预测误差的最大值作为所述第二目标历史时间段内的预测误差。
可选地,所述根据所述历史资源使用量获取所述在线业务在预设时段内的第一预测资源使用量,包括:
将所述历史资源使用量输入至预先训练好的回归模型预测得到所述服务端在所述预设时段的第一预测资源基准值,其中,所述回归模型为预先根据所述服务端的在线业务的历史资源使用数据训练得到的,用于对所述服务端的在线业务的资源使用量进行预测;
确定所述预设时段的至少一个影响因子;
获取所述至少一个影响因子的影响系数;
根据所述第一预测资源基准值以及所述至少一个影响因子的影响系数获取所述预设时段内的在线业务的所述第一预测资源使用量。
可选地,所述至少一个数据备份任务为增量备份任务;
所述在所述预设时段为至少一个数据备份任务分配所述第二预测资源使用量以执行所述数据备份任务之后,还包括:
根据所述数据备份任务实时抓取各数据节点中被修改的数据,生成对应的增量备份数据,将所述增量备份数据存储在增量存储介质中;
将存储时间在目标备份周期内的至少一个所述增量备份数据进行整合,得到所述目标备份周期内的全量备份数据。
本发明的另一技术方案如下:提供一种数据备份装置,包括:
获取模块,用于获取服务端的在线业务在目标历史时间段的历史资源使用量;
预测模块,用于根据所述历史资源使用量获取所述在线业务在预设时段内的第一预测资源使用量;
计算模块,用于根据所述预设时段内的所述第一预测资源使用量、预设的预留资源使用量以及所述服务端的资源量获取所述预设时段内的第二预测资源使用量;
备份模块,用于在所述预设时段为至少一个数据备份任务分配所述第二预测资源使用量以执行所述数据备份任务。
本发明的另一技术方案如下:提供一种电子设备,包括处理器、以及与所述处理器耦接的存储器,所述存储器存储有可被所述处理器执行的程序指令;所述处理器执行所述存储器存储的所述程序指令时实现上述的数据备份方法。
本发明的另一技术方案如下:提供一种存储介质,所述存储介质内存储有程序指令,所述程序指令被处理器执行时实现上述的数据备份方法。
本发明的数据备份方法、装置、电子设备及存储介质,获取服务端的在线业务在目标历史时间段的历史资源使用量;根据所述历史资源使用量获取所述服务端的所述在线业务在预设时段内的第一预测资源使用量;根据所述预设时段内的所述第一预测资源使用量、预设的预留资源使用量以及所述服务端的资源量获取所述预设时段内的第二预测资源使用量;在所述预设时段为至少一个数据备份任务分配所述第二预测资源使用量以执行所述数据备份任务;通过上述方式,在不占用在线业务的资源量的前提下,任何时段均可以进行数据备份,提高了数据备份的效率,并且,提前预测在线业务在预设时段内的第一预测资源使用量,基于预测结果为数据备份任务动态分配资源使用量,提高了数据备份的灵活性。
附图说明
图1为本发明第一实施例的数据备份方法的流程示意图;
图2为本发明第一实施例的另一数据备份方法的流程示意图;
图3为本发明第一实施例的另一数据备份方法的流程示意图;
图4为本发明第一实施例的另一数据备份方法的流程示意图;
图5为本发明第一实施例的另一数据备份方法的流程示意图;
图6为本发明第二实施例的数据备份装置的结构示意图;
图7为本发明第三实施例的电子设备的结构示意图;
图8为本发明第四实施例的存储介质的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明中的术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
请参阅图1所示,是本发明第一实施例的一种数据备份方法的流程示意图;该方法可以应用于服务端的数据库管理平台(Data Management Platform,DMP)中,需注意的是,若有实质上相同的结果,本发明的方法并不以图1所示的流程顺序为限。具体地,该云平台数据备份方法包括步骤S101~S104:
S101,获取服务端的在线业务在目标历史时间段的历史资源使用量。
在本申请的一个可选的应用场景中,服务端可以为云平台,本实施例以服务端为云平台为例进行详细说明,本领域技术人员应当理解,服务端还可以为云平台以外的其他服务器或服务器集群。云计算技术可以将底层分散异构的计算资源整合起来资源池化,统一进行管理、按需分配。当前主流的云平台都是将应用数据及所需要的资源封装成虚拟机的形式来对外提供服务。在云平台上,在线业务不同时间段可能具有不同的资源需求,在线业务的资源使用量是动态变化的。
资源使用量为物理资源的使用量,物理资源包括中央处理器CPU资源、内存资源、磁盘存储资源、网络带宽资源中的任意一种。
在线业务进行过程中,云平台记录在线业务过程中每个云主机的资源使用数据,其中,该资源使用数据包括资源使用量以及每个所述资源使用量对应的使用时间;上述资源数据中使用时间用于表征该使用时间下在线业务占用资源的多少,例如,在a使用时刻,A云主机的资源使用量的具体数值或使用率;或者,在b使用时段,B云主机的资源使用量的具体数值或使用率。在本实施例中,获取使用时间位于目标历史时间段的历史资源使用量,作为预设时段的预测数据。目标历史时间段与待预测的预设时段对应,例如,目标历史时间段可以是预设时段的起始时刻之前3天内,又如,目标历史时间段可以是预设时段的起始时刻1个月内。目标历史时间段内的资源使用量为该时段内的时序数据。
S102,根据所述历史资源使用量获取所述在线业务在预设时段内的第一预测资源使用量。
其中,可以利用预先训练好的回归模型或神经网络模型对服务端的资源使用量进行预测。
在一个可选的实施方式中,可以采用ARIMA(Autoregressive Integrated MovingAverage model,差分整合移动平均自回归)模型对预设时段的在线业务的资源使用情况进行预测。将目标历史时间段的历史资源使用量输入至ARIMA模型,ARIMA模型输出预设时段内的在线业务的第一预测资源使用量。资源使用量的变化具有周期性,采用ARIMA模型对资源使用量进行自相关分析,能够充分挖掘出在线业务的资源使用量的变化规律,从而能够从目标历史时间段内获取与待预测的预设时段有类似变化趋势的历史时间,该历史时间的资源使用量与待预测的预设时段有强的相关性。
进一步地,除了结合历史资源使用量进行分析外,还可以结合各预测影响因子对预测结果进行修正,各预测影响因子包括平年因子、闰年因子、周规律因子、月规律因子、节假日因子、特殊事件因子、寒暑假因子等,例如,预设时段为2022年3月12日,为3月、周日,周末,需要根据其对应的月规律因子、周规律因子和节假日因子对预测结果进行修正。
具体地,根据历史资源使用量获取周规律因子的影响系数,可以采用如下方式:获取历史时间段每个月份中完整的星期历史资源使用量,从中剔除节假日日期,得到多组完整的星期历史资源使用量的数据,根据多组完整的星期历史资源使用量计算每个星期的离散系数,选择离散系数最小的星期属性(周几)的资源使用量均值作为基准点,周规律影响因子的影响系数,即星期属性的影响系数为星期属性的资源使用量均值除以基准点。
根据历史资源使用量获取月规律影响因子的影响系数,月规律影响因子的影响系数可以按照如下方式计算:获取历史时间段不同月份的历史资源使用量,根据上述步骤所得周规律影响因子的影响系数对获取的历史资源使用量进行修正以剔除周规律的影响,计算修正后的历史资源使用量的日平均值,分别计算月属性(不同月)的历史资源使用量均值/日平均值*月属性天数,作为月规律影响因子的影响系数。
根据历史资源使用量获取节假日因子的影响系数,节假日因子的影响系数可以按照如下方式计算:获取历史时间段不同节假日的历史资源使用量,根据上述步骤所得周规律影响因子及月规律影响因子的影响系数对获取的历史资源使用量进行修正以剔除周规律和月规律的影响,获取节假日前后两天的日历史资源使用量,针对每个节假日,根据节假日的历史资源使用量的平均值/节假日前后的日历史资源使用量平均值,作为该节假日因子的影响系数。
随着历史资源使用量的数据量的增大,定期对各影响因子的影响系数进行更新,提高预测的准确性。
在一个可选的实施方式中,各服务端上部署的RDS数据库的业务类型可能不同,导致不同服务端的资源使用情况有差异,在确定各影响因子的影响系数时,可以先采用业务类型相似的其他服务端的影响系数作为经验值,随着该服务端资源使用数据的积累,再根据积累的历史资源使用量对影响系数进行计算。
于是,请参阅图2所示,步骤S102具体包括如下步骤:
S201,将所述历史资源使用量输入至预先训练好的回归模型预测得到所述服务端在所述预设时段的第一预测资源基准值,其中,所述回归模型为预先根据所述服务端的在线业务的历史资源使用数据训练得到的,用于对所述服务端的在线业务的资源使用量进行预测;
其中,回归模型可以为上述的ARIMA模型,具体参见上述。
S202,确定所述预设时段的至少一个影响因子;
S203,获取所述至少一个影响因子的影响系数;
其中,影响因子及其影响系数的说明具体参见上述。
S204,根据所述第一预测资源基准值以及所述至少一个影响因子的影响系数获取所述预设时段内的在线业务的所述第一预测资源使用量。
在步骤S204中,根据第一预测资源基准值与多个影响因子的影响系数的乘积计算第一预测资源使用量。
在另一个可选的实施方式中,可以采用神经网络模型对预设时段的在线业务的资源使用情况进行预测。
S103,根据所述预设时段内的所述第一预测资源使用量、预设的预留资源使用量以及所述服务端的资源量获取所述预设时段内的第二预测资源使用量。
其中,所述预留资源使用量包括动态预留资源使用量,所述动态预留资源使用量是根据第二目标历史时间段的预测误差获取的。
其中,预留资源使用量是为服务端在线业务预置的,避免在线业务资源使用量的波动,保证数据备份任务不影响在线业务。服务端的资源量为其总资源量,第一预测资源使用量、预留资源量以及第二预留资源量三者之和为服务端的资源量,服务端的资源量-(第一预测资源使用量+预留资源量)=第二预测资源使用量。
在一个可选的实施方式中,该预留资源使用量包括最小预留资源使用量以及动态预留资源使用量。其中,最小预留资源量可以设置为固定值,作为不影响在线业务的兜底;动态预留资源使用量可以根据预测误差进行设置,并随着预测误差的变化进行调整,预测误差可以根据距离预设时段较近的时间段的资源使用量预测结果和真实结果进行计算。例如,根据最近一个月(距离预设时段的起始时刻一个月内)的预测结果和真实结果计算预测误差,或者,根据最近三个月(距离预设时段的起始时刻三个月内)的预测结果和真实结果计算预测误差。
具体地,请参阅图3所示,该动态预留资源使用量的获取步骤包括:
S301,根据该服务端的所述在线业务在第二目标历史时间段内的真实资源使用量以及第一预测资源使用量获取该第二目标历史时间段内的预测误差。
其中,预测误差可以为均方根误差(Root-Mean-Square Error,RMSE),均方根误差用来衡量真实结果与预测结果之间的偏差。
在一个可选的实施方式中,预测误差的具体公式为:
其中,ypredict,i为第二目标历史时间段内的第i个预测值(第一预测资源使用量),yreal,i为第i个预测值对应的真实值(真实资源使用量),n为第二历史时间段内预测值或真实值的个数。RMSE的值越小,说明预测效果越好,预测值与真实值之间的偏差越小。
在另一个可选的实施方式中,可以对第二历史时间段进行进一步划分,将第二历史时间段划分为多个单元时间段,根据不同的单元时间段计算预测误差,步骤S301可以具体包括如下步骤:
S3011,获取所述服务端的所述在线业务在所述第二目标历史时间段内每个单元时间段的单元真实资源使用量以及单元第一预测资源使用量。
S3012,根据每个所述单元时间段的单元真实资源使用量以及单元第一预测资源使用量获取对应的单元预测误差。
其中,ypredict,i为第二目标历史时间段中该单元时间段内的第i个预测值(第一预测资源使用量),yreal,i为第i个预测值对应的真实值(真实资源使用量),k为第二目标历史时间段中该单元时间段内预测值或真实值的个数。
S3013,将所述单元预测误差的最大值作为所述第二目标历史时间段内的预测误差。
其中,计算得到多个预测误差,将其中的最大值作为该第二目标历史时间段内的预测误差,用于计算动态预留资源使用量。
S302,根据该预测误差以及该第二目标历史时间段的第一预测资源使用量获取所述动态预留资源使用量。
在本步骤中,可以根据第二目标历史时段内的第一预测资源使用量的平均值与该预测误差的乘积作为动态预留资源使用量。
在本实施方式中,随着数据量的增加,预测误差逐渐下降,动态预留资源使用量不断接近于零,预留资源使用量不断接近于最小预留资源使用量。
S104,在所述预设时段为至少一个数据备份任务分配所述第二预测资源使用量以执行所述数据备份任务。
在本实施例中,第二预测资源使用量用于执行数据备份任务,不同的预设时段对应不同的第二预测资源使用量,在不影响在线业务的前提下,充分利用服务端的剩余资源进行数据备份,提高数据备份的效率。
在一个可选的实施方式中,请参阅图4所示,在步骤S104之后,还包括:
S401,在所述预设时段内检测所述在线业务的第一当前资源使用量。
其中,在线业务的执行过程中,实时检测在线业务的真实资源使用情况,检测所得第一当前资源使用量为在线业务在检测时刻的真实资源使用量,当真实资源使用量与预设时段的预测结果相差较大时,及时调整或释放数据备份任务的分配资源,避免在线业务受到影响。
S402,当所述第一当前资源使用量大于预设的第一资源极限值且小于预设的第二资源极限值时,根据所述第一当前资源使用量与所述第一预测资源使用量的差值降低所述数据备份任务的分配资源。
其中,第一资源极限值和第二资源极限值分别为两个警示阈值,第一资源极限值小于第二资源极限值,若在线业务的第一当前资源使用量大于第一资源极限值且小于第二资源极限值,说明需要降低数据备份任务的分配资源,具体地,将数据备份任务的分配资源减少所述差值,以释放部分资源用于在线业务。
进一步地,在步骤S401之后,还包括:
S403,当所述第一当前资源使用量大于预设的所述第二资源极限值时,中断所述数据备份任务,以释放所述数据备份任务所占用的资源。
其中,若在线业务的第一当前资源使用量大于第二资源极限值,说明在线业务的实际资源使用量已经激增,此时,为了保证在线业务不受影响,中断所有数据备份任务,释放出数据备份任务的资源用于在线业务。
在另一个可选的实施方式中,请参阅图5所示,步骤S104中该至少一个数据备份任务为增量备份任务,在步骤S104之后,还包括:
S501,根据所述数据备份任务实时抓取各数据节点中被修改的数据,生成对应的增量备份数据,将所述增量备份数据存储在增量存储介质中。
其中,服务端采用分布式存储的方式进行数据存储,针对每个数据节点中被修改的数据,将其作为增量数据,进行增量备份得到增量备份数据,将所得增量备份数据存储在服务端之外的增量存储介质中。
S502,将存储时间在目标备份周期内的至少一个所述增量备份数据进行整合,得到所述目标备份周期内的全量备份数据。
其中,可以设置备份周期,根据备份周期将对应的增量备份数据进行整合,将整合后的数据作为该备份周期的全量备份数据,于是在本实施方式中,无需专门进行全量备份,进一步提高数据备份的效率。
图6是本发明第二实施例的数据备份装置的结构示意图。本实施例的数据备份装置与第一实施例的数据备份方法基于同一发明构思,相同的部分参见第一实施例的描述。如图6所示,该数据备份装置20包括:获取模块21、预测模块22、计算模块23以及备份模块24,其中,获取模块21,用于获取服务端的在线业务在目标历史时间段的历史资源使用量;预测模块22,用于根据所述历史资源使用量获取所述在线业务在预设时段内的第一预测资源使用量;计算模块23,用于根据所述预设时段内的所述第一预测资源使用量、预设的预留资源使用量以及所述服务端的资源量获取所述预设时段内的第二预测资源使用量,其中,所述预留资源使用量包括动态预留资源使用量,所述动态预留资源使用量是根据第二目标历史时间段的预测误差获取的;备份模块24,用于在所述预设时段为至少一个数据备份任务分配所述第二预测资源使用量以执行所述数据备份任务。
在一个可选的实施方式中,该计算模块23还用于:在所述预设时段内检测所述在线业务的第一当前资源使用量;当所述第一当前资源使用量大于预设的第一资源极限值且小于预设的第二资源极限值时,根据所述第一当前资源使用量与所述第一预测资源使用量的差值降低所述数据备份任务的分配资源。
进一步地,该计算模块23还用于:当所述第一当前资源使用量大于预设的所述第二资源极限值时,中断所述数据备份任务,以释放所述数据备份任务所占用的资源。
在一个可选的实施方式中,所述预留资源使用量包括最小预留资源使用量以及动态预留资源使用量;相应地,该计算模块23还用于:根据所述服务端的所述在线业务在第二目标历史时间段内的真实资源使用量以及第一预测资源使用量获取所述第二目标历史时间段内的预测误差;根据所述预测误差以及所述第二目标历史时间段的第一预测资源使用量获取所述动态预留资源使用量。
进一步地,该计算模块23还用于:获取所述服务端的所述在线业务在所述第二目标历史时间段内每个单元时间段的单元真实资源使用量以及单元第一预测资源使用量;根据每个所述单元时间段的单元真实资源使用量以及单元第一预测资源使用量获取对应的单元预测误差;将所述单元预测误差的最大值作为所述第二目标历史时间段内的预测误差。
在一个可选的实施方式中,该预测模块22还用于:将所述历史资源使用量输入至预先训练好的回归模型预测得到所述服务端在所述预设时段的第一预测资源基准值,其中,所述回归模型为预先根据所述服务端的在线业务的历史资源使用数据训练得到的,用于对所述服务端的在线业务的资源使用量进行预测;确定所述预设时段的至少一个影响因子;获取所述至少一个影响因子的影响系数;根据所述第一预测资源基准值以及所述至少一个影响因子的影响系数获取所述预设时段内的在线业务的所述第一预测资源使用量。
进一步地,所述至少一个数据备份任务为增量备份任务;相应地,该备份模块24还用于:根据所述数据备份任务实时抓取各数据节点中被修改的数据,生成对应的增量备份数据,将所述增量备份数据存储在增量存储介质中;将存储时间在目标备份周期内的至少一个所述增量备份数据进行整合,得到所述目标备份周期内的全量备份数据。
图7是本发明第三实施例的电子设备的结构示意图。如图7所示,该电子设备30包括处理器31及和处理器31耦接的存储器32。
存储器32存储有用于实现上述任一实施例的所述数据备份方法的程序指令。
处理器31用于执行存储器32存储的程序指令以进行数据备份。
其中,处理器31还可以称为CPU(Central Processing Unit,中央处理单元)。处理器31可能是一种集成电路芯片,具有信号的处理能力。处理器31还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
参阅图8,图8为本发明第四实施例的存储介质的结构示意图。本发明实施例的存储介质存储有能够实现上述所有方法的程序指令41,所述存储介质可以是非易失性,也可以是易失性。其中,该程序指令41可以以软件产品的形式存储在上述存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质,或者是计算机、服务器、手机、平板等终端设备。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。以上仅为本发明的实施方式,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围。
以上所述的仅是本发明的实施方式,在此应当指出,对于本领域的普通技术人员来说,在不脱离本发明创造构思的前提下,还可以做出改进,但这些均属于本发明的保护范围。
Claims (8)
1.一种数据备份方法,其特征在于,包括:
获取服务端的在线业务在目标历史时间段的历史资源使用量;
根据所述历史资源使用量获取所述在线业务在预设时段内的第一预测资源使用量;
根据所述预设时段内的所述第一预测资源使用量、预设的预留资源使用量以及所述服务端的资源量获取所述预设时段内的第二预测资源使用量,其中,所述预留资源使用量包括动态预留资源使用量,所述动态预留资源使用量是根据第二目标历史时间段的预测误差获取的;
在所述预设时段为至少一个数据备份任务分配所述第二预测资源使用量以执行所述数据备份任务。
2.根据权利要求1所述的数据备份方法,其特征在于,所述预留资源使用量包括最小预留资源使用量以及所述动态预留资源使用量;
所述动态预留资源使用量的获取步骤包括:
根据所述服务端的所述在线业务在第二目标历史时间段内的真实资源使用量以及第一预测资源使用量获取所述第二目标历史时间段内的预测误差;
根据所述预测误差以及所述第二目标历史时间段的第一预测资源使用量获取所述动态预留资源使用量。
3.根据权利要求2所述的数据备份方法,其特征在于,所述根据所述服务端的所述在线业务在第二目标历史时间段内的真实资源使用量以及第一预测资源使用量获取所述第二目标历史时间段内的预测误差,包括:
获取所述服务端的所述在线业务在所述第二目标历史时间段内每个单元时间段的单元真实资源使用量以及单元第一预测资源使用量;
根据每个所述单元时间段的单元真实资源使用量以及单元第一预测资源使用量获取对应的单元预测误差;
将所述单元预测误差的最大值作为所述第二目标历史时间段内的预测误差。
4.根据权利要求1所述的数据备份方法,其特征在于,所述根据所述历史资源使用量获取所述在线业务在预设时段内的第一预测资源使用量,包括:
将所述历史资源使用量输入至预先训练好的回归模型预测得到所述服务端在所述预设时段的第一预测资源基准值,其中,所述回归模型为预先根据所述服务端的在线业务的历史资源使用数据训练得到的,用于对所述服务端的在线业务的资源使用量进行预测;
确定所述预设时段的至少一个影响因子;
获取所述至少一个影响因子的影响系数;
根据所述第一预测资源基准值以及所述至少一个影响因子的影响系数获取所述预设时段内的在线业务的所述第一预测资源使用量。
5.根据权利要求1所述的数据备份方法,其特征在于,所述至少一个数据备份任务为增量备份任务;
所述在所述预设时段为至少一个数据备份任务分配所述第二预测资源使用量以执行所述数据备份任务之后,还包括:
根据所述数据备份任务实时抓取各数据节点中被修改的数据,生成对应的增量备份数据,将所述增量备份数据存储在增量存储介质中;
将存储时间在目标备份周期内的至少一个所述增量备份数据进行整合,得到所述目标备份周期内的全量备份数据。
6.一种数据备份装置,其特征在于,包括:
获取模块,用于获取服务端的在线业务在目标历史时间段的历史资源使用量;
预测模块,用于根据所述历史资源使用量获取所述在线业务在预设时段内的第一预测资源使用量;
计算模块,用于根据所述预设时段内的所述第一预测资源使用量、预设的预留资源使用量以及所述服务端的资源量获取所述预设时段内的第二预测资源使用量,其中,所述预留资源使用量包括动态预留资源使用量,所述动态预留资源使用量是根据第二目标历史时间段的预测误差获取的;
备份模块,用于在所述预设时段为至少一个数据备份任务分配所述第二预测资源使用量以执行所述数据备份任务。
7.一种电子设备,其特征在于,包括处理器、以及与所述处理器耦接的存储器,所述存储器存储有可被所述处理器执行的程序指令;所述处理器执行所述存储器存储的所述程序指令时实现如权利要求1~5中任一项所述的数据备份方法。
8.一种存储介质,其特征在于,所述存储介质内存储有程序指令,所述程序指令被处理器执行时实现如权利要求1~5中任一项所述的数据备份方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211346719.1A CN115640167A (zh) | 2022-10-31 | 2022-10-31 | 数据备份方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211346719.1A CN115640167A (zh) | 2022-10-31 | 2022-10-31 | 数据备份方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115640167A true CN115640167A (zh) | 2023-01-24 |
Family
ID=84947602
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211346719.1A Pending CN115640167A (zh) | 2022-10-31 | 2022-10-31 | 数据备份方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115640167A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116775312A (zh) * | 2023-08-16 | 2023-09-19 | 中移(苏州)软件技术有限公司 | 资源处理方法、装置、服务器和计算机可读存储介质 |
-
2022
- 2022-10-31 CN CN202211346719.1A patent/CN115640167A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116775312A (zh) * | 2023-08-16 | 2023-09-19 | 中移(苏州)软件技术有限公司 | 资源处理方法、装置、服务器和计算机可读存储介质 |
CN116775312B (zh) * | 2023-08-16 | 2023-11-21 | 中移(苏州)软件技术有限公司 | 资源处理方法、装置、服务器和计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108090225B (zh) | 数据库实例的运行方法、装置、系统及计算机可读存储介质 | |
US9106589B2 (en) | Predicting long-term computing resource usage | |
US8745218B1 (en) | Predictive governing of dynamic modification of program execution capacity | |
CN110599148B (zh) | 集群数据处理方法、装置、计算机集群及可读存储介质 | |
CN108459905B (zh) | 资源池容量规划方法及服务器 | |
CN111966449B (zh) | 一种虚拟机备份管理方法、系统、终端及存储介质 | |
CN114185675A (zh) | 资源管理方法、装置、电子设备及存储介质 | |
CN115640167A (zh) | 数据备份方法、装置、电子设备及存储介质 | |
CN107343023A (zh) | 一种Mesos管理集群中的资源分配方法、装置及电子设备 | |
CN109669995A (zh) | 数据存储、质量计算方法、装置、存储介质及服务器 | |
CN112085535A (zh) | 资源计量计费方法、装置、集群及存储介质 | |
CN110569114B (zh) | 一种业务处理方法、装置、设备及存储介质 | |
CN112738340A (zh) | 话务量的预测方法、装置、设备及存储介质 | |
WO2019024475A1 (zh) | 断点名单的分配方法、装置、服务器及介质 | |
CN109345369B (zh) | 备付金的配置方法及终端设备 | |
CN113780625B (zh) | 用户电费预测方法、系统、终端及存储介质 | |
CN113468442A (zh) | 资源位流量的分发方法、计算设备及计算机存储介质 | |
CN113781214A (zh) | 基于PoW的提升交易TPS的打包方法、装置及设备 | |
CN113934533A (zh) | 服务部署方法和装置、存储介质及电子设备 | |
CN112836971A (zh) | 配额资源的确定方法和装置、电子设备和存储介质 | |
CN112612583A (zh) | 数据同步方法、装置、计算机设备和可读存储介质 | |
CN110300000A (zh) | 计费方式变更方法、装置、电子设备及可读存储介质 | |
CN111861612A (zh) | 一种资源分配方法、装置、设备及介质 | |
CN116382924B (zh) | 资源配置的推荐方法、装置、电子设备及存储介质 | |
CN111858542B (zh) | 数据处理方法、装置、设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |