CN103744749A - 一种基于预算算法的虚拟机智能备份方法 - Google Patents
一种基于预算算法的虚拟机智能备份方法 Download PDFInfo
- Publication number
- CN103744749A CN103744749A CN201410011842.7A CN201410011842A CN103744749A CN 103744749 A CN103744749 A CN 103744749A CN 201410011842 A CN201410011842 A CN 201410011842A CN 103744749 A CN103744749 A CN 103744749A
- Authority
- CN
- China
- Prior art keywords
- virtual machine
- backup
- idle
- timeslice
- day
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
本发明提供一种基于预算算法的虚拟机智能备份方法,其备份过程为:制定备份策略,预测虚拟机空闲时段,制定备份计划,备份调度。该一种基于预算算法的虚拟机智能备份方法和现有技术相比,高效、节省成本、提高备份质量,具有稳定性、高效性;其次,根据预测算法,预测虚拟机空闲时间,在闲时进行备份,一方面可以降低对虚拟机性能的影响,减少系统资源的消耗,实用性强,易于推广。
Description
技术领域
本发明涉及云计算技术领域,更具体地说是基于预算算法的虚拟机智能备份方法。
背景技术
随着信息科技的发展,云计算逐步成为业界的发展热点,国内外各大厂商的云计算服务平台也开始纷纷投入到科学、教育、文化、卫生、政府、高性能计算、电子商务、物联网等多个领域进行使用。伴随着 IT 硬件的丰富化、多样化以及一些软件公司如 VMware、Xen、微软等推出不同的虚拟化软件,虚拟机的应用越来越广泛。
然而,与物理机相同,虚拟机也不是绝对安全的。自然灾害、黑客攻击、人为破坏、操作失误等各种突发事件都有可能导致虚拟机的崩溃,进而引发企业信息系统的瘫痪,造成灾难性后果。在云服务平台中,保护虚拟机数据免受大规模破坏不仅是必需的,而且已经成为企业成功的先决条件。
传统的虚拟机备份方案,大多采用人工备份虚拟机文件的方式,要求管理员在每天的夜间、凌晨或其他闲暇时段对数据中心的每一台虚拟机进行手动备份,工作量大、效率低、易出错、易遗漏、备份质量难以保障。
为了提高虚拟机的备份效率,保护虚拟机的数据不被人为或自然破坏,实现虚拟机数据的灾后快速恢复,我们提出了一种基于埃特金预测算法的智能、高效、自动、易实现、易维护的虚拟机备份方案。
发明内容
本发明的技术任务是解决现有技术的不足,提供一种基于预算算法的虚拟机智能备份方法。
本发明的技术方案是按以下方式实现的,该一种基于预算算法的虚拟机智能备份方法,其备份过程为:
一、制定备份策略,通过综合考量增量备份与全备份的特点,制定以增量备份为基础,以全备份为保障的备份策略,即日常备份采用增量备份方式进行,间隔一段时间再进行一次全备份。
二、预测虚拟机空闲时段,采集虚拟机在每个自然时的使用频率样本值,按照埃特金插值预测算法,对虚拟机的每日最闲时、每周最闲时、每月最闲时进行预测,通过插值预测算法,将高次插值过程转化为线性插值的多次重复计算,时间复杂度低、计算简便、便于编程、占用存储空间小、预测结果准确。
三、制定备份计划,制定每日、每周、每月的虚拟机备份计划,进行虚拟机备份,按照日、周、月三种周期,实施不同的备份计划,科学、条理、有计划。
四、备份调度,采用基于时间片的轮转调度算法,动态调度各个虚拟机的备份过程,均匀调节备份对系统网络带宽、CPU、内存等资源的抢占,采用基于时间片的轮转调度算法,减少多台虚拟机同时备份时对系统资源的抢占。并根据虚拟机的优先级,将其时间片长度动态加长,智能、实用,较好的区分了不同虚拟机间的差异。
所述步骤二的详细过程为:
1)为每台虚拟机设置虚拟机使用情况统计表,记录虚拟机在每个自然时的使用时长,即开机时长,计算虚拟机在各个自然时的使用频率,该使用频率 = 使用时长/1小时;
2)根据虚拟机使用情况统计表中的数据,以日期t为自变量,当天使用频率最低的自然时y为因变量,定义虚拟机最闲自然时函数;将前n-1天对应的最闲自然时 ,填入虚拟机最闲自然时统计表,按照埃特金插值公式,逐行计算未知系数,直到求出最后一行,获得第n天的虚拟机最闲自然时;
3)利用第2)步可得每台虚拟机的每日最闲时;
4)重复步骤1)~3),逐渐扩大步骤2)中的日期自变量t,即可获得每台虚拟机的每周最闲时、每月最闲时。
所述步骤三的详细过程为:
1)根据步骤二预测的虚拟机每日最闲时、每周最闲时、每月最闲时,制定虚拟机日常备份计划,在虚拟机的每日最闲时进行自动增量备份,每周最闲时进行自动全备份,备份成功后,将最近的两次备份数据进行哈希校验,如果数据重复则删除重复数据;
2)对于重要程度较高的虚拟机,通过减小备份周期,提高备份频率;
3)在虚拟机的每月最闲时,对历史备份数据进行清理,删除冗余的备份。
所述步骤四采用基于时间片的轮转调度算法,其详细过程为:
1)为每台虚拟机分配一个时间片,即为该虚拟机进行备份的时间,如果在时间片结束时虚拟机还没有备份完,则将备份任务存入队列,将时间片分配给另一个虚拟机;如果虚拟机在时间片结束前结束备份,则立即进行虚拟机切换;当虚拟机用完它的时间片后,它被移到队列的末尾;
2)为每个虚拟机设置备份优先级,其中虚拟机的时间片=默认时间片*优先级。
本发明与现有技术相比所产生的有益效果是:
本发明的一种基于预算算法的虚拟机智能备份方法综合应用增量备份与全备份策略,高效、节省成本、提高备份质量,具有稳定性、高效性;其次,根据预测算法,预测虚拟机空闲时间,在闲时进行备份,一方面可以降低对虚拟机性能的影响,减少系统资源的消耗,另一方面由于虚拟机在闲时的CPU、内存、硬盘基本处于静止状态,更加有利于提高备份的成功率;最后,通过基于时间片的轮转调度算法,科学调度多台虚拟机同时备份时对系统资源的抢占;实用性强,易于推广。
附图说明
附图1为本发明的实现流程示意图。
附图2为虚拟机使用情况统计表。
附图3为虚拟机最闲自然时统计表。
附图4为埃特金插值表示意图。
附图5是埃特金插值算法中对应附图4中前两列的公式。
附图6是埃特金插值算法中对应附图4中其余列的公式。
附图7为时间片轮转调度算法状态图。
具体实施方式
下面结合附图对本发明的一种基于预算算法的虚拟机智能备份方法作以下详细说明。
如附图1所示,本发明提供一种基于预算算法的虚拟机智能备份方法,其备份过程为:
制定备份策略:是该方案的设计核心,虚拟机数据备份的先决条件,在于制定好备份策略。目前业界主流的备份方式主要包含全备份与增量备份两种。全备份即虚拟机克隆,它所需的时间长,占用存储空间大,但恢复时间短,操作方便,当系统中数据量不大时,采用全备份最可靠;增量备份即虚拟机快照,它所需的备份时间较短,占用存储空间小,但增量备份依赖于之前的备份,如果前面的备份数据异常,则之后的备份均无法正常恢复。
综合考量两种备份方式的优劣,制定备份策略:以增量备份为基础,以全备份为保障。日常备份采用增量备份方式进行,间隔一段时间再进行一次全备份。
预测虚拟机空闲时段:是体现该方案智能性的环节,具体步骤如下:
S1 如附图2,为每台虚拟机设置“虚拟机使用情况统计表”,记录虚拟机在每个自然时的使用时长(开机时长),计算虚拟机在各个自然时的使用频率(使用频率 = 使用时长/1小时)。
S2 根据“虚拟机使用情况统计表”中的数据,以日期t为自变量,当天使用频率最低的自然时y为因变量,定义虚拟机最闲自然时函数。将前n-1天对应的最闲自然时,填入附图3“虚拟机最闲自然时统计表”,如附图4~6所示,按照埃特金插值公式,逐行计算未知系数,直到求出最后一行,获得第n天的虚拟机最闲自然时,其中前两列是m对插值结点,即图5所示公式,剩余各列可由图5埃特金插值公式计算得到。注意,“虚拟机最闲自然时统计表”中的n值越大,预测的结果越准确;但是由于每台虚拟机的第n天最闲自然时都需要进行预测,因此n值太大会造成计算资源的浪费。建议n值根据云数据中心的实际情况进行选取,一般取10即可。
S3 利用S2步可得每台虚拟机的每日最闲时。按照类似的方法,通过扩大S2步骤中的日期自变量t,即可获得每台虚拟机的每周最闲时、每月最闲时。
制定备份计划:为本方案的实施计划,描述虚拟机的备份以什么方式、什么时间进行,备份的数据保留多长时间以及系统备份方案的具体实施细则。
S1 根据之前预测的虚拟机每日最闲时、每周最闲时、每月最闲时,制定虚拟机日常备份计划。在虚拟机的每日最闲时进行自动增量备份,每周最闲时进行自动全备份,备份成功后,将最近的两次备份数据进行哈希校验,如果数据重复则删除重复数据;
S2 对于重要程度较高的虚拟机,通过减小备份周期,提高备份频率;
S3 在虚拟机的每月最闲时,对历史备份数据进行清理,删除冗余的备份。
备份调度:是对虚拟机备份过程进行资源调优的环节。
S1 如附图7,采用基于时间片的轮转调度算法,降低多台虚拟机同时备份时,对系统计算、存储、网络等资源的抢占。
S2 为每台虚拟机分配一个时间段(时间片),即为该虚拟机进行备份的时间。如果在时间片结束时虚拟机还没有备份完,则将备份任务存入队列,将时间片分配给另一个虚拟机。如果虚拟机在时间片结束前结束备份,则立即进行虚拟机切换。调度程序所要做的就是维护一张就绪进程列表,当虚拟机用完它的时间片后,它被移到队列的末尾。
S3 为每个虚拟机设置备份优先级。虚拟机的时间片=默认时间片*优先级,因此对于优先级较高的虚拟机,时间片扩大,备份时间加长。
每隔一个月对历史备份数据进行清理,删除冗余数据,节省存储空间。
以上所述仅为本发明的实施例而已,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于预算算法的虚拟机智能备份方法,其特征在于其备份过程为:
一、制定备份策略,通过综合考量增量备份与全备份的特点,制定以增量备份为基础,以全备份为保障的备份策略,即日常备份采用增量备份方式进行,间隔一段时间再进行一次全备份;
二、预测虚拟机空闲时段,采集虚拟机在每个自然时的使用频率样本值,按照埃特金插值预测算法,对虚拟机的每日最闲时、每周最闲时、每月最闲时进行预测;
三、制定备份计划,制定每日、每周、每月的虚拟机备份计划,进行虚拟机备份;
四、备份调度,采用基于时间片的轮转调度算法,动态调度各个虚拟机的备份过程,均匀调节备份对系统网络带宽、CPU、内存等资源的抢占。
2.根据权利要求1所述的一种基于预算算法的虚拟机智能备份方法,其特征在于:所述步骤二的详细过程为:
1)为每台虚拟机设置虚拟机使用情况统计表,记录虚拟机在每个自然时的使用时长,即开机时长,计算虚拟机在各个自然时的使用频率,该使用频率 = 使用时长/1小时;
2)根据虚拟机使用情况统计表中的数据,以日期t为自变量,当天使用频率最低的自然时y为因变量,定义虚拟机最闲自然时函数;将前n-1天对应的最闲自然时 ,填入虚拟机最闲自然时统计表,按照埃特金插值公式,逐行计算未知系数,直到求出最后一行,获得第n天的虚拟机最闲自然时;
3)利用第2)步可得每台虚拟机的每日最闲时;
4)重复步骤1)~3),逐渐扩大步骤2)中的日期自变量t,即可获得每台虚拟机的每周最闲时、每月最闲时。
3.根据权利要求1或2所述的一种基于预算算法的虚拟机智能备份方法,其特征在于:所述步骤三的详细过程为:
1)根据步骤二预测的虚拟机每日最闲时、每周最闲时、每月最闲时,制定虚拟机日常备份计划,在虚拟机的每日最闲时进行自动增量备份,每周最闲时进行自动全备份,备份成功后,将最近的两次备份数据进行哈希校验,如果数据重复则删除重复数据;
2)对于重要程度较高的虚拟机,通过减小备份周期,提高备份频率;
3)在虚拟机的每月最闲时,对历史备份数据进行清理,删除冗余的备份。
4.根据权利要求1所述的一种基于预算算法的虚拟机智能备份方法,其特征在于:所述步骤四采用基于时间片的轮转调度算法,其详细过程为:
1)为每台虚拟机分配一个时间片,即为该虚拟机进行备份的时间,如果在时间片结束时虚拟机还没有备份完,则将备份任务存入队列,将时间片分配给另一个虚拟机;如果虚拟机在时间片结束前结束备份,则立即进行虚拟机切换;当虚拟机用完它的时间片后,它被移到队列的末尾;
2)为每个虚拟机设置备份优先级,其中虚拟机的时间片=默认时间片*优先级。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410011842.7A CN103744749A (zh) | 2014-01-11 | 2014-01-11 | 一种基于预算算法的虚拟机智能备份方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410011842.7A CN103744749A (zh) | 2014-01-11 | 2014-01-11 | 一种基于预算算法的虚拟机智能备份方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103744749A true CN103744749A (zh) | 2014-04-23 |
Family
ID=50501769
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410011842.7A Pending CN103744749A (zh) | 2014-01-11 | 2014-01-11 | 一种基于预算算法的虚拟机智能备份方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103744749A (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104317674A (zh) * | 2014-11-04 | 2015-01-28 | 浪潮(北京)电子信息产业有限公司 | 一种备份磁盘数据的方法及装置 |
CN104750550A (zh) * | 2015-04-20 | 2015-07-01 | 上海斐讯数据通信技术有限公司 | 移动终端应用管理系统、方法及使用次数记录生成方法 |
CN104965749A (zh) * | 2014-10-15 | 2015-10-07 | 哈尔滨安天科技股份有限公司 | 一种kvm虚拟机快照恢复优化方法及系统 |
CN107688507A (zh) * | 2016-08-03 | 2018-02-13 | 南京中兴新软件有限责任公司 | 数据备份方法及装置 |
CN108132858A (zh) * | 2017-12-22 | 2018-06-08 | 周川 | 一种容灾备份方法 |
CN108287747A (zh) * | 2017-01-09 | 2018-07-17 | 中国移动通信集团贵州有限公司 | 用于虚拟机备份的方法和设备 |
CN109324927A (zh) * | 2018-09-06 | 2019-02-12 | 郑州云海信息技术有限公司 | 一种基于分布式存储系统的虚拟机备份方法及系统 |
CN109471699A (zh) * | 2018-10-29 | 2019-03-15 | 北京京航计算通讯研究所 | 基于Qcow2镜像文件的差异位图特性的虚拟机增量备份系统 |
CN109471700A (zh) * | 2018-10-29 | 2019-03-15 | 北京京航计算通讯研究所 | 基于Qcow2镜像文件的差异位图特性的虚拟机增量备份方法 |
CN112380067A (zh) * | 2020-11-30 | 2021-02-19 | 四川大学华西医院 | 一种Hadoop环境下基于元数据的大数据备份系统及方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101013388A (zh) * | 2007-01-26 | 2007-08-08 | 浙江大学 | 面向异构多核体系的进程调度方法 |
CN101064730A (zh) * | 2006-09-21 | 2007-10-31 | 上海交通大学 | 计算机网络数据文件本地和远程的备份方法 |
CN101923487A (zh) * | 2010-08-06 | 2010-12-22 | 西华师范大学 | 一种综合嵌入式实时周期任务调度方法 |
US20120117342A1 (en) * | 2010-11-08 | 2012-05-10 | Computer Associates Think, Inc. | Restore from block level backup |
CN102841827A (zh) * | 2012-06-28 | 2012-12-26 | 宇龙计算机通信科技(深圳)有限公司 | 数据库文件的备份方法及通信终端 |
CN102916851A (zh) * | 2012-09-24 | 2013-02-06 | 浪潮(北京)电子信息产业有限公司 | 一种网络流量预测方法及装置 |
CN103154901A (zh) * | 2010-10-06 | 2013-06-12 | 国际商业机器公司 | 自动及自调节的数据备份操作 |
-
2014
- 2014-01-11 CN CN201410011842.7A patent/CN103744749A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101064730A (zh) * | 2006-09-21 | 2007-10-31 | 上海交通大学 | 计算机网络数据文件本地和远程的备份方法 |
CN101013388A (zh) * | 2007-01-26 | 2007-08-08 | 浙江大学 | 面向异构多核体系的进程调度方法 |
CN101923487A (zh) * | 2010-08-06 | 2010-12-22 | 西华师范大学 | 一种综合嵌入式实时周期任务调度方法 |
CN103154901A (zh) * | 2010-10-06 | 2013-06-12 | 国际商业机器公司 | 自动及自调节的数据备份操作 |
US20120117342A1 (en) * | 2010-11-08 | 2012-05-10 | Computer Associates Think, Inc. | Restore from block level backup |
CN102841827A (zh) * | 2012-06-28 | 2012-12-26 | 宇龙计算机通信科技(深圳)有限公司 | 数据库文件的备份方法及通信终端 |
CN102916851A (zh) * | 2012-09-24 | 2013-02-06 | 浪潮(北京)电子信息产业有限公司 | 一种网络流量预测方法及装置 |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104965749B (zh) * | 2014-10-15 | 2018-09-07 | 哈尔滨安天科技股份有限公司 | 一种kvm虚拟机快照恢复优化方法及系统 |
CN104965749A (zh) * | 2014-10-15 | 2015-10-07 | 哈尔滨安天科技股份有限公司 | 一种kvm虚拟机快照恢复优化方法及系统 |
CN104317674A (zh) * | 2014-11-04 | 2015-01-28 | 浪潮(北京)电子信息产业有限公司 | 一种备份磁盘数据的方法及装置 |
CN104750550A (zh) * | 2015-04-20 | 2015-07-01 | 上海斐讯数据通信技术有限公司 | 移动终端应用管理系统、方法及使用次数记录生成方法 |
CN104750550B (zh) * | 2015-04-20 | 2019-06-14 | 上海斐讯数据通信技术有限公司 | 移动终端应用管理系统、方法及使用次数记录生成方法 |
CN107688507A (zh) * | 2016-08-03 | 2018-02-13 | 南京中兴新软件有限责任公司 | 数据备份方法及装置 |
CN108287747A (zh) * | 2017-01-09 | 2018-07-17 | 中国移动通信集团贵州有限公司 | 用于虚拟机备份的方法和设备 |
CN108132858A (zh) * | 2017-12-22 | 2018-06-08 | 周川 | 一种容灾备份方法 |
CN109324927A (zh) * | 2018-09-06 | 2019-02-12 | 郑州云海信息技术有限公司 | 一种基于分布式存储系统的虚拟机备份方法及系统 |
CN109471699A (zh) * | 2018-10-29 | 2019-03-15 | 北京京航计算通讯研究所 | 基于Qcow2镜像文件的差异位图特性的虚拟机增量备份系统 |
CN109471700A (zh) * | 2018-10-29 | 2019-03-15 | 北京京航计算通讯研究所 | 基于Qcow2镜像文件的差异位图特性的虚拟机增量备份方法 |
CN109471699B (zh) * | 2018-10-29 | 2021-06-18 | 北京京航计算通讯研究所 | 基于Qcow2镜像文件的差异位图特性的虚拟机增量备份系统 |
CN109471700B (zh) * | 2018-10-29 | 2021-07-02 | 北京京航计算通讯研究所 | 基于Qcow2镜像文件的差异位图特性的虚拟机增量备份方法 |
CN112380067A (zh) * | 2020-11-30 | 2021-02-19 | 四川大学华西医院 | 一种Hadoop环境下基于元数据的大数据备份系统及方法 |
CN112380067B (zh) * | 2020-11-30 | 2023-08-22 | 四川大学华西医院 | 一种Hadoop环境下基于元数据的大数据备份系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103744749A (zh) | 一种基于预算算法的虚拟机智能备份方法 | |
Li et al. | Tachyon: Reliable, memory speed storage for cluster computing frameworks | |
Zhu et al. | Real-time tasks oriented energy-aware scheduling in virtualized clouds | |
EP3180695B1 (en) | Systems and methods for auto-scaling a big data system | |
US10365976B2 (en) | Scheduling and managing series of snapshots | |
Cecchet et al. | Dolly: virtualization-driven database provisioning for the cloud | |
EP3062227B1 (en) | Scalable grid deduplication | |
JP6764938B2 (ja) | リカバリ可能なストリーム処理 | |
JP2016541056A5 (zh) | ||
US9164849B2 (en) | Backup jobs scheduling optimization | |
CA2813560A1 (en) | Automatic replication of virtual machines | |
Wang et al. | Improving mapreduce performance with partial speculative execution | |
CN101441582A (zh) | 计算机数据对象的备份和恢复方法及实现该方法的系统和程序产品 | |
US9659080B1 (en) | Categorization for constraint-based placement of object replicas in a distributed storage system | |
TW201702908A (zh) | 資料庫彈性調度方法以及裝置 | |
Xue et al. | Processing concurrent graph analytics with decoupled computation model | |
US20170060696A1 (en) | Adaptive bandwidth manager | |
CN104182278A (zh) | 一种判定计算机硬件资源繁忙程度的方法和装置 | |
CN111666266A (zh) | 一种数据迁移方法及相关设备 | |
EP3422183B1 (en) | Managing parallel processing | |
CN103365740A (zh) | 一种数据冷备方法及装置 | |
Liu et al. | A replication-based mechanism for fault tolerance in mapreduce framework | |
CN112637263B (zh) | 一种多数据中心资源优化提升方法、系统和存储介质 | |
WO2017050177A1 (zh) | 一种数据同步方法和装置 | |
CN114297002A (zh) | 一种基于对象存储的海量数据备份方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140423 |