CN113312208B - 一种基于系统资源的均衡集中备份方法 - Google Patents

一种基于系统资源的均衡集中备份方法 Download PDF

Info

Publication number
CN113312208B
CN113312208B CN202110578612.9A CN202110578612A CN113312208B CN 113312208 B CN113312208 B CN 113312208B CN 202110578612 A CN202110578612 A CN 202110578612A CN 113312208 B CN113312208 B CN 113312208B
Authority
CN
China
Prior art keywords
host
backup
weight
backup operation
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110578612.9A
Other languages
English (en)
Other versions
CN113312208A (zh
Inventor
张玉启
金陵
吴贵明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhuoer Technology Development Co.,Ltd.
Original Assignee
Shenzhen Chaoshu Software Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Chaoshu Software Technology Co ltd filed Critical Shenzhen Chaoshu Software Technology Co ltd
Priority to CN202110578612.9A priority Critical patent/CN113312208B/zh
Publication of CN113312208A publication Critical patent/CN113312208A/zh
Application granted granted Critical
Publication of CN113312208B publication Critical patent/CN113312208B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种基于系统资源的均衡集中备份方法，主机系统资源计算器将需要备份的数据分为数据库、中间件和文件，并设置不同的权重系数，同时根据主机前一天三类数据的数量量计算出分配该主机用于备份操作的权重。目标机系统资源计算器对于只有1台备份主机时，目标机备份操作的权重为100%；如果备份主机是n台，则根据每台备份主机的数据量，计算不同的备份操作权重。主机策略器和目标机策略器根据主机、目标机备份操作的权重给予相应的系统资源。主机往目标机上进行数据备份操作，当主机CPU资源占用大于等于80%时，在局域网内实时操作。目标机通过目标机远程备份模块向广域网上的机器进行数据备份，当目标机CPU资源占用大于等于80%时实时操作。

Description

一种基于系统资源的均衡集中备份方法
技术领域
本发明涉及大数据、新一代信息技术领域，尤其是一种基于系统资源的均衡集中备份方法。
背景技术
我们身处一个大数据的时代，数据正变得越来越多、越来越快，也变得越来越大。
数据正在成为一种重要的资产，数据的丢失成为重大损失。因此，对于多数系统来说，都会建立有备份系统。但是一般来说，备份数据由于占用系统资源较大，多数的备份系统都是定时来备份数据，一旦数据发生丢失，RPO过大，丢失数据较多。如果实时备份，则由于每一种系统上所需要备份的数据的类别不一样（一般分为数据库、中间件、文件三种），数据量也不尽相同，需要的相应系统资源也不同，此时需要做好不同系统上备份所占用系统资源的均衡。
在备份数据时要考虑到异地灾备，是因为自然灾难随时都可能发生，如果将数据保存在一处，则很容易造成数据全部丢失。将数据备份到异地，能够大大提升数据的安全性。异地备份数据，往往需要广域网资源，备份所占用的系统较多，因此也要考虑系统资源的均衡问题。
因此，可以将数据分为多种类别，比如：数据库、中间件和文件，并给予相应的权重系数，而且该权重系数是可以自行调整的。同时，根据这些数据产生量的大小计算出相应的权重，将这些数据实时备份在本地。而且，要在目标端要计算好对应的备份主机相适应的备份系统资源权重。最后在目标端将数据备份到远程，并根据CPU占用的情况而实时或定时备份到远程。
现有情况下最接近技术的分析与对比。
目前，现有情况下最接近的技术方案为：公告号为CN103188099B的《一种多应用系统的备份方法、装置及系统》（下文简称“对比文件1”）和公告号为CN105183585B的《一种数据备份方法及装置》（以下简称“对比文件2”）。
对比文件1和对比文件2都与备份相关，但是与本案有很大区别。
对比文件1是一种发明，公开了一种多应用系统的备份方法、装置及系统，在备用主机中设置与多个应用系统一一对应的多个虚拟机系统，当虚拟机系统需要切换至主用状态时，会确定备用主机的当前可用资源能否满足虚拟机系统的切换，若能，控制虚拟机系统进行切换，若否，当确定备用主机中其他的虚拟机系统能从主用状态切换至备用状态时，控制该其他的虚拟机系统完成切换，之后在确定备用主机的当前可用资源能够满足需要切换至主用状态的虚拟机系统切换时，控制该虚拟机系统进行切换。由于使用一个备用主机中的各虚拟机系统对多个应用系统建立备份系统，提高了备用主机的系统资源利用率，并且，由于统一控制备用主机中的各虚拟机系统进行主备切换，提高了主备切换速度。本发明则是提供一种方法，主要是保证备份主机和目标机上的资源的均衡，目标机上本地备份和远程备份的资源均衡。
对比文件2也是一种发明，公开了一种数据备份方法及装置，涉及数据存储技术领域，能够解决数据备份效率较低的问题。所述数据备份方法包括：获取待备份数据；获取当前系统资源的资源信息；根据所述当前系统资源的资源信息和所述待备份数据，确定用于数据备份的线程的条数，其中所述用于数据备份的线程的条数大于或等于2；利用所述用于数据备份的线程同时进行所述待备份数据的上传。本发明则是提供一种方法，主要是保证备份主机和目标机上的资源的均衡，目标机上本地备份和远程备份的资源均衡。
发明内容
为了解决由于定时备份而引起数据丢失，同时实时备份又无法均衡系统资源的问题。本发明的目的是：提供一种基于系统资源的均衡集中备份方法，其由主机系统资源计算器、主机策略器、目标机系统资源计算器、目标机策略器、目标机远程备份模块组成。主机系统资源计算器根据用户的设置计算出分配该主机用于备份操作的权重；主机策略器根据备份操作的权重给予相应的系统资源；目标机系统资源计算器根据1台或多台主机分配相应的备份操作的权重；目标机策略器根据相应的备份操作的权重给予相应的系统资源；目标机远程备份模块用于策略性地定时将主机备份至目标机上的数据备份至远程机器。
附图说明
图1一种基于系统资源的均衡集中备份方法结构图。
图2主机局域网备份操作规则流程图。
图3目标机远程备份操作规则流程图。
标号说明
100：主机系统资源计算器。
200：主机策略器。
300：目标机系统资源计算器。
400：目标机策略器。
500：目标机远程备份模块。
具体实施方式
如图1，是一种基于系统资源的均衡集中备份方法结构图，其由主机系统资源计算器100、主机策略器200、目标机系统资源计算器300、目标机策略器400和目标机远程备份模块500组成。
一种基于系统资源的均衡集中备份方法，其特征在于，主机系统资源计算器100用于计算主机备份操作的权重，其计算方法为：
将需要备份的数据分为三类：数据库、中间件和文件，并分别给予x、y和z的权重系数，其中x+y+z=100%，x、y和z都是可设置的，优选为50%、30%和20%；
设数据库前一天产生的数据量为db、中间件前一天产生的数据量为mw、文件前一天产生的数据量为file，则：
数据库备份操作的权重=x×db÷(db+mw+file)。
中间件备份操作的权重=y×mw÷(db+mw+file)。
文件备份操作的权重=z×file÷(db+mw+file)。
主机策略器200根据主机系统资源计算器100计算出的备份操作的权重给予相应的系统资源。
一种基于系统资源的均衡集中备份方法，其特征在于，目标机系统资源计算器300根据1台或多台主机分配相应的备份操作的权重，目标机系统资源计算器300对于备份操作的权重计算方法为：
如果需要备份的主机只有1台，则目标机备份操作的权重为100%；
如果需要备份的主机不是1台，假设为n台，则计算出这n台主机上的数据之和D=d1+d2+……dn，其中d1为第1台主机上的数据量，d2为第2台主机上的数据量……dn为第n台主机上的数据量，对应的：
第1台主机的备份操作权重=d1÷D×100%。
第2台主机的备份操作权重=d2÷D×100%。
……。
第n台主机的备份操作权重=dn÷D×100%。
目标机策略器400根据相应的备份操作的权重给予相应的系统资源。
如图2，是主机局域网备份操作规则流程图。主机往目标机上进行数据备份操作在局域网内实时进行，当主机CPU资源占用低于20%时暂停操作，主机CPU资源占用大于等于80%时恢复操作
如图3，是目标机远程备份操作规则流程图。目标机通过目标机远程备份模块500往广域网的机器进行远程备份，如果目标机CPU资源占用大于等于80%时实时操作，CPU资源占用小于20%时则暂停操作。
最后要强调的是，上面结合附图对本案的具体实施例进行了详细说明，但本案并不局限于上述实施例，在不脱离本申请的权利要求的精神和范围情况下，本领域的技术人员可作出各种修改或改型。凡是由本领域技术人员根据本案的技术方案得出的其他实施方式，同样属于本案保护的范围。

Claims (2)

1.一种基于系统资源的均衡集中备份方法，其特征在于，其由主机系统资源计算器、主机策略器、目标机系统资源计算器、目标机策略器、目标机远程备份模块组成，其中：
主机系统资源计算器根据用户的设置计算出分配该主机用于备份操作的权重；
主机策略器根据备份操作的权重给予相应的系统资源；
目标机系统资源计算器根据1台或多台主机分配相应的备份操作的权重；
目标机策略器根据相应的备份操作的权重给予相应的系统资源；
目标机远程备份模块用于策略性地定时将主机备份至目标机上的数据备份至远程机器；
主机系统资源计算器对于备份操作的权重计算方法为：
将需要备份的数据分为三类：数据库、中间件和文件，并分别给予x、y和z的权重系数，其中x+y+z＝100％，x、y和z都是可设置的，为50％、30％和20％；
设数据库前一天产生的数据量为db、中间件前一天产生的数据量为mw、文件前一天产生的数据量为file，则：
数据库备份操作的权重＝x×db÷(db+mw+file)；
中间件备份操作的权重＝y×mw÷(db+mw+file)；
文件备份操作的权重＝z×file÷(db+mw+file)；
目标机系统资源计算器对于备份操作的权重计算方法为：
如果需要备份的主机只有1台，则目标机备份操作的权重为100％；
如果需要备份的主机不是1台，假设为n台，则计算出这n台主机上的数据之和D＝d1+d2+……dn，其中d1为第1台主机上的数据量，d2为第2台主机上的数据量……dn为第n台主机上的数据量，对应的：
第1台主机的备份操作权重＝d1÷D×100％；
第2台主机的备份操作权重＝d2÷D×100％；
……
第n台主机的备份操作权重＝dn÷D×100％。
2.如权利要求1所述的一种基于系统资源的均衡集中备份方法，其特征在于，其备份操作规则为：
主机往目标机上进行数据备份操作，在局域网内进行；当主机CPU资源占用大于等于80％时，主机往目标机上进行数据实时备份操作，当主机CPU资源占用低于20％时暂停操作；
目标机通过目标机远程备份模块向广域网上的机器进行数据备份，如果目标机CPU资源占用大于等于80％时实时备份操作，CPU资源占用小于20％时暂停操作。
CN202110578612.9A 2021-05-26 2021-05-26 一种基于系统资源的均衡集中备份方法 Active CN113312208B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110578612.9A CN113312208B (zh) 2021-05-26 2021-05-26 一种基于系统资源的均衡集中备份方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110578612.9A CN113312208B (zh) 2021-05-26 2021-05-26 一种基于系统资源的均衡集中备份方法

Publications (2)

Publication Number Publication Date
CN113312208A CN113312208A (zh) 2021-08-27
CN113312208B true CN113312208B (zh) 2022-12-02

Family

ID=77374991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110578612.9A Active CN113312208B (zh) 2021-05-26 2021-05-26 一种基于系统资源的均衡集中备份方法

Country Status (1)

Country Link
CN (1) CN113312208B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8140791B1 (en) * 2009-02-24 2012-03-20 Symantec Corporation Techniques for backing up distributed data
CN104199719A (zh) * 2014-08-22 2014-12-10 成都致云科技有限公司 基于一致性算法的虚拟资源重均衡方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2891066A4 (en) * 2012-08-31 2016-04-20 Hewlett Packard Development Co SELECTION OF A RESOURCE FOR USE IN A BACKUP OR DATA RECOVERY OPERATION
US20140092757A1 (en) * 2012-10-01 2014-04-03 Futurewei Technologies, Co. Controlling Data Synchronization and Backup Services
US20170351715A1 (en) * 2016-06-01 2017-12-07 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Determining an importance characteristic for a data set
US10339008B2 (en) * 2016-09-07 2019-07-02 Hewlett Packard Enterprise Development Lp Determining type of backup
CN106569911A (zh) * 2016-10-14 2017-04-19 深圳前海微众银行股份有限公司 数据备份方法和装置
US11204842B2 (en) * 2017-11-22 2021-12-21 Acronis International Gmbh System and method for automating formation and execution of a backup strategy using machine learning
CN108566418B (zh) * 2018-03-23 2021-03-30 杭州秀秀科技有限公司 一种电子数据的智能的处理方法
CN109542620B (zh) * 2018-11-16 2021-05-28 中国人民解放军陆军防化学院 一种云中关联任务流的资源调度配置方法
CN109992206B (zh) * 2019-03-27 2022-05-10 新华三技术有限公司成都分公司 数据分布存储方法及相关装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8140791B1 (en) * 2009-02-24 2012-03-20 Symantec Corporation Techniques for backing up distributed data
CN104199719A (zh) * 2014-08-22 2014-12-10 成都致云科技有限公司 基于一致性算法的虚拟资源重均衡方法

Also Published As

Publication number Publication date
CN113312208A (zh) 2021-08-27

Similar Documents

Publication Publication Date Title
CN111813513B (zh) 基于分布式的实时任务调度方法、装置、设备及介质
CN100527090C (zh) 用于动态分配计算机资源的方法
US10333859B2 (en) Multi-tenant resource coordination method
CN104407926B (zh) 一种云计算资源的调度方法
US10356150B1 (en) Automated repartitioning of streaming data
CN111381928B (zh) 一种虚拟机迁移方法、云计算管理平台和存储介质
CN110515539A (zh) 基于云存储的云磁盘挂载方法、装置、设备和存储介质
CN107450855B (zh) 一种用于分布式存储的模型可变的数据分布方法及系统
CN103581339A (zh) 基于云计算的存储资源分配监控处理方法
TW202133055A (zh) 透過多層次相關性建立系統資源預測及資源管理模型的方法
CN104462432A (zh) 自适应的分布式计算方法
CN108519856B (zh) 基于异构Hadoop集群环境下的数据块副本放置方法
CN111966449B (zh) 一种虚拟机备份管理方法、系统、终端及存储介质
EP3537281A1 (en) Storage controller and io request processing method
WO2013018288A1 (ja) 計算機およびリソース検索方法
CN102339233A (zh) 云计算集中管理平台
CN110096339B (zh) 一种基于系统负载实现的扩缩容配置推荐系统及方法
CN114995975A (zh) 一种Redis集群的调度方法和装置
CN113835823A (zh) 资源调度方法和装置、电子设备、计算机可读存储介质
Hu et al. Cloud model-based security-aware and fault-tolerant job scheduling for computing grid
CN113312208B (zh) 一种基于系统资源的均衡集中备份方法
CN107203256A (zh) 一种网络功能虚拟化场景下的节能分配方法与装置
CN106708624B (zh) 一种多工作域计算资源的自适应调整方法
CN101776946B (zh) 一种基于对象存储系统的功耗控制方法
CN110908783A (zh) 一种云数据中心虚拟机的管控方法、系统及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231116

Address after: 518000 International Internet Finance Industrial Park Entrepreneurship Center 5B1-01, No. 1 Taohua Road, Bonded Zone, Fubao Street, Futian District, Shenzhen, Guangdong Province

Patentee after: Shenzhen Zhuoer Technology Development Co.,Ltd.

Address before: 518109 b1041, Gangshen International Center, Xinniu community, Minzhi street, Longhua District, Shenzhen City, Guangdong Province

Patentee before: Shenzhen Chaoshu Software Technology Co.,Ltd.