CN107231437A - 一种任务备份管理方法及装置 - Google Patents

一种任务备份管理方法及装置 Download PDF

Info

Publication number
CN107231437A
CN107231437A CN201710584614.2A CN201710584614A CN107231437A CN 107231437 A CN107231437 A CN 107231437A CN 201710584614 A CN201710584614 A CN 201710584614A CN 107231437 A CN107231437 A CN 107231437A
Authority
CN
China
Prior art keywords
backup
node
fractionation
performs
tasks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710584614.2A
Other languages
English (en)
Inventor
刘硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201710584614.2A priority Critical patent/CN107231437A/zh
Publication of CN107231437A publication Critical patent/CN107231437A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1029—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers using data related to the state of servers by a load balancer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/63—Routing a service request depending on the request content or context

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供一种任务备份管理方法及装置，上述方法包括以下步骤：主节点收集预设时段内的各个备份节点的负载平均数据并选择低于预设值的负载平均数据对应的备份节点为备份执行节点；所述主节点根据各个备份执行节点的负载平均数据，进行备份任务拆分并将拆分后的备份任务分配至对应的备份执行节点；所述备份执行节点执行分配的拆分后的备份任务，实现了各个节点之间的负载均衡，充分利用了各节点的运算能力，提高了备份效率；另外，上述方案由系统自动执行，实现了备份自动化，简化了备份流程。

Description

一种任务备份管理方法及装置
技术领域
本发明属于备份管理领域，尤其涉及一种任务备份管理方法及装置。
背景技术
在云计算时代，微服务架构已经应用于系统开发和部署中，微服务是将原有的单个业务系统拆分为多个独立开发、设计、运行和运维的小应用，在多个主机节点部署多个相同的小应用提高业务系统的可靠性。
尽管微服务具备海量的节点程序提供服务，但是现有的系统备份方式，无法充分利用各个节点的运算能力对系统进行备份，且备份时需要对系统进行离线备份，多节点操作也十分繁杂。
因此，迫切需要一种简单、高效的任务备份管理方案来解决上述技术问题。
发明内容
本发明提供一种任务备份管理方法及装置，以解决上述问题。
本发明提供一种任务备份管理方法，包括以下步骤：主节点收集预设时段内的各个备份节点的负载平均数据并选择低于预设值的负载平均数据对应的备份节点为备份执行节点；
所述主节点根据各个备份执行节点的负载平均数据，进行备份任务拆分并将拆分后的备份任务分配至对应的备份执行节点；
所述备份执行节点执行分配的拆分后的备份任务。
本发明提供一种任务备份管理装置，包括：处理器，适于实现各指令；
存储设备，适于存储多条指令，所述指令适于由所述处理器加载并执行；
主节点收集预设时段内的各个备份节点的负载平均数据并选择低于预设值的负载平均数据对应的备份节点为备份执行节点；
所述主节点根据各个备份执行节点的负载平均数据，进行备份任务拆分并将拆分后的备份任务分配至对应的备份执行节点；
所述备份执行节点执行分配的拆分后的备份任务。
本发明实施例提供的技术方案：主节点收集预设时段内的各个备份节点的负载平均数据并选择低于预设值的负载平均数据对应的备份节点为备份执行节点；所述主节点根据各个备份执行节点的负载平均数据，进行备份任务拆分并将拆分后的备份任务分配至对应的备份执行节点；所述备份执行节点执行分配的拆分后的备份任务。
上述技术方案中，通过选择低于预设值的负载平均数据对应的备份节点为备份执行节点，并由备份执行节点执行拆分后的备份任务，实现了各个节点之间的负载均衡，充分利用了各节点的运算能力，提高了备份效率；另外，上述方案由系统自动执行，实现了备份自动化，简化了备份流程。
本发明实施例提供的技术方案：各个备份执行节点下线后，执行分配的拆分后的备份任务并将执行结果反馈至所述主节点。
上述技术方案中，能够下线部分节点，充分利用了多节点运算能力，不影响系统正常运行。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1所示为本发明实施例1的任务备份管理方法流程图；
图2所示为本发明实施例2的任务备份管理装置结构图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
图1所示为本发明实施例1的任务备份管理方法流程图，包括以下步骤：
步骤101：主节点收集预设时段内的各个备份节点的负载平均数据并选择低于预设值的负载平均数据对应的备份节点为备份执行节点；
进一步地，主节点收集预设时段内的各个备份节点的负载平均数据之前，还包括：主节点获取备份任务。
步骤102：所述主节点根据各个备份执行节点的负载平均数据，进行备份任务拆分并将拆分后的备份任务分配至对应的备份执行节点；
进一步地，所述主节点根据各个备份执行节点的负载平均数据，进行备份任务拆分并将拆分后的备份任务分配至对应的备份执行节点的过程为：
各个备份执行节点根据各自的负载平均数据，确定对应的负载数据范围，进而确定备份任务的拆分权值并将所述拆分权值反馈至所述主节点；
所述主节点根据每个备份执行节点的拆分权值占所有备份执行节点的拆分权值之和的比值，对备份任务进行拆分并将拆分的备份任务分配至对应的备份执行节点。
进一步地，所述主节点根据各个备份执行节点的负载平均数据，进行备份任务拆分并将拆分的备份任务分配至对应的备份执行节点的过程为：
所述主节点根据各个备份执行节点的负载平均数据，确定对应的负载数据范围，进而确定备份任务的拆分权值；
所述主节点根据每个备份执行节点的拆分权值占所有备份执行节点的拆分权值之和的比值，对备份任务进行拆分并将拆分的备份任务分配至对应的备份执行节点。
步骤103：所述备份执行节点执行分配的拆分后的备份任务。
进一步地，各个备份执行节点下线后，执行分配的拆分后的备份任务并将执行结果反馈至所述主节点。
进一步地，所述主节点组合所述各个备份执行节点反馈的执行结果。
进一步地，所述主节点组合所述各个备份执行节点反馈的执行结果之后，还包括：
所述各个备份执行节点统一上线。
本发明实施例的具体实现步骤如下：
1)主节点获取备份任务；
2)主节点收集预设时段内各备份节点的备份客户端数据，根据各备份节点负载平均数据，选择低于预设值的负载平均数据对应的备份节点作为备份执行节点；其中，预设值可以根据需要进行灵活设定，在此不用于限定本实施例的保护范围；
3)主节点根据各备份执行节点的负载平均数据，进行备份任务拆分
4)主节点将拆分后的备份任务分配至对应的备份执行节点；
5)备份执行节点下线并执行分配的拆分后的备份任务；
6)各个备份执行节点将执行结果反馈至所述主节点
7)主节点组合执行结果
8)各个备份执行节点上线，备份完成。
本发明实施例的特点在于：通过主节点和备份客户端(位于备份节点)，对备份任务进行了分解、分发和管理，并能够下线部分节点，充分利用了多节点运算能力，不影响系统正常运行。
由此可知，本发明实施例能够根据各节点负载和配置，分割备份任务；能够智能下线部分节点，支撑系统在备份期间正常使用；具备主节点和备份客户端逻辑，进行各微服务节点的协调和指令传输工作。
另外，主节点是一个或一组完整的微服务节点，具备备份任务承接，拆分，下发，组合等主要备份功能，备份客户端是在其他备份节点中的一个响应模块，具备计算拆分权值，执行已拆分的备份任务，监控执行过程，接受主备份节点指令等功能。
备份客户端智能判断当前备份节点主机的配置，以及一段时间内的资源配置的使用率，计算一个分割任务的拆分权值反馈给主节点，由主节点根据各节点的拆分权值，按比例分割。
另外，用户可以设置下线节点与总节点比例，主节点下发下线请求，备份客户端判断当前备份节点是否具备正在执行的用户操作请求，当本节点完成用户操作请求后，不再接受新的用户操作请求，将本节点做下线处理，并将操作结果返回主节点统一处理。
图2所示为本发明实施例2的任务备份管理装置结构图，包括：处理器，适于实现各指令；
存储设备，适于存储多条指令，所述指令适于由所述处理器加载并执行；
主节点收集预设时段内的各个备份节点的负载平均数据并选择低于预设值的负载平均数据对应的备份节点为备份执行节点；
所述主节点根据各个备份执行节点的负载平均数据，进行备份任务拆分并将拆分后的备份任务分配至对应的备份执行节点；
所述备份执行节点执行分配的拆分后的备份任务。
进一步地，所述主节点根据各个备份执行节点的负载平均数据，进行备份任务拆分并将拆分后的备份任务分配至对应的备份执行节点的过程为：
各个备份执行节点根据各自的负载平均数据，确定对应的负载数据范围，进而确定备份任务的拆分权值并将所述拆分权值反馈至所述主节点；
所述主节点根据每个备份执行节点的拆分权值占所有备份执行节点的拆分权值之和的比值，对备份任务进行拆分并将拆分的备份任务分配至对应的备份执行节点。
进一步地，所述主节点根据各个备份执行节点的负载平均数据，进行备份任务拆分并将拆分的备份任务分配至对应的备份执行节点的过程为：
所述主节点根据各个备份执行节点的负载平均数据，确定对应的负载数据范围，进而确定备份任务的拆分权值；
所述主节点根据每个备份执行节点的拆分权值占所有备份执行节点的拆分权值之和的比值，对备份任务进行拆分并将拆分的备份任务分配至对应的备份执行节点。
本发明实施例提供的技术方案：主节点收集预设时段内的各个备份节点的负载平均数据并选择低于预设值的负载平均数据对应的备份节点为备份执行节点；所述主节点根据各个备份执行节点的负载平均数据，进行备份任务拆分并将拆分后的备份任务分配至对应的备份执行节点；所述备份执行节点执行分配的拆分后的备份任务。
上述技术方案中，通过选择低于预设值的负载平均数据对应的备份节点为备份执行节点，并由备份执行节点执行拆分后的备份任务，实现了各个节点之间的负载均衡，充分利用了各节点的运算能力，提高了备份效率；另外，上述方案由系统自动执行，实现了备份自动化，简化了备份流程。
本发明实施例提供的技术方案：各个备份执行节点下线后，执行分配的拆分后的备份任务并将执行结果反馈至所述主节点。
上述技术方案中，能够下线部分节点，充分利用了多节点运算能力，不影响系统正常运行。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种任务备份管理方法，其特征在于，包括以下步骤：
主节点收集预设时段内的各个备份节点的负载平均数据并选择低于预设值的负载平均数据对应的备份节点为备份执行节点；
所述主节点根据各个备份执行节点的负载平均数据，进行备份任务拆分并将拆分后的备份任务分配至对应的备份执行节点；
所述备份执行节点执行分配的拆分后的备份任务。
2.根据权利要求1所述的方法，其特征在于，所述主节点根据各个备份执行节点的负载平均数据，进行备份任务拆分并将拆分后的备份任务分配至对应的备份执行节点的过程为：
各个备份执行节点根据各自的负载平均数据，确定对应的负载数据范围，进而确定备份任务的拆分权值并将所述拆分权值反馈至所述主节点；
所述主节点根据每个备份执行节点的拆分权值占所有备份执行节点的拆分权值之和的比值，对备份任务进行拆分并将拆分的备份任务分配至对应的备份执行节点。
3.根据权利要求1所述的方法，其特征在于，所述主节点根据各个备份执行节点的负载平均数据，进行备份任务拆分并将拆分的备份任务分配至对应的备份执行节点的过程为：
所述主节点根据各个备份执行节点的负载平均数据，确定对应的负载数据范围，进而确定备份任务的拆分权值；
所述主节点根据每个备份执行节点的拆分权值占所有备份执行节点的拆分权值之和的比值，对备份任务进行拆分并将拆分的备份任务分配至对应的备份执行节点。
4.根据权利要求1所述的方法，其特征在于，主节点收集预设时段内的各个备份节点的负载平均数据之前，还包括：主节点获取备份任务。
5.根据权利要求1所述的方法，其特征在于，各个备份执行节点下线后，执行分配的拆分后的备份任务并将执行结果反馈至所述主节点。
6.根据权利要求5所述的方法，其特征在于，所述主节点组合所述各个备份执行节点反馈的执行结果。
7.根据权利要求6所述的方法，其特征在于，所述主节点组合所述各个备份执行节点反馈的执行结果之后，还包括：
所述各个备份执行节点统一上线。
8.一种任务备份管理装置，其特征在于，包括：处理器，适于实现各指令；
存储设备，适于存储多条指令，所述指令适于由所述处理器加载并执行；
主节点收集预设时段内的各个备份节点的负载平均数据并选择低于预设值的负载平均数据对应的备份节点为备份执行节点；
所述主节点根据各个备份执行节点的负载平均数据，进行备份任务拆分并将拆分后的备份任务分配至对应的备份执行节点；
所述备份执行节点执行分配的拆分后的备份任务。
9.根据权利要求8所述的装置，其特征在于，所述主节点根据各个备份执行节点的负载平均数据，进行备份任务拆分并将拆分后的备份任务分配至对应的备份执行节点的过程为：
各个备份执行节点根据各自的负载平均数据，确定对应的负载数据范围，进而确定备份任务的拆分权值并将所述拆分权值反馈至所述主节点；
所述主节点根据每个备份执行节点的拆分权值占所有备份执行节点的拆分权值之和的比值，对备份任务进行拆分并将拆分的备份任务分配至对应的备份执行节点。
10.根据权利要求8所述的装置，其特征在于，所述主节点根据各个备份执行节点的负载平均数据，进行备份任务拆分并将拆分的备份任务分配至对应的备份执行节点的过程为：
所述主节点根据各个备份执行节点的负载平均数据，确定对应的负载数据范围，进而确定备份任务的拆分权值；
所述主节点根据每个备份执行节点的拆分权值占所有备份执行节点的拆分权值之和的比值，对备份任务进行拆分并将拆分的备份任务分配至对应的备份执行节点。
CN201710584614.2A 2017-07-18 2017-07-18 一种任务备份管理方法及装置 Pending CN107231437A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710584614.2A CN107231437A (zh) 2017-07-18 2017-07-18 一种任务备份管理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710584614.2A CN107231437A (zh) 2017-07-18 2017-07-18 一种任务备份管理方法及装置

Publications (1)

Publication Number Publication Date
CN107231437A true CN107231437A (zh) 2017-10-03

Family

ID=59956040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710584614.2A Pending CN107231437A (zh) 2017-07-18 2017-07-18 一种任务备份管理方法及装置

Country Status (1)

Country Link
CN (1) CN107231437A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110351380A (zh) * 2019-06-03 2019-10-18 武汉纺织大学 一种新存储节点同步任务的分配方法和系统
CN110635927A (zh) * 2018-06-21 2019-12-31 中兴通讯股份有限公司 节点切换方法、网络节点、网络系统
CN114780296A (zh) * 2022-05-09 2022-07-22 马上消费金融股份有限公司 数据库集群的数据备份方法、装置及系统
CN114785794A (zh) * 2022-03-29 2022-07-22 北京字节跳动网络技术有限公司 资源分配方法、装置、设备、介质、程序产品和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103870334A (zh) * 2012-12-18 2014-06-18 中国移动通信集团公司 一种大规模漏洞扫描的任务分配方法及装置
CN104699559A (zh) * 2013-12-04 2015-06-10 腾讯科技（深圳）有限公司 分布式数据备份方法和系统
US20150236974A1 (en) * 2013-04-26 2015-08-20 Hitachi, Ltd. Computer system and load balancing method
CN106713944A (zh) * 2016-12-30 2017-05-24 北京奇虎科技有限公司 一种流数据任务的处理方法和装置
CN106936899A (zh) * 2017-02-25 2017-07-07 九次方大数据信息集团有限公司 分布式统计分析系统的配置方法及分布式统计分析系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103870334A (zh) * 2012-12-18 2014-06-18 中国移动通信集团公司 一种大规模漏洞扫描的任务分配方法及装置
US20150236974A1 (en) * 2013-04-26 2015-08-20 Hitachi, Ltd. Computer system and load balancing method
CN104699559A (zh) * 2013-12-04 2015-06-10 腾讯科技（深圳）有限公司 分布式数据备份方法和系统
CN106713944A (zh) * 2016-12-30 2017-05-24 北京奇虎科技有限公司 一种流数据任务的处理方法和装置
CN106936899A (zh) * 2017-02-25 2017-07-07 九次方大数据信息集团有限公司 分布式统计分析系统的配置方法及分布式统计分析系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李磊: ""分布式计算引擎的集群管理及负载均衡策略研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110635927A (zh) * 2018-06-21 2019-12-31 中兴通讯股份有限公司 节点切换方法、网络节点、网络系统
CN110635927B (zh) * 2018-06-21 2022-08-19 中兴通讯股份有限公司 节点切换方法、网络节点、网络系统
CN110351380A (zh) * 2019-06-03 2019-10-18 武汉纺织大学 一种新存储节点同步任务的分配方法和系统
CN114785794A (zh) * 2022-03-29 2022-07-22 北京字节跳动网络技术有限公司 资源分配方法、装置、设备、介质、程序产品和系统
CN114780296A (zh) * 2022-05-09 2022-07-22 马上消费金融股份有限公司 数据库集群的数据备份方法、装置及系统

Similar Documents

Publication Publication Date Title
CN107231437A (zh) 一种任务备份管理方法及装置
CN107959705B (zh) 流式计算任务的分配方法和控制服务器
CN108845878A (zh) 基于无服务器计算的大数据处理方法及装置
CN103309946B (zh) 多媒体文件处理方法、装置及系统
CN106790482B (zh) 资源调度方法及资源调度系统
CN105955824A (zh) 一种虚拟资源配置方法以及装置
CN107968802A (zh) 一种资源调度的方法、装置和过滤式调度器
CN104639594A (zh) 分配物理资源和虚拟资源的系统和方法
CN106452842B (zh) 基于网络功能虚拟化中介系统架构的网络系统
CN108536539A (zh) 一种工业分布式数据采集系统中的任务调度方法
CN113282649A (zh) 分布式任务的处理方法、装置和计算机设备
CN109376111A (zh) 一种服务器集群及其后端管理方法
CN106681839A (zh) 弹性计算动态分配方法
CN105791166A (zh) 一种负载均衡分配的方法及系统
CN111352726B (zh) 一种基于容器化微服务的流数据处理方法及装置
CN107085579A (zh) 一种数据采集分发方法及装置
CN104484228A (zh) 基于Intelli-DSC的分布式并行任务处理系统
Popović et al. A novel cloud-based advanced distribution management system solution
CN111209098A (zh) 一种智能渲染调度方法、服务器、管理节点及存储介质
CN112395269B (zh) MySQL高可用组的搭建方法及装置
CN104462581B (zh) 基于微通道内存映射和Smart‑Slice的极速文件指纹提取系统及方法
CN114721827A (zh) 一种数据处理方法及装置
CN114564314A (zh) 一种对集群内监控数据进行采集的方法和装置
CN103970854B (zh) Sap ecc端与sap bw端之间增量凭证信息同步方法
CN112860442A (zh) 资源配额调整方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171003