CN103746838A - 一种无中心节点计算机网络的任务调度方法 - Google Patents
一种无中心节点计算机网络的任务调度方法 Download PDFInfo
- Publication number
- CN103746838A CN103746838A CN201310741037.5A CN201310741037A CN103746838A CN 103746838 A CN103746838 A CN 103746838A CN 201310741037 A CN201310741037 A CN 201310741037A CN 103746838 A CN103746838 A CN 103746838A
- Authority
- CN
- China
- Prior art keywords
- node
- task
- optimum
- nodes
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Multi Processors (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明公开了一种无中心节点计算机网络的任务调度方法,属于计算机网络领域,该方法包括如下步骤:建立一个无中心节点的计算机网络,具有节点N1~Nk,每个节点维护一个节点负载表,表中记载所有节点的各类负载的数目;客户端向所有节点广播任务t的启动请求;节点对启动请求解析获得完成t的负载要求及其优先级;令C=1,以所有节点为候选节点,进行如下判断:若候选节点中仅一个节点C级负载要求最优,则该节点为最优节点;若多个节点C级负载要求最优,则该多个节点为新的候选节点;C自增1,重复上述判断,直至选出最优节点,若达到最低优先级仍具有多个候选节点,则候选节点中编号最大或最小的节点为最优节点,实现了任务调度。
Description
技术领域
本发明涉及一种无中心节点计算机网络的任务调度方法,属于计算机网络领域,适用于无中心控制节点或关键节点的计算机网络,尤其适用于并行处理应用的无中心节点计算机网络。
背景技术
目前,并行处理应用主要采用的网络架构有两种:一种为计算机集群网络,另一种为无中心节点的计算机网络。
对于计算机集群网络来说,包括集群管理节点和集群计算节点几类不同用途的网络节点。其中,集群管理节点用来分配和管理集群系统的用户帐号和权限,管理节点安装集群管理软件,作为主节点对整个集群进行监控、管理和作业调度等工作;集群计算节点用于科学计算,运行并行计算程序,是计算机集群网络的主体。在计算机集群网络中,是由集群管理节点统一实现对集群计算节点的状态监控和作业调度等,即集群管理节点是网络中的中心节点或关键节点,如果集群管理节点出现故障,则导致整个计算机集群网络处于瘫痪状态,因此为了提高计算机集群网络的可靠性,通常都是用两台互为热备的服务器作为集群管理节点,但是仍然会存在着网络整体瘫痪的可能性。
无中心节点的计算机网络可以避免集群网络的这种问题,对于无中心节点计算机网络来说,网络中的各计算机在控制地位上是平等的,没有主备之分,当有新任务发起或有计算机出现故障时,由各计算机自行发起任务调度控制。任意一台或者几台计算机节点出现故障都不会影响网络完成并行处理应用的能力。
然而目前无中心节点的计算机网络大多研究重点都在无线传感器网络,无线传感器网络在实际应用时节点数量众多、分布密集,相邻节点之间产生的冗余数据很多,无线传感器网络的任务调度方法并不适用于计算机网络,而通常计算机网络的任务调度方法仅考虑某一个方面的影响,因此需要一种针对无中心节点的计算机网络的多维全面的任务调度方法。
发明内容
有鉴于此,本发明提供了一种无中心节点计算机网络的任务调度方法,该方法考虑多维因素、综合全面的任务调度方法,适用于并行处理应用,以解决无线传感器网络的任务调度方法不适用于计算机网络以及现有任务调度方法考虑方面单一不够全面的问题。
为达到上述目的,本发明的技术方案为:
一种无中心节点计算机网络的任务调度方法,该方法包括如下步骤:
步骤1、建立一个无中心节点的计算机网络,所述网络中具有k个节点,对所述k个节点进行1至k的编号,记为N1~Nk;每个节点中均存储有节点负载表,所述节点负载表中记载所有节点实时负载状态,其中负载状态包括已启动的任务的数目、CPU剩余可用量、内存剩余可用量以及硬盘剩余可用量;
各节点均定期通信,以获取所有节点的实时负载状态更新节点负载表;
步骤2、客户端向上述网络中所有节点广播任务t的启动请求;
网络中每个节点执行如下步骤3~步骤10;
步骤3、网络中每个节点在接收到任务t的启动请求后,解析该请求,获得任务t的负载要求以及客户端为各负载要求指定的优先级,所述负载要求包括已启动的任务的数目、CPU剩余可用量、内存剩余可用量以及硬盘剩余可用量,所述优先级从1开始,数值越高,表示优先级越低;
步骤4、令C=1,选择所有节点作为候选最优节点,任务t的负载要求中最低优先级级数为U,进入步骤5;
步骤5、由节点负载表获取所有候选最优节点中对应该优先级为C的负载状态,并进行对比,转入步骤6;
步骤6、在候选最优节点中,若仅存在节点Nj,其对应优先级为C的负载状态最优,则转入步骤7;
在候选最优节点中,若存在多个节点,其对应优先级为C的负载状态相同且均为最优,则更新候选最优节点为该处所述多个节点,则转到步骤8;
负载状态最优具体为:已启动的任务的数目最小为最优,CPU剩余可用量、内存剩余可用量以及硬盘剩余可用量最大为最优;
步骤7、节点Nj是运行任务t的最优节点,转到步骤10;
步骤8、判断C是否小于U,如果是,则令C的值自增1,返回步骤5,否则转到步骤9;
步骤9、在候选最优节点中选择编号最小或者最大的节点为最优节点;
步骤10、最优节点启动任务t。
进一步地,步骤10中,最优节点启动任务t之后,还包括如下步骤:
最优节点实时监测着任务t的运行状态,若任务t运行不正常,则保存任务运行断点,同时最优节点重新启动任务t,并使任务t从断点处开始运行。
进一步地,步骤10中,最优节点启动任务t之后,还包括如下步骤:
设置监测节点实时监测最优节点的状态,若最优节点异常关机,则向网络中所有节点广播最优节点的异常关机信息;网络中除最优节点外的其他节点接收到最优节点的异常关机信息之后,转入步骤4重新选取最优节点启动任务t,完成任务转移处理过程。
有益效果:
(1)多维任务调度,本发明在调度任务在哪个节点运行时采用多维负载参考方法,不仅仅依赖单一的负载指标,而是从任务个数、CPU、内存、硬盘等对任务运行情况有显著影响的几个方面全面综合考虑,并针对多种负载指标的优先级进行任务调度,以便选择最优节点来执行任务,同时该方法能够多个节点并行执行,适用于并行处理。
(2)灵活,本发明可以针对不同任务的特点选择更适合任务运行的节点,通过为每个任务设置负载优先级等配置信息,优先满足任务亟需的指标,既适用于同类型任务调度应用,也适合于任务类型不同和所需运行环境不同的并行处理应用。
(3)此外,在任务出现故障中断或节点发生故障关机时本发明可以调度任务在原节点继续运行或在其他节点上重新启动。
附图说明
图1为本发明方法流程图。
具体实施方式
下面结合附图并举实施例,对本发明进行详细描述。
本发明提供了一种无中心节点计算机网络的任务调度方法,综合考虑任务的不同运行需求,在网络中的各节点之间维护统一的节点负载表,通过为每个任务设置优先级不同的各类负载要求,在任务启动及任务转移过程中,由各节点自动判断是否为任务运行的最优节点,最终由最优节点负责任务的运行。
实施例1
本发明提供的一种无中心节点计算机网络的任务调度方法包括如下步骤:
步骤1、建立一个无中心节点的计算机网络,所建立的网络中具有k个节点,对这k个节点进行1至k的编号,记为N1~Nk。
每个节点中均存储有节点负载表,节点负载表中记载有该网络中所有节点对应的实时负载状态,其中负载状态包括已启动的任务的数目、CPU剩余可用量、内存剩余可用量以及硬盘剩余可用量。
其中本实施例中各节点均定期通信,以获取所有节点的实时负载状态更新节点负载表。在本实施例中为了能够使节点负载表能够对节点有所标识,还在节点负载表中还具有节点编号、IP地址以及开关机状态和已启动的任务信息。
步骤2、客户端向所述网络中所有节点发起广播任务t的启动请求;
步骤3、网络中每个节点在接收到任务t的启动请求后,均可解析该请求,并获得任务t的负载要求以及客户端为各负载要求指定的优先级,其中负载要求包括已启动的任务的数目、CPU剩余可用量、内存剩余可用量以及硬盘剩余可用量,优先级从1开始,数值越高,表示优先级越低。本实施例中,为已启动的任务的数目、CPU剩余可用量、内存剩余可用量以及硬盘剩余可用量分别指定的优先级依次为1、2、3和4,其中1为最高优先级,4为最低优先级。在本实施例中,任务的启动请求中还可能包括部署应用软件和启停标志等有关任务执行的各信息。
步骤4、令C=1,选择所有节点作为候选最优节点,任务t的负载要求中最低优先级级数为U,进入步骤5;
步骤5、由节点负载表获取所有候选最优节点中对应该优先级为C的负载状态,并进行对比,转入步骤6;
步骤6、若仅存在候选最优节点Nj,其对应优先级为C的负载状态最优,则转入步骤7;
若存在多个候选最优节点,其对应优先级为C的负载状态相同且均为最优,则更新候选最优节点为该处所述多个候选最优节点,则转到步骤8。
其中本实施例中所说的负载状态最优具体为:已启动的任务的数目最小为最优,CPU剩余可用量、内存剩余可用量以及硬盘剩余可用量最大为最优。
步骤7、候选最优节点Nj是运行任务t的最优节点,转到步骤10;
步骤8、判断C是否小于U,如果是,则表明还没有进行到最低的优先级,且令C的值自增1,返回步骤5,否则转到步骤9。
步骤9、在候选最优节点中选择编号最小或者最大的节点为最优节点。
在本步骤中,由于所有节点同时运行本流程,编号最大或者最小的那个保留节点可以主动判断自身为最优节点。
步骤10、使用最优节点启动任务t。
本实施例中,以上步骤是从任务的优先级最高的一类负载要求开始选择候选最优节点,即从优先级为1的开始,逐渐缩小候选最优节点的范围,最终选出一个能够满足所有负载要求的最优节点。可以本发明在进行任务调度时,可以对多种负载要求根据其优先级进行最优节点的选择,达到了多维因素、全面综合的进行任务调度的目的。
实施例2
根据实施例1中提供的方案,虽然步骤1~步骤10实现了最优节点的选取以及使用最优节点启动任务t的目的,而若在运行过程中,任务t发生故障中断,则需要由运行任务的最优节点去检测任务的故障,并再次运行任务。具体过程如下:
步骤10中,最优节点启动任务t之后,还包括如下步骤:
最优节点实时监测着任务t的运行状态,当出现任务t运行不正常的情况,则保存任务运行断点,最优节点重新启动任务t,并使任务t从断点处开始运行。
实施例3
根据实施例1中提供的方案,若在任务t的运行过程中,当运行该任务t的最优节点发生故障异常关机时,则需要重新选择最优节点再进行任务的执行。因此需要使用监控节点对最优节点进行监控,若产生最优节点异常关机的状况,使用监控节点广播并进行状态更新,网络中其他节点根据节点负载表获取故障节点上运行的任务,根据记录的任务配置信息和当前时刻网络中所有节点的负载信息,再次判定是否为当前任务运行的最优节点,由最优节点重新启动任务运行。因此在步骤10中,最优节点启动任务t之后,还包括如下步骤:
设置监测节点实时监测最优节点的状态,若最优节点异常关机,则向网络中所有节点广播最优节点的异常关机信息;网络中除最优节点外的其他节点接收到最优节点的异常关机信息之后,转入步骤4重新选取最优节点启动任务t,完成任务转移处理过程。
综合实施例2和3,在任务出现故障中断或节点发生故障关机时本发明可以调度任务在原节点继续运行或在其他节点上重新启动,因此任务调度灵活满足了无中心节点网络的任务调度需求。
综上所述,以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (3)
1.一种无中心节点计算机网络的任务调度方法,其特征在于,该方法包括如下步骤:
步骤1、建立一个无中心节点的计算机网络,所述网络中具有k个节点,对所述k个节点进行1至k的编号,记为N1~Nk;每个节点中均存储有节点负载表,所述节点负载表中记载所有节点实时负载状态,其中负载状态包括已启动的任务的数目、CPU剩余可用量、内存剩余可用量以及硬盘剩余可用量;
所述各节点均定期通信,以获取所有节点的实时负载状态更新节点负载表;
步骤2、客户端向所述网络中所有节点广播任务t的启动请求;
网络中每个节点执行如下步骤3~步骤10;
步骤3、网络中每个节点在接收到任务t的启动请求后,解析该请求,获得任务t的负载要求以及客户端为各负载要求指定的优先级,所述负载要求包括已启动的任务的数目、CPU剩余可用量、内存剩余可用量以及硬盘剩余可用量,所述优先级从1开始,数值越高,表示优先级越低;
步骤4、令C=1,选择所有节点作为候选最优节点,任务t的负载要求中最低优先级级数为U,进入步骤5;
步骤5、由节点负载表获取所有候选最优节点中对应该优先级为C的负载状态,并进行对比,转入步骤6;
步骤6、在候选最优节点中,若仅存在节点Nj,其对应优先级为C的负载状态最优,则转入步骤7;
在候选最优节点中,若存在多个节点,其对应优先级为C的负载状态相同且均为最优,则更新候选最优节点为该处所述多个节点,则转到步骤8;
所述负载状态最优具体为:已启动的任务的数目最小为最优,CPU剩余可用量、内存剩余可用量以及硬盘剩余可用量最大为最优;
步骤7、节点Nj是运行任务t的最优节点,转到步骤10;
步骤8、判断C是否小于U,如果是,则令C的值自增1,返回步骤5,否则转到步骤9;
步骤9、在候选最优节点中选择编号最小或者最大的节点为最优节点;
步骤10、最优节点启动任务t。
2.如权利要求1所述的一种无中心节点计算机网络的任务调度方法,其特征在于,所述步骤10中,最优节点启动任务t之后,还包括如下步骤:
最优节点实时监测着任务t的运行状态,若任务t运行不正常,则保存任务运行断点,同时最优节点重新启动任务t,并使任务t从断点处开始运行。
3.如权利要求1或2所述的一种无中心节点计算机网络的任务调度方法,其特征在于,所述步骤10中,最优节点启动任务t之后,还包括如下步骤:
设置监测节点实时监测最优节点的状态,若最优节点异常关机,则向网络中所有节点广播最优节点的异常关机信息;网络中除最优节点外的其他节点接收到最优节点的异常关机信息之后,转入步骤4重新选取最优节点启动任务t,完成任务转移处理过程。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310741037.5A CN103746838B (zh) | 2013-12-26 | 2013-12-26 | 一种无中心节点计算机网络的任务调度方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310741037.5A CN103746838B (zh) | 2013-12-26 | 2013-12-26 | 一种无中心节点计算机网络的任务调度方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103746838A true CN103746838A (zh) | 2014-04-23 |
CN103746838B CN103746838B (zh) | 2016-12-07 |
Family
ID=50503829
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310741037.5A Active CN103746838B (zh) | 2013-12-26 | 2013-12-26 | 一种无中心节点计算机网络的任务调度方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103746838B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103955532A (zh) * | 2014-05-13 | 2014-07-30 | 陈北宗 | 一种去中心化的分布式计算框架 |
CN105743990A (zh) * | 2016-03-31 | 2016-07-06 | 宇龙计算机通信科技(深圳)有限公司 | 一种数据流量共享方法及装置 |
CN106250349A (zh) * | 2016-08-08 | 2016-12-21 | 浪潮(北京)电子信息产业有限公司 | 一种高能效异构计算系统 |
CN107453929A (zh) * | 2017-09-22 | 2017-12-08 | 中国联合网络通信集团有限公司 | 集群系统自构建方法、装置及集群系统 |
CN110661844A (zh) * | 2019-08-16 | 2020-01-07 | 北京旷视科技有限公司 | 自动发布调度系统、方法和存储介质 |
CN111160810A (zh) * | 2020-01-09 | 2020-05-15 | 中国地质大学(武汉) | 基于工作流的高性能分布式空间分析任务调度方法及系统 |
CN111966479A (zh) * | 2020-08-19 | 2020-11-20 | 支付宝(杭州)信息技术有限公司 | 业务处理、风险识别业务处理方法、装置及电子设备 |
CN115695136A (zh) * | 2022-12-30 | 2023-02-03 | 中国人民解放军军事科学院国防科技创新研究院 | 一种多源数据分布式嵌入式处理装置及其按需配置方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060126559A1 (en) * | 2004-12-15 | 2006-06-15 | Samsung Electronics Co., Ltd. | Scheduling method in a wireless network |
CN101458634A (zh) * | 2008-01-22 | 2009-06-17 | 中兴通讯股份有限公司 | 负载均衡调度方法和装置 |
CN101620550A (zh) * | 2009-05-27 | 2010-01-06 | 西华师范大学 | 一种基于任务模糊多特征的嵌入式实时调度方法 |
CN101923489A (zh) * | 2010-08-06 | 2010-12-22 | 西华师范大学 | 基于模糊重要性和空闲时间的嵌入式实时任务调度方法 |
CN102567106A (zh) * | 2010-12-30 | 2012-07-11 | 中国移动通信集团云南有限公司 | 任务调度方法、系统和装置 |
CN102708011A (zh) * | 2012-05-11 | 2012-10-03 | 南京邮电大学 | 一种面向云计算平台任务调度的多级负载评估方法 |
CN103188345A (zh) * | 2013-03-01 | 2013-07-03 | 北京邮电大学 | 分布式动态负载管理系统和方法 |
-
2013
- 2013-12-26 CN CN201310741037.5A patent/CN103746838B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060126559A1 (en) * | 2004-12-15 | 2006-06-15 | Samsung Electronics Co., Ltd. | Scheduling method in a wireless network |
CN101458634A (zh) * | 2008-01-22 | 2009-06-17 | 中兴通讯股份有限公司 | 负载均衡调度方法和装置 |
CN101620550A (zh) * | 2009-05-27 | 2010-01-06 | 西华师范大学 | 一种基于任务模糊多特征的嵌入式实时调度方法 |
CN101923489A (zh) * | 2010-08-06 | 2010-12-22 | 西华师范大学 | 基于模糊重要性和空闲时间的嵌入式实时任务调度方法 |
CN102567106A (zh) * | 2010-12-30 | 2012-07-11 | 中国移动通信集团云南有限公司 | 任务调度方法、系统和装置 |
CN102708011A (zh) * | 2012-05-11 | 2012-10-03 | 南京邮电大学 | 一种面向云计算平台任务调度的多级负载评估方法 |
CN103188345A (zh) * | 2013-03-01 | 2013-07-03 | 北京邮电大学 | 分布式动态负载管理系统和方法 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103955532A (zh) * | 2014-05-13 | 2014-07-30 | 陈北宗 | 一种去中心化的分布式计算框架 |
CN105743990A (zh) * | 2016-03-31 | 2016-07-06 | 宇龙计算机通信科技(深圳)有限公司 | 一种数据流量共享方法及装置 |
CN106250349A (zh) * | 2016-08-08 | 2016-12-21 | 浪潮(北京)电子信息产业有限公司 | 一种高能效异构计算系统 |
CN107453929A (zh) * | 2017-09-22 | 2017-12-08 | 中国联合网络通信集团有限公司 | 集群系统自构建方法、装置及集群系统 |
CN110661844A (zh) * | 2019-08-16 | 2020-01-07 | 北京旷视科技有限公司 | 自动发布调度系统、方法和存储介质 |
CN111160810A (zh) * | 2020-01-09 | 2020-05-15 | 中国地质大学(武汉) | 基于工作流的高性能分布式空间分析任务调度方法及系统 |
CN111966479A (zh) * | 2020-08-19 | 2020-11-20 | 支付宝(杭州)信息技术有限公司 | 业务处理、风险识别业务处理方法、装置及电子设备 |
CN111966479B (zh) * | 2020-08-19 | 2024-03-29 | 支付宝(杭州)信息技术有限公司 | 业务处理、风险识别业务处理方法、装置及电子设备 |
CN115695136A (zh) * | 2022-12-30 | 2023-02-03 | 中国人民解放军军事科学院国防科技创新研究院 | 一种多源数据分布式嵌入式处理装置及其按需配置方法 |
CN115695136B (zh) * | 2022-12-30 | 2023-03-10 | 中国人民解放军军事科学院国防科技创新研究院 | 一种多源数据分布式嵌入式处理装置及其按需配置方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103746838B (zh) | 2016-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103746838A (zh) | 一种无中心节点计算机网络的任务调度方法 | |
CN108810100B (zh) | 一种主节点的选举方法、装置及设备 | |
US9477743B2 (en) | System and method for load balancing in a distributed system by dynamic migration | |
US20160132518A1 (en) | Placement policy | |
CN102402395B (zh) | 基于仲裁磁盘的高可用系统不间断运行方法 | |
US10277523B2 (en) | Dynamically adapting to demand for server computing resources | |
US10298715B2 (en) | Distributed processing system, task processing method, and storage medium | |
CN105337780B (zh) | 一种服务器节点配置方法及物理节点 | |
CN103019889A (zh) | 分布式文件系统及其故障处理方法 | |
JP2007172334A (ja) | 並列型演算システムの冗長性を確保するための方法、システム、およびプログラム | |
CN110190991B (zh) | 一种多应用场景下的分布式流处理系统的容错方法 | |
CN103534687A (zh) | 聚簇数据格网中的可扩展集中动态资源分配 | |
US20080148272A1 (en) | Job allocation program, method and apparatus | |
Zhang et al. | Improving Hadoop service provisioning in a geographically distributed cloud | |
US20130219224A1 (en) | Job continuation management apparatus, job continuation management method and job continuation management program | |
CN110727508A (zh) | 一种任务调度系统和调度方法 | |
CN106572137B (zh) | 一种分布式服务资源管理方法和装置 | |
WO2014080492A1 (ja) | 計算機システム、クラスタ管理方法、及び管理計算機 | |
US10331198B2 (en) | Dynamically adapting to demand for server computing resources | |
US11435812B1 (en) | Efficient utilization of spare datacenter capacity | |
CN105577756A (zh) | 采用交叉备份的分布式数据库日志收集与负载调节系统及其方法 | |
CN105830029B (zh) | 用于在计算环境中支持自适应忙等待的系统和方法 | |
US20120239988A1 (en) | Computing unit, method of managing computing unit, and computing unit management program | |
CN112714022A (zh) | 多套集群的控制处理方法、装置及计算机设备 | |
CN103326880A (zh) | Genesys呼叫系统高可用性云计算监控系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |