CN101068157A - 基于时间和费用约束的网格任务调度方法 - Google Patents
基于时间和费用约束的网格任务调度方法 Download PDFInfo
- Publication number
- CN101068157A CN101068157A CNA2007100524026A CN200710052402A CN101068157A CN 101068157 A CN101068157 A CN 101068157A CN A2007100524026 A CNA2007100524026 A CN A2007100524026A CN 200710052402 A CN200710052402 A CN 200710052402A CN 101068157 A CN101068157 A CN 101068157A
- Authority
- CN
- China
- Prior art keywords
- resource
- task
- grid
- user
- bandwidth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种基于时间和费用约束的网格任务调度方法,具体方法是:将所得到的资源首先按带宽+速度从大到小排序;在排序过程中如果有两种资源具有相同的带宽+速度之值,那么再按价格排序,价格越低的排在前面;资源按带宽+速度分组,同一分组中有相同的带宽+速度值,并且是按价格从小到大排序;用户的子任务按任务长度从大到小排序;按上述顺序,将用户任务与资源从左到右一一映射;重复上述过程直到任务调度完成为止。本发明主要针对用户对提出的具有预算截止期限任务要求有保证而提出来的调度方法。本发明综合考虑了用户任务组的费用、时间约束,也考虑了网络带宽三个QoS约束条件下网格任务调度方法,使得最后执行的时间和费用综合最优。
Description
技术领域
本发明属于计算机网格任务调度方法,特别是一种基于时间和费用约束的网格任务调度方法。
背景技术
网格方法是继Internet、Web技术之后的第三次的技术革命,也是伴随着Internet技术一起发展起来的。随着科技的发展,科学、工程和商业领域中大规模性的计算问题的出现,使得单一的环境(P2P),单一的技术(集群计算)无能为力,它必须寻求一种价格低廉,处理能力超强的高性能计算环境,网格就这样应运而生。网格方法的核心思想是寻求一种超级计算能力的虚拟计算机,它利用目前十分流行的Internet技术将地理位置上的分布式的异构资源,如服务器,工作站,局域网,集群,文件,处理器,存储器等等全面共享,这种共享不是如今的Internet只是实现信息的上载与下载,它利用各种资源代理,实现资源透明的访问,使得Internet构成一台超级的,高性能计算能力的虚拟处理机。在结构上,网格方法实际上是利用互联网将分散在不同地域上的计算机组织起来,形成一个虚拟的“超级计算机”,每个参与的计算机就是一个”节点”,成千上万的节点组合起来,成为一个网格。网格方法有两个优势:一是超强的计算能力;另一个是能充分利用网络中的闲置的计算能力,从而使得Internet上的计算资源,存储资源,数据资源、信息资源、知识资源、专家资源等全面共享并得到充分的利用。
网格中资源是异构的,主要表现在资源的结构、配置和容量上的不同,它包括共享时间的处理器资源和共享空间的存储器资源以及其他形势的各种资源;网格中资源是属于多管理领域的,并且每个领域都有自己的管理策略,这就使得网格中的资源不可能像集群(Cluster)中资源一样实行集中管理,而必须实行分布式管理策略;网格的资源是动态变化的,因为在这样一个大规模环境中,随时有资源加入其中,也随时有资源退出其中,也有资源可用数量减少等等动态变化的因素,所以网格必须有能够实时监控网格中资源变化的能力。像这样一个规模遍及全球、资源异构并且动态变化的网格结构,对资源的管理和调度势必异常复杂。
由上可见,一方面由于网格环境价格低廉、计算能力超强,使得网格成为解决科学、工程和商业领域中大规模性问题的最佳环境;另一方面由于网格环境中的资源地理位置上的分布性、管理策略的多样性、资源配置的异构性和动态性等特点使得网格计算十分具有挑战性。平衡这两种矛盾的最好办法只能取长补短,克服缺点。因此,网格中的资源管理和调度成为网格计算的核心问题。
网格资源管理通常采用资源代理的方式,及网格用户所需要解决的任务首先提交给资源代理,让资源代理负责解决,资源代理通过网格信息服务GIS(Grid Information Service)找到可用资源,并采用一定的调度方法将任务分派给资源执行;而网格资源调度的具体过程如下:
①用户提交任务
网格方法的对象是用户,用户是网格计算服务的对象,网格中的每个用户都有一个资源代理(Broker),在方法之初,用户将包含一定约束条件的任务提交给自己的代理;
②资源代理与GIS交互得到可用信息
网格代理通过网络,查询网络上所有可能的GIS,寻求可用资源信息,资源应该满足用户任务的约束,比喻说费用和截止期的约束,两者交互过程中代理将和GIS就其使用资源进行讨价还价,因为代理总是想得到价格最低的资源,而GIS总是期望高价出售自己的资源,以便最大化资源的利润.最终他们在市场机制的调节作用分别做出让步,代理收集得到的资源信息,准备使用;
③代理采用一定的资源调度方法,以满足用户任务的要求
代理采用合理的调度方法进行资源,任务映射,映射时必须满足用户的约束条件,并且能够优化网格某一方面的性能,比如说,时间最小,费用最低等;
④资源分派
代理按照调度方法将任务分派到可用的资源上,让其执行;
⑤监控资源状态
因为网格中的任务是动态变化的,代理在任务执行时,应该实时的监控资源的状态,包括数量的变化,可用性,速度,存储量的变化,任务执行完成等;
⑥收集任务的结果
资源执行完任务后,把执行结果返回给代理,代理应该收集执行情况;
⑦将任务结果返回用户
代理将返回的任务结果进行处理后返回给用户。
目前网格资源调度方法中,大多数都忽略了建立网格的基石,网络因素,及网络带宽,而且网格是一个地域遍及Internet,因此可以找到很多资源,可以满足任意资源要求,传统资源调度都认为网格资源数目远小于用户调度的任务数目。
发明内容
本发明的目的是为了优化网格资源调度,尽量保证网格任务调度完成而提出的一种资源代理可以找到和用户任务相当的资源数目,也是保证用户任务调度完成的基于时间和费用约束的网格任务调度方法。
为了实现上述目的,本发明的具体方法是:
第一步骤:将所得到的资源首先按带宽+速度(Bw+V)从大到小排序(带宽越高,速度越快,这样的资源应该优先调度);
第二步骤:在排序过程中如果有两种资源具有相同的带宽+速度之值,那么再按价格(C)排序,价格越低的排在前面(价格最优);
第三步骤:资源按带宽+速度分组,同一分组中有相同的带宽+速度值,并且是按价格从小到大排序;
第四步骤:用户的子任务按任务长度从大到小排序(优先让长任务分派到高带宽,高速度的资源上,极大极小算法);
第五步骤:按上述顺序,将用户任务与资源从左到右一一映射:由于代理取得了与用户数量相当的资源个数,那么任务调度时,无须多个任务映射到同一个资源,而基本上是一一映射;
第六步骤:重复上述过程直到任务调度完成为止。
本发明与传统网格资源调度相比,表现的优点如下:充分考虑了构成网格的网络带宽,考虑了网格调度过程中三个QoS因素:截止期、预算、带宽,这是目前网格资源调度很少考虑的;提出了一种保证机制,也就是尽量能让用户的任务调度完成,而不是传统调度算法中,调度过程中如果出现什么例外因素,任务不能完成,没有保证,由于现实中,存在某些用户的在提交任务过程中,强制要求必须完成,不允许失败,那么本专利很有现实意义;在保证的基础上,提出了任务和资源之间一一映射,这与传统的资源远小于用户任务不同,它能够充分利用网格资源,尽量使得任务调度全局最优。
附图说明
附图为本发明的方法流程图。
具体实施方式
下面结合附图对本发明作进一步的详细描述。
用户任务:用户提交给资源代理的一组任务(T1T2,……,Tm),每个子任务都有一定的长度Li,i=1,2…m,整个任务有预算(Budget)和截止期限(Deadline)约束(B,D),就是说该组子任务必须在费用B内,D时间之内完成,否则无效。其中,任务的长度用MI(Million Instruct,百万指令)表示;预算B用CU(Cost Unit,费用单位)表示;截止期限D用S(Second,秒)表示。
网格资源:网格中的一组资源(R1,R2,……,Rn),每个资源都有(带宽,速度,价格)(Bwi,Vi,Ci)属性,分别表示从代理到资源之间网络带宽,任务在资源上执行的速度和任务执行时的价格;其单位分别用:MI/S,MI/S,CU/MI表示。
保证任务执行:网格是一个分布式异构系统,在网格中执行的任务的用户QoS需求也是多种多样的,这里解决一类要求具有保证完成QoS要求。为了达到这个QoS要求,资源代理在与GIS交互过程中,应该考虑一下的因素:
①为了尽快完成任务,应该找到尽量多可用的资源。因为网格是一个规模遍及Internet,找到资源数量接近或超过用户任务数量是有可能的,以此让用户的任务执行结果全局最优。
②由于用户提供的任务组(T1 T2,……,Tm),每个子任务长度为Li,总的费用为B,总的时间为D。那么由以上数据得:
用户任务平均执行费用:
用户任务的平均执行速度:
为了保证任务在(B,D)约束条件下完成,代理在和GIS交互过程中得到可用资源的过程中,采用博弈论方法得到价格尽可能的资源,及要求得到的资源价格Ci和速度Vi满足下面得要求:
B≥Ci;
V≤Vi;
③由于代理为了找到尽可能多的资源,势必找到很多满足条件式(2)但是远距离资源,这样传输带宽小,传输时延大,但是应该尽可能找到传输带宽高,传输时延小的近距离资源。
保证性证明:由于资源的数量和子任务的数量相当,那么资源和任务之间基本上可以一一映射,当任务Ti分派到资源Ri,i=1,...m,总的执行费用如下:
同理,总的执行时间如下:
综合式(3)、(4)知,用户任务在约定条件下找到满足一定条件的资源,一定可以完成。
方法实现:在满足上面条件式(1)、(2)条件下,一定可以保证用户提交的任务执行完成。但是,由于考虑了网络传输过程中延时问题,任务在分派过程中由于传输带宽损耗了一定的时间,这样应该尽可能的降低传输时延,也就是尽量选择带宽高的,执行速度快的资源进行执行,并且在调度过程中,也要考虑资源价格,尽可能的选择便宜的资源,只有这样,才可能使整个调度过程时间-费用综合最优。
本发明主要针对用户对提出的具有预算截止期限任务要求有保证而提出来的调度方法。首先通过代理与GIS交互找到满足保证的资源;然后在有保证的条件下,提出对用户任务的费用和时间综合最优调度方法,最后,进行任务分派。整个调度方法中,综合考虑了用户任务组的费用、截止日期约束,也考虑了网络带宽三个QoS约束条件下网格任务调度方法,使得最后执行的时间和费用综合最优。
本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
Claims (1)
1、一种基于时间和费用约束的网格任务调度方法,其步骤是:
第一步骤:将所得到的资源首先按带宽+速度从大到小排序;
第二步骤:在排序过程中如果有两种资源具有相同的带宽+速度之值,那么再按价格排序,价格越低的排在前面;
第三步骤:资源按带宽+速度分组,同一分组中有相同的带宽+速度值,并且是按价格从小到大排序;
第四步骤:用户的子任务按任务长度从大到小排序;
第五步骤:按上述顺序,将用户任务与资源从左到右一一映射:由于代理取得了与用户数量相当的资源个数,那么任务调度时,无须多个任务映射到同一个资源,而基本上是一一映射;
第六步骤:重复上述过程直到任务调度完成为止。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2007100524026A CN100495984C (zh) | 2007-06-07 | 2007-06-07 | 基于时间和费用约束的网格任务调度方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2007100524026A CN100495984C (zh) | 2007-06-07 | 2007-06-07 | 基于时间和费用约束的网格任务调度方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101068157A true CN101068157A (zh) | 2007-11-07 |
CN100495984C CN100495984C (zh) | 2009-06-03 |
Family
ID=38880601
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2007100524026A Expired - Fee Related CN100495984C (zh) | 2007-06-07 | 2007-06-07 | 基于时间和费用约束的网格任务调度方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN100495984C (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101217418B (zh) * | 2007-12-28 | 2010-08-11 | 西安西电捷通无线网络通信有限公司 | 用于网络性能测试的多任务调度方法 |
CN101835164A (zh) * | 2010-04-20 | 2010-09-15 | 武汉理工大学 | 基于资源移动性的移动网格资源选择方法 |
CN102256369A (zh) * | 2011-06-28 | 2011-11-23 | 武汉理工大学 | 基于能量和通信开销的无线传感器网格任务调度方法 |
CN101582831B (zh) * | 2008-05-16 | 2012-06-13 | 华东师范大学 | 一种多QoS的网格资源调度方法 |
CN103024048A (zh) * | 2012-12-17 | 2013-04-03 | 南京邮电大学 | 一种云环境下的资源调度方法 |
CN101604261B (zh) * | 2009-07-08 | 2013-07-31 | 深圳先进技术研究院 | 超级计算机的任务调度方法 |
CN104657220A (zh) * | 2015-03-12 | 2015-05-27 | 广东石油化工学院 | 混合云中基于截止时间和费用约束的调度模型及方法 |
CN104767814A (zh) * | 2015-04-13 | 2015-07-08 | 天脉聚源(北京)教育科技有限公司 | 一种局域网中文件传输的方法和装置 |
CN103853618B (zh) * | 2014-03-06 | 2017-04-19 | 南京理工大学 | 基于截止日期驱动的云系统代价最小化资源分配方法 |
CN109491778A (zh) * | 2018-11-22 | 2019-03-19 | 西安电子科技大学 | 基于nfc-ran场景的任务分配方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7937406B2 (en) * | 2003-09-11 | 2011-05-03 | Oracle America, Inc. | Mechanism for automatically establishing a resource grid |
WO2005066829A1 (en) * | 2004-01-12 | 2005-07-21 | Alcatel Optical Networks Israel Ltd. | A method and systems for resource bunlding in a communications network |
CN1905670A (zh) * | 2005-07-25 | 2007-01-31 | 黎灿兵 | 基于网格技术的视频点播直播的实现方法和设备 |
-
2007
- 2007-06-07 CN CNB2007100524026A patent/CN100495984C/zh not_active Expired - Fee Related
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101217418B (zh) * | 2007-12-28 | 2010-08-11 | 西安西电捷通无线网络通信有限公司 | 用于网络性能测试的多任务调度方法 |
CN101582831B (zh) * | 2008-05-16 | 2012-06-13 | 华东师范大学 | 一种多QoS的网格资源调度方法 |
CN101604261B (zh) * | 2009-07-08 | 2013-07-31 | 深圳先进技术研究院 | 超级计算机的任务调度方法 |
CN101835164A (zh) * | 2010-04-20 | 2010-09-15 | 武汉理工大学 | 基于资源移动性的移动网格资源选择方法 |
CN101835164B (zh) * | 2010-04-20 | 2014-11-05 | 武汉理工大学 | 基于资源移动性的移动网格资源选择方法 |
CN102256369B (zh) * | 2011-06-28 | 2014-05-21 | 武汉理工大学 | 基于能量和通信开销的无线传感器网格任务调度方法 |
CN102256369A (zh) * | 2011-06-28 | 2011-11-23 | 武汉理工大学 | 基于能量和通信开销的无线传感器网格任务调度方法 |
CN103024048A (zh) * | 2012-12-17 | 2013-04-03 | 南京邮电大学 | 一种云环境下的资源调度方法 |
CN103024048B (zh) * | 2012-12-17 | 2015-08-05 | 南京邮电大学 | 一种云环境下的资源调度方法 |
CN103853618B (zh) * | 2014-03-06 | 2017-04-19 | 南京理工大学 | 基于截止日期驱动的云系统代价最小化资源分配方法 |
CN104657220A (zh) * | 2015-03-12 | 2015-05-27 | 广东石油化工学院 | 混合云中基于截止时间和费用约束的调度模型及方法 |
CN104657220B (zh) * | 2015-03-12 | 2018-04-17 | 广东石油化工学院 | 混合云中基于截止时间和费用约束的调度模型及方法 |
CN104767814A (zh) * | 2015-04-13 | 2015-07-08 | 天脉聚源(北京)教育科技有限公司 | 一种局域网中文件传输的方法和装置 |
CN104767814B (zh) * | 2015-04-13 | 2018-09-25 | 天脉聚源(北京)教育科技有限公司 | 一种局域网中文件传输的方法和装置 |
CN109491778A (zh) * | 2018-11-22 | 2019-03-19 | 西安电子科技大学 | 基于nfc-ran场景的任务分配方法 |
Also Published As
Publication number | Publication date |
---|---|
CN100495984C (zh) | 2009-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101068157A (zh) | 基于时间和费用约束的网格任务调度方法 | |
JP5681458B2 (ja) | 高性能計算クラスタにおいてデータを分配するための方法及びシステム | |
Mansouri et al. | Combination of data replication and scheduling algorithm for improving data availability in Data Grids | |
CN104915407A (zh) | 一种基于Hadoop多作业环境下的资源调度方法 | |
CN101359333B (zh) | 一种基于隐含狄利克雷分配模型的并行数据处理方法 | |
CN103401939B (zh) | 一种采用混合调度策略的负载均衡方法 | |
CN103338228A (zh) | 基于双加权最小连接算法的云计算负载均衡调度算法 | |
CN1845075A (zh) | 面向服务的网格高性能计算作业调度方法 | |
CN102223419A (zh) | 面向网络化操作系统的虚拟资源动态反馈均衡分配机制 | |
Tantalaki et al. | Pipeline-based linear scheduling of big data streams in the cloud | |
CN105471985A (zh) | 负载均衡方法及云平台计算方法、云平台 | |
CN101222522B (zh) | 一种考虑网格任务重要性和时间紧迫性的网格任务调度方法 | |
CN114996018A (zh) | 面向异构计算的资源调度方法、节点、系统、设备及介质 | |
CN108536528A (zh) | 应用感知的大规模网格作业调度方法 | |
Altameem et al. | An agent-based approach for dynamic adjustment of scheduled jobs in computational grids | |
CN101127700A (zh) | 基于网络带宽和用户费用下的网格资源调度方法 | |
In et al. | Sphinx: A scheduling middleware for data intensive applications on a grid | |
CN117493020A (zh) | 一种数据网格的计算资源调度实现方法 | |
Senger | Improving scalability of Bag-of-Tasks applications running on master–slave platforms | |
CN112306642A (zh) | 一种基于稳定匹配博弈理论的工作流调度方法 | |
El-Zoghdy et al. | An efficient algorithm for resource allocation in parallel and distributed computing systems | |
Abba et al. | Design, development and performance analysis of deadline based priority heuristic for job scheduling on a grid | |
Zhao et al. | RAS: a task scheduling algorithm based on resource attribute selection in a task scheduling framework | |
Qu et al. | Improving the energy efficiency and performance of data-intensive workflows in virtualized clouds | |
CN111274009A (zh) | 云环境下基于阶段划分的数据密集型工作流调度方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20090603 Termination date: 20120607 |