CN103701894A - 动态资源调度方法与系统 - Google Patents
动态资源调度方法与系统 Download PDFInfo
- Publication number
- CN103701894A CN103701894A CN201310724083.4A CN201310724083A CN103701894A CN 103701894 A CN103701894 A CN 103701894A CN 201310724083 A CN201310724083 A CN 201310724083A CN 103701894 A CN103701894 A CN 103701894A
- Authority
- CN
- China
- Prior art keywords
- node
- resource
- service
- dynamic
- submitted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本公开涉及一种动态资源调度方法与系统。该方法包括提交节点接收网格用户提交的作业;所有网格资源节点周期性地更新本地资源状态信息与资源动态服务优先级值;提交节点根据网格用户所提交的作业和节点的资源动态服务优先级值确定服务实例池的初始节点;初始节点根据网格用户所提交的作业组建服务实例池;初始节点从服务实例池中选择运行网格用户所提交的作业的计算节点,并由所选择的计算节点运行网格用户所提交的作业;当计算节点完成所分配的任务时,将计算结果保存到存储资源节点并通知初始节点;初始节点在收到所有计算节点的完成通知后,将最终结果返回给提交节点,并由提交节点返回给网格用户。本公开充分利用了P2P与P2S各自的优势。
Description
技术领域
本公开涉及数据自有调度技术领域,特别地,涉及一种动态资源调度方法与系统。
背景技术
农业是一个跨度很大的领域,涉及到生物学、气象学、水资源管理等多个学科。但不同领域内各种资源因缺乏有效必要的联系而形成了“农业信息孤岛”,大量的农业信息被“锁”在Web的各个信息孤岛中,给农业用户的使用带来了极大的不便,农业数据资源共享对我国农业现代化建设至关重要。
随着互联网技术的迅速发展和应用,以及对广域分布的资源之间的共享和协同需求的增加,网格技术正成为近年来分布式系统领域中的一个研究热点。网格因具有异构性、可扩展性、可适应性等多种优点而被广泛地应用在众多领域中,它将高速互联网、大型数据库、传感器等融为一体,提供更多的资源、功能和交互性。因此,网格在农业领域的应用前景是非常广阔的,农业数据网格系统能够为人们提供便利的一站式资源共享服务,能够实现农业多学科领域交融合作。
然而,农业数据网格环境下的资源具有大规模性、分布性、动态性、异构性等特点,因此,在这样的农业数据网格系统环境中就需要有一种不依赖集中控制的、分布式的、可扩展的、能适应资源动态变化并且定位性能好的资源调度机制和方法,以增强农业数据网格系统的稳定性、健壮性、可扩展性以及系统的负载平衡。对农业数据网格资源调度方法的研究就是为了解决和优化这些调度问题。
目前,国际上关于网格调度方面的研究项目很多,研究领域主要集中于计算资源的调度系统和数据资源的调度系统。其中,计算资源的调度系统是目前研究的热点,大部分关于网格资源调度研究工作都集中在这一领域,代表性的工作主要有Globus、AppLeS、NetSolve、PUNCH、Nimrod/G等。围绕着网格资源调度,国内外已做了许多研究工作,先后提出了各种调度算法。Min-min,Max-min,Max-int等算法是解决网格调度的经典算法。另外,Buyya提出了一种基于应用经济模型的优化调度模型,在资源的拥有者和使用者之间建立一种“交易”,以尽可能低的费用满足资源使用者进行计算任务的最低要求;Vincenzo介绍了一种基于遗传算法的资源调度算法,尽可能地提高资源的使用率和吞吐量。
P2P(Peer to Peer,点对点)模式是当前分布式系统的研究热点,在系统用户众多时,能够提供比P2S(Peer to Server,点对服务器)模式更优越的服务效率,而当系统用户减少时,P2P系统服务速度并不理想,其稳定性受到限制,同时其可控性也没有采用服务器方式更安全。P2S模式在服务器空闲期,具有很好的服务效率,而在人数居多时,其速度也会变的非常慢,甚至出现连接不上的问题,其效果不甚理想。
发明内容
本公开鉴于以上问题中的至少一个提出了新的技术方案。
本公开在其一个方面提供了一种动态资源调度方法,其充分利用了P2P与P2S各自的优势。
本公开在其另一方面提供了一种动态资源调度系统,其充分利用了P2P与P2S各自的优势。
根据本公开,提供一种动态资源调度方法,包括:
提交节点接收网格用户提交的作业;
所有网格资源节点周期性地更新本地资源状态信息与资源动态服务优先级值;
提交节点根据网格用户所提交的作业和节点的资源动态服务优先级值确定服务实例池的初始节点;
初始节点根据网格用户所提交的作业组建服务实例池;
初始节点从服务实例池中选择运行网格用户所提交的作业的计算节点,并由所选择的计算节点运行网格用户所提交的作业;
当计算节点完成所分配的任务时,将计算结果保存到存储资源节点并通知初始节点;
初始节点在收到所有计算节点的完成通知后,将最终结果返回给提交节点,并由提交节点返回给网格用户。
在本公开的一些实施例中,根据总服务能力、资源组中的最高服务能力、网格节点资源的单位服务能力对网格服务的影响权数和网格节点使用率确定资源动态服务优先级值。
在本公开的一些实施例中,提交节点根据网格用户所提交的作业和节点的资源动态服务优先级值确定服务实例池的初始节点的步骤包括:
判断所提交的作业是否需访问提交节点之外的节点;
如不需访问提交节点之外的节点,则将提交节点作为初始节点;
如需访问提交节点之外的节点,则根据节点的资源动态服务优先级值和是否需访问提交节点确定初始节点。
在本公开的一些实施例中,初始节点根据网格用户所提交的作业组建服务实例池的步骤包括:
查询所有满足作业需求的网格资源节点,将可单独完成作业的资源节点列入单址作业节点列表,将其他节点列入多址作业节点列表;
判断单址作业节点列表中是否存在满足第一资源动态服务优先级阈值要求的节点;
如存在,则将该节点加入服务实例池,否则,将所提交的作业划分为多个子任务,根据节点的资源动态服务优先级值为每个子任务选取网格资源节点,并将所选取的网格资源节点加入服务实例池。
在本公开的一些实施例中,初始节点根据网格用户所提交的作业组建服务实例池的步骤还包括:
将服务实例池中提供相似服务的资源节点编入相似服务组中。
根据本公开,还提供了一种动态资源调度系统,包括提交节点、初始节点、计算节点和存储资源节点,所有节点周期性地更新本地资源状态信息与资源动态服务优先级值,其中,
提交节点,用于接收网格用户提交的作业,根据网格用户所提交的作业和节点的资源动态服务优先级值确定服务实例池的初始节点,并将初始节点反馈的最终结果返回给网格用户;
初始节点,用于根据网格用户所提交的作业组建服务实例池,从服务实例池中选择运行网格用户所提交的作业的计算节点,在收到所有计算节点的完成通知后,将最终结果返回给提交节点;
计算节点,用于运行网格用户所提交的作业,当完成所分配的任务时,将计算结果保存到存储资源节点并通知初始节点;
存储资源节点,用于存储计算节点所计算出的结果。
在本公开的一些实施例中,根据总服务能力、资源组中的最高服务能力、网格节点资源的单位服务能力对网格服务的影响权数和网格节点使用率确定资源动态服务优先级值。
在本公开的一些实施例中,提交节点判断所提交的作业是否需访问提交节点之外的节点,如不需访问提交节点之外的节点,则将提交节点作为初始节点,如需访问提交节点之外的节点,则根据节点的资源动态服务优先级值和是否需访问提交节点确定初始节点。
在本公开的一些实施例中,初始节点查询所有满足作业需求的网格资源节点,将可单独完成作业的资源节点列入单址作业节点列表,将其他节点列入多址作业节点列表,判断单址作业节点列表中是否存在满足第一资源动态服务优先级阈值要求的节点,如存在,则将该节点加入服务实例池,否则,将所提交的作业划分为多个子任务,根据节点的资源动态服务优先级值为每个子任务选取网格资源节点,并将所选取的网格资源节点加入服务实例池。
在本公开的一些实施例中,初始节点还将服务实例池中提供相似服务的资源节点编入相似服务组中。
在本公开的技术方案中,由于根据节点的资源动态服务优先级值来选取执行网格用户所提交作业的资源节点,使得那些原本孤立的服务器资源和用户资源能够被整合在一起,优先调度性能稳定、服务能力强的服务器资源,并在服务器资源不足或性能不稳定的情况下将用户节点资源作为补充,进而充分利用了服务器与用户节点各自的优势。
附图说明
此处所说明的附图用来提供对本公开的进一步理解,构成本申请的
一部分。在附图中:
图1是本公开一个实施例的动态资源调度方法的流程示意图。
图2是本公开另一实施例的动态资源调度方法的流程示意图。
图3是本公开一个实施例的动态资源调度系统的结构示意图。
具体实施方式
下面将参照附图描述本公开。要注意的是,以下的描述在本质上仅是解释性和示例性的,决不作为对本公开及其应用或使用的任何限制。除非另外特别说明,否则,在实施例中阐述的部件和步骤的相对布置以及数字表达式和数值并不限制本公开的范围。另外,本领域技术人员已知的技术、方法和装置可能不被详细讨论,但在适当的情况下意在成为说明书的一部分。
为了克服现有技术中P2P和P2S模式各自存在的缺陷,本公开下述实施例提出了一种基于P2SP(Peer to Server Peer)模式的调度策略,其利用网格技术有效地整合调度农业资源。
图1是本公开一个实施例的动态资源调度方法的流程示意图。
如图1所示,该实施例可以包括以下步骤:
S102,提交节点接收网格用户提交的作业。
S104,所有网格资源节点周期性地更新本地资源状态信息与资源动态服务优先级值;
其中,本地资源状态信息可以包括但不限于资源的位置、网络流量、带宽、资源使用率、资源计算能力、以及决策器计算所得的资源在不同网格应用实例中的影响权数。
S106,提交节点根据网格用户所提交的作业和节点的资源动态服务优先级值确定服务实例池的初始节点。
S108,初始节点根据网格用户所提交的作业组建服务实例池。
S110,初始节点从服务实例池中选择运行网格用户所提交的作业的计算节点,并由所选择的计算节点运行网格用户所提交的作业。
S112,当计算节点完成所分配的任务时,将计算结果保存到存储资源节点并通知初始节点。
S114,初始节点在收到所有计算节点的完成通知后,将最终结果返回给提交节点,并由提交节点返回给网格用户。
在该实施例中,由于根据节点的资源动态服务优先级值来选取执行网格用户所提交作业的资源节点,使得那些原本孤立的服务器资源和用户资源能够被整合在一起,优先调度性能稳定、服务能力强的服务器资源,并在服务器资源不足或性能不稳定的情况下将用户节点资源作为补充,进而充分利用了服务器与用户节点各自的优势。
其中,可以根据总服务能力、资源组中的最高服务能力、网格节点资源的单位服务能力对网格服务的影响权数和网格节点使用率确定资源动态服务优先级值。进一步地,还可以根据各个节点与提交节点之间的带宽、网格应用访问该节点的数据量以及各个节点的处理能力等确定网格节点资源的单位服务能力对网格服务的影响权数和网格节点使用率。
进一步地,在步骤S106中,提交节点根据网格用户所提交的作业和节点的资源动态服务优先级值确定服务实例池的初始节点的步骤可以包括:
判断所提交的作业是否需访问提交节点之外的节点;
如不需访问提交节点之外的节点,则将提交节点作为初始节点;
如需访问提交节点之外的节点,则根据节点的资源动态服务优先级值和是否需访问提交节点确定初始节点。
具体地,如果执行所提交的作业需要访问提交节点之外的节点,则判断执行所提交的作业是否需要访问提交节点,如不需要,则在提交节点之外的节点中选择资源动态服务优先级值最高的节点作为初始节点,如需要,则选取提交节点与提交节点之外的节点中资源动态服务优先级值最高的节点作为初始节点。
进一步地,在步骤S108中,初始节点根据网格用户所提交的作业组建服务实例池的步骤可以包括:
查询所有满足作业需求的网格资源节点,将可单独完成作业的资源节点列入单址作业节点列表,将其他节点列入多址作业节点列表;
判断单址作业节点列表中是否存在满足第一资源动态服务优先级阈值要求的节点;
如存在,则将该节点加入服务实例池,否则,将单址作业节点列表中的其他节点并入多址作业节点列表,将所提交的作业划分为多个子任务,根据节点的资源动态服务优先级值自多址作业节点列表中为每个子任务选取网格资源节点,并将所选取的网格资源节点加入服务实例池。
具体地,可以利用第一资源动态服务优先级阈值作为判断节点资源是否空闲、网络是否通畅的参数。将单址作业节点列表中的节点与第一资源动态服务优先级阈值进行比较,如果高于第一资源动态服务优先级阈值,则表明该节点的资源空闲并且网络处于通畅状态。如果存在多个高于该第一资源动态服务优先级阈值的节点,则可以选择节点的资源动态服务优先级值最高的节点加入服务实例池。由于单址作业节点列表中的其他节点的状态与网络状况并不是非常好,因此可以将这些节点合并到多址作业节点列表中。
如果没有可以满足执行作业要求的单址节点,则将该作业分解为多个子任务,在多址作业节点中针对每个子任务为其选取节点的资源动态服务优先级值最高的节点来执行该子任务。
此外,在初始节点根据网格用户所提交的作业组建服务实例池的步骤还可以包括:
将服务实例池中提供相似服务的资源节点编入相似服务组中。
其中,相似服务组中可以包括同一数据资源的原始数据、数据副本、资源镜像以及网格用户节点拥有的数据分片等。
接下来,结合图2对本公开的技术方案作进一步说明。
如图2所示,可以包括以下流程:
(1)提交任务作业
网格用户可以通过任意一个节点向网格系统提交作业,提交作业的节点称为该作业的“提交节点”,记为Ns。
(2)资源筛选
所有的网格资源节点都周期性地更新本地资源的状态信息以及资源的DPRI(Dynamic Priority,动态服务优先级)值。提交节点的GISA(Grid Information Service Agent,网格信息服务代理)模块查询网格应用映射的网格节点资源列表,从资源信息列表中选择状态可用(例如,节点处于联机状态、节点不繁忙)、且资源的DPRI值较高的节点资源。其中,网格节点资源列表中可以包含但不限于资源位置、网络流量、带宽、资源使用率、资源计算能力、以及决策器计算所得的资源在不用网格应用实例中的影响权数。下面介绍动态服务优先级。
假设某种网格服务(例如,用户所提交的作业)调用n种资源,其总服务能力分别为(R1,R2,…,Rn),当前资源组中最高的服务能力为(HR1,HR2,…,HRn)。通过统计预测得出网格节点资源的单位服务能力对此种网格服务的影响权数为(WR1,WR2,…,WRn);当前某个网格节点使用率为(PR1,PR2,…,PRn),则(1-PR1,1-PR2,…,1-PRn)为该网格节点的剩余服务能力,则该网格节点当前状态的动态服务优先级为:
(3)确定初始节点
提交节点Ns通过性能预测及决策模块确定SIP(Service InstancePool,服务实例池)的初始节点,并将任务或作业传送给该初始节点,将初始节点记为No。
在网格调度系统的调度与监控下,为作业提供服务的资源组织,称为该作业的SIP。SIP是一个作业所需要的所有计算资源、数据资源、存储资源等的临时组合,可以将其形象化地定义为:SIP是由网格系统G中的若干节点组成的一个集合,该集合的节点都向某个特定的作业J提供服务。以R(X,J)表示节点X向作业J提供服务,SIPJ表示作业J所对应的服务实例池,则SIPJ的形式化定义为:SIPJ={X|(X∈G)∧R(X,J)}。
假设网格应用(即用户所提交的作业)需要访问除提交节点之外的其他节点的数据,用D表示这些节点的集合,其中,D={Ni|1≤i≤k},并且有|D|≥0。在初始节点的确定算法中,根据D的情况,初始节点的确定分作两种情况讨论,步骤如下:
(3.2)当时,即作业需要访问除提交节点之外的其他k(k>0)个节点上的数据。这种情况可以根据各个节点与Ns之间的带宽b、应用访问该节点的数据量τ以及各个节点的处理能力等推算出来的各结点的动态服务优先级值来确定No。首先,选择能够满足用户需求的最小作业完成时间资源列表;然后,在最小作业完成时间列表中选择动态服务优先级DPRI值最高的资源节点。假设Nj(1≤j≤k)为k个节点中具有最大DPRI值的节点,选取No的原则是选择具有最大DPRI值的节点。根据应用是否需要访问Ns的数据,又可分为两种情况:①若不需要访问Ns的数据,则选取Nj为初始节点,即,No=Nj。②若需要访问Ns的数据,如果DPRIj>DPRIs,则No=Nj,否则No=Ns。
(4)组建服务实例池
初始节点根据作业所要访问的数据、节点参与SIP的数量、与初始节点之间带宽以及节点当前的空闲处理能力与有关节点进行协商,组织一个针对该作业的SIP。
所谓P2SP模式的调度策略是指网格节点对等协作、并且优先调度服务器资源、用户节点资源作为补充的服务模式。其中,P代表用户网格节点,S代表服务能力强(即,DPRI值较高)的服务器级别的网格节点。服务实例池的组建是在P2SP模式下,基于“先单址作业调度、后多址作业调度”、“先本地、后异地”的动态调度策略进行,具体步骤如下:
(4.1)查询所有满足作业需求描述的网格资源节点,并将全项满足(即,调度时能够单独完成作业)的资源节点列入单址作业节点列表F,其他列入多址作业节点列表H。其中,单址作业节点是指调度时能够单独完成作业的网格节点;多址作业节点是指调度时需要协同作业调度的虚拟组织网格节点;
(4.2)筛选单址作业节点。
根据节点的DPRI值,列表F中的网格资源节点可以分为三类:①完全符合要求,处于空闲的、网络通畅的网格资源节点(即,DPRI值高于第一资源动态服务优先级阈值的节点);②性能符合要求,但是网格节点系统处于繁忙状态,即DPRI值低于某个阈值的网格资源节点(即,DPRI值低于第一资源动态服务优先级阈值,但是高于第二资源动态服务优先级阈值的节点);③性能符合要求,但是网路不畅、带宽不足、访问性能差、等待时间长的网格节点(即,DPRI值低于第二资源动态服务优先级阈值的节点)。对于上述三类情况,如果存在第①类节点,则将该类节点资源选择并激活,直接加入服务实例池,查询终止,并直接跳到第(5)步;否则,针对第②类和③类情况,转入第(4.3)步;
(4.3)筛选多址作业节点。
假设作业J被分解为m个子任务,即A={A1,A2,…,Am},则针对每一个子任务查询DPRI值较高的网格资源节点,选择并激活这些网格资源节点,加入到该作业J的服务实例池。
(4.4)通过服务聚合技术,将服务实例池中提供相似服务的资源编入“相似服务组”中,进而方便DPRI辨别,减少网格资源冗余、搜索消耗、并降低服务压力,使得负载均衡。
在服务实例池中,有很多网格资源节点提供相似服务,将这些提供相似服务的资源集合在一个实例容器中,这个实例容器就称之为“相似服务组”。例如,同一数据资源的原始数据、数据副本、资源镜像、以及网格用户节点拥有的数据分片等。
(5)节点处理:初始节点在SIP中选择具体运行作业任务的计算节点,并将各个任务映射到所选择的节点或节点集上运行,并通知SIP中其他未选中的并且不包含有作业需要访问数据的节点退出SIP。运行过程中,SIP中各个节点周期性地向初始节点报告当前状况(可以包括但不限于作业或子任务是否完成,节点是否提前退出),如果某个节点在任务结束之前退出SIP,则根据该节点的属性以及运行的进度进行相应的处理。
(6)存储资源节点:当某个节点完成所分配的任务时,选择能够满足存储要求的、具有最快访问速度的存储节点,将结果保存到存储资源节点,并通知初始节点。
(7)返回结果:初始节点收到所有节点的完成通知后,通知SIP中的所有节点解散SIP,将结果返回给提交节点,再返回至提交作业的用户。
本领域普通技术人员可以理解,实现上述方法实施例的全部和部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算设备可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤,而前述的存储介质可以包括ROM、RAM、磁碟和光盘等各种可以存储程序代码的介质。
图3是本公开一个实施例的动态资源调度系统的结构示意图。
如图3所示,该实施例中的系统30可以包括提交节点302、初始节点304、计算节点306和存储资源节点308,所有节点周期性地更新本地资源状态信息与资源动态服务优先级值,其中,
提交节点302,用于接收网格用户提交的作业,根据网格用户所提交的作业和节点的资源动态服务优先级值确定服务实例池的初始节点,并将初始节点反馈的最终结果返回给网格用户;
初始节点304,用于根据网格用户所提交的作业组建服务实例池,从服务实例池中选择运行网格用户所提交的作业的计算节点,在收到所有计算节点的完成通知后,将最终结果返回给提交节点;
计算节点306,用于运行网格用户所提交的作业,当完成所分配的任务时,将计算结果保存到存储资源节点并通知初始节点;
存储资源节点308,用于存储计算节点所计算出的结果。
在该实施例中,由于根据节点的资源动态服务优先级值来选取执行网格用户所提交作业的资源节点,使得那些原本孤立的服务器资源和用户资源能够被整合在一起,优先调度性能稳定、服务能力强的服务器资源,并在服务器资源不足或性能不稳定的情况下将用户节点资源作为补充,进而充分利用了服务器与用户节点各自的优势。
进一步地,根据总服务能力、资源组中的最高服务能力、网格节点资源的单位服务能力对网格服务的影响权数和网格节点使用率确定资源动态服务优先级值。
进一步地,提交节点判断所提交的作业是否需访问提交节点之外的节点,如不需访问提交节点之外的节点,则将提交节点作为初始节点,如需访问提交节点之外的节点,则根据节点的资源动态服务优先级值和是否需访问提交节点确定初始节点。
进一步地,初始节点查询所有满足作业需求的网格资源节点,将可单独完成作业的资源节点列入单址作业节点列表,将其他节点列入多址作业节点列表,判断单址作业节点列表中是否存在满足第一资源动态服务优先级阈值要求的节点,如存在,则将该节点加入服务实例池,否则,将所提交的作业划分为多个子任务,根据节点的资源动态服务优先级值为每个子任务选取网格资源节点,并将所选取的网格资源节点加入服务实例池。
此外,初始节点还将服务实例池中提供相似服务的资源节点编入相似服务组中。
本说明书中各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同和相似的部分可以相互参见。对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处可以参见方法实施例部分的说明。
本公开上述实施例所采用的P2SP资源共享模式能够有效地把原本孤立的服务器资源和用户资源整合到一起,通过动态服务优先级评估有效辨别相似服务组中的“精英团队”,优先调度性能稳定,服务能力强的服务器资源,能够基本实现“能者多劳”,优先调用服务器资源,用户节点资源作为补充,既保证服务器的主体地位,又能够充分利用用户节点资源。
虽然已参照示例性实施例描述了本公开,但应理解,本公开不限于上述的示例性实施例。对于本领域技术人员显然的是,可以在不背离本公开的范围和精神的条件下修改上述的示例性实施例。所附的权利要求的范围应被赋予最宽的解释,以包含所有这样的修改以及等同的结构和功能。
Claims (10)
1.一种动态资源调度方法,其特征在于,包括:
提交节点接收网格用户提交的作业;
所有网格资源节点周期性地更新本地资源状态信息与资源动态服务优先级值;
提交节点根据网格用户所提交的作业和节点的资源动态服务优先级值确定服务实例池的初始节点;
初始节点根据网格用户所提交的作业组建服务实例池;
初始节点从服务实例池中选择运行网格用户所提交的作业的计算节点,并由所选择的计算节点运行网格用户所提交的作业;
当计算节点完成所分配的任务时,将计算结果保存到存储资源节点并通知初始节点;
初始节点在收到所有计算节点的完成通知后,将最终结果返回给提交节点,并由提交节点返回给网格用户。
2.根据权利要求1所述的动态资源调度方法,其特征在于,根据总服务能力、资源组中的最高服务能力、网格节点资源的单位服务能力对网格服务的影响权数和网格节点使用率确定所述资源动态服务优先级值。
3.根据权利要求1所述的动态资源调度方法,其特征在于,所述提交节点根据网格用户所提交的作业和节点的资源动态服务优先级值确定服务实例池的初始节点的步骤包括:
判断所提交的作业是否需访问提交节点之外的节点;
如不需访问提交节点之外的节点,则将提交节点作为初始节点;
如需访问提交节点之外的节点,则根据节点的资源动态服务优先级值和是否需访问提交节点确定初始节点。
4.根据权利要求1所述的动态资源调度方法,其特征在于,所述初始节点根据网格用户所提交的作业组建服务实例池的步骤包括:
查询所有满足作业需求的网格资源节点,将可单独完成作业的资源节点列入单址作业节点列表,将其他节点列入多址作业节点列表;
判断单址作业节点列表中是否存在满足第一资源动态服务优先级阈值要求的节点;
如存在,则将该节点加入服务实例池,否则,将所提交的作业划分为多个子任务,根据节点的资源动态服务优先级值为每个子任务选取网格资源节点,并将所选取的网格资源节点加入服务实例池。
5.根据权利要求4所述的动态资源调度方法,其特征在于,所述初始节点根据网格用户所提交的作业组建服务实例池的步骤还包括:
将服务实例池中提供相似服务的资源节点编入相似服务组中。
6.一种动态资源调度系统,其特征在于,包括提交节点、初始节点、计算节点和存储资源节点,所有节点周期性地更新本地资源状态信息与资源动态服务优先级值,其中,
所述提交节点,用于接收网格用户提交的作业,根据网格用户所提交的作业和节点的资源动态服务优先级值确定服务实例池的初始节点,并将初始节点反馈的最终结果返回给网格用户;
所述初始节点,用于根据网格用户所提交的作业组建服务实例池,从服务实例池中选择运行网格用户所提交的作业的计算节点,在收到所有计算节点的完成通知后,将最终结果返回给提交节点;
所述计算节点,用于运行网格用户所提交的作业,当完成所分配的任务时,将计算结果保存到存储资源节点并通知初始节点;
所述存储资源节点,用于存储计算节点所计算出的结果。
7.根据权利要求6所述的动态资源调度系统,其特征在于,根据总服务能力、资源组中的最高服务能力、网格节点资源的单位服务能力对网格服务的影响权数和网格节点使用率确定所述资源动态服务优先级值。
8.根据权利要求6所述的动态资源调度系统,其特征在于,所述提交节点判断所提交的作业是否需访问提交节点之外的节点,如不需访问提交节点之外的节点,则将提交节点作为初始节点,如需访问提交节点之外的节点,则根据节点的资源动态服务优先级值和是否需访问提交节点确定初始节点。
9.根据权利要求6所述的动态资源调度系统,其特征在于,所述初始节点查询所有满足作业需求的网格资源节点,将可单独完成作业的资源节点列入单址作业节点列表,将其他节点列入多址作业节点列表,判断单址作业节点列表中是否存在满足第一资源动态服务优先级阈值要求的节点,如存在,则将该节点加入服务实例池,否则,将所提交的作业划分为多个子任务,根据节点的资源动态服务优先级值为每个子任务选取网格资源节点,并将所选取的网格资源节点加入服务实例池。
10.根据权利要求9所述的动态资源调度系统,其特征在于,所述初始节点还将服务实例池中提供相似服务的资源节点编入相似服务组中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310724083.4A CN103701894A (zh) | 2013-12-25 | 2013-12-25 | 动态资源调度方法与系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310724083.4A CN103701894A (zh) | 2013-12-25 | 2013-12-25 | 动态资源调度方法与系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103701894A true CN103701894A (zh) | 2014-04-02 |
Family
ID=50363288
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310724083.4A Pending CN103701894A (zh) | 2013-12-25 | 2013-12-25 | 动态资源调度方法与系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103701894A (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106878389A (zh) * | 2017-01-04 | 2017-06-20 | 北京百度网讯科技有限公司 | 用于在云系统中进行资源调度的方法和装置 |
CN106878356A (zh) * | 2015-12-11 | 2017-06-20 | 中国移动通信集团公司 | 一种调度方法及计算节点 |
CN106919437A (zh) * | 2017-03-01 | 2017-07-04 | 济南浪潮高新科技投资发展有限公司 | 基于openstack的对称多处理虚拟机的调度方法 |
CN108134851A (zh) * | 2018-03-16 | 2018-06-08 | 浙江远算云计算有限公司 | 数据传输的服务质量控制方法及装置 |
CN109783240A (zh) * | 2019-01-27 | 2019-05-21 | 中国人民解放军国防科技大学 | 基于minmax局部优化结构化网格负载平衡方法 |
CN109873868A (zh) * | 2019-03-01 | 2019-06-11 | 深圳市网心科技有限公司 | 一种计算能力共享方法、系统及相关设备 |
CN109960575A (zh) * | 2019-03-26 | 2019-07-02 | 深圳市网心科技有限公司 | 一种计算能力共享方法、系统及相关设备 |
CN110096331A (zh) * | 2018-01-30 | 2019-08-06 | 中国移动通信有限公司研究院 | 分级方法及装置、分级设备及存储介质 |
CN111105116A (zh) * | 2018-10-27 | 2020-05-05 | 谷多多(成都)科技有限公司 | 一种应用于有机农业的商业模式 |
CN112039709A (zh) * | 2020-09-02 | 2020-12-04 | 北京首都在线科技股份有限公司 | 资源调度方法、装置、设备和计算机可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030177176A1 (en) * | 2002-03-18 | 2003-09-18 | Hirschfeld Robert A. | Near on-line servers |
CN1791025A (zh) * | 2005-12-26 | 2006-06-21 | 北京航空航天大学 | 服务网格系统及处理作业的方法 |
CN1790275A (zh) * | 2005-12-26 | 2006-06-21 | 北京航空航天大学 | 服务网格调度器及调度作业的方法 |
CN101308468A (zh) * | 2008-06-13 | 2008-11-19 | 南京邮电大学 | 网格计算环境下的作业跨域控制方法 |
CN101957780A (zh) * | 2010-08-17 | 2011-01-26 | 中国电子科技集团公司第二十八研究所 | 一种基于资源状态信息的网格任务调度处理器及方法 |
-
2013
- 2013-12-25 CN CN201310724083.4A patent/CN103701894A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030177176A1 (en) * | 2002-03-18 | 2003-09-18 | Hirschfeld Robert A. | Near on-line servers |
CN1791025A (zh) * | 2005-12-26 | 2006-06-21 | 北京航空航天大学 | 服务网格系统及处理作业的方法 |
CN1790275A (zh) * | 2005-12-26 | 2006-06-21 | 北京航空航天大学 | 服务网格调度器及调度作业的方法 |
CN101308468A (zh) * | 2008-06-13 | 2008-11-19 | 南京邮电大学 | 网格计算环境下的作业跨域控制方法 |
CN101957780A (zh) * | 2010-08-17 | 2011-01-26 | 中国电子科技集团公司第二十八研究所 | 一种基于资源状态信息的网格任务调度处理器及方法 |
Non-Patent Citations (1)
Title |
---|
丛慧芳: "农业数据网格资源调度方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106878356B (zh) * | 2015-12-11 | 2020-08-04 | 中国移动通信集团公司 | 一种调度方法及计算节点 |
CN106878356A (zh) * | 2015-12-11 | 2017-06-20 | 中国移动通信集团公司 | 一种调度方法及计算节点 |
CN106878389A (zh) * | 2017-01-04 | 2017-06-20 | 北京百度网讯科技有限公司 | 用于在云系统中进行资源调度的方法和装置 |
US10778807B2 (en) | 2017-01-04 | 2020-09-15 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Scheduling cluster resources to a job based on its type, particular scheduling algorithm,and resource availability in a particular resource stability sub-levels |
CN106878389B (zh) * | 2017-01-04 | 2020-02-07 | 北京百度网讯科技有限公司 | 用于在云系统中进行资源调度的方法和装置 |
CN106919437A (zh) * | 2017-03-01 | 2017-07-04 | 济南浪潮高新科技投资发展有限公司 | 基于openstack的对称多处理虚拟机的调度方法 |
CN110096331B (zh) * | 2018-01-30 | 2021-10-29 | 中国移动通信有限公司研究院 | 分级方法及装置、分级设备及存储介质 |
CN110096331A (zh) * | 2018-01-30 | 2019-08-06 | 中国移动通信有限公司研究院 | 分级方法及装置、分级设备及存储介质 |
CN108134851A (zh) * | 2018-03-16 | 2018-06-08 | 浙江远算云计算有限公司 | 数据传输的服务质量控制方法及装置 |
CN108134851B (zh) * | 2018-03-16 | 2019-07-23 | 浙江远算云计算有限公司 | 数据传输的服务质量控制方法及装置 |
CN111105116A (zh) * | 2018-10-27 | 2020-05-05 | 谷多多(成都)科技有限公司 | 一种应用于有机农业的商业模式 |
CN109783240A (zh) * | 2019-01-27 | 2019-05-21 | 中国人民解放军国防科技大学 | 基于minmax局部优化结构化网格负载平衡方法 |
CN109783240B (zh) * | 2019-01-27 | 2020-08-25 | 中国人民解放军国防科技大学 | 基于minmax局部优化结构化网格并行计算负载平衡方法 |
CN109873868A (zh) * | 2019-03-01 | 2019-06-11 | 深圳市网心科技有限公司 | 一种计算能力共享方法、系统及相关设备 |
CN109960575A (zh) * | 2019-03-26 | 2019-07-02 | 深圳市网心科技有限公司 | 一种计算能力共享方法、系统及相关设备 |
CN109960575B (zh) * | 2019-03-26 | 2023-09-15 | 深圳市网心科技有限公司 | 一种计算能力共享方法、系统及相关设备 |
CN112039709A (zh) * | 2020-09-02 | 2020-12-04 | 北京首都在线科技股份有限公司 | 资源调度方法、装置、设备和计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103701894A (zh) | 动态资源调度方法与系统 | |
Chou et al. | Process flexibility revisited: The graph expander and its applications | |
Wei et al. | The multiple attribute decision-making VIKOR method and its application | |
CN105069010B (zh) | 基于多Agent的资源聚合方法 | |
CN102256369B (zh) | 基于能量和通信开销的无线传感器网格任务调度方法 | |
CN105141697A (zh) | 一种多QoS约束的云计算任务调度方法 | |
CN113037877B (zh) | 云边端架构下时空数据及资源调度的优化方法 | |
CN114721833A (zh) | 一种基于平台业务类型的智能云端协调方法和装置 | |
CN101836190B (zh) | 用于将多个作业分配给多个计算机的方法和系统 | |
CN101308468A (zh) | 网格计算环境下的作业跨域控制方法 | |
CN101719931A (zh) | 一种基于多智能主体的层次式云端计算模型构建方法 | |
CN111614754B (zh) | 面向雾计算的成本效率优化的动态自适应任务调度方法 | |
CN109409773A (zh) | 一种基于合同网机制的对地观测资源动态规划方法 | |
CN101360064A (zh) | 一种实现网络资源选择的方法和装置 | |
CN110502321A (zh) | 一种资源调度方法及系统 | |
CN102567851A (zh) | 一种云计算环境下安全感知的科学工作流数据布局方法 | |
CN114327811A (zh) | 一种任务调度方法、装置、设备及可读存储介质 | |
CN105591875A (zh) | 一种面向多任务的自组网动态匹配选择方法 | |
Hassan et al. | Resource provisioning for cloud-assisted software defined wireless sensor network | |
CN104506576A (zh) | 一种无线传感器网络及其节点任务迁移方法 | |
CN115169634A (zh) | 一种任务分配优化处理方法及装置 | |
CN103997515A (zh) | 一种分布式云中计算中心选择方法及其应用 | |
Zhang et al. | Service pricing and selection for IoT applications offloading in the multi-mobile edge computing systems | |
Zuccotto et al. | Reinforcement learning applications in environmental sustainability: a review | |
CN101127700A (zh) | 基于网络带宽和用户费用下的网格资源调度方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20140402 |