CN106095582A - 云平台的任务执行方法 - Google Patents
云平台的任务执行方法 Download PDFInfo
- Publication number
- CN106095582A CN106095582A CN201610439452.9A CN201610439452A CN106095582A CN 106095582 A CN106095582 A CN 106095582A CN 201610439452 A CN201610439452 A CN 201610439452A CN 106095582 A CN106095582 A CN 106095582A
- Authority
- CN
- China
- Prior art keywords
- service
- computing
- nodes
- cloud platform
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012545 processing Methods 0.000 claims description 17
- 230000015654 memory Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 5
- 238000004458 analytical method Methods 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
- G06F9/5088—Techniques for rebalancing the load in a distributed system involving task migration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/502—Proximity
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种云平台的任务执行方法,该方法包括:将计算节点剩余资源量大于用户业务请求集合总资源量的计算节点组成第一集合,对云平台中的计算节点进行聚类,计算上述计算节点之间的近似度,将近似度在阈值内的计算节点加入第二集合,将待处理的业务调度至第二集合中的计算节点。本发明提出了一种云平台的任务执行方法,提高了云平台数据服务器的吞吐率,优化了数据服务器对外服务性能,具有更好的调度平衡效果。
Description
技术领域
本发明涉及云计算,特别涉及一种云平台的任务执行方法。
背景技术
云计算作为一种新型的计算模式和服务模式,它将大量的计算业务分布式的分派给由底层云平台计算机硬件组成的资源池中,在科研、生产和贸易服务领域有着广泛应用。由于数据服务器资源池是由海量的硬件资源共同组成的,而且计算机数量非常庞大,组成复杂,资源的配置差异较大,当大规模的计算业务需要数据服务器处理时,这时就会导致数据服务器的负载不平衡。而负载的不平衡会造成吞吐率的下降以及响应时间的增加,在一定程度上影响了云平台为用户提供的服务质量。针对云计算数据服务器,不同的业务调度策略会造成整个系统具有不同的负载分配情况,从而导致具有不同的执行效率和对外计算服务能力,最优的业务调度策略应该是一种能够使整个云计算系统产生负载平衡效果的策略。在现有的负载平衡策略中,往往需要维护额外的历史数据,这将导致系统的冗余负载,并且估计负载的效果并不是非常理想。
发明内容
为解决上述现有技术所存在的问题,本发明提出了一种云平台的任务执行方法,包括:
将计算节点剩余资源量大于用户业务请求集合总资源量的计算节点组成第一集合,
对云平台中的计算节点进行聚类,
计算上述计算节点之间的近似度,
将近似度在阈值内的计算节点加入第二集合,
将待处理的业务调度至第二集合中的计算节点。
优选地,所述方法进一步包括:
步骤1:将数据服务器的n台计算节点组成一个集合H,对数据服务器中的全部计算节点进行一个约束条件限制,将计算节点的剩余资源量Li作为度量标准,Li定义如下:
Li=αLc+βLm
其中α+β=1
Lc为处理器剩余;Lm为存储器剩余;α为处理器权重;β为存储器权重;α和β值的采用BP神经网络学习确定,根据计算节点性能的适应性函数,获取整个数据服务器中计算节点的各项性能监控数据,包括处理器和存储器数据,计算出当前云平台数据服务器中n台计算节点的剩余资源量;将约束值定义为特定时间段内接收到的业务请求集合的总资源量,即:
其中,LR表示为业务请求集合的总资源量,表示为业务请求集合中第i个业务的资源量;定义一个空集S,计算出业务请求集合的总资源量LR,当Li>LR时,将i计算节点调度至集合S中,否则继续寻找,当n台计算节点与约束值比较完成后得到的集合S,集合S={s1,s2,s3....,sm},即为聚类点的集合,m<n;
步骤2:根据计算节点性能的适应性函数得到每台计算节点的性能值,通过和约束值的限定,将计算节点的处理器剩余和存储器剩余作为计算节点的两个属性;设S={s1,s2,s3....,sm}为m个计算节点组成的集合,对集合S中的计算节点的处理器剩余进行降序排序,假设sj为处理器剩余最大的计算节点,将sj作为聚类点,则计算近似度的公式为:
s(si,sj)=1/d(si,sj)
为计算节点j的第k个属性,由此计算出计算节点j与计算节点i之间的近似度s(si,sj):
步骤3:以sj为聚类点,计算sj与集合H中各个元素之间的近似度值;根据近似度给定一个阈值U,如果近似度大于阈值U,则将该元素加入新集合S'中。然后集合S按照计算节点处理器剩余的降序依次选择聚类点,分别计算与集合H中元素的近似度,将阈值大于U的元素调度至集合S'中,当集合S'中元素不再变化时,则迭代结束,集合S'为最终的聚类结果,即S'={s1',s2'...sq'},其中q<m<n;
步骤4:将数据服务器接收的业务请求调度至集合S'中的计算节点,然后集合S'中的计算节点处理请求的业务集合,处理完成后将结果返回给用户;数据服务器在从集合S'中计算节点开始处理业务到处理完成的特定时间段内接收的业务请求数作为下一次待处理的业务;
步骤5:在下一时间段内重复步骤1-4的过程。
本发明相比现有技术,具有以下优点:
本发明提出了一种云平台的任务执行方法,提高了云平台数据服务器的吞吐率,优化了数据服务器对外服务性能,具有更好的调度平衡效果。
附图说明
图1是根据本发明实施例的云平台的任务执行方法的流程图。
具体实施方式
下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描述。结合这样的实施例描述本发明,但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定,并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本发明的透彻理解。出于示例的目的而提供这些细节,并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本发明。
本发明的一方面提供了一种云平台的任务执行方法。图1是根据本发明实施例的云平台的任务执行方法流程图。
本发明根据业务调度方法的体系结构,分解成多个功能模块,共同组成一个完整的业务调度系统。然后,在系统体系结构的基础上,提出了一种云计算平台下的业务调度方法,实现了云平台数据服务器的负载平衡。在本发明所运行的体系结构中,控制节点的功能是根据当前调度策略与最优调度策略和随机调度策略进行业务调度,调度完成后比较三种策略在云平台数据服务器整体负载平衡程度和调度业务的效能,然后根据估计的结果找出一个最优的业务调度策略。控制节点可以根据当前云平台中的计算节点信息计算出哪个计算节点的剩余资源量是多少以及每台计算节点中的虚拟机的运行状态。同时,在业务调度策略中还有用于接收业务调度的请求和计算节点状态信息等控制节点,这种节点的作用是控制调度方法的执行流程和周期。
所有的节点通过网络直接或间接的互相连接组成了云平台数据服务器。只有主控制节点才能触发调度策略模块,由控制节点决定最终的业务调度策略。在其他控制节点同样设置调度策略模块,在主控制节点出现异常状态下,其他控制节点会选取处理能力最高的节点作为主控制节点,然后让其节点内的业务调度模块进行工作。
在业务调度策略的控制节点包括调度策略模块、调度控制模块以及监控器模块;计算节点包括发送模块和接收模块;用户端包括用于发送业务请求的发送模块和用于接收计算结果的接收模块。整体逻辑流程如下:首先,当计算节点上监控器确定有用户请求业务时,用户通过发送模块将请求业务的信息发送给监控器模块,监控器模块获取了特定时间段内用户请求业务的资源量和数据服务器中计算节点的剩余资源量信息,包括处理器剩余和存储器剩余,监控器模块会将这些信息整理后发送给下一级模块,即解析模块。
解析模块动态的解析收集到的业务信息和计算节点的计算节点信息,进行具体的解析过程,在解析完成后将数据通过解析模块发送给估计模块。当估计模块接收来自解析发送的数据时,立即解析其接收的数据。本发明的估计模块需要完成性能参数的计算和估计,即使用本发明的业务调度策略后调度业务的效能和负载平衡度值。
估计模块将估计的信息、计算节点状态信息以及请求业务的信息发送给调度策略模块,然后根据本发明提出的方法生成相应的调度策略,然后将调度策略和相关信息传送给调度控制器,调度控制器解析最终得到的数据并发送指令到相应的计算节点的接收模块,控制器的作用是控制和执行调度业务。最后,将特定时间段内收集的业务请求调度到通过调度策略模块找到的最优计算节点上。
用户模块触发整个系统正常运转,在一个特定时间段内收集到的多个用户的业务请求信息,用户模块将这些用户的业务请求信息汇总,然后将这些业务请求信息通过用户模块内部的预处理模块形成一个用户请求通过发送模块传递给业务调度系统内部的监控器模块。当系统处理完毕后将计算结果发送给用户端的接收模块,接收模块再通过预处理模块将计算信息分类,并且分别返回给请求的用户。在这部分里,预处理模块起着重要作用,它将零散的业务聚集汇成业务调度系统能够识别的业务类型。
监控器模块负责监控和传递用户和计算节点云平台的实时状态信息。当监控器模块开始监控时,收集用户的业务请求信息和云平台内部计算节点的负载信息,并将这些信息通过内部的预处理模块存储到数据库中,数据库利用链表来存储业务信息和计算节点信息。
当特定时间段内结束时,将数据库里存储的用户请求的业务信息和计算节点信息发送给解析模块进行解析,发送完毕后,将内部的数据库立即发送到回收模块,清空数据库,准备接收下一个特定时间段内的用户请求业务信息和计算节点信息。
解析模块利用解向量表示为寻找的最优业务调度策略。将业务调度问题解析为将特定时间段内收到的业务请求调度到云平台数据服务器中由多个计算节点组成的最优计算节点集合中的问题。业务调度问题的解可以表示为一个N维解向量,每个元素代表处理用户业务请求的最优计算节点的一个元组。若在相同的网络带宽下,数据服务器中有n台可用的计算节点,这些计算节点使用空间共享分配策略。云平台数据服务器优化每个特定时间段。本发明定义了一个四元组Y={S,TK,Lc,Lm}来描述,S表示为一组可用的计算节点集合,S(n,t)={s1,s2,...,sn},t表示调度开始时间。TK表示特定时间段内用户业务请求的集合,TK(m,△t,t)={tk1,tk2,....,thm}。Lc为集合S中n台计算节点当前处理器剩余的集合,Lc(n,t)={L1 c,L2 c,...,Ln c}。Lm为集合S中n台计算节点在时刻t的存储器剩余的集合,Lm(n,t)={L1 m,L2 m,...,Ln m}。得到计算节点集合,同时也是找到的符合最优业务调度策略,这个计算节点集合能够满足当前所处理的业务集合的性能约束。
估计模块包括系统性能估计模块和完成时间估计模块。系统性能估计模块评价和计算本系统的性能指标,可以为本发明业务调度策略提供可靠数据,从而提高了系统执行的精确度。而完成时间估计模块为用户和系统提供估计完成时间,也就是期望完成时间,在这里用te表示系统和用户对业务的期望完成时间,确定系统期望的业务执行完成时间te。当确定期望完成时间后,估计模块会将期望完成时间信息传送给监控器模块,监控器模块会以指令的形式发送给用户端的接收模块,然后用户接收模块会在短时间内通过预处理模块告之当前请求业务的用户。当第一个特定时间段内的业务开始执行到处理完毕,这个时间段称为实际执行完成时间,系统生成一个实际执行完成时间tf,在理想状态下用户期望完成时间与实际完成时间几乎相等,但是,在实际的业务调度过程中会受到网络、传输延迟、计算节点负载等因素的制约,必然大于实际的执行完成时间。用户在请求业务之前会对业务的执行完成时间有一个期望值,而系统在实际的执行过程中,业务的完成时间并不一定等于用户的期望值,为了描述用户的对业务执行完成时间的容忍程度,使系统更加精准、高效的运行,需要使用函数作为评价依据,即完成时间容忍度函数TD:
TD=1-(tf-te)/tf
即当实际完成时间大于期望完成时间时,则容忍度会随着业务实际执行完成时间的增加而逐渐减小。每个特定时间段内的业务执行完成后,根据容忍程度的变化做出相应的调整。
调度策略模块内部有一个接收数据的模块。当估计模块将数据信息传递到调度策略模块内部的数据输入模块时,由于这些数据混合在一起而且杂乱无章。此时,就需要将这些混合的数据进行解调,得到计算节点的信息,以及特定时间段内用户请求的业务量。解调完成后,分别对两类数据进行操作,业务量模块内部计算出此时的请求业务的资源量,并以此时的业务资源量作为约束值。然后,计算节点负载模块内部则根据计算节点的处理器剩余和存储器剩余计算出云平台中每一台计算节点的实时剩余资源量。根据当前的请求业务量,将云平台内计算节点剩余资源量大于请求业务量的计算节点组成一个计算节点集合,通过计算节点集合模块与业务调度方法的交互,最终得到业务调度策略,然后将最优调度策略发送给调度控制模块。
当业务调度方法内部执行完毕后,将其生成的调度策略发送给调度控制模块,调度控制模块控制生成的调度策略以指令的形式通知云平台,并将待处理的业务分派到各个计算节点,以确保业务的顺利执行,并且同时保证算法的高效性、健壮性。调度控制模块内部实现流程如下:当接收模块接到来自调度策略模块的数据后,将数据发送给内部的数据输入模块,输入模块向调度策略预处理模块和云平台计算节点模块分别输入两个数据,业务调度方法调度策略和云平台计算节点集合PH。预处理模块根据输入的业务调度方法策略生成最终的最优调度策略。这时,云平台计算节点模块将云平台内的计算节点组成集合PH,然后将PH集合发送到最优调度策略模块,最优调度策略模块根据输入的计算节点集合进行挑选处理业务最优的计算节点,并且组成一个最优计算节点集合ST,ST集合中存放着云平台中计算节点的位置以及编号信息,需要将集合中的信息以指令的形式封装起来,然后将指令信息发送给云平台计算节点模块,至此,调度控制模块内部工作完成。
当计算节点云平台模块接收到来自系统内部的调度控制模块的指令信息后,将指令信息传递给内部的输入模块,输入模块将业务集合和调度指令分别发送到请求业务模块和解调指令模块,然后解调指令模块将收到的指令解调,并传送到调度模块,与此同时,请求业务模块同样将业务集合传送给调度模块。调度模块根据计算节点指令信息,选择相应的计算节点。当计算节点选择完成后,将业务集合中的业务快速的调度到相应的计算节点上进行处理业务,业务完成后,将计算结果返回到系统中的接收模块,然后接收模块再将计算结果发送给用户,至此,云平台计算节点模块的内部工作完成,并且开始进行下一个特定时间段的业务调度。
本发明提出的业务调度方法将云平台数据服务器收集到的业务请求调度到云平台的目标计算节点上,实现业务的高效调度。首先,根据评价计算节点性能的适应性函数、当前计算节点的处理器剩余和存储器剩余计算出当前全部计算节点的服务性能,依据当前用户请求业务量的大小对云平台内部的计算节点进行条件挑选,将计算节点剩余资源量大于业务请求集合的总资源量的计算节点组成一个集合,该集合是对云平台数据服务器的一个整体性约束。然后将计算节点集合中k台计算节点抽象成k个聚类点并且分别与云平台中全部计算节点进行聚类,将每台计算节点的处理器剩余量和存储器剩余量抽象为计算节点的两个属性,根据计算节点的两个属性计算计算节点之间的近似度,然后由近似度给定一个阈值,将计算节点之间的近似度在阈值内的计算节点加入到一个新的集合。当集合中的元素不再变化时,这个集合就是聚类的最后结果。最后,将待处理的业务调度至最终集合中的计算节点。数据服务器中计算节点聚类的过程就是找到处理业务最优计算节点的过程,初始时云平台数据服务器有n台计算节点,当根据每台计算节点的资源剩余和请求业务量的大小进行第一次挑选,这时会得到一个集合,此时集合内的计算节点数小于等于n,而第二次挑选出的结果集合内的计算节点的性能在一定程度上满足了当前用户的需求。
步骤1:假设数据服务器有n台计算节点组成一个集合H,为了满足聚类点的性能约束,本发明对数据服务器中的全部计算节点进行一个约束条件限制,将计算节点的剩余资源量Li作为度量标准,Li定义如下:
Li=αLc+βLm
其中α+β=1
Lc为处理器剩余;Lm为存储器剩余;α为处理器权重;β为存储器权重;α和β值的确定采用BP神经网络学习获取,根据计算节点性能的适应性函数,获取整个数据服务器中计算节点的各项性能监控数据,包括处理器和存储器数据,可以计算出当前云平台数据服务器中n台计算节点的剩余资源量。将约束值定义为:特定时间段内接收到的业务请求集合的总资源量,即:
其中,LR表示为业务请求集合的总资源量,表示为业务请求集合中第i个业务的资源量。定义一个空集S,计算出业务请求集合的总资源量LR,当Li>LR时,将i计算节点调度至集合S中,否则继续寻找,当n台计算节点与约束值比较完成后得到的集合S,集合S={s1,s2,s3....,sm},即为聚类点的集合,m<n。
步骤2:根据计算节点性能的适应性函数得到每台计算节点的性能值,通过和约束值的限定,本发明将数据服务器中性能相对较好的计算节点调度至集合S中。将计算节点的处理器剩余和存储器剩余作为计算节点的两个属性。设S={s1,s2,s3....,sm}为m个计算节点组成的集合,对集合S中的计算节点的处理器剩余进行降序排序,处理器剩余大的排列在前,假设sj为处理器剩余最大的计算节点,将sj作为聚类点,则计算近似度的公式为:
s(si,sj)=1/d(si,sj)
为计算节点j的第k个属性,由此计算出计算节点j与计算节点i之间的近似度s(si,sj):
步骤3:以sj为聚类点,计算sj与集合H中各个元素之间的近似度值。根据近似度给定一个阈值U,如果近似度大于阈值U,则将该元素加入新集合S'中。然后集合S按照计算节点处理器剩余的降序依次选择聚类点,分别计算与集合H中元素的近似度,将阈值大于U的元素调度至集合S'中,当集合S'中元素不再变化时,则迭代结束,集合S'为最终的聚类结果,即S'={s1',s2'...sq'},其中q<m<n。
步骤4:将数据服务器接收的业务请求调度至集合S'中的计算节点,然后集合S'中的计算节点处理请求的业务集合,处理完成后将结果返回给用户。从集合S'中计算节点开始处理业务到处理完成,将这段时间作为特定时间段,数据服务器在特定时间段内接收的业务请求数作为下一次待处理的业务。
步骤5:在下一时间段内重复步骤1-4的上述过程。
综上所述,本发明提出了一种云平台的任务执行方法,提高了云平台数据服务器的吞吐率,优化了数据服务器对外服务性能,具有更好的调度平衡效果。
显然,本领域的技术人员应该理解,上述的本发明的各模块或各步骤可以用通用的计算系统来实现,它们可以集中在单个的计算系统上,或者分布在多个计算系统所组成的网络上,可选地,它们可以用计算系统可执行的程序代码来实现,从而,可以将它们存储在存储系统中由计算系统来执行。这样,本发明不限制于任何特定的硬件和软件结合。
应当理解的是,本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理,而不构成对本发明的限制。因此,在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。此外,本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (2)
1.一种云平台的任务执行方法,用于将云平台数据服务器收集到的业务请求调度到云平台的目标计算节点上,其特征在于:
将计算节点剩余资源量大于用户业务请求集合总资源量的计算节点组成第一集合,
对云平台中的计算节点进行聚类,
计算上述计算节点之间的近似度,
将近似度在阈值内的计算节点加入第二集合,
将待处理的业务调度至第二集合中的计算节点。
2.根据权利要求1所述的方法,其特征在于,所述方法进一步包括:
步骤1:将数据服务器的n台计算节点组成一个集合H,对数据服务器中的全部计算节点进行一个约束条件限制,将计算节点的剩余资源量Li作为度量标准,Li定义如下:
Li=αLc+βLm
其中α+β=1
Lc为处理器剩余;Lm为存储器剩余;α为处理器权重;β为存储器权重;α和β值的采用BP神经网络学习确定,根据计算节点性能的适应性函数,获取整个数据服务器中计算节点的各项性能监控数据,包括处理器和存储器数据,计算出当前云平台数据服务器中n台计算节点的剩余资源量;将约束值定义为特定时间段内接收到的业务请求集合的总资源量,即:
其中,LR表示为业务请求集合的总资源量,表示为业务请求集合中第i个业务的资源量;定义一个空集S,计算出业务请求集合的总资源量LR,当Li>LR时,将i计算节点调度至集合S中,否则继续寻找,当n台计算节点与约束值比较完成后得到的集合S,集合S={s1,s2,s3....,sm},即为聚类点的集合,m<n;
步骤2:根据计算节点性能的适应性函数得到每台计算节点的性能值,通过和约束值的限定,将计算节点的处理器剩余和存储器剩余作为计算节点的两个属性;设S={s1,s2,s3....,sm}为m个计算节点组成的集合,对集合S中的计算节点的处理器剩余进行降序排序,假设sj为处理器剩余最大的计算节点,将sj作为聚类点,则计算近似度的公式为:
s(si,sj)=1/d(si,sj)
为计算节点j的第k个属性,由此计算出计算节点j与计算节点i之间的近似度s(si,sj):
步骤3:以sj为聚类点,计算sj与集合H中各个元素之间的近似度值;根据近似度给定一个阈值U,如果近似度大于阈值U,则将该元素加入新集合S'中。然后集合S按照计算节点处理器剩余的降序依次选择聚类点,分别计算与集合H中元素的近似度,将阈值大于U的元素调度至集合S'中,当集合S'中元素不再变化时,则迭代结束,集合S'为最终的聚类结果,即S'={s1',s2'...sq'},其中q<m<n;
步骤4:将数据服务器接收的业务请求调度至集合S'中的计算节点,然后集合S'中的计算节点处理请求的业务集合,处理完成后将结果返回给用户;数据服务器在从集合S'中计算节点开始处理业务到处理完成的特定时间段内接收的业务请求数作为下一次待处理的业务;
步骤5:在下一时间段内重复步骤1-4的过程。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610439452.9A CN106095582B (zh) | 2016-06-17 | 2016-06-17 | 云平台的任务执行方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610439452.9A CN106095582B (zh) | 2016-06-17 | 2016-06-17 | 云平台的任务执行方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106095582A true CN106095582A (zh) | 2016-11-09 |
CN106095582B CN106095582B (zh) | 2019-04-16 |
Family
ID=57236848
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610439452.9A Active CN106095582B (zh) | 2016-06-17 | 2016-06-17 | 云平台的任务执行方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106095582B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109885383A (zh) * | 2018-10-30 | 2019-06-14 | 广东科学技术职业学院 | 一种带约束条件的非单位时间任务调度方法 |
CN110071965A (zh) * | 2019-03-27 | 2019-07-30 | 上海德衡数据科技有限公司 | 一种基于云平台的数据中心管理系统 |
CN110502323A (zh) * | 2019-07-18 | 2019-11-26 | 国网浙江省电力有限公司衢州供电公司 | 一种云计算任务实时调度方法 |
CN110928676A (zh) * | 2019-07-18 | 2020-03-27 | 国网浙江省电力有限公司衢州供电公司 | 一种基于性能评估的电力cps负荷分配方法 |
WO2020119060A1 (zh) * | 2018-12-14 | 2020-06-18 | 深圳市网心科技有限公司 | 容器资源调度方法和系统、服务器及计算机可读存储介质 |
CN111445213A (zh) * | 2020-03-31 | 2020-07-24 | 乌鲁木齐众维汇联信息科技有限公司 | 园区企业孵化服务的网络管理系统 |
CN111800284A (zh) * | 2019-04-08 | 2020-10-20 | 阿里巴巴集团控股有限公司 | 边缘云节点集合的选择方法和装置以及电子设备 |
CN112596901A (zh) * | 2020-12-23 | 2021-04-02 | 机械工业仪器仪表综合技术经济研究所 | 云平台自动化部署与运行方法、电子设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102622275A (zh) * | 2012-04-19 | 2012-08-01 | 吴常国 | 一种云计算环境下负载均衡实现方法 |
CN104657217A (zh) * | 2015-02-04 | 2015-05-27 | 南京理工大学紫金学院 | 一种基于非均匀粒度分类的云环境任务调度方法 |
CN104796493A (zh) * | 2015-05-08 | 2015-07-22 | 成都博元科技有限公司 | 一种基于云计算的信息处理方法 |
CN104794239A (zh) * | 2015-05-08 | 2015-07-22 | 成都博元科技有限公司 | 一种云平台数据处理方法 |
US20160147566A1 (en) * | 2014-11-21 | 2016-05-26 | International Business Machines Corporation | Cross-Platform Scheduling with Long-Term Fairness and Platform-Specific Optimization |
-
2016
- 2016-06-17 CN CN201610439452.9A patent/CN106095582B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102622275A (zh) * | 2012-04-19 | 2012-08-01 | 吴常国 | 一种云计算环境下负载均衡实现方法 |
US20160147566A1 (en) * | 2014-11-21 | 2016-05-26 | International Business Machines Corporation | Cross-Platform Scheduling with Long-Term Fairness and Platform-Specific Optimization |
CN104657217A (zh) * | 2015-02-04 | 2015-05-27 | 南京理工大学紫金学院 | 一种基于非均匀粒度分类的云环境任务调度方法 |
CN104796493A (zh) * | 2015-05-08 | 2015-07-22 | 成都博元科技有限公司 | 一种基于云计算的信息处理方法 |
CN104794239A (zh) * | 2015-05-08 | 2015-07-22 | 成都博元科技有限公司 | 一种云平台数据处理方法 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109885383A (zh) * | 2018-10-30 | 2019-06-14 | 广东科学技术职业学院 | 一种带约束条件的非单位时间任务调度方法 |
CN109885383B (zh) * | 2018-10-30 | 2023-08-01 | 广东科学技术职业学院 | 一种带约束条件的非单位时间任务调度方法 |
WO2020119060A1 (zh) * | 2018-12-14 | 2020-06-18 | 深圳市网心科技有限公司 | 容器资源调度方法和系统、服务器及计算机可读存储介质 |
CN110071965A (zh) * | 2019-03-27 | 2019-07-30 | 上海德衡数据科技有限公司 | 一种基于云平台的数据中心管理系统 |
CN111800284A (zh) * | 2019-04-08 | 2020-10-20 | 阿里巴巴集团控股有限公司 | 边缘云节点集合的选择方法和装置以及电子设备 |
CN110502323A (zh) * | 2019-07-18 | 2019-11-26 | 国网浙江省电力有限公司衢州供电公司 | 一种云计算任务实时调度方法 |
CN110928676A (zh) * | 2019-07-18 | 2020-03-27 | 国网浙江省电力有限公司衢州供电公司 | 一种基于性能评估的电力cps负荷分配方法 |
CN110502323B (zh) * | 2019-07-18 | 2022-02-18 | 国网浙江省电力有限公司衢州供电公司 | 一种云计算任务实时调度方法 |
CN110928676B (zh) * | 2019-07-18 | 2022-03-11 | 国网浙江省电力有限公司衢州供电公司 | 一种基于性能评估的电力cps负荷分配方法 |
CN111445213A (zh) * | 2020-03-31 | 2020-07-24 | 乌鲁木齐众维汇联信息科技有限公司 | 园区企业孵化服务的网络管理系统 |
CN112596901A (zh) * | 2020-12-23 | 2021-04-02 | 机械工业仪器仪表综合技术经济研究所 | 云平台自动化部署与运行方法、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN106095582B (zh) | 2019-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106095582A (zh) | 云平台的任务执行方法 | |
CN106126323B (zh) | 基于云平台的实时任务调度方法 | |
US10474504B2 (en) | Distributed node intra-group task scheduling method and system | |
CN104317658A (zh) | 一种基于MapReduce的负载自适应任务调度方法 | |
CN107357652B (zh) | 一种基于分段排序及标准差调整因子的云计算任务调度方法 | |
CN113037877B (zh) | 云边端架构下时空数据及资源调度的优化方法 | |
CN108270805B (zh) | 用于数据处理的资源分配方法及装置 | |
CN106528280A (zh) | 一种任务分配方法和系统 | |
CN112486690A (zh) | 一种适用于工业物联网的边缘计算资源分配方法 | |
CN110347515B (zh) | 一种适合边缘计算环境的资源优化分配方法 | |
CN116662010B (zh) | 基于分布式系统环境下的动态资源分配方法及系统 | |
CN112685153A (zh) | 微服务调度方法、装置以及电子设备 | |
CN106209967B (zh) | 一种视频监控云资源预测方法及系统 | |
CN110262897B (zh) | 一种基于负载预测的Hadoop计算任务初始分配方法 | |
CN112261120B (zh) | 一种配电物联网云边协同任务卸载方法及装置 | |
CN112231117A (zh) | 基于动态向量混合遗传算法的云机器人服务选择方法及系统 | |
CN105872109B (zh) | 云平台负载运行方法 | |
CN112954012B (zh) | 基于负载的改进模拟退火算法的云任务调度方法 | |
CN116501828B (zh) | 基于非结构化数据集的服务器无感知向量查询方法和系统 | |
CN113205128A (zh) | 基于无服务器计算的分布式深度学习性能保证方法 | |
CN107528914B (zh) | 数据分片的资源征用调度方法 | |
CN116089083A (zh) | 一种多目标数据中心资源调度方法 | |
Prado et al. | On providing quality of service in grid computing through multi-objective swarm-based knowledge acquisition in fuzzy schedulers | |
Fan | Intelligent Job Scheduling on High Performance Computing Systems | |
CN112596901A (zh) | 云平台自动化部署与运行方法、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20191112 Address after: 200120 Room 408, No.2, Lane 666, zhangheng Road, free trade zone, Pudong New Area, China (Shanghai) Patentee after: Shanghai Hanzheng Information Technology Co., Ltd Address before: 610041 Chengdu province high tech Zone, Sichuan venture Road, building 4-4, No. 1, No. 9 Patentee before: Sichuan Xinhuanjia Technology Development Co., Ltd. |