CN106293952B - 一种基于任务需求与服务能力匹配的遥感任务调度方法 - Google Patents

一种基于任务需求与服务能力匹配的遥感任务调度方法 Download PDF

Info

Publication number
CN106293952B
CN106293952B CN201610725908.8A CN201610725908A CN106293952B CN 106293952 B CN106293952 B CN 106293952B CN 201610725908 A CN201610725908 A CN 201610725908A CN 106293952 B CN106293952 B CN 106293952B
Authority
CN
China
Prior art keywords
remote sensing
task
production
sensing products
queue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610725908.8A
Other languages
English (en)
Other versions
CN106293952A (zh
Inventor
葛强
郑逢斌
胡永权
张帅民
徐浩
丁元
郭飞
魏梦凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University
Original Assignee
Henan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University filed Critical Henan University
Publication of CN106293952A publication Critical patent/CN106293952A/zh
Application granted granted Critical
Publication of CN106293952B publication Critical patent/CN106293952B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5044—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering hardware capabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/501—Performance criteria
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5021—Priority

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于任务需求与服务能力匹配的遥感任务调度方法，包括以下步骤：A、调度服务器依据遥感产品生产算法依赖关系建立遥感产品生产依赖模型；B、调度服务器根据遥感产品生产依赖模型计算遥感产品生产任务的资源需求度；C、集群中的生产节点周期性计算自身的服务能力值并发送至调度服务器；D、调度服务器将各个生产节点最新发送的服务能力值与当前遥感产品生产任务的资源需求度进行差值比较，将遥感产品生产任务发送至所得差值为正且最小的生产节点，若所得差值均小于等于0，则将遥感产品生产任务放回任务队列等待下次分配。本发明提高了遥感产品生产任务分配的成功率和生产效率，使集群处于一种健康的可持续运行状态。

Description

一种基于任务需求与服务能力匹配的遥感任务调度方法
技术领域
本发明涉及计算机集群负载均衡和遥感信息处理技术领域，尤其涉及一种基于任务需求与服务能力匹配的遥感任务调度方法。
背景技术
由于遥感信息自身数据量较大，部分遥感影像已达GB级别，而对遥感影像的处理在时间上又有急迫性，因此目前对于遥感影像的处理通常采用两种方式，方式一是采用高性能计算机进行处理，使用这种处理方式可以取得较为理想的效果，但由于高性能计算机价格较为昂贵，此种处理方式会给用户造成极大的经济负担。方式二是采用集群处理，先将遥感影像进行切分，分别由集群内的不同计算节点进行处理，最后将计算结果汇总得到最终的目标结果，此种处理方式对于集群内的计算节点没有特殊的硬件要求，计算节点可多可少，因此普及率较高。
然而，对于集群处理方式，任务调度算法是集群的核心内容，任务调度算法的优劣直接影响集群的吞吐量和任务响应时间。目前对于任务调度算法的研究根据适用范围可分为普适性的研究和特定领域的研究。对于普适性的任务调度研究，实时处理系统常用的任务调度方法有固定优先级调度策略和先到先处理调度策略，这些调度策略大都具有普适性，并没有根据所调度任务的具体情况做优化，因此调度效果一般。对于特定领域的任务调度研究，现有的遥感任务调度算法的考虑因素大都比较单一，一部分来自对网格中任务调度的研究，一部分参考了动态任务调度的思想并进行了简单的实现，这种调度算法只考虑了计算节点单方面因素，忽略了任务需求因素，不利于遥感产品生产任务的成功分配和各个节点负载均衡。
发明内容
本发明提供了一种基于任务需求与服务能力匹配的遥感任务调度方法，能够提高遥感产品生产任务分配的成功率，使集群中的各个生产节点负载均衡，进一步提高集群的生产效率。
为实现上述目的，本发明采用的技术方案是：
一种基于任务需求与服务能力匹配的遥感任务调度方法，包括以下步骤：
A、将调度服务器进行初始化，依据遥感产品生产算法依赖关系，在调度服务器上建立遥感产品生产依赖模型，然后进入步骤B；
B、当遥感产品生产任务到达调度服务器后，调度服务器根据遥感产品生产任务的订单信息和遥感产品生产依赖模型计算遥感产品生产任务的资源需求度，并将遥感产品生产任务按照到达顺序放入任务队列等待分配，然后进入步骤C；
C、集群中的各个生产节点依据自身的负载情况，周期性地计算本生产节点的服务能力值，并实时发送至调度服务器，然后进入步骤D；
D、调度服务器依次选取任务队列中的一个遥感产品生产任务，并将各个生产节点最新发送的服务能力值与当前遥感产品生产任务的资源需求度进行差值比较，若所得差值至少有一个大于0，则将遥感产品生产任务发送至所得差值为正且最小的生产节点，若所得差值均小于等于0，则将遥感产品生产任务放回任务队列等待下次分配，同时调度服务器选取下个遥感产品生产任务进行分配。
所述的步骤A中，建立遥感产品生产依赖模型W(W1，W2，…，Wn)，定义W为目标产品，则W1，W2，…，Wn为W依赖的中间产品或基础产品，n＝1，2，3，……，遥感产品生产依赖模型输出W的产品依赖度RW：
RW＝RW1+RW2+…+RWn；
式中RW1，RW2，…，RWn分别为W1，W2，…，Wn的产品依赖度；定义基础产品的产品依赖度为ε，ε取1，2，3，……，若W1，W2，…，Wn均为基础产品，则RW1，RW2，…，RWn的值均为ε，若W1，W2，…，Wn中存在一个或多个中间产品，则将各个中间产品分别作为目标产品，根据上述遥感产品生产依赖模型继续查找各个中间产品所依赖产品的产品依赖度，直至所有中间产品所依赖的产品全部为基础产品。
所述的步骤B中，调度服务器根据遥感产品生产任务的订单信息和遥感产品生产依赖模型计算遥感产品生产任务的资源需求度包括以下步骤：
B1、调度服务器利用遥感产品生产依赖模型W(W1，W2，…，Wn)，计算遥感产品生产任务的目标产品的产品依赖度RW；
B2、调度服务器根据遥感产品生产任务的订单信息中的遥感影像列表，计算遥感影像的总数据量Fw：
Fw＝F1+F2+…Ft；
式中t＝1，2，3，……，F1，F2，…，Ft分别为第一幅遥感影像的大小，第二幅遥感影像的大小，……，第t幅遥感影像的大小；
B3、调度服务器根据目标产品的产品依赖度RW和遥感影像的总数据量Fw计算遥感产品生产任务的资源需求度Zw：
式中ρ1、ρ2为依据目标产品的产品依赖度RW和遥感影像的总数据量Fw对遥感产品生产任务的资源需求度的影响分别赋予的权值，其和为1。
所述的步骤C中，生产节点的服务能力值的计算公式为：
式中CPU％和Mem％分别为生产节点的CPU和内存在当前周期内的平均利用率，Cap、Mem、TU和TF分别为生产节点的CPU计算能力、内存大小、待完成生产任务数和已完成生产任务数，其中已完成任务数TF每隔设定时间后置0，ρ3、ρ4、ρ5、ρ6是依据Cap、Mem、TU和TF对生产节点服务能力的影响分别赋予的权值，其和为1。
所述的生产节点的CPU计算能力的计算公式为：
Cap＝Num*Cor*Fre；
式中Num为CPU数量，Cor为单个CPU核数，Fre为CPU频率。
所述的步骤B中，调度服务器中的任务队列包括初始为空的优先任务队列、普通任务队列和未分配成功队列，调度服务器根据遥感产品生产任务的任务优先级将其加入优先任务队列或者普通任务队列等待分配。
所述的步骤D包括以下步骤：
D1、调度服务器首先检查未分配成功队列是否为空，当未分配成功队列为空时，直接进入步骤D2，当未分配成功队列不为空时，依次选取未分配成功队列中的一个遥感产品生产任务，分别将各个生产节点最新发送的服务能力值与当前遥感产品生产任务的资源需求度进行差值比较，若所得差值至少有一个大于0，则将当前遥感产品生产任务发送至所得差值为正且最小的生产节点，若所得差值均小于等于0，则将当前遥感产品生产任务放回未分配成功队列，同时选取未分配成功队列中的下一个遥感产品生产任务进行分配，当未分配成功队列中的所有遥感产品生产任务全部经过上述分配过程后进入步骤D2；
D2、调度服务器检测优先任务队列是否为空，当优先任务队列为空时，直接进入步骤D3，当优先任务队列不为空时，依次选取优先任务队列中的一个遥感产品生产任务，分别将各个生产节点最新发送的服务能力值与当前遥感产品生产任务的资源需求度进行差值比较，若所得差值至少有一个大于0，则将当前遥感产品生产任务发送至所得差值为正且最小的生产节点，若所得差值均小于等于0，则将当前遥感产品生产任务移至未分配成功队列，同时选取优先任务队列中的下一个遥感产品生产任务进行分配，当优先任务队列中的遥感产品生产任务全部经过上述分配过程后进入步骤D3；
D3、调度服务器检测普通任务队列是否为空，当普通任务队列为空时，直接返回步骤D1，当普通任务队列不为空时，依次选取普通任务队列中的一个遥感产品生产任务，分别将各个生产节点最新发送的服务能力值与当前遥感产品生产任务的资源需求度进行差值比较，若所得差值至少有一个大于0，则将当前遥感产品生产任务发送至所得差值为正且最小的生产节点，若所得差值均小于等于0，则将当前遥感产品生产任务移至未分配成功队列，同时选取普通任务队列中的下一个遥感产品生产任务进行分配，当普通任务队列中的遥感产品生产任务全部经过上述分配过程后返回步骤D1。
本发明通过计算遥感产品生产任务的资源需求度和生产节点的服务能力值，并基于两者的匹配关系进行任务调度，使各个遥感产品生产任务均衡的分布到各个生产节点，大大提高了遥感产品生产任务分配的成功率和生产效率，使整个集群负载达到均衡，同时提高了集群的资源利用率和吞吐量，使集群处于一种健康的可持续运行状态。
附图说明
图1为本发明的流程示意图。
具体实施方式
如图1所示，本发明所述的基于任务需求与服务能力匹配的遥感任务调度方法，包括以下步骤：
A、将调度服务器进行初始化，依据遥感产品生产算法依赖关系，在调度服务器上建立遥感产品生产依赖模型W(W1，W2，…，Wn)，定义W为目标产品，则W1，W2，…，Wn为W依赖的中间产品或基础产品，n＝1，2，3，……，遥感产品生产依赖模型输出W的产品依赖度RW：
RW＝RW1+RW2+…+RWn；
式中RW1，RW2，…，RWn分别为W1，W2，…，Wn的产品依赖度；定义基础产品的产品依赖度为ε，ε可取任意正整数，本实施例中ε取为1，若W1，W2，…，Wn均为基础产品，则RW1，RW2，…，RWn的值均为1，若W1，W2，…，Wn中存在一个或多个中间产品，则将各个中间产品分别作为目标产品，根据上述遥感产品生产依赖模型继续查找各个中间产品所依赖产品的产品依赖度，直至所有中间产品所依赖的产品全部为基础产品。
具体来说，若Wi为基础产品，i＝1，2，……，n，则RWi＝1，若Wi为中间产品，则定义Wi的生产依赖模型为Wi(Wi1，Wi2，…，Wim)，其中Wi1，Wi2，…，Wim为Wi依赖的中间产品或基础产品，m＝1，2，3，……，中间产品Wi的产品依赖度RWi为：
RWi＝RWi1+RWi2+…+RWim；
式中RWi1，RWi2，…，RWim分别为Wi1，Wi2，…，Wim的产品依赖度；若Wij为基础产品，j＝1，2，……，m，则RWij＝1，若Wij为中间产品，则定义Wij的生产依赖模型为Wij(Wij1，Wij2，…，Wijp)，其中Wij1，Wij2，…，Wijp为Wij依赖的中间产品或基础产品，p＝1，2，3，……，中间产品Wij的产品依赖度RWij为：
RWij＝RWij1+RWij2+…+RWijp；
式中RWij1，RWij2，…，RWijp分别为Wij1，Wij2，…，Wijp的产品依赖度，以此类推，若Wijk为基础产品，k＝1，2，……，p，则RWijk＝1，若Wijk为中间产品，则按照上述方法继续查找各个中间产品所依赖产品的产品依赖度，直至所依赖的产品全部为基础产品。
B、当遥感产品生产任务到达调度服务器后，调度服务器根据遥感产品生产任务的订单信息和遥感产品生产依赖模型计算遥感产品生产任务的资源需求度，并将遥感产品生产任务按照到达顺序放入任务队列等待分配。
调度服务器根据遥感产品生产任务的订单信息和遥感产品生产依赖模型计算遥感产品生产任务的资源需求度包括以下步骤：
B1、调度服务器利用遥感产品生产依赖模型W(W1，W2，…，Wn)，计算遥感产品生产任务的目标产品的产品依赖度RW；
B2、调度服务器根据遥感产品生产任务的订单信息中的遥感影像列表，计算遥感影像的总数据量Fw：
Fw＝F1+F2+…Ft；
式中t＝1，2，3，……，F1，F2，…，Ft分别为第一幅遥感影像的大小，第二幅遥感影像的大小，……，第t幅遥感影像的大小。为方便计算，本实施例中遥感影像的大小以MB为单位计算。
B3、调度服务器根据目标产品的产品依赖度RW和遥感影像的总数据量Fw计算遥感产品生产任务的资源需求度Zw：
式中ρ1、ρ2为依据目标产品的产品依赖度RW和遥感影像的总数据量Fw对遥感产品生产任务的资源需求度的影响分别赋予的权值，其和为1。本实施例中ρ1、ρ2初始化时均取0.5。
调度服务器中的任务队列包括初始为空的优先任务队列、普通任务队列和未分配成功队列，调度服务器根据遥感产品生产任务的任务优先级将其加入优先任务队列或者普通任务队列等待分配。
C、集群中的各个生产节点依据自身的负载情况，周期性地计算本生产节点的服务能力值，并实时发送至调度服务器。其中，生产节点的服务能力值的计算公式为：
式中CPU％和Mem％分别为生产节点的CPU和内存在当前周期内的平均利用率，本实施例中设定一个周期的时长为5秒。Cap、Mem、TU和TF分别为生产节点的CPU计算能力、内存大小、待完成生产任务数和已完成生产任务数，为避免随着TF的持续增大造成S长时间为负数的情况，所有生产节点的TF每隔设定时间后置0。ρ3、ρ4、ρ5、ρ6是依据Cap、Mem、TU和TF对生产节点服务能力的影响分别赋予的权值，其和为1。本实施例中ρ3、ρ4、ρ5、ρ6分别取0.3、0.2、0.4、0.1。此外，生产节点的CPU计算能力Cap采用以下公式计算：
Cap＝Num*Cor*Fre；
式中Num为CPU数量，Cor为单个CPU核数，Fre为CPU频率。
D、调度服务器根据遥感产品生产任务的资源需求度和各个生产节点的服务能力值进行任务分配，具体包括以下步骤：
D1、调度服务器首先检查未分配成功队列是否为空，当未分配成功队列为空时，直接进入步骤D2，当未分配成功队列不为空时，依次选取未分配成功队列中的一个遥感产品生产任务，分别将各个生产节点最新发送的服务能力值与当前遥感产品生产任务的资源需求度进行差值比较，若所得差值至少有一个大于0，则将当前遥感产品生产任务发送至所得差值为正且最小的生产节点，若所得差值均小于等于0，则将当前遥感产品生产任务放回未分配成功队列，同时选取未分配成功队列中的下一个遥感产品生产任务进行分配，当未分配成功队列中的所有遥感产品生产任务全部经过上述分配过程后进入步骤D2。
D2、调度服务器检测优先任务队列是否为空，当优先任务队列为空时，直接进入步骤D3，当优先任务队列不为空时，依次选取优先任务队列中的一个遥感产品生产任务，分别将各个生产节点最新发送的服务能力值与当前遥感产品生产任务的资源需求度进行差值比较，若所得差值至少有一个大于0，则将当前遥感产品生产任务发送至所得差值为正且最小的生产节点，若所得差值均小于等于0，则将当前遥感产品生产任务移至未分配成功队列，同时选取优先任务队列中的下一个遥感产品生产任务进行分配，当优先任务队列中的遥感产品生产任务全部经过上述分配过程后进入步骤D3。
D3、调度服务器检测普通任务队列是否为空，当普通任务队列为空时，直接返回步骤D1，当普通任务队列不为空时，依次选取普通任务队列中的一个遥感产品生产任务，分别将各个生产节点最新发送的服务能力值与当前遥感产品生产任务的资源需求度进行差值比较，若所得差值至少有一个大于0，则将当前遥感产品生产任务发送至所得差值为正且最小的生产节点，若所得差值均小于等于0，则将当前遥感产品生产任务移至未分配成功队列，同时选取普通任务队列中的下一个遥感产品生产任务进行分配，当普通任务队列中的遥感产品生产任务全部经过上述分配过程后返回步骤D1。
本发明的调度服务器每次进行任务分配时，总是按照先未分配成功队列、其次优先任务队列、最后普通任务队列的顺序进行，能够保证先到达的遥感产品生产任务不会过度等待，提高了任务调度策略的合理性。经过多次任务分配后，每次分配相对于现有的普适性任务分配算法而进行的优化作用将在集群中凸显，使得集群不均衡度更低，集群的生产效率更高。
本发明提供的任务调度方法充分考虑了遥感产品生产任务与生产节点两方面因素，通过将传统的动态任务调度改为结合了需求因素的双向匹配调度方法，进一步提高了集群的资源利用率和吞吐量，降低了集群的不均衡度。

Claims (7)

1.一种基于任务需求与服务能力匹配的遥感任务调度方法，其特征在于，包括以下步骤：
A、将调度服务器进行初始化，依据遥感产品生产算法依赖关系，在调度服务器上建立遥感产品生产依赖模型W(W1，W2，…，Wn)，定义W为目标产品，则W1，W2，…，Wn为W依赖的中间产品或基础产品，n＝1，2，3，……，然后进入步骤B；
B、当遥感产品生产任务到达调度服务器后，调度服务器根据遥感产品生产任务的订单信息和遥感产品生产依赖模型计算遥感产品生产任务的资源需求度，并将遥感产品生产任务按照到达顺序放入任务队列等待分配，然后进入步骤C；
C、集群中的各个生产节点依据自身的负载情况，周期性地计算本生产节点的服务能力值，并实时发送至调度服务器，然后进入步骤D；
D、调度服务器依次选取任务队列中的一个遥感产品生产任务，并将各个生产节点最新发送的服务能力值与当前遥感产品生产任务的资源需求度进行差值比较，若所得差值至少有一个大于0，则将遥感产品生产任务发送至所得差值为正且最小的生产节点，若所得差值均小于等于0，则将遥感产品生产任务放回任务队列等待下次分配，同时调度服务器选取下个遥感产品生产任务进行分配。
2.如权利要求1所述的基于任务需求与服务能力匹配的遥感任务调度方法，其特征在于：所述的步骤A中，遥感产品生产依赖模型输出W的产品依赖度RW：
RW＝RW1+RW2+…+RWn；
式中RW1，RW2，…，RWn分别为W1，W2，…，Wn的产品依赖度；定义基础产品的产品依赖度为ε，ε取1，2，3，……，若W1，W2，…，Wn均为基础产品，则RW1，RW2，…，RWn的值均为ε，若W1，W2，…，Wn中存在一个或多个中间产品，则将各个中间产品分别作为目标产品，根据上述遥感产品生产依赖模型继续查找各个中间产品所依赖产品的产品依赖度，直至所有中间产品所依赖的产品全部为基础产品。
3.如权利要求2所述的基于任务需求与服务能力匹配的遥感任务调度方法，其特征在于：所述的步骤B中，调度服务器根据遥感产品生产任务的订单信息和遥感产品生产依赖模型计算遥感产品生产任务的资源需求度包括以下步骤：
B1、调度服务器利用遥感产品生产依赖模型W(W1，W2，…，Wn)，计算遥感产品生产任务的目标产品的产品依赖度RW；
B2、调度服务器根据遥感产品生产任务的订单信息中的遥感影像列表，计算遥感影像的总数据量Fw：
Fw＝F1+F2+…Ft；
式中t＝1，2，3，……，F1，F2，…，Ft分别为第一幅遥感影像的大小，第二幅遥感影像的大小，……，第t幅遥感影像的大小；
B3、调度服务器根据目标产品的产品依赖度RW和遥感影像的总数据量Fw计算遥感产品生产任务的资源需求度Zw：
式中ρ1、ρ2为依据目标产品的产品依赖度RW和遥感影像的总数据量Fw对遥感产品生产任务的资源需求度的影响分别赋予的权值，其和为1。
4.如权利要求3所述的基于任务需求与服务能力匹配的遥感任务调度方法，其特征在于：所述的步骤C中，生产节点的服务能力值的计算公式为：
式中CPU％和Mem％分别为生产节点的CPU和内存在当前周期内的平均利用率，Cap、Mem、TU和TF分别为生产节点的CPU计算能力、内存大小、待完成生产任务数和已完成生产任务数，其中已完成任务数TF每隔设定时间后置0，
ρ3、ρ4、ρ5、ρ6是依据Cap、Mem、TU和TF对生产节点服务能力的影响分别赋予的权值，其和为1。
5.如权利要求4所述的基于任务需求与服务能力匹配的遥感任务调度方法，其特征在于：所述的生产节点的CPU计算能力的计算公式为：
Cap＝Num*Cor*Fre；
式中Num为CPU数量，Cor为单个CPU核数，Fre为CPU频率。
6.如权利要求1至5中任一项所述的基于任务需求与服务能力匹配的遥感任务调度方法，其特征在于：所述的步骤B中，调度服务器中的任务队列包括初始为空的优先任务队列、普通任务队列和未分配成功队列，调度服务器根据遥感产品生产任务的任务优先级将其加入优先任务队列或者普通任务队列等待分配。
7.如权利要求6所述的基于任务需求与服务能力匹配的遥感任务调度方法，其特征在于，所述的步骤D包括以下步骤：
D1、调度服务器首先检查未分配成功队列是否为空，当未分配成功队列为空时，直接进入步骤D2，当未分配成功队列不为空时，依次选取未分配成功队列中的一个遥感产品生产任务，分别将各个生产节点最新发送的服务能力值与当前遥感产品生产任务的资源需求度进行差值比较，若所得差值至少有一个大于0，则将当前遥感产品生产任务发送至所得差值为正且最小的生产节点，若所得差值均小于等于0，则将当前遥感产品生产任务放回未分配成功队列，同时选取未分配成功队列中的下一个遥感产品生产任务进行分配，当未分配成功队列中的所有遥感产品生产任务全部经过上述分配过程后进入步骤D2；
D2、调度服务器检测优先任务队列是否为空，当优先任务队列为空时，直接进入步骤D3，当优先任务队列不为空时，依次选取优先任务队列中的一个遥感产品生产任务，分别将各个生产节点最新发送的服务能力值与当前遥感产品生产任务的资源需求度进行差值比较，若所得差值至少有一个大于0，则将当前遥感产品生产任务发送至所得差值为正且最小的生产节点，若所得差值均小于等于0，则将当前遥感产品生产任务移至未分配成功队列，同时选取优先任务队列中的下一个遥感产品生产任务进行分配，当优先任务队列中的遥感产品生产任务全部经过上述分配过程后进入步骤D3；
D3、调度服务器检测普通任务队列是否为空，当普通任务队列为空时，直接返回步骤D1，当普通任务队列不为空时，依次选取普通任务队列中的一个遥感产品生产任务，分别将各个生产节点最新发送的服务能力值与当前遥感产品生产任务的资源需求度进行差值比较，若所得差值至少有一个大于0，则将当前遥感产品生产任务发送至所得差值为正且最小的生产节点，若所得差值均小于等于0，则将当前遥感产品生产任务移至未分配成功队列，同时选取普通任务队列中的下一个遥感产品生产任务进行分配，当普通任务队列中的遥感产品生产任务全部经过上述分配过程后返回步骤D1。
CN201610725908.8A 2016-07-11 2016-08-25 一种基于任务需求与服务能力匹配的遥感任务调度方法 Active CN106293952B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610540779 2016-07-11
CN2016105407795 2016-07-11

Publications (2)

Publication Number Publication Date
CN106293952A CN106293952A (zh) 2017-01-04
CN106293952B true CN106293952B (zh) 2019-06-21

Family

ID=57615315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610725908.8A Active CN106293952B (zh) 2016-07-11 2016-08-25 一种基于任务需求与服务能力匹配的遥感任务调度方法

Country Status (1)

Country Link
CN (1) CN106293952B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108289086B (zh) * 2017-01-10 2020-11-24 阿里巴巴集团控股有限公司 请求处理方法及装置、服务器
CN107704318A (zh) * 2017-09-20 2018-02-16 北京京东尚科信息技术有限公司 实例调度的方法和装置
CN108196948A (zh) * 2017-12-28 2018-06-22 东华大学 一种基于动态规划的云实例类型组合优化选择方法
CN109636097B (zh) * 2018-11-01 2021-09-21 中车工业研究院有限公司 一种产品设计任务的分配方法及装置
CN109684095B (zh) * 2018-12-26 2021-03-23 北京奇艺世纪科技有限公司 一种任务处理方法及任务分配设备
CN109947532B (zh) * 2019-03-01 2023-06-09 中山大学 一种教育云平台中的大数据任务调度方法
CN112114960B (zh) * 2020-08-06 2022-11-01 河南大学 一种适应互联网场景的遥感影像并行集群处理的调度策略
CN112488492A (zh) * 2020-11-26 2021-03-12 中科星通(廊坊)信息技术有限公司 一种基于优先级的遥感产品生产调度方法
CN112596902A (zh) * 2020-12-25 2021-04-02 中科星通(廊坊)信息技术有限公司 基于cpu-gpu协同计算的任务调度方法及装置
CN116822863A (zh) * 2023-06-21 2023-09-29 北京市遥感信息研究所 一种多平台协同感知的智能规划方法与系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102073546A (zh) * 2010-12-13 2011-05-25 北京航空航天大学 一种云计算环境中分布式计算模式下的任务动态调度方法
CN102591712A (zh) * 2011-12-30 2012-07-18 大连理工大学 一种云计算中依赖任务的解耦并行调度方法
CN104657214A (zh) * 2015-03-13 2015-05-27 华存数据信息技术有限公司 一种基于多队列和多优先级的大数据任务管理系统和方法
CN105913378A (zh) * 2016-04-08 2016-08-31 南京大学 顾及层次任务依赖的遥感影像并行拼接方法
CN106127365A (zh) * 2016-06-15 2016-11-16 中国科学院遥感与数字地球研究所 定量遥感产品在线交互式自主生产方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102073546A (zh) * 2010-12-13 2011-05-25 北京航空航天大学 一种云计算环境中分布式计算模式下的任务动态调度方法
CN102591712A (zh) * 2011-12-30 2012-07-18 大连理工大学 一种云计算中依赖任务的解耦并行调度方法
CN104657214A (zh) * 2015-03-13 2015-05-27 华存数据信息技术有限公司 一种基于多队列和多优先级的大数据任务管理系统和方法
CN105913378A (zh) * 2016-04-08 2016-08-31 南京大学 顾及层次任务依赖的遥感影像并行拼接方法
CN106127365A (zh) * 2016-06-15 2016-11-16 中国科学院遥感与数字地球研究所 定量遥感产品在线交互式自主生产方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
面向遥感数据集群处理的任务调度模型研究与应用;刘春丽;《中国优秀硕士学位论文全文数据库信息科技辑》;20160515(第05期);第13-20页 *

Also Published As

Publication number Publication date
CN106293952A (zh) 2017-01-04

Similar Documents

Publication Publication Date Title
CN106293952B (zh) 一种基于任务需求与服务能力匹配的遥感任务调度方法
CN102780759B (zh) 基于调度目标空间的云计算资源调度方法
CN111353840B (zh) 订单信息处理方法、装置及电子设备
KR101569093B1 (ko) 분산 시스템에서 데이터를 처리하는 방법
CN107679750B (zh) 一种基于自适应系数遗传算法的云制造服务资源匹配方法
WO2016082370A1 (zh) 一种分布式节点组内任务调度方法及系统
CN109582448B (zh) 一种面向关键度和时效性的边缘计算任务调度方法
CN104657221A (zh) 一种云计算中基于任务分类的多队列错峰调度模型及方法
CN104331321A (zh) 基于禁忌搜索和负载均衡的云计算任务调度方法
Li et al. Efficient resource allocation for optimizing objectives of cloud users, IaaS provider and SaaS provider in cloud environment
CN102169505A (zh) 基于云计算的推荐系统构建方法
CN102857548A (zh) 一种移动云计算资源优化配置方法
CN106126340B (zh) 一种跨数据中心云计算系统的规约器选择方法
CN106412124B (zh) 一种并序化云服务平台任务分配系统及任务分配方法
Nagendram et al. Efficient resource scheduling in data centers using MRIS
CN108156204A (zh) 一种目标对象推送系统和方法
Penmatsa et al. Cost minimization in utility computing systems
CN105005503A (zh) 基于元胞自动机的云计算负载均衡任务调度方法
CN103699448A (zh) 一种云计算环境下基于时间期限和预算的调度方法
Kaur et al. Optimized utilization of resources using improved particle swarm optimization based task scheduling algorithms in cloud computing
CN106951313A (zh) 多工作流共享资源协同调度的子期限获取方法
CN105430074B (zh) 基于数据依赖性和访问量的云数据分配存储的优化方法及系统
CN110888728B (zh) 一种Kettle集群服务器的任务调度方法
CN108650191B (zh) 一种虚拟化网络中映射策略的决策方法
Xu et al. An incentive-based heuristic job scheduling algorithm for utility grids

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant