CN110764886B - 一种支持多分区处理的批量作业协同调度方法及系统 - Google Patents
一种支持多分区处理的批量作业协同调度方法及系统 Download PDFInfo
- Publication number
- CN110764886B CN110764886B CN201910828067.7A CN201910828067A CN110764886B CN 110764886 B CN110764886 B CN 110764886B CN 201910828067 A CN201910828067 A CN 201910828067A CN 110764886 B CN110764886 B CN 110764886B
- Authority
- CN
- China
- Prior art keywords
- job
- processing
- time
- partition
- scheduled
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multi Processors (AREA)
Abstract
本发明公开了一种支持多分区处理的批量作业协同调度方法及系统,根据作业执行队列中的预期执行时间、被占用分区的预期执行时间和占用分区的执行能力对资源系统进行统一管理,得到全局任务执行时间最短的调度方案。能够解决当前分布式多分区航空电子系统的任务调度问题。提升航空电子系统的批量作业处理能力,最大化发挥电子系统的任务处理能力。
Description
技术领域
本发明属于本发明属于航空电子技术领域,具体涉及一种支持多分区处理的批量作业协同调度方法及系统。
背景技术
随着计算机技术的发展,航空电子处理系统已普遍采用多分区处理机,并正向着分布式机载处理系统的方向发展。航空电子系统所承担的任务往往是多任务并行,在处理系统中同时存在多个分区实现多任务的并行处理。机载处理系统的性能直接影响飞机任务的执行性能,其中作业调度又是整个处理系统的核心。航空电子系统处理系统中的作业指一项由多个物理实体共同协作并综合各自的信息状态转化能力,实现机载平台具备完成某一项任务的集合,一个航空电子系统需要同时处理大量的作业,进而完成整个作战任务。
当前航空电子系统研究领域对多分区处理器下的任务系统的调度管理研究主要集中在基于任务优先级的调度方法,该类型研究只考虑了优先级,而没有考虑任务执行过程中的作业难度与空闲因素,无法保证多分区处理器下的实时任务调度目标。
发明内容
发明目的:本发明提出一种支持多分区处理的批量作业协同调度方法,根据作业执行队列中的预期执行时间、被占用分区的预期执行时间和占用分区的执行能力统一管理,得到全局任务执行时间最短的调度方案。
发明技术解决方案
本发明通过对处理器分区的能力和执行作业进行综合计算,并根据本发明提出的决策算法进行作业与处理分区的匹配。本发明通过以下方法实现批量作业调度管理。
为了实现上述发明目的,本发明采用下述的技术方案:
一种支持多分区处理的批量作业协同调度方法,包括如下步骤:
步骤1,计算待调度作业的时间需求和空间需求,预估待调度作业的处理时间。根据如下公式求取待调度作业的处理时间:
式中,crequest表示待执行作业的计算需求,fcpu,bcpu表示执行分区的处理器主频和带宽,prequest表示带执行作业的存储空间需求,pcal表示处理器的高速缓存空间,α,β为修正参数。
步骤2:对空闲处理分区和非空闲分区的处理能力进行排序。不同的处理分区的处理能力由该处理分区的缓存大小、处理器主频、处理器并行处理带宽等参数确定。具体按如下步骤:
步骤2.1、预估非空闲分区的本身处理能力
根据预估待调度作业处理时间的方式对当前占用的分区的能力进行计算,得到的原始的预估处理时间。
步骤2.2、计算待调度作业预估的综合完成时间
待调度作业预估的综合完成时间为原始的预估处理时间加当前运行任务的资源占用时间。
tm=tor+tst
tor和tst分别表示原始预估处理时间和当前任务占用时间。
步骤3:基于任务完成时间最短的调度规则
从最小任务开始,在所有的预估处理时间中进行排序,每次推送全局最小匹配对Ique,直到待调度列表为空。
式中,ti表示第i个待调度作业的综合预估处理时间值。
一种支持多分区处理的批量作业协同调度系统,包含工作模块作业特征参数存储模块、作业处理时间预估模块、作业调度中心模块;其中,作业特征参数存储模块用于将每一个作业的内存占用空间大小、优先级、时间需求指标进行存储;作业处理时间预估模块用于计算每一时刻下每一个作业的预估综合完成时间;作业调度中心模块用于完成待调度作业与计算资源的匹配,并维护资源的运行状态管理。
该系统工作过程如下:
(1)读入处理系统状态数据,包括各处理单元空闲列表、各处理单元占用列表和作业调度区作业状态;
(2)搜索资源最小需求作业;
(3)对空闲分区进行作业处理时间预估计算;
(4)对非空闲分区进行当前调度作业处理时间预估计算;
(5)判断空闲处理分区是否满足最小作业需求,若满足则分配该分区为当前作业;若不满足则计算附加占用时间的作业处理时间;
(6)判断附加占用时间的作业处理时间是否小于空闲作业分区时间;若附加占用时间的作业处理时间小于空闲作业分区时间则分配该分区为当前作业;若附加占用时间的作业处理时间大于等于空闲作业分区时间则计算附加占用时间的作业处理时间;
(7)判断待调度列表是否为空,若待调度列表为空则结束;若不是则进行步骤(2)直至待调度列表为空。
本发明的优点在于:
提出一种基于预估处理时间的批量作业的多分区处理调度方法和系统,能够解决当前分布式多分区航空电子系统的任务调度问题。提升航空电子系统的批量作业处理能力,最大化发挥电子系统的任务处理能力。
附图说明
图1为本发明的一种支持多分区处理的批量作业协同调度系统总体框架。
图2为分区处理能力和作业需求示意图。
图3为本发明的一种支持多分区处理的批量作业协同调度系统的调度流程图。
具体实施方式
结合发明内容概述和附图,详细说明本发明的具体实施方式。
初始化航空电子系统处理平台和作业需求参数。如图2所示将分布式处理器状态和待调度任务输入到本发明的一种支持多分区处理的批量作业协同调度系统。以具有三个空闲分区c1,c2,c3,两个执行任务分区k1,k2的批量作业协同调度系统,两个待调度任w1,w2为例。
(1)计算预估处理时间,计算过程中crequest=O(n3),fcpu=2.0GHz,bcpu=32,prequest=300M,pcal=100K,α=0.2,β=5,对空闲分区c1,c2,c3的预处理时间进行计算可以得到如下结果:
tc1=1.20ms
tc2=1.40ms
tc3=1.55ms
(2)对图2所示的当前占用分区的预估处理时间计算,可以得到如下结果:
t4=0.36ms+0.94ms=1.30ms
t5=0.75ms+0.35ms=1.10ms
(3)根据本发明的评判规则,可以获知,当前作业w1的最佳执行分区为当前占用的分区m2执行。
同样的作业w2也可以得到相同的预估时间,此处省去计算过程,可以得到w2应当在当前分区c1执行。
最终得到的待调度作业分配为:w1->m2;w2->c1。
Claims (4)
1.一种支持多分区处理的批量作业协同调度方法,其特征在于,包括如下步骤:
步骤1:计算待调度作业的时间需求和空间需求,预估待调度作业的处理时间;
步骤2:对空闲处理分区和非空闲分区的处理能力进行排序;
步骤3:基于任务完成时间最短的调度规则,从最小任务开始,将所有的预估待调度作业的处理时间进行排序,求取全局最小匹配对,并进行排序,直到待调度作业全部分配完毕;
步骤1中根据如下公式求取待调度作业的处理时间:
式中,crequest表示待执行作业的计算需求,fcpu,bcpu分别表示执行分区的处理器主频和带宽,prequest表示待执行作业的存储空间需求,pcal表示处理器的高速缓存空间,α,β为修正参数;
步骤2包括如下步骤:
步骤2.1:预估非空闲分区的本身处理能力;
步骤2.2:计算待调度作业预估的综合完成时间;
步骤2.1具体为根据预估待调度作业处理时间的方式对当前占用的分区的能力进行计算,得到原始的预估处理时间;
步骤2.2待调度作业预估的综合完成时间为原始的预估处理时间加当前运行任务的资源占用时间。
2.如权利要求1所述的一种支持多分区处理的批量作业协同调度方法,其特征在于,步骤2中不同的处理分区的处理能力由该处理分区的缓存大小、处理器主频、处理器并行处理带宽确定。
3.基于权利要求1~2任一所述的一种支持多分区处理的批量作业协同调度方法的批量作业协同调度系统,其特征在于,其工作过程如下:
(1)读入处理系统状态数据,包括各处理单元空闲列表、各处理单元占用列表和作业调度区作业状态;
(2)搜索资源最小需求作业;
(3)对空闲分区进行作业处理时间预估计算;
(4)对非空闲分区进行当前调度作业处理时间预估计算;
(5)判断空闲处理分区是否满足最小作业需求,若满足则分配该分区为当前作业;若不满足则计算附加占用时间的作业处理时间;
(6)判断附加占用时间的作业处理时间是否小于空闲作业分区时间;若附加占用时间的作业处理时间小于空闲作业分区时间则分配该分区为当前作业;若附加占用时间的作业处理时间大于等于空闲作业分区时间则计算附加占用时间的作业处理时间;
(7)判断待调度列表是否为空,若待调度列表为空则结束;若不是则进行步骤(2)直至待调度列表为空。
4.如权利要求3所述的一种支持多分区处理的批量作业协同调度系统,其特征在于,包含工作模块作业特征参数存储模块、作业处理时间预估模块、作业调度中心模块;其中,作业特征参数存储模块用于将每一个作业的内存占用空间大小、优先级、时间需求指标进行存储;作业处理时间预估模块用于计算每一时刻下每一个作业的预估综合完成时间;作业调度中心模块用于完成待调度作业与计算资源的匹配,并维护资源的运行状态管理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910828067.7A CN110764886B (zh) | 2019-09-03 | 2019-09-03 | 一种支持多分区处理的批量作业协同调度方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910828067.7A CN110764886B (zh) | 2019-09-03 | 2019-09-03 | 一种支持多分区处理的批量作业协同调度方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110764886A CN110764886A (zh) | 2020-02-07 |
CN110764886B true CN110764886B (zh) | 2023-03-31 |
Family
ID=69329246
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910828067.7A Active CN110764886B (zh) | 2019-09-03 | 2019-09-03 | 一种支持多分区处理的批量作业协同调度方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110764886B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113032152B (zh) * | 2021-04-02 | 2023-03-24 | 北京百度网讯科技有限公司 | 用于深度学习框架的调度方法、调度装置、电子设备、存储介质和程序产品 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009151375A (ja) * | 2007-12-18 | 2009-07-09 | Toshiba Corp | ジョブスケジューリング方法 |
EP2256632A1 (en) * | 2009-05-26 | 2010-12-01 | Telefonaktiebolaget L M Ericsson (publ) | Multi-processor scheduling |
CN102866920A (zh) * | 2012-08-02 | 2013-01-09 | 杭州海康威视系统技术有限公司 | 主从结构分布式视频处理系统及其调度方法 |
CN105159769A (zh) * | 2015-09-11 | 2015-12-16 | 国电南瑞科技股份有限公司 | 一种适用于计算能力异构集群的分布式作业调度方法 |
-
2019
- 2019-09-03 CN CN201910828067.7A patent/CN110764886B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009151375A (ja) * | 2007-12-18 | 2009-07-09 | Toshiba Corp | ジョブスケジューリング方法 |
EP2256632A1 (en) * | 2009-05-26 | 2010-12-01 | Telefonaktiebolaget L M Ericsson (publ) | Multi-processor scheduling |
CN102866920A (zh) * | 2012-08-02 | 2013-01-09 | 杭州海康威视系统技术有限公司 | 主从结构分布式视频处理系统及其调度方法 |
CN105159769A (zh) * | 2015-09-11 | 2015-12-16 | 国电南瑞科技股份有限公司 | 一种适用于计算能力异构集群的分布式作业调度方法 |
Non-Patent Citations (2)
Title |
---|
何锋 ; 熊华钢 ; 宋丽茹 ; .航空电子分区调度研究.系统仿真学报.2008,(S1),全文. * |
李京生 ; 王爱民 ; 唐承统 ; 卢治兵 ; .基于动态资源能力服务的分布式协同调度技术.计算机集成制造系统.2012,(07),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN110764886A (zh) | 2020-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8972983B2 (en) | Efficient execution of jobs in a shared pool of resources | |
US9442760B2 (en) | Job scheduling using expected server performance information | |
CN107038069B (zh) | Hadoop平台下动态标签匹配DLMS调度方法 | |
CN105487930B (zh) | 一种基于Hadoop的任务优化调度方法 | |
US8875143B2 (en) | Utility-optimized scheduling of time-sensitive tasks in a resource-constrained environment | |
US20140019987A1 (en) | Scheduling map and reduce tasks for jobs execution according to performance goals | |
Bicer et al. | Time and cost sensitive data-intensive computing on hybrid clouds | |
US8615764B2 (en) | Dynamic system scheduling | |
CN104298550B (zh) | 一种面向Hadoop的动态调度方法 | |
US20210105322A1 (en) | Distributed storage system and data migration method | |
US20110247003A1 (en) | Predictive Dynamic System Scheduling | |
WO2023051505A1 (zh) | 一种任务求解方法及其装置 | |
WO2019223283A1 (zh) | 预测执行任务执行时间的组合优化调度方法 | |
US20170090962A1 (en) | Method for Mapping Between Virtual CPU and Physical CPU and Electronic Device | |
KR20140117905A (ko) | 클라우드 서비스의 가상자원 할당을 위한 퍼지 로직 기반의 자원평가 장치 및 방법 | |
Omar et al. | Comparative analysis of the essential CPU scheduling algorithms | |
JP2011180894A (ja) | ジョブスケジューリングプログラム、ジョブスケジューリング装置、及びジョブスケジューリング方法 | |
CN104598311A (zh) | 一种面向Hadoop的实时作业公平调度的方法和装置 | |
CN111625339A (zh) | 集群资源调度方法、装置、介质和计算设备 | |
CN110764886B (zh) | 一种支持多分区处理的批量作业协同调度方法及系统 | |
CN112000460A (zh) | 一种基于改进贝叶斯算法的服务扩缩容的方法及相关设备 | |
CN114399228A (zh) | 任务调度方法及装置、电子设备和介质 | |
Varghese et al. | Entropy Based Monotonic Task Scheduling and Dynamic Resource Mapping in Federated Cloud Environment. | |
CN108595251A (zh) | 动态图更新方法、装置、存储引擎接口和程序介质 | |
WO2023207630A1 (zh) | 一种任务求解方法及其装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |