CN110764886A - 一种支持多分区处理的批量作业协同调度方法及系统 - Google Patents

一种支持多分区处理的批量作业协同调度方法及系统 Download PDF

Info

Publication number
CN110764886A
CN110764886A CN201910828067.7A CN201910828067A CN110764886A CN 110764886 A CN110764886 A CN 110764886A CN 201910828067 A CN201910828067 A CN 201910828067A CN 110764886 A CN110764886 A CN 110764886A
Authority
CN
China
Prior art keywords
job
processing
time
partition
scheduled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910828067.7A
Other languages
English (en)
Other versions
CN110764886B (zh
Inventor
王云辉
郑学理
詹志娟
薛冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Aeronautical Radio Electronics Research Institute
Original Assignee
China Aeronautical Radio Electronics Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Aeronautical Radio Electronics Research Institute filed Critical China Aeronautical Radio Electronics Research Institute
Priority to CN201910828067.7A priority Critical patent/CN110764886B/zh
Publication of CN110764886A publication Critical patent/CN110764886A/zh
Application granted granted Critical
Publication of CN110764886B publication Critical patent/CN110764886B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multi Processors (AREA)

Abstract

本发明公开了一种支持多分区处理的批量作业协同调度方法及系统，根据作业执行队列中的预期执行时间、被占用分区的预期执行时间和占用分区的执行能力对资源系统进行统一管理，得到全局任务执行时间最短的调度方案。能够解决当前分布式多分区航空电子系统的任务调度问题。提升航空电子系统的批量作业处理能力，最大化发挥电子系统的任务处理能力。

Description

一种支持多分区处理的批量作业协同调度方法及系统
技术领域
本发明属于本发明属于航空电子技术领域，具体涉及一种支持多分区处理的批量作业协同调度方法及系统。
背景技术
随着计算机技术的发展，航空电子处理系统已普遍采用多分区处理机，并正向着分布式机载处理系统的方向发展。航空电子系统所承担的任务往往是多任务并行，在处理系统中同时存在多个分区实现多任务的并行处理。机载处理系统的性能直接影响飞机任务的执行性能，其中作业调度又是整个处理系统的核心。航空电子系统处理系统中的作业指一项由多个物理实体共同协作并综合各自的信息状态转化能力，实现机载平台具备完成某一项任务的集合，一个航空电子系统需要同时处理大量的作业，进而完成整个作战任务。
当前航空电子系统研究领域对多分区处理器下的任务系统的调度管理研究主要集中在基于任务优先级的调度方法，该类型研究只考虑了优先级，而没有考虑任务执行过程中的作业难度与空闲因素，无法保证多分区处理器下的实时任务调度目标。
发明内容
发明目的：本发明提出一种支持多分区处理的批量作业协同调度方法，根据作业执行队列中的预期执行时间、被占用分区的预期执行时间和占用分区的执行能力统一管理，得到全局任务执行时间最短的调度方案。
发明技术解决方案
本发明通过对处理器分区的能力和执行作业进行综合计算，并根据本发明提出的决策算法进行作业与处理分区的匹配。本发明通过以下方法实现批量作业调度管理。
为了实现上述发明目的，本发明采用下述的技术方案：
一种支持多分区处理的批量作业协同调度方法，包括如下步骤：
步骤1，计算待调度作业的时间需求和空间需求，预估待调度作业的处理时间。根据如下公式求取待调度作业的处理时间：
式中，crequest表示待执行作业的计算需求，fcpu,bcpu表示执行分区的处理器主频和带宽，prequest表示带执行作业的存储空间需求，pcal表示处理器的高速缓存空间，α,β为修正参数。
步骤2：对空闲处理分区和非空闲分区的处理能力进行排序。不同的处理分区的处理能力由该处理分区的缓存大小、处理器主频、处理器并行处理带宽等参数确定。具体按如下步骤：
步骤2.1、预估非空闲分区的本身处理能力
根据预估待调度作业处理时间的方式对当前占用的分区的能力进行计算，得到的原始的预估处理时间。
步骤2.2、计算待调度作业预估的综合完成时间
待调度作业预估的综合完成时间为原始的预估处理时间加当前运行任务的资源占用时间。
tm＝tor+tst
tor和tst分别表示原始预估处理时间和当前任务占用时间。
步骤3：基于任务完成时间最短的调度规则
从最小任务开始，在所有的预估处理时间中进行排序，每次推送全局最小匹配对Ique，直到待调度列表为空。
Figure BDA0002189757130000022
式中，ti表示第i个待调度作业的综合预估处理时间值。
一种支持多分区处理的批量作业协同调度系统，包含工作模块作业特征参数存储模块、作业处理时间预估模块、作业调度中心模块；其中，作业特征参数存储模块用于将每一个作业的内存占用空间大小、优先级、时间需求指标进行存储；作业处理时间预估模块用于计算每一时刻下每一个作业的预估综合完成时间；作业调度中心模块用于完成待调度作业与计算资源的匹配，并维护资源的运行状态管理。
该系统工作过程如下：
(1)读入处理系统状态数据，包括各处理单元空闲列表、各处理单元占用列表和作业调度区作业状态；
(2)搜索资源最小需求作业；
(3)对空闲分区进行作业处理时间预估计算；
(4)对非空闲分区进行当前调度作业处理时间预估计算；
(5)判断空闲处理分区是否满足最小作业需求，若满足则分配该分区为当前作业；若不满足则计算附加占用时间的作业处理时间；
(6)判断附加占用时间的作业处理时间是否小于空闲作业分区时间；若附加占用时间的作业处理时间小于空闲作业分区时间则分配该分区为当前作业；若附加占用时间的作业处理时间大于等于空闲作业分区时间则计算附加占用时间的作业处理时间；
(7)判断待调度列表是否为空，若待调度列表为空则结束；若不是则进行步骤(2)直至待调度列表为空。
本发明的优点在于：
提出一种基于预估处理时间的批量作业的多分区处理调度方法和系统，能够解决当前分布式多分区航空电子系统的任务调度问题。提升航空电子系统的批量作业处理能力，最大化发挥电子系统的任务处理能力。
附图说明
图1为本发明的一种支持多分区处理的批量作业协同调度系统总体框架。
图2为分区处理能力和作业需求示意图。
图3为本发明的一种支持多分区处理的批量作业协同调度系统的调度流程图。
具体实施方式
结合发明内容概述和附图，详细说明本发明的具体实施方式。
初始化航空电子系统处理平台和作业需求参数。如图2所示将分布式处理器状态和待调度任务输入到本发明的一种支持多分区处理的批量作业协同调度系统。以具有三个空闲分区c1,c2,c3,两个执行任务分区k1,k2的批量作业协同调度系统，两个待调度任w1,w2为例。
(1)计算预估处理时间，计算过程中crequest＝O(n3)，fcpu＝2.0GHz,bcpu＝32，prequest＝300M，pcal＝100K，α＝0.2,β＝5，对空闲分区c1,c2,c3的预处理时间进行计算可以得到如下结果：
tc1＝1.20ms
tc2＝1.40ms
tc3＝1.55ms
(2)对图2所示的当前占用分区的预估处理时间计算，可以得到如下结果：
t4＝0.36ms+0.94ms＝1.30ms
t5＝0.75ms+0.35ms＝1.10ms
(3)根据本发明的评判规则，可以获知，当前作业w1的最佳执行分区为当前占用的分区m2执行。
同样的作业w2也可以得到相同的预估时间，此处省去计算过程，可以得到w2应当在当前分区c1执行。
最终得到的待调度作业分配为：w1->m2；w2->c1。

Claims (8)

1.一种支持多分区处理的批量作业协同调度方法，其特征在于，包括如下步骤：
步骤1：计算待调度作业的时间需求和空间需求，预估待调度作业的处理时间；
步骤2：对空闲处理分区和非空闲分区的处理能力进行排序；
步骤3：基于任务完成时间最短的调度规则，从最小任务开始，将所有的预估待调度作业的处理时间进行排序，求取全局最小匹配对，并进行排序，直到待调度作业全部分配完毕。
2.如权利要求1所述的一种支持多分区处理的批量作业协同调度方法，其特征在于，步骤2中不同的处理分区的处理能力由该处理分区的缓存大小、处理器主频、处理器并行处理带宽确定。
3.如权利要求2所述的一种支持多分区处理的批量作业协同调度方法，其特征在于，步骤1中根据如下公式求取待调度作业的处理时间：
Figure FDA0002189757120000011
式中，crequest表示待执行作业的计算需求，fcpu,bcpu分别表示执行分区的处理器主频和带宽，prequest表示待执行作业的存储空间需求，pcal表示处理器的高速缓存空间，α,β为修正参数。
4.如权利要求1所述的一种支持多分区处理的批量作业协同调度方法，其特征在于，步骤2包括如下步骤：
步骤2.1：预估非空闲分区的本身处理能力；
步骤2.2：计算待调度作业预估的综合完成时间。
5.如权利要求4所述的一种支持多分区处理的批量作业协同调度方法，其特征在于，步骤2.1具体为根据预估待调度作业处理时间的方式对当前占用的分区的能力进行计算，得到原始的预估处理时间。
6.如权利要求5所述的一种支持多分区处理的批量作业协同调度方法，其特征在于，步骤2.2待调度作业预估的综合完成时间为原始的预估处理时间加当前运行任务的资源占用时间。
7.基于权利要求1～6任一所述的一种支持多分区处理的批量作业协同调度方法的批量作业协同调度系统，其特征在于，其工作过程如下：
(1)读入处理系统状态数据，包括各处理单元空闲列表、各处理单元占用列表和作业调度区作业状态；
(2)搜索资源最小需求作业；
(3)对空闲分区进行作业处理时间预估计算；
(4)对非空闲分区进行当前调度作业处理时间预估计算；
(5)判断空闲处理分区是否满足最小作业需求，若满足则分配该分区为当前作业；若不满足则计算附加占用时间的作业处理时间；
(6)判断附加占用时间的作业处理时间是否小于空闲作业分区时间；若附加占用时间的作业处理时间小于空闲作业分区时间则分配该分区为当前作业；若附加占用时间的作业处理时间大于等于空闲作业分区时间则计算附加占用时间的作业处理时间；
(7)判断待调度列表是否为空，若待调度列表为空则结束；若不是则进行步骤(2)直至待调度列表为空。
8.如权利要求7所述的一种支持多分区处理的批量作业协同调度系统，其特征在于，包含工作模块作业特征参数存储模块、作业处理时间预估模块、作业调度中心模块；其中，作业特征参数存储模块用于将每一个作业的内存占用空间大小、优先级、时间需求指标进行存储；作业处理时间预估模块用于计算每一时刻下每一个作业的预估综合完成时间；作业调度中心模块用于完成待调度作业与计算资源的匹配，并维护资源的运行状态管理。
CN201910828067.7A 2019-09-03 2019-09-03 一种支持多分区处理的批量作业协同调度方法及系统 Active CN110764886B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910828067.7A CN110764886B (zh) 2019-09-03 2019-09-03 一种支持多分区处理的批量作业协同调度方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910828067.7A CN110764886B (zh) 2019-09-03 2019-09-03 一种支持多分区处理的批量作业协同调度方法及系统

Publications (2)

Publication Number Publication Date
CN110764886A true CN110764886A (zh) 2020-02-07
CN110764886B CN110764886B (zh) 2023-03-31

Family

ID=69329246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910828067.7A Active CN110764886B (zh) 2019-09-03 2019-09-03 一种支持多分区处理的批量作业协同调度方法及系统

Country Status (1)

Country Link
CN (1) CN110764886B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113032152A (zh) * 2021-04-02 2021-06-25 北京百度网讯科技有限公司 用于深度学习框架的调度方法、调度装置、电子设备、存储介质和程序产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009151375A (ja) * 2007-12-18 2009-07-09 Toshiba Corp ジョブスケジューリング方法
EP2256632A1 (en) * 2009-05-26 2010-12-01 Telefonaktiebolaget L M Ericsson (publ) Multi-processor scheduling
CN102866920A (zh) * 2012-08-02 2013-01-09 杭州海康威视系统技术有限公司 主从结构分布式视频处理系统及其调度方法
CN105159769A (zh) * 2015-09-11 2015-12-16 国电南瑞科技股份有限公司 一种适用于计算能力异构集群的分布式作业调度方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009151375A (ja) * 2007-12-18 2009-07-09 Toshiba Corp ジョブスケジューリング方法
EP2256632A1 (en) * 2009-05-26 2010-12-01 Telefonaktiebolaget L M Ericsson (publ) Multi-processor scheduling
CN102866920A (zh) * 2012-08-02 2013-01-09 杭州海康威视系统技术有限公司 主从结构分布式视频处理系统及其调度方法
CN105159769A (zh) * 2015-09-11 2015-12-16 国电南瑞科技股份有限公司 一种适用于计算能力异构集群的分布式作业调度方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
何锋;熊华钢;宋丽茹;: "航空电子分区调度研究" *
李京生;王爱民;唐承统;卢治兵;: "基于动态资源能力服务的分布式协同调度技术" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113032152A (zh) * 2021-04-02 2021-06-25 北京百度网讯科技有限公司 用于深度学习框架的调度方法、调度装置、电子设备、存储介质和程序产品

Also Published As

Publication number Publication date
CN110764886B (zh) 2023-03-31

Similar Documents

Publication Publication Date Title
CN107038069B (zh) Hadoop平台下动态标签匹配DLMS调度方法
US9442760B2 (en) Job scheduling using expected server performance information
CN105487930A (zh) 一种基于Hadoop的任务优化调度方法
US8615764B2 (en) Dynamic system scheduling
US8806501B2 (en) Predictive dynamic system scheduling
US20130290953A1 (en) Efficient execution of jobs in a shared pool of resources
Zhu et al. A cost-effective scheduling algorithm for scientific workflows in clouds
US20210105322A1 (en) Distributed storage system and data migration method
CN114138486A (zh) 面向云边异构环境的容器化微服务编排方法、系统及介质
KR101471749B1 (ko) 클라우드 서비스의 가상자원 할당을 위한 퍼지 로직 기반의 자원평가 장치 및 방법
WO2019223283A1 (zh) 预测执行任务执行时间的组合优化调度方法
US20170090962A1 (en) Method for Mapping Between Virtual CPU and Physical CPU and Electronic Device
Omar et al. Comparative analysis of the essential CPU scheduling algorithms
CN111708639A (zh) 任务调度系统及方法、存储介质及电子设备
CN111625339A (zh) 集群资源调度方法、装置、介质和计算设备
CN112000460A (zh) 一种基于改进贝叶斯算法的服务扩缩容的方法及相关设备
CN110764886B (zh) 一种支持多分区处理的批量作业协同调度方法及系统
CN114399228A (zh) 任务调度方法及装置、电子设备和介质
CN102184124B (zh) 任务调度方法及系统
CN116820784B (zh) 一种面向推理任务QoS的GPU实时调度方法及系统
Uchroński et al. User estimates inaccuracy study in hpc scheduler
KR101639947B1 (ko) 하둡 선점 데드라인 제약 스케줄링 방법 및 그 방법을 수행하는 컴퓨터프로그램과, 그 프로그램이 기록된 매체
Postoaca et al. h-Fair: asymptotic scheduling of heavy workloads in heterogeneous data centers
CN114860417B (zh) 多核神经网络处理器及用于该处理器多任务分配调度方法
Nain et al. Optimizing service stipulation uncertainty with deep reinforcement learning for internet vehicle systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant