CN101694631B - 实时作业调度系统及方法 - Google Patents
实时作业调度系统及方法 Download PDFInfo
- Publication number
- CN101694631B CN101694631B CN200910235303.0A CN200910235303A CN101694631B CN 101694631 B CN101694631 B CN 101694631B CN 200910235303 A CN200910235303 A CN 200910235303A CN 101694631 B CN101694631 B CN 101694631B
- Authority
- CN
- China
- Prior art keywords
- priority
- queue
- real time
- job
- cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 239000000725 suspension Substances 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000007599 discharging Methods 0.000 claims 1
- 230000007246 mechanism Effects 0.000 abstract description 5
- 230000008859 change Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Landscapes
- Computer And Data Communications (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供了一种实时作业调度系统和方法。其中，该方法包括以下步骤：创建多个队列。将多个队列设置成不同的优先级别，并根据优先级别设置队列的抢占性。判断是否存在实时作业，如果不存在，则继续执行现有作业；如果存在，则将现有作业挂起，并释放掉现有作业申请的资源，然后将实时作业运行到服务器上。在实时作业运行结束后，再将被挂起的现有作业恢复到服务器上继续运行。本发明通过采用优先调度机制和抢占机制，实现了应用软件的实时性。
Description
技术领域
本发明涉及计算机技术高性能领域，特别涉及一种作业调度系统及方法。
背景技术
目前，高性能服务器已经被广泛应用在科研、政府和国防部门，而且高性能服务器上的应用软件也越来越普及。多种应用软件的同时运行将会导致资源冲突，影响某些软件的性能，例如，实时软件对于相应时间有着非常强的要求，在某些情况下，超过截止时间的实时任务的结果将是无效结果，如气象软件，超过规定时间的气象数据将被视为无效数据。
现有的作业调度系统采用公平的调度策略，没有引入优先级的概念，无法保证对反应速度具有较高要求的实时软件的快速运行。因此需要一种系统和方法解决上述问题。
发明内容
针对相关技术中存在的一个或多个问题，本发明的目的在于提供一种实时作业调度系统及方法，以解决上述问题中的至少之一。
为实现上述目的，根据本发明的一个方面，提供了一种实时作业调度方法，包括以下步骤：创建多个队列。将多个队列设置成不同的优先级别，并根据优先级别设置队列的抢占性。判断是否存在实时作业，如果不存在，则继续执行现有作业；如果存在，则将现有作业挂起，并释放掉现有作业申请的资源，然后将实时作业运行到服务器上。在实时作业运行结束后，再将被挂起的现有作业恢复到服务器上继续运行。
优选地，采用自适应算法设置队列的优先级别和抢占性，包括以下步骤：收集集群信息，并查找集群信息中关于集群规模的信息。根据集群规模设置队列的优先级别和抢占性。其中，如果集群规模小于集群规模的阈值，则将队列设置成两种优先级别，包括高优先级和低优先级，高优先级队列的作业优先调度并抢占低优先级队列的作业的资源；如果集群规模不小于集群规模的阈值，则将队列设置成三种优先级别，包括高优先级、中优先级和低优先级，高优先级队列的作业优先调度并抢占中优先级队列的作业的资源和低优先级队列的作业的资源，中优先级队列的作业比低优先级队列的作业优先调度。其中，集群规模的阈值为32。
优选地，判断是否存在实时作业包括以下步骤：
A.判断作业相关的用户是否具有提交实时作业的权限，如果具有权限，则执行步骤B，否则判定作业为非实时作业。
B.判断作业的级别是否为高优先级，如果是高优先级，则作业为实时作业，否则为非实时作业。
根据本发明的另一个方面，还提出一种实时作业调度系统，包括队列设置模块、实时判断模块和挂起模块。其中，队列设置模块用于将多个队列设置成不同的优先级别，并根据优先级别设置队列的抢占性。实时判断模块用于判断是否存在实时作业。挂起模块用于当存在实时作业时，将现有作业挂起，并释放现有作业的资源，以及在实时作业运行结束后恢复现有作业的运行。
优选地，队列设置模块包括信息获取模块、优先级别设置模块和抢占性设置模块。其中，信息获取模块用于收集集群信息，并从集群信息中获取集群规模信息。优先级别设置模块用于根据集群规模信息设置队列的优先级别。如果集群规模小于集群规模的阈值，则将队列设置成两种优先级别，包括高优先级和低优先级；如果集群规模不小于集群规模的阈值，则将队列设置成三种优先级别，包括高优先级、中优先级和低优先级。抢占性设置模块用于根据队列的优先级别设置队列的抢占性。如果队列被设置成两种优先级，则将高优先级的队列设置成抢占者，低优先级的队列设置成被抢占者；如果队列被设置成三种优先级，则将高优先级的队列设置成抢占者，将中优先级的队列和低优先级的队列设置成被抢占者。
优选地，实时判断模块包括用户权限判断模块和优先级别判断模块。其中，用户权限判断模块用于判断作业相关的用户是否具有提交实时作业的权限。优先级别判断模块用于判断作业的优先级别是否是高优先级，如果是，则判断作业为实时作业，否则为非实时作业。
借助本发明上述至少一个技术方案，通过采用优先调度机制和抢占机制，实现了应用软件的实时性。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明的实时作业调度方法的流程图；以及
图2为根据本发明的实时作业调度系统的结构图。
具体实施方式
考虑到相关技术中存在的问题，本发明提供一种实时作业调度系统及方法。下面详细描述本发明的实施例，所述实施例的示例在附图中示出。应理解，下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
图1为根据本发明的实时作业调度方法的流程图，如图1所示，该方法包括以下步骤：
步骤S110，创建多个队列。
步骤S120，将多个队列设置成不同的优先级别，并根据优先级别设置队列的抢占性。
具体地，在本发明实施例中，采用自适应算法设置队列的优先级别和抢占性。当然，本领域技术人员还能够根据下述方案提出其他修改或变化，这些修改或变化均应包含在本发明的包含范围之内。
首先，收集集群信息，并从集群信息中获取集群规模信息。然后，根据集群规模信息设置队列的优先级别和抢占性。如果集群规模小于集群规模的阈值，则将队列设置成两种优先级别，包括高优先级和低优先级，高优先级队列的作业优先调度并抢占低优先级队列的作业的资源；如果集群规模不小于集群规模的阈值，则将队列设置成三种优先级别，包括高优先级、中优先级和低优先级，高优先级队列的作业优先调度并抢占中优先级队列的作业的资源和低优先级队列的作业的资源，中优先级队列的作业比低优先级队列的作业优先调度。其中，集群规模的阈值可随机设置，在本实施例中，设为32。
步骤S130，判断是否存在实时作业，如果存在，则执行步骤S140，否则继续执行现有作业。
具体地，对于如何判断是否存在实时作业，本发明提出的可能的判断方案如下，当然本领域技术人员还能够根据下述方案提出其他修改或变化，这些修改或变化均应包含在本发明的包含范围之内。
首先，检查作业相关的用户的身份，判断用户是否具有提交实时作业的权限，如果没有，则判断该作业为非实时作业，否则，继续察看作业的级别，如果该作业的级别为高优先级，则判断该作业为实时作业，否则为非实时作业。
步骤S140，将现有作业挂起，释放掉现有作业申请的资源。
步骤S150，将实时作业运行到服务器上。
步骤S160，实时作业运行结束后，将被挂起的现有作业恢复到服务器上继续运行。
下面结合附图2详细描述本发明的实时作业调度系统，该系统包括队列设置模块100、实时判断模块200和挂起模块300。其中，队列设置模块100用于将多个队列设置成不同的优先级别，并根据优先级别设置队列的抢占性。实时判断模块200用于判断是否存在实时作业。挂起模块300用于当存在实时作业时，将现有作业挂起，并释放现有作业的资源，以及在实时作业运行结束后恢复现有作业的运行。
队列设置模块100包括信息获取模块110、优先级别设置模块120和抢占性设置模块130。其中，信息获取模块110用于收集集群信息，并从集群信息中获取集群规模信息。优先级别设置模块120用于根据集群规模信息设置队列的优先级别。如果集群规模小于集群规模的阈值，则将队列设置成两种优先级别，包括高优先级和低优先级；如果集群规模不小于集群规模的阈值，则将队列设置成三种优先级别，包括高优先级、中优先级和低优先级。抢占性设置模块130用于根据队列的优先级别设置队列的抢占性。如果队列被设置成两种优先级，则高优先级队列的作业优先调度并抢占低优先级队列的作业的资源；如果队列被设置成三种优先级，则高优先级队列的作业优先调度并抢占中优先级队列的作业的资源和低优先级队列的作业的资源，中优先级队列的作业比低优先级队列的作业优先调度。
实时判断模块200包括用户权限判断模块210和优先级别判断模块220。其中，用户权限判断模块210用于判断作业相关的用户是否具有提交实时作业的权限。优先级别判断模块220用于判断作业的优先级别是否是高优先级，如果是，则判断作业为实时作业，否则为非实时作业。
应理解，上述实施例仅是示意性的实施例，并不限制本发明仅能够通过上述实施例实现。本领域的普通技术人员还能够根据上述方案提出其他修改或变化，例如改变队列的优先级别的设置方法，这些修改或变化均应包含在本发明的包含范围之内。
本发明通过采用优先调度机制和抢占机制，在作业层次上实现了应用软件的实时性，用户对作业的控制更方便。并且，在负载较大的高性能服务器上，本发明的性能可以不受影响。除此之外，将本发明结合作业调度系统的其他功能，可提高高性能服务器的吞吐量。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。
Claims (4)
1.一种作业调度的方法，其特征在于，所述方法包括以下步骤：
A.创建多个队列；
B.将所述多个队列设置成不同的优先级别，并根据所述队列的优先级别设置所述队列的抢占性；
C.判断是否存在实时作业，如果存在，则执行步骤D，否则继续执行现有作业；
D.将所述现有作业挂起，释放掉所述现有作业申请的资源；
E.将所述实时作业运行到服务器上；以及
F.所述实时作业运行结束后，将所述被挂起的现有作业恢复到所述服务器上继续运行，
其中，采用自适应算法设置所述队列的优先级别和抢占性，包括以下步骤：
收集集群信息，并查找所述集群信息中关于集群规模的信息；以及
根据所述集群规模设置所述队列的优先级别和抢占性，
其中，所述判断是否存在实时作业包括以下步骤：
A.判断作业相关的用户是否具有提交实时作业的权限，如果具有所述权限，则执行步骤B1，否则判定所述作业为非实时作业；以及
B1.判断所述作业的级别是否为高优先级，如果是高优先级，则所述作业为实时作业，否则为非实时作业，
其中，所述根据所述集群规模设置所述队列的优先级别和抢占性，包括：
如果所述集群规模小于集群规模的阈值，则将所述队列设置成两种优先级别，包括高优先级和低优先级，其中，所述高优先级队列的作业优先调度并抢占所述低优先级队列的作业的资源；以及
如果所述集群规模不小于所述集群规模的阈值，则将所述队列设置成三种优先级别，包括高优先级、中优先级和低优先级，其中，所述高优先级队列的作业优先调度并抢占所述中优先级队列的作业的资源和所述低优先级队列的作业的资源，所述中优先级队列的作业比所述低优先级队列的作业优先调度。
2.根据权利要求1所述的方法，其特征在于，所述集群规模的阈值为32。
3.一种作业调度的系统，其特征在于，所述系统包括：
队列设置模块，用于将多个队列设置成不同的优先级别，并根据所述队列的优先级别设置所述队列的抢占性；
实时判断模块，用于判断是否存在实时作业；以及
挂起模块，用于当存在实时作业时，将现有作业挂起，并释放所述现有作业的资源，以及在所述实时作业运行结束后恢复所述现有作业的运行，
其中，所述队列设置模块包括：
信息获取模块，用于收集集群信息，并从所述集群信息中获取集群规模信息；
优先级别设置模块，用于根据所述集群规模信息设置所述队列的优先级别；以及
抢占性设置模块，用于根据所述队列的优先级别设置所述队列的抢占性，
其中，所述实时判断模块包括：
用户权限判断模块，用于判断作业相关的用户是否具有提交实时作业的权限；以及
优先级别判断模块，用于判断所述作业的优先级别是否是高优先级，如果是，则所述作业为实时作业，否则为非实时作业，
其中，所述优先级别设置模块根据所述集群规模信息设置所述队列的优先级别，包括：
如果所述集群规模小于集群规模的阈值，则将所述队列设置成两种优先级别，包括高优先级和低优先级；
如果所述集群规模不小于集群规模的阈值，则将所述队列设置成三种优先级别，包括高优先级、中优先级和低优先级。
4.根据权利要求3所述的系统，其特征在于，所述抢占性设置模块根据所述队列的优先级别设置所述队列的抢占性，包括：
如果所述队列设置成两种优先级别，则将所述高优先级的队列设置成抢占者，所述低优先级的队列设置成被抢占者；
如果所述队列设置成三种优先级别，则将所述高优先级的队列设置成抢占者，所述中优先级的队列和所述低优先级的队列设置成被抢占者。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200910235303.0A CN101694631B (zh) | 2009-09-30 | 2009-09-30 | 实时作业调度系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200910235303.0A CN101694631B (zh) | 2009-09-30 | 2009-09-30 | 实时作业调度系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101694631A CN101694631A (zh) | 2010-04-14 |
| CN101694631B true CN101694631B (zh) | 2016-10-05 |
Family
ID=42093604
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200910235303.0A Active CN101694631B (zh) | 2009-09-30 | 2009-09-30 | 实时作业调度系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101694631B (zh) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102141935B (zh) * | 2011-03-22 | 2013-07-03 | 曙光信息产业(北京)有限公司 | 一种基于双目标优化遗传算法的作业调度方法 |
| CN103019857A (zh) * | 2012-11-23 | 2013-04-03 | 浙江工业大学 | 物联网考勤机的多任务优先级调度方法 |
| CN103853610B (zh) | 2012-12-07 | 2018-11-16 | 腾讯科技（深圳）有限公司 | 资源优化方法及装置 |
| CN103092691B (zh) * | 2013-01-23 | 2019-03-01 | Oppo广东移动通信有限公司 | 一种安卓系统的进程管理方法和管理单元 |
| CN104021044B (zh) * | 2013-02-28 | 2017-05-31 | 中国移动通信集团浙江有限公司 | 一种作业调度方法及装置 |
| CN103400065B (zh) * | 2013-07-03 | 2016-01-20 | 山东省计算中心 | 一种基于数据统计的License动态预测与调度方法 |
| CN103699445B (zh) * | 2013-12-19 | 2017-02-15 | 北京奇艺世纪科技有限公司 | 一种任务调度方法、装置及系统 |
| US10289183B2 (en) * | 2014-08-22 | 2019-05-14 | Intel Corporation | Methods and apparatus to manage jobs that can and cannot be suspended when there is a change in power allocation to a distributed computer system |
| CN105282230B (zh) * | 2015-09-11 | 2018-05-04 | 中国人民解放军63796部队 | 一种强实时计算机集群动态调度系统 |
| CN108123980B (zh) * | 2016-11-30 | 2020-12-08 | 中移(苏州)软件技术有限公司 | 一种资源调度方法及系统 |
| CN108228324A (zh) * | 2016-12-21 | 2018-06-29 | 天脉聚源（北京）科技有限公司 | 一种服务器集群抢占分配任务的方法和系统 |
| CN107291542B (zh) * | 2017-06-27 | 2020-09-15 | 北京优特捷信息技术有限公司 | 一种智能执行检索任务的方法及装置 |
| CN109582436B (zh) * | 2018-10-15 | 2021-04-02 | 上海交通大学 | 基于容器集群平台的细粒度抢占式资源调度系统及方法 |
| CN109227552A (zh) * | 2018-11-23 | 2019-01-18 | 上海航天控制技术研究所 | 外骨骼机器人的控制方法及控制系统 |
| CN110766577B (zh) * | 2019-10-16 | 2021-10-12 | 湖北美和易思教育科技有限公司 | 一种基于大数据平台的教师集群管理系统 |
| JP7484447B2 (ja) * | 2020-06-04 | 2024-05-16 | コニカミノルタ株式会社 | クラスターシステム上でサービスをデプロイするための方法、プログラムおよびシステム |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005069155A2 (en) * | 2004-01-08 | 2005-07-28 | Koninklijke Philips Electronics, N.V. | Method and apparatus for task schedulin in a multi-processor system based on memory requirements |
| CN1744046A (zh) * | 2004-08-31 | 2006-03-08 | 华为技术有限公司 | 实时操作系统环境下多任务应用软件模块的管理方法 |
| CN1877534A (zh) * | 2006-06-30 | 2006-12-13 | 浙江大学 | 一种嵌入式实时文件系统任务调度的实现方法 |
-
2009
- 2009-09-30 CN CN200910235303.0A patent/CN101694631B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005069155A2 (en) * | 2004-01-08 | 2005-07-28 | Koninklijke Philips Electronics, N.V. | Method and apparatus for task schedulin in a multi-processor system based on memory requirements |
| CN1744046A (zh) * | 2004-08-31 | 2006-03-08 | 华为技术有限公司 | 实时操作系统环境下多任务应用软件模块的管理方法 |
| CN1877534A (zh) * | 2006-06-30 | 2006-12-13 | 浙江大学 | 一种嵌入式实时文件系统任务调度的实现方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101694631A (zh) | 2010-04-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101694631B (zh) | 实时作业调度系统及方法 | |
| CN107038069B (zh) | Hadoop平台下动态标签匹配DLMS调度方法 | |
| CN107579926A (zh) | 基于令牌桶算法的Ceph云存储系统的QoS设置方法 | |
| US20040221285A1 (en) | Management of dispatch functions in a virtual machine environment | |
| CN109697122A (zh) | 任务处理方法、设备及计算机存储介质 | |
| CN108762896A (zh) | 一种基于Hadoop集群任务调度方法及计算机设备 | |
| CN101902487B (zh) | 基于链表的队列调度方法与装置 | |
| CN102713852B (zh) | 一种多核处理器系统 | |
| US8868855B2 (en) | Request management system and method for dynamically managing prioritized requests | |
| CN111399989A (zh) | 一种面向容器云的任务抢占调度方法及系统 | |
| EP2306314A3 (en) | Method and system for resource management using fuzzy logic timeline filling | |
| CN110427257A (zh) | 多任务调度方法、装置及计算机可读存储介质 | |
| CN101963922A (zh) | 任务处理方法和装置 | |
| CN102970244A (zh) | 一种多cpu核间负载均衡的网络报文处理方法 | |
| CN104598298A (zh) | 基于虚拟机当前工作性质以及任务负载的虚拟机调度算法 | |
| CN102523153A (zh) | 虚拟化环境下的负载均衡方法 | |
| CN104079502A (zh) | 一种多用户多队列调度方法 | |
| CN101114984A (zh) | 一种多线程网络负载控制方法 | |
| CN104461722B (zh) | 一种用于云计算系统的作业调度方法 | |
| CN109491775B (zh) | 一种用于边缘计算环境下的任务处理与调度方法 | |
| CN117271137A (zh) | 一种多线程的数据分片并行方法 | |
| CN104866370A (zh) | 一种云计算环境下面向并行应用的动态时间片调度方法及系统 | |
| CN107544840A (zh) | 一种进程管理方法及装置 | |
| CN103777995B (zh) | 虚拟化环境下基于群调度的同步优化调度系统和调度方法 | |
| CN110347490A (zh) | 一种kubernetes中的资源可伸缩组合调度方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C53 | Correction of patent of invention or patent application | ||
| CB02 | Change of applicant information |
Address after: 100193 Beijing, Haidian District, northeast Wang West Road, building 8, No. 36 Applicant after: Dawning Information Industry (Beijing) Co.,Ltd. Address before: 100084 No. 6 South Road, Zhongguancun Academy of Sciences, Beijing, Haidian District Applicant before: Dawning Information Industry (Beijing) Co.,Ltd. |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220729 Address after: 100089 building 36, courtyard 8, Dongbeiwang West Road, Haidian District, Beijing Patentee after: Dawning Information Industry (Beijing) Co.,Ltd. Patentee after: DAWNING INFORMATION INDUSTRY Co.,Ltd. Address before: 100193 No. 36 Building, No. 8 Hospital, Wangxi Road, Haidian District, Beijing Patentee before: Dawning Information Industry (Beijing) Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231009 Address after: Zone A-1, 2nd Floor, Building 36, Yard 8, Dongbei Wangxi Road, Haidian District, Beijing, 100193 Patentee after: Shuguang zhisuan Information Technology Co.,Ltd. Address before: 100089 building 36, courtyard 8, Dongbeiwang West Road, Haidian District, Beijing Patentee before: Dawning Information Industry (Beijing) Co.,Ltd. Patentee before: DAWNING INFORMATION INDUSTRY Co.,Ltd. |