CN110941493A - 任务调度方法及装置 - Google Patents
任务调度方法及装置 Download PDFInfo
- Publication number
- CN110941493A CN110941493A CN201911149812.1A CN201911149812A CN110941493A CN 110941493 A CN110941493 A CN 110941493A CN 201911149812 A CN201911149812 A CN 201911149812A CN 110941493 A CN110941493 A CN 110941493A
- Authority
- CN
- China
- Prior art keywords
- tasks
- priority
- proportion
- server
- cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer And Data Communications (AREA)
Abstract
本申请公开了一种任务调度方法及装置,所述方法包括:确定待分配的任务的优先级;分别计算各个服务器中所述优先级的任务的比例;计算集群内所述优先级的任务的比例;根据各个服务器中所述优先级的任务的比例和集群内所述优先级的任务的比例,分配所述待分配的任务。本申请在考虑各个服务器剩余资源情况的同时,考虑整个集群剩余资源情况,结合任务不同的优先级进行任务调度,各个服务器的任务分配均衡,提高整个大数据服务集群的服务质量。
Description
技术领域
本申请属于通信技术领域,具体涉及一种任务调度方法及装置。
背景技术
在一个拥有多台处理服务器的大数据服务集群中,现有大数据集群任务调度系统中,调度模型会根据各个服务器的剩余计算资源大小将待调度的任务分配到较为空闲的服务器上。根据任务的重要程度、处理时长等属性会将待处理的任务划分为不同的优先级,然后各个服务器会按照优先级顺序进行任务处理。这种情况很有可能导致多个高优先级任务或多个低优先级任务聚集到某台服务器上,服务器的任务分配不均衡,导致一些高优先级任务的处理顺序晚于其他服务器上的低优先级的任务。
发明内容
本申请针对现有大数据集群任务调度系统中,服务器的任务分配不均衡的问题,提供一种任务调度方法及装置。
本申请提供一种任务调度方法,包括:
确定待分配的任务的优先级;
分别计算各个服务器中所述优先级的任务的比例;
计算集群内所述优先级的任务的比例;
根据各个服务器中所述优先级的任务的比例和集群内所述优先级的任务的比例,分配所述待分配的任务。
优选地,所述根据各个服务器中所述优先级的任务的比例和集群内所述优先级的任务的比例,分配所述待分配的任务,包括:
根据各个服务器中所述优先级的任务的比例和集群内所述优先级的任务的比例分别计算各个服务器的匹配分数;
为匹配分数最高的服务器分配所述待分配的任务。
优选地,所述分别计算各个服务器中所述优先级的任务的比例包括:
优选地,所述计算集群内所述优先级的任务的比例,包括:
其中,c为所述任务的优先级,nc为集群优先级为c的任务数,N为集群的总任务数,Pc为集群优先级为c的任务的比例。
优选地,所述根据各个服务器中所述优先级的任务的比例和集群内所述优先级的任务的比例分别计算各个服务器的匹配分数,包括:
本申请还提供一种任务调度装置,包括:
确定模块,用于确定待分配的任务的优先级;
第一计算模块,用于分别计算各个服务器中所述优先级的任务的比例;
第二计算模块,用于计算集群内所述优先级的任务的比例;
任务分配模块,用于根据各个服务器中所述优先级的任务的比例和集群内所述优先级的任务的比例,分配所述待分配的任务。
优选地,所述任务分配模块,包括:
计算子模块,用于根据各个服务器中所述优先级的任务的比例和集群内所述优先级的任务的比例分别计算各个服务器的匹配分数;
任务分配子模块,用于为匹配分数最高的服务器分配所述待分配的任务。
优选地,所述第一计算模块具体用于:
优选地,所述第二计算模块具体用于:
其中,c为所述任务的优先级,nc为集群优先级为c的任务数,N为集群的总任务数,Pc为集群优先级为c的任务的比例。
优选地,所述计算子模块具体用于:
本申请提出的一种任务调度方法,当有新的待分配的任务时,首先确定该待分配的任务的优先级,然后统计目前各个服务器该优先级的任务的比例和整个集群该优先级的任务的比例,根据统计数据,分配所述待分配的任务。从而在考虑各个服务器剩余资源情况的同时,考虑整个集群剩余资源情况,结合任务不同的优先级进行任务调度,各个服务器的任务分配均衡,提高整个大数据服务集群的服务质量。
附图说明
图1为本申请第一实施例提供的一种任务调度方法的流程图;
图2为本申请第一实施例提供的图1中步骤S4的一种可选实施方式;
图3为本申请第二实施例提供的一种任务调度装置的结构示意图;
图4为本申请第二实施例提供的一种任务调度装置的另一结构示意图。
具体实施方式
为使本领域技术人员更好地理解本发明的技术方案,下面结合附图和具体实施方式对本发明作进一步详细描述。
本申请提供一种任务调度方法、装置。以下分别结合本申请提供的实施例的附图逐一进行详细说明。
本申请第一实施例提供的一种任务调度方法如下:
如图1所示,其示出了本申请实施例提供的一种任务调度方法,包括以下步骤。
步骤S101,确定待分配的任务的优先级。
在该步骤中,当有新的待分配的任务时,调度系统首先会根据该任务的重要程度、处理时长等属性,确定该待分配的任务的优先级。例如,任务优先级分为A、B、C、D、E五个等级,A级为优先级最高等级,E级为优先级最低等级。
步骤S102,分别计算各个服务器中所述优先级的任务的比例。
在该步骤中,集群中包含多个服务器,针对每个服务器分别计算所述优先级的任务的占比,具体计算步骤在下述流程中详述。
步骤S103,计算集群内所述优先级的任务的比例。
在该步骤中,计算整个集群内所述优先级的任务的占比,具体计算步骤在下述流程中详述。
步骤S104,根据各个服务器中所述优先级的任务的比例和集群内所述优先级的任务的比例,分配所述待分配的任务。
在该步骤中,综合考虑各个服务器中所述优先级的任务的比例和集群内所述优先级的任务的比例,分配所述待分配的任务。一般情况下,集群内所述优先级的任务的比例大于各个服务器中所述优先级的任务的比例。
优选地,如图2所示,所述步骤S104,根据各个服务器中所述优先级的任务的比例和集群内所述优先级的任务的比例,分配所述待分配的任务,包括:
步骤S104-1,根据各个服务器中所述优先级的任务的比例和集群内所述优先级的任务的比例分别计算各个服务器的匹配分数。
步骤S104-2,为匹配分数最高的服务器分配所述待分配的任务。
在步骤S104-1和步骤S104-2中,综合考虑各个服务器中所述优先级的任务的比例和集群内所述优先级的任务的比例,计算各个服务器的匹配分数,具体计算步骤在下述流程中详述。匹配分数的含义是各个服务器与待分配的任务的匹配度,匹配分数越大,表示该服务器与待分配的任务的匹配度越大,将该待分配的任务分配给该服务器越好。因此,将各个服务器的匹配分数进行综合排序,为匹配分数最大的服务器分配所述待分配的任务。
优选地,所述步骤S102,分别计算各个服务器中所述优先级的任务的比例包括:根据公式分别计算各个服务器中所述优先级的任务的比例;其中,x为第x台服务器,c为所述任务的优先级,为第x台服务器优先级为c的任务数,Nx为第x台服务器的总任务数,为第x台服务器优先级为c的任务的比例。
在该步骤中,调度系统确定待分配的任务优先级后(为表述方便,假设该任务优先级为c),调度系统会统计各个服务器优先级c的任务数和第x台服务器的总任务数Nx。通过以下公式计算出各个服务器的优先级c的任务比例。为了防止出现某台服务器优先级c的任务数为0的情况,在计算比例时对和Nx的统计结果均采用加1操作。
优选地,所述步骤S103,所述计算集群内所述优先级的任务的比例,包括:根据公式计算集群内所述优先级的任务的比例;其中,c为所述任务的优先级,nc为集群优先级为c的任务数,N为集群的总任务数,Pc为集群优先级为c的任务的比例。
本申请的目标是保证各个服务器优先级c的任务的比例同整个集群的优先级c的任务的比例基本保持一致,因此需要考虑整个集群优先级c的任务情况。在该步骤中,调度系统会统计此时整个集群优先级c的任务数nc和所有任务数N,通过以下公式计算出整个集群的优先级为c的任务的比例。为了防止出现集群里优先级c的任务数为0的情况,在计算比例时对nc和N均采用加1操作。
优选地,所述步骤S104-1,所述根据各个服务器中所述优先级的任务的比例和集群内所述优先级的任务的比例分别计算各个服务器的匹配分数,包括:
在该步骤中,一般情况下所以是一个负值,所以的绝对值中计算出的数是一个正值。Pc保持不变,因此,随着的减小而增大。即当第x台服务器优先级为c的任务的比例小时,该台服务器与优先级为c的待分配的任务的匹配分数越高,将该待分配的任务分配到该台服务器是较为优选的方案。例如,集群一共有四台服务器,在服务器1已完成的优先级为c的任务的个数为1,在服务器2已完成的优先级为c的任务的个数为5,在服务器3已完成的优先级为c的任务的个数为10,在服务器3已完成的优先级为c的任务的个数为12,则在新的待分配的任务的优先级为c时,优先将该任务分配至服务器1。因此采用本申请的方法实现任务的调度,可以达到保证各个服务器优先级为c的任务的比例同整个集群的优先级为c的任务的比例基本保持一致的目标,各个服务器的任务分配均衡。
本申请提出的一种任务调度方法,当有新的待分配任务时,首先确定该待分配任务的优先级,然后统计目前各个服务器该优先级的任务的比例和整个集群该优先级的任务的比例,根据统计数据,得到各个服务器该优先级的匹配分数,最后选出匹配分数最大的服务器为其分配该待分配任务。从而在考虑各个服务器剩余资源情况的同时,考虑整个集群剩余资源情况,结合任务不同的优先级进行任务调度,各个服务器的任务分配均衡,提高整个大数据服务集群的服务质量。
本申请第二实施例提供的一种任务调度装置如下:
如图3所示,其示出了本申请实施例提供的一种任务调度装置,包括以下步骤。
确定模块11,用于确定待分配的任务的优先级。
第一计算模块12,用于分别计算各个服务器中所述优先级的任务的比例。
第二计算模块13,用于计算集群内所述优先级的任务的比例。
任务分配模块14,用于根据各个服务器中所述优先级的任务的比例和集群内所述优先级的任务的比例,分配所述待分配的任务。
优选地,如图4所示,所述任务分配模块14,包括:
计算子模块141,用于根据各个服务器中所述优先级的任务的比例和集群内所述优先级的任务的比例分别计算各个服务器的匹配分数。
任务分配子模块142,用于为匹配分数最高的服务器分配所述待分配的任务。
优选地,所述第一计算模块具体用于:
优选地,所述第二计算模块具体用于:
其中,c为所述任务的优先级,nc为集群优先级为c的任务数,N为集群的总任务数,Pc为集群优先级为c的任务的比例。
优选地,所述计算子模块具体用于:
可以理解的是,以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式,然而本发明并不局限于此。对于本领域内的普通技术人员而言,在不脱离本发明的精神和实质的情况下,可以做出各种变型和改进,这些变型和改进也视为本发明的保护范围。
Claims (10)
1.一种任务调度方法,其特征在于,包括:
确定待分配的任务的优先级;
分别计算各个服务器中所述优先级的任务的比例;
计算集群内所述优先级的任务的比例;
根据各个服务器中所述优先级的任务的比例和集群内所述优先级的任务的比例,分配所述待分配的任务。
2.根据权利要求1所述的任务调度方法,其特征在于,所述根据各个服务器中所述优先级的任务的比例和集群内所述优先级的任务的比例,分配所述待分配的任务,包括:
根据各个服务器中所述优先级的任务的比例和集群内所述优先级的任务的比例分别计算各个服务器的匹配分数;
为匹配分数最高的服务器分配所述待分配的任务。
6.一种任务调度装置,其特征在于,包括:
确定模块,用于确定待分配的任务的优先级;
第一计算模块,用于分别计算各个服务器中所述优先级的任务的比例;
第二计算模块,用于计算集群内所述优先级的任务的比例;
任务分配模块,用于根据各个服务器中所述优先级的任务的比例和集群内所述优先级的任务的比例,分配所述待分配的任务。
7.根据权利要求6所述的任务调度装置,其特征在于,所述任务分配模块,包括:
计算子模块,用于根据各个服务器中所述优先级的任务的比例和集群内所述优先级的任务的比例分别计算各个服务器的匹配分数;
任务分配子模块,用于为匹配分数最高的服务器分配所述待分配的任务。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911149812.1A CN110941493A (zh) | 2019-11-21 | 2019-11-21 | 任务调度方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911149812.1A CN110941493A (zh) | 2019-11-21 | 2019-11-21 | 任务调度方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110941493A true CN110941493A (zh) | 2020-03-31 |
Family
ID=69907143
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911149812.1A Pending CN110941493A (zh) | 2019-11-21 | 2019-11-21 | 任务调度方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110941493A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113507441A (zh) * | 2021-06-08 | 2021-10-15 | 中国联合网络通信集团有限公司 | 安全资源扩充方法及安全防护管理平台、数据节点 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6430593B1 (en) * | 1998-03-10 | 2002-08-06 | Motorola Inc. | Method, device and article of manufacture for efficient task scheduling in a multi-tasking preemptive priority-based real-time operating system |
CN104917839A (zh) * | 2015-06-12 | 2015-09-16 | 浪潮电子信息产业股份有限公司 | 一种用于云计算环境下的负载均衡方法 |
CN105049268A (zh) * | 2015-08-28 | 2015-11-11 | 东方网力科技股份有限公司 | 分布式计算资源分配系统和任务处理方法 |
US20160103705A1 (en) * | 2014-10-14 | 2016-04-14 | National Applied Research Laboratories | Operational-task-oriented system and method for dynamically adjusting operational environment |
CN107145384A (zh) * | 2017-04-17 | 2017-09-08 | 广州孩教圈信息科技股份有限公司 | 任务分配方法和系统 |
-
2019
- 2019-11-21 CN CN201911149812.1A patent/CN110941493A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6430593B1 (en) * | 1998-03-10 | 2002-08-06 | Motorola Inc. | Method, device and article of manufacture for efficient task scheduling in a multi-tasking preemptive priority-based real-time operating system |
US20160103705A1 (en) * | 2014-10-14 | 2016-04-14 | National Applied Research Laboratories | Operational-task-oriented system and method for dynamically adjusting operational environment |
CN104917839A (zh) * | 2015-06-12 | 2015-09-16 | 浪潮电子信息产业股份有限公司 | 一种用于云计算环境下的负载均衡方法 |
CN105049268A (zh) * | 2015-08-28 | 2015-11-11 | 东方网力科技股份有限公司 | 分布式计算资源分配系统和任务处理方法 |
CN107145384A (zh) * | 2017-04-17 | 2017-09-08 | 广州孩教圈信息科技股份有限公司 | 任务分配方法和系统 |
Non-Patent Citations (5)
Title |
---|
GUAN WANG: "A Novel Heterogeneous Scheduling Algorithm with Improved Task Priority", 《2015 IEEE 17TH INTERNATIONAL CONFERENCE ON HIGH PERFORMANCE COMPUTING AND COMMUNICATIONS, 2015 IEEE 7TH INTERNATIONAL SYMPOSIUM ON CYBERSPACE SAFETY AND SECURITY, AND 2015 IEEE 12TH INTERNATIONAL CONFERENCE ON EMBEDDED SOFTWARE AND SYSTEMS》 * |
PAN YI: "Budget-Optimized Network-Aware Joint Resource Allocation in Grids/Clouds Over Optical Networks", 《JOURNAL OF LIGHTWAVE TECHNOLOGY》 * |
刘敏: "云环境下任务调度策略的研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
宋远骏等: "多机多任务实时系统云调度策略", 《计算机学报》 * |
王红斌: "Web服务器集群系统的自适应负载均衡调度策略研究", 《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113507441A (zh) * | 2021-06-08 | 2021-10-15 | 中国联合网络通信集团有限公司 | 安全资源扩充方法及安全防护管理平台、数据节点 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108027889B (zh) | 一种用于增量式学习云系统的训练、调度方法及相关设备 | |
CN108268317B (zh) | 一种资源分配方法及装置 | |
US9405588B2 (en) | Cloud resource allocation system and method | |
EP1253516A2 (en) | Apparatus and method for scheduling processes on a fair share basis | |
US11496413B2 (en) | Allocating cloud computing resources in a cloud computing environment based on user predictability | |
CN111258745B (zh) | 一种任务处理方法及设备 | |
CN108123980B (zh) | 一种资源调度方法及系统 | |
CN108681481B (zh) | 业务请求的处理方法及装置 | |
CN104239154B (zh) | 一种Hadoop集群中的作业调度方法和作业调度器 | |
CN111274021B (zh) | 一种gpu集群任务调度分配方法 | |
KR20120082598A (ko) | 클라우드 컴퓨팅에서 다중 워크플로우를 위한 비용기반 스케줄링 방법 및 그 시스템 | |
US8863134B2 (en) | Real time scheduling system for operating system | |
US8090903B2 (en) | Fair and dynamic disk input/output bandwidth distribution | |
CN109783236B (zh) | 用于输出信息的方法和装置 | |
CN109491775B (zh) | 一种用于边缘计算环境下的任务处理与调度方法 | |
CN107423134B (zh) | 一种大规模计算集群的动态资源调度方法 | |
CN110780991A (zh) | 一种基于优先级的深度学习任务调度方法及装置 | |
CN110941493A (zh) | 任务调度方法及装置 | |
US9128769B2 (en) | Processor with dedicated virtual functions and dynamic assignment of functional resources | |
JP4121525B2 (ja) | リソース利用率を制御する方法およびコンピュータシステム | |
CN104731662B (zh) | 一种可变并行作业的资源分配方法 | |
CN111178791A (zh) | 一种任务动态均衡分派方法、系统、电子设备及存储介质 | |
WO2018205890A1 (zh) | 一种分布式系统的任务分配方法及系统及其计算机可读存储介质和计算机设备 | |
US20140047454A1 (en) | Load balancing in an sap system | |
CN112073498B (zh) | 一种资源分配方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200331 |