CN107566443A - 一种分布式资源调度方法 - Google Patents
一种分布式资源调度方法 Download PDFInfo
- Publication number
- CN107566443A CN107566443A CN201710567616.0A CN201710567616A CN107566443A CN 107566443 A CN107566443 A CN 107566443A CN 201710567616 A CN201710567616 A CN 201710567616A CN 107566443 A CN107566443 A CN 107566443A
- Authority
- CN
- China
- Prior art keywords
- node
- scheduling method
- task
- resource scheduling
- task unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Multi Processors (AREA)
Abstract
本发明公开一种分布式资源调度方法，包括步骤：划分任务单元，定义节点；获取集群中的所有节点，组成初始节点列表；依次选取一个任务单元进行调度；从初始节点列表中筛选过滤掉不符合要求的节点，将符合要求的节点组成待分配节点列表；对待分配节点列表中的所有节点进行打分；根据打分结果从待分配节点列表中选取最优节点，并在该节点上为选取的待调度任务单元分配所需资源。本方法在提升资源利用率的同时，保证了系统的服务质量。
Description
技术领域
本发明涉及云计算数据中心资源调度领域，具体涉及一种分布式资源调度方法。
背景技术
随着云计算技术及企业信息化建设的发展，集群规模越来越大，服务器数量不断增多，维护数千万级以上的服务器已经成为一种常态，然而这种大规模的集群却普遍存在资源利用率低的问题，主要体现在：为满足峰值资源需求，业务只能以最大资源部署应用；业务间隔离封闭无法资源共享，无法资源交叉利用；不同业务都需要做到资源缓冲,迅速扩容,这样总空闲资源较多。如何分配集群内的计算资源是云计算数据中心技术领域面临的重要问题。为了提高集群内服务器的利用率，实现动态资源共享，需要调度系统进行集群内的任务资源的调度。
发明内容
为解决上述问题，本发明提出了一种面向分布式系统资源分配的调度策略的实现方法。
本发明的技术方案是：一种分布式资源调度方法，包括以下步骤：
S1：划分任务单元，定义节点；
S2：获取集群中的所有节点，组成初始节点列表；
S3：依次选取一个任务单元进行调度；
S3.1：从初始节点列表中筛选过滤掉不符合要求的节点，将符合要求的节点组成待分配节点列表；
S3.2：对待分配节点列表中的所有节点进行打分；
S3.3：根据打分结果从待分配节点列表中选取最优节点，并在该节点上为选取的待调度任务单元分配所需资源。
进一步地，步骤S1中所述划分任务单元是指对每一个任务根据任务组成划分为任务单元。
进一步地，步骤S1中所述定义节点是指以主机为单位定义节点。
进一步地，主机为服务器或虚拟机。
进一步地，步骤S3.2中根据资源使用情况对节点进行打分。
本发明提供的分布式资源调度方法，对任务单位和资源单位进行划分，并通过采用先筛选打分后算法的策略进行资源调度，实现了为“任务单元”选择最佳“节点”的调度过程，在提升资源利用率的同时，保证了系统的服务质量。
附图说明
图1是本发明具体实施例方法流程示意图。
图2是本发明具体实施例筛选节点示意图。
具体实施方式
下面结合附图并通过具体实施例对本发明进行详细阐述，以下实施例是对本发明的解释，而本发明并不局限于以下实施方式。
本实施例提供的分布式资源调度方法，首先把任务基本调度单位划分为任务单元，把资源基本分配单位划分节点，然后资源调度过程即为“任务单元”选择最佳“节点”的过程。调度策略采用先筛选打分后算法的方式进行资源调度，完成为任务分配合理分布式资源并保障任务可靠性运行过程。
调度的过程分两步：首先做筛选，其次打分。筛选步骤解决节点是否符合任务单元要求的问题，通过资源筛选规则过滤掉不符合要求的节点；打分步骤解决适合该任务单元的最佳节点的问题，对筛选出的符合要求的节点进行打分，选出分数最高的节点。
如图1和2所示，本实施例提供的分布式资源调度方法，具体包括以下步骤：
S1：划分任务单元，定义节点；
S2：获取集群中的所有节点，组成初始节点列表；
S3：依次选取一个任务单元进行调度。
其中，步骤S3中对任务单元进行调度具体包括以下步骤：
S3.1：从初始节点列表中筛选过滤掉不符合要求的节点，将符合要求的节点组成待分配节点列表；
S3.2：对待分配节点列表中的所有节点进行打分；
S3.3：根据打分结果从待分配节点列表中选取最优节点，并在该节点上为选取的待调度任务单元分配所需资源。
步骤S1中划分任务单元可以是每一个任务根据任务组成划分为任务单元。一般一个任务会分为不同的模块（或者步骤），如果一个或者几个模块与其他模块是松耦合的，即可为一个单元。实施者也可根据具体的任务内容具体划分任务单元。
本实施例中可以主机为单位定义节点，主机可以为服务器或虚拟机等。
对节点进行筛选时，实施者可根据具体任务内容对节点进行筛选，过滤掉不符合要求的节点。而对节点进行打分时，可根据资源使用情况对节点进行打分，从而选出最优节点，以提高资源利用率。
以上公开的仅为本发明的优选实施方式，但本发明并非局限于此，任何本领域的技术人员能思之的没有创造性的变化，以及在不脱离本发明原理前提下所作的若干改进和润饰，都应落在本发明的保护范围内。
Claims (5)
1.一种分布式资源调度方法，其特征在于，包括以下步骤：
S1：划分任务单元，定义节点；
S2：获取集群中的所有节点，组成初始节点列表；
S3：依次选取一个任务单元进行调度；
S3.1：从初始节点列表中筛选过滤掉不符合要求的节点，将符合要求的节点组成待分配节点列表；
S3.2：对待分配节点列表中的所有节点进行打分；
S3.3：根据打分结果从待分配节点列表中选取最优节点，并在该节点上为选取的待调度任务单元分配所需资源。
2.根据权利要求1所述的分布式资源调度方法，其特征在于，步骤S1中所述划分任务单元是指对每一个任务根据任务组成划分为任务单元。
3.根据权利要求1所述的分布式资源调度方法，其特征在于，步骤S1中所述定义节点是指以主机为单位定义节点。
4.根据权利要求3所述的分布式资源调度方法，其特征在于，主机为服务器或虚拟机。
5.根据权利要求1-4任一项所述的分布式资源调度方法，其特征在于，步骤S3.2中根据资源使用情况对节点进行打分。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710567616.0A CN107566443A (zh) | 2017-07-12 | 2017-07-12 | 一种分布式资源调度方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710567616.0A CN107566443A (zh) | 2017-07-12 | 2017-07-12 | 一种分布式资源调度方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107566443A true CN107566443A (zh) | 2018-01-09 |
Family
ID=60973046
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710567616.0A Pending CN107566443A (zh) | 2017-07-12 | 2017-07-12 | 一种分布式资源调度方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107566443A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109150759A (zh) * | 2018-08-28 | 2019-01-04 | 成都信息工程大学 | 一种渐进式非阻塞机会资源预留方法及系统 |
| CN109688222A (zh) * | 2018-12-26 | 2019-04-26 | 深圳市网心科技有限公司 | 共享计算资源的调度方法、共享计算系统、服务器及存储介质 |
| CN109933420A (zh) * | 2019-04-02 | 2019-06-25 | 深圳市网心科技有限公司 | 节点任务调度方法、电子设备及系统 |
| CN111258729A (zh) * | 2020-01-10 | 2020-06-09 | 深圳前海环融联易信息科技服务有限公司 | 基于Redis的任务分配方法、装置、计算机设备及存储介质 |
| CN111800446A (zh) * | 2019-04-12 | 2020-10-20 | 北京沃东天骏信息技术有限公司 | 调度处理方法、装置、设备和存储介质 |
| CN114995961A (zh) * | 2022-08-04 | 2022-09-02 | 浙江大学 | 一种请求调度方法、装置及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102232282A (zh) * | 2010-10-29 | 2011-11-02 | 华为技术有限公司 | 一种实现数据中心资源负载均衡的方法及装置 |
| CN105450684A (zh) * | 2014-08-15 | 2016-03-30 | 中国电信股份有限公司 | 云计算资源调度方法和系统 |
| CN106598735A (zh) * | 2016-12-13 | 2017-04-26 | 广东金赋科技股份有限公司 | 一种分布式计算方法、主控节点、计算节点和系统 |
-
2017
- 2017-07-12 CN CN201710567616.0A patent/CN107566443A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102232282A (zh) * | 2010-10-29 | 2011-11-02 | 华为技术有限公司 | 一种实现数据中心资源负载均衡的方法及装置 |
| CN105450684A (zh) * | 2014-08-15 | 2016-03-30 | 中国电信股份有限公司 | 云计算资源调度方法和系统 |
| CN106598735A (zh) * | 2016-12-13 | 2017-04-26 | 广东金赋科技股份有限公司 | 一种分布式计算方法、主控节点、计算节点和系统 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109150759A (zh) * | 2018-08-28 | 2019-01-04 | 成都信息工程大学 | 一种渐进式非阻塞机会资源预留方法及系统 |
| CN109688222A (zh) * | 2018-12-26 | 2019-04-26 | 深圳市网心科技有限公司 | 共享计算资源的调度方法、共享计算系统、服务器及存储介质 |
| CN109688222B (zh) * | 2018-12-26 | 2020-12-25 | 深圳市网心科技有限公司 | 共享计算资源的调度方法、共享计算系统、服务器及存储介质 |
| CN109933420A (zh) * | 2019-04-02 | 2019-06-25 | 深圳市网心科技有限公司 | 节点任务调度方法、电子设备及系统 |
| CN111800446A (zh) * | 2019-04-12 | 2020-10-20 | 北京沃东天骏信息技术有限公司 | 调度处理方法、装置、设备和存储介质 |
| CN111800446B (zh) * | 2019-04-12 | 2023-11-07 | 北京沃东天骏信息技术有限公司 | 调度处理方法、装置、设备和存储介质 |
| CN111258729A (zh) * | 2020-01-10 | 2020-06-09 | 深圳前海环融联易信息科技服务有限公司 | 基于Redis的任务分配方法、装置、计算机设备及存储介质 |
| CN111258729B (zh) * | 2020-01-10 | 2024-03-01 | 深圳前海环融联易信息科技服务有限公司 | 基于Redis的任务分配方法、装置、计算机设备及存储介质 |
| CN114995961A (zh) * | 2022-08-04 | 2022-09-02 | 浙江大学 | 一种请求调度方法、装置及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107566443A (zh) | 一种分布式资源调度方法 | |
| CN106656867B (zh) | 一种基于虚拟网络的应用感知的动态sdn配置方法 | |
| TWI763156B (zh) | 異質叢集中之機器學習工作負載編排技術 | |
| CN101593134B (zh) | 虚拟机cpu资源分配方法和装置 | |
| CN108337109B (zh) | 一种资源分配方法及装置和资源分配系统 | |
| CN107193504A (zh) | 一种基于Kubernetes的自动化分配和创建应用存储的方法和系统 | |
| EP2710470B1 (en) | Extensible centralized dynamic resource distribution in a clustered data grid | |
| CN103309946B (zh) | 多媒体文件处理方法、装置及系统 | |
| CN104683488B (zh) | 流式计算系统及其调度方法和装置 | |
| CN107968802A (zh) | 一种资源调度的方法、装置和过滤式调度器 | |
| CN104052681B (zh) | 流量控制方法和装置 | |
| CN104320854B (zh) | 资源调度方法及装置 | |
| CN103761146B (zh) | 一种MapReduce动态设定slots数量的方法 | |
| CN107346264A (zh) | 一种虚拟机负载均衡调度的方法、装置和服务器设备 | |
| CN102664814A (zh) | 一种虚拟网络中基于灰色预测的自适应动态资源分配方法 | |
| CN113886034A (zh) | 任务调度方法、系统、电子设备及存储介质 | |
| CN110300130A (zh) | 一种资源调度方法、装置、电子设备及存储介质 | |
| CN106874115A (zh) | 一种虚拟机资源分配方法及分布式虚拟机资源调度系统 | |
| CN112463375A (zh) | 一种数据处理的方法和装置 | |
| CN108449394A (zh) | 一种数据文件的调度方法、调度服务器及存储介质 | |
| CN106776025A (zh) | 一种计算机集群作业调度方法及其装置 | |
| CN102708003A (zh) | 一种云平台下的资源分配方法 | |
| CN103713955A (zh) | 资源动态分配的管理方法和装置 | |
| CN116708454B (zh) | 多集群云计算系统及多集群作业分发方法 | |
| CN106598559A (zh) | 一种云平台的快速部署方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200522 Address after: Building S01, Inspur Science Park, No. 1036, Inspur Road, high tech Zone, Jinan City, Shandong Province, 250000 Applicant after: Tidal Cloud Information Technology Co.,Ltd. Address before: 450000 Henan province Zheng Dong New District of Zhengzhou City Xinyi Road No. 278 16 floor room 1601 Applicant before: ZHENGZHOU YUNHAI INFORMATION TECHNOLOGY Co.,Ltd. |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180109 |