CN102098223A - 节点设备调度方法、装置和系统 - Google Patents
节点设备调度方法、装置和系统 Download PDFInfo
- Publication number
- CN102098223A CN102098223A CN2011100367731A CN201110036773A CN102098223A CN 102098223 A CN102098223 A CN 102098223A CN 2011100367731 A CN2011100367731 A CN 2011100367731A CN 201110036773 A CN201110036773 A CN 201110036773A CN 102098223 A CN102098223 A CN 102098223A
- Authority
- CN
- China
- Prior art keywords
- node device
- performance parameter
- fiducial value
- upper limit
- disposal ability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000011156 evaluation Methods 0.000 claims description 11
- 238000002203 pretreatment Methods 0.000 claims description 10
- 238000013468 resource allocation Methods 0.000 abstract description 5
- 238000004364 calculation method Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Images
Abstract
本发明提供了一种节点调度方法、装置和系统。涉及计算机领域；解决了资源分配不合理的问题。该方法包括：获取集群中各节点设备的性能参数，根据所述性能参数，分别确定各节点设备的处理能力上限；将任务分配给当前处理的任务数量未达到处理能力上限的一个或多个节点设备。本发明提供的技术方案适用于集群内的物理机，实现了物理机资源的充分利用。
Description
技术领域
本发明涉及计算机领域，尤其涉及一种节点设备调度方法、装置和系统。
背景技术
当前，计算机设备性能的提高越来越快，设备的更新也越来越频繁。由于在大批量管理服务器时(如对服务器集群进行管理时)，由于各服务器的配置状况不同，其处理能力也不同，能够提供的系统资源也不同。但在现有的节点设备调度方法中，并未考虑到各服务器的实际处理能力。即便进行负载均衡，仍有可能出现处理能力较低的服务器上积攒了大量未处理任务，而同时处理能力较高的服务器较空闲，资源使用不合理。
发明内容
本发明提供了一种节点设备调度方法、装置和系统，解决了资源分配不合理的问题。
一种节点设备调度方法，包括：
获取集群中各节点设备的性能参数，根据所述性能参数，分别确定各节点设备的处理能力上限；
将任务分配给当前处理的任务数量未达到处理能力上限的一个或多个节点设备。
优选的，在获取所述各节点设备的性能参数之前，制定所述性能参数的基准值，并将所述基准值下发给所述各节点设备；
所述各节点设备根据所述基准值确定各自的性能参数。
优选的，制定所述性能参数的基准值具体为：
从所述集群中选择一节点设备，将该节点设备的硬件参数值作为基准值，计算该基准值对应的处理能力上限。
优选的，所述硬件参数具体为CPU计算性能参数。
优选的，所述节点设备根据所述基准值确定各自的性能参数包括：
所述节点设备获取自身的硬件参数；
所述节点设备将所述自身硬件参数相对于所述基准值的倍数作为该节点设备的性能参数的值。
优选的，所述分别确定各节点设备的处理能力上限包括：
根据所述基准值对应的处理能力上限和所述各节点设备的性能参数，计算各节点设备的处理能力上限；
生成设备评估表，所述设备评估表包括多个表项，所述表项包括节点设备标识和该节点设备的处理能力上限。
本发明还提供了一种节点设备调度装置，包括：
评估模块，用于获取集群中各节点设备的性能参数，根据所述性能参数，分别确定各节点设备的处理能力上限；
节点设备调度模块，用于将任务分配给当前处理的任务数量未达到处理能力上限的一个或多个节点。
优选的，上述节点设备调度装置还包括：
数据下发模块，用于制定所述性能参数的基准值，并将所述基准值下发给所述各节点设备，以使得所述各节点设备根据所述基准值确定各自的性能参数。
本发明还提供了一种节点设备调度系统，包括上述节点设备调度装置和至少一个接受该节点设备调度装置调度的节点设备。
优选的，所述节点设备，用于根据所述基准值确定各自的性能参数。
本发明提供了一种节点设备调度方法、装置和系统，在系统初始化时，获取集群中各节点设备的性能参数，根据所述性能参数，分别确定各节点设备的处理能力上限，将任务分配给当前处理的任务数量未达到处理能力上限的一个或多个节点设备，实现了根据节点设备处理能力分配任务，解决了资源使用不合理的问题。
附图说明
图1为现有集群中各节点设备资源使用状况示意图；
图2为本发明的实施例提供的一种节点设备调度方法的流程图；
图3为本发明的实施例所实现的群中各节点设备资源使用状况示意图；
图4为本发明的实施例提供的一种节点设备调度装置的结构示意图。
具体实施方式
对于集群中的多台服务器，尤其对于多台配置和处理能力不同的服务器来说，以虚拟机为例，如图1所示，各节点设备处理能力不同(如CPU型号不同，即CPU计算能力不同)，但各节点设备上运行的虚拟机数量却不受设备处理能力限制，资源难以得到合理利用。
为了解决上述问题，本发明的实施例提供了一种节点设备调度方法、装置和系统。下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
本发明的实施例提供了一种节点设备调度方法，使用该方法完成对节点设备调度的流程如图2所示，本发明的实施例以设备集群为例进行说明，其流程包括：
步骤201、在获取所述各节点设备的性能参数之前，制定所述性能参数的基准值，并将所述基准值下发给所述各节点设备；
本步骤中，集群控制端向集群内的各个节点设备下发基准值。节点设备由多个不同硬件组合而成，各个硬件单元的处理能力都会影响相应节点设备的处理能力。所述基准值可作为衡量节点设备中各硬件处理能力的基本单位。优选的，可选择集群中某一硬件的性能参数值最低的节点设备的该硬件处理能力为该性能参数的基准值，例如，选取集群中主频最低的CPU的主频作为基准值，可先计算该基准值对应的任务处理能力，如主频为该基准值的CPU同一时刻可处理100个任务(需要说明的是，同一集群处理的任务相同或相似，即单一任务所占用的节点设备上的资源是基本不变的)。
步骤202、所述各节点设备根据所述基准值确定各自的性能参数；
本步骤中，节点设备在接收到集群控制端发送的基准值后，根据该基准值确定自身的性能参数。具体的，性能参数为基准值的倍数。例如，选取低端CPU1作为性能基准，以CPU1的计算性能值为基准值1，则CPU2的性能参数值为：(CPU2计算性能/CPU1计算性能)*1。如果CPU1的计算性能为同时处理100个任务，CPU2的计算性能为可同时处理500个任务，则CPU2的性能参数的值为5。
步骤203、获取集群中各节点设备的性能参数，根据所述性能参数，分别确定各节点设备的处理能力上限；
本步骤中，集群控制端获取各节点设备的性能参数，并根据性能参数，确定各节点设备的处理能力上限，即各节点设备在同一时刻能够同时运行的任务数量。
优选的，以单一性能参数确定节点设备的处理能力上限，例如仅考虑节点设备的CPU计算性能参数，如CPU主频、计算核数等，根据该CPU性能参数可确定CPU的计算性能。
在确定各节点设备的处理能力上限后，将各节点设备的处理能力上限存储于设备评估表中。设备评估表如表1所示，包括多个表项；每个表项又包括设备标识和处理能力上限两项内容。
表1
从表1可以看出，节点设备2的性能参数值是节点设备1的5倍，即是说明节点设备2的处理能力能够同时处理小区5倍于节点设备1的任务。
步骤204、将任务分配给当前处理的任务数量未达到处理能力上限的一个或多个节点设备；
本步骤中，集群控制端根据计算获得的设备评估表进行任务分配。具体的，在分配任务时，将任务分配给当前处理的任务数量未达到处理能力上限的节点设备；在节点设备同时处理的任务数量达到该节点设备的处理能力上限时，不再向该节点设备分配任务，直接该节点设备处理完成一部分任务，才继续向该节点设备分配任务。
本发明的实施例提供了一种节点设备调度方法，使用该方法时，集群中各节点设备的资源使用情况如图3所示。在系统初始化时，获取集群中各节点设备的性能参数，根据所述性能参数，分别确定各节点设备的处理能力上限，将任务分配给当前处理的任务数量未达到处理能力上限的一个或多个节点设备，实现了根据节点设备处理能力分配任务，解决了资源使用不合理的问题。通过对节点设备的评估管理，实现了不同性能的节点设备完成其能承受的合理的任务数量，达到对异构的节点设备的资源整合，充分利用资源。
本发明的实施例还提供了一种节点设备调度装置，其结构如图4所示，包括：
评估模块401，用于获取集群中各节点设备的性能参数，根据所述性能参数，分别确定各节点设备的处理能力上限；
节点设备调度模块402，用于将任务分配给当前处理的任务数量未达到处理能力上限的一个或多个节点。
优选的，上述节点设备调度装置还包括：
数据下发模块403，用于制定所述性能参数的基准值，并将所述基准值下发给所述各节点设备，以使得所述各节点设备根据所述基准值确定各自的性能参数。
本发明的实施例还提供了一种节点设备调度系统，包括上述节点设备调度系统和至少一个接受该节点设备调度装置调度的节点设备。
优选的，所述节点设备，用于根据所述基准值确定各自的性能参数。
本发明实施例所提供的节点设备调度装置和系统可集成于集群控制端中，将设备检测评估和资源分配完全模块化，即，只需要根据评估模块401确定的各节点设备的处理能力上限即可进行资源分配，从而降低了资源分配的整体复杂度。在系统初始化时，获取集群中各节点设备的性能参数，根据所述性能参数，分别确定各节点设备的处理能力上限，将任务分配给当前处理的任务数量未达到处理能力上限的一个或多个节点设备，实现了根据节点设备处理能力分配任务，解决了资源使用不合理的问题。
本领域普通技术人员可以理解上述实施例的全部或部分步骤可以使用计算机程序流程来实现，所述计算机程序可以存储于一计算机可读存储介质中，所述计算机程序在相应的硬件平台上(如系统、设备、装置、器件等)执行，在执行时，包括方法实施例的步骤之一或其组合。
可选地，上述实施例的全部或部分步骤也可以使用集成电路来实现，这些步骤可以被分别制作成一个个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
上述实施例中的各装置/功能模块/功能单元可以采用通用的计算装置来实现，它们可以集中在单个的计算装置上，也可以分布在多个计算装置所组成的网络上。
上述实施例中的各装置/功能模块/功能单元以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。上述提到的计算机可读取存储介质可以是只读存储器，磁盘或光盘等。
任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求所述的保护范围为准。
Claims (10)
1.一种节点设备调度方法，其特征在于，包括：
获取集群中各节点设备的性能参数，根据所述性能参数，分别确定各节点设备的处理能力上限；
将任务分配给当前处理的任务数量未达到处理能力上限的一个或多个节点设备。
2.根据权利要求1所述的节点设备调度方法，其特征在于，
在获取所述各节点设备的性能参数之前，制定所述性能参数的基准值，并将所述基准值下发给所述各节点设备；
所述各节点设备根据所述基准值确定各自的性能参数。
3.根据权利要求2所述的节点设备调度方法，其特征在于，制定所述性能参数的基准值具体为：
从所述集群中选择一节点设备，将该节点设备的硬件参数值作为基准值，计算该基准值对应的处理能力上限。
4.根据权利要求3所述的节点设备调度方法，其特征在于，所述硬件参数具体为中央处理器(CPU)计算性能参数。
5.根据权利要求3所述的节点设备调度方法，其特征在于，所述节点设备根据所述基准值确定各自的性能参数包括：
所述节点设备获取自身的硬件参数；
所述节点设备将所述自身硬件参数相对于所述基准值的倍数作为该节点设备的性能参数的值。
6.根据权利要求5所述的节点设备调度方法，其特征在于，所述分别确定各节点设备的处理能力上限包括：
根据所述基准值对应的处理能力上限和所述各节点设备的性能参数，计算各节点设备的处理能力上限；
生成设备评估表，所述设备评估表包括多个表项，所述表项包括节点设备标识和该节点设备的处理能力上限。
7.一种节点设备调度装置，其特征在于，包括：
评估模块，用于获取集群中各节点设备的性能参数，根据所述性能参数，分别确定各节点设备的处理能力上限；
节点设备调度模块，用于将任务分配给当前处理的任务数量未达到处理能力上限的一个或多个节点。
8.根据权利要求7所述的节点设备调度装置，其特征在于，该装置还包括：
数据下发模块，用于制定所述性能参数的基准值，并将所述基准值下发给所述各节点设备，以使得所述各节点设备根据所述基准值确定各自的性能参数。
9.一种节点设备调度系统，其特征在于，包括权利要求6和权利要求7中任一所述的节点设备调度装置和至少一个接受该节点设备调度装置调度的节点设备。
10.根据权利要求9所述的节点设备调度系统，其特征在于，
所述节点设备，用于根据所述基准值确定各自的性能参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110036773A CN102098223B (zh) | 2011-02-12 | 2011-02-12 | 节点设备调度方法、装置和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110036773A CN102098223B (zh) | 2011-02-12 | 2011-02-12 | 节点设备调度方法、装置和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102098223A true CN102098223A (zh) | 2011-06-15 |
| CN102098223B CN102098223B (zh) | 2012-08-29 |
Family
ID=44131095
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201110036773A Active CN102098223B (zh) | 2011-02-12 | 2011-02-12 | 节点设备调度方法、装置和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102098223B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103986766A (zh) * | 2014-05-19 | 2014-08-13 | 中国工商银行股份有限公司 | 自适应负载均衡作业任务调度方法及装置 |
| CN105224510A (zh) * | 2015-09-21 | 2016-01-06 | 杭州施强网络科技有限公司 | 一种文档格式文件的转换方法 |
| WO2018107751A1 (zh) * | 2016-12-13 | 2018-06-21 | 郑州云海信息技术有限公司 | 一种资源调度装置、系统和方法 |
| CN108334408A (zh) * | 2018-01-04 | 2018-07-27 | 深圳市天软科技开发有限公司 | 代码执行方法、装置、终端设备及计算机可读存储介质 |
| US11372633B2 (en) | 2018-01-04 | 2022-06-28 | Shenzhen Tinysoft Co., Ltd. | Method, device and terminal apparatus for code execution and computer readable storage medium |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1874348A (zh) * | 2006-01-10 | 2006-12-06 | 华为技术有限公司 | 一种多处理单元负载均衡方法和多处理单元系统 |
| CN1901504A (zh) * | 2006-06-30 | 2007-01-24 | 华中科技大学 | 一种流媒体点播系统的数据调度方法 |
| CN101510880A (zh) * | 2009-03-27 | 2009-08-19 | 北京中星微电子有限公司 | 一种流媒体系统和装置及其方法 |
| US20100223618A1 (en) * | 2009-02-27 | 2010-09-02 | International Business Machines Corporation | Scheduling jobs in a cluster |
-
2011
- 2011-02-12 CN CN201110036773A patent/CN102098223B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1874348A (zh) * | 2006-01-10 | 2006-12-06 | 华为技术有限公司 | 一种多处理单元负载均衡方法和多处理单元系统 |
| CN1901504A (zh) * | 2006-06-30 | 2007-01-24 | 华中科技大学 | 一种流媒体点播系统的数据调度方法 |
| US20100223618A1 (en) * | 2009-02-27 | 2010-09-02 | International Business Machines Corporation | Scheduling jobs in a cluster |
| CN101510880A (zh) * | 2009-03-27 | 2009-08-19 | 北京中星微电子有限公司 | 一种流媒体系统和装置及其方法 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103986766A (zh) * | 2014-05-19 | 2014-08-13 | 中国工商银行股份有限公司 | 自适应负载均衡作业任务调度方法及装置 |
| CN103986766B (zh) * | 2014-05-19 | 2017-07-07 | 中国工商银行股份有限公司 | 自适应负载均衡作业任务调度方法及装置 |
| CN105224510A (zh) * | 2015-09-21 | 2016-01-06 | 杭州施强网络科技有限公司 | 一种文档格式文件的转换方法 |
| CN105224510B (zh) * | 2015-09-21 | 2021-07-09 | 杭州施强教育科技有限公司 | 一种文档格式文件的转换方法 |
| WO2018107751A1 (zh) * | 2016-12-13 | 2018-06-21 | 郑州云海信息技术有限公司 | 一种资源调度装置、系统和方法 |
| CN108334408A (zh) * | 2018-01-04 | 2018-07-27 | 深圳市天软科技开发有限公司 | 代码执行方法、装置、终端设备及计算机可读存储介质 |
| CN108334408B (zh) * | 2018-01-04 | 2020-10-02 | 深圳市天软科技开发有限公司 | 代码执行方法、装置、终端设备及计算机可读存储介质 |
| US11372633B2 (en) | 2018-01-04 | 2022-06-28 | Shenzhen Tinysoft Co., Ltd. | Method, device and terminal apparatus for code execution and computer readable storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102098223B (zh) | 2012-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106776005B (zh) | 一种面向容器化应用的资源管理系统及方法 | |
| Ye et al. | Profiling-based workload consolidation and migration in virtualized data centers | |
| Nghiem et al. | Towards efficient resource provisioning in MapReduce | |
| CN1987794B (zh) | 改进计算机系统中的块分配时间的方法和装置 | |
| CN110162388A (zh) | 一种任务调度方法、系统及终端设备 | |
| CN102469126B (zh) | 一种应用调度系统、方法和相关装置 | |
| CN102158513A (zh) | 一种服务器集群节能的方法、装置和服务器集群 | |
| CN103365726A (zh) | 一种面向gpu集群的资源管理方法和系统 | |
| CN107346264A (zh) | 一种虚拟机负载均衡调度的方法、装置和服务器设备 | |
| CN102098223B (zh) | 节点设备调度方法、装置和系统 | |
| CN104601664A (zh) | 一种云计算平台资源管理与虚拟机调度的控制系统 | |
| uz Zaman et al. | A load balanced task scheduling heuristic for large-scale computing systems | |
| CN114138486A (zh) | 面向云边异构环境的容器化微服务编排方法、系统及介质 | |
| US20100042723A1 (en) | Method and system for managing load in a network | |
| Rustogi et al. | Parallel machine scheduling: Impact of adding extra machines | |
| CN105824686A (zh) | 一种虚拟机宿主机的选择方法和选择系统 | |
| CN106293933A (zh) | 一种支持多大数据计算框架的集群资源配置与调度方法 | |
| CN102339233A (zh) | 云计算集中管理平台 | |
| Han et al. | Energy efficient VM scheduling for big data processing in cloud computing environments | |
| Wang et al. | Dependency-aware network adaptive scheduling of data-intensive parallel jobs | |
| CN107070965B (zh) | 一种虚拟化容器资源下的多工作流资源供给方法 | |
| Escobar et al. | Energy‐aware load balancing of parallel evolutionary algorithms with heavy fitness functions in heterogeneous CPU‐GPU architectures | |
| CN105187531A (zh) | 应用于云计算虚拟化服务器集群的负载均衡的系统及方法 | |
| CN107589980A (zh) | 一种云计算资源的调度方法 | |
| Jha et al. | Power & load aware resource allocation policy for hybrid cloud |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20201112 Address after: 215100 No. 1 Guanpu Road, Guoxiang Street, Wuzhong Economic Development Zone, Suzhou City, Jiangsu Province Patentee after: SUZHOU LANGCHAO INTELLIGENT TECHNOLOGY Co.,Ltd. Address before: 100085 Beijing, Haidian District on the road to information on the ground floor, building 2-1, No. 1, C Patentee before: Inspur (Beijing) Electronic Information Industry Co.,Ltd. |