CN102426544A - 任务分配方法和系统 - Google Patents
任务分配方法和系统 Download PDFInfo
- Publication number
- CN102426544A CN102426544A CN2011103452172A CN201110345217A CN102426544A CN 102426544 A CN102426544 A CN 102426544A CN 2011103452172 A CN2011103452172 A CN 2011103452172A CN 201110345217 A CN201110345217 A CN 201110345217A CN 102426544 A CN102426544 A CN 102426544A
- Authority
- CN
- China
- Prior art keywords
- server
- task
- computing power
- computer cluster
- standard value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Power Sources (AREA)
Abstract
本发明提供了一种任务分配方法和装置。涉及计算机应用领域;解决了计算机集群的任务执行效率降低的问题。该方法包括:收集计算机集群中各服务器的CPU性能参数;根据所述CPU性能参数,分别计算所述计算机集群内各服务器的计算能力;根据计算获得的各服务器的计算能力,为所述各服务器分配计算任务。本发明提供的技术方案适用于计算机集群中,实现了合理高效的任务分配。
Description
技术领域
本发明涉及计算机网络领域,尤其涉及一种计算机集群内的任务分配方法和系统。
背景技术
当前计算机厂商的集群中的计算机服务器因购入的时间不一样,型号不一样,搭配的CPU型号也不一样,因而各服务器的CPU内核数量、内核结构、主频、外频、倍频、缓存等也不同,各服务器的计算能力也存在差异。在系统执行计算任务时,一般采用的是任务平均分配的方式,将计算任务平均的分配到计算机集群内的各个服务器节点,
这种情况下,如果将计算任务量在多个服务器之间平均分配,则性能高的CPU完成计算任务所需的时间相对较短,而性能低的CPU完成计算任务所需时间相对较长,没有充分合理的利用集群内各服务器节点的计算能力,进而降低了计算机集群的任务执行效率。
发明内容
本发明提供了一种任务分配方法和系统,解决了计算机集群的任务执行效率降低的问题。
一种任务分配方法,包括:
收集计算机集群中各服务器的CPU性能参数;
根据所述CPU性能参数,分别计算所述计算机集群内各服务器的计算能力;
根据计算获得的各服务器的计算能力,为所述各服务器分配计算任务。
优选的,所述CPU性能参数包括:
CPU核数、内核结构、主频、外频、缓存。
优选的,根据计算获得的各服务器的计算能力,为所述各服务器分配计算任务具体为:
按照计算能力由低到高的顺序增加为相应服务器分配的任务量。
优选的,所述按照计算能力由低到高的顺序增加为相应服务器分配的任务量具体为:
取各服务器中计算能力的最低值为标准值;
计算各服务器计算能力相对于所述标准值的倍数,所述计算能力的最低值相对于所述标准值的倍数为1;
按照所述各服务器计算能力相对于所述标准值倍数的比例,在所述计算机集群中的各服务器上分配任务。
本发明还提供了一种任务分配装置,包括:
CPU性能监控中心,用于收集计算机集群中各服务器的CPU性能参数;
CPU性能计算模块,用于根据所述CPU性能参数,分别计算所述计算机集群内各服务器的计算能力;
任务智能分配模块,用于根据计算获得的各服务器的计算能力,为所述各服务器分配计算任务。
优选的,所述任务智能分配模块包括:
标准确定单元,用于取各服务器中计算能力的最低值为标准值;
参照获取单元,用于计算各服务器计算能力相对于所述标准值的倍数,所述计算能力的最低值相对于所述标准值的倍数为1;
分配策略单元,用于按照所述各服务器计算能力相对于所述标准值倍数的比例,在所述计算机集群中的各服务器上分配任务。
本发明提供了一种任务分配方法和系统,收集计算机集群中各服务器的CPU性能参数,根据所述CPU性能参数,分别计算所述计算机集群内各服务器的计算能力,再根据计算获得的各服务器的计算能力,为所述各服务器分配计算任务,实现了根据各服务器的实际计算能力分配任务,最大效率最合理化的利用了计算机集群内的各服务器,解决了计算机集群的任务执行效率降低的问题。
附图说明
图1为本发明的实施例一提供的一种任务分配方法的流程图;
图2为本发明的实施例二提供的一种任务分配装置的结构示意图。
具体实施方式
在将计算任务量在多个服务器之间平均分配时,由于计算机集群内的各服务器计算能力不同,导致性能高的CPU完成计算任务所需的时间相对较短,而性能低的CPU完成计算任务所需时间相对较长,没有充分合理的利用集群内各服务器节点的计算能力,进而降低了计算机集群的任务执行效率。如何根据CPU性能,合理的分配计算任务,在整体上缩短系统完成计算任务的时间,也就成了节约时间、提高计算效率的关键问题。
为了解决上述问题,本发明的实施例提供了一种任务分配方法和系统。下文中将结合附图对本发明的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
首先结合附图,对本发明的实施例一进行说明。
本发明实施例提供了一种任务分配方法,在计算机集群的计算过程中,提供一种通用的、灵活的计算任务的分配方法,根据服务器的CPU的计算能力,来决定对该服务器分配的计算任务量,从而达到对不同的服务器根据CPU的性能分配不同的计算任务量,在整体上减少完成计算所需要的等待时间,提高计算机集群运算效率。
使用本发明的实施例所提供的任务分配方法完成计算机集群内任务分配的流程如图1所示,包括:
步骤101、收集计算机集群中各服务器的CPU性能参数;
本步骤中,采集服务器集群中的不同服务器的的CPU性能参数,CPU性能参数收集的实体为计算机集群控制中心。
本发明的实施例所涉及的CPU性能参数包括但不限于下列参数:
CPU的核数、内核结构、主频、外频、缓存等。
服务器的计算能力主要受CPU限制,而CPU的性能因内核数量、内核结构、主频、外频等因素影响,不同的CPU之间在性能上存在差异。
步骤102、根据所述CPU性能参数,分别计算所述计算机集群内各服务器的计算能力;
本步骤中,通过服务器CPU的内核数量、内核结构、主频、外频、倍频,缓存等参数,综合计算该服务器的计算能力。
步骤103、根据计算获得的各服务器的计算能力,为所述各服务器分配计算任务;
本步骤中,根据计算机集群内各服务器的计算能力,分配相应的计算任务量,可按照计算能力由低到高的顺序增加为相应服务器分配的任务量这一原则完成分配。
具体的计算方法如下:
1、取各服务器中计算能力的最低值为标准值;
2、计算各服务器计算能力相对于所述标准值的倍数,所述计算能力的最低值相对于所述标准值的倍数为1;
3、按照所述各服务器计算能力相对于所述标准值倍数的比例,在所述计算机集群中的各服务器上分配任务。
根据以上分配方法,可以保证运行在不同性能CPU上的计算任务能够尽可能的在同一时间完成,达到节约时间,提高效率的目的。
下面根据一具体实例对分配的过程进行说明:
例如,单路服务器完成1%的计算任务需要1小时,双路服务器完成2%的计算任务需要1个小时,四路服务器完成4%的计算任务需要1个小时,八路服务器完成8%的计算任务需要1个小时,则利用传统的服务器执行计算任务的模式,完成该计算任务的时间是25个小时。而同样的设备,根据各CPU的性能,推算出不同服务器的计算能力,再根据计算能力,分配7%的任务量给单路服务器,分配13%的任务量给双路服务器,分配26%的任务量给四路服务器,54%的任务量给八路服务器,这样这个计算任务可以在7个小时内完成。由此可见,根据服务器的计算能力分配任务能够有效的节约时间,资源。
下面结合附图,对本发明的实施例二进行说明。
本发明实施例提供了一种任务分配装置,该装置的结构如图2所示,包括:
CPU性能监控中心201,用于收集计算机集群中各服务器的CPU性能参数;
CPU性能计算模块202,用于根据所述CPU性能参数,分别计算所述计算机集群内各服务器的计算能力;
任务智能分配模块203,用于根据计算获得的各服务器的计算能力,为所述各服务器分配计算任务。
优选的,所述任务智能分配模块203包括:
标准确定单元,用于取各服务器中计算能力的最低值为标准值;
参照获取单元,用于计算各服务器计算能力相对于所述标准值的倍数,所述计算能力的最低值相对于所述标准值的倍数为1;
分配策略单元,用于按照所述各服务器计算能力相对于所述标准值倍数的比例,在所述计算机集群中的各服务器上分配任务。
本发明的实施例提供的任务分配系统,能够与本发明的实施例提供的任务分配方法相结合,收集计算机集群中各服务器的CPU性能参数,根据所述CPU性能参数,分别计算所述计算机集群内各服务器的计算能力,再根据计算获得的各服务器的计算能力,为所述各服务器分配计算任务,实现了根据各服务器的实际计算能力分配任务,最大效率最合理化的利用了计算机集群内的各服务器,解决了计算机集群的任务执行效率降低的问题。打破了传统的集群服务器任务分配模式,根据服务器CPU的性能,分配不同计算任务量的策略,在整体上减少系统的计算任务完成时间
本领域普通技术人员可以理解上述实施例的全部或部分步骤可以使用计算机程序流程来实现,所述计算机程序可以存储于一计算机可读存储介质中,所述计算机程序在相应的硬件平台上(如系统、设备、装置、器件等)执行,在执行时,包括方法实施例的步骤之一或其组合。
可选地,上述实施例的全部或部分步骤也可以使用集成电路来实现,这些步骤可以被分别制作成一个个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
上述实施例中的各装置/功能模块/功能单元可以采用通用的计算装置来实现,它们可以集中在单个的计算装置上,也可以分布在多个计算装置所组成的网络上。
上述实施例中的各装置/功能模块/功能单元以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。上述提到的计算机可读取存储介质可以是只读存储器,磁盘或光盘等。
任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求所述的保护范围为准。
Claims (6)
1.一种任务分配方法,其特征在于,包括:
收集计算机集群中各服务器的CPU性能参数;
根据所述CPU性能参数,分别计算所述计算机集群内各服务器的计算能力;
根据计算获得的各服务器的计算能力,为所述各服务器分配计算任务。
2.根据权利要求1所述的任务分配方法,其特征在于,所述CPU性能参数包括:
CPU核数、内核结构、主频、外频、缓存。
3.根据权利要求2所述的任务分配方法,其特征在于,根据计算获得的各服务器的计算能力,为所述各服务器分配计算任务具体为:
按照计算能力由低到高的顺序增加为相应服务器分配的任务量。
4.根据权利要求3所述的任务分配方法,其特征在于,所述按照计算能力由低到高的顺序增加为相应服务器分配的任务量具体为:
取各服务器中计算能力的最低值为标准值;
计算各服务器计算能力相对于所述标准值的倍数,所述计算能力的最低值相对于所述标准值的倍数为1;
按照所述各服务器计算能力相对于所述标准值倍数的比例,在所述计算机集群中的各服务器上分配任务。
5.一种任务分配装置,其特征在于,包括:
CPU性能监控中心,用于收集计算机集群中各服务器的CPU性能参数;
CPU性能计算模块,用于根据所述CPU性能参数,分别计算所述计算机集群内各服务器的计算能力;
任务智能分配模块,用于根据计算获得的各服务器的计算能力,为所述各服务器分配计算任务。
6.根据权利要求5所述的任务分配系统,其特征在于,所述任务智能分配模块包括:
标准确定单元,用于取各服务器中计算能力的最低值为标准值;
参照获取单元,用于计算各服务器计算能力相对于所述标准值的倍数,所述计算能力的最低值相对于所述标准值的倍数为1;
分配策略单元,用于按照所述各服务器计算能力相对于所述标准值倍数的比例,在所述计算机集群中的各服务器上分配任务。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2011103452172A CN102426544A (zh) | 2011-11-04 | 2011-11-04 | 任务分配方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2011103452172A CN102426544A (zh) | 2011-11-04 | 2011-11-04 | 任务分配方法和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102426544A true CN102426544A (zh) | 2012-04-25 |
Family
ID=45960532
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2011103452172A Pending CN102426544A (zh) | 2011-11-04 | 2011-11-04 | 任务分配方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102426544A (zh) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104133523A (zh) * | 2013-04-30 | 2014-11-05 | 李森墉 | 电子系统及其应用之扩充装置、电子装置及处理方法 |
CN104598318A (zh) * | 2014-12-30 | 2015-05-06 | 北京奇艺世纪科技有限公司 | 节点计算能力的汇报方法和计算节点 |
CN104598412A (zh) * | 2014-10-17 | 2015-05-06 | 新浪网技术(中国)有限公司 | 一种数据传输方法及装置 |
CN104702409A (zh) * | 2014-12-31 | 2015-06-10 | 北京天诚盛业科技有限公司 | 基于云平台的生物识别系统及其方法 |
CN104731660A (zh) * | 2014-12-31 | 2015-06-24 | 北京天诚盛业科技有限公司 | 数据分配方法、装置和系统 |
CN105335209A (zh) * | 2014-06-19 | 2016-02-17 | 联想(北京)有限公司 | 一种虚拟机调度方法、电子设备及服务器 |
CN105488134A (zh) * | 2015-11-25 | 2016-04-13 | 用友网络科技股份有限公司 | 大数据处理方法及大数据处理装置 |
CN106302579A (zh) * | 2015-05-20 | 2017-01-04 | 无锡天脉聚源传媒科技有限公司 | 一种任务的分发方法及服务器 |
CN106911772A (zh) * | 2017-02-20 | 2017-06-30 | 联想(北京)有限公司 | 服务器分配方法、服务器分配装置以及电子设备 |
CN107423425A (zh) * | 2017-08-02 | 2017-12-01 | 德比软件(上海)有限公司 | 一种对k/v格式的数据快速存储和查询方法 |
CN109842665A (zh) * | 2017-11-29 | 2019-06-04 | 北京京东尚科信息技术有限公司 | 用于任务分配服务器的任务处理方法和装置 |
CN109936472A (zh) * | 2017-12-18 | 2019-06-25 | 上海无线通信研究中心 | 面向雾计算的节点计算能力描述方法、交互方法及其设备 |
CN110727516A (zh) * | 2019-10-12 | 2020-01-24 | 江苏卫健信息科技有限公司 | 一种数据分析任务的分配方法 |
CN111311129A (zh) * | 2020-03-31 | 2020-06-19 | 广东电网有限责任公司 | 配电网配调值班任务自动分工方法、系统及计算机设备 |
CN113032113A (zh) * | 2019-12-25 | 2021-06-25 | 中科寒武纪科技股份有限公司 | 任务调度方法及相关产品 |
CN113886066A (zh) * | 2021-09-02 | 2022-01-04 | 中国人民解放军92578部队 | 一种有限资源下大计算任务规划方法及系统 |
CN116996513A (zh) * | 2023-08-09 | 2023-11-03 | 无锡斑目信息技术有限公司 | 一种设备资产管理系统的资源调度方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1979423A (zh) * | 2005-11-30 | 2007-06-13 | 迈普(四川)通信技术有限公司 | 多处理器负载分配调整方法 |
CN101706741A (zh) * | 2009-12-11 | 2010-05-12 | 中国人民解放军国防科学技术大学 | 一种基于负载平衡的cpu和gpu两级动态任务划分方法 |
JP2010277171A (ja) * | 2009-05-26 | 2010-12-09 | Hitachi Ltd | タスク割当装置、および、タスク割当方法 |
CN102004670A (zh) * | 2009-12-17 | 2011-04-06 | 华中科技大学 | 一种基于MapReduce的自适应作业调度方法 |
-
2011
- 2011-11-04 CN CN2011103452172A patent/CN102426544A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1979423A (zh) * | 2005-11-30 | 2007-06-13 | 迈普(四川)通信技术有限公司 | 多处理器负载分配调整方法 |
JP2010277171A (ja) * | 2009-05-26 | 2010-12-09 | Hitachi Ltd | タスク割当装置、および、タスク割当方法 |
CN101706741A (zh) * | 2009-12-11 | 2010-05-12 | 中国人民解放军国防科学技术大学 | 一种基于负载平衡的cpu和gpu两级动态任务划分方法 |
CN102004670A (zh) * | 2009-12-17 | 2011-04-06 | 华中科技大学 | 一种基于MapReduce的自适应作业调度方法 |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104133523A (zh) * | 2013-04-30 | 2014-11-05 | 李森墉 | 电子系统及其应用之扩充装置、电子装置及处理方法 |
CN105335209A (zh) * | 2014-06-19 | 2016-02-17 | 联想(北京)有限公司 | 一种虚拟机调度方法、电子设备及服务器 |
CN104598412A (zh) * | 2014-10-17 | 2015-05-06 | 新浪网技术(中国)有限公司 | 一种数据传输方法及装置 |
CN104598318A (zh) * | 2014-12-30 | 2015-05-06 | 北京奇艺世纪科技有限公司 | 节点计算能力的汇报方法和计算节点 |
CN104598318B (zh) * | 2014-12-30 | 2018-12-04 | 北京奇艺世纪科技有限公司 | 节点计算能力的汇报方法和计算节点 |
CN104731660B (zh) * | 2014-12-31 | 2018-01-12 | 北京天诚盛业科技有限公司 | 数据分配方法、装置和系统 |
CN104702409A (zh) * | 2014-12-31 | 2015-06-10 | 北京天诚盛业科技有限公司 | 基于云平台的生物识别系统及其方法 |
CN104731660A (zh) * | 2014-12-31 | 2015-06-24 | 北京天诚盛业科技有限公司 | 数据分配方法、装置和系统 |
CN104702409B (zh) * | 2014-12-31 | 2018-04-27 | 北京天诚盛业科技有限公司 | 基于云平台的生物识别系统及其方法 |
CN106302579A (zh) * | 2015-05-20 | 2017-01-04 | 无锡天脉聚源传媒科技有限公司 | 一种任务的分发方法及服务器 |
CN105488134A (zh) * | 2015-11-25 | 2016-04-13 | 用友网络科技股份有限公司 | 大数据处理方法及大数据处理装置 |
CN106911772A (zh) * | 2017-02-20 | 2017-06-30 | 联想(北京)有限公司 | 服务器分配方法、服务器分配装置以及电子设备 |
CN107423425B (zh) * | 2017-08-02 | 2020-08-14 | 德比软件(上海)有限公司 | 一种对k/v格式的数据快速存储和查询方法 |
CN107423425A (zh) * | 2017-08-02 | 2017-12-01 | 德比软件(上海)有限公司 | 一种对k/v格式的数据快速存储和查询方法 |
CN109842665A (zh) * | 2017-11-29 | 2019-06-04 | 北京京东尚科信息技术有限公司 | 用于任务分配服务器的任务处理方法和装置 |
CN109842665B (zh) * | 2017-11-29 | 2022-02-22 | 北京京东尚科信息技术有限公司 | 用于任务分配服务器的任务处理方法和装置 |
CN109936472A (zh) * | 2017-12-18 | 2019-06-25 | 上海无线通信研究中心 | 面向雾计算的节点计算能力描述方法、交互方法及其设备 |
CN110727516B (zh) * | 2019-10-12 | 2020-08-28 | 江苏卫健信息科技有限公司 | 一种数据分析任务的分配方法 |
CN110727516A (zh) * | 2019-10-12 | 2020-01-24 | 江苏卫健信息科技有限公司 | 一种数据分析任务的分配方法 |
CN113032113A (zh) * | 2019-12-25 | 2021-06-25 | 中科寒武纪科技股份有限公司 | 任务调度方法及相关产品 |
CN111311129A (zh) * | 2020-03-31 | 2020-06-19 | 广东电网有限责任公司 | 配电网配调值班任务自动分工方法、系统及计算机设备 |
CN113886066A (zh) * | 2021-09-02 | 2022-01-04 | 中国人民解放军92578部队 | 一种有限资源下大计算任务规划方法及系统 |
CN116996513A (zh) * | 2023-08-09 | 2023-11-03 | 无锡斑目信息技术有限公司 | 一种设备资产管理系统的资源调度方法 |
CN116996513B (zh) * | 2023-08-09 | 2024-04-02 | 无锡斑目信息技术有限公司 | 一种设备资产管理系统的资源调度方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102426544A (zh) | 任务分配方法和系统 | |
CN105205231B (zh) | 一种基于dcom的配电网数字仿真系统 | |
EP3180695B1 (en) | Systems and methods for auto-scaling a big data system | |
CN104238712B (zh) | 分布式功率输送 | |
CN111522636A (zh) | 应用容器的调整方法、调整系统、计算机可读介质及终端设备 | |
CN103399800B (zh) | 基于Linux并行计算平台的动态负载均衡方法 | |
CN104102543A (zh) | 一种云计算环境中负载调整的方法和装置 | |
CN103595651B (zh) | 基于分布式的数据流处理方法和系统 | |
CN103399781B (zh) | 云服务器及其虚拟机管理方法 | |
CN102521662A (zh) | 一种云计算环境中消费计费的方法 | |
CN104331331A (zh) | 任务数目和性能感知的可重构多核处理器的资源分配方法 | |
JP6263995B2 (ja) | 情報処理システム、管理装置、情報処理システムの制御方法及び管理装置の制御プログラム | |
CN102510403B (zh) | 用于车辆数据接收和实时分析的集群分布式系统及方法 | |
CN103530335B (zh) | 电力计量采集系统的入库操作方法及装置 | |
CN104717251A (zh) | OpenStack云计算管理平台Cell节点调度方法和系统 | |
CN103685544A (zh) | 一种基于性能预估的客户端缓存分配方法和系统 | |
CN103488538A (zh) | 云计算系统中的应用扩展装置和应用扩展方法 | |
CN111418187A (zh) | 云网络中的可伸缩统计和分析机制 | |
CN111901405A (zh) | 一种多节点监控方法、装置、电子设备及存储介质 | |
US20150304177A1 (en) | Processor management based on application performance data | |
CN102710766A (zh) | 一种基于实时访问负载评测的集群存储接口节点配置方法 | |
CN111158904A (zh) | 一种任务调度方法、装置、服务器及介质 | |
CN109995551B (zh) | 云计算系统的业务计量方法及装置 | |
CN108279934A (zh) | 服务器bios性能参数设置方法、装置及存储介质 | |
CN115344358A (zh) | 资源调度方法、装置和管理节点 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C12 | Rejection of a patent application after its publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20120425 |