CN104598318A - 节点计算能力的汇报方法和计算节点 - Google Patents

节点计算能力的汇报方法和计算节点 Download PDF

Info

Publication number
CN104598318A
CN104598318A CN201410851132.5A CN201410851132A CN104598318A CN 104598318 A CN104598318 A CN 104598318A CN 201410851132 A CN201410851132 A CN 201410851132A CN 104598318 A CN104598318 A CN 104598318A
Authority
CN
China
Prior art keywords
information
node
hardware resource
computing
cpu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410851132.5A
Other languages
English (en)
Other versions
CN104598318B (zh
Inventor
杨成伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201410851132.5A priority Critical patent/CN104598318B/zh
Publication of CN104598318A publication Critical patent/CN104598318A/zh
Application granted granted Critical
Publication of CN104598318B publication Critical patent/CN104598318B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

本发明实施例提供了一种节点计算能力的汇报方法和计算节点、一种集群管理方法和集群管理节点,其中,所述节点计算能力的汇报方法具体包括:计算节点获取自身硬件资源的质信息和量信息;计算节点依据所述硬件资源的质信息和量信息,确定所述硬件资源的计算能力信息;计算节点向管理节点汇报所述硬件资源的计算能力信息。本发明实施例能够避免由于计算节点的异质特性导致汇报的计算能力不准确的问题。

Description

节点计算能力的汇报方法和计算节点
技术领域
本发明涉及计算机技术领域,特别是涉及一种节点计算能力的汇报方法和计算节点、一种集群管理方法和集群管理节点。
背景技术
计算机集群是一种计算机系统,其通过多台计算机(又称为计算节点)连接起来协作完成计算作业。这些计算节点位于同一管理域中,其具有唯一的管理策略并且作为一个整体向用户提供服务。例如,ApacheMesos就是一个分布式系统的集群架构,可以实现高效率的并行计算和海量存储。
将计算机集群上的计算任务分配到多个计算节点上的过程可以称为任务的调度。现有任务的调度方法通常为:每个计算节点将自己的CPU核心数上报给集群内的调度器,该调度器按照CPU核心数进行任务的调度。
然而,计算机集群中不可避免地存在计算能力不均衡的计算节点,也即,即使在CPU核心数相同的情况下,这些不均衡的计算节点仍可能具有不同的计算能力。
这样,在实际中会存在如下情况:一个计算任务可以细分为多个子任务,从而可以分配到多个计算节点上并发执行,假设每个子任务需要的资源为1个CPU、256MB内存,而计算机集群中的第一计算节点的CPU主频为1.5GHz,而第二计算节点的CPU主频为3.0GHz,显然,当同样大小的子任务被分配到这两个计算节点上计算时,这两个计算节点对于子任务的完成时间是不同的,这将会导致整个任务的完成时间由最慢的子任务决定,失去了原本的并行计算能力。
还有可能存在另一种更糟的情况:如果这些细分的子任务并不是并行的,而是存在某种依赖关系,例如,某个子任务的计算输出可能是另一个子任务的输入,那么,整个任务的计算能力由最慢的子任务决定。
综上,由于计算机集群中计算节点的计算能力不均衡的特性,使得计算机集群的计算资源无法充分利用,这无疑影响了计算效率。
发明内容
本发明实施例所要解决的技术问题是提供一种节点计算能力的汇报方法和计算节点、一种集群管理方法和管理节点,能够确定计算节点的真实计算能力信息,使得调度器更准确地估计任务大小需要的计算节点的计算能力,从而可以获得可预期的任务执行时间,合理利用计算资源,提高计算机集群的计算能力。
为了解决上述问题,本发明公开了一种节点计算能力的汇报方法,包括:
计算节点获取自身硬件资源的质信息和量信息;
计算节点依据所述硬件资源的质信息和量信息,确定所述硬件资源的计算能力信息;
计算节点向管理节点汇报所述硬件资源的计算能力信息。
优选地,所述计算节点依据所述硬件资源的质信息和量信息,确定所述硬件资源的计算能力信息的步骤,包括:
依据所述硬件资源的质信息和量信息的乘积与变量因子的比值,确定所述硬件资源的计算能力信息;其中,所述变量因子在计算机集群中具有唯一值。
优选地,通过如下步骤确定所述变量因子:
确定计算机集群中最小的CPU主频为变量因子;
或者,确定计算机集群中所有计算节点的平均CPU主频为变量因子;
或者,设定一个非零数值作为变量因子。
优选地,所述硬件资源包括CPU,则所述CPU的量信息包括:CPU核心数信息,所述CPU的质信息包括:CPU主频信息。
另一方面,本发明还公开了一种集群管理方法,包括:
收集各计算节点对应硬件资源的计算能力信息;其中,所述硬件资源的计算能力信息为依据所述硬件资源的质信息和量信息确定得到。
又一方面,本发明还公开了一种计算节点,包括:
获取模块,用于计算节点获取自身硬件资源的质信息和量信息;
确定模块,用于计算节点依据所述硬件资源的质信息和量信息,确定所述硬件资源的计算能力信息;及
汇报模块,用于计算节点向管理节点汇报所述硬件资源的计算能力信息。
优选地,所述确定模块,包括:
计算单元,用于依据所述硬件资源的质信息和量信息的乘积与变量因子的比值,确定所述硬件资源的计算能力信息;其中,所述变量因子在计算机集群中具有唯一值。
优选地,所述计算单元,包括:
第一计算子单元,用于确定计算机集群中最小的CPU主频为变量因子;或者
第二计算子单元,用于确定计算机集群中所有计算节点的平均CPU主频为变量因子;或者
第三计算子单元,用于设定一个非零数值作为变量因子。
再一方面,本发明还公开了一种集群管理节点,包括:
收集模块,用于收集各计算节点对应硬件资源的计算能力信息;其中,所述硬件资源的计算能力信息为依据所述硬件资源的质信息和量信息确定得到。
与现有技术相比,本发明实施例包括以下优点:
本发明实施例在确定CPU的计算能力信息的过程中,既考虑到了传统的量信息,又考虑到了被本领域技术人员忽略的质信息,因此,相对于现有方案,本发明实施例确定的CPU的计算能力信息能够更真实地反映CPU的计算能力,因此能够避免由于计算节点的异质特性导致汇报的计算能力不准确的问题;并且,更真实的计算能力信息能够使得调度器更准确地估计任务大小需要的计算节点的计算能力,从而可以获得可预期的任务执行时间,合理利用计算资源,提高计算机集群的计算能力,也即能够解决最终任务的完成时间由计算能力最差的计算节点来决定的问题。
附图说明
图1是本发明的一种节点计算能力的汇报方法实施例一的步骤流程图;以及
图2是本发明的一种计算节点实施例的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
本专利发明人注意到计算机集群中各计算节点汇报的计算能力不准确主要是由硬件资源的异质特性引起的,因此创造性地提出,计算节点依据所述硬件资源的质信息和量信息来共同确定所述硬件资源的计算能力信息;以CPU硬件资源为例,其量信息主要包括CPU核心数,其质信息主要包括CPU主频,也即本发明实施例在确定CPU的计算能力信息的过程中,既考虑到了传统的量信息,又考虑到了被本领域技术人员忽略的质信息,因此,相对于现有方案,本发明实施例确定的CPU的计算能力信息能够更真实地反映CPU的计算能力,从而避免了由于计算节点的异质特性导致汇报的计算能力不准确的问题;并且,更真实的计算能力信息能够使得调度器更准确地估计任务大小需要的计算节点的计算能力,从而可以获得可预期的任务执行时间,合理利用计算资源,提高计算机集群的计算能力。
汇报方法实施例一
参照图1,示出了本发明的一种节点计算能力的汇报方法实施例一的步骤流程图,具体可以包括如下步骤:
步骤101、计算节点获取自身硬件资源的质信息和量信息;
在本发明的一种应用示例中,计算节点的硬件资源可以包括CPU。现有方案中,计算节点仅仅向管理节点汇报CPU核心数,即CPU的量信息;然而,CPU在核心数相同的情况下,还可能具有不同的CPU主频,即CPU的质信息;也就是CPU具有异质特性,因此,具有相同CPU核心数的计算节点的计算能力可能是不均衡的,所以,本发明实施例既考虑了获取硬件资源的量信息,又考虑了硬件资源的质信息。当然,除了CPU主频之外,还存在其它CPU的质信息,例如CPU型号、微架构、工艺、支持的指令集等等,本发明实施例对具体CPU的质信息不加以限制。
在本发明的另一种应用示例中,计算节点的硬件资源还可以包括磁盘。作为计算机的数据存储器,容量是磁盘最主要的衡量参数,因此,磁盘容量信息可以作为磁盘的量信息;然而,在处理与数据库相关的任务时,需要频繁地读写磁盘,磁盘的读写速度就会大大地影响任务的执行效率。本专利发明人注意到,磁盘接口标准与磁盘读写速度密切相关,不同的磁盘接口标准可能具有不同的外部数据传输率,这将会影响磁盘的读写速度。例如常见的磁盘接口标准有IDE(电子集成驱动器、Integrated DriveElectronics)、SAS(串行连接SCSI,Serial Attached SCSI)、SATA(串行高级技术附件,Serial Advanced Technology Attachment)、SCSI(小型计算机系统接口,Small Computer System Interface)等,其中,IDE中的一个标准规范ATA(硬盘接口技术,Advanced Technology Attachment)在不同的传输模式下其外部数据传输率都具有很大的差别。例如,ATA100接口的外部数据传输率理论最大值是100MB/s;ATA133接口则代表外部数据传输率理论最大值是133MB/s;而SATA1.0接口的外部理论数据最大传输率为150MB/s,SATAII接口的外部理论数据最大传输率可达300MB/s。因此,磁盘接口标准信息可以是磁盘的质信息的一个典型示例。当然,除了磁盘接口标准信息外,本领域技术人员还可以根据实际需要采用其它的磁盘的质信息,如磁盘的转速、平均访问时间等因素也会影响到磁盘的读写速度,在具体实施时,也可以作为磁盘的质信息。
在具体实现时,本领域技术人员可以根据实际情况选取硬件资源的质信息和量信息。例如,为了简化计算,可以仅仅获取计算节点的CPU主频以及CPU核心数作为计算节点的质信息和量信息;或者,为了使得计算出的节点计算能力更加精确,可以获取更多的硬件资源的质信息和量信息。例如,获取计算节点的CPU核心数以及CPU主频之外,还可以获取磁盘的容量以及磁盘的接口标准信息等。
步骤102、计算节点依据所述硬件资源的质信息和量信息,确定所述硬件资源的计算能力信息;
以CPU硬件资源为例,计算节点可以通过CPU的主频和物理核心数,确定所述CPU硬件资源的计算能力信息。
在具体实现中,本领域技术人员可以根据实际情况确定一项硬件资源的计算能力信息,也可以确定多项硬件资源的计算能力信息,并进行上报。本发明实施例对于硬件资源的具体项数不做限制,以及对于通过所述质信息和量信息得到计算节点的计算能力的计算方法也不做具体限制。
步骤103、计算节点向管理节点汇报所述硬件资源的计算能力信息。
在实际应用中,所述管理节点可用于表示对计算节点执行管理操作的节点。
综上,本发明实施例中,计算节点获取自身硬件资源的质信息和量信息,依据所述硬件资源的质信息和量信息来共同确定所述硬件资源的计算能力信息,该计算能力信息能够更加真实地反映计算节点的计算能力;计算节点将计算得到的计算能力信息汇报至管理节点,使得管理节点可以根据各计算节点真实的计算能力分配任务,从而避免了由于计算节点的异质特性导致汇报的计算能力不准确的问题。
汇报方法实施例二
本实施例的节点计算能力的汇报方法在上述图1所示实施例的基础上,进一步还可以包括如下可选技术方案。
所述计算节点依据所述硬件资源的质信息和量信息,确定所述硬件资源的计算能力信息的步骤,具体可以包括:
依据所述硬件资源的质信息和量信息的乘积与变量因子的比值,确定所述硬件资源的计算能力信息;其中,所述变量因子在计算机集群中具有唯一值。
在本发明的一种应用示例中,以CPU硬件资源为例,说明确定所述CPU硬件资源的计算能力信息的步骤,具体可以包括:
步骤S1、计算节点获取自身的CPU主频F、CPU核心数C,以及确定所述CPU主频F与CPU核心数C的乘积为第一因子;
步骤S2、确定预置的变量因子N为第二因子;
步骤S3、依据所述第一因子与第二因子的比值,确定所述CPU的计算能力信息。
具体地,可以提供上述CPU的计算能力信息的如下计算方法:
CPU的计算能力信息=C*F/N;(1)
其中,变量因子可以为非零的任意数值,如正整数或正浮点数,甚至是负数等,且其在整个计算机集群中具有唯一值。上述公式可以对各计算节点的CPU进行同质化,即,消除由于CPU的异质特性汇报的计算能力不准确问题,使得汇报的CPU的计算能力信息能够真实的反映该CPU的计算能力。在本发明的一种应用示例中,以三个计算节点A、B和C为例,可以设置变量因子N的值为2,通过上述公式(1)计算得到的结果可以参见表1。
表1
从表1可以看出,在现有技术中,如果只考虑CPU核心数,则节点A、B和C的计算能力是相同的,但是三个节点的主频却不相同,实际的计算能力也会有差别,而根据本发明提供的公式(1),计算得到的CPU的计算能力信息,既考虑到CPU的量信息,又考虑到CPU的质信息,可以更加真实地反映各节点CPU的计算能力。
此外,本领域技术人员应该知悉,上述表1中设置变量因子N的值为2只是作为一个示例,本领域技术人员可以根据实际需要采用非零的任意数值作为变量因子,如正整数或正浮点数,甚至是负数等。例如可以指定变量因子为1,那么上述示例中节点A的计算能力为:3.0GHz*4core/1=12,节点B的计算能力为:2.0GHz*4core/1=8;又例如,指定变量因子为0.1,那么节点A和节点B的计算能力分别为3.0*4/0.1=120,2.0*4/0.1=80。上述变量因子均可以真实地反映各节点CPU的计算能力。
考虑到磁盘硬件资源时,对于磁盘的计算能力,可以由磁盘的量信息(磁盘容量)和磁盘的质信息(磁盘接口的外部数据传输率)共同确定,而不是单纯以磁盘容量作为衡量磁盘计算能力的因素,避免了在执行需要频繁读写磁盘的任务时,出现同样容量大小的磁盘因为异质特性(如磁盘接口的外部数据传输率不同)导致任务完成的时间不唯一的问题。
综上,本发明实施例根据变量因子以及所述硬件资源的质信息和量信息共同确定计算节点的计算能力,其中,变量因子可以为非零的任意数值,起到对各计算节点的硬件资源进行同质化的作用,即,可以消除由于硬件资源的异质特性带来的计算能力汇报不准确的问题,但是前提是在计算机集群中,计算节点的同类型的硬件资源需采用唯一的变量因子。若不采用唯一的变量因子,则会出现如表2所示的结果。
表2
从表2可以看出,计算节点A、B和C由于没有采用唯一的变量因子,使得最终计算出的计算能力与原始计算能力相同,依然不能反映各节点的真实计算能力。
因此,本发明实施例中,计算机集群通过对同类型的硬件资源采用唯一的变量因子,能够将不同质的计算节点同质化,使计算得到的各节点的计算能力能够反映各节点的真实计算能力,从而可以消除由于硬件资源的异质特性带来的计算能力汇报不准确的问题。
汇报方法实施例三
本实施例的节点计算能力的汇报方法在上述图1所示实施例的基础上,进一步还可以包括如下可选技术方案。
可以通过如下方法确定所述变量因子:
方法一、确定计算机集群中最小的CPU主频为变量因子;
在当前情况下,具有最小CPU主频的节点的CPU逻辑核心数和物理核心数相等,而其它计算节点的CPU逻辑核心数都大于物理核心数。
方法二、确定计算机集群中所有计算节点的平均CPU主频为变量因子;
方法三、设定一个非零数值作为变量因子。
本领域技术人员应该知悉,在具体应用中,对于所述变量因子的取值没有具体限制,上述三种方法只是作为一种示例。在实际操作中,因为集群总是在动态扩展,可能不定期会有新的计算结点加入,所以最小CPU主频和平均CPU主频都会随着集群的变化而变化。因此,管理员任意设定一个非零数值作为变量因子,能够避免集群动态扩展导致变量因子反复修改的问题。
本发明实施例中,计算机集群通过对同类型的硬件资源采用唯一的变量因子,能够将不同质的计算节点同质化,使计算得到的各节点的计算能力能够反映各节点的真实计算能力。并且,变量因子的灵活选取可以增加计算的灵活性,可以依据实际情况对变量因子进行灵活设置,使得本发明提供的方法在实施时更加简便与灵活。
集群管理方法实施例
本发明的一种集群管理方法具体可以包括如下步骤:
收集各计算节点对应硬件资源的计算能力信息;其中,所述硬件资源的计算能力信息为依据所述硬件资源的质信息和量信息确定得到;
在本发明的一种应用示例中,在计算机集群中,收集各计算节点对应硬件资源的计算能力信息,所述硬件资源可以包括CPU、磁盘、网络带宽等资源,所述对应硬件资源的计算能力信息可以包括依据所述CPU、磁盘、网络带宽等资源的质信息和量信息共同确定得到的计算能力信息。
在本发明的另一种应用示例中,还可以将收集的各计算节点对应硬件资源的计算能力信息汇报给调度器,使得调度器可以依据各计算节点对应硬件资源的计算能力信息,进行任务调度。
现有技术中,调度器在进行任务调度时,只能相信底层汇报的各计算节点的计算能力是正确的,所以现有的调度方法在具有异质特性的集群中不能高效的运行。而本发明提供的方法将具有异质特性的节点进行同质化后,这些广泛使用的现有的调度方法可以不做任何修改即可更高效的运行。
针对背景技术中的例子,一个计算任务可以细分为多个子任务,从而可以分配到多个计算节点上并发执行,假设每个子任务需要的资源为1个CPU、256MB内存,而计算机集群中的第一计算节点的CPU主频为1.5GHz,而第二计算节点的CPU主频为3.0GHz,显然,当同样大小的子任务被分配到这两个计算节点上计算时,这两个计算节点对于子任务的完成时间是不同的,这将会导致整个任务的完成时间由最慢的子任务决定。
利用本发明提供的节点计算能力的汇报方法重新汇报第一节点与第二节点的计算能力,假设变量因子为第一计算节点的CPU主频,即设置变量因子为1.5,则可以计算出第一节点的计算能力为1.5*1/1.5=1,第二节点的计算能力为3*1/1.5=2,根据上述第一节点和第二节点的计算能力为第一节点和第二节点分配任务,即可以为第二节点分配两个与第一节点同样大小的子任务,从而可以保证两个计算节点对于子任务的完成时间是相同的。
同理,还可以可以依据各计算节点对应磁盘、网络带宽等硬件资源的计算能力信息,进行任务调度,在此不作赘述,相互参照即可。
在本发明的另一优选实施例中,在调度任务时,可以同时考虑多项硬件资源,如CPU、网络带宽、磁盘等,所有的资源和请求都用一个多维的键值对表示,例如{CPU:5,NET:40,DISK:60}。因此,判断当前节点的硬件资源的计算能力能否满足当前任务对于计算能力的要求时,可以简单地抽象成多维向量的比较问题,例如向量R表示当前节点的硬件资源的计算能力,Q表示当前任务对于计算能力的要求,则当R:[r1,r2,r3]>Q:[q1,q2,q3]时,其中1、2、3等数字表示各个维度,当且仅当R各个维度均大于Q时才判断R>Q,此时,可以认为当前节点的硬件资源的计算能力满足当前任务对于计算能力的要求,则当前节点可以执行该任务。
可以理解,本领域技术人员可以根据实际情况依据一项或多项硬件资源进行任务调度。例如,有些任务,如数据库相关的任务,需要频繁地读写磁盘,因此需要考虑磁盘速度,此时需要依据磁盘和CPU两项资源进行任务调度;而对于一般的任务,如仅仅计算(如机器学习),不需要频繁读写磁盘,仅需要满足磁盘容量即可,此时可以仅仅依据CPU资源一项资源进行任务调度。
另外,通过多项硬件资源的计算能力联合确定节点的计算能力的方法也并不局限于上述的向量比较方法,还可以采用加权平均的方法,或者其它能够综合评价节点的计算能力的方法,本发明对此不作具体限制。
综上,本发明实施例中,收集各计算节点对应硬件资源的计算能力信息;其中,所述硬件资源的计算能力信息为依据所述硬件资源的质信息和量信息确定得到;这样,上层的调度器在为具有异质特性的计算节点分配相同大小的子任务时,能够以透明的方式按照任务大小来精确的申请计算资源。也就是说,一旦底层的计算节点进行同质化以后,调度器就能够享受到同质化带来的好处,使得细分的各子任务在相近时间点完成,从而使整个任务在更短的时间内完成,能够提高计算节点的计算效率。
计算节点实施例
参照图2,示出了本发明的一种计算节点实施例的结构框图,具体可以包括以下模块:
获取模块210,用于计算节点获取自身硬件资源的质信息和量信息;
确定模块220,用于计算节点依据所述硬件资源的质信息和量信息,确定所述硬件资源的计算能力信息;及
汇报模块230,用于计算节点向管理节点汇报所述硬件资源的计算能力信息。
在本发明的一种优选实施例中,所述确定模块220,具体可以包括:
计算单元,用于依据所述硬件资源的质信息和量信息的乘积与变量因子的比值,确定所述硬件资源的计算能力信息;其中,所述变量因子在计算机集群中具有唯一值。
在具体实施时,计算单元实际上是用于获取计算集群的变量因子,具体地,可以从配置文件中读取变量因子,或者通过远程过程调用获取变量因子等等,本发明对于计算单元获取变量因子的方式不做具体限制。
在本发明的另一种优选实施例中,所述计算单元,具体可以包括:
第一计算子单元,用于确定计算机集群中最小的CPU主频为变量因子;或者
第二计算子单元,用于确定计算机集群中所有计算节点的平均CPU主频为变量因子;或者
第三计算子单元,用于设定一个非零数值作为变量因子。
在本发明的又一种优选实施例中,所述硬件资源可以包括CPU,则所述CPU的量信息可以包括:CPU核心数信息,所述CPU的质信息可以包括:CPU主频信息。
集群管理节点实施例
本发明的一种集群管理节点具体可以包括以下模块:
收集模块,用于收集各计算节点对应硬件资源的计算能力信息;其中,所述硬件资源的计算能力信息为依据所述硬件资源的质信息和量信息确定得到。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种节点计算能力的汇报方法和计算节点、一种集群管理方法和集群管理节点,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种节点计算能力的汇报方法,其特征在于,包括:
计算节点获取自身硬件资源的质信息和量信息;
计算节点依据所述硬件资源的质信息和量信息,确定所述硬件资源的计算能力信息;
计算节点向管理节点汇报所述硬件资源的计算能力信息。
2.如权利要求1所述的方法,其特征在于,所述计算节点依据所述硬件资源的质信息和量信息,确定所述硬件资源的计算能力信息的步骤,包括:
依据所述硬件资源的质信息和量信息的乘积与变量因子的比值,确定所述硬件资源的计算能力信息;其中,所述变量因子在计算机集群中具有唯一值。
3.如权利要求2所述的方法,其特征在于,通过如下步骤确定所述变量因子:
确定计算机集群中最小的CPU主频为变量因子;
或者,确定计算机集群中所有计算节点的平均CPU主频为变量因子;
或者,设定一个非零数值作为变量因子。
4.如权利要求1或2或3所述的方法,其特征在于,所述硬件资源包括CPU,则所述CPU的量信息包括:CPU核心数信息,所述CPU的质信息包括:CPU主频信息。
5.一种集群管理方法,其特征在于,包括:
收集各计算节点对应硬件资源的计算能力信息;其中,所述硬件资源的计算能力信息为依据所述硬件资源的质信息和量信息确定得到。
6.一种计算节点,其特征在于,包括:
获取模块,用于计算节点获取自身硬件资源的质信息和量信息;
确定模块,用于计算节点依据所述硬件资源的质信息和量信息,确定所述硬件资源的计算能力信息;及
汇报模块,用于计算节点向管理节点汇报所述硬件资源的计算能力信息。
7.如权利要求6所述的节点,其特征在于,所述确定模块,包括:
计算单元,用于依据所述硬件资源的质信息和量信息的乘积与变量因子的比值,确定所述硬件资源的计算能力信息;其中,所述变量因子在计算机集群中具有唯一值。
8.如权利要求7所述的节点,其特征在于,所述计算单元,包括:
第一计算子单元,用于确定计算机集群中最小的CPU主频为变量因子;或者
第二计算子单元,用于确定计算机集群中所有计算节点的平均CPU主频为变量因子;或者
第三计算子单元,用于设定一个非零数值作为变量因子。
9.如权利要求6或7或8所述的节点,其特征在于,所述硬件资源包括CPU,则所述CPU的量信息包括:CPU核心数信息,所述CPU的质信息包括:CPU主频信息。
10.一种集群管理节点,其特征在于,包括:
收集模块,用于收集各计算节点对应硬件资源的计算能力信息;其中,所述硬件资源的计算能力信息为依据所述硬件资源的质信息和量信息确定得到。
CN201410851132.5A 2014-12-30 2014-12-30 节点计算能力的汇报方法和计算节点 Active CN104598318B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410851132.5A CN104598318B (zh) 2014-12-30 2014-12-30 节点计算能力的汇报方法和计算节点

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410851132.5A CN104598318B (zh) 2014-12-30 2014-12-30 节点计算能力的汇报方法和计算节点

Publications (2)

Publication Number Publication Date
CN104598318A true CN104598318A (zh) 2015-05-06
CN104598318B CN104598318B (zh) 2018-12-04

Family

ID=53124132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410851132.5A Active CN104598318B (zh) 2014-12-30 2014-12-30 节点计算能力的汇报方法和计算节点

Country Status (1)

Country Link
CN (1) CN104598318B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106095586A (zh) * 2016-06-23 2016-11-09 东软集团股份有限公司 一种任务分配方法、装置及系统
CN106708624A (zh) * 2016-11-25 2017-05-24 国电南瑞科技股份有限公司 一种多工作域计算资源的自适应调整方法
CN109936472A (zh) * 2017-12-18 2019-06-25 上海无线通信研究中心 面向雾计算的节点计算能力描述方法、交互方法及其设备
CN110187960A (zh) * 2019-04-23 2019-08-30 广东省智能制造研究所 一种分布式资源调度方法及装置
CN110213327A (zh) * 2019-04-23 2019-09-06 广东省智能制造研究所 一种基于边缘计算的资源调度方法、装置及系统
CN110458294A (zh) * 2019-08-19 2019-11-15 Oppo广东移动通信有限公司 模型运行方法、装置、终端及存储介质
CN110837421A (zh) * 2019-11-13 2020-02-25 北京知道创宇信息技术股份有限公司 一种任务分配方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102004670A (zh) * 2009-12-17 2011-04-06 华中科技大学 一种基于MapReduce的自适应作业调度方法
CN102426544A (zh) * 2011-11-04 2012-04-25 浪潮(北京)电子信息产业有限公司 任务分配方法和系统
CN102591443A (zh) * 2011-12-29 2012-07-18 华为技术有限公司 一种虚拟化集群整合方法、装置及系统
US20120266177A1 (en) * 2011-04-12 2012-10-18 Hitachi, Ltd. Management system, computer system including the management system, and management method
CN102819458A (zh) * 2011-06-07 2012-12-12 中兴通讯股份有限公司 一种分布式操作命令的处理方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102004670A (zh) * 2009-12-17 2011-04-06 华中科技大学 一种基于MapReduce的自适应作业调度方法
US20120266177A1 (en) * 2011-04-12 2012-10-18 Hitachi, Ltd. Management system, computer system including the management system, and management method
CN102819458A (zh) * 2011-06-07 2012-12-12 中兴通讯股份有限公司 一种分布式操作命令的处理方法及系统
CN102426544A (zh) * 2011-11-04 2012-04-25 浪潮(北京)电子信息产业有限公司 任务分配方法和系统
CN102591443A (zh) * 2011-12-29 2012-07-18 华为技术有限公司 一种虚拟化集群整合方法、装置及系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106095586A (zh) * 2016-06-23 2016-11-09 东软集团股份有限公司 一种任务分配方法、装置及系统
CN106708624A (zh) * 2016-11-25 2017-05-24 国电南瑞科技股份有限公司 一种多工作域计算资源的自适应调整方法
CN106708624B (zh) * 2016-11-25 2020-08-11 国电南瑞科技股份有限公司 一种多工作域计算资源的自适应调整方法
CN109936472A (zh) * 2017-12-18 2019-06-25 上海无线通信研究中心 面向雾计算的节点计算能力描述方法、交互方法及其设备
CN110187960A (zh) * 2019-04-23 2019-08-30 广东省智能制造研究所 一种分布式资源调度方法及装置
CN110213327A (zh) * 2019-04-23 2019-09-06 广东省智能制造研究所 一种基于边缘计算的资源调度方法、装置及系统
CN110458294A (zh) * 2019-08-19 2019-11-15 Oppo广东移动通信有限公司 模型运行方法、装置、终端及存储介质
CN110458294B (zh) * 2019-08-19 2022-02-25 Oppo广东移动通信有限公司 模型运行方法、装置、终端及存储介质
CN110837421A (zh) * 2019-11-13 2020-02-25 北京知道创宇信息技术股份有限公司 一种任务分配方法及装置

Also Published As

Publication number Publication date
CN104598318B (zh) 2018-12-04

Similar Documents

Publication Publication Date Title
CN104598318A (zh) 节点计算能力的汇报方法和计算节点
CN103324724B (zh) 数据处理方法及装置
US9401852B2 (en) Resource allocation for migration within a multi-tiered system
CN110222029A (zh) 一种大数据多维分析计算效率提升方法及系统
US8682850B2 (en) Method of enhancing de-duplication impact by preferential selection of master copy to be retained
CN106407303A (zh) 数据存储、查询方法及装置
CN103605662A (zh) 一种分布式计算框架参数优化方法、装置及系统
Javadpour et al. Detecting straggler MapReduce tasks in big data processing infrastructure by neural network
CN101370025A (zh) 地理信息数据的存储方法、调度方法及管理系统
CN102857560A (zh) 一种面向多业务应用的云存储数据分布方法
CN103455531A (zh) 一种支持高维数据实时有偏查询的并行索引方法
CN103514084A (zh) 反映计算机设备硬盘读写能效的测试方法
CN111130842A (zh) 一种反映网络多维资源的动态网络图谱数据库构建方法
CN101419600A (zh) 基于面向对象文件系统的数据副本映射方法及装置
Park et al. Parameterized benchmarking of parallel discrete event simulation systems: Communication, computation, and memory
CN103245829A (zh) 一种虚拟机功耗测量方法
CN103324577B (zh) 基于最小化io访问冲突和文件分条的大规模分条文件分配系统
CN106201655B (zh) 虚拟机分配方法和虚拟机分配系统
Malensek et al. Autonomous cloud federation for high-throughput queries over voluminous datasets
Kim et al. A scalable high-performance i/o system for a numerical weather forecast model on the cubed-sphere grid
CN103713953A (zh) 一种内存数据的搬移装置及方法
CN103870342B (zh) 云计算环境中的基于结点属性函数的任务核值计算方法
CN105426177A (zh) 一种建立SaaS应用程序模型的方法及系统
CN105786948A (zh) 一种基于gpu的olap系统
CN101901192A (zh) 一种片上和片外数据对象静态分配方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant