CN102567112A

CN102567112A - 集群系统中业务与计算设备的匹配装置

Info

Publication number: CN102567112A
Application number: CN201010581703XA
Authority: CN
Inventors: 张丽晓
Original assignee: Sanda University
Current assignee: Sanda University
Priority date: 2010-12-09
Filing date: 2010-12-09
Publication date: 2012-07-11

Abstract

本发明揭示了一种集群系统中业务与计算设备的匹配装置，包括：硬件测试装置，测试集群系统中的计算设备的硬件指标，硬件指标包括处理器速度、存储器容量、内存容量、网络传输速度、网络安全等级、可靠性和附加硬件；软件测试装置，测试集群系统接收的业务的软件指标，软件指标包括处理器速度指标、存储器指标、内存指标、网络传输指标、网络安全指标、可靠性指标和业务分类；匹配度计算装置，比较硬件指标和软件指标，得到计算设备与业务的匹配度。本发明能够测算软件，例如待执行的业务与硬件，例如集群系统中的计算设备之间的匹配程度，能够帮助集群系统将每一项业务调度给具有最高匹配程度的计算设备来执行，以提高集群能够的整体运行效率。

Description

集群系统中业务与计算设备的匹配装置

技术领域

本发明涉及计算机技术，尤其涉及一种在集群系统中的对软硬件，即业务和计算设备进行匹配度计算的匹配装置。

背景技术

高性能计算一直是国内外科技界，甚至政府十分重视的高科技领域。它不仅同科学技术与国民经济的发展密切有关，而且还直接影响到国家的国防能力和国家安全。在近年来出现的支持高性能计算的计算机系统中，集群系统作为一种易扩充、性价比高的方案得到广泛采纳。应用程序的需求是无限的、不断变化的，集群系统可以有效地支持更广泛的工作负载。2007年11月在国外权威网站上公布的TOP500高性能计算机中，集群系统占据了81.20％。

在集群系统中，良好的调度可以高效利用集群资源，使集群中全部汇集起来的处理能力高效地在众多用户间分配。作业调度是一个很复杂的问题，调度算法是一个应用相关(Application-specific)的问题，具体应用的特性在很大程度上影响和决定着调度系统的性能。调度系统对于不同类型的应用应当采用不同的调度策略，只有在充分考虑作业及资源特性的基础上提出的调度算法才能够获得较高的系统性能。要想在并行化能力上有较大提高，则必须付出昂贵的硬件代价和设计出复杂的算法。

并行作业调度中最主要的两个算法是Backfilling算法和Gang调度算法。Backfilling算法是FCFS算法的改进，它允许调度器不按作业到达顺序运行，当资源无法满足前面大作业的运行要求时，它让一些小作业先运行在当前空闲的处理器上(称为回填)以提高资源利用率。后来很多算法在其基础上进行了改进，出现了EASY(Extensible Argonne SchedulingsYstem)Backfilling算法、保守Backfilling算法和基于Backfilling算法的“扩履适足”的改进算法。

Gang调度的思想是将作业作为一个整体进行调度。每台机器上为作业提供一个相同的环境，一个作业的所有进程一起运行。Gang调度算法是基于并行程序间会有频繁的同步而提出的，避免各并行进程由于运行步调不一致而等待所造成的等待时间。成对Gang调度算法、缓冲协同调度算法是对Gang调度算法的改进。

还有很多其他调度算法，如BestFit算法、自适应算法、遗传算法、基于经济学的资源调度算法和基于QOS的调度算法等，每个算法都有自己的优缺点，满足特定的应用需求。如此而言，上述算法的一个共同的缺点就是通用性不高，都仅局限在一个局部领域。

发明内容

本发明旨在提出一种测算软件与硬件匹配程度的装置，使得软件能够被最适合运行它的硬件来执行。

根据本发明，提出一种集群系统中业务与计算设备的匹配装置，包括：

硬件测试装置，测试集群系统中的计算设备的硬件指标，硬件指标包括处理器速度、存储器容量、内存容量、网络传输速度、网络安全等级、可靠性和附加硬件；

软件测试装置，测试集群系统接收的业务的软件指标，软件指标包括处理器速度指标、存储器指标、内存指标、网络传输指标、网络安全指标、可靠性指标和业务分类；

匹配度计算装置，比较硬件指标和软件指标，得到计算设备与业务的匹配度。

其中硬件测试装置执行下列的项目：测试计算设备的处理器速度；检测计算设备的存储器容量和内存容量；检测计算设备的网络传输速度和网络安全等级；测试计算设备的可靠性；检测计算设备的附加硬件。

硬件测试装置检测计算设备的附加硬件并将附加硬件划归到下述分类中的一种：大量运算设备、图形处理设备、高安全性设备、数据传输设备。

其中软件测试装置执行下列的项目：根据该业务的运算规模计算处理器速度指标和内存指标；根据该业务的数据规模计算存储器指标；根据该业务的运算分布性计算网络传输指标和网络安全指标；根据该业务的可靠性要求计算可靠性指标；根据该业务的种类确定业务分类。

软件测试装置将业务分类确定为下述分类中的一种：大量运算业务、图形处理业务、高安全性业务、数据传输业务。

匹配度计算装置将软件指标中的处理器速度指标、存储器指标、内存指标、网络传输指标、网络安全指标和可靠性指标分别与硬件指标中的处理器速度、存储器容量、内存容量、网络传输速度、网络安全等级和可靠性进行比较，计算每一项的偏差值并将偏差值累加得到总偏差值；匹配度计算装置将软件指标的业务分类与硬件指标中的附加硬件比较，得到倾向值；将总偏差值与倾向值相乘，得到计算设备与业务的匹配度。

匹配度计算装置基于下表计算倾向值：

	大量运算设备	图形处理设备	高安全性设备	数据传输设备
					大量运算业务	1	2	3	3
图形处理业务	2	1	3	3
					高安全性业务	3	3	1	3
数据传输业务	3	3	2	1

本发明的集群系统中业务与计算设备的匹配装置能够测算软件，例如待执行的业务与硬件，例如集群系统中的计算设备之间的匹配程度，能够帮助集群系统将每一项业务调度给具有最高匹配程度的计算设备来执行，以提高集群能够的整体运行效率。

附图说明

图1是根据本发明的集群系统中业务与计算设备的匹配装置的结构图。

具体实施方式

研究表明，在集群系统中，对业务运行有影响的因素可以归结为两大类：软件环境和硬件资源。软件环境主要指特定程序运行所需的运行环境、编译器和工具库，如科学与工程计算软件包PETSc(Portable ExetensibleTookit for Scientific Computing)、BLAS(Basic Linear AlgebraSubprograms)等等。不同的业务可能要求不同的软件环境，只有满足了执行所需的软件需求作业才能运行。

同一个作业在不同配置的计算机上运行的运行时间不同。CPU主频高、内存大、硬盘大的结点运行作业的速度就比较快。并行作业计算时往往要把完成的作业分布到各个处理结点并行执行，各结点间会有大量的通信，所以网络速度对运行也有影响。通过在不同配置机器上运行不同作业测试作业与资源的具体联系，证明CPU频率对计算密集型的作业的影响很大，通信速度对通信密集型作业影响很大。在调度时若根据作业特点选择相应结点运行可以取得很好的调度效果。

很多调度算法的实施是仅基于估计的作业运行时间，但是作业运行时间很难准确给定，虽然有研究使用建模方式提高估计的准确性或采用奖励的办法提高用户估计的准确性，但平均精确度还是没有明显提高，所以仅基于估计的作业运行时间的调度方法是不精确的。

实验证明硬件资源对作业的影响很大，软件和硬件的匹配很大程度上决定了系统的工作效率。于是，本发明提出一种专门测算软件和硬件的匹配程度的设备。参考图1所示，本发明的集群系统中业务与计算设备的匹配装置包括：硬件测试装置10、软件测试装置20和匹配度计算装置30。

硬件测试装置10具有一系列的测试模块11，用于测试集群系统中的计算设备的硬件指标，在一个实施例中，硬件指标包括处理器速度、存储器容量、内存容量、网络传输速度、网络安全等级、可靠性和附加硬件。

软件测试装置20具有一系列的测试模块21，用于测试集群系统接收的业务的软件指标，所述软件指标包括处理器速度指标、存储器指标、内存指标、网络传输指标、网络安全指标、可靠性指标和业务分类。

匹配度计算装置30连接到硬件测试装置10和软件测试装置20，比较硬件指标和软件指标，得到计算设备与业务的匹配度。

在一个实施例中，硬件测试装置10中的一系列测试模块11执行下列的项目：测试计算设备的处理器速度；检测计算设备的存储器容量和内存容量；检测计算设备的网络传输速度和网络安全等级；测试计算设备的可靠性；检测计算设备的附加硬件，其中，硬件测试装置10检测计算设备的附加硬件并将附加硬件划归到下述分类中的一种：大量运算设备、图形处理设备、高安全性设备、数据传输设备。

在一个实施例中，软件测试装置20中的一系列测试模块21执行下列的项目：根据该业务的运算规模计算处理器速度指标和内存指标；根据该业务的数据规模计算存储器指标；根据该业务的运算分布性计算网络传输指标和网络安全指标；根据该业务的可靠性要求计算可靠性指标；根据该业务的种类确定业务分类，其中，软件测试装置20将业务分类确定为下述分类中的一种：大量运算业务、图形处理业务、高安全性业务、数据传输业务。

匹配度计算装置30将软件指标中的处理器速度指标、存储器指标、内存指标、网络传输指标、网络安全指标和可靠性指标分别与硬件指标中的处理器速度、存储器容量、内存容量、网络传输速度、网络安全等级和可靠性进行比较，计算每一项的偏差值并将偏差值累加得到总偏差值。在一个实施例中，所有的偏差值计算都采用标准化的算法，即以软件指标中的各项为基准值1，计算区域分类参数中的各项与之的百分比偏差，得到的偏差值累加得到总偏差值。例如，以处理器速度指标为例，软件指标中的处理器速度指标设定为1，而硬件指标中的处理器速度与之偏差为20％，那么在处理器速度指标这一项上的偏差值就是0.2。匹配度计算装置还将软件指标的业务分类与硬件指标中的附加硬件比较，得到倾向值。有些业务需要特殊的硬件处理，或者说具备特殊硬件的计算设备对于该种业务的处理能力能够提高很多，而不具备特殊硬件的计算设备对于该种业务的处理能力要差很多。因此，倾向值也是考虑软件和硬件匹配程度时的重要因素。在一个实施例中，匹配度计算装置30基于下述的表1计算倾向值：

表1

倾向值越小，表明越适合。最小的倾向值为1。参考表1所示，具有1的倾向值表示具备对应的专用硬件。具有2的倾向值表示虽然不是专用硬件，但是该计算设备具备的硬件对处理业务也有益处。具有3的倾向值表示计算设备不具有处理业务所需要的专用设备。

最后，将总偏差值与倾向值相乘，得到计算设备与业务的匹配度。数值越小，表示软件指标与硬件指标越接近，也就意味着该软件和硬件匹配度高。

Claims

1.一种集群系统中业务与计算设备的匹配装置，其特征在于，包括：

硬件测试装置，测试集群系统中的计算设备的硬件指标，所述硬件指标包括处理器速度、存储器容量、内存容量、网络传输速度、网络安全等级、可靠性和附加硬件；

软件测试装置，测试集群系统接收的业务的软件指标，所述软件指标包括处理器速度指标、存储器指标、内存指标、网络传输指标、网络安全指标、可靠性指标和业务分类；

匹配度计算装置，比较所述硬件指标和软件指标，得到计算设备与业务的匹配度。

2.如权利要求1所述的集群系统中业务与计算设备的匹配装置，其特征在于，所述硬件测试装置：

测试计算设备的处理器速度；

检测计算设备的存储器容量和内存容量；

检测计算设备的网络传输速度和网络安全等级；

测试计算设备的可靠性；

检测计算设备的附加硬件。

3.如权利要求2所述的集群系统中业务与计算设备的匹配装置，其特征在于，

所述硬件测试装置检测计算设备的附加硬件并将附加硬件划归到下述分类中的一种：

大量运算设备、图形处理设备、高安全性设备、数据传输设备。

4.如权利要求3所述的集群系统中业务与计算设备的匹配装置，其特征在于，所述软件测试装置：

根据该业务的运算规模计算处理器速度指标和内存指标；

根据该业务的数据规模计算存储器指标；

根据该业务的运算分布性计算网络传输指标和网络安全指标；

根据该业务的可靠性要求计算可靠性指标；

根据该业务的种类确定业务分类。

5.如权利要求4所述的集群系统中业务与计算设备的匹配装置，其特征在于，

所述软件测试装置将业务分类确定为下述分类中的一种：

大量运算业务、图形处理业务、高安全性业务、数据传输业务。

6.如权利要求5所述的集群系统中业务与计算设备的匹配装置，其特征在于，所述匹配度计算装置将软件指标中的处理器速度指标、存储器指标、内存指标、网络传输指标、网络安全指标和可靠性指标分别与硬件指标中的处理器速度、存储器容量、内存容量、网络传输速度、网络安全等级和可靠性进行比较，计算每一项的偏差值并将偏差值累加得到总偏差值；

所述匹配度计算装置将软件指标的业务分类与硬件指标中的附加硬件比较，得到倾向值；

将总偏差值与倾向值相乘，得到计算设备与业务的匹配度。

7.如权利要求6所述的集群系统中业务与计算设备的匹配装置，其特征在于，

所述匹配度计算装置基于下表计算倾向值：

大量运算设备图形处理设备高安全性设备数据传输设备大量运算业务 1 2 3 3 图形处理业务 2 1 3 3 高安全性业务 3 3 1 3 数据传输业务 3 3 2 1