CN102761578B - 集群计算系统 - Google Patents

Abstract

本发明提供了一种集群计算系统，包括通过网络互连的计算节点集群，所述计算节点包括嵌入式处理器、嵌入式DRAM、非易失性存储器阵列，还包括扩展计算部件以及电源管理模块；所述嵌入式处理器提供整数计算能力；所述扩展计算部件与嵌入式处理器相集成，并根据计算应用领域定制专项计算能力，辅助嵌入式处理器进行数据处理；所述嵌入式DRAM通过处理器直连接口与嵌入式处理器连接，作为处理器缓存；所述非易失性存储器阵列用于永久性存储数据；所述电源管理模块用于对计算节点供电，并根据嵌入式处理器的负载情况调整对嵌入式处理器的供电功率。本发明集群计算系统具有较低的功耗以及较强的计算能力。

Description

集群计算系统

技术领域

本发明涉及高性能集群计算系统，特别设计一种高组装密度和低功耗的集群计算系统。

背景技术

随着工业、科研等领域对并行运算需求不断增长，集群系统在高性能计算机中所占的比例越来越大，应用范围越来越广。采用商用器件构造的集群计算系统采用标准化的商用器件构建而成，具有研制成本低、周期短的特点。为中等规模的高性能计算提高了很好的支持，具有较高的性价比。

传统的集群计算系统采用高性能通用处理器，DRAM存储器以及高带宽互连网络和磁盘/固态存储器阵列作为构建集群的基本元件，以获得相应的高计算能力。图1示出了现有的高性能集群计算系统的结构。包括有多层交换机组成的交换路由网络以及与底层交换机连接的多个计算节点以及存储节点。其中，交换机以及计算节点、存储节点之间通过Infiniband或千兆以太网等高带宽网络进行连接。各计算节点由多个高性能通用处理器、DRAM存储器、I/O控制器、节点控制器以及互连网络接口组成；而存储节点包括存储控制器以及与之连接的磁盘阵列；集群计算系统的计算以及存储操作是相互分离的。所述通用处理器在高工作频率下，以双精度浮点计算能力作为主要的性能衡量指标，并且需要足够的主存访问(计算节点访问存储节点)带宽、通信网络带宽与其计算能力相匹配。处理器功耗将随着运行速度呈现超线性的增长，即随着工作频率升高一倍，处理器将产生加倍的能耗，同时需要采用更多技术以屏蔽处理器-主存瓶颈和处理器-通信延迟瓶颈，导致能效的下降。

综上所述，为了获得更快的运算能力，现有的集群计算系统需要付出更多的能耗以及设备成本，使得性能的提升愈发困难。如何在提升运算能力的前提下，提高集群计算系统的能效和性价比，成为构建集群计算系统时亟待解决的问题。

目前，针对数据库特别是关系数据库应用等I/O密集而非计算密集型的应用，出现了一些新的高性能和高性价比的集群计算系统。上述应用对单个计算节点的计算能力要求并不高，但需要高速的I/O传输能力。这些高性能以及性价比的集群计算系统功耗相当于传统集群的十分之一，在刚好满足容量、可用性、吞吐率和延迟方面的需求下，尽可能提高I/O传输能力，以获得较高效能。这类系统的特点是将低功耗通用处理器、FLASH存储器和以数据为中心的编程系统结合在一起，在降低功耗的同时提升以数据为中心的应用性能并提升数据访问的吞吐率。但是，这一类集群计算系统采用的处理器为了适应多种类型的计算需求，仍然以x86架构的通用处理器为主，计算能力较弱，难以同时适应更为广泛的整数运算密集型的高性能计算需求。

发明内容

本发明解决的问题是提供一种的集群式计算系统，具有高性能计算能力以及较低的系统功耗。

为解决上述问题，本发明提供了一种集群计算系统，包括通过网络互连的计算节点集群，所述计算节点包括嵌入式处理器、嵌入式DRAM、非易失性存储器阵列，还包括扩展计算部件以及电源管理模块；所述嵌入式处理器提供整数计算能力；所述扩展计算部件与嵌入式处理器相集成，并根据计算应用领域定制专项计算能力，辅助嵌入式处理器进行数据处理；所述嵌入式DRAM通过处理器直连接口与嵌入式处理器连接，作为处理器缓存；所述非易失性存储器阵列用于永久性存储数据；所述电源管理模块用于对计算节点供电，并根据嵌入式处理器的负载情况调整对嵌入式处理器的供电功率。

可选的，所述嵌入式处理器具有可配置接口，根据所述集群计算系统的应用领域，通过所述可配置接口对所述嵌入式处理器定制指令集以及进行流水线优化。所述扩展计算部件包括向量部件以及专用加速部件。所述计算节点的非易失性存储器阵列为FLASH存储器阵列。

可选的，所述计算节点还包括无线通信模块，用于计算节点的嵌入式处理器对外进行无线数据通信。所述集群计算系统还包括管理节点以及多层交换机网络；所述各计算节点通过无线通信模块与底层交换机建立无线连接；所述管理节点，与顶层交换机相连，面向外部用于提供数据计算服务，同时管理各计算节点与底层交换机的无线连接。所述多层交换机网络中，若干底层交换机以及多个计算节点组建成机柜；所述计算节点通过所述无线通信模块与同一机柜中的任意一个交换机构成动态连接。各层交换机网络间为有线连接。

与现有技术相比，本发明具有以下优点：将非易失性存储器件集成于计算节点中，同时采用低功耗的嵌入式处理器提供较强的整数计算能力，并根据计算应用领域定制扩展计算部件辅助嵌入式处理器进行数据处理，使得计算节点获得较强的计算性能，此外使用电源管理模块根据嵌入式处理器的负载情况调整供电功率，节省系统功耗。本发明在较低的系统功耗下实现足够的计算能力，获取较高的能效以及性价比。

附图说明

图1是现有的高性能集群计算系统的架构示意图；

图2是本发明所述集群计算系统中计算节点的架构示意图；

图3是本发明所述集群计算系统的架构示意图；

图4是本发明集群计算系统重构底层网络拓扑结构的示意图；

图5是本发明集群计算系统具体实施例的实施架构示意图；

图6是本发明集群计算系统的并行执行软件的架构示意图。

具体实施方式

如背景技术所述，现有的集群计算系统中，计算节点采用高性能通用处理器，虽然具有较强的浮点运算能力，但在很多I/O密集而非计算密集型的应用领域中，难以发挥其计算性能，反而凸显了在功耗以及能效上的劣势。需要付出更多的能耗以及设备成本才能提升有限的性能。

本发明则提供了一种集群计算系统，通过增强计算节点的专项计算能力，提高计算组装密度，在满足足够的计算能力的前提下，将浪费在单个计算节点上的设备资源用于扩展集群规模以开发更多层次的并行性，提升集群计算的能效，从而实现规模效应。即尽可能的提高I/O吞吐率与功耗的比值，提升集群计算系统的性价比。

具体的，本发明所述集群计算系统，包括通过网络互连的计算节点集群，如图3所示，所述计算节点包括：嵌入式处理器、扩展计算部件、嵌入式DRAM、非易失性存储器阵列以及电源管理模块；所述嵌入式处理器提供整数计算能力；所述扩展计算部件与嵌入式处理器相集成，并根据计算应用领域定制专项计算能力，辅助嵌入式处理器进行数据处理；所述嵌入式DRAM通过处理器直连接口与嵌入式处理器连接，作为处理器缓存；所述非易失性存储器阵列用于永久性存储数据，便于嵌入式处理器调用或存储；所述电源管理模块用于对计算节点供电，并根据嵌入式处理器的负载情况调整供电功率。

其中，所述嵌入式处理器具有可配置性以及可扩展性，为顶层操作系统提供多个级别的特权操作指令支持，能够针对集群计算系统的应用领域，通过定制指令集以及进行流水线优化，提升相应的计算能力。在I/O密集型应用领域中，例如网络数据服务、数据库存储服务、数据分块服务等，并不需要强大复杂的浮点计算能力，因此通用处理器的浮点运算能力得不到充分发挥，还占用功耗。嵌入式处理器一方面功耗较低，另一方面具有强大的整数计算能力，并可以通过上述定制配置提供相当于通用处理器10～100倍以上的整数操作能效。另外嵌入式处理器还可以通过集成辅助的扩展计算部件进行数据处理，获得专项计算能力的提升，例如集成向量部件或者专用加速部件以适应特定的计算应用。嵌入式DRAM是为适应嵌入式处理器而制作的高频率存储器，通过直连接口与嵌入式处理器连接，在处理器工作中起缓存的作用。

在I/O密集型的应用领域中，计算节点并不需要强大的本地存储能力，而对访问带宽有更高要求。因此可以采用诸如FLASH存储器构成高密度非易失性存储器阵列，所述非易失性存储器阵列相较于传统计算节点所采用的磁盘具有更低的功耗，更高的集成度，更大的访问带宽以及更快的读取速度。

所述电源管理模块用于对计算节点供电，例如提供嵌入式处理器的工作电源等。由于每个计算节点均有独立的电源管理模块，因此在集群计算系统中，能够根据系统的工作负载情况，调节各计算节点的供电量，以适应计算节点的不同功耗。例如，进行小负载计算时，未参与应用的计算节点，其嵌入式处理器的负载极低，电源管理模块可以停止或仅保持最低标准的电源供应，灵活地进行供电的分配，从而从整体上降低系统功耗，提高集成计算系统的能效。

作为可选方案，本发明计算节点还可以包括无线通信模块，用于计算节点的嵌入式处理器对外进行无线数据通信。

在一个具体实施例中，以图形数据处理应用领域为例，所述计算节点包括增强的嵌入式处理器、嵌入式DRAM以及FLASH存储器阵列、无线通信模块、电源管理模块。其中，嵌入式处理器采用TI公司的Omap3530处理器，包括一个集成了向量部件的Cortex A8体系结构的arm处理器核、一个C64+数字信号处理器和一个嵌入式图形处理器以及专用图形加速器等计算部件，提供了嵌入式DRAM接口，工作频率在600MHz左右，具有强大的16bit和32bit整数处理能力，以及直接连接DRAM的功能，最大程度上满足图形处理需求，消除对额外硬件依赖，改善性能/功耗比。所述FLASH存储器采用4～8G的SD存储卡，无线通信模块采用802.11n双天线/四天线标准，能够提供数百Mbps的通信带宽，足以满足计算节点的数据通信。上述计算节点在Linpack等软件负载下，满功率功耗仅在1瓦左右。远小于现有高性能集群计算系统采用xeon等x86架构处理器构建的计算节点动辄几十上百瓦的功耗。

本发明集群计算系统中，计算节点依靠无线通信模块进行与外界的数据通信而实现网络互连。如图3所示，所述集群计算系统可以采用多层交换机构成互连网络，各层交换机之间为有线网络连接，以满足交换机层之间的大通信带宽的需求，而底层交换机与计算节点之间为无线网络。基于上述特征，交换机层之间的网络拓扑结构是固定的，而计算节点则能够通过切换与底层交换机的无线连接，实现动态的网络拓扑结构。

进一步的，本发明集群计算系统还应当包括与顶层交换机连接的管理节点，用于面向外部提供数据计算服务，同时管理各计算节点与底层交换机的无线连接。

交换机层之间为有线连接，这是由集群计算系统的数据流在上层交换机间汇集而需要较大通信带宽的特性所决定的；底层交换机与计算节点之间为动态的无线连接，一方面针对单个计算节点，其数据流量有限，无线网络完全能够满足其通信带宽的需求，而为了降低设备成本以及系统功耗，无线通信的带宽与计算节点的计算能力相匹配即可；另一方面，如图4所示，采用动态的无线网络拓扑结构后，管理节点根据具体的计算应用任务中，各计算节点之间的数据通信特点，切换计算节点与底层交换机的无线连接，重构底层无线网络拓扑结构，从而使得计算节点之间的数据通信跳步数尽可能的为1(即两个计算节点间的数据传输仅经过一次交换机)，可以大幅度降低通信延迟，提高整个集群计算系统的I/O吞吐率。

如图5所示，在一个具体实施例中，本发明集群计算系统的互连网络通常集中在本地配置(所有的交换机以及计算节点位于同一安装地点)或部分异地配置(部分交换机以及计算节点位于异地安装，通过远程网络组网形成集群计算系统)。例如，若干无线网络交换机以及多个计算节点组建成一个独立机柜，各机柜位于同一安装地点或分属不同安装地点，通过本地有线网络或商用的远程网络连接，并接受管理节点的管理。所述有线网络可以采用Infiniband或千万兆以太网技术。

每个机柜内可以设置1～4个无线网络交换机以及16～126个计算节点，统一通过机柜电源向各无线网络交换机以及计算节点的电源管理模块供电。在同一个机柜内，各计算节点可以任意选择一个交换机构成动态连接，在机柜范围内自由组网，形成动态网络拓扑结构。但机柜本身是密封的，以屏蔽外界无线电磁波干扰和内部无线电磁波外泄，因此机柜与机柜之间无法进行无线通信，即计算节点无法跨机柜与其他机柜的交换机无线连接。上述配置可以防止过多的计算节点与交换机之间产生通信拥堵和互相干扰而影响通信质量、升高通信延迟的问题。

通常为了提供集群计算系统的并行执行环境，以提高计算性能，各计算节点采用统一的软件架构。在一个具体的实施例中，如图6所示，计算节点可以在操作系统之上运行并行执行环境软件，所述并行执行环境软件集成了分布式缓存文件系统，该分布式缓存文件系统为用户程序提供统一的标准文件访问接口，负责文件系统级的容错和故障恢复，并支持用户对容错能力进行配置；所述并行执行环境软件还集成了基于消息传递的编程模型所需要的软件支持，例如MPI等，以及广泛用于数据分析的以数据为中心的编程模型所需要的软件支持，例如MapReduce等。然后基于上述底层软件，在顶层进行分布式并行程序的应用，进行大规模的并行计算。

综上，本发明的集群计算系统，降低了单计算节点的功耗，增强其在特定应用领域的计算性能，并形成规模效应。且计算节点中的嵌入式处理器还集成有扩展计算部件，便能够根据具体的应用领域重新优化其计算性能。相比于现有的集群计算系统，具有计算能力强、单位功耗低、吞吐率更大的优点。

虽然本发明已以较佳实施例披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (6)

1.一种集群计算系统，其特征在于，包括通过网络互连的计算节点集群、管理节点以及多层交换机网络，所述计算节点包括嵌入式处理器、嵌入式DRAM、非易失性存储器阵列，还包括扩展计算部件、电源管理模块以及无线通信模块；所述嵌入式处理器提供整数计算能力；所述扩展计算部件与嵌入式处理器相集成，并根据计算应用领域定制专项计算能力，辅助嵌入式处理器进行数据处理；所述嵌入式DRAM通过处理器直连接口与嵌入式处理器连接，作为处理器缓存；所述非易失性存储器阵列用于永久性存储数据；所述电源管理模块用于对计算节点供电，并根据嵌入式处理器的负载情况调整对嵌入式处理器的供电功率；所述无线通信模块用于计算节点的嵌入式处理器对外进行无线数据通信；各计算节点通过无线通信模块与底层交换机建立无线连接；所述管理节点，与顶层交换机相连，面向外部用于提供数据计算服务，同时管理各计算节点与底层交换机的无线连接；所述底层交换机与计算节点之间为动态的无线连接，并由此形成动态无线网络拓扑结构，所述管理节点还用于切换计算节点与底层交换机的无线连接，重构所述无线网络拓扑结构，使计算节点之间的数据通信跳步数为1或最接近1。

2.如权利要求1所述的计算系统，其特征在于，所述嵌入式处理器具有可配置接口；根据所述集群计算系统的应用领域，通过所述可配置接口对所述嵌入式处理器定制指令集以及进行流水线优化。

3.如权利要求2所述的计算系统，其特征在于，所述扩展计算部件包括向量部件以及专用加速部件。

4.如权利要求1所述的计算系统，其特征在于，所述计算节点的非易失性存储器阵列为FLASH存储器阵列。

5.如权利要求1所述的计算系统，其特征在于，所述多层交换机网络中，若干底层交换机以及多个计算节点组建成机柜；所述计算节点通过所述无线通信模块与同一机柜中的任意一个交换机构成动态连接。

6.如权利要求1所述的计算系统，其特征在于，各层交换机网络间为有线连接。