CN102761471B - 无线计算互连网络及座标空间变换方法 - Google Patents

Abstract

本发明提供了一种自由空间型计算互连网络及其空间变换方法，所述计算互连网络包括至少两层交换机拓扑结构、与顶层交换机连接的管理节点以及与底层交换机连接的计算节点；所述计算节点与底层交换机为无线连接；所述管理节点管理所述计算节点与底层交换机的无线连接，且在计算互连网络进行计算时，将需要进行数据通信的计算节点切换连接至同一底层交换机。本发明采用自由空间无线互连技术来构建计算互连网络。基于空间变换方法，改变计算节点相对计算互连网络的逻辑地址，即改变计算节点的逻辑映射关系；将全局的数据通信转换为同一交换机下的本地通信，达到降低平均网络数据通信传输延迟，提高集群计算性能的目的。

Description

无线计算互连网络及座标空间变换方法

技术领域

本发明涉及高性能集群计算互连网络，特别设计一种基于自由空间坐标变换技术的计算互连网络及其空间变换方法。

背景技术

随着工业、科研等领域对并行运算需求不断增长，集群系统在高性能计算机中所占的比例越来越大，应用范围越来越广。现有的集群系统所采用的计算互连网络的拓扑结构包括胖树、3D Mesh等。

图1示出了一种典型的胖树型计算互连网络的拓扑结构，所述计算互联网络包括多层树形交换机构成的路由网络以及集群式的计算节点，每个计算节点与最底层的其中一台交换机连接。上述计算互连网络一旦构建完成，每个计算节点的坐标地址、交换机的拓扑结构便固定下来。

在进行并行计算时，计算节点之间需要进行数据通信，所述数据通信的传输链路通过各层交换机的路由形成。在连接到同一交换机(同一域)的计算节点之间的数据通信，可以仅通过该交换机形成传输链路；而在不同域内的计算节点之间的数据通信，则需要由上层交换机多次路由才能实现，而路由的选择可以根据路径最短、跳步次数最少、线路负载最小等规则。但通信数据必须经过多个交换机才能传输时，总是存在较多的跳步数，计算节点之间的通信延迟不可避免，最终导致整体计算性能的低下。因此对于计算互连网络，在进行大规模并行计算时，数据通信的能力是影响集群系统计算性能的关键，甚至比计算节点本身的计算能力更重要。

如何提高计算节点之间数据通信的性能是大规模集群系统中构建计算互连网络急需解决的问题。

发明内容

本发明解决的问题是提供一种基于自由空间坐标变换技术的计算互连网络及其空间变换方法，提高计算节点之间的数据通信性能。

本发明提供的一种自由空间型计算互连网络，包括：至少两层交换机拓扑结构、与顶层交换机连接的管理节点以及与底层交换机连接的计算节点；所述计算节点与底层交换机为无线连接；所述管理节点管理所述计算节点与底层交换机的无线连接，且在计算互连网络进行计算时，将需要进行数据通信的计算节点切换连接至同一底层交换机。

可选的，所述底层交换机包括采用802.11a、802.11g、802.11n或8021.16a无线通信协议的无线网络交换机。所述非底层交换机包括采用InfiniBand、以太网或无线通信协议的网络交换机。

所述管理节点通过变更计算节点的无线接入点及其逻辑坐标，切换计算节点与底层交换机的无线连接。

可选的，所述计算节点在切换连接至同一底层交换机时，该底层交换机由管理节点直接指定。或者，该底层交换机由管理节点根据底层交换机的负载情况选择。

本发明还提供了一种基于上述计算互连网络的空间变换方法，包括：

管理节点控制计算节点与底层交换机建立初步无线连接，所述底层交换机以及与其连接的计算节点构成计算域；

管理节点根据具体计算应用划分计算步骤，至少包括第一步计算以及第二步计算；

管理节点将计算数据分配给计算节点进行第一步计算；

管理节点控制计算节点在计算域内进行第一次计算数据交换；

管理节点变更计算节点相对于计算互连网络的逻辑坐标，切换计算节点与底层交换机的无线连接，重构计算域；

管理节点控制计算节点在重构的计算域内进行第二次计算数据交换；

计算节点对经过两次交换得到的计算数据进行第二步计算。

可选的，所述建立初步无线连接时，管理节点将所述计算节点平均地分配至底层交换机。所述第一步计算前，管理节点将计算数据平均分配给计算节点。

所述重构计算域包括：管理节点根据各计算节点进行第二步计算时所需的计算数据，切换计算节点与底层交换机的无线连接。

与现有技术相比，本发明具有以下优点：每个计算节点可以自由选择建立与底层交换机的无线连接，需要数据通信的计算节点可以切换连接至同一交换机。基于上述计算互连网络，通过空间变换使得计算节点之间的数据通信均转换为同一交换机下的本地通信，从而降低数据传输延迟，进而提高计算互连网络的计算性能。

附图说明

图1是现有的一种计算互连网络的拓扑结构图；

图2是本发明实施例的计算互连网络的拓扑结构图；

图3至图8是基于本发明计算互连网络进行二维FFT滤波运算的示意图。

具体实施方式

如背景技术所述，现有的计算互连网络在构建之后，拓扑结构是固定的，与底层交换机连接的计算节点，在进行跨交换机(域)的数据通信时，经常需要借助于多层交换机的路由。因此网络的数据传输瓶颈直接影响了集群系统的计算性能。

本发明所述计算互连网络包括：至少两层交换机拓扑结构、与顶层交换机连接的管理节点以及与底层交换机连接的计算节点。其中，所述计算节点与底层交换机为无线连接；且在计算互连网络进行计算时，将需要进行数据通信的计算节点切换连接至同一底层交换机。具体的，计算节点在切换与交换机的连接时，可以通过管理节点变更其无线接入点以及相对逻辑地址实现。所述相对逻辑地址即计算节点相对于整个计算互连网络的逻辑地址。

基于自由空间的无线互连技术，计算节点可以自由连接底层交换机。仅需在计算过程中，使得需要数据通信的计算节点与同一底层交换机连接，将计算节点之间的数据通信均转换为同一底层交换机下的本地通信，便能够降低数据传输延迟，进而提高计算互连网络的计算性能。而非底层的交换机则可以与现有的计算互连网络相同，采用固定的拓扑结构。

图2示出了本发明一具体实施例的计算互连网络的拓扑结构，所述计算互连网络仅包括两层交换机，其中第一层交换机(底层)为无线网络交换机，由于单个计算节点的计算能力有限，其数据通信对带宽要求并不高，因此第一层交换机可以选择采用802.11a、802.11g、802.11n或802.16a等标准无线通信协议的交换设备。第二层交换机可以为无线网络交换机也可以为采用以太网、Infiniband等通信协议的有线交换机，以满足计算集群对大数据量通讯的带宽要求，在第二层交换机的另一端直接联入外部网络，同时接收来自管理节点的交换机的路由配置指令、计算节点的连接管理指令或其他数据信息。多个计算节点通过无线连接与第一层交换机连接，且每个计算节点同时仅能与一个交换机连接，当计算节点与第一层交换机连接后，便具有了相对于整个计算互连网络的逻辑地址。而计算节点在切换连接时选择的交换机对象，可以是管理节点直接指定的交换机，也可以是管理节点根据交换机的负载情况选择的较小通讯负载的交换机。

本发明基于上述计算互连网络还提供了相应的自由空间坐标变换方法，所述坐标变换即变更计算节点的逻辑地址，实现切换计算节点与底层交换机的无线连接。基本步骤包括：

管理节点首先控制计算节点与底层交换机建立初步无线连接，所述底层交换机以及与其连接的计算节点构成计算域；

管理节点根据具体计算应用划分计算步骤，至少包括第一步计算以及第二步计算；

管理节点将计算数据分配给计算节点进行第一步计算；

管理节点控制计算节点在计算域内进行第一次计算数据交换；

管理节点变更计算节点相对于计算互连网络的逻辑坐标，切换计算节点与底层交换机的无线连接，重构计算域；

管理节点控制计算节点在重构的计算域内进行第二次计算数据交换；

计算节点对经过两次交换得到的计算数据进行第二步计算。

其中，所述建立初步无线连接时，管理节点将所述计算节点平均地分配至底层交换机。而在进行第一步计算前，管理节点将计算数据平均分配给计算节点，以平衡各计算节点的计算负载。

所述管理节点根据各计算节点进行第二步计算所需的计算数据，切换计算节点与底层交换机的连接，从而重构计算域。

本发明坐标变换方法的思想在于：不同计算步骤时，计算节点所需的计算数据是不相同的。对于单个计算节点，经过一次切换连接、两次数据交换后，基本可以得到所需的新的计算数据。当然计算节点也可以经过多次切换，以获取进行下一次计算步骤所需的完整计算数据。此外，由于计算步骤次数由具体的计算应用所决定，如果计算步骤超出了两次，仅需重复上述坐标变换过程即可。

为进一步说明本发明计算互联网络及其空间变换方法的特点，以下以具体的计算应用为例。假设本实施例中，第一层的无线交换机的数目为4个，每个无线交换机可以连接的计算节点的数量大于32个，总的计算节点数假设为128个。应用上述计算互连网络进行1024x1024复数矩阵的二位FFT滤波计算。矩阵中每个元素由2个4字节的单精度浮点数组成，分别表示复数的实部以及需部。图3至图8示意出了整个运算流程。

首先在初始状态时，计算互连网络的拓扑结构如图3所示，管理节点将128个计算节点均匀分配至4个无线路由器，形成无线连接。每个无线交换机以及与其连接的计算节点构成一个计算域，分别为空间0、空间1......空间3。每个空间内均有32个计算节点，此时各计算节点具有相对于整个计算互连网络的逻辑地址。例如，空间0内的计算节点的逻辑地址分别定义为[0.0、0.1、0.2、......、0.31]；空间1内的计算节点的逻辑地址分别定义为[1.0、1.1、1.2、......、1.31]；......空间3内的计算节点的逻辑地址分别定义为[3.0、3.1、3.2、......、3.31]。

当计算节点切换了与交换机的连接后，其所处计算域发生了变化，逻辑地址也将改变。例如某个计算节点原先为与第一个交换机连接的第一个计算节点，则位于空间0内，逻辑地址为[0.0]；当该计算节点切换与交换机的连接后，成为与第二个交换机连接的第一个计算节点，则位于空间1内，逻辑地址便变更为[1.0]。

除了逻辑地址外，各计算节点自身还具有标识地址作为唯一的标识，将其与其他计算节点区分开来，便于管理节点管理，而不会随着与交换机的切换连接而变化。分别定义为[xx.00、xx.01、xx.02......xx.127]。

图4示出了所述初始状态下，计算互连网络中各计算域内的计算节点的逻辑地址与其标识地址的映射情况。例如标识地址为xx.00的计算节点与第一个无线网络交换机连接，其相对于计算互连网络的逻辑地址为0.0；标识地址为xx.32的计算节点与第二个无线网络交换机连接，其相对于计算互连网络的逻辑地址为1.0；......上述映射一一对应。

复数矩阵的二维FFT滤波的基本步骤包括：计算节点先对矩阵中的复数进行行滤波，然后再交换计算节点中复数的数据进行列滤波。因此，本实施例所述的二维FFT滤波具有两个计算步骤，分别为行滤波以及列滤波。

首先如图5所示，管理节点将1024x1024复数矩阵的行依次均匀分配到每一个计算节点上进行行滤波。一共128个计算节点，每个节点执行连续8行1024点的单精度浮点复数FFT滤波计算，每32个节点连接到同一个无线交换机上组成一个计算域(空间0、空间1......空间3)，每个计算域执行连续的256行1024点的单精度浮点复数FFT滤波。

当进行完行滤波后，各计算节点需要进行列滤波。但由于各计算节点具有的复数数据均为成行排列的，因此便需要进行计算节点之间的数据通讯，交换计算数据，重新分配每个计算节点所具有的复数数据。

具体的，在进行上述数据通讯时，需要将属于前8列的复数数据发送到逻辑地址为0.0的计算节点，将属于其次8列的复数数据发送到逻辑地址为0.1的计算节点，依次类推，为每个计算节点分配8列1024点的复数数据。以标识地址为xx.00，逻辑地址为0.0的计算节点为例，在进行行滤波时执行的是矩阵中前8行1024点的单精度浮点复数FFT滤波计算；而在列滤波时，如果逻辑地址不变依然为0.0，其执行单精度浮点复数FFT滤波计算的对象变更为矩阵中前8列1024点的复数数据。因此在列滤波前，该计算节点需要从其他计算节点中获取列滤波计算所需的复数数据，而将已完成行滤波且不属于自身列滤波对象的复数数据交换给其他计算节点。

如图6所示，在完成计算节点的复数数据重新交换后，每个计算节点执行连续的8列1024点的单精度浮点复数FFT滤波，每32个节点连接到同一个无线交换机上组成一个计算域(空间0、空间1......空间3)，每个计算域执行连续的256列1024点的单精度浮点复数FFT滤波。

采用本发明图3所示的计算互连网络，由于计算节点是可以根据数据通信的需求切换与底层交换机的连接，因此可以使得计算节点之间的数据通信的跳步数始终为1。而计算节点在切换与底层交换机的连接后，其相对于整个计算互连网络的逻辑地址将发生改变，相当于进行计算节点的坐标变化。具体的，本实施例利用坐标变换交换复数数据分为如下三个阶段进行：

第一阶段，管理节点控制各计算节点在交换机内部(即计算域内)将所具有的前32列的复数数据全部传输给第一个计算节点，也即逻辑地址中小数点后编号为0的计算节点(例如若位于空间0内，则该计算域中第一个计算节点的逻辑地址为0.0；若位于空间1内，则该计算域中第一个计算节点的逻辑地址为1.0......)；然后将依次32列的复数数据全部传输给第二个计算节点，即逻辑地址小数点后编号为1的计算节点(例如若位于空间0内，则该计算域中第二个计算节点的逻辑地址为0.1；若位于空间1内，则该计算域中第二个计算节点的逻辑地址为1.1......)，依此类推，直至将最后32列的复数数据全部传输给第32个计算节点，即逻辑地址小数点后编号为31的计算节点。上述过程中，计算节点之间的数据通信均在交换机内部进行，仅经过一次交换机，跳步数为1，总的跳步数为128x(32-1)x32＝126976次。

第二阶段，计算节点进行坐标变换，切换与底层交换机的连接。由于在做列滤波时，需要将同一列的复数数据放到一个计算域内计算，因此坐标变换时，必须把具有同一列复数数据的计算节点与同一个交换机连接。具体的，如图7所示，将所有包含前256列复数数据的32个计算节点切换至与第一个交换机连接构成新的计算域(空间0’)，将包含第二个256列复数数据的32个计算节点切换至与第二个交换机连接构成空间1’，依此类推，将包含最后256列复数数据的32个计算节点切换至与第四个交换机连接构成空间3’。经过上述切换连接后，变更了交换机连接的计算节点相对于整个计算互连网络的逻辑地址发生了变化，即坐标已经变换。计算节点的标识地址与逻辑地址之间的映射也发生变化。图8示出了坐标变换后计算节点标识地址与逻辑地址新的映射关系。例如空间0’包括标识地址为xx.00～xx.07；xx.32～xx.39；......xx.96～xx.103等四段共32个计算节点，向上述32个计算节点重新分配逻辑地址，即与[0.0～0.31]这32个逻辑地址一一映射。空间1、空间2以及空间3内的计算节点的坐标变换依此类推。

第三阶段，完成坐标变换后，在每个交换机内部将各计算节点所具有的前8列的复数数据全部传输给第一个计算节点，即逻辑地址中小数点后编号为0的计算节点；将依次8列的复数数据全部传输给第二个计算节点，即逻辑地址中小数点后编号为1的计算节点；依此类推，直至将最后8列的复数数据全部传输给第32个计算节点，即逻辑地址中小数点后编号为31的计算节点。上述过程中，计算节点之间的数据通信仅经过一次交换机，跳步数为1，总的跳步数为128x256x(4-1)x8＝786432次。

由于上述各阶段中，计算节点的数据通信都在同一个交换机下，即同一个计算域内进行，因此所有数据通信的跳步数都是1，整个通信过程总的跳步数为126976+786432＝913408次。

如果上述计算过程中，行滤波结束后，列滤波进行前，计算节点的数据交换采用图1所示的固定拓扑结构的计算互连网络进行，那么在交换机内部进行的数据通信仅经过一层交换机(跳步数为1)，该类数据通信的次数是128x(32-1)x8＝31744次；而跨交换机进行的数据通信需要借助两层交换机(跳步数为3)，该类数据通信次数是128x(1024-256)x8＝786432次；整个通信过程中数据通信的总跳步数为31744x1+786432x3＝2391040次。

由此可见，与现有固定拓扑结构的2391040次跳步数相比，应用本发明计算互连网络以及坐标变换方法，所述通信过程的总跳步数降低了61.8％。可见利用本发明所述的计算互连网络能够降低集群计算中的通信跳步数，进一步降低通信延迟，提高计算性能。

综上实施例，本发明采用自由空间无线互连技术来构建计算互连网络。基于空间变换方法，改变计算节点相对计算互连网络的逻辑地址，即改变计算节点的逻辑映射关系；将全局的数据通信转换为同一交换机下的本地通信，达到降低平均网络数据通信传输延迟，提高集群计算性能的目的。

虽然本发明已以较佳实施例披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (10)

1.一种自由空间型计算互连网络，包括：至少两层交换机拓扑结构、与顶层交换机连接的管理节点以及与底层交换机连接的计算节点，其特征在于：所述自由空间型计算互连网络基于自由空间坐标变换方法构建；所述计算节点与底层交换机为无线连接；所述计算节点自由选择建立与底层交换机的无线连接，需要数据通信的计算节点切换连接至同一交换机；所述管理节点管理所述计算节点与底层交换机的无线连接，且在计算互连网络进行计算时，将需要进行数据通信的计算节点切换连接至同一底层交换机；其中，所述自由空间坐标变换的方法包括：

管理节点控制计算节点与底层交换机建立初步无线连接，所述底层交换机以及与其连接的计算节点构成计算域；

管理节点根据具体计算应用划分计算步骤，至少包括第一步计算以及第二步计算；

管理节点将计算数据分配给计算节点进行第一步计算；

管理节点控制计算节点在计算域内进行第一次计算数据交换；

管理节点变更计算节点相对于计算互连网络的逻辑坐标，切换计算节点与底层交换机的无线连接，重构计算域；

管理节点控制计算节点在重构的计算域内进行第二次计算数据交换；

计算节点对经过两次交换得到的计算数据进行第二步计算。

2.如权利要求1所述的计算互连网络，其特征在于，所述底层交换机包括采用802.11a、802.11g、802.11n或8021.16a无线通信协议的无线网络交换机。

3.如权利要求2所述的计算互连网络，其特征在于，非底层交换机包括采用InfiniBand、以太网或无线通信协议的网络交换机。

4.如权利要求1所述的计算互连网络，其特征在于，所述管理节点通过变更计算节点的无线接入点及其逻辑坐标，切换计算节点与底层交换机的无线连接。

5.如权利要求1所述的计算互连网络，其特征在于，所述计算节点在切换连接至同一底层交换机时，该底层交换机由管理节点直接指定。

6.如权利要求1所述的计算互连网络，其特征在于，所述计算节点在切换连接至同一底层交换机时，该底层交换机由管理节点根据底层交换机的负载情况选择。

7.一种应用权利要求1所述的计算互连网络的空间变换方法，其特征在于，包括：

管理节点控制计算节点与底层交换机建立初步无线连接，所述底层交换机以及与其连接的计算节点构成计算域；

管理节点根据具体计算应用划分计算步骤，至少包括第一步计算以及第二步计算；

管理节点将计算数据分配给计算节点进行第一步计算；

管理节点控制计算节点在计算域内进行第一次计算数据交换；

管理节点变更计算节点相对于计算互连网络的逻辑坐标，切换计算节点与底层交换机的无线连接，重构计算域；

管理节点控制计算节点在重构的计算域内进行第二次计算数据交换；

计算节点对经过两次交换得到的计算数据进行第二步计算。

8.如权利要求7所述的坐标变换方法，其特征在于，所述建立初步无线连接时，管理节点将所述计算节点平均地分配至底层交换机。

9.如权利要求8所述的坐标变换方法，其特征在于，所述第一步计算前，管理节点将计算数据平均分配给计算节点。

10.如权利要求9所述的坐标变换方法，其特征在于，所述重构计算域包括：管理节点根据各计算节点进行第二步计算时所需的计算数据，切换计算节点与底层交换机的无线连接。