CN101207569B - 用于确定计算机网络上的通信路径的设备和方法 - Google Patents

Abstract

提供一种用于确定计算机网络上的通信路径的设备和方法，所述设备和方法用于在IB计算机和非IB计算机之间选择最优通信路径。加入网络的所有网关在网络上多播它们的存在。与多播传输相关的数据由被该网络中每个单元保留在相关联的高速缓冲存储器中。所保留的多播数据被用作杠杆来选择在主计算机和目标计算机之间的最优传输协议，以及被配置为支持所选传输协议的网关。

Description

用于确定计算机网络上的通信路径的设备和方法

技术领域

本发明涉及在计算机网络上选择最优通信路径。更具体地，本发明涉及一种以操作在无限带宽(InfiniBand)网络的计算机和操作在非无限宽带(non-InfiniBand)网络的计算机配置的计算机网络，以及一组协议用以确定用于在计算机之间发送消息的最优网关。

背景技术

比如系统总线的输入/输出(I/O)网络被处理器用来与比如网络适配器的外设设备进行通信。然而，在普通I/O网络架构中的限制——比如外设组件接口(PCI)总线，制约了计算机的整体性能。因此，已经引进了新型的I/O网络。

已知一种类型的I/O网络，其也被称作无限带宽网络，此后称作IB。无限带宽是一种I/O架构和用于处理器和I/O设备之间数据传输的规范。与并行发送数据——也就是在PCI中用于发送数据的结构——相反，IB串行地发送数据并且能够在复用信号中同时承载多个数据信道。IB网络完全使用零个或多个路由器取代了分组交换网络中计算机现有的PCI或其他总线。图1是基于IB架构的系统区域网络的现有技术框图(100)。该IB网络被分解为单独的自治管理单元，其中每个都包含多个IB节点，被叫做子网。如图所示，存在六个节点，节点0(102)、节点1(104)、节点2(106)、节点3(108)、节点4(110)和节点5(112)，它们通过包括三个交换机——交换机0(122)、交换机1(124)和交换机2(126)——的组织(120)被互连。每个节点都通过信道适配器连接到该组织(120)。IB规范将信道适配器分为两类，主信道适配器(HCA)和目标信道适配器(TCA)。HCA是用于将该IB结合到操作系统的接口。TCA出现在I/O设备上，比如RAID子系统。如图1所示，节点2(106)、节点3(108)和节点5(112)代表外设设备并且分别包括三个TCA(136)、  (138)和(142)。同样，节点0(102)、节点1(104)和节点4(110)代表操作系统并且分别包括HCA(132)、(134)和(140)。此外，在这个所示例子中，每个信道适配器可具有一个或多个端口。具有一个以上端口的信道适配器可被连接到多个交换机端口。例如，信道适配器(140)具有至少两个端口，第一端口被连接到交换机0(122)，而第二端口被连接到交换机1(124)。因此，如图所示，在IB架构中可利用源和目的之间的多条路径，因此有益于性能和可靠性。

IB组件在初始化期间被分配以全球标识符(GID)。该GID被用来在IB子网内部和IB子网之间唯一地识别目标组件。路由器可被提供用来互连两个或更多的子网以形成较大的系统区域网络。类似于IB交换机，IB路由器在它们的端口之间转发分组。路由器和交换机之间的区别是路由器被用来互连两个或更多的子网以形成较大的多域系统区域网络。在一个子网内部，每个端口都被分配称做本地识别符(LID)的唯一识别符。交换机利用这些LID以将分组从源路由到目的地，而路由器利用GID以在域之间路由分组。

为了在该IB架构上使一个应用与另一个应用通信，必须首先创建包括队列对的工作队列，队列对是这样的一对队列——一个队列用于发送请求而另一个队列用于接收请求。为了使该应用执行操作，必须放置工作队列元素(WQE)在工作队列中。之后，该操作被拾起以由信道适配器来执行。因此，工作队列形成在应用和信道适配器之间的媒介。

通过具有多条路径可用于在节点之间发送数据，该组织能够以通信信道的全容量来实现传送速率，于是避免了可能出现在共享总线架构中的堵塞问题。

远程直接存储器访问(RDMA)是使用在IB中的通信技术，其允许数据从一个计算机的存储器被发送到另一个计算机的存储器而不需要经过任何一个设备的CPU，也不需要大量缓冲，而且不需要调用操作系统内核。通过RDMA，数据可以被更快地传送，因为其不需要经过CPU。尽管在IB架构中支持RDMA，但是并不是在所有网络之间都被普遍支持RDMA。存在这种情况，非IB网络上的计算机正在与IB网络上的计算机进行通信，并且两个计算机之间的通信被担保。这种通信利用IB和非IB网络之间的网关来在两个网络之间传送数据分组。网关是充当到另一个网络的入口的节点。已知在现有技术中网关能够支持IB网络和非IB网络之间的RDMA数据传送。然而，可用于确定在这种情况下的数据传送的最优路径的现有技术解决方案非常复杂而且代价高。因此，需要与IB网络进行通信的有效地确定最优通信路径的解决方案和在RDMA配置的网关和普通网关之间的数据传输技术，比如IPoIB。

发明内容

本发明包括一种方法和装置，用于在IB主机和非IB目标计算机之间有效地通信数据。

在本发明的一方面，提供了一种方法，用于确定在计算机网络上的通信路径。计算机网络被配置有经过该网络与非IB配置的目标计算机进行通信的IB配置的主机。该网络包括至少两个单独的网关，其既与主机进行通信也与目标计算机进行通信。网关之一是IPoIB网关，另一个网关是iSER网关。确定目标计算机的地址。之后，基于所确定的目标地址，选择最优网关以从主机向目标计算机传送数据。选择网关之一用于网络间通信的传输的过程包括发送请求到第一和第二网关，从所述第一和第二网关接收响应，以及基于所接收的响应确定将使用的最优网关。在网关的选择之后，如果目标计算机和网关之一被配置为接受远程直接存储器访问协议的话，使用远程直接存储器访问协议在所选择的网关上联系目标计算机。

在本发明的另一方面，提供了一种计算机系统，其具有经过网络与iSCSI配置的目标计算机进行通信的IB配置的主计算机。被在该网络中提供至少两个网关，并且所述至少两个网关与主处理器和目标处理器进行通信。提供管理器以基于目标计算机在网络上的地址来选择网关之一以从主机向目标计算机传送数据。该选择包括从主计算机发送到网关的请求消息，从网关传送到主计算机的响应消息，以及基于该响应消息对与目标进行通信的最优网关的确定。基于所述响应消息，如果网关之一和该目标计算机都被配置为接受远程直接存储器访问协议的话，传输管理器使用远程直接存储器访问协议在所选择的网关上联系目标计算机。

在本发明的另一方面，提供了一种产品，其被提供有经过网络与iSCSI配置的目标计算机进行通信的IB配置的主计算机。该网络包括至少两个与主机和目标计算机进行通信的单独的网关。网关之一是IPoIB网关，而另一个网关是iSER网关。该产品还包括切实的计算机可读载体，该载体包括计算机程序指令，该指令被配置为确定在网络上的通信路径。指令被提供以确定目标计算机的地址，以及基于所确定的地址选择有利于在主计算机和目标计算机之间的通信的网关。这些指令包括发送请求到两个网关，接收来自它们的响应，以及基于所接收的响应确定将使用的最优网关。指令被提供以使用远程直接存储器访问协议在所选择的网关上与目标计算机进行通信，如果网关之一和目标计算机被配置为接受远程直接存储器访问协议的话。

在本发明的另一方面，提供了一种方法，用于确定在计算机网络上的通信路径。计算机网络被配置有经过该网络与目标计算机进行通信的主机。该网络包括至少两个与主机和目标计算机进行通信的单独的网关。确定目标计算机的地址。之后，基于所确定的目标地址，选择所述网关之一以从主机向目标计算机传送数据。选择网关之一用于通信的传输的过程包括发送请求到第一和第二网关，从所述第一和第二网关接收响应，以及基于所接收的响应确定将使用的最优网关。在网关的选择之后，如果网关之一和目标计算机被配置为接受远程直接存储器访问协议的话，使用远程直接存储器访问协议在所选择的网关上联系目标计算机。

本发明的其他特征和优势将从以下结合附图对本本发明优选实施例的详细描述中变得明显。

附图说明

图1是现有技术IB架构的框图；

图2是IB主机与非IB目标计算机进行通信的框图；

图3是根据本发明优选实施例的数据通信协议选择的流程图；以及

图4是主机经过网络与目标计算机进行通信以及用于使主机和目标计算机之间的通信更方便的管理器的框图。

具体实施方式

总览

因特网SCSI(iSCSI)是用于在网络上链接数据存储器设备并在因特网协议(IP)网络上通过承载SCSI命令来传送数据的网络协议标准。在数据通信和存储的上下文中，iSCSI允许通过网关与远程处理器或I/O进行通信，其中该远程处理器或I/O呈现为本地附连的元件。然而，支持iSCSI通信的网关按照惯例不会支持远程直接存储器访问(RDMA)通信。用于RDMA、iSER的iSCSI扩展支持RDMA数据传送。iSER网关是支持从IB网络到因特网协议(IP)网络的RDMA数据传送的节点。支持RDMA通信的IB网络利用一个或多个网关来将一个IB网络连接到另一个IB网络，或将IB网络连接到非IB网络。IB多播工具被用作杠杆以确定在IB主机和非IB目标计算机之间支持RDMA通信的最优路径。

技术细节

iSER通过将iSCSI放在RDMA能力协议之上以提供RDMA读和写服务，来对iSCSI提供RDMA数据传送能力。这种服务使得数据直接被传送到iSCSI I/O缓存器中而不需要中间的数据复制。图2是IB主机(210)与非IB目标计算机(220)进行通信的框图(200)，该非IB目标计算机可以是IB架构的一部分也可以不是。如图所示，主机(210)在IB架构上并且与IB交换机(232)进行通信，该IB交换机同时与IPoIB网关(234)和iSER网关(236)进行通信。目标计算机(220)与交换机(238)进行通信，该交换机同时支持与IPoIB网关(234)和iSER网关(236)的通信。在一个实施例中，交换机(238)是以太网交换机。iSER网关(236)支持在IB主机计算机(210)和非IB目标计算机(220)之间的RDMA通信。

图3是图示一个过程的流程图，该过程用于确定最优通信路径以从IB主机发送数据分组到非IB目标计算机，比如iSCSI目标。基于图2的示例，在主机和目标机之间存在两个可用于传送数据的网关，一个IB配置的网关(234)和一个iSER网关(236)。定义(302)该网络中所有网关都被要求加入的特定多播组。多播通信是支持向选择的目的地组递送信息的工具。当该过程中的网关被启动后，该网关加入到明确定义的多播地址M(304)，并且该网关在该IPoIB网络上多播其存在(306)。在一个实施例中，在步骤(304)的多播过程被应用到IPoIB网关以及与IB网络进行通信的非IPoIB网关。该网关可使用不同的格式和工具来多播其存在。例如，该网关可使用不涉及IPoIB的IB多播，或使用利用在下的IB层多播的IPoIB多播。作为多播成员的每个主机和目标计算机都一从每个网关(308)接收到IPoIB多播时就在它们的高速缓冲存储器中存储网关数据。通过在高速缓冲存储器中存储网关数据，主机减轻了周期性地更新该数据。在一个实施例中，如果网关和主机之间在所定义的时间段内没有通信或没有一定量的通信，那么主机可刷新高速缓冲存储器数据。因此，用于经过网络进行数据分组通信的该过程的第一部分要求每个网关都加入到多播中。

在互连计算机网络中，每个主机和目标计算机都可经过该网络发送数据分组。发送数据分组的计算机被称作主机，而将要接收数据分组的计算机被称作目标机。网络中的每个主机和目标机都具有唯一地址以识别各自的计算机并且使得数据分组能够被适当地发送到预期计算机。在数据分组的传输之前，主机确定(310)目标机的地址。在一个实施例中，主处理器使用iSCSI名称服务来合适地确定目标机的地址。在步骤(310)之后，确定该目标地址是否位于主机的本地IPoIB子网上(312)。对于步骤(312)处的确定的肯定响应使得主机能够在本地IPoIB子网上联系目标机(314)。在一个实施例中，步骤(314)的通信支持在主机和目标机之间的RDMA通信。然而，如果对步骤(312)处的确定的响应是否定的，那么该主机将关于到目的机的预期传输的信息递送到在地址M上的每个网关(316)，即该主机在地址M上多播它们的请求。由主机发送的信息可以包括对数据的请求，以确定与目标机通信的最优网关。在步骤(316)的多播之后，接收该多播的每个网关以所请求的数据响应该主机(318)。该响应数据被该主机使用来确定最优通信路径和通信格式。例如，必须确定接收主机传输的哪个网关可以到达预期目标机。如果所响应的网关不能到达目标机，那么它就不应是被选择用于通信传输的网关。在一个实施例中，该数据请求包括网关配置数据，并且不需要单独的数据请求。如图2所示，该网关可以是IPoIB网关、iSER网关等。网关配置数据作为响应数据的一部分被返回到进行请求的主机。所选择的网关类型将协助确定该网关是否支持RDMA传输。然而，即使该网关支持RDMA传输，也必须确定是否支持从该网关到目标机的RDMA传输。多播请求中的其他因素包括接收网关的地址、每个网关的带宽、从主机到目标机的跳数，等等。一接收到来自多播中的每个网关的多播响应，主机就等待指定的时间段以接收全部响应(320)。基于从多播中的网关所接收的响应，该主机确定选择哪个网关用于到目标机的最优数据传送(322)，并使用所选择的协议通过所选择的网关联系目标机(324)。在一个实施例中，相对于iSCSI，该主机可优选地通过RDMA与目标机进行通信，如果存在通过多播上的网关之一的RDMA支持并且该目标机支持RDMA的话。

在一个实施例中，本发明以软件方式实施，其包括但不局限于固件、常驻软件、微码等。本发明可采用从计算机可使用的或计算机可读的介质来访问的计算机程序产品的形式，该介质提供被计算机或任何指令执行系统使用的或相关联的程序代码。为了描述的目的，计算机可使用的或计算机可读的介质可以是能够包含、存储、通信、传播或传输该程序以用于由指令执行系统、装置或设备来使用或与其相关联的任何装置。

图4是说明计算机系统中通信选择工具的配置的框图(400)。该图示示出了具有处理器(404)、存储器(406)以及与网络通信的信道适配器(408)的主计算机(402)。如图2所示，主计算机经由网络通过交换机(410)进行通信。主计算机支持通过网关的网络间通信。在一个实施例中，交换机(410)与两个网关(420)和(430)通信。管理器(412)被示为处于主计算机(402)的存储器(406)中。管理器(412)可利用计算机可读介质中的指令来选择最优网关，以将数据从主机(402)传送到与网关(420)、(430)之一进行通信的目标计算机(未示出)。在一个实施例中，管理器(412)发送请求到与主计算机(402)和目标计算机(未示出)通信的至少两个网关(420)和(430)，并且基于从网关(420)和(430)接收的响应，管理器(412)确定发送通信内容的最优网关。如果目标计算机和至少一个网关被配置为接受RDMA协议，那么管理器(412)将发出指令，以致使经由使用RDMA的所选网关来从主机向目标计算机通信。在一个实施例中，管理器(412)可作为存储器(406)外部的硬件工具。因此，管理器(412)可作为软件工具或硬件工具来实施，以实现在位于IB网络中的计算机和位于IB网络外部的计算机之间的通信。

在本发明范围内的实施例还包括制造的产品，包括具有编码在其中的程序代码的程序存储装置。这种程序存储装置可以是可由通用或专用计算机访问的任何可用介质。通过举例而不是限定的方式，这种程序存储装置可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储器、磁盘存储器或其他磁存储设备，或可被用于存储预期程序代码单元和可由通用或专用计算机访问的任何其他介质。以上的组合也应当被包括在程序存储装置的范围内。

介质可以是电的、磁的、光学的、电磁的、红外的或半导体系统(或装置或设备)或传播介质。计算机可读介质的例子包括半导体或固态存储器、磁带、可拆卸计算机磁盘、随机存储器(RAM)、只读存储器(ROM)、刚性磁盘和光盘。当前光盘的例子包括只读型光盘(CD-ROM)、读/写型光盘(CD-R/W)和DVD。

适用于存储和/或执行程序代码的数据处理系统包括通过系统总线直接或间接连接到存储器单元的至少一个处理器。存储器单元可包括在程序代码的实际执行期间利用的本地存储器、海量存储器、缓冲存储器，其提供至少一些程序代码的临时存储从而减小在执行期间必须从海量存储器中获得的代码次数。

输入/输出或I/O设备(包括但是不限于键盘、显示器、点击设备等)可直接或通过中间I/O控制器连接到系统。网络适配器还可耦合到系统，以使得数据处理系统能够通过中间私有或公共网络连接到其他数据处理系统或远程打印机或存储设备。

软件实施方式可采用从计算机可用的或计算机可读的介质可访问的计算机程序产品的形式，该介质提供被计算机或任何指令执行系统使用的或与相关联的程序代码。

相对于现有技术的优点

每个网关在启动时以指定地址在网络中多播它们的存在，并且响应来自主机的用以确定到目标处理器的最优传输协议的查询。与网关多播通信的每个主机维持对网关启动信息的以及对网络中每个网关的查询响应数据的高速缓冲存储器。这允许所有主机处理器减少在网络上传输的数量。

可替换实施例

可以理解的是，尽管本发明在此为了说明的目的已经描述了特定实施例，但是在不脱离本发明精神和范围的情况下可做出各种修改。特别地，如果网络中的所有网关都支持IPoIB，那么可以将IPoIB“广播GID”用作多播地址。反之，本发明不应当被限定于IPoIB和相关协议。例如，在一个实施例中，因特网协议多播可被使用因特网协议代理进程或代理的网关使用。

尽管在此所示的实施例是在具有从主处理器到目标处理器的一条或两条路径的IB网络的环境中描述的，实施例还可被应用到具有从主处理器到目标处理器的多条路径的存储区域网络。类似的，尽管以上描述说明了与单个目标计算机通信的单个主机，但是本发明不应当现至于单通信。在一个实施例中，在网络上可以有多个主机与任意数量的目标计算机通信。因此，本发明的保护范围仅由以下权利要求及其等同方式限定。

Claims (16)

1.一种用于确定在计算机网络上的通信路径的方法，包括：

用IB配置的主计算机来配置计算机网络，所述IB配置的主计算机经过所述网络与非IB配置的目标计算机进行通信；

将与所述主计算机和目标计算机通信的至少两个单独网关提供给所述网络，所述网关的第一个是IPoIB网关以及所述网关的第二个是iSER网关；

确定所述目标计算机的地址；

基于所述确定的所述目标计算机的地址，选择所述网关之一以从所述主计算机向所述目标计算机传送数据，其中包括：发送请求到所述第一和第二网关，从所述网关接收响应，并且基于所述接收的响应来确定要使用的最优通信协议，其中所述响应包括从包括以下各项的组中选择的数据：所述网关是否可达到所述目标、网关类型、到所述目标的RDMA支持、到所述目标的跳数、到所述目标的带宽、所述网关的端口的IP地址以及其组合；以及

如果所述网关之一和所述目标计算机被配置为接受远程直接存储器访问协议，那么通过所述选择的网关使用所述远程直接存储器访问协议来联系所述目标计算机。

2.如权利要求1所述的方法，进一步包括：如果所述目标计算机的所述地址在本地IPoIB子网上，则通过所述本地IPoIB子网联系所述目标计算机。

3.如权利要求1所述的方法，进一步包括：所述第一和第二网关启动时在与所述主计算机通信的所述网络上多播它们的存在，其中所述多播是从包括以下的组中选择：无IPoIB的IB多播，和IPoIB多播。

4.如权利要求3所述的方法，其中所述网关启动时多播它们的存在的步骤使得所述主计算机能够在主高速缓冲存储器中存储网关。

5.如权利要求1所述的方法，进一步包括：如果网关被配置为拒绝所述远程直接存储器访问协议，那么通过所述选择的网关使用iSCSI来联系所述目标计算机。

6.一种计算机系统，包括：

IB配置的主计算机，其经过网络与iSCSI配置的目标计算机进行通信；

至少两个网关，其与所述主计算机和目标计算机进行通信；

管理器，其基于所述目标计算机在所述网络上的地址来选择所述网关之一以从所述主计算机向所述目标计算机传送数据，其中所述选择包括从所述主计算机发送到所述网关的请求消息，从所述网关传送到所述主计算机的响应消息，以及基于所述响应消息对与所述目标计算机进行通信所用的最优网关和通信协议的确定，其中所述响应消息包括从包括以下的组中选择的数据：所述网关是否可达到所述目标、网关类型、到所述目标的RDMA支持、到所述目标的跳数、到所述目标的带宽、所述网关的端口的IP地址以及其组合；以及

传输管理器，如果所述网关之一和所述目标计算机都被配置为接受远程直接存储器访问协议，则所述传输管理器使用所述远程直接存储器访问协议通过所述选择的网关联系所述目标计算机。

7.如权利要求6所述的系统，进一步包括：如果所述目标计算机的所述地址在本地IPoIB子网上，则所述传输管理器通过所述本地IPoIB子网联系所述目标计算机。

8.如权利要求6所述的系统，进一步包括由所述主计算机的所述网关在启动时发送的多播消息以在所述网络上广播所述网关的存在，其中所述多播从包括以下的组中选择：无IPoIB的IB多播，以及IPoIB多播。

9.如权利要求8所述的系统，进一步包括主机高速缓冲存储器，其用于存储所述多播消息。

10.如权利要求6所述的系统，进一步包括如果网关被配置为拒绝所述远程直接存储器访问协议，那么所述传输管理器通过所述选择的网关使用iSCSI来联系所述目标计算机。

11.一种用于确定计算机网络上通信路径的设备，其中

所述计算机网络包括经过所述网络与iSCSI配置的目标计算机进行通信的IB配置的主计算机，所述网络具有与所述主计算机和目标计算机通信的至少两个单独网关，所述网关的第一个是IPoIB网关而所述网关的第二个是iSER网关；

其中用于确定所述网络上的通信路径的设备包括：

用于确定所述目标计算机的地址的装置；

用于基于所述确定的所述目标计算机的地址选择从所述主计算机向所述目标计算机传送数据的最优网关的装置，所述选择包括：发送请求到所述第一和第二网关，从所述网关接收响应，并且基于所述接收的响应来确定最优通信网关，其中所述响应包括从包括以下的组中选择的数据：所述网关是否可达到所述目标、网关类型、到所述目标的RDMA支持、到所述目标的跳数、到所述目标的带宽、所述网关的端口的IP地址以及其组合；以及

用于如果所述网关之一和所述目标计算机被配置为接受远程直接存储器访问协议，那么通过所述选择的网关使用所述远程直接存储器访问协议来联系所述目标计算机的装置。

12.如权利要求11所述的设备，进一步包括用于如果所述目标计算机的所述地址在本地IPoIB子网上则通过所述本地IPoIB子网联系所述目标计算机的装置。

13.如权利要求11所述的设备，进一步包括：所述第一和第二网关具有用于当启动时在与所述主计算机通信的所述网络上多播它们的存在的装置，其中所述多播从包括以下的组中选择：无IpoIB的IB多播以及IPoIB多播。

14.如权利要求13所述的设备，其中用于所述网关启动时多播它们的存在的装置使得所述主计算机在主高速缓冲存储器中存储网关。

15.如权利要求11所述的设备，进一步包括用于如果网关被配置为拒绝所述远程直接存储器访问协议，那么通过所述选择的网关使用iSCSI来联系所述目标计算机的装置。

16.一种用于确定在计算机网络上的通信路径的方法，包括：

用经过所述网络与目标计算机通信的主计算机配置计算机网络；

将与所述主计算机和目标计算机通信的至少两个单独网关提供给所述网络；

确定所述目标计算机的地址；

基于所述确定的所述目标计算机的地址，选择所述网关之一以从所述主计算机向所述目标计算机传送数据，其中包括：发送请求到所述第一和第二网关，从所述网关接收响应，并且基于所述接收的响应来确定最优通信协议，其中所述响应包括从包括以下的组中选择的数据：所述网关是否可达到所述目标、网关类型、到所述目标的RDMA支持、到所述目标的跳数、到所述目标的带宽、所述网关的端口的IP地址以及其组合；以及

如果所述网关之一和所述目标计算机被配置为接受远程直接存储器访问协议，那么通过所述选择的网关使用所述远程直接存储器访问协议来联系所述目标计算机。

Images