CN101286942B - 管理无限带宽通信链路的发送机、接收机和方法 - Google Patents

Abstract

一种无限带宽流控制方案禁止基于信用的流控制从而可以扩展传输距离。基于无限带宽信用的流控制经历降低传输速率的往返时间延迟。禁止基于无限带宽信用的流控制由于忽略了信用计数而允许可以进行连续(back toback)分组传输。但是，由于接收机的缓冲器溢出分组可能被丢失，因此，使用分组丢弃检测机制，从而无限带宽接收机可以向无限带宽发送机发送用于临时降低无限带宽传输速率的请求。

Description

管理无限带宽通信链路的发送机、接收机和方法

可从无限带宽(InfiniBand)行业协会获得的工业标准无限带宽(InfiniBand^TM)体系结构规范包含在某些方面与本申请的主题相关的主题。上述标识的文档通过参考整体结合在此。

技术领域

本发明涉及代替专有系统间信道链路(Proprietary Inter System Channel)的基于无限带宽的长距离方案。本发明特别提供了一种流控制机制，该机制不使用无限带宽定义的信用交换(credit exchange)，因此允许扩展传输距离。

背景技术

基于信用的流控制基于数据在发送机和接收机之间的通信交换。通常，接收机将向发送机确认其目前可以接收大量的数据。在基于信用的协议下，发送机不会发送数据除非接收到该确认。该确认还可以在接收机的缓冲器被卸载时(可能累积地)指定接收设备可以接收多少数据。由于发送机和接收机之间这些必须的交换消耗传播时间，因此在发生交换的时候，例如兆字节的大量数据需要被缓冲。随着传输距离的增加，往返传播时间增加并且因此当发生信用交换时缓冲器的大小必须适应传输中的分组。

根据带宽需求，无限带宽(IB)接口和协议对于在大约几百米的距离上传输数据分组而不使用中继器(repeater)或者中间交换设备是有用的。通过中继器，这些距离可以增加到几十万米，然而，由信用交换所消耗的上述往返传输时间增大了。在IB接口上扩展传输距离的一种方案是不考虑或者禁止趋向于浪费带宽的IB流控制。流控制对于避免数据溢出是有用的，然而，流控制在接收机处需要缓冲器资源。当禁止流控制时需要丢弃分组检测和抑制机制，以便检测由于减慢的存储器子系统和缓冲器溢出引起的丢弃分组，以及减慢数据传输速率。在这些情况下，例如，可以向发送设备发送请求分组指示它们减慢其数据传输的速率。

每个信用分组可以传送信用变化量，因此，可以根据情况偶尔或经常的发送信用分组。每个信用分组可以表示接收机中可用缓冲空间的绝对量或者可以表示当缓冲存储器变得可用时缓冲存储器的增加量。传统的，IB实现每个分组的绝对表示。

发明内容

无限带宽通信链路可以是耦合节点的点到点连接，其中在每个节点中包含发送和接收设备。依照本发明用于操作节点的方法和设备包括在链路上交换信用信息以控制其它节点在链路上的数据传输速率的节点。每个节点中的接收设备包括数据缓冲器，用于存储从其它节点发送的数据，而每个节点中的发送设备包括信用计数逻辑，用于追踪在其它节点的接收缓冲器中的可用空间。禁止发送设备兑现(honor)其它节点在链路上发送的并且由信用逻辑追踪的信用信息，使更大的数据传输速率成为可能。这个创造性的特征需要接收设备监视由其它节点发送的、由于缓冲空间的缺乏而导致的丢弃分组。在这种情况下，接收设备向其它节点发送请求以降低数据传输速率。

本发明的另一实施例包括在IB链路上通信的节点之一中的接收设备。接收设备，或者“接收机”包括耦合到IB链路的输入端以及用于存储输入IB分组的数据缓冲器。还包括耦合到IB链路用于发送指示其数据缓冲器中可用空间的数量的信用数据的输出端。电路为数据缓冲器监视由于缺少缓冲空间引起的丢弃分组。如果检测到丢弃分组，则节点在IB链路上发送用于降低传输速率的请求。

本发明的另一实施例包括在IB链路上通信的节点之一中的发送设备，或“发送机”。发送机包括耦合到IB链路的、用于发送IB分组的输出端以及用于从接收机接收信用数据和其它请求的输入端，所述请求例如降低当前传输速率。在另一实施例中，发送机包括用于解释信用数据以及用于响应减慢请求减慢当前传输速率的电路。如果忽略信用数据，发送机可以连续地(back toback)传输数据分组，而不考虑节点之间的距离。

通过结合下述说明以及相应的附图，可以更好地理解本发明的这些以及其它方面和目标。然而，应当明白尽管下述说明示出了本发明的优选实施例和其多个特定的细节，其仅仅是示意性地给出的并不限制本发明。可以在不脱离本发明的精神的情况下，在本发明的范围内进行多种改变和修改，并且本发明包括所有这些修改。

附图说明

图1示出了IB节点的点到点连接的例子。

图2示出了一个IB站点中的发送机以及另一IB站点中的接收机。

图3示出了使用基于信用的流控制在短距离的两个IB节点之间的通信等待时间。

图4示出了使用基于信用的流控制在长距离的两个IB节点之间的通信等待时间。

图5示出了没有流控制在长距离的两个IB节点之间的通信等待时间。

图6示出了使用基于延迟的流控制在长距离的两个IB节点之间的通信等待时间。

图7示出了在不同缓冲器大小、流控制和带宽的环境下两个节点之间的数据速率下降。

具体实施方式

参考图1，示出了两个站点105和106之间的点到点网络配置的例子。每个站点包括中央电子联合体101，经由短距离的双向IB链路103与相应的耦合设施102通信。节点之间的点到点通信通过了长距离的双向IB链路104。在通信链路110的一端的每个设备包括发送机和接收机108，由于每个设备必须通过信用分组追踪并经由信用分组向其它设备传送在接收机的接收缓冲器中有多少空间可用，从而其可以控制在双向链路上的数据传输速率。通常，这些设备110是耦合到系统101或102以及耦合到IB链路104或103的IB信道适配器。

每个设备110中的计算机代码107进行工作以根据实践本发明的方法的特征和功能控制硬件。每个示例性站点105和106可以被配置为系统zsysplex，包括由纽约Armonk的IBM公司制造的z9主机。这种示例配置并不是试图穷举的。本地或远程站点中的每一个还可以包括多个CEC和多个耦合设施。CEC还可以包括内部耦合设施而不是所示的外部耦合设施。同一机器可以被配置为作为CEC和耦合设施来操作。耦合设施提供的一般功能包括耦合CEC。根据现有技术的复杂度以及链路103或104的物理属性，所考虑的长距离可以改变，然而，一般的，作为一个例子，给出或采用1千米长的链路，或者更长的距离可以被认为是“长距离”以用于解释。这些链路还可以扩展数千米，其也将被认为是长距离链路。

参考图2，示出了在上述和图1所示出的每个设备(CEC以及耦合设施)中包含的示例性发送机和接收机。然而，为了给出“长距离”通信的例子，图2中的接收机209和发送机208之间的耦合，例如从发送机208发送到接收机209的虚拟专用线(VLin)缓冲器203的数据分组207，以及由接收机209发送到发送机208的信用分组206示出了站点105和106之一的发送机与站点105和106中的另一个的接收机通信。

在操作中，仅当接收机的VLin缓冲器203中有足够的空间时，发送机208才发送数据分组207。通过其信用控制逻辑，或者信用计数205，发送机知道接收机的缓冲器中的可用空间量。当从接收机209接收信用分组206时，发送机在信用控制逻辑中累积信用。如IB协议中普遍的，用每个信用分组发送接收缓冲器中总的可用空间的指示，而不是作为累计计数，尽管任何一种都可以准确的实现。通常，例如，一个信用(one credit)等于64字节，指示接收机中可用的缓冲空间量。当发送机发送数据分组207时，其依照发送的分组的大小，减少205中的信用计数。当在系统存储器202中接收到来自接收端的缓冲器的数据时，耦合到VLin缓冲器的接收机的信用控制逻辑204检测接收机的VLin缓冲器203的数据输出的移动，并且周期性的产生并向发送机208发送包含累计的或者总的信息的信用分组206，从而通知发送机在接收机的缓冲器中有更多的空间可用。然后发送机208从接收机209接收信用分组206，并通过每个累计通信逐步增加或每个绝对信用计数替代其信用计数来相应的增加信用控制逻辑205中的信用计数。发送机中的控制寄存器210包括用于禁止发送机中使用信用数据的电路的模式比特(mode bit)。当模式比特被设定为禁止时，发送机忽略信用数据并以无限制的速率，即，最大速率发送数据分组，除非其从接收机接收到减慢传输的请求。模式比特指示硬件发送数据，而不检验流控制信用计数器。通常，配置软件(固件)将控制这一模式比特的状态，或者可选的，可以通过操作员的命令设定控制软件。

参考图3，示出了由发送机301发送到接收机302的数据分组1-11 303以及由接收机发送到发送机的信用分组1-11 304的交换。这是根据本发明的一个实施例的典型的基于信用的流控制交换。由307指示的时间间隔示出了部分卸载(unload)VLin缓冲器所需的时间，并且从接收、处理和卸载数据分组的时间直到发送指示由卸载产生的空间大小的信用分组来测量。当接收数据和信用分组时，发送机和接收机中的每一个使用一定量的处理时间。在发送机和接收机之间短距离通信交换的例子中，发送机连续发送分组而不需要等待从接收机接收信用分组的任何延迟。时间间隔306指示发送机发送数据分组所需的时间。在该例子中，数据分组传输之间的等待时间可以被忽略或者不存在。为了示意的目的，数据分组大小具有大约相同的长度并且以规则的时间间隔被发送。相似的，为了示意的目的，也以规则的时间间隔发送信用分组，该时间间隔由表示发送信用分组的等距离线表示。在实际的操作中，可以以不规则间隔发送数据和信用分组并且每个数据和信用分组承载不同的数据量，或者在信用分组的情况下，指示可用缓冲空间量的改变。

这示意了发送机不由于等待信用分组的过多往返时间而浪费其可用带宽的短距离特征。往返时间是由发送机发送的数据分组经过一段距离到达接收机、接收机卸载该数据分组并发送指示由于卸载而可用的空间的信用分组所占用的总时间，以及信用分组经过所述距离返回发送机所占用的时间。这在305指示，其中发送例如数据分组6所需的信用(信用分组4)在其需要之前被接收，即数据分组5仍然要被发送机发送。

参考图4，示出了基于信用的流控制交换，但是发送机和接收机之间有较长距离，由于必须等待从接收机接收信用分组402，这对发送机的数据分组401的传输速率引入了延迟。在这种情况下，发送机和接收机可以以与图3的短距离例子中相同的速率操作，区别仅仅是它们之间的距离更大。在图3和图4之间，表示数据和信用分组行进的线的斜率相同，表示行进速率相同。时间间隔307和404相同，表示接收机以相同的速率处理接收的数据分组。由于基于信用的流控制协议限制，发送机在其发送数据分组之前等待接收信用分组，其往返时间403比短距离例子中的往返时间305短。发送机可以以与图3的短距离例子中相同的速率发送相等的数据分组。在这种情况下，发送机并不能如同在图3的短距离例子中那样连续发送数据分组。发送数据分组401所需的信用分组并不及时到达并且发送机被延迟时间量405，时间量405指示由于数据和信用分组传输时间导致的浪费的带宽量，即使接收机卸载数据分组所需的时间404以及发送机发送分组所需的时间406与图3的短距离例子中的306保持相同。接收机卸载数据分组以及发送信用分组所占用的时间独立于发送机和接收机之间的距离。该示例说明显示了当发送机和接收机相距更远时，分组从发送机行进到接收机会用更长时间。浪费的时间405由往返时间的增加而引起，而往返时间的增加由发送机和接收机之间的距离所导致。

参考图5，示出了除了基于信用的流控制被关闭以外，位于与图4所示相同距离的发送机和接收机。这使分组可以以与图3的短距离例子中相同的速率、但在更长的距离上被交换。这是由于在该示例实施例中，因为发送机忽略输入的信用分组，所以发送机以可忽略的延迟连续发送延迟分组501而不等待信用分组502。然而，接收机并不知道发送机忽略信用。卸载缓冲器的时间503保持为与传输分组所占用的时间相同504。因此，由于禁止基于信用的流控制，在较长距离的分组传输速率等于短距离的传输速率。

参考图6，示出了一种示例，其中由于其VLin缓冲器填满了，连续发送的发送机数据分组601在接收机603被丢弃。在该例子中，发送机不等待信用分组602并且忽略输入信用分组609。响应于检测到条件604(或者响应于检测到某些其它预先选择的丢弃分组数量)，从接收机向发送机发送减速分组607。该检测机制包括对于接收机的处理器公知的硬件中断，其导致程序代码产生发送到发送机的减速分组。该减速分组通常采用IB管理数据报的格式。在发送机中接收并处理减速分组从而增加输出分组的分组间延迟。IB协议实现了用于控制分组间延迟的公知的静态速率控制机制，例如，参见无限带宽结构规范的第9.11节。标准IB设备包含用于在数据发送机中检测丢弃分组以及用于静态速率控制(分组间延迟)的机制。尽管分组间延迟机制的传统使用是用于控制在包括不同速度链路的路径(例如在交换网络中)中的分组注入率(injection rate)，但是可以用于这里所描述的用处--当回避流控制时。相似的，如果以及当接收机停止丢弃分组时，还可以向发送机发送提高速度命令分组。

卸载缓冲器的时间605保持为与发送分组所占用的时间606相同。响应接收到减速分组607，发送机引入分组间延迟并降低其数据分组传输608的速率。本发明的一个优点是减速分组可以指示发送机逐渐递增地减慢传输，从而使得分组不被丢弃，但是速度没有降低很多以致于引入带宽的大量浪费，带宽的浪费可能发生在图4所示的基于信用的流控制中。通过比较图4和图6中浪费的带宽量进行了示意。

参考图7，示出了在每个方向包含示例性单个光纤的双向链路的性能度量。以1GB/s带宽的水平线701示出了缺少QDR信用(QDR credit-less)的性能；以0.5GB/s带宽的水平线702示出了缺少DDR信用的性能；QDRw/Max缓冲器导致了1GB/s的水平线在大约12km处开始下降704；DDR w/Max缓冲器导致了0.5GB/s带宽的水平线在大约27km处开始下降706；QDRw/32kVLin缓冲器导致了1GB/s的水平线在大约3km处开始下降703；以及DDRw/32k VLin缓冲器导致了0.5GB/s的水平线在大约7km处开始下降705。

从图7中可见，IB链路的缺少信用操作导致了在任何距离的一致传输速率，无论以1GB/s传输速率701或者0.5GB/s速率702都没有下降。这分别对应于四倍数据速率传输(QDR)和双倍数据速率传输(DDR)。基于信用的流控制导致传输速率随着传输距离的增加而下降。如图7所示，与32k缓冲器相比，在接收机中的较大缓冲器，例如“最大缓冲器”接近131kB，有助于在下降704和706发生前，与较小缓冲器的下降703和705相比，扩展传输距离。从图7中可以推出的一个结论是在大约27km的距离处，当实现基于信用的控制时，具有1GB/s能力的发送机/接收机对与具有0.5GB/s能力的发送机/接收机对相比，没有性能的优势。这大约是1GB/s链路的下降704与0.5GB/s线开始下降706的点接近并相遇的距离。

可替代实施例

将会理解，尽管为了示意的目的，这里已描述了本发明的特定实施例，但在不脱离本发明的精神和范围的情况下可以进行各种改进。特别地，这里所述的技术可以实现为方法、设备或者包括软件、固件、微代码、硬件和/或其任意组合的制品(article of manufacture)。这里使用的术语“制品”指的是在介质中实现的代码或逻辑，其中该介质可包括硬件逻辑(例如，集成电路芯片、可编程门阵列(PGA)、专用应用集成电路(ASIC)等)，或者计算机可读介质，例如磁存储介质(例如，硬盘驱动、软盘，磁带等)、光学存储器(CD-ROM、光盘等)、易失和非易失存储设备(例如，电可擦除可编程只读存储器(EEPROM)、只读存储器(ROM)、可编程只读存储器(PROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、固件、可编程逻辑等)。通过处理器访问和执行计算机可读介质中的代码。其中的代码或逻辑被编码的介质还包括通过空间或传输介质，例如光纤，铜线等传输的传输信号。其中的代码或逻辑被编码的传输信号还包括无线信号、卫星传输、无线电波、红外信号、蓝牙等。其中的代码或逻辑被编码的传输信号可以通过发送站发送并且通过接收站接收，其中传输信号中的代码和逻辑可以被解码并存储在接收和发送站或设备中的硬件或计算机可读介质中。此外，“制品”可以包括在其中嵌入处理和执行代码的软件组件和硬件的组合。当然，本领域技术人员将认识到可以在不脱离实施例的范围的情况下进行多种改进，并且制品可以包括任何信息承载介质。例如，制品包括具有存储在其中的指令的存储介质，当设备执行该指令时导致操作被执行。

特定实施例可以采用全硬件实施例、全软件实施例或者包含硬件和软件元件两者的实施例。在优选实施例中，本发明实现为硬件和软件，其包括但不限于固件、常驻软件、微代码等。此外，特定实施例可以采用可从计算机可用或者计算机可读介质访问的计算机程序产品的形式，所述计算机可用或者计算机可读介质提供程序编码，用于或者结合计算机或任何指令执行系统使用。为了该说明的目的，计算机可用或计算机可读介质可以是任何包含、存储、传送、传播或传输由指令执行系统、装置或设备使用或与所述系统、装置或设备结合的程序的设备。介质可以是电、磁、光、电磁、红外或半导体系统(或装置或设备)或传播介质。计算机可读介质的例子包括半导体或固态存储器、磁带、可移除计算机磁盘、随机存取存储器(RAM)、只读存储器(ROM)、硬磁盘和光盘。光盘的当前例子包括紧致盘-只读存储器(CD-ROM)、紧致盘-读/写(CD-R/W)和DVD。

因此，已经为了示意和说明的目的，呈现了实施例的上述说明。其并不意味着穷尽的或者将实施例限定为这里公开的精确形式。在上述启示下可以进行各种改进和变化。

Claims (15)

1.在耦合第一节点和第二节点的无限带宽通信链路中，一种管理所述通信链路的方法，其中每个所述节点包括发送设备和接收设备，所述节点在所述链路上交换信用信息以控制另一节点在所述链路上的数据传输速率，并且其中每个所述接收设备包括用于存储从所述另一个节点发送的数据的数据缓冲器，该方法包括步骤：

禁止发送设备兑现由所述另一节点在所述链路上发送的所述信用信息；

所述接收设备监视由所述另一节点发送的、由于缺少缓冲空间而导致的丢弃分组；以及

响应检测到由于缺少缓冲空间导致的丢弃分组，所述接收设备向所述另一节点发送降低传输速率的请求。

2.如权利要求1所述的方法，其中所述禁止步骤包括在所述发送设备中设定模式比特以使所述发送设备忽略信用数据的步骤。

3.如权利要求2所述的方法，其中所述禁止步骤还包括从由下述内容组成的步骤组中选择的步骤：

操作员可控制地设定所述模式比特，以及配置程序自动地设定所述模式比特。

4.如权利要求1所述的方法，其中所述发送设备响应用于降低传输速率的请求，通过可控制的增加分组间延迟降低所述传输速率。

5.如权利要求4所述的方法，其中在降低所述传输速率后，所述发送设备在预先选择的时间间隔之后增大传输速率，其中在所述预先选择的时间间隔期间没有接收到用于降低所述传输速率的请求。

6.如权利要求4所述的方法，其中在降低传输速率之后，所速发送设备响应从所述接收设备接收到用于增大所述传输速率的请求后增大所述传输速率。

7.一种接收机，包括：

耦合到IB链路的输入端，用于接收处于第一传输速率的输入IB分组；

耦合到所述输入端的数据缓冲器，用于存储所述输入IB分组；

耦合到所述IB链路的输出端，用于在所述IB链路上发送用于指示所述数据缓冲器中空间量的信用数据； 

耦合到所述数据缓冲器的监视电路，用于检测由于缺少缓冲空间导致的丢弃分组；以及

耦合到所述输出端的输出电路，用于在所述IB链路上发送用于把所述第一传输速率降低到较慢传输速率的请求。

8.如权利要求7所述的接收机，还包括耦合到所述输出端的另一输出电路，用于在所述IB链路上发送用于增大所述较慢传输速率的请求。

9.一种发送机，包括：

耦合到IB链路的输出端，用于以受控的传输速率在所述链路上发送IB分组；

耦合到所述IB链路的输入端，用于接收信用数据和把当前传输速率降低到较慢传输速率的请求；

耦合到所述输入端的第一电路，用于解释所述信用数据以及用于响应于信用数据控制IB分组在所述链路上被传输的当前传输速率；

第二电路，用于禁止所述第一电路，从而使所述发送机以不受限制的传输速率操作；以及

耦合到所述输入端的第三电路，用于响应于接收到用于降低当前传输速率的请求而降低所述不受限制的传输速率。

10.如权利要求9所述的发送机，其中所述输入端能够接收用于增大所述较慢传输速率的请求，并且所述发送机还包括第四电路，用于响应于接收到增大所述较慢传输速率的所述请求而增大被所述第三电路降低的所述较慢传输速率。

11.如权利要求9所述的发送机，还包括第四电路，用于在没有接收到降低当前传输速率的请求的一时间间隔后，增大由所述第三电路降低所述当前传输速率导致的较慢传输速率。

12.如权利要求9所述的发送机，其中所述第二电路包括用于检测所述发送机中指示是否禁止所述第一电路的模式比特的状态的电路。

13.如权利要求12所述的发送机，还包括可由操作员控制用于选择性的设定所述模式比特的状态的电路。

14.如权利要求12所述的发送机，还包括可由配置程序控制用于选择性的设定所述模式比特的状态的电路。

15.如权利要求9所述的发送机，其中所述第三电路包括用于增大所述发送机的分组间延迟的电路。 

Images