CN101258719B - 延长InfiniBand网络的实时到达的方法 - Google Patents
延长InfiniBand网络的实时到达的方法 Download PDFInfo
- Publication number
- CN101258719B CN101258719B CN200680026207XA CN200680026207A CN101258719B CN 101258719 B CN101258719 B CN 101258719B CN 200680026207X A CN200680026207X A CN 200680026207XA CN 200680026207 A CN200680026207 A CN 200680026207A CN 101258719 B CN101258719 B CN 101258719B
- Authority
- CN
- China
- Prior art keywords
- infiniband
- packet
- wan
- credit
- interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 239000000872 buffer Substances 0.000 claims abstract description 39
- 238000005538 encapsulation Methods 0.000 claims abstract description 21
- 230000003287 optical effect Effects 0.000 claims description 12
- RGNPBRKPHBKNKX-UHFFFAOYSA-N hexaflumuron Chemical compound C1=C(Cl)C(OC(F)(F)C(F)F)=C(Cl)C=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F RGNPBRKPHBKNKX-UHFFFAOYSA-N 0.000 claims description 9
- 238000009432 framing Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000007689 inspection Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 230000006978 adaptation Effects 0.000 claims description 2
- 230000001143 conditioned effect Effects 0.000 claims 4
- 230000008878 coupling Effects 0.000 claims 2
- 238000010168 coupling process Methods 0.000 claims 2
- 238000005859 coupling reaction Methods 0.000 claims 2
- 238000012423 maintenance Methods 0.000 claims 1
- 238000000926 separation method Methods 0.000 claims 1
- 239000013307 optical fiber Substances 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 3
- 238000002347 injection Methods 0.000 description 3
- 239000007924 injection Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000011664 signaling Effects 0.000 description 3
- MEFOXQVPZPBMPY-QWHCGFSZSA-N 1-[(1r,2r)-2-(3-acetyl-2-hydroxy-6-methoxyphenyl)cyclopropyl]-3-(5-chloropyridin-2-yl)thiourea Chemical compound COC1=CC=C(C(C)=O)C(O)=C1[C@@H]1[C@H](NC(=S)NC=2N=CC(Cl)=CC=2)C1 MEFOXQVPZPBMPY-QWHCGFSZSA-N 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 101150032285 QDR2 gene Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000012464 large buffer Substances 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 230000005641 tunneling Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/14—Multichannel or multilink protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/46—Interconnection of networks
- H04L12/4633—Interconnection of networks using encapsulation techniques, e.g. tunneling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/39—Credit based
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/90—Buffering arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/08—Protocols specially adapted for terminal emulation, e.g. Telnet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L2212/00—Encapsulation of packets
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Computer And Data Communications (AREA)
- Small-Scale Networks (AREA)
Abstract
本发明涉及一种用于延长InfiniBand网络的实时到达的装置的系统。方法和装置可以将InfiniBand网络连接到长距离连接(例如，WAN)，同时保持完整的10Gbit InfiniBand速度，并且保留由InfiniBand结构(IBTA)指定的语义。该系统包括InfiniBand接口、管理模块、分组路由、封装/去封装、大容量缓冲存储器和WAN接口、逻辑和电路。本发明适用于有效地使用单个传输流在很大的距离上移动大量数据。
Description
技术领域
本发明涉及一种用于延长InfiniBand网络的超出该InfiniBand结构现有可能的实时到达的装置，并且尤其是，允许InfiniBand分组经本身不遵循InfiniBand结构的网络被运送。这允许InfiniBand通信量与以其它诸如网际协议版本6(IPv6)或者异步传输模式(ATM)单元的标准协议共享物理网络。此外，由于在该装置中非常大的流量控制缓存，伴随着防止缓冲溢出的流量控制信用方案的使用，本发明允许大量数据在广域网(WAN)内被运输，同时仍然确保数据分组会由于接收机上不充足的缓存资源而不被丢失。为了有助于确保数据分组在WAN内不被丢弃，该装置还可以包括许多的业务质量(QOS)功能，其用于限制数据在响应背压的过程中进入WAN的注入速率。本发明还可以允许数据分组被以允许一个以上的装置连接到WAN这样的一种方式路由，从而允许InfiniBand网络使用最少的装置能够扩展为两个以上的物理位置。包含在该装置内的处理器可以操纵管理功能，诸如InfiniBand子网管理代理和设备管理。
背景技术
众所周知，由于在InfiniBand结构内每个虚拟通道(VL)许可的信用至多128KiB的限制，10Gbit InfiniBand仅仅能够达到大约10km。这种限制对可以立即传输的数据量设置了一个上限，因为标准InfiniBand发射机没有可资利用的信用而不能传送。此外，众所 周知，限制可以传输的数据量小于网络路径的带宽等待时间积将直接限制可以获得的最大数据传送速率。
例如，具有130微秒的往返行程等待时间的10Gbit InfiniBand链路具有128KiB的带宽等待时间积，其是一个InfiniBand链路内的单个VL的所能准许的信用的最大量。
典型地，InfiniBand链路将具有1个以上的入口和出口VL(直至15个)，该InfiniBand结构指定必须每个被独立地缓存，并且流量被控制以防止线路的头部堵塞以及流量控制停滞。在一些实施例中，该InfiniBand接口包含附加的流量控制缓冲器单元从WAN时钟域转换为InfiniBand时钟域。
由于物理上的限制，数据在光纤上以小于光速的速率传输。当光纤被认为是携带比特的导管的时候，很明显，整个的长的光纤可以包含运送中的许多兆比特的数据。例如，如果在传输10Gbit数据流的特定的光纤中光速是5ns/米，并且光纤是100km长，那么该光纤在每个方向将包含5兆比特的数据。许多WAN路径也包括来自带内设备增加的等待时间，诸如再生设备、光多路复用、增加/丢弃多路转换器、路由器、开关等等。这个额外的设备增加了附加的等待时间，并且进一步延长路径的带宽等待时间积。
正如InfiniBand结构所定义的，该InfiniBand电子和光信号协议与传统的WAN环境不兼容，或者不适用于传统的WAN环境。典型地，WAN环境在长距离光纤上使用同步光纤网(SONET)标准。
此外，为了减轻InfiniBand网络管理，正如InfiniBand结构所描述的，所希望的是对InfiniBand数据分组执行路由选择。无需对所有其它的参加者施加实质上的政策，路由选择允许每个远距离的站点在较大InfiniBand网络上的其所属部分保持局部控制。
发明内容
当结合在一起的时候，光纤的物理限制，需要具有超过路径的带宽等待时间积的缓冲能力，以及在InfiniBand结构内的多个VL的特点，都变得显而易见，需要将其中较好管理的非常大的缓冲存储器的装置由InfiniBand网络延长到横贯大陆的距离。例如，不考虑任何额外的等待时间开销，具有15个VL的实际5000km的距离将需要894MiB的缓冲存储器。
该装置的一部分功能是为了将在本地短InfiniBand链路上广告的信用(其典型地是8KiB)延长为更加适用于WAN的数字(其典型地是每个VL 512MiB)。这是使用先入先出缓存器(FIFO)做到的，当本地InfiniBand信用是可利用的时候将其排空，并且当输入数据抵达之时填满。周期性地，该装置经由用于每个有效的VL的信用广告数据分组通知其它的远程装置在FIFO内更多的空间是可利用的，并且该远程装置使用这个信息以确保其除FIFO可以接受的之外永不传送更多的数据。这是相同的基本流控制机理(端到端信用信息交换)，其被以InfiniBand结构方式使用，但是，其被比例增大以操纵缓存的十亿字节，并且更加适用于WAN环境。以这样的方式，InfiniBand型流量控制语义被保持在很大的距离上，以确保数据分组由于拥塞而不被丢弃。
在另一个实施例中，大容量缓冲存储器可以以所接收的数据分组的不同次序的顺序采用在多个FIFO结构以外的数据分组。
如果在本地InfiniBand端口上存在信用缺乏，那么该FIFO将填满，但是由于信用数据分组在WAN上发送，在FIFO可以溢出之前，该发射机将停止发送。信用数据分组可以插入进IPv6有效载荷 结构中，或者替换地，他们可以嵌入在用于改善效率的IPv6延长头部中。
信用信息或者数据被以在66/64b代码中设置的顺序编码。InfiniBand数据分组可以被设置在IPv6或者IPv4数据分组内传输的UDP或者DCCP数据包的有效载荷结构内。
为了实现与WAN标准兼容，该InfiniBand数据分组由在其它的协议内的装置封装，诸如，在SONET(POS)上在数据分组内的IPv6，用于在WAN上传输。如在IBTA中阐述的，全双工独立传输与接收数据路径是由链路状态机控制的。该InfiniBand物理链路状态机可以通过在WAN上交换非InfiniBand数据分组来保持，其中这样做建立一个存在于WAN中的端到端路径，数据分组的交换包括PPP LCP(根据RFC1661)数据分组、以太网ARP(根据RFC 826和RFC 2461(IPv6邻居发现))交换，TCP对话初始化(根据RFC793)，建立ATM SVC(根据ATM论坛专用网网络接口规范)，或者任何其它的对话启动形式。
在被封装之后，该数据分组在WAN上传输，并且该接收装置执行去封装步骤，除去在封装期间增加的数据，从而恢复原始InfiniBand数据分组。
这个封装起到两个作用，第一个是将光信号格式改变为可以在WAN连接上自然地运输的东西，诸如SONET。这允许该装置直接连接到SONET光学设备，其是较大的SONET拓扑结构的一部分，并且被运输直到单个远程目的地。SONET协议，诸如通用成帧协议(GFP)设计成用于这种封装任务。该封装部件能够支持多个网络，该网络包括IPv6、IPv6的UDP、IPv6的DCCP、ATM AAL5或者GFP的任何一个。
这也允许该装置与在WAN内的智能设备接口，其可以路由发送特殊的数据分组或者单元。通过依靠WAN去执行聚集、路由选择和/或切换许多的连接，这也允许InfiniBand业务与来自其它的信源的业务共享WAN基础结构。
诸如ATM适配层5(AAL5)、在POS上的IPv6和在以太网上的IPv6的协议被设计正是考虑于此。
为了在WAN上建立和保持端到端路径的目的，除了封装的InfiniBand数据分组之外，用于交换非InfiniBand数据分组的通信装置是必要的。
许多的封装通过该装置是允许的，包括ATM AAL5、在POS上的IPv6、在以太网上的IPv6、在IPv6中的DCCP、在IPv6中的UDP、在通用多协议标记切换(GMPLS)上的IPv6、GFP等等。类似地，可以支持许多的WAN信令标准和速度，包括SONET、以太网LAN-PHY和以太网WAN-PHY。单个装置可以支持许多的封装和信令标准，并且用户可以在安装期间选择使用哪一个。
对于小于10km的较短的距离，该封装被放弃，并且只是使用由InfiniBand结构与非常大的流量控制缓存器结合而限定的光信号去延长正常InfiniBand设备的到达，同时充分地遵循InfiniBand结构。在这种情况下，该封装过程被简化为空封装，并且发出不变的InfiniBand数据分组。信用模块的数目和/或信用模块大小可以被增加以延长范围超出10km，同时仍然观察到另外不变的InfiniBand通信协议。
多个装置：当该装置使用一个封装协议连接到智能WAN的时候，其能够寻址，有二个以上的装置通信是可能的。这允许设置在 许多的物理站点上的装置去共享相同的WAN连接和相同的装置，同时延长和链接其InfiniBand网络进入很大的网状网络之内。
在这个操作模式中，该装置需要去检查每个进来的本地InfiniBand数据分组，以确定其应该发送给哪个远程装置，然后形成恰当的封装将其传送。这可以通过检查在InfiniBand数据分组内的局部标识符(LID)，并且使用由InfiniBand规范定义的切换基础结构，或者通过检查在InfiniBand数据分组内的全局标识符(GID)，并且基于子网前缀的最长的前缀匹配的路由选择来做到。
每个装置也必须保留其流量控制缓存器的单独的部分用于每个可允许的远程装置。这进一步增加N-1倍对缓冲存储器的需要，这里N是在该网状网络中装置的数目。
当接收到多点传送InfiniBand数据分组的时候，该装置或者将它们映射到适宜的WAN多点传送地址上，或者执行数据分组复制以将该数据分组的多个复制发送给预订该多点传送组的每个远程装置。
正如InfiniBand结构版本1.2所指定的，InfiniBand路由选择操作需要该装置将128比特(bit)IPv6 GID变换为本地InfiniBand路径描述，16比特局部标识符(LID)，24比特分割键和4比特业务水平，用于使用全球路由头部(GRH)在本地InfiniBand网络上传输。
当该装置在智能网络上，而不是在点对点结构中使用的时候，在智能网络内的业务质量问题变为重要。该装置仅仅确保InfiniBand数据分组决不会由于不足的缓存而被丢弃，其没有提供任何保证，智能网络不会由于内部拥塞或者其它因素而丢弃数据分组。
这主要指的是将数据分组在网络内的丢失减到最小是由该装置来控制数据分组到网络的注入速度。当它们被发送进WAN到接收单元时，该装置通过在数据分组之间插入延迟来完成这些。
注入速度可以或者由用户设置，或者通过相互作用和在装置和智能网络之间的协议动态地控制。这种动态控制中包含有许多协议和方法。
第二种方法是利用该装置来特别地标记数据分组，使得该智能网络可以将损失减到最小。这种方法可以与注入速度控制一起使用。
在该装置的管理模块内的管理软件担负运行任何的协议和方法，其可以是使用通用的处理器经由WAN为建立服务质量保证所必需的。
附图简要说明
图1A至3B是示出可以在一个系统内采用的路由分组的数据流程图。具有矩形边角的每个方框表示缓存、变换的过程或者判定点。大的圆角方框表示相关的功能组。箭头示出数据分组流的方向。
图1A和1B是用于原型的装置的数据流程图。其示出用于本发明一个实施例的主要的模块。
图2A和2B是用于设计成能与许多的WAN信令标准和协议互操作的特定的远程实施例的数据流程图。其共享在图1中略述的许多的功能块。
图3A和3B是用于特定的减少特征短距的实施例的数据流程图，其举例说明InfiniBand结构可以如何用作WAN协议。
优选实施例详细说明
本领域技术人员可以知道，各种各样的标准和资源为常规的数字数据成分所固有。在此处涉及的如该领域中已知的一些标准和操作原理可以参考以下找到：
●InfiniBand行业协会(2005)。InfiniBand结构版本1.2(也称为“IBTA”)。
●Internet工程任务组(1998)。RFC 2460-网际协议，版本6(IPv6)规范。
●Internet工程任务组(1998)。在SONET/SDH上的RFC 2615-PPP。
●ATM论坛(1994)。ATM用户网络接口规范版本3.1。
●国际电信联盟。ITU-T推荐I.432.1一般特性。
●开放系统互连(OSI)--基准模型：基本模型(1994)。ISO 7498-1：1994
●IEEE 802.3ae条款49；66/64b编码方案
参考图1A和1B，描述了在样机装置内的数据流。该装置包含六个主要的模块：InfiniBand接口、管理模块、分组路由选择、封装/去封装部件(ENCAP)、Wan接口和大容量缓冲存储器。存在可用于实现这些模块的每个的各种各样的技术。这些模块被确定为在数据流程图中的逻辑功能，特定的实施例可以选择在不同的物理模块之中传播这些逻辑功能以实现更加最佳的实施例。该装置可以在每个方向同时地保持大约每秒十亿字节InfiniBand数据分组的传送速率。
该InfiniBand接口给本地IB构造提供LAN连接。为了清楚，该InfiniBand接口包括二个小的流量控制缓存器以便从另一个附着的模块仲裁数据速率。
成帧器也执行反相，和从WAN接口提取数据分组以传送给去封装模块。
支持的成帧格式包括SONET/SDH、10GBASE-R、InfiniBand、10GBASE-W和由IEEE 802.3ae条款49-10GBASE-R定义的66/64b编码方案。
大容量缓冲存储器根据距离延长的描述实现信用管理单元。基本的存储器的准确的性质可以取决于实施例变化。
图2A和2B描述了在用于本发明的远程的结构的优选实施例内的数据流程。本发明的这个实施例包括印刷电路板(PCB)组件，其包含在现场可编程门阵列(FPGA)内实现的芯片上的系统，CX4铜4×InfiniBand连接器，SONET/以太网成帧器/映射器，注册的双数据速率2(DDR2)同步的动态随机存取存储器(SDRAM)的2个时隙，网络搜索引擎，管理处理器支持元件和可换的WAN光学组件，其遵循MSA-300规范。
该FPGA提供用于该装置的唯一的功能，同时该部件的剩余部分是工业标准部分。该FPGA实现用于主数据路径的四个电气接口，2.5Gbit 4×InfiniBand-连接到CX4连接器，266MHz DDR2SDRAM-用于FIFO，SPI-4.2-连接到成帧器/映射器和LA-1-连接到网络搜索引擎。
该FIFO缓存器是使用标准DDR2SDRAM实现的。通过时分多路复用访问该存储器用于提供一个具有10Gbit/秒以上的最大入口带宽的有效的双口RAM，而同时地保持一个10Gbit/秒以上的出口带宽。这允许廉价的商品存储器用于该FIFO缓存器。在FPGA内的控制逻辑将SDRAM分割为多个VL，并且操作SDRAM存储器总线去提供FIFO功能。
本发明的第二个实施例在图3A和3B中示出。这个实施例是在图2A和2B中示出的其原型的装置的成本降低版本。这个实施例的主要目的是使用仅仅如由InfiniBand结构定义的四倍的数据速率(QDR)1×InfiniBand允许距离延长直至10km。
这个实施由FPGA、CX4连接器、单个QDR SRAM芯片和XFP光学组件构成。该FPGA直接与10Gbit 4×InfiniBand(本地)和10Gbit1×InfiniBand(WAN)两者连接。
象在远程的实施例中一样，一个可换的模块提供光WAN接口。但是，代替MSA-300接口，这个模块遵循XFP规范(如由XFPMSA组定义的)，并且经10Gbit XFI总线直接与FPGA交换。这允许用户去选择一个较好地适合其局部环境的XFP模块。该FIFO缓存器是使用QDR(或者QDR2)SRAM实现的，其是最佳地设计用于小的双端口存储器的存储器的形式。在FPGA中的控制器将存储器分割为多个VL，并且管理FIFO的操作。
Claims (40)
1.一种在长距离连接上传输InfiniBand数据分组的方法，所述方法包括：
从InfiniBand接口接收InfiniBand数据分组；
在另一个协议内的装置封装InfiniBand数据分组，该数据分组用于在WAN上传输；
在长距离连接WAN上传送封装的InfiniBand数据分组；
通过一接收装置除去封装和恢复InfiniBand数据分组对InfiniBand数据分组去封装；
通过信用管理单元调节用于封装和去封装信用数据；
在WAN上保持InfiniBand物理链路状态机；和
在WAN上保持InfiniBand型流量控制，其中，WAN上保持InfiniBand型流量控制包括在大于128KiB的缓冲存储器中缓存在WAN端口上接收的InfiniBand数据分组；
其中，在WAN上的InfiniBand链路距离延长到大于10km的距离。
2.根据权利要求1所述的方法，其中，协议是OSI 7层参考模型，并且选自由层1、层2、层3和层4组成的组。
3.根据权利要求2所述的方法，其中，传送封装的InfiniBand还包括将在WAN上的InfiniBand链路距离延长到大于100km的距离。
4.根据权利要求3所述的方法，其中，提高链路距离还包括将在链路上广告的InfiniBand信用提高超过每个VL大约12KiB。
5.根据权利要求4所述的方法，其中，提高可利用的信用包括提高每个广告信用模块字节的数目。
6.根据权利要求4所述的方法，其中，提高可利用的信用包括提高每个广告信用模块的数目。
7.根据权利要求4所述的方法，其中，提高可利用的信用包括提高信用模块的数目和在每个广告中每个模块字节的数目。
8.根据权利要求1～7任何一个所述的方法，其中，保持流量控制语义包括发送单元在用于去封装的InfiniBand数据分组的接收单元上选择出口VL。
9.根据权利要求1～7任何一个所述的方法，其中，保持InfiniBand物理链路状态机还包括在WAN上交换非InfiniBand数据分组，其中这样做建立一个存在于WAN中的端到端路径，数据分组的交换选自由PPP LCP数据分组、以太网ARP交换、TCP对话初始化和建立ATM SVC组成的组。
10.根据权利要求1～7任何一个所述的方法，其中，保持InfiniBand型流量控制还包括在大于128KiB的缓冲存储器中缓存在WAN端口上接收的数据分组。
11.一种由逻辑电路组成用于传输InfiniBand数据分组的装置，包括：
一个InfiniBand接口，其耦合到InfiniBand路由和QOS部件，其中：
所述InfiniBand路由和QOS部件的InfiniBand到WAN路径被耦合到封装/去封装部件ENCAP；
ENCAP部件的IB到WAN路径被耦合到WAN接口；
WAN接口的WAN到IB路径被耦合到ENCAP部件；
ENCAP部件的WAN到IB路径被耦合到大于128KiB的缓冲存储器的大容量缓冲存储器；
大容量缓冲存储器被耦合到InfiniBand接口的WAN到IB路径；
信用管理单元产生用于WAN的信用，并且产生施加到InfiniBand接口上的背压；
ENCAP部件被耦合到用于封装和去封装信用数据的信用管理单元；和
管理模块提供InfiniBand子网管理代理、WAN端到端协商和管理业务。
12.根据权利要求11所述的装置，其中，该装置能够在每个方向同时地保持大约每秒十亿字节InfiniBand数据分组的传送速率。
13.根据权利要求12所述的装置，其中，InfiniBand接口包含附加的流量控制缓冲器单元以便从WAN时钟域转换为InfiniBand时钟域。
14.根据权利要求11所述的装置，其中，ENCAP部件能够支持多个网络，该网络包括IPv6、IPv6的UDP、IPv6的DCCP、ATM AAL5或者GFP的任何一个。
15.根据权利要求11所述的装置，其中，该WAN接口进一步包括：
能够支持多个网络格式的成帧器单元，包括SONET/SDH、10GBASE-R、InfiniBand和10GBASE-W的任何一个；和
能够支持SONET/SDH、10GBASE-R或者InfiniBand的任何一个的光学子系统。
16.根据权利要求15所述的装置，其中，光学子系统还能够到达大于由IBTAInfiniBand结构版本1.2单独指定的距离，或者届时与SONET/SDH多路复用器、光再生器、数据分组路由器、单元开关或者其它设备耦合。
17.根据权利要求11～16任何一个所述的装置，其中，大容量缓冲存储器能够以所接收的数据分组的不同次序的顺序采用在多个FIFO结构以外的数据分组。
18.根据权利要求11～16任何一个所述的装置，其中，通过提高信用模块大小和/或提高每个广告模块的数目，信用管理单元广告的信用比由InfiniBand规范定义的信用多。
19.根据权利要求11～16任何一个所述的装置，其中，所述管理模块还包括：
通用目的处理器；和
在WAN和IB接口两者上发送和接收数据分组的机构。
20.根据权利要求11～16任何一个所述的装置，其中，大容量缓冲存储器还包括：
多个DDR2存储器模块(DIMMS)；
其中控制逻辑在DDR2存储器内保持多个FIFO结构；和
其中每个FIFO结构用于缓存WAN到InfiniBand VL；和
其中在存储器以外的数据分组流被调节以确保数据分组由于在InfiniBand接口上的拥塞而不被丢弃。
21.根据权利要求12所述的装置，用于在每个方向同时地保持每秒十亿字节InfiniBand数据分组的最大传送率，还包括：
附加的流量控制缓冲器单元，以便从WAN时钟域转换为IB时钟域；
其中ENCAP部件能够支持多个网络，该网络包括IPv6、IPv6的UDP、IPv6的DCCP、ATM AAL5或者GFP的任何一个；
能够支持多个网络格式的成帧器单元，包括SONET/SDH、10GBASE-R、InfiniBand和10GBASE-W的任何一个；
耦合的能够支持SONET/SDH、10GBASE-R或者InfiniBand的任何一个的光学子系统，
其中光学子系统还能够到达大于由IBTA InfiniBand结构版本1.2单独指定的距离，或者届时与SONET/SDH多路复用器、光再生器、数据分组路由器、单元开关或者其它的设备耦合；
其中大容量缓冲存储器能够以所接收的数据分组的不同次序的顺序采用在多个FIFO结构以外的数据分组，并且其中大容量缓冲存储器还包括：
多个DDR2存储器模件(DIMMS)；
其中控制逻辑在DDR2存储器内保持多个FIFO结构；和
其中每个FIFO结构用于缓存WAN到InfiniBand VL；和
其中在存储器以外的数据分组流被调节以确保数据分组由于在InfiniBand接口上的拥塞不被丢弃，
其中通过提高信用模块大小和/或提高每个广告模块的数目，信用管理单元广告的信用比由InfiniBand规范定义的的信用多；
其中管理模块进一步包括：
通用目的处理器；和
在WAN和IB接口两者上发送和接收数据分组的机构。
22.根据权利要求11所述的装置，其中，ENCAP部件执行空封装，并且发出不变的InfiniBand数据分组。
23.根据权利要求11所述的装置，其中大容量缓冲存储器还包括：
多个SRAM存储器芯片；
其中控制逻辑在SRAM存储器芯片内保持多个FIFO结构；和
其中每个FIFO结构用于缓存WAN到InfiniBand VL；和
其中在存储器以外的分组流被调节以确保数据分组由于在InfiniBand接口上的拥塞不被丢弃。
24.根据权利要求23所述的装置，其中，SRAM存储器芯片是QDR2SRAM。
25.根据权利要求21所述的装置，
其中大容量缓冲存储器包括多个SRAM存储器芯片；和
其中控制逻辑在SRAM存储器芯片内保持多个FIFO结构；和
其中每个FIFO结构用于缓存WAN到InfiniBand VL；和
其中在存储器以外的分组流被调节以确保数据分组由于在InfiniBand接口上的拥塞不被丢弃。
26.根据权利要求11所述的装置，其中，InfiniBand数据分组被设置在IPv6数据分组的有效载荷结构内。
27.根据权利要求11所述的装置，其中，信用数据被以延长头部的方式在IPv6头部内编码。
28.根据权利要求11所述的装置：
其中ENCAP部件以IEEE 802.3ae条款49定义的66/64b编码方案兼容的方式成帧InfiniBand数据分组；和
其中ENCAP部件除去条款49兼容的成帧，并且恢复原始InfiniBand数据分组。
29.根据权利要求11所述的装置，其中，ENCAP部件以IEEE
802.3ae条款49定义的66/64b编码方案兼容的方式成帧InfiniBand数据分组；
ENCAP部件除去条款49兼容的成帧，并且恢复原始InfiniBand数据分组；以及信用数据被以在66/64b代码中设置的顺序编码。
30.根据权利要求11所述的装置，其中，InfiniBand数据分组被设置在IPv6或者IPv4数据分组内传输的UDP或者DCCP数据包的有效载荷结构内。
31.根据权利要求11所述的装置，其中，InfiniBand数据分组按照ATM适配层5(AAL5)被分段为ATM单元。
32.根据权利要求11所述的装置，其中，InfiniBand数据分组被设置在通用成帧协议数据分组的有效载荷结构内，和设置在SONET/SDH帧内。
33.根据权利要求11所述的装置，其中，信用数据被已封装的有效载荷结构编码。
34.一种用于实施如权利要求1～10任一所述方法的系统，所述系统包括：
耦合到第一设备的第一InfiniBand结构；
耦合到第二设备的第一设备；
耦合到第二InfiniBand结构的第二设备；
其中，第一和第二设备还包括：
封装和去封装InfiniBand数据分组到另一个网络协议的逻辑电路；和
在大于128KiB的缓冲存储器中缓存InfiniBand数据分组的逻辑电路；和
携带封装的InfiniBand数据分组的网络接口；
其中，在WAN上的InfiniBand链路距离延长到大于10km的距离。
35.根据权利要求34所述的系统，其中，第一设备和第二设备还间接地耦合在延长的WAN网络上，延长的WAN网络包括SONET/SDH多路复用器、光再生器、数据分组路由器和单元开关的一个或多个。
36.根据权利要求34所述的系统，其中，基于在网络或者管理结构内速率小于或等于可允许的最大速率的条件，数据分组进入ENCAP部件的流动速率可以受到设备限制。
37.根据权利要求34所述的系统，其中，该系统还包括：
数据分组或者单元切换的或者路由的网络在二个设备之间退出；
其中二个以上的设备能够连接到这个网络；和
其中每个终端设备能够封装和将数据分组寻址到一个以上的目的地设备。
38.根据权利要求34所述的系统，还包括权利要求21的装置。
39.根据权利要求34所述的系统，还包括权利要求25的装置。
40.根据权利要求34所述的系统，还包括：
具有分离的LID地址空间和不同的子网前缀的二个InfiniBand结构；
集成进设备的分组路由部件，其中：
逻辑电路通过在GRH中检查目的地GID来确定给定的InfiniBand数据分组的LID地址；和
其中逻辑电路图能够使用来自GRH的信息代替LID、VL或者InfiniBand数据分组的其它的成分。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US59557605P | 2005-07-17 | 2005-07-17 | |
| US60/595,576 | 2005-07-17 | ||
| PCT/CA2006/001161 WO2007009228A1 (en) | 2005-07-17 | 2006-07-17 | A method to extend the physical reach of an infiniband network |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101258719A CN101258719A (zh) | 2008-09-03 |
| CN101258719B true CN101258719B (zh) | 2012-12-12 |
Family
ID=37663469
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200680026207XA Active CN101258719B (zh) | 2005-07-17 | 2006-07-17 | 延长InfiniBand网络的实时到达的方法 |
Country Status (11)
| Country | Link |
|---|---|
| US (1) | US7843962B2 (zh) |
| EP (1) | EP1905207B1 (zh) |
| JP (1) | JP4933542B2 (zh) |
| KR (1) | KR101290413B1 (zh) |
| CN (1) | CN101258719B (zh) |
| AU (1) | AU2006272404B2 (zh) |
| CA (1) | CA2552414C (zh) |
| GB (1) | GB2441950B (zh) |
| IL (1) | IL188772A (zh) |
| RU (1) | RU2461140C2 (zh) |
| WO (1) | WO2007009228A1 (zh) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9191117B2 (en) * | 1995-05-11 | 2015-11-17 | Ciena Corporation | High-speed optical transponder systems |
| US8805195B2 (en) | 2007-07-16 | 2014-08-12 | Ciena Corporation | High-speed optical transceiver for InfiniBand and Ethernet |
| US7730214B2 (en) * | 2006-12-20 | 2010-06-01 | International Business Machines Corporation | Communication paths from an InfiniBand host |
| US20100202781A1 (en) * | 2009-02-11 | 2010-08-12 | Emcore Corporation | Tunable Optical Transceiver in an XFP Package |
| WO2011083535A1 (ja) | 2010-01-08 | 2011-07-14 | パナソニック株式会社 | Ｏｆｄｍ送信装置、ｏｆｄｍ送信方法、ｏｆｄｍ受信装置及びｏｆｄｍ受信方法 |
| US8665905B1 (en) * | 2010-10-07 | 2014-03-04 | Adtran, Inc. | Systems and methods for centrally provisioning virtual circuit information |
| US8898222B2 (en) * | 2012-01-19 | 2014-11-25 | International Business Machines Corporation | Processing STREAMS messages over a system area network |
| US9270489B1 (en) | 2012-03-19 | 2016-02-23 | Google Inc. | Explicit congestion notification in mixed fabric networks |
| RU2606397C1 (ru) * | 2012-12-17 | 2017-01-10 | Хуавей Текнолоджиз Ко., Лтд. | Способ установления сигнализации, когда электрический регенератор находится на электрическом сетевом элементе, оптический сетевой элемент и электрический сетевой элемент |
| CN103401775B (zh) * | 2013-07-18 | 2017-07-21 | 杭州华为数字技术有限公司 | 源报文转换装置及其报文转换方法、目标报文转换装置及其报文转换方法 |
| US10432470B2 (en) * | 2015-09-23 | 2019-10-01 | International Business Machines Corporation | Distributed subnet manager for InfiniBand networks |
| US9692660B2 (en) | 2015-09-23 | 2017-06-27 | International Business Machines Corporation | Election and use of configuration manager |
| US10360205B2 (en) | 2015-09-23 | 2019-07-23 | International Business Machines Corporation | Cooperative MKEY locking for managing infiniband networks |
| US10666611B2 (en) * | 2016-01-28 | 2020-05-26 | Oracle International Corporation | System and method for supporting multiple concurrent SL to VL mappings in a high performance computing environment |
| US10659340B2 (en) | 2016-01-28 | 2020-05-19 | Oracle International Corporation | System and method for supporting VM migration between subnets in a high performance computing environment |
| US10616118B2 (en) | 2016-01-28 | 2020-04-07 | Oracle International Corporation | System and method for supporting aggressive credit waiting in a high performance computing environment |
| US10630816B2 (en) | 2016-01-28 | 2020-04-21 | Oracle International Corporation | System and method for supporting shared multicast local identifiers (MILD) ranges in a high performance computing environment |
| US10581711B2 (en) | 2016-01-28 | 2020-03-03 | Oracle International Corporation | System and method for policing network traffic flows using a ternary content addressable memory in a high performance computing environment |
| US10057119B2 (en) | 2016-08-23 | 2018-08-21 | Oracle International Corporation | System and method for supporting fast hybrid reconfiguration in a high performance computing environment |
| CN107948105B (zh) * | 2018-01-02 | 2020-08-25 | 联想(北京)有限公司 | 控制设备的端口状态的方法和系统 |
| CN112333024B (zh) * | 2020-11-06 | 2022-07-19 | 中国人民解放军国防科技大学 | 融合高速网链路层与100g以太网编码层的适配装置 |
| CN114553801B (zh) * | 2022-01-07 | 2023-05-16 | 山东省计算中心（国家超级计算济南中心） | 实现InfiniBand网络长距离传输的设备及方法 |
| CN115237036B (zh) * | 2022-09-22 | 2023-01-10 | 之江实验室 | 一种针对晶圆级处理器系统的全数字化管理装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1494003A (zh) * | 2002-10-30 | 2004-05-05 | 华为技术有限公司 | 一种实现接口转换的装置及方法 |
| US6799202B1 (en) * | 1999-12-16 | 2004-09-28 | Hachiro Kawaii | Federated operating system for a server |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5291545A (en) * | 1990-10-02 | 1994-03-01 | Intertex Data Ab | Apparatus and method for determining the state of a telephone line |
| JP3512832B2 (ja) * | 1993-05-26 | 2004-03-31 | 富士通株式会社 | Ｌａｎ間通信方法及びｌａｎ・ｗａｎ接続装置 |
| US6125442A (en) * | 1996-12-13 | 2000-09-26 | Maves International Software, Inc. | Method, system and data structures for computer software application development and execution |
| US6922408B2 (en) * | 2000-01-10 | 2005-07-26 | Mellanox Technologies Ltd. | Packet communication buffering with dynamic flow control |
| US20030152182A1 (en) * | 2000-08-22 | 2003-08-14 | Pai B. Anand | Optical exchange method, apparatus and system for facilitating data transport between WAN, SAN and LAN and for enabling enterprise computing into networks |
| US20040213220A1 (en) * | 2000-12-28 | 2004-10-28 | Davis Arlin R. | Method and device for LAN emulation over infiniband fabrics |
| US7039057B1 (en) * | 2001-07-19 | 2006-05-02 | Advanced Micro Devices, Inc. | Arrangement for converting ATM cells to infiniband packets |
| US7107344B2 (en) * | 2001-08-16 | 2006-09-12 | International Business Machines Corporation | Connection allocation technology |
| US7404000B2 (en) * | 2001-09-28 | 2008-07-22 | Emc Corporation | Protocol translation in a storage system |
| US7006527B1 (en) * | 2001-10-12 | 2006-02-28 | Cypress Semiconductor Corp. | Multistage pipeline bit conversion |
| US7599360B2 (en) * | 2001-12-26 | 2009-10-06 | Cisco Technology, Inc. | Methods and apparatus for encapsulating a frame for transmission in a storage area network |
| US7020729B2 (en) * | 2002-05-16 | 2006-03-28 | Intel Corporation | Protocol independent data transmission interface |
| US6898752B2 (en) * | 2002-05-31 | 2005-05-24 | Agilent Technologies, Inc. | Apparatus and methods for combinational error detection in an InfiniBand switch |
| JP3869769B2 (ja) * | 2002-07-24 | 2007-01-17 | 株式会社日立製作所 | ストレージ・ネットワーク用のスイッチングノード装置および遠隔ストレージ装置のアクセス方法 |
| US7401157B2 (en) * | 2002-07-30 | 2008-07-15 | Brocade Communications Systems, Inc. | Combining separate infiniband subnets into virtual subnets |
| US6928508B2 (en) | 2002-09-12 | 2005-08-09 | Sun Microsystems, Inc. | Method of accessing a remote device from a host by mapping an address of the device to a memory address of the host |
| WO2004027580A2 (en) * | 2002-09-20 | 2004-04-01 | Nortel Networks Limited | System and method for managing an optical networking service |
| US6904507B2 (en) * | 2002-09-30 | 2005-06-07 | Agilent Technologies, Inc. | Buffer management architecture and method for an infiniband subnetwork |
| US7551645B2 (en) * | 2003-01-31 | 2009-06-23 | Broadcom Corporation | Apparatus and method to receive and align incoming data including SPI data in a buffer to expand data width by utilizing a single read port and single write port memory device |
| US7051304B2 (en) * | 2003-05-01 | 2006-05-23 | Sun Microsystems, Inc. | Distributed infiniband verification protocol |
| JP2005064901A (ja) * | 2003-08-13 | 2005-03-10 | Nec Corp | ファイバチャネル接続装置、ファイバチャネル接続装置によるファイバチャネル接続方法 |
| US7385998B2 (en) * | 2003-09-08 | 2008-06-10 | Nortel Networks Limited | Method and apparatus for encapsulating services for transportation over metallic physical mediums |
| US20050078704A1 (en) * | 2003-10-14 | 2005-04-14 | International Business Machines Corporation | Method and apparatus for translating data packets from one network protocol to another |
| US20060268943A1 (en) * | 2005-05-16 | 2006-11-30 | International Business Machines Corporation | Methods, systems, and storage media for data encapsulation in networks |
-
2006
- 2006-07-17 EP EP06761123.6A patent/EP1905207B1/en not_active Not-in-force
- 2006-07-17 JP JP2008521757A patent/JP4933542B2/ja not_active Expired - Fee Related
- 2006-07-17 WO PCT/CA2006/001161 patent/WO2007009228A1/en active Application Filing
- 2006-07-17 CN CN200680026207XA patent/CN101258719B/zh active Active
- 2006-07-17 RU RU2008105890/07A patent/RU2461140C2/ru not_active IP Right Cessation
- 2006-07-17 US US11/457,981 patent/US7843962B2/en active Active
- 2006-07-17 GB GB0801276A patent/GB2441950B/en not_active Expired - Fee Related
- 2006-07-17 KR KR1020087003373A patent/KR101290413B1/ko not_active IP Right Cessation
- 2006-07-17 AU AU2006272404A patent/AU2006272404B2/en not_active Ceased
- 2006-07-17 CA CA2552414A patent/CA2552414C/en not_active Expired - Fee Related
-
2008
- 2008-01-15 IL IL188772A patent/IL188772A/en not_active IP Right Cessation
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6799202B1 (en) * | 1999-12-16 | 2004-09-28 | Hachiro Kawaii | Federated operating system for a server |
| CN1494003A (zh) * | 2002-10-30 | 2004-05-05 | 华为技术有限公司 | 一种实现接口转换的装置及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4933542B2 (ja) | 2012-05-16 |
| IL188772A (en) | 2013-12-31 |
| JP2009502059A (ja) | 2009-01-22 |
| AU2006272404A2 (en) | 2008-05-29 |
| EP1905207A4 (en) | 2012-12-05 |
| US7843962B2 (en) | 2010-11-30 |
| CN101258719A (zh) | 2008-09-03 |
| EP1905207A1 (en) | 2008-04-02 |
| KR20080031397A (ko) | 2008-04-08 |
| US20070014308A1 (en) | 2007-01-18 |
| CA2552414A1 (en) | 2007-01-17 |
| RU2008105890A (ru) | 2009-08-27 |
| EP1905207B1 (en) | 2018-04-25 |
| AU2006272404A1 (en) | 2007-01-25 |
| GB0801276D0 (en) | 2008-02-27 |
| KR101290413B1 (ko) | 2013-07-26 |
| RU2461140C2 (ru) | 2012-09-10 |
| WO2007009228A1 (en) | 2007-01-25 |
| CA2552414C (en) | 2012-12-11 |
| GB2441950A (en) | 2008-03-19 |
| GB2441950B (en) | 2010-06-30 |
| AU2006272404B2 (en) | 2011-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101258719B (zh) | 延长InfiniBand网络的实时到达的方法 | |
| US7586941B2 (en) | Method and apparatus for translating SDH/SONET frames to ethernet frames | |
| CN104205942B (zh) | 多跳错误恢复 | |
| US6643292B2 (en) | Efficient packet data transport mechanism and an interface therefor | |
| McAuley | Protocol design for high speed networks | |
| US20180176131A1 (en) | Apparatus and methods of routing with control vectors in a synchronized adaptive infrastructure (sain) network | |
| CN102090030A (zh) | 通过网络传输数据的方法 | |
| US7577136B1 (en) | Ethernet switch fabric interface | |
| JP2004520725A5 (zh) | ||
| WO2006128369A1 (en) | Ethernet access device and method thereof | |
| CN102137008B (zh) | 一种服务质量QoS保持方法、装置及系统 | |
| CN101184098A (zh) | 数据传输方法和传输装置 | |
| CA2312056C (en) | Communications channel synchronous micro-cell system for integrating circuit and packet data transmissions | |
| CN102238164B (zh) | 面向ip电信网的多协议报文适配方法 | |
| CN101729373B (zh) | 对多优先级业务进行调度的方法及装置 | |
| CN101018187B (zh) | 一种支持以太网业务接入的多链路传输设备 | |
| Montessoro et al. | Advanced research issues for tomorrow's multimedia networks | |
| CA2236085C (en) | Efficient packet data transport mechanism and an interface therefor | |
| CN103326956A (zh) | 一种服务质量QoS保持方法、装置及系统 | |
| Skibo | Using HIPPI for Computer Networking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1124700 Country of ref document: HK |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: WD Ref document number: 1124700 Country of ref document: HK |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230821 Address after: Room 451, 9768-170 Street, Edmonton, Alberta, Canada T5T 5L4 Patentee after: Alberta 2508480 Ltd. Address before: Canada T6N 1B1 Alberta Patentee before: OBSIDIAN RESEARCH Corp. |