CN105706404B - 管理计算机网络的直接互连交换机布线与增长的方法和装置 - Google Patents

管理计算机网络的直接互连交换机布线与增长的方法和装置 Download PDF

Info

Publication number
CN105706404B
CN105706404B CN201480047813.4A CN201480047813A CN105706404B CN 105706404 B CN105706404 B CN 105706404B CN 201480047813 A CN201480047813 A CN 201480047813A CN 105706404 B CN105706404 B CN 105706404B
Authority
CN
China
Prior art keywords
network
connectors
torus
connector
interconnect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480047813.4A
Other languages
English (en)
Other versions
CN105706404A (zh
Inventor
丹.奥普雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lockport Networks Inc
Original Assignee
Lockport Networks Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lockport Networks Inc filed Critical Lockport Networks Inc
Priority to CN201811557566.9A priority Critical patent/CN110109854A/zh
Publication of CN105706404A publication Critical patent/CN105706404A/zh
Application granted granted Critical
Publication of CN105706404B publication Critical patent/CN105706404B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/40—Bus structure
    • G06F13/4063—Device-to-bus coupling
    • G06F13/4068—Electrical coupling
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/46—Processes or apparatus adapted for installing or repairing optical fibres or optical cables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4282—Bus transfer protocol, e.g. handshake; Synchronisation on a serial bus, e.g. I2C bus, SPI bus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/02—Topology update or discovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/30—Peripheral units, e.g. input or output ports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q1/00—Details of selecting apparatus or arrangements
    • H04Q1/02—Constructional details
    • H04Q1/13—Patch panels for monitoring, interconnecting or testing circuits, e.g. patch bay, patch field or jack field; Patching modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2213/00—Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F2213/0026—PCI express

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Multi Processors (AREA)
  • Small-Scale Networks (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Transfer Systems (AREA)
  • Bus Control (AREA)
  • Structure Of Telephone Exchanges (AREA)
  • Mechanical Coupling Of Light Guides (AREA)

Abstract

本发明提供了用于管理基于将网络接口卡(NIC)替换为交换机中容纳的PCIe交换卡的架构在环面或更高基数的互连结构上实现的直接互连网络的布线和增长的方法。还提供了在互连的实现中使用的无源配线架，包括：容纳用于互连的节点到节点的连接的无源背板；和至少一个连接器板，其插入无源背板，包括多个连接器。多个连接器能够接收互连插件以在不能完全启用时保持环面或更高基数的拓扑的连续性。用于互连的实现的PCIe卡包括：用于互连的至少4个电气或光学端口；本地交换机；具有RAM和ROM存储器的处理器；和PCI接口。

Description

管理计算机网络的直接互连交换机布线与增长的方法和装置
技术领域
本发明涉及计算机网络拓扑和架构。具体地，本发明涉及一种用于管理在其上实现直接互连交换机的布线和增长的方法和装置，例如，环面或更高基数的布线结构。
背景技术
术语数据中心(DC)一般是指用于容纳大型计算机系统的设施(通常包含在容纳设备的机架上)及其相关的组件，全部由大量的结构化接线(structured cabling)连接。云数据中心(CDC)是用来指大的、一般为外部部署的设施的术语，其同样存储实体的数据。
网络交换机是计算机网络装置，其链接用于通信/处理目的网络设备。换句话说，交换机是能够从连接到它的任何设备接收消息并将该消息发送到特定的设备的电信设备，对于该特定的设备，该消息被中继。网络交换机通常也被称为多端口网桥，其处理和路由数据。在这里，对于端口，我们指的是交换机和与其连接的计算机/服务器/CPU之间的接口(用于电缆或插头的出口)。
如今，DC和CDC一般使用一组第二层交换机(layer two switch)实现数据中心网络。第二层交换机在第二层(数据链路层)处理和路由数据，这是在相同的局域网的节点(例如，服务器)之间或者广域网的相邻节点之间传送数据的协议层。然而，要解决的关键问题是如何建立一个大容量的计算机网络，它能够携带非常大的总带宽(aggregatebandwidth)(数百TB),其含有非常大量的端口(上千)，这需要最低限度的结构和空间(即减少了对容纳很多具有机架卡的机柜的大空间的需求)，其易于扩展，并且可以帮助降低功耗。传统的网络拓扑的实现基于在分级树结构中组织的完全独立的交换机，如图1所示。核心交换机2是具有非常大的交换容量的非常高速的低计数端口。第二层是用汇聚交换机4(Aggregation switch)(具有大量端口的中等容量交换机)实现的，而第三层是使用较低速度、大端口计数(40/48)、低容量的边缘交换机(Edge switch)6实现的。典型地，边缘交换机是第二层，而汇聚端口是第二层和/或第三层，并且核心交换机一般是第三层。该实现方式在以下示例中以最大六跳链路提供任何服务器8向服务器的连接(该示例规定向上三跳到核心交换机2和向下三跳到目标服务器8)。这种分级结构通常也被复制用于冗余可靠性的目的。例如，参考图1，在没有复制的情况下，如果最右边的边缘交换机6发生故障，则没有连接到最右边的服务器8的连接。至少，由于核心交换机2的失败会产生总的数据中心连接失败，因此核心交换机2被复制。由于显而易见的原因，该方法在解决未来的DC或CDC的挑战中具有显著局限性。例如，由于每个交换机是完全独立的，这增加了复杂性、显著的地面空间使用、复杂的接线和手动交换机配置/供应，这容易出现人为错误并增加了能源成本。
然而，已经做出许多尝试来提高在数据中心的交换的可扩展性、可靠性、容量和延迟。例如，已经作出努力来通过使用统一的控制平面(例如，来自Juniper网络的QFabric系统交换机；例如参见http://www.juniper.net/us/en/products-services/switching/qfabric-system/)来实现更复杂的交换方案，但是这样的系统仍然采用并保持了传统的分级结构。此外，鉴于系统用户的数量和要存储、访问和处理的数据的数量呈指数增加，在确定计算机网络系统的性能要求时处理能力已经成为最重要的因素。虽然服务器的性能不断提高，但是服务器没有强大到足以满足需要。这就是并行处理的使用已成为至关重要的原因。其结果是主导的南北业务流(north-south traffic flow)现在已经主要变成东西业务流(east-west traffic flow)，在许多情况下高达80％。尽管业务流具有这种变化，但是网络体系结构还没有发展为用于这种模式的最佳状态。因此，这仍然为通信网络的拓扑(其互连计算节点(服务器))，其在并行处理的通信中确定CPU之间的相互作用的速度。
增加东西业务流的需求导致了新的、扁平化网络架构，例如环形/环面网络(toroidal/torus network)的产生。环面互连系统是用于并行计算机系统中以网格状的方式连接网络节点(服务器)的网络拓扑。环面拓扑可以具有设置在2、3或多(N)维度中的节点，其可以被可视化为阵列，其中处理器/服务器连接到它们最近的相邻处理器/服务器，以及其中在该阵列的相对边缘的处理器/服务器相连接。以这种方式，每个节点具有在N维环面配置中的2N个连接(图2提供3-D环面互连的示例)。因为在环面拓扑中的每个节点通过短接线连接到相邻的节点，所以在并行处理过程中存在较低的网络延迟。事实上，环面拓扑提供以最小跳数访问任何节点(服务器)。例如，实现3×3×3×4结构(108个节点)的四维环面平均需要2.5跳以提供任意互连。不幸的是，大环面网络实现对DC或CDC中的商业部署还并不实用，因为大的实现可能需要几年来构建，接线可能是复杂的(对于每个节点2N个连接)，并且如果需要扩展，它们可能修改成本很高并且很难修改。然而，当对处理能力的需要比商业化的弊端重要时，环面拓扑在超级计算机中的实施已经非常成功。在这方面，IBM的蓝色基因(Blue Gene)超级计算机提供了3-D环面互连网络的示例，其中64个机柜容纳65536个节点(131072个CPU)来提供petaFLOP级别的处理能力(见图3所示)，而Fujitsu的PRIMEHPCFX10超级计算机系统是容纳在包括98304个节点的1024个机架中的使用6-D环面互连的示例。虽然以上示例采用环面拓扑处理，但是它们同样适用于其他平面网络拓扑。
本发明寻求通过提供系统和架构来克服这种现有技术网络拓扑中的不足，其对于DC和CDC的商业部署是有益且实用的。
发明内容
在一个方面，本发明提供了用于管理在环面或更高基数的互连结构上实现的直接互连网络的布线和增长的方法，包括：对于包括具有多个连接器的至少一个连接器板的无源配线架，在每个所述连接器填入互连的插件；从连接器中除去互连的插件和将所述插件替换为附接到服务器中容纳的PCIe卡的连接电缆来将所述服务器添加到所述互连结构；发现服务器到互连结构的连接；及基于添加到互连结构的服务器发现互连结构的拓扑。
在另一个方面，本发明提供了一种无源配线架，用于在环面或更高基数互连的实现中使用，包括：无源背板，其容纳用于环面或更高基数互连的节点到节点的连接；和至少一个连接器板，其插入无源背板，包括多个连接器。无源配线架可以是电气的、光学的或电气和光学的混合。光学无源配线架能够在相同光纤上组合多个光波长。至少一个连接器板的多个连接器中的每个能够接收互连的插件，视情况而定，其可以是电气或光学的，来保持环面或更高基数拓扑的连续性。
在又一个方面，本发明提供了一种PCIe卡，用于在环面或更高基数互连的实现中使用，包括：用于环面或更高基数互连的至少4个电气或光学端口；本地交换机；具有RAM和ROM存储器的处理器；和PCI接口。本地交换机可以是电气或光学的。PCIe卡能够支持端口到PCI业务、环回业务(hair pinning traffic)以及和上/下业务(add/drop traffic)的中转(transit)。PCIe卡还能够在相同光纤上组合多个光波长。
附图说明
本发明的实施例现在将通过举例的方式参考以下附图来描述：
图1示出了传统的数据中心网络的实现的高层次视图(现有技术)；
图2示出了具有8个节点的3维环面互连的示意图(现有技术)；
图3示出了采用环面结构的IBM蓝色基因处理单元的分级结构的示意图(现有技术)；
图4示出了根据本发明的实施例的3D和4D环面结构的高层次示意图；
图5示出了根据本发明的实施例的作为简单的遵循网络互连的示例的用于36节点的2-D环面的示意图；
图6示出了图5中所示的2-D配置的三维配置，复制三次并互连在第三维上；
图7示出了用于图5所示的2-D环面的节点连接的布线图；
图8示出了用于图6所示的3-D环面的节点连接的布线图；
图9示出了实现用于本发明的直接互连网络的布线的机架顶配线架(Top of theRack Patch Panel(TPP))的无源背板的示意图；
图10示出了本发明的TPP和互连插件；
图11示出了具有用于识别连接器ID和配线架ID的无电力集成电路的TPP的无源背板以及连接到TPP的PCIe卡的后视图；
图12示出了TPP的无源背板的替代实施例；
图13示出了本发明的光学TPP实现的高层次视图；
图14示出了根据本发明的具有TPP实现的数据中心服务器机架的高层次视图；
图15示出了与由机架顶交换机和容纳在服务器中的PCIe卡实现的节点的混合实现的环面拓扑的高层次视图；
图16示出了根据本发明的实现PCIe卡的框图；
图17示出了图16中所示的PCIe卡支持的分组业务流；
图18示出了根据本发明的具有光学多波长的PCIe卡的框图；
图19示出了根据本发明的具有无源光学多波长实现的TPP的高层次视图；
图20a至20c示出了伪代码以产生用于4D环面结构的布线的网表；
图21示出了安装在TPP上的连接器；和
图22是TPP的连接器板的后视图，具有用来识别连接器ID和配线架ID的无电力集成电路(unpowered integrated circuit)。
具体实施方式
本发明使用环面网格或更高基数的布线，来实现用于数据中心应用的直接互连交换。这种架构能够提供高性能的平层2/3网络(flat layer 2/3network)，来在单一的交换域中互连成千上万的服务器。
参考图4，所使用的环面是多维的(即，3D、4D等)，以促进整个结构的路由分组的效率(虽然甚至单维环面可以在某些部署中使用)。在这方面，对任何互连存在最小数目的跳(例如，实现3×3×3×4结构(108个节点)的四维环面平均需要仅2.5跳以提供任何互连)。因为节点10(服务器)被连接到其最近的相邻节点10(服务器)以及结构的相对边缘上的节点10(服务器)，所以每个节点10(服务器)可以看作被连接在环形连接的每个维度(12、14、16和18)。每个节点10从而在N维环面配置中具有2N个连接。该环形连接本身可以作为电气互连或作为光学互连，或电气和光学互连的组合来实现。
然而，在这样的拓扑中要解决的问题是如何在网络中增加新的节点时通过促进布线简化和简单性来降低部署的复杂性而不会影响现有的实现。这是本发明的一个方面，并且该公开解决了在实施大环面或更高基数的结构时出现的布线问题。
为了便于解释，图5示出了用于6×6的三十六个节点配置的简单2D环面布线示意图。如图所示，该结构是折叠的2D环面，其中每个连接(12，13)的长度都相等。该示意图中的每个节点10表示经由容纳在服务器中的PCIe交换机卡41(例如在图16中示出)互连的服务器。
图6示出了使用图5的二维配置的三维配置的构建，不过复制三次并且互连在第三维上。
图7示出了用于图5所示的二维环面结构的布线示意图。在所示的实施方案中，36个节点10的每个具有连接器21(其可以，例如，是Molex或National Instruments等公司提供的极高密度电缆互连VHDCI连接器)，具有四个连接(北(N)、南(S)、东(E)、西(W))，以在自PCIe卡41(未示出)的电缆插入时提供交换机布线。为了简化布线，连接器21在无源背板200中(如图9所示)互连，该无源背板200由机架顶配线架(TPP)31容纳(如图10和14所示)。在图9中呈现的无源背板200示出了三个域：主域(如在以虚线表示的示意图的中间所示)填入了42个连接器21，实现2D 7×6环面配置，在左侧的域(以虚线表示)填入了2组6个连接器21，用于在第三维扩展，并且在右侧的域(以虚线表示)具有2组6个连接器21，以允许在第四维扩展。3D扩展通过是通过在服务器的不同机架33上连接从TPP到TPP的6个电缆(与PCIe卡41连接到TPP连接器21的电缆类型相同)实现的。如果需要的话TPP配线架背板的实施甚至可以被修改，并且通过简单的印刷电路板置换(背板200)，本领域技术人员可以根据需要改变布线来实现不同的环面结构(例如5D、6D等等)。在机架33中添加新的服务器时，为了提供增长结构的能力而没有任何限制或规则要遵循，可以使用小型互连插件25。这个插件25可以在TPP制造时填入用于每个连接器21。通过这种方式，每个环形连接最初是封闭的并且通过根据需要以服务器的PCIe电缆更换插件25建立环面互连。
图8给出了三维环面结构的布线示意图。注意例如在示意图的左上角的节点所示的6个连接将PCIe电缆附接到3D结构：+X、-X、+Y、-Y、+Z和-Z。适应3D环面接线的TPP实现被设计为将任何连接器21连接到每个其他(every other)连接器21，如在图8所示的布线图。
产生TPP的连接的网表的新方法在如图20a到20c所示的伪代码的帮助下进行解释，用于4D环面布线实现(其可以很容易地进行修改用于3D、5D等实现方式或其他方式)。对于3D环面(Z，Y，X)，每个节点10将在三个环(环Z，环Y和环X)的交叉处。如果网络架构领域的技术人员希望一次互连机架33中的所有服务器(最多42个服务器；参见如上所述图9的中间部分)，在此没有限制，服务器可以是以随机方式布线的。这种方案极大地简化了部署——你添加服务器，将电缆连接到TPP而没有任何特殊的连接规则，并且保持了环面结构的完整性。本领域技术人员将知道如何实现的网络管理系统将保持数据中心网络的完整图像，数据中心网络包括TPP和所有互连的服务器，其提供每个节点所需的连接状态和所有信息。
如图11所示，每个PCIe卡41(容纳在节点服务器中)具有由电缆36到TPP的连接。连接PCIe卡41到TPP的电缆36提供到8个端口40(参见图16)的连接，并且还提供与TPP的连接用于管理目的。背板200包括无电力的电子器件/集成电路(IC)230，其附接到每个连接器21上。装置230被在PCIe卡41上运行的软件询问以得到它所连接的连接器ID。附接到连接器的每个装置230使用无源电阻器组合，其唯一地标识每个连接器。
TPP的识别机制(配线架ID)也使用可以在安装时编程的电子设备240来实现。设备240的本地永久存储器还可以容纳其他的信息，如生产日期、版本、配置和ID。该装置240到PCIe卡的连接允许这些信息在软件的要求下传送。
在卡初始化时，软件将功率施加到IC 230并读出连接器21的ID。实际的实现需要电线连接，两个用于电源和接地，且第三个使用“l-线”(“l-wire”)技术来读取连接器21的ID。
以类似的方式，在管理软件的安装时编程的配线架的ID可以使用与用IC 230相同的布线读出。无电力装置240具有非易失性存储器，其具有在软件控制下支持读/写事务的能力。IC 240可保存制造信息、TPP版本和TPP ID。
图12示出了使用单独的印刷电路板26作为背板的另一个无源配线架实现方式的选择。该实现方式可显著增加在机架中的服务器的数量，并且还提供了连接器/布线的选择的灵活性。
支撑连接器21的印刷电路板23经由高容量的连接器22插入到背板26上。印刷电路板24也具有高容量的连接器22，并且也插入背板26来提供到连接器板23的连接。
在板24上的高容量连接器21可被用于TPP机架33到机架33的互连。
直接互连布线在背板26上实现。任何时候布线的变化(为了不同的原因)，唯一改变的设备是背板26。例如，在非常大的环面实现需要改变时(例如，10000台服务器配置的最有效的4D环面会是10×10×10×10的配置，而不是试图使用6×7×16×15；并且为160000台服务器部署的最有效的配置将是20×20×20×20)，可以通过简单地改变背板26，同时保持连接器板23和24相同来适应这些配置。
图13示出了光学配线架的实现。这种实现方式假定端口到端口的光纤互连依照图5或6(2D或3D环面)所呈现的布线示意图。在板28和29上的光学连接器使用光纤27互连(例如，来自Molex的高密度FlexPlane光学电路，它在PCB或背板上提供了高密度光学路由)。光学TPP在制造时间上优选是纤维质的，并且光学插件250应在制造过程中填入TPP。连接器和光学插件250优选为低损耗。连接器的光损失是由连接器类型(例如，它是否使用用于准直的微型光学透镜)和波长(例如，单模光纤在C波段比在1340nm处的多模光纤引入更低的光损失)确定的。
用于光学TPP的另一种实现方式的选择在图19中呈现。这个实现方式大幅降低了使用光学波长复用的物理连接(纤维)的数目。加入TPP的新组件是无源光学复用-解复用器220，其将多个光学波长组合在同一光纤上。纤维27互连复用-解复用器220的输出，以实现光学直接互连环面结构。为了连接两个不同的机架(TPP到TPP)，使用连接器222。该实现方式需要PCIe卡41的修改版本，如图18所示。卡41包括光学复用-解复用器220，不同波长上的光学发射器225，以及光学接收器224。
TPP也可以被部署为电气/光学混合实现方式。在这种情况下，环面的节点将具有光学端口和电气端口。混合实现方式将通常被用来提供到非常大的数据中心的连接。可以在机架层级使用电学连接并且在所有机架到机架或者地理分布式数据中心互连中使用光学连接。电缆经常被用于低速率连接(例如1Gbps或较低的速率10/100Mbps)。特殊的电缆可以在更高速率的连接被使用(例如10Gbps)。较高速率的互连网络可以使用光学传输，因为它可以提供更长的范围，并且可以支持非常高的速率(例如100Gbps或400Gbps)。
图15示出了在环面结构中使用机架顶(ToR)交换机38和基于PCIe卡41的服务器互连的组合部署，该环面结构适合实施混合计算服务器和存储服务器配置。基于PCIe 41的实现方式具有增加的上路/下路带宽(add/drop bandwidth)的优点，因为在服务器的PCI端口可容纳基本上超过固定的交换机端口带宽(例如1Gbps或10Gbps)的带宽。支持4D环面实现方式的PCIe卡41可容纳多达8倍的环面链路的互连带宽。
ToR交换机38是普通的第2层以太网交换机。交换机在环面配置中提供了到服务器的连接和到其他ToR交换机的连接，其中ToR交换机是环面节点。根据本发明该实施例，ToR交换机38与PCIe卡41使用TPP 31的修改后的版本进一步互连。
图16示出了用于本发明的PCIe卡实现方式的框图。该卡可以被看作是多端口网络接口卡(NIC)。PCIe卡41包括具有RAM 47和ROM 48存储器的处理器46、分组交换机44和以太网PHY接口设备45。如图所示，卡41具有PCIe连接42和8个接口端口40，意味着如图所述的卡可以提供多达四维环面直接互连网络的实现方式。
图17示出了由卡41所支持的分组业务流。每个端口40访问PCI端口42。因此，在端口至PCI业务(由400示出)的情况下，鉴于端口40的总数为8，总带宽为8倍端口容量。端口的数量决定环面网格连接。八端口PCIe卡实现方式允许最多四维环面(x+，x-，y+，y-，z+，z-和w+，w-)。
由卡41支持的第二类型的业务是环回业务(由410示出)。这发生在业务从一个端口交换到另一个端口；业务只是经过节点。卡41支持的第三类型的业务是上/下业务的中转(如在420所示)。当从一个端口进来的业务部分下降到PCI端口和部分重定向到另一个端口时，或进入的业务与来自PCI端口的业务合并并且重定向到另一个端口时发生这种情况。
中转和上/下业务的能力实现了直接互连网络，由此每个节点可以是业务上/下节点。

Claims (10)

1.一种用于管理在环面或更高基数的互连结构上实现的直接互连网络的布线和增长的方法，包括：
对于在无源配线架所容纳的无源印刷电路板中互连的连接器，在该连接器填入互连的插件，该插件初始地将所述网络的一个或多个连接封闭，所述连接器包括：
用于实现N维的环面互连网络的连接器的主域；
允许将所述网络扩展至N+1维环面互连网络的连接器的第二域；
允许将所述网络扩展至N+2维环面互连网络的连接器的第三域；以及
其中N至少为2，
从连接器中除去互连的插件中的一个和将所述插件替换为附接到服务器中容纳的高速外围设备互连PCIe卡的连接电缆来将所述服务器添加到所述互连结构；
发现所述服务器到所述互连结构的连接；以及
基于添加到所述互连结构的所述服务器发现互连结构的拓扑。
2.一种用于在将新的服务器增加至直接互连网络时降低部署复杂性且促进布线简化而不影响现有的网络应用的方法，包括以下步骤：
对于在无源配线架所容纳的无源印刷电路板中互连的连接器，在该连接器填入互连的插件，该插件初始地将所述网络的一个或多个连接封闭，所述连接器包括：
用于实现2D环面的互连网络的连接器的主域；
允许将所述网络扩展至3D环面互连网络的连接器的第二个域；以及
允许将所述网络扩展至4D环面互连网络的连接器的第三个域；
将各所述互连的插件更换为与容纳在服务器中的高速外围设备互连PCIe卡附接的连接电缆来将所述服务器添加到所述互连网络；
发现所述服务器到所述互连网络的连接；以及
基于添加到所述互连网络的所述服务器发现该互连网络的拓扑。
3.如权利要求2所述的方法，其中所述主域包括7×6环面配置的42个连接器，所述第二个域包括2组6个的12个连接器，且所述第三个域包括2组6个的12个连接器。
4.一种用于在将新的服务器增加至直接互连网络时降低部署复杂性且促进布线简化而不影响现有的网络应用的方法，包括以下步骤：
对于在无源配线架所容纳的无源印刷电路板中互连的连接器，在该连接器填入互连的插件，该插件初始地将所述网络的一个或多个连接封闭，所述连接器包括：
用于实现N维的环面互连网络的连接器的主域；
将所述网络扩展至N+1维环面互连网络的连接器的第二域；以及
用于将所述网络扩展至N+2维环面互连网络的连接器的第三域；和
其中N至少为3，
将各所述互连的插件更换为与容纳在服务器中的高速外围设备互连PCIe卡附接的连接电缆来将所述服务器添加到所述互连网络；
发现所述服务器到所述互连网络的连接；以及
基于添加到所述互连网络的所述服务器发现该互连网络的拓扑。
5.一种无源配线架，用于在环面或更高基数互连的实现中使用，包括：
无源印刷电路板，其容纳用于环面或更高基数互连的节点到节点的连接；和
至少一个连接器板，其插入所述无源印刷电路板，包括多个连接器，其中所述多个连接器包括多个连接器的域，即：
用于实现2D环面的互连网络的连接器的主域；
允许将所述网络扩展至3D环面互连网络的连接器的第二个域；以及
允许将所述网络扩展至4D环面互连网络的连接器的第三个域，
其中各连接器由互连的插件初始地填充，以初始地封闭环面或更高基数互连的一个或多个连接，且其中各所述插件可由附接至服务器的高速外围设备互连PCIe卡的电缆替换以建立互连网络。
6.如权利要求5所述的无源配线架，其中所述主域包括7×6环面配置的42个连接器，所述第二个域包括2组6个的12个连接器，且所述第三个域包括2组6个的12个连接器。
7.如权利要求5所述的无源配线架，其中所述印刷电路板包括无电力的电子器件，其使用附接至每个连接器的无源电阻器组合，并且其中当填充连接器的插件被更换为附接至高速外围设备互连PCIe卡的电缆时，附接至所述连接器的装置由在所述PCIe卡上运行的软件询问以获得所述连接器的ID。
8.一种无源配线架，用于在环面或更高基数互连的实现中使用，包括：
无源印刷电路板，其容纳用于环面或更高基数互连的节点到节点的连接；和
至少一个连接器板，其插入所述无源印刷电路板，包括多个连接器，其中所述多个连接器包括多个连接器的域，即：
用于实现N维的环面互连网络的连接器的主域；
将所述网络扩展至N+1维环面互连网络的连接器的第二域；
用于将所述网络扩展至N+2维环面互连网络的连接器的第三域；以及
其中N至少为3；以及
其中各连接器由互连的插件初始地填充，以初始地封闭环面或更高基数互连的一个或多个连接，且其中各所述插件可由附接至服务器的高速外围设备互连PCIe卡的电缆替换以建立互连网络。
9.如权利要求8所述的无源配线架，其中所述印刷电路板包括无电力的电子器件，其使用附接至每个连接器的无源电阻器组合，并且其中当填充连接器的插件被更换为附接至高速外围设备互连PCIe卡的电缆时，附接至所述连接器的装置由在所述PCIe卡上运行的软件询问以获得所述连接器的ID。
10.如权利要求8所述的无源配线架，其中插入具有多个连接器的无源印刷电路板的至少一个连接器板用于增加可用于机架中的服务器的数量，其中所述印刷电路板通过高容量的连接器插入背板以提供至所述连接器板的连接，且其中在所述印刷电路板上的高容量连接器可用于机架到机架的配线架。
CN201480047813.4A 2013-08-29 2014-08-29 管理计算机网络的直接互连交换机布线与增长的方法和装置 Expired - Fee Related CN105706404B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811557566.9A CN110109854A (zh) 2013-08-29 2014-08-29 管理计算机网络的直接互连交换机布线与增长的方法和装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361871721P 2013-08-29 2013-08-29
US61/871,721 2013-08-29
PCT/CA2014/000652 WO2015027320A1 (en) 2013-08-29 2014-08-29 Method and apparatus to manage the direct interconnect switch wiring and growth in computer networks

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201811557566.9A Division CN110109854A (zh) 2013-08-29 2014-08-29 管理计算机网络的直接互连交换机布线与增长的方法和装置

Publications (2)

Publication Number Publication Date
CN105706404A CN105706404A (zh) 2016-06-22
CN105706404B true CN105706404B (zh) 2020-01-03

Family

ID=52585325

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201480047813.4A Expired - Fee Related CN105706404B (zh) 2013-08-29 2014-08-29 管理计算机网络的直接互连交换机布线与增长的方法和装置
CN201811557566.9A Pending CN110109854A (zh) 2013-08-29 2014-08-29 管理计算机网络的直接互连交换机布线与增长的方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201811557566.9A Pending CN110109854A (zh) 2013-08-29 2014-08-29 管理计算机网络的直接互连交换机布线与增长的方法和装置

Country Status (11)

Country Link
US (2) US9965429B2 (zh)
EP (1) EP3022879B1 (zh)
JP (2) JP6861514B2 (zh)
KR (1) KR102309907B1 (zh)
CN (2) CN105706404B (zh)
AU (3) AU2014311217B2 (zh)
CA (6) CA2951698C (zh)
DK (1) DK3022879T3 (zh)
HK (1) HK1226207A1 (zh)
IL (1) IL244270B (zh)
WO (1) WO2015027320A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3022879B1 (en) 2013-08-29 2020-12-30 Rockport Networks Inc. Method and apparatus to manage the direct interconnect switch wiring and growth in computer networks
US20150295756A1 (en) * 2014-04-10 2015-10-15 Nec Laboratories America, Inc. Hybrid Optical/Electrical Interconnect Network Architecture for Direct-connect Data Centers and High Performance Computers
CN105224501B (zh) * 2015-09-01 2018-10-02 华为技术有限公司 改进圆环面网络及其确定数据包传输路径的方法和装置
CN106612243A (zh) * 2015-10-21 2017-05-03 中兴通讯股份有限公司 背板组件以及通信设备
US9921997B2 (en) * 2016-04-01 2018-03-20 Intel Corporation Mechanism for PCIE cable topology discovery in a rack scale architecture environment
US10169048B1 (en) 2017-06-28 2019-01-01 International Business Machines Corporation Preparing computer nodes to boot in a multidimensional torus fabric network
US10356008B2 (en) * 2017-06-28 2019-07-16 International Business Machines Corporation Large scale fabric attached architecture
US10571983B2 (en) 2017-06-28 2020-02-25 International Business Machines Corporation Continuously available power control system
US10088643B1 (en) 2017-06-28 2018-10-02 International Business Machines Corporation Multidimensional torus shuffle box
CA2982147A1 (en) * 2017-10-12 2019-04-12 Rockport Networks Inc. Direct interconnect gateway
CN108183872B (zh) * 2017-12-27 2020-12-22 中科曙光信息产业成都有限公司 交换机系统及其构建方法
US10623101B1 (en) 2018-08-07 2020-04-14 Hewlett Packard Enterprise Development Lp Hyperscale photonics connectivity solution
US10757041B2 (en) * 2018-12-03 2020-08-25 Hewlett Packard Enterprise Development Lp Full server-level redundancy using a single network interface controller(NIC) and a single NIC card
CN112532756B (zh) * 2019-09-17 2023-10-24 华为技术有限公司 接口扩展方法、装置和系统
CN110929463A (zh) * 2019-11-08 2020-03-27 苏州浪潮智能科技有限公司 一种8G/8Port半高半长光纤卡
EP4241397A4 (en) * 2020-11-03 2024-10-23 Rockport Networks Inc DEVICES FOR CONNECTING NODES IN A DIRECT CONNECTION NETWORK
CA3223804A1 (en) * 2021-06-23 2022-12-29 Evandro DE SOUZA Deadlock-free multipath routing for direct interconnect networks
CN115714930A (zh) * 2022-09-30 2023-02-24 超聚变数字技术有限公司 数据转发设备、计算设备及机柜

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101609442A (zh) * 2009-06-17 2009-12-23 成都市华为赛门铁克科技有限公司 一种接口自适应的方法及其装置、系统
CN102576349A (zh) * 2009-08-18 2012-07-11 弗森-艾奥公司 输入/输出（i/0）虚拟化系统中主计算机与外围资源之间的通信

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03196355A (ja) * 1989-12-26 1991-08-27 Mitsubishi Electric Corp 並列計算機
US5590345A (en) * 1990-11-13 1996-12-31 International Business Machines Corporation Advanced parallel array processor(APAP)
US5588152A (en) * 1990-11-13 1996-12-24 International Business Machines Corporation Advanced parallel processor including advanced support hardware
JP2552075B2 (ja) * 1992-05-22 1996-11-06 インターナショナル・ビジネス・マシーンズ・コーポレイション コンピュータ・システム
US6421251B1 (en) * 1997-05-02 2002-07-16 Axis Systems Inc Array board interconnect system and method
US7929522B1 (en) * 2001-07-02 2011-04-19 Haw-Minn Lu Systems and methods for upgrading scalable switching networks
US8391282B1 (en) * 2001-07-02 2013-03-05 Haw-Minn Lu Systems and methods for overlaid switching networks
US7440448B1 (en) * 2001-07-02 2008-10-21 Haw-Minn Lu Systems and methods for upgradeable scalable switching
US20040141285A1 (en) * 2002-07-25 2004-07-22 Kontron Communications Inc. Modular computer system with passive backplane modules
JP2007526584A (ja) * 2004-03-03 2007-09-13 ハベル、インコーポレーテッド データ端末装置、電力供給、およびデータ収集のための回路分離を備えるミッドスパン型パッチ・パネル
JP2006215816A (ja) * 2005-02-03 2006-08-17 Fujitsu Ltd 情報処理システムおよび情報処理システムの制御方法
KR20080067328A (ko) 2005-09-06 2008-07-18 비욘드 블라데스 리미티드 3ｄｍｃ 아키텍처
EP1977311A2 (en) * 2006-01-13 2008-10-08 Sun Microsystems, Inc. Compact rackmount storage server
US7822958B1 (en) * 2006-03-10 2010-10-26 Altera Corporation Booting mechanism for FPGA-based embedded system
US7856551B2 (en) * 2007-06-05 2010-12-21 Intel Corporation Dynamically discovering a system topology
CN101354694B (zh) * 2007-07-26 2010-10-13 上海红神信息技术有限公司 基于mpu架构的超高扩展超级计算系统
US8463091B2 (en) * 2007-10-15 2013-06-11 Telescent Inc. Methods to reconfigure all-fiber optical cross-connects
US7991293B2 (en) 2007-12-27 2011-08-02 Intel Corporation Unified optical connector architecture
US8554033B2 (en) * 2008-05-02 2013-10-08 Telescent Inc. Radio frequency identification overlay network for fiber optic communication systems
JP2010026726A (ja) 2008-07-17 2010-02-04 Toshiba Corp 変換装置及び制御システム
US8306935B2 (en) * 2008-12-22 2012-11-06 Panduit Corp. Physical infrastructure management system
AU2010205834A1 (en) * 2009-01-15 2011-08-04 Hcs Kablolama Sistemleri San. Ve. Tic. A.S. Improved cabling system and method for monitoring and managing physically connected devices over a data network
US8994547B2 (en) * 2009-08-21 2015-03-31 Commscope, Inc. Of North Carolina Systems for automatically tracking patching connections to network devices using a separate control channel and related patching equipment and methods
KR101220464B1 (ko) * 2009-11-16 2013-01-10 한국과학기술원 광 연결을 이용한 고속 인터페이스 장치
US8982552B2 (en) * 2009-12-28 2015-03-17 Hewlett-Packard Development Company, L.P. System for providing physically separated compute and I/O resources in the datacenter to enable space and power savings
US8851902B2 (en) * 2010-01-07 2014-10-07 Rit Technologies Ltd. Modular connector for a cable-less patching device
JP5381723B2 (ja) 2010-01-08 2014-01-08 日本電気株式会社 並列計算機
US8837517B2 (en) * 2010-09-22 2014-09-16 Amazon Technologies, Inc. Transpose boxes for network interconnection
US8621111B2 (en) * 2010-09-22 2013-12-31 Amazon Technologies, Inc. Transpose box based network scaling
WO2012129557A2 (en) * 2011-03-24 2012-09-27 Molex Incorporated Patch panel assembly adapter for use with data networks
US20130209100A1 (en) * 2012-02-14 2013-08-15 Accipiter Systems, Inc. System architecture for optical switch using wavelength division multiplexing
CN202535384U (zh) * 2012-03-12 2012-11-14 杭州海莱电子科技有限公司 基于PCIe总线的网络设备扩展连接和虚拟机互连优化系统
US20130266315A1 (en) * 2012-04-04 2013-10-10 Accipiter Systems, Inc. Systems and methods for implementing optical media access control
US8902593B2 (en) * 2012-04-11 2014-12-02 Dell Products L.P. System and method for coupling information handling systems in a modular chassis
US8954698B2 (en) * 2012-04-13 2015-02-10 International Business Machines Corporation Switching optically connected memory
US9143338B2 (en) * 2012-10-05 2015-09-22 Advanced Micro Devices, Inc. Position discovery by detecting irregularities in a network topology
US9332323B2 (en) * 2012-10-26 2016-05-03 Guohua Liu Method and apparatus for implementing a multi-dimensional optical circuit switching fabric
US9609782B2 (en) * 2013-01-15 2017-03-28 Intel Corporation Rack assembly structure
EP3022879B1 (en) 2013-08-29 2020-12-30 Rockport Networks Inc. Method and apparatus to manage the direct interconnect switch wiring and growth in computer networks
US20150254201A1 (en) * 2014-03-07 2015-09-10 Emilio Billi Standard pci express add-in card form factor multi ports network interface controller supporting multi dimensional network topologies

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101609442A (zh) * 2009-06-17 2009-12-23 成都市华为赛门铁克科技有限公司 一种接口自适应的方法及其装置、系统
CN102576349A (zh) * 2009-08-18 2012-07-11 弗森-艾奥公司 输入/输出（i/0）虚拟化系统中主计算机与外围资源之间的通信

Also Published As

Publication number Publication date
EP3022879A1 (en) 2016-05-25
JP7212647B2 (ja) 2023-01-25
CA2921751A1 (en) 2015-03-05
CN105706404A (zh) 2016-06-22
WO2015027320A1 (en) 2015-03-05
CA2921751C (en) 2017-03-28
US20180285302A1 (en) 2018-10-04
US10303640B2 (en) 2019-05-28
CA2951684C (en) 2018-05-22
AU2014311217B2 (en) 2018-02-08
CA2951680C (en) 2017-06-06
AU2014311217A8 (en) 2016-03-10
CA2951677A1 (en) 2015-03-05
JP2016532209A (ja) 2016-10-13
KR102309907B1 (ko) 2021-10-06
CA2951698C (en) 2018-03-27
KR20160048886A (ko) 2016-05-04
JP6861514B2 (ja) 2021-04-21
JP2020173822A (ja) 2020-10-22
AU2018200155A1 (en) 2018-02-01
HK1226207A1 (zh) 2017-09-22
CN110109854A (zh) 2019-08-09
CA2951677C (en) 2017-06-13
DK3022879T3 (da) 2021-01-18
CA2951786A1 (en) 2015-03-05
EP3022879B1 (en) 2020-12-30
CA2951786C (en) 2017-09-26
AU2014311217A1 (en) 2016-03-03
AU2018200158A1 (en) 2018-02-01
AU2018200155B2 (en) 2019-09-26
CA2951684A1 (en) 2015-03-05
IL244270A0 (en) 2016-04-21
US20160210261A1 (en) 2016-07-21
IL244270B (en) 2020-11-30
US9965429B2 (en) 2018-05-08
CA2951680A1 (en) 2015-03-05
AU2018200158B2 (en) 2019-07-04
CA2951698A1 (en) 2015-03-05
EP3022879A4 (en) 2017-03-01

Similar Documents

Publication Publication Date Title
JP7212647B2 (ja) コンピュータネットワークにおける直接相互接続スイッチの配線及び成長を管理する方法及び装置
CN104025063B (zh) 用于共享网络接口控制器的方法和装置
US9325604B2 (en) System and method for data center optical connection
EP2034410B1 (en) Cluster system management
US9374321B2 (en) Data center switch
TWI568335B (zh) 架組成件結構
EP2691866A1 (en) Network transpose box and switch operation based on backplane ethernet
CN108183872B (zh) 交换机系统及其构建方法
US9750135B2 (en) Dual faced ATCA backplane
US20050038949A1 (en) Apparatus for enabling distributed processing across a plurality of circuit cards

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1226207

Country of ref document: HK

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180126

Address after: ottawa

Applicant after: Lockport Networks Inc.

Address before: Ontario, Canada

Applicant before: OPREA DAN

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200103