CN106155959A - 数据传输方法及数据传输系统 - Google Patents

数据传输方法及数据传输系统 Download PDF

Info

Publication number
CN106155959A
CN106155959A CN201510504169.5A CN201510504169A CN106155959A CN 106155959 A CN106155959 A CN 106155959A CN 201510504169 A CN201510504169 A CN 201510504169A CN 106155959 A CN106155959 A CN 106155959A
Authority
CN
China
Prior art keywords
data
pcie
network interface
nodal point
data transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510504169.5A
Other languages
English (en)
Inventor
赵茂赞
施青志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quanta Computer Inc
Original Assignee
Quanta Computer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quanta Computer Inc filed Critical Quanta Computer Inc
Publication of CN106155959A publication Critical patent/CN106155959A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/36—Handling requests for interconnection or transfer for access to common bus or bus system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/382—Information transfer, e.g. on bus using universal interface adapter
    • G06F13/385—Information transfer, e.g. on bus using universal interface adapter for adaptation of a particular data processing system to different peripheral devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/40—Bus structure
    • G06F13/4063—Device-to-bus coupling
    • G06F13/4068—Electrical coupling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4282—Bus transfer protocol, e.g. handshake; Synchronisation on a serial bus, e.g. I2C bus, SPI bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2213/00—Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F2213/0024—Peripheral component interconnect [PCI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Small-Scale Networks (AREA)
  • Information Transfer Systems (AREA)

Abstract

本发明披露了一种数据传输方法及数据传输系统。该数据传输方法，包含：在耦接至多个节点的计算机输入输出扩充背板接收由这些节点的第一节点所产生的数据；至少部分基于与数据相关的信息来决定数据的目的地；以及传输数据至与数据的目的地相关的第二节点；其中，计算机输入输出扩充背板耦接至多个网络接口控制器，且每一这些网络接口控制器与这些节点中的一个相关。

Description

数据传输方法及数据传输系统
技术领域
本发明涉及一种在计算机系统中的数据传输。
背景技术
随着因特网服务以及云端运算的成长普及化，企业及个人更加仰赖信息科技。为了处理大量的计算需求，大型数据中心(data centers)变为更强大和更有效率。典型的数据中心包含一大群的网络服务器和节点，以用于远端储存、处理或分布大量数据。举例而言，数据中心可包含大量的机架单元，每一机架单元容置许多节点。这些节点可经由网络接口层和通信协议层传输数据。
对于数据传输的骨干网络而言，网络设计为数据中心拓朴的一重要方面。特别地，高速数据传输通信协议优选于网络效率的最佳化上。
发明内容
本发明的一些方面公开使用PCIe(Peripheral Component InterconnectExpress；快速周边组件互连，下称PCIe)技术来实现高频宽和低延迟数据传输的技术。在各个实施例中，藉由从一或多个节点去耦接(decoupling)以太网接口控制器(Ethernet Network Interface Controllers；Ethernet NICs)本发明可达成用于机架内部(intra-rack)数据传输的数据传输效果。
根据一些实施例，本发明可藉由使用PCIe来提供高速，以用于机架内部数据传输。根据一些实施例，本发明可将以太网接口控制器与从交换器设备实体分离的PCIe设备耦接，消除由任何内嵌网络接口控制器至交换器设备的硅中所导致的弹性缺乏。
根据一些实施例，在机架内的每一节点具有与其相关的专用以太网接口控制器。网络接口控制器可实施网络接口，例如局域网(local area network；LAN)，以用于网络设备之间的数据传输。举例而言，根据以太网通信协议，藉由辨别在分组标头中的来源因特网通信协议地址和目的地因特网通信协议地址，以太网接口控制器可自一来源节点传输数据至一目的地节点。
根据一些实施例，基于与节点有关的网络负载，节点可从网络接口控制器设备池而被动态分配以太网接口控制器。根据一些实施例，基于节点的储存分配，节点可被分配其他周边设备，例如储存卡。
根据一些实施例，本发明可利用PCIe交换器以提供弹性和动态的网络管理。举例而言，PCIe交换器可分配一或多个网络接口控制器至节点A。PCIe交换器可重新分配从节点A至节点B的网络接口控制器。另外，PCIe交换器可管理其他PCIe设备，例如快速非易失性存储器(Non-Volatile MemoryExpress；NVMe)控制器或储存设备。此外，其他输入输出扩展技术(I/Oexpansion technology)交换器可用于提供动态网络管理。
根据一些实施例，服务控制器，例如基板管理控制器(BaseboardManagement Controller；BMC)，可与PCIe交换器通信以用于配置。基板管理控制器为独立且内嵌的微控制器，在一些实施例中，负责管理及监控主要中央处理单元和在主机板上的周边设备。根据一些实施例，基板管理控制器可经由其网络接口控制器所实施的专用接口提供局域网(local area network；LAN)存取至PCIe交换器。此外，其他服务控制器，例如机架管理控制器(RackManagement Controller；RMC)，可管理PCIe交换器，亦可与交换器通信。
虽然在此叙述许多关于利用PCIe的高速数据传输容量的示例，应理解的是，本发明并不局限在这些示例。更确切地说，任何输入输出扩展总线技术都可使用。
此外，即使本发明使用PCIe交换器作为如何动态分配网络接口控制器的例示方法，本发明可应用至其他可处理高速数据传输和提供交换功能的交换器设备。
本发明的额外特征和优点将在随后的说明中阐述，且部分的额外特征和优点从说明来看将为显而易见，或者可藉由实践所公开的原理而得知。可采用权利要求中所具体提出的手段及组合来实现和获知本发明的特征和优点。这些特征和优点以及其他特征将根据后续的说明和权利要求而变得更为充分明显，或者可以通过实践本发明中阐述的原理而获知。
附图说明
为了更完整了解实施例及其优点，现参照结合附图所做的下列描述，其中：
图1绘示依据一些实施例的一整体系统示意图，其包含服务器机架和交换器；
图2为依据一些实施例的一方块示意图，其绘示具专用网络接口控制器的PCIe高频宽机架系统的一示例；
图3为依据一些实施例的另一示意方块图，其绘示具动态网络接口控制器分配的PCIe高频宽机架系统的一示例；
图4为依据一些实施例的一方块示意图，其绘示PCIe交换器的一示例；
图5为依据一些实施例的用于PCIe高频宽机架系统的示例流程图；
图6为依据一些实施例的用于具有PCIe交换器的PCIe高频宽机架系统的另一示例流程图；以及
图7绘示依据一些实施例的一计算机设备的一计算平台。
附图符号说明
102、104、202、236、302、336 机架
106、108、232、234、332、334 架顶式交换器
118 通信链接
120 整合交换器
206、208、210、212、214、306、308、310、312、314 节点
218、318 PCIe背板
222、224、226、228、230、322、324、326、328、330 网络接口控制器
238、340 输入/输出设备池
338、402 PCIe交换器
404、405 上行端口
406、408、410、412 下行端口
500、600 流程图
502、504、506、602、604、606 步骤
700 系统架构
702 基板管理控制器
704 处理器
706 输入设备
708 PCIe设备
710 网络接口
712 显示器
714 储存设备
726 系统存储器
具体实施方式
下面详细地讨论本发明的各实施例。虽然特定的实施方式被讨论，但应理解的是，此仅是为了说明的目的。所属相关领域的技术人员可了解到，可以使用其他元件及配置而不偏离本发明的精神和范围。
为了满足成长的计算需求，计算机系统需要高频宽和低延迟的数据传输。在现代的数据中心拓朴设计中，交换器被建立至机架单元的背板(backplane)中，以互连不同的节点。这些内建的交换器称为交换器结构(switch fabrics)，因为其直接以铜或光纤来连接节点，故可减少网络配线的复杂度。举例而言，架顶式(Top-of-Rack；ToR)交换器可由内部或外部路由(route)数据至机架。其他种类的内建交换器为整合交换器，其内建于机架单元中间，此机架单元可与其他网络设备通信。
传统上，内建的交换器使用以太网接口以用于信号的路由。以太网为一广泛被采用的局域网技术，其制定于IEEE 802.3中。以太网为可靠的网络，且其提供高吞吐容量。举例而言，十亿位(1Gigabit)或百亿位(10Gigabit)的以太网信号定义速率为每秒十亿位或百亿位的以太网帧。
然而，与在一机架单位中的其他高频宽系统接口相比较，以太网接口具有较低的频宽和较高的延迟。因此，以太网接口或网络接口控制器为高速数据传输中的瓶颈。
一种解决方法为从一节点移除以太网接口控制器且将网络接口控制器嵌入至一交换器的硅中，例如一芯片。但是，内嵌的网络接口控制器不容易随着科技的演进而升级或改变。举例而言，当一新的网络接口控制器技术(例如，远端直接存储器存取(Remote Direct Memory Access)变成可使用时，管理员需要改变交换器设备，以跟上新的网络接口控制器技术。此外，当嵌入式网络接口控制器失效时，取代失效的网络接口控制器也极为困难。因此，嵌入式网络接口控制器造成网络管理缺乏弹性。
因此，需要提供一种高频宽和低延迟且不失弹性的数据传输接口，以用于网络接口控制器的替换或升级。
PCIe为用于连接安装至主机板中的周边设备的高速序列计算机输入输出(Input/Output；I/O)总线标准。藉由利用点对点序列走线来取代共享的并行总线架构，PCIe链接可提供高频宽和低延迟的数据传输，例如在每一传输方向中的16个通道插槽的速度超过30GB/s。此外，两个PCIe设备之间的连接为PCIe链接，其可包含一或多个通道。
根据一些实施例，本发明可藉由提供互连节点之间的PCIe数据传输来实现互连节点的高频宽低延迟数据传输。特别地，本发明的一些方面可藉由，例如允许从与其相关的节点实体分离以太网接口控制器，且耦接网络接口控制器与PCIe设备，来增加服务器的功能。因为PCIe设备从交换器设备(例如架顶式交换器)实体分离，其可消除由在交换器设备中的内嵌网络接口控制器所导致的弹性缺乏。另外，本发明的其他面向将特定于较低频宽的网络通信协议所产生的问题，例如机架服务器系统中的以太网。
除了PCIe之外，本发明可利用其它高吞吐量计算机输入输出扩展技术，以达到机架内部数据传输的高频宽和低延迟数据传输。
根据一些实施例，在机架中的节点可被分配专用的以太网接口控制器。网络接口控制器可实施网络接口，例如局域网，以用于网络设备之间的数据传输。举例而言，根据以太网通信协议，藉由辨别在分组标头中的来源因特网通信协议地址和目的地因特网通信协议地址，以太网接口控制器可自一来源节点传输数据至一目的地节点。
根据一些实施例，基于节点的网络负载，节点可从多个网络接口控制器设备中被动态地分配以太网接口控制器。举例而言，节点A用以主控一网页应用，其在早上9点至下午5点的尖峰时段处理大量的数据传输。为了提供必要的网络流通容量，节点A可被分配具有两个因特网地址的两个以太网接口控制器。此外，二或多个节点可共享网络接口控制器。
根据一些实施例，本发明可利用PCIe交换器而提供弹性及动态的网络管理。举例而言，PCIe交换器可分配一或多个网络接口控制器至节点A，或是改变从节点A至节点B的网络接口控制器。另外，PCIe交换器可管理其他PCIe设备，例如快速非易失性存储器控制器或储存卡。
根据一些实施例，服务控制器，例如基板管理控制器，可与PCIe交换器通信以用于配置(configuration)。基板管理控制器为独立且内嵌的微控制器，在一些实施例中，负责管理及监控主要中央处理单元和在主机板上的周边设备。基板管理控制器可经由智能平台管理接口(Intelligent PlatformManagement Interface；IPMI)规格与其他设备通信。智能平台管理接口规格可定义接口，以用于硬件管理。根据一些实施例，基板管理控制器可经由与其相关的网络接口控制器所实施的专用接口提供局域网(local area network：LAN)存取至PCIe交换器。另外，与多个基板管理控制器通信的机架管理控制器可藉由与其相关的网络接口控制器所实施的专用接口来管理在机架单元中的PCIe交换器。
图1绘示依据一些实施例的一整体系统示意图，其包含服务器机架和交换器。应理解的是，图1中的拓朴为一示例，且任何数量的机架、交换器和网络元件可包含在图1的网络中。
网络系统可包含多个由不同网络接口所连接的机架。举例而言，系统可包含机架102和机架104。每一机架102和机架104可包含一群服务器或节点。这些节点可主控不同的客户端应用，例如电子邮件或网络应用。另外，这些节点可经由交换器结构的阶层(layers)传输数据，这些交换器结构建立在机架的架构中。举例而言，架顶式交换器106通常被放置在机架102的顶部机箱。藉由使用通信链接118，架顶式交换器106可经由架顶式交换器108传输数据至机架104中的其他节点。
根据一些实施例，通信链接118可基于由IEEE 802.3所规定的以太网通信协议。以太网通信协议定义用于开放系统互连(Open SystemsInterconnection；OSI)模型的配线和信号标准。以太网通信协议亦定义在数据链接层(data link layer)的分组格式和媒体存取控制(Medium AccessControl；MAC)格式。
根据一些实施例，本发明可实现PCIe数据传输以用于机架内部的网络数据传输(network traffic)。就计算机扩充卡的标准而言，PCIe可经由高速链接而连接周边设备至计算机设备。通常，任何两个PCIe设备之间的连接被称作链接，且可包含一或多个通道。因为PCIe具备点对点序列链接，其可在以太网传输下提供高速数据传输的优点。举例而言，16个通道插槽的PCIe设备的数据传输速度可到达超过30GB/s。此外，根据本发明的实施例，其他高速数据传输通信协议可用于机架内部的网络数据传输。
根据一些实施例，机架内部的数据通信(举例而言，在机架102中节点之间的数据传输，或是在机架104中节点之间的数据传输)经由高速PCIe背板或总线而传输。其藉由将以太网接口控制器从相关的节点解耦接(decoupling)并移动网络接口控制器至PCIe设备(未绘示)来达成。另外，PCIe设备从以太网交换器(例如架顶式交换器106或整合交换器120)分离。因此，只有跨越不同机架(例如，从机架102至机架104)的网络数据传输需要通过可导致传输延迟的以太网接口控制器。
除了架顶式交换器106之外，机架102可包含内嵌在例如节点滑轨(sled)中的整合交换器120。整合交换器120可提供直接路由数据至滑轨中的节点。此外，整合交换器120可经由以太网传输数据至架顶式交换器106。
此外，网络系统的多个机架可由机架集合交换器(Rack AggregationSwitch)(未绘示)所管理，其可简化网络以达成机架级架构(Rack ScaleArchitecture；RSA)。
图2为依据一些实施例的一方块示意图，其绘示具有专用网络接口控制器的PCIe高频宽机架系统的一示例。机架202可包含一组节点，例如节点206、208、210、212和214，其用于不同的功能，例如储存或计算。根据一些实施例，每一节点与以太网接口控制器相关，以实施与其他网络设备的网络接口，例如局域网。如图2所示，每一网络接口控制器222、224、226、228和230分别为节点206、208、210、212和214所专用。根据一些实施例，网络接口控制器222、224、226、228和230可被耦接至PCIe设备，其作为节点与架顶式交换器232之间的输入/输出设备池(I/O pool)238。
根据一些实施例，PCIe背板218可从这些节点的其中一者接收数据，决定数据的目的地(例如藉由辨别在数据中的控制指令来决定)，且经由PCIe通信协议或是以太网通信协议的其中一者传输数据。举例而言，PCIe背板218可从节点206经由PCIe链接接收数据。数据可转换成PCIe信号的形式中传送。PCIe背板218可决定数据的目的地(例如藉由辨别在分组标头中的目的地因特网地址来决定)。
当数据的目的地为在相同机架中的其他节点时，此时的数据通信被定义是在机架内部(intra-rack)，且此定义下可利用点对点高频宽通信协议。举例而言，在决定数据的目的地为节点208后，数据可经由PCIe背板218而被传输至节点208的网络接口控制器224。
相反地，当数据的目的地为在其他机架中的节点时，数据通信被定义是在机架间(inter-rack)的通信，且在本示例中，此定义下的数据通信需要以太网传输。举例而言，当源自节点206的数据被决定为送至在机架236中的节点，数据将经由以太网而被转送至架顶式交换器232，从而传送数据至机架236中的架顶式交换器234。根据一些实施例，以太网接口控制器222可转换PCIe信号为以太网信号。
或者，除了PCIe之外，其他高频宽互连通信协议可用于机架内部数据传输。举例而言，InfiniBand可用于机架内部数据传输。
图3为依据一些实施例的另一示意方块图，其绘示具有动态网络接口控制器分配的PCIe高频宽机架系统的一示例。机架302可包含一群节点，例如节点306、308、310、312和314，以用于例如储存或计算等各种功能。
根据一些实施例，网络接口控制器322、324、326、328和330耦接至PCIe背板318，其经由输入/输出端口设备池340与PCIe交换器338通信。根据一些实施例，依据系统的数据传输需求，PCIe交换器338可动态分配网络接口控制器322、324、326、328和330中的任何一者经由PCIe链接至节点306、308、312和314中的任何一者。
根据一些实施例，PCIe背板318可从这些节点的一个(例如，节点306)接收数据且决定数据的目的地，举例而言，藉由辨识在标头中的目的地因特网地址来决定。当数据的目的地为其他节点(例如，节点310)时，数据通信为机架内部的通信。据此，机架内部数据流量可藉由PCIe背板318经由PCIe链接传送。当数据的目的地为机架302外的节点时，数据通信为机架间的通信。据此，机架间的数据流量可由以太网通信协议所转换。
举例而言，当源自节点306的数据将被送至机架336中的节点时，以太网接口控制器322可转换PCIe信号至以太网信号。以太网信号中的数据接着经由以太网而传送至架顶式交换器332。架顶式交换器332再经由以太网而传输数据至架顶式交换器334。
根据一些实施例，PCIe交换器338可经配置以分配网络接口控制器326和网络接口控制器328至节点312。举例而言，节点312用以主控一网页应用，其在早上9点至下午5点的尖峰时段须处理大量的数据传输，为了在此尖峰时段提供对应网络流通容量，节点312可被分配具有两个因特网地址的两个以太网接口控制器326、328。换句话说，对网络流量较少(inactive)的节点可与其他节点共享网络接口控制器。
根据一些实施例，本发明可利用PCIe交换器以提供弹性和动态网络管理。除了网络接口控制器之外，PCIe交换器可管理其他PCIe设备，例如快速非易失性存储器(Non-Volatile Memory Express；NVMe)控制器或储存卡。
另外，服务控制器，例如基板管理控制器(未绘示)，可用以配置PCIe交换器338。管理者可使用管理设备来连接至基板管理控制器，以配置PCIe交换器338。举例而言，管理者可分配网络接口控制器326与网络接口控制器328至节点312。其他服务控制器，例如机架管理控制器(未绘示)，亦可用以配置PCIe交换器。
根据一些实施例，当PCIe背板到达数据传输容量时，PCIe桥接器(未绘示)可连接多个PCIe背板以增加容量。
此外，其他可提供高速数据传输和交换功能的交换器设备可依据本发明的公开而被利用。
图4为依据一些实施例的一方块示意图，其绘示PCIe交换器402的一示例。应理解的是，对于绘示于图4的示例中的元件，PCIe交换器402可包含额外或较少的元件，或是元件的不同组合。举例而言，虽未绘示于图4中，PCIe交换器402可包含至少一交换控制器、一存储器和一PCIe桥接器。如图4所绘示，PCIe交换器402可包含多个端口，其包含上行端口404和405以及下行端口406、408、410和412。
根据一些实施例，PCIe交换器402可由服务控制器配置，以提供在机架中的动态网络接口控制器分配。举例而言，在判断节点A(图4未绘示)上所执行应用的数据吞吐量较在相同机架中其他节点为高后，管理者可配置PCIe交换器402，以分配二或多个网络接口控制器至节点A。此外，管理者可配置PCIe交换器402，以从一群网络接口控制器(网络接口控制器设备池)分配任何网络接口控制器至特定节点。根据一些实施例，其他服务控制器可用以配置PCIe交换器402。举例而言，机架管理控制器可配置多个容置在机架中的PCIe交换器。
此外，PCIe交换器402可耦接至其他PCIe设备，例如可扩展交换器功效的快速非易失性存储器控制器。举例而言，藉由利用快速非易失性存储器，节点可经由PCIe而耦接至固态式硬盘(solid-state drives；SSDs)。
图5为依据一些实施例的用于PCIe高频宽机架系统的示例流程图500。应理解的是，除非另有规定，不然在各种实施例的范围中可以有以类似或替代顺序或并行的额外、较少或替代步骤。
在步骤502中，第一机架的计算机输入输出扩展背板(computer I/Oexpansion backplane)可接收由第一机架的第一节点所产生的数据。举例而言，计算机输入输出扩展背板可为PCIe背板。根据一些实施例，数据可通过PCIe信号中传送。根据一些实施例，其他高频宽低延迟输入输出扩展背板可耦接至节点群。
在步骤504中，系统可决定接收的数据的目的地。根据一些实施例，此决定可基于辨别与所接收的数据相关的控制指令。举例而言，PCIe背板可从分组辨别目的地的ID或地址。
在步骤506中，系统可传输数据至与决定的目的地相关的第二节点。根据一些实施例，当决定的目的地与在相同机架中的节点相关时(例如机架内部的网络数据流通)，系统可使用PCIe通信协议来直接传输数据至在相同机架中的节点。根据一些实施例，PCIe通信协议可实现高速数据传输，以用于机架内部的网络数据传输。根据一些实施例，当第二节点为当前机架外部的节点时(例如机架间的网络数据传输)，系统可传输在PCIe信号的数据至与PCIe背板相关的网络接口控制器。网络接口控制器可转换PCIe信号为以太网信号，且传输数据至以太网交换器，例如整合交换器或架顶式交换器。整合交换器或架顶式交换器可传输数据至其他位于其他机架中的节点。因此，仅藉由使用以太网接口控制器以用于机架间的数据传输，系统可缓和由以太网接口所创造的瓶颈，其可提升系统效能。
图6为依据一些实施例的用于具有PCIe交换器的PCIe高频宽机架系统的另一示例流程图600。应理解的是，除非另有规定，不然在各种实施例的范围中可以有以类似或替代顺序或并行的额外、较少或替代步骤。
在步骤602中，第一机架的PCIe交换器可接收由一机架中的一第一节点所产生的数据。举例而言，耦接至PCIe背板的PCIe交换器可与一组在机架中的网络接口控制器通信。根据一些实施例，其他高频宽低延迟输入输出扩展背板可耦接至节点群。根据一些实施例，PCIe交换器可包含在其他多个元件中的交换控制器、存储器、多重端口和网络接口控制器。PCIe交换器可提供动态网络接口控制器分配至在机架中的一或多个节点。
根据一些实施例，除了网络接口控制器之外，PCIe交换器亦可耦接至其他PCIe设备，其可提供弹性和可扩充性至计算机系统。另外，PCIe交换器可由服务控制器所配置，例如基板管理控制器或机架管理控制器，以管理连接的PCIe设备。
在步骤604中，系统可决定所接收数据的目的地。根据一些实施例，此决定可基于辨别与所接收的数据相关的控制指令。举例而言，PCIe交换器可从分组辨识目的地的ID或地址。
在步骤606中，系统可传输数据至与决定的目的地相关的第二节点。举例而言，当决定的目的地与在相同机架中的节点相关时，系统可使用高速通信协议而直接传输数据至节点。根据一些实施例，高速通信协议可以是PCIe通信协议。举例而言，当决定的目的地与在机架外的节点相关时，系统首先可传输数据至来源节点的网络接口控制器。在转换PCIe信号为以太网信号后，网络接口控制器可传输数据至以太网交换器，例如整合交换器或架顶式交换器。整合交换器或架顶式交换器可传输数据至位于其他机架中的节点。
根据一些实施例，网络接口控制器可经由以太网或任何其他适合的通信协议来传输数据至与服务器网络中多于一个机架通信的机架集合交换器。
图7绘示一示例系统架构700，以实施图1至图6的系统和流程。计算平台700包含一或多个总线，其与子系统和设备互连，例如：服务控制器702、处理器704、储存设备系统存储器726、网络接口710和PCIe设备708。处理器704可由一或多个中央处理器单元(central processing units；CPUs)所实施，例如由公司所生产的中央处理器单元，或者由一或多个虚拟处理器所实施，或者由中央处理器单元与虚拟处理器的组合所实施。计算平台700经由输入输出设备706和显示器712交换代表输入和输出的数据，其包含但不限于键盘、滑鼠、音频输入(例如语音转文字设备)、使用者接口、显示器、监视器、游标(cursors)、触碰感应式显示器、LCD或LED显示器，和其他输入输出相关设备。
根据一些例子，计算机架构700藉由处理器704来进行特定操作，其执行储存在系统存储器726中的一或多个指令的一或多个序列。计算平台700可被实施为在主从式架构(client-server arrangement)或点对点架构(peer-to-peer arrangement)中的服务器设备或客户端设备，或者为移动计算设备，包含智能型手机和类似者。此类指令或数据可从其他计算机可读取介质(例如储存设备714)而被读取至系统存储器726中。在一些例子中，硬件电路可用来取代软件指令或与软件指令组合而实施。指令可被内建于软件或固件中。“计算机可读取介质”一词指任何参与提供指令至处理器704执行的有形介质，其包含但不限于非易失性介质和易失性介质。举例而言，非易失性介质包含光盘或磁盘及类似者。易失性介质包含动态存储器，例如系统存储器726。
计算机可读取介质的常见形式包含例如磁盘、软盘、硬盘、磁带、任何其他磁性介质、CD-ROM、任何其他光学介质、穿孔卡片(punch cards)、纸带(paper tape)、任何其他具穿孔图案的实体介质、RAM、PROM、EPROM、FLASH-EPROM、任何其他存储器芯片或存储器匣，或是任何其他计算机可读取的介质。指令可进一步使用传输介质而被传输或接收。“传输介质”一词可包含任何有形或无形的介质，其可储存、编码或携带指令，以由机器所执行，且包含数字或模拟通信信号或是其他无形的介质，以促进这些指令的通信。传输介质包含同轴电缆、铜线和光纤，其包含具有用于传输计算机数据信号的总线624的走线。
在显示的示例中，系统存储器726可包含各种包含可执行指令的模块，以实施在本发明中所描述的功能。在显示的示例中，系统存储器726包含记录管理器(log manager)、记录缓冲器(log buffer)或记录储存库(logrepository)，每一者可被配置以提供在本发明中所描述的一或多个功能。
虽然为了使本发明被清楚了解而具体描述前述示例的一些细节，但本发明并不局限于所提供的细节。有许多方式可实作本发明。所揭示的示例仅供示范且非用以限定本发明的范围。

Claims (20)

1.一种数据传输方法，包含：
在耦接至多个节点的一计算机输入输出扩充背板接收由该些节点的一第一节点所产生的一数据；
至少部分基于与该数据相关的信息来决定该数据的一目的地；以及
传输该数据至与该数据的该目的地相关的一第二节点；
其中，该计算机输入输出扩充背板耦接至多个网络接口控制器，且每一该些网络接口控制器与该些节点中的一个相关。
2.如权利要求1所述的数据传输方法，其中该计算机输入输出扩充背板包含一PCIe背板。
3.如权利要求2所述的数据传输方法，其中该第二节点是该些节点中的一个，且该数据是基于一PCIe通信协议来传输至该第二节点。
4.如权利要求1所述的数据传输方法，其中该第二节点不是该些节点中的一个，且该数据是基于一以太网通信协议来传输至该第二节点。
5.如权利要求1所述的数据传输方法，其中该第二节点不是该些节点中的一个，且传输该数据至该第二节点还包含：
使用一以太网通信协议来传输该数据至该些网络接口控制器中的一网络接口控制器，该网络接口控制器与该第一节点相关。
6.如权利要求5所述的数据传输方法，其中传输该数据至该第二节点还包含：
使用该以太网通信协议来传输该数据至一架顶式交换器，该架顶式交换器通信耦接至该些网络接口控制器。
7.如权利要求5所述的数据传输方法，其中传输该数据至该第二节点还包含：
使用该些网络接口控制器中的一网络接口控制器来转换该数据至以太网信号，该网络接口控制器与该第一节点相关。
8.一种数据传输系统，包含：
一处理器；以及
一存储器装置，包含多个指令，当该些指令被该处理器执行时，使该系统进行：
在与一第一通信协议相关且耦接至多个节点的一第一背板接收由该些节点的一第一节点所产生的一数据；
至少部分基于在一分组标头中与该数据相关的信息来决定该数据的一目的地；以及
传输该数据至与该数据的该目的地相关的一第二节点；
其中，该第一背板耦接至多个与一第二通信协议相关的网络接口控制器，且每一该些网络接口控制器与该些节点中的一个相关，且该第一通信协议操作为以相较于该第二通信协议的一较高频宽来传送该数据。
9.如权利要求8所述的数据传输系统，其中该第二节点是该些节点中的一个，且该数据是基于该第一通信协议来传输至该第二节点。
10.如权利要求8所述的数据传输系统，其中该第二节点不是该些节点中的一个，且该数据是基于该第二通信协议来传输至该第二节点。
11.如权利要求10所述的数据传输系统，其中传输该数据至该第二节点还包含：
从该第一通信协议转换该数据至该第二通信协议。
12.一种数据传输方法，包含：
在与一PCIe背板相关的一PCIe交换器接收由该些节点的一第一节点所产生的一数据，该些节点通信连接至该PCIe背板；
至少部分基于在一分组标头中与该数据相关的信息来决定该数据的一目的地；以及
传输该数据至与该数据的该目的地相关的一第二节点；
其中，该PCIe交换器与多个网络接口控制器相关，且该PCIe交换器操作为分配该些网络接口控制器的一或多个至该些节点的一或多个。
13.如权利要求12所述的数据传输方法，其中该第二节点是该些节点中的一个，且该数据是基于一PCIe通信协议来传输至与该目的地相关的该第二节点。
14.如权利要求12所述的数据传输方法，其中该第二节点不是该些节点中的一个，且该数据是基于一以太网通信协议来传输至与该目的地相关的该第二节点。
15.如权利要求14所述的数据传输方法，还包含：
使用该些网络接口控制器中与该第一节点相关的一或多个网络接口控制器来转换PCIe信号至以太网信号。
16.如权利要求14所述的数据传输方法，还包含：
传输该数据至一架顶式交换器，该架顶式交换器通信耦接至该PCIe交换器。
17.如权利要求12所述的数据传输方法，其中该PCIe交换器操作为由一服务控制器所配置，该服务控制器与该PCIe交换器通信。
18.如权利要求12所述的数据传输方法，其中该PCIe交换器操作为分配该些网络接口控制器的一或多个至该些节点的一个。
19.如权利要求12所述的数据传输方法，其中该PCIe交换器操作为分配该些网络接口控制器的一个至该些节点的一或多个。
20.如权利要求12所述的数据传输方法，其中该PCIe交换器操作为与一或多个PCIe设备通信。
CN201510504169.5A 2015-05-11 2015-08-17 数据传输方法及数据传输系统 Pending CN106155959A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/708,921 US20160335209A1 (en) 2015-05-11 2015-05-11 High-speed data transmission using pcie protocol
US14/708,921 2015-05-11

Publications (1)

Publication Number Publication Date
CN106155959A true CN106155959A (zh) 2016-11-23

Family

ID=56509381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510504169.5A Pending CN106155959A (zh) 2015-05-11 2015-08-17 数据传输方法及数据传输系统

Country Status (3)

Country Link
US (1) US20160335209A1 (zh)
CN (1) CN106155959A (zh)
TW (1) TWI534629B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107911414A (zh) * 2017-10-20 2018-04-13 英业达科技有限公司 数据存取系统
CN109951365A (zh) * 2017-12-21 2019-06-28 财团法人工业技术研究院 结合PCIe总线与以太网络的网络通信方法、系统及控制器
CN110121868A (zh) * 2017-01-02 2019-08-13 微软技术许可有限责任公司 通过被配置为加速服务的加速组件的消息传输
CN110740157A (zh) * 2018-07-19 2020-01-31 广达电脑股份有限公司 存储系统及远程存取方法
US10958717B2 (en) 2017-01-17 2021-03-23 Microsoft Technology Licensing, Llc Hardware implemented load balancing

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10223313B2 (en) * 2016-03-07 2019-03-05 Quanta Computer Inc. Scalable pooled NVMe storage box that comprises a PCIe switch further connected to one or more switches and switch ports
JP6880242B2 (ja) * 2017-02-14 2021-06-02 モレックス エルエルシー ブレークアウトモジュールシステム
US10088643B1 (en) 2017-06-28 2018-10-02 International Business Machines Corporation Multidimensional torus shuffle box
US10571983B2 (en) 2017-06-28 2020-02-25 International Business Machines Corporation Continuously available power control system
US10169048B1 (en) 2017-06-28 2019-01-01 International Business Machines Corporation Preparing computer nodes to boot in a multidimensional torus fabric network
US10356008B2 (en) 2017-06-28 2019-07-16 International Business Machines Corporation Large scale fabric attached architecture
US10579568B2 (en) * 2017-07-03 2020-03-03 Intel Corporation Networked storage system with access to any attached storage device
US10334330B2 (en) * 2017-08-03 2019-06-25 Facebook, Inc. Scalable switch
US20190068466A1 (en) * 2017-08-30 2019-02-28 Intel Corporation Technologies for auto-discovery of fault domains
US11533271B2 (en) * 2017-09-29 2022-12-20 Intel Corporation Technologies for flexible and automatic mapping of disaggregated network communication resources
US10523457B2 (en) 2017-12-21 2019-12-31 Industrial Technology Research Institute Network communication method, system and controller of PCIe and Ethernet hybrid networks
JP2019164486A (ja) 2018-03-19 2019-09-26 東芝メモリ株式会社 情報処理システム、情報処理方法及びメモリシステム
TWI679861B (zh) 2018-09-06 2019-12-11 財團法人工業技術研究院 控制器、調整封包通信規則的方法及網路通信系統
US11093424B1 (en) * 2020-01-28 2021-08-17 Dell Products L.P. Rack switch coupling system
EP4099173A1 (en) * 2021-05-31 2022-12-07 Ovh System providing a network interface to a plurality of electronic components

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080222303A1 (en) * 2007-03-05 2008-09-11 Archer Charles J Latency hiding message passing protocol
CN101599837A (zh) * 2008-06-06 2009-12-09 佛山市顺德区顺达电脑厂有限公司 丛集系统的网络切换架构
US20110185099A1 (en) * 2010-01-28 2011-07-28 Lsi Corporation Modular and Redundant Data-Storage Controller And a Method for Providing a Hot-Swappable and Field-Serviceable Data-Storage Controller
US20130325998A1 (en) * 2012-05-18 2013-12-05 Dell Products, Lp System and Method for Providing Input/Output Functionality by an I/O Complex Switch
CN104025063A (zh) * 2012-08-24 2014-09-03 英特尔公司 用于共享网络接口控制器的方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6922722B1 (en) * 1999-09-30 2005-07-26 Intel Corporation Method and apparatus for dynamic network configuration of an alert-based client
US7739485B2 (en) * 2002-10-11 2010-06-15 Hewlett-Packard Development Company, L.P. Cached field replaceable unit EEPROM data
US9264384B1 (en) * 2004-07-22 2016-02-16 Oracle International Corporation Resource virtualization mechanism including virtual host bus adapters
US8769158B2 (en) * 2011-07-08 2014-07-01 Rockwell Automation Technologies, Inc. High availability device level ring backplane
US20130101289A1 (en) * 2011-10-19 2013-04-25 Accipiter Systems, Inc. Switch With Optical Uplink for Implementing Wavelength Division Multiplexing Networks

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080222303A1 (en) * 2007-03-05 2008-09-11 Archer Charles J Latency hiding message passing protocol
CN101599837A (zh) * 2008-06-06 2009-12-09 佛山市顺德区顺达电脑厂有限公司 丛集系统的网络切换架构
US20110185099A1 (en) * 2010-01-28 2011-07-28 Lsi Corporation Modular and Redundant Data-Storage Controller And a Method for Providing a Hot-Swappable and Field-Serviceable Data-Storage Controller
US20130325998A1 (en) * 2012-05-18 2013-12-05 Dell Products, Lp System and Method for Providing Input/Output Functionality by an I/O Complex Switch
CN104025063A (zh) * 2012-08-24 2014-09-03 英特尔公司 用于共享网络接口控制器的方法和装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110121868A (zh) * 2017-01-02 2019-08-13 微软技术许可有限责任公司 通过被配置为加速服务的加速组件的消息传输
CN110121868B (zh) * 2017-01-02 2021-06-18 微软技术许可有限责任公司 通过被配置为加速服务的加速组件的消息传输
US10958717B2 (en) 2017-01-17 2021-03-23 Microsoft Technology Licensing, Llc Hardware implemented load balancing
CN107911414A (zh) * 2017-10-20 2018-04-13 英业达科技有限公司 数据存取系统
CN107911414B (zh) * 2017-10-20 2020-10-20 英业达科技有限公司 数据存取系统
CN109951365A (zh) * 2017-12-21 2019-06-28 财团法人工业技术研究院 结合PCIe总线与以太网络的网络通信方法、系统及控制器
CN110740157A (zh) * 2018-07-19 2020-01-31 广达电脑股份有限公司 存储系统及远程存取方法
CN110740157B (zh) * 2018-07-19 2022-05-27 广达电脑股份有限公司 存储系统及远程存取方法

Also Published As

Publication number Publication date
US20160335209A1 (en) 2016-11-17
TW201640360A (zh) 2016-11-16
TWI534629B (zh) 2016-05-21

Similar Documents

Publication Publication Date Title
CN106155959A (zh) 数据传输方法及数据传输系统
CN103546299B (zh) 使用串行器/解串器通道的50Gb/s以太网
DE112011103123B4 (de) Performance und leistungsoptimierte Computersystemarchitekturen und -verfahren, die eine leistungsoptimierte Tree-Fabric-Verdrahtung wirksam einsetzen
US9043526B2 (en) Versatile lane configuration using a PCIe PIe-8 interface
CN101494697B (zh) 一种采用双刀片服务器的负载均衡方法和装置
CN102511151B (zh) 一种路由器、虚拟集群路由器系统及建立方法
US20150381528A9 (en) Performance and power optimized computer system architectures and methods leveraging power optimized tree fabric interconnect
CN104025063A (zh) 用于共享网络接口控制器的方法和装置
TW201304476A (zh) 網路介面控制器、積體電路微晶片、電腦、資料中心、系統及方法
CN102546813A (zh) 一种基于x86 PC架构的高性能集群计算系统
CN104486130A (zh) 一种面向云服务器的多接口管理网络架构
CN105162623B (zh) 一种云处理方法及云服务器
CN107430574A (zh) 用于分析系统的io、处理和存储器带宽的优化的方法和装置
CN103634225A (zh) 云计算网络虚拟化中的业务带宽扩展方法
US20150156117A1 (en) High density server system
CN105099776A (zh) 云服务器的管理系统
CN115586964A (zh) 资源共享装置、资源管理装置及资源管理方法
CN104580527B (zh) 一种面向云服务器应用的多i/o高密度多节点服务器系统设计方法
CN114968895A (zh) 一种异构互联系统及集群
US11055252B1 (en) Modular hardware acceleration device
WO2019033220A1 (en) METHODS AND SYSTEMS FOR RECONFIGURABLE NETWORK TOPOLOGIES
CN101247663B (zh) 大容量路由系统及其转发表生成方法
CN103746941A (zh) 一种板级互联大数据一体机
WO2016086700A1 (zh) 一种机架及通讯方法
CN208969660U (zh) 一种OpenVPX结构的SRIO交换板卡

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20161123