CN116964569A - 相邻处理器的光桥互连单元 - Google Patents

Abstract

描述了用于在计算系统中进行高效数据传输的系统和方法。计算系统包括接收要处理的任务的多个节点。桥互连件在两个处理节点之间进行数据传输，而无需母板上的系统总线的帮助。计算系统的多个桥互连件中的一个桥互连件是光桥互连件，其通过两个节点之间的光桥互连件传输光信息。接收节点使用光子集成电路将光学信息转变成电信息，由电集成电路进行处理。基于诸如所测量的功率消耗和所测量的数据传输错误率等一个或多个因素，一个或多个节点在使用光桥互连件和非光桥互连件之间进行切换。

Description

相邻处理器的光桥互连单元

背景技术

相关技术的描述

在计算系统中，多个应用利用并行处理和大量共享存储器。这些应用的示例是机器学习应用、娱乐和实时应用以及一些商业、科学、医疗和其它应用。这些计算系统使用具有多于一个处理核的处理单元(例如，CPU、GPU等)，并且在一些情况下，使用并列型堆叠芯片来提供更多计算能力和/或更多数据存储。这些计算系统的处理单元在彼此之间以及与系统存储器之间传输和接收大量数据。基于特定的通信协议，通过诸如通信结构的互连以这种方式传输数据。

在许多情况下，互连在支持相对宽的分组的同时传输数据，因为大量的物理线路是可用的。然而，当经由互连将单独的裸片连接在一起时，且当将单独的处理节点连接在一起时，数据经由数量少得多的物理线路传输，这限制了可用带宽。在一些情况下，链路物理线路传输数据的数据速率是裸片上物理线路数据速率的倍数。然而，当在裸片之间和节点之间进行通信时，带宽仍然会显著降低。

此外，当发射器(诸如处理单元中的图形处理单元(GPU))发送分组的速率超过接收器(诸如互连)可接收分组的速率时，接收器处的数据发生冲突，从而导致数据损坏。降低从发射器发送分组的数据速率的保守方法防止了数据损坏，但是也进一步降低了链路带宽效率。

根据上述情况，需要用于在计算系统中执行高效数据传输的高效方法和系统。

附图说明

图1是计算系统的分区的一个实施方案的概要图。

图2是计算系统的一个实施方案的概要图。

图3是处理节点的一个实施方案的概要图。

图4是桥互连单元的一个实施方案的概要图。

图5是计算系统的分区的一个实施方案的概要图。

图6是用于在计算系统中进行高效数据传输的方法的一个实施方案的概要图。

图7是用于在计算系统中进行高效数据传输的方法的一个实施方案的概要图。

图8是用于在计算系统中进行高效数据传输的方法的一个实施方案的概要图。

虽然本发明可以有各种修改和另选形式，但具体实施方案在附图中通过举例的方式示出并且在本文进行详细描述。然而，应当理解，附图和对其的详细描述并不旨在将本发明限制为所公开的特定形式，而是相反，本发明是涵盖落入由所附权利要求书限定的本发明范围内的所有修改、等效物和替代方案。

具体实施方式

在以下描述中，阐述了许多具体细节以提供对本发明的透彻理解。然而，本领域普通技术人员应认识到，可以在没有这些具体细节的情况下实践本发明。在一些情况下，未详细示出众所周知的电路、结构和技术，以避免模糊本发明。此外，应当理解，为了简单和清楚说明，图中所示的元件不一定按比例绘制。例如，一些元件的尺寸相对于其他元件被放大。

公开了用于在计算系统中执行高效数据传输的各种系统、装置和方法。在各种实施方案中，计算系统包括将任务分配给多节点分区的处理节点的主机处理器。如本文所用，“处理节点”也称为“节点”。这些节点包括至少一个或多个处理器和本地存储器。在一个实施方案中，主机处理器是中央处理单元(CPU)，并且节点处理器是图形处理单元(GPU)。在一些实施方案中，节点是利用GPU来处理并行数据任务的非均匀存储器访问(NUMA)节点。例如，处理节点使用视频图形渲染、加密、垃圾收集以及一些商业、科学、医疗和其它应用程序来执行机器学习应用程序、娱乐和实时应用程序的任务。编译器从程序代码提取并行化任务以在系统硬件上并行执行。

在各种实施方案中，节点是插入母板上的扩展插槽或插口中的扩展卡。在一个实施方案中，节点中的一个或多个节点是插入在母板上的对应插槽或插口中的视频图形卡。扩展卡和图形卡中的每个卡都是印刷电路板，其包括半导体芯片、铜线互连件、接口和插入到母板上的插槽或插口中的一排信号引脚。

计算系统还包括通信桥接件，其使用一个或多个桥互连件来在两个处理节点之间进行数据传输，而无需母板上的系统总线的帮助。例如，主机处理器、一个或多个外围设备以及系统存储器通过母板上的系统总线与处理节点进行数据传输。然而，处理节点能够通过桥互连件直接与另一处理节点进行数据传输，而不在母板上发送任何信号。在各种实施方案中，通信桥接件是桥接卡。类似于扩展卡或视频卡，桥接卡是印刷电路板。然而，桥接卡不包括插入到母板上的插槽或插口中的一排引脚。

在一些具体实施中，桥接卡不包括半导体芯片，而是仅包括桥接卡任一侧上的连接器之间的互连件。每个连接器连接到处理节点，这允许处理节点通过桥接卡的互连件彼此通信。在其它具体实施中，桥接卡包括一个或多个半导体芯片，以在两个或两个以上处理节点之间来回传输数据时提供由硬件提供的互连逻辑。

在各种实施方案中，桥接卡的桥互连件中的一个桥互连件为光桥互连件。两个成对的处理节点中的每个节点在对应的光学连接器处使用光子集成电路以在电数据(信号)和光数据(信号)之间进行转变。光数据通过两个处理节点之间的光桥互连件进行传输。对应于光数据的电数据由两个处理节点处的电集成电路处理。

类似于母板和其它印刷电路板，诸如扩展卡、网卡和视频卡，桥接卡使用玻璃增强环氧树脂层压材料。该材料提供相对较高的机械强度，同时也提供互连件和半导体芯片之间的电绝缘。玻璃增强环氧树脂层压材料的一个示例是FR-4(或FR4)玻璃环氧树脂。桥接卡包括嵌入印刷电路板的顶层或底层上的FR-4材料中的一条或多条信号路由。桥接卡使用嵌入在FR-4材料中的光纤电缆，而不是在这些嵌入的一条或多条信号路由中使用铜线。嵌入的光纤电缆将光数据作为光波在桥接卡的两端之间传输。在一些实施方案中，桥接卡的该光桥互连件使用单个嵌入光纤电缆来代替80个或更多个嵌入铜迹线，以用于在两个处理节点之间传输信号。

在一个实施方案中，一个或多个桥接卡是具有用于在两个处理节点之间直接传输数据的一个或多个光桥互连件和一个或多个非光桥互连件的混合桥接卡。多节点分区的节点管理通过桥接卡的一个或多个桥互连件(例如，光桥互连件和非光桥互连件)进行的数据传输。在一些实施方案中，基于一个或多个因素，桥接卡上的处理节点和电路中的一者或多者在使用桥接卡的光桥互连件和桥接卡的非光桥互连件之间进行切换。这些因素的示例是所测量的功率消耗、所测量的数据传输错误率、来自应用的提示等。

参考图1，示出了多节点分区100的一个实施方案的一般化框图。在所示实施方案中，分区100包括多个处理节点110A至110D，这些处理节点具有支持处理节点之间的数据传输的桥互连件120至132。处理节点110A至110D中的每个处理节点包括至少一个或多个处理器和本地存储器。如本文所用，当对应的计算系统利用硬件的虚拟化时，“处理节点”也被称为“节点”，并且“分区”也被称为“蜂巢”。在一个实施方案中，分区100是置于台式计算机或服务器中的多插槽母板的插槽中的多芯片模块(MCM)。在其它实施方案中，节点110A至110D中的一个或多个节点是插入母板上的对应插槽或插口中的单独扩展卡。在一个实施方案中，节点110A至110D中的一个或多个节点是插入母板上的对应插槽或插口中的视频图形卡。为了便于说明，未示出主机处理器、功率控制器、中断控制器和锁相环(PLL)或其它时钟生成电路等。尽管示出了四个节点110A至110D和七个桥互连件120至132，但是在其它实施方案中，使用了另一数量的节点和桥互连件。

在一些实施方案中，主机处理器将任务分配给多节点分区100，而在其它实施方案中，分区100依赖于节点110A至110D内的处理器来相互分配和传输任务。在一些实施方案中，节点110A至110D使用视频图形渲染、加密、垃圾收集以及一些商业、科学、医疗和其它应用程序来执行机器学习应用程序、娱乐和实时应用程序的任务。编译器从程序代码提取并行化任务以在分区100的硬件上并行执行。节点110A至110D通过诸如通信结构及/或母板上的系统总线等互连(未示出)与任何主机处理器、系统存储器及输入/输出(I/O)设备通信。然而，节点110A至110D能够通过通信桥接件彼此直接通信，而无需在母板上传输信号。

桥互连件120至132中的每个桥互连件在两个处理节点之间传输数据，而无需母板上的系统总线的帮助。例如，分区100外部的其它部件(诸如任何主机处理器、一个或多个外围设备和系统存储器)通过母板上的系统总线、多种通用串行总线(USB)端口中的一种通用串行总线端口或专用显示端口与节点110A至110D进行数据传输。然而，节点110A至110D中的节点通过桥互连件120至132中的一个桥互连件直接与节点110A至110D中的另一个节点进行数据传输。在一些实施方案中，母板上的总线使用通信协议，诸如PCIe(PeripheralComponent Interconnect Express)、来自Advanced Micro Devices有限公司的InfinityFabric以及来自Advanced Micro Devices有限公司的Infinity Architecture。在一些实施方案中，桥互连件120至132的接口电路支持通信协议，诸如来自Advanced MicroDevices有限公司的用于GPU到GPU互连的xGMI(芯片间全局存储器互连)。然而，其它类型的通信协议是可能的并且被设想到。

在一些实施方案中，节点110A至110D是完全连接的，而在其它实施方案中，桥互连件少于七个，并且节点110A至110D中的一些节点不通过任何桥互连件连接到另一个节点。类似于扩展卡或视频卡，包括桥互连件120至132的一个或多个桥接卡是印刷电路板。然而，一个或多个桥接卡不包括插入到母板上的插槽或插口中的一排引脚。相反，一个或多个桥接卡通过连接器直接连接到节点110A至110D中的对应节点。一个或多个桥接卡利用玻璃增强环氧树脂层压材料来实现印刷电路板，其具有嵌入在顶层和/或底层上的该环氧树脂层压材料的凹槽中的铜迹线，以实现非光互连件122、128和132。一个或多个桥接卡具有光纤电缆，该光纤电缆嵌入在顶层和/或底层上的该环氧树脂层压材料的凹槽中，以实现光互连件120、124、126和130。因此，除了光互连件120、124、126和130之外，非光互连件122、128和132还提供两个处理节点之间的刚性信号互连件。因此，分区100不依赖于位于桥接卡外部的柔性信号电缆来实现桥互连120至132。

对于光桥互连件120，节点110A和节点110B在对应的光学连接器处使用光子集成电路进行电数据(信号)和光数据(信号)之间转变。光数据(信号)通过节点110A和节点110B之间的光桥互连件120进行传输。所转变的电数据(信号)由节点110A和节点110B中的电集成电路处理。光桥互连件120、124、126和130通常提供比非光桥互连件122、128和132更快的数据传输速率。此外，光桥互连件120、124、126和130在数据传输期间通常比非光桥互连件122、128和132消耗更少的功率。

如前所述，桥接卡利用玻璃增强环氧树脂层压材料来实现印刷电路板，除了嵌入顶层和/或底层上的该环氧树脂层压材料的凹槽中一条或多条光纤电缆之外，该印刷电路板还具有嵌入该顶层和/或底层上的该环氧树脂层压材料的凹槽中的一条或多条铜迹线。此类桥接卡是混合桥接卡。其它桥接卡仅使用嵌入在顶层和/或底层上的该环氧树脂层压材料的凹槽中的光纤电缆，这些桥接卡是光桥接卡。还有其它的桥接卡仅使用嵌入在顶层和/或底层上的该环氧树脂层压材料的凹槽中的铜迹线，这些桥接卡是非光桥接卡。在一个示例中，在节点110A和节点110B之间使用混合桥接卡。该混合桥接卡使用光桥互连件120和非光桥互连件122。类似地，在节点110B和节点110D之间使用混合桥接卡。该混合桥接卡使用光桥互连件130和非光桥互连件132。在一些实施方案中，桥接卡是三向桥接卡。尽管未示出，但在一些实施方案中，支持光桥互连的三向桥接卡允许第一节点同时经由第一光桥互连件向第二节点传输数据并经由第二光桥互连件向第三节点传输数据。

在一个示例中，节点110A能够通过桥互连件120直接与节点110B进行数据传输。节点110A和节点110B中的每个节点包括连接器和对应的接口电路，以支持通过光桥互连件120进行数据传输。节点110A至节点110D内的标记为“IF”的框是支持节点110A至110D中的两个节点之间的光数据传输和非光数据传输中的一种或多种数据传输的接口。此外，基于特定因素，当光桥互连件和非光桥互连件都可用时，标记为“IF”的接口支持操纵光桥互连件和非光桥互连件之间的数据传输。特定因素的示例是与阈值相比的节点的功率消耗的测量，以及与阈值相比的数据传输错误率的测量。特定因素的另一示例是可编程配置寄存器，该可编程配置寄存器存储应当由可用光桥互连件和可用非光桥互连件中的一个特定互连件传输的数据类型的指示。在一个示例中，音频文件的信息通过可用的非光桥互连件进行传输，而视频帧和其它数据的信息通过可用非光桥互连件进行传输。

现在转向图2，示出了多节点计算系统200的一个实施方案的一般化框图。在所示实施方案中，主机处理器202经由互连件260与多节点分区210进行命令、消息和有效载荷数据的传输。在一些设计中，主机处理器202是通用中央处理单元(CPU)。分区210包括多个处理节点230A至230D(或节点230A至230D)。在其它实施方案中，计算系统200不具有单独的主机处理器202，并且依赖于节点230A至230D内的CPU或其它处理器来向彼此分配和传输任务。为了便于说明，未示出功率控制器、中断控制器、网络接口、锁相环(PLL)或其它时钟生成电路、具有风扇的冷却系统以及输入/输出(I/O)设备(诸如外围设备)。

在一个实施方案中，分区210是置于台式计算机或服务器中的多插槽母板的插槽中的多芯片模块(MCM)。在其它实施方案中，节点230A至230D中的一个或多个节点是放置在母板上的对应插槽或插口中的单独的扩展卡。在一个实施方案中，节点230A至230D中的一个或多个节点是放置在母板上的对应插槽或插口中的视频图形卡。在各种实施方案中，节点230A至230D经由链路250至256通过通信桥接件220和/或通过互连件260彼此连接。节点230A至230D经由互连件260连接到存储器控制器270，并且使用存储器控制器270来访问存储器272。

尽管示出了单个存储器控制器270，但是在其它实施方案中，在计算系统200中使用另一数量的存储器控制器。在各种实施方案中，存储器控制器270从主机处理器202和分区210中的一者或多者接收存储器请求，并且使用仲裁逻辑来调度存储器请求，并且向存储器272发送所调度的存储器请求。在一个实施方案中，存储器272是用于计算系统200的系统存储器，并且存储器272是具有受存储器控制器270支持的对应通信协议的各种动态随机存取存储器(DRAM)中的一者。通信协议确定用于信息传送的值，诸如每个时钟循环的数据传送次数、信号电压电平、信号定时、信号和时钟相位以及时钟频率。在一些实施方案中，计算系统200还连接到主存储器，该主存储器是比分级存储器子系统中的系统存储器272更低的级别。主存储器是用各种类型的非易失性、随机存取次级数据存储装置中的一种来实现的。主存储器的示例是硬盘驱动器(HDD)和固态盘(SSD)。

在各种实施方案中，互连件260支持使用点对点、基于分组的、基于总线(包括共享总线配置、交叉开关配置以及具有桥的分层总线)的通信。在一些实施方案中，互连件260利用通信结构(或结构)。在一些实施方案中，跨计算系统200和互连件260的链路接口包括用于存储请求和响应的队列，以及由能够在通过互连件260发送请求之前接收到的请求之间进行仲裁的硬件电路实现的选择逻辑。互连件260还包括能够构建并解码分组并且为分组选择路由的电路。互连件260在分区210与主机处理器202及存储器控制器270之间来回传输数据，诸如请求、响应、命令、消息及有效载荷数据。跨计算系统200和互连件260的链路接口支持用于传输命令和数据的通信协议。与存储器通信协议类似，互连件260的所支持的通信协议确定诸如每个时钟周期的数据传输数量、信号电压电平、信号定时、信号和时钟相位以及时钟频率的值。互连件260的通信协议的示例是PCIe(Peripheral ComponentInterconnect Express)、来自Advanced Micro Devices有限公司的Infinity Fabric、来自Advanced Micro Devices有限公司的Infinity Architecture、InfiniBand、RapidIO、HyperTransport等。通信协议的其它示例也是可能的并且被设想到。

尽管示出了单条线来表示链路250，但链路250包括能够将数据作为信号来传输的多条线或者多条物理导线或通道。这些多条线的示例是一条或多条时钟线、一条或多条控制线、一条或多条高速数据线以及一条或多条低速数据线。链路接口的物理单元中的电路支持大于该一条或多条低速线的数据传输速率的该一条或多条高速线上的数据传输速率。该一条或多条高速数据线被称为链路250的物理层。该一条或多条控制线和该一条或多条低速线被称为链路250的通信层。链路252至256具有与链路250类似的线。尽管示出了四条链路250至256，但在其它设计中使用另一数量的链路。

节点230A至230D中的每个节点包括一个或多个处理器、本地存储器、功率控制器等。在一些设计中，节点230A至230D是利用GPU来处理任务的非均匀存储器访问(NUMA)节点。尽管示出了四个节点230A至230D，但在其它设计中使用另一数量的节点。在一个实施方案中，节点230A至230D中的接口电路和通信桥接件220支持同一通信协议，诸如来自Advanced Micro Devices有限公司的用于GPU到GPU互连的xGMI(inter-chip globalmemory interconnect)。然而，其它类型的通信协议也是可能的并且被设想到。通信桥接件220表示用于直接在节点230A至230D之间传输数据而不在母板上传输信号的一个或多个桥接卡。如前所述，一个或多个桥接卡利用玻璃增强环氧树脂层压材料，诸如FR-4玻璃环氧树脂，在印刷电路板的顶层和/或底层上嵌入信号迹线。

非光桥互连件224表示一个或多个桥接卡上的嵌入铜迹线。光桥互连件222表示在一个或多个桥接卡上的嵌入光纤电缆。在一些实施方案中，通信桥接件220包括非光桥互连件225、光桥互连件226和非光桥互连件227的组合。在一个示例中，此类组合包括玻璃环氧树脂材料上的与节点230A进行电信号传输的嵌入铜迹线。这些铜迹线被路由到放置在非光桥互连件(NOBI)225和光桥互连件(OBI)226之间的桥接卡上的接口单元(未示出)。类似于支持光数据传输的节点230A至230D中的一个或多个节点上的接口单元，桥接卡上的该接口单元使用光子集成电路将电信号转换为光信号。转换后的光信号通过嵌入玻璃环氧树脂材料中的光纤电缆中的桥接卡进行传输。

桥接卡末端的另一接口单元接收光信号。该接口单元位于光桥互连件(OBI)226和非光桥互连件(NOBI)227之间。在一个示例中，该接口单元将光信号转换为电信号，该电信号被发送到节点230D。在一些具体实施中，当节点230A和节点230D不包括支持处理光信号的接口，但优选高传输速率时，使用桥接卡中的一张桥接卡上的NOBI 225、OBI 226和NOBI227的组合。在其它具体实施中，当满足通信桥接件220的铜迹线的迹线长度限制时，使用桥接卡中的一张桥接卡上的NOBI 225、OBI 226和NOBI 227的组合。例如，节点230A和节点230D中的一个或多个节点的铜迹线长度限制为3英寸，但是节点230A和节点230D在分区210中彼此相距6英寸。使用该组合的其它条件包括降低功率消耗、改善数据传输的错误率等。在一些实施方案中，桥接卡上的硬件(诸如电路)接收这些条件中的一个或多个条件的指示，并且确定通过NOBI 225、OBI 226和NOBI 227的组合传输哪些信号。节点230A和节点230D可能不知道桥接卡上发生的数据转变。

参考图3，示出了处理节点300的一个实施方案的一般化框图。如图所示，处理节点300包括客户端310、一个或多个缓存级别316、功率控制器320、链路接口330和桥互连单元340。桥互连件340与连接器350通信，该连接器包括连接器352和连接器354。尽管示出了光学连接器352和非光学连接器354两者，但是在一些实施方案中，连接器350仅包括连接器352和连接器354中的一个连接器。在其它实施方案中，连接器350包括多个光学连接器和/或多个非光学连接器。在一些实施方案中，处理节点300的部件为集成电路(IC)上的单独裸片，诸如片上系统(SOC)。在其它实施方案中，这些部件是系统级封装(SiP)或多芯片模块(MCM)中单独的裸片。为了便于说明，未示出中断控制器、存储器接口、时钟生成电路、通信结构等。

尽管客户端310被示出为包括两个处理器，但在其它实施方案中，客户端310包括另一数量的处理器和处理引擎。在所示实施方案中，客户端310包括处理器312和并行数据处理器314。在一些设计中，客户端310包括处理器312，其是以下中的一者或多者：中央处理单元(CPU)、用于与多媒体引擎通信的集线器、以及具有能够处理软件应用程序的指令的电路的其它类型的计算资源。在一个实施方案中，并行数据处理器314是以下中的一者：图形处理单元(GPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)或能够在多个数据项上同时处理同一指令的其它类型的处理器。

并行数据处理器314具有高并行数据微架构，其具有大量并行执行通道。高并行数据微架构为计算密集型任务提供高指令吞吐量。在一个实施方案中，微架构使用用于并行执行通道的单指令多数据(SIMD)流水线。编译器从程序代码提取并行化任务以在系统硬件上并行执行。并行化任务来自于至少科学、医学和商业(金融)应用，其中一些利用了神经网络训练。任务包括要执行的指令的子例程。在各种实施方案中，并行数据处理器314的多个执行通道同时执行包括多个工作项的波前。工作项是用以用不同数据执行的同一指令。工作项也被称为线程。

在一些设计中，处理节点300不包括通用CPU，而是从外部CPU接收分配的任务。例如，处理节点300的链路接口330中的一个链路接口支持用于与外部CPU传输命令和数据的通信协议连接。通信协议的示例是PCIe(Peripheral Component Interconnect Express)、来自Advanced Micro Devices有限公司的Infinity Fabric、来自Advanced MicroDevices有限公司的Infinity Architecture、InfiniBand、RapidIO、HyperTransport等等。通信协议的其它示例也是可能的并且被设想到。

在一个实施方案中，功率控制器320从处理节点300的部件收集数据。在一些实施方案中，所收集的数据包括预定的采样信号。采样信号的切换指示切换的电容的量。要采样的所选信号的示例包括时钟门控器使能信号、总线驱动器使能信号、内容可寻址存储器(CAM)中的失配、CAM字线(WL)驱动器等等。在一个实施方案中，功率控制器320收集数据以表征在给定采样间隔(时间段)期间节点300中的功率消耗。

在一些实施方案中，处理节点300中的裸片上电流传感器和温度传感器还向功率控制器320发送信息。功率控制器320使用传感器信息、发出的指令或发出的线程的计数、以及加权采样信号的总和中的一者或多者来估计处理节点300的功率消耗。如果节点300高于(低于)阈值极限操作，则功率控制器320降低(或增加)功率消耗。在一些实施方案中，功率控制器320针对处理节点300中的部件中的每个部件选择相应的电源管理状态。因此，功率控制器320和遍及处理节点300的附带电路能够对节点300的部件进行电源门控或降低部件的电源管理状态。功率控制器320还能够向节点300的部件发送控制信号以从转变时钟信号移除连接并从电源基准移除连接。功率控制器320还能够向桥互连单元340发送控制信号，以影响选择连接器352和连接器354中的哪一个连接器用于向外部节点传输数据。

在一些实施方案中，处理节点300的地址空间在以下项之间划分：并行数据处理器314、一个或多个其它计算资源(未示出)、连接到处理节点300的一个或多个其它外部处理节点、任何外部CPU、一个或多个其它部件(诸如输入/输出(I/O)外围设备(未示出))以及其它类型的计算资源。存储器映射被保持用于确定哪些地址被映射到哪个部件，以及因此针对特定地址的存储器请求应当被路由到哪个部件。

将从系统存储器接收的高速缓存填充数据传送到高速缓存316中的一个或多个对应的高速缓存及并行数据处理器314的内部高速缓存存储器。换句话讲，高速缓存填充行被置于一个或多个高速缓存级别中。在一些设计中，并行数据处理器314包括一级(L1)指令高速缓存和L1数据高速缓存。高速缓存116提供在分级高速缓存存储器子系统中使用的二级(L2)高速缓存和三级(L3)高速缓存中的一者或多者。高速缓存的其它数量的级别和其它放置方式(无论是在并行数据处理器314内部还是外部放置方式)是可能的并且被设想到。

桥互连单元340接收数据并将数据发送到光学连接器352和非光学连接器354。尽管示出了光学类型和非光学类型中的每个类型的一个连接器，但是在其它设计中，使用了另一数量的连接器。在一些实施方案中，光学连接器包括光子集成电路，以在电信息和光信息之间进行转变，而在其它实施方案中，光子集成电路位于桥互连单元340中。桥互连单元340管理通过处理节点300的一个或多个桥互连件(例如，光桥互连件和非光桥互连件)进行的数据传输。桥互连单元340确定其节点300和外部节点之间的哪个桥互连件或哪些桥互连件是可使用的。例如，桥互连单元340检测桥接卡何时具有塞入或插入桥互连单元340可用的一个或多个连接中的连接。

基于连接器352和连接器354中的哪一个连接器或两者可用，桥互连单元340确定可使用的桥互连件类型。例如，桥互连单元340在检测到对应桥接卡的连接器352连接到桥互连单元340内的光学连接器时，确定光数据连接可用。基于确定在节点300和外部节点之间存在可使用的光桥互连件，桥互连单元340使用光桥互连件与外部节点进行数据传输。在一些实施方案中，基于诸如所测量的功率消耗和所测量的数据传输错误率等一个或多个因素，桥互连单元340在经由连接器352使用光桥互连件与经由连接器354使用非光桥互连件之间进行切换。

转到图4，示出了接口单元400的一个实施方案的一般化框图。如图所示，接口单元400包括控制单元410、光子集成电路450、光学连接器460和非光学连接器462。控制单元410与一个或多个客户端进行数据传输。如前所述，客户端的示例是CPU、用于与多媒体引擎通信的集线器、GPU、DSP、FPGA、专用集成电路(ASIC)等。被传输的数据包括读访问请求、窥探请求、写访问请求、读响应、控制确认、控制命令、命令响应等。在一些实施方案中，接口单元400包括与桥互连单元340(图3)以及节点110A至110D(图1)和节点230A至230D(图2)的接口(IF)相同的功能。可以将接口单元400的功能放置在桥接卡上的处理节点和处理单元中的一者或多者中，以支持通过桥接卡在两个节点之间进行数据传输。

在一些实施方案中，输入队列412存储从连接器460和连接器462接收到的分组，这些分组稍后在发送到一个或多个客户端之前由分组解包单元430解包。输出队列414存储由分组构建器单元432生成的分组，这些分组是要发送到连接器460和连接器462中的一个连接器的分组。尽管示出了两个队列412和414，但是在其它设计中，使用另一数量的队列并且基于预定标准存储数据。

分组构建器单元432(或单元432)确定哪些候选请求、响应和命令被插入到正在生成的分组中以进行传输。在一些实施方案中，单元432还执行数据压缩并且在指示所执行的数据压缩的分组报头中插入元数据。分组解包单元430(或单元430)分析从输入队列412选择的分组的分组报头，并且基于存储在分组报头中的指示来对所选择的分组进行解包。单元430和单元432中的一个或多个单元使用存储在配置和状态寄存器(CSR)440中的阈值和参数。单元430和单元432还包括仲裁逻辑，用于基于由存储在CSR 440中的值所指示的可编程优先级和公式来选择存储在队列412和队列414中的数据。

光子集成电路(IC)450将电信号转变或转换为光信号，反之亦然。控制单元410及对应处理节点的剩余部分使用诸如无源元件(例如，电阻器、电感器、电容器)及有源元件(例如，晶体管)等电子部件及电子通量来传输及处理电信息。相反，光子IC 450使用依赖于光子或光的光子部件来传输和处理光学信息。光子部件的示例是光源或激光器、波导、偏振器、移相器和调制器。光子IC 450通过光学连接器460和光桥互连件来发送和接收光信息。光桥互连件包括由二氧化硅制成的光纤，用于在两个处理节点之间传输光数据。在一些实施方案中，光学连接器460是提供芯片到光纤接口的光纤耦合器。

光子IC 450从控制单元410的输出队列414接收电信号，并且使用这些电信号来控制调制器中的光子IC 450的光源或激光器，该调制器执行电光位转换。光源提供的光波长在可见光光谱和红外线之间，诸如800纳米到1700纳米之间的范围内。在一个实施方案中，光源和调制器使用分布式反馈激光二极管和电吸收调制器来在磷化铟(InP)芯片上实现外部调制激光器(EML)。在磷化铟上制造光子IC提供了各种光学有源和无源功能在同一芯片上的集成。

光子IC 450还包括滤波器，用于在将光学信息发送到光学连接器460的光纤耦合器之前进行复用和解复用。通过从控制单元410的输出队列414接收电数据的调制器来控制(“调整大小”)由光子IC 450的光源(激光器)提供(注入)的光的量，而不是调整诸如电容器、电阻器和晶体管的电子部件的大小以驱动电子通量。光子部件被反转，用于接收来自光桥互连件(诸如光纤电缆)的光学信息，且将该信息转换为电信号，该电信号被发送到输入队列412用于数据存储。与电信号等同物相比，由光桥互连件、光学连接器460和光子IC 450提供的数据传输提供了裸片上面积的进一步减小、更高的数据速率和更低的功率消耗。

在一些实施方案中，接口单元400还包括非光学连接器462。如前所述，非光桥互连件是具有用作两个处理节点之间的传输线的多层蚀刻铜线的柔性电缆。当提供一个非光桥互连件时，非光学连接器462支持可用非光桥互连件上的数据传输。在一个示例中，连接到包括接口单元400的处理节点的桥接卡是既支持光桥互连件又支持非光桥互连件的混合桥接卡。在这种情况下，控制单元410确定经由光学连接器460在光桥互连件上发送哪些分组以及经由非光学连接器462在非光桥互连件上发送哪些分组。

在一些情况下，控制单元410确定将对应于特定数据类型的分组发送到非光学连接器462，而将其他数据类型的分组发送到光学连接器460。在一个实施方案中，特定数据类型是对应于音频文件的数据。然而，在其他实施方案中，选择另一数据类型发送到非光学连接器462，而将其他数据类型的分组发送到光学连接器460。在一个实施方案中，当光学连接器460可用时，CSR 440的一个或多个可编程寄存器存储应当具有发送到非光学连接器462的对应分组的特定一个或多个数据类型的指示。

在一些实施方案中，功率和误差监视器420(或监视器420)接收在包括接口单元400的处理节点的特定时间间隔(时间段)期间所测量的功率消耗的指示。在一些实施方案中，当该测量的功率消耗大于阈值时，控制单元410将向非光学连接器462发送特定数据类型切换为向光学连接器460发送特定数据类型。如前所述，光桥互连件上的数据传输的功率消耗小于非光桥互连件上的数据传输的功率消耗。在另一实施方案中，当监视器420确定连接器460和连接器462中的特定连接器的数据传输错误率大于阈值时，控制单元410从向该特定连接器发送数据切换到向连接器460和连接器462中的另一个连接器发送数据。

参考图5，示出了计算系统的分区500的一个实施方案的一般化框图。如图所示，该分区500包括通信桥接件520、节点530A至530D和接口560。在一个实施方案中，通信桥接件520包括通信桥接件220(图2)的功能，并且节点530A至530D包括节点110A至110D(图1)、节点230A至230D(图2)和处理节点400(图4)的功能。另外，互连件560包括互连160(图1)和互连260(图2)的功能。在一些实施方案中，分区500用于向计算系统提供多个图形卡，同时利用可用光桥互连件与可用非光桥互连件之间的光数据传输和操纵可用光桥互连与可用非光桥互连之间的数据传输。

现在参考图6，示出了用于在计算系统中进行高效数据传输的方法600的一个实施方案。出于讨论的目的，以顺序次序示出该实施方案(以及图7至图8)中的步骤。然而，在其他实施方案中，一些步骤以与所示不同的顺序发生，一些步骤同时执行，一些步骤与其他步骤组合，并且一些步骤不存在。

两个或更多个节点被置于计算系统的多节点分区中。该节点包括至少一个或多个处理器、本地存储器、功率控制器和桥互连单元。由主机处理器或由节点自身将任务分配给分区。节点中的每个节点能够向节点中的另一个节点发送直接存储器访问(DMA)请求以及其它命令、消息、响应和任务。第一节点的接口的控制单元确定或以其它方式标识哪些桥互连件可用于第一节点(框602)。例如，控制单元检测桥接卡是否连接到第一节点的对应连接器。此外，控制单元标识两个或更多个连接器，这些连接器能够与包括第一类型的第一连接器和不同于第一类型的第二类型的第二连接器的两个连接器进行数据传输。在各种实施方案中，第一类型的连接器能够经由光互连件进行数据传输，并且第二类型的连接器能够经由非光互连件进行数据传输。控制单元确定可使用的桥互连件的桥互连件类型(框604)。例如，基于可使用的连接器，控制单元能够确定特定的桥互连件是光学的还是非光学的。

如果可使用类型中的一个可使用类型是用于与第二节点进行数据传输的光桥互连(条件框606的“是”分支)，则控制单元选择光桥互连件用于进行数据传输(框608)。否则，如果没有可使用类型是用于与第二节点进行数据传输的光桥互连件(条件框606的“否”分支)，则控制单元选择非光桥互连件用于进行数据传输(框610)。因此，在这种情况下，光分支互连件是用于在第一节点与第二节点之间进行数据传输的默认或优选分支互连件。第一节点使用所选择的桥互连件与第二节点进行数据传输(框612)。如前所述，至少一张桥接卡利用玻璃增强环氧树脂层压材料来实现印刷电路板，其具有嵌入顶层和/或底层上的该环氧树脂层压材料的凹槽中的一条或多条光纤电缆。此类桥接卡能够使用光信号传输数据。应当注意，如果没有分支互连件可用，诸如没有光分支互连件或非光分支互连件可用，则第一节点使用母板上的系统总线而不是使用任何直接桥互连件来与第二节点进行数据传输。

转到图7，示出了用于在计算系统中进行高效数据传输的方法700的一个实施方案。在多节点分区中，桥互连单元的控制单元确定用于第一节点的可使用桥互连件的桥互连件类型(框702)。控制单元读取配置数据以确定用于第一节点的优选类型的桥互连件(框704)。在一个实施方案中，配置数据基于数据类型确定要使用的优选类型的桥互连件。在一个示例中，光桥互连件优选用于视频帧数据，并且非光桥互连件优选用于音频文件的数据。其它数据类型和优选分配是可能的和预期的。在一个实施方案中，分配的指示被存储在可编程配置寄存器中。

如果控制单元确定优选类型的桥互连件可用于与第二节点进行数据传输(条件框706的“是”分支)，那么控制单元选择优选类型的桥互连件用于数据传输(框708)。否则，如果控制单元确定优选类型的桥互连件不可用于与第二节点进行数据传输(条件框706的“否”分支)，那么控制单元选择另一类型的桥互连件用于数据传输(框710)。第一节点使用所选择类型的桥互连件与第二节点进行数据传输(框712)。在各种实施方案中，至少一张桥接卡利用玻璃增强环氧树脂层压材料来实现印刷电路板，其具有嵌入顶层和/或底层上的该环氧树脂层压材料的凹槽中的一条或多条光纤电缆。此类桥接卡能够使用光信号传输数据。如前所述，应当注意，如果没有分支互连可用，诸如没有光桥互连件或非光桥互连件可用，则第一节点使用母板上的系统总线而不是使用任何直接桥互连件来与第二节点进行数据传输。

转向图8，示出了用于在计算系统中进行高效数据传输的方法800的一个实施方案。多节点分区的第一节点使用当前类型的桥互连件与第二节点进行数据传输(框802)。当前类型是光桥互连件和非光桥互连件中的一种互连件。桥互连单元的控制单元监测第一节点的功率消耗。在其他具体实施中，控制单元从功率控制器接收第一节点的功率消耗的指示。如果控制单元确定所测量的功率消耗不指示当前类型的改变(条件框804的“否”分支)，则控制单元基于所测量的功率消耗来维持当前类型的桥互连件。然而，如果控制单元确定所测量的功率消耗指示当前类型的改变(条件框804的“是”分支)，则控制单元基于所测量的功率消耗来改变当前类型的桥互连件(框806)。在一个示例中，当前类型是非光桥互连件，并且所测量的功率消耗大于第一阈值。因此，如果可用的话，控制单元将当前类型改变为光桥互连件，用于与第二节点进行数据传输。光桥互连件比非光桥互连件的数据传输功率消耗低。

在一些实施方案中，控制单元监测第一节点与第二节点之间的数据传输的错误率。在其它实施方案中，控制单元从另一单元接收错误率的指示。如果控制单元确定所测量的错误率不指示当前类型的改变(条件框808的“否”分支)，那么控制单元基于所测量的错误率维持当前类型的桥互连件。然而，如果控制单元确定所测量的错误率指示当前类型的改变(条件框808的“是”分支)，那么控制单元基于所测量的错误率来改变当前类型的桥互连件(框810)。之后，方法800的控制流返回到框802，其中第一节点与第二节点进行数据传输。

应注意，上述实施方案中的一者或多者包括软件。在此类实施方案中，实施方法和/或机制的程序指令被输送或存储在计算机可读介质上。被配置为存储程序指令的许多类型的介质可用并且包括硬盘、软盘、CD-ROM、DVD、闪存、可编程ROM(PROM)、随机存取存储器(RAM)和各种其他形式的易失性或非易失性存储装置。一般而言，计算机可访问存储介质包括在使用期间可由计算机访问以向计算机提供指令和/或数据的任何存储介质。例如，计算机可访问存储介质包括诸如磁性或光学介质，例如磁盘(固定或可移除)、磁带、CD-ROM或DVD-ROM、CD-R、CD-RW、DVD-R、DVD-RW或蓝光等存储介质。存储介质还包括易失性或非易失性存储介质，诸如RAM(例如，同步动态RAM(SDRAM)、双数据速率(DDR、DDR2、DDR3等)SDRAM、低功率DDR(LPDDR2等)SDRAM、Rambus DRAM(RDRAM)、静态RAM(SRAM)等)、可经由外围设备接口(诸如通用串行总线(USB)接口等)访问的ROM、闪存存储器、非易失性存储器(例如，闪存)。存储介质包括微电子机械系统(MEMS)，以及可经由诸如网络和/或无线链路等通信介质访问的存储介质。

另外，在各种实施方案中，程序指令包括在高级编程语言(诸如C)或设计语言(HDL)(诸如Verilog、VHDL或数据库格式(诸如GDS II流格式(GDSII))中的硬件功能的行为级描述或寄存器传输级(RTL)描述。在一些情况下，描述由合成工具读取，所述合成工具合成描述以产生包括来自合成库的门列表的网表。网表包括门集，其也表示包括系统的硬件的功能。然后将网表放置并路由以产生描述要施加到掩码的几何形状的数据集。然后将掩码用于各种半导体制造步骤中以产生对应于系统的半导体电路或电路。另选地，计算机可访问存储介质上的指令是如所期望的网表(具有或不具有合成库)或数据集。另外，所述指令用于由如和Mentor />的此类供应商的基于硬件的类型仿真器进行仿真的目的。

尽管已经相当详细地描述了以上实施方案，但是一旦完全了解上述公开内容，许多变型和修改对于本领域技术人员将变得显而易见。旨在将以下权利要求书解释为涵盖所有此类变型和修改。

Claims (20)

1.一种装置，所述装置包括：

多个连接器，所述多个连接器被配置为耦合到通信桥接件，其中所述多个连接器包括第一类型的第一连接器和不同于所述第一类型的第二类型的第二连接器，所述第一连接器和所述第二连接器都能够传输第一数据；和

控制单元，所述控制单元被配置为响应于确定所述第一连接器是所述第一类型而经由所述第一连接器传输所述第一数据。

2.根据权利要求1所述的装置，其中所述第一连接器是光学连接器并且所述第二连接器是非光学连接器。

3.根据权利要求2所述的装置，其中所述控制单元被配置为进一步响应于存储在可编程寄存器中的指示而经由所述第一连接器传输所述第一数据。

4.根据权利要求3所述的装置，其中所述指示对应于所述第一连接器并且标识对应于所述第一数据的数据类型。

5.根据权利要求2所述的装置，其中所述控制单元被进一步配置为：

经由所述第一连接器传输所述第一数据；以及

同时经由所述第二连接器传输不同于所述第一数据的第二数据。

6.根据权利要求1所述的装置，其中所述控制单元被配置为响应于功率消耗超过阈值而将所述第一数据的传输从所述第一连接器切换到所述第二连接器。

7.根据权利要求1所述的装置，其中所述控制单元被配置为至少部分地基于功率消耗、所测量的数据传输错误率和来自应用的提示中的一者或多者来选择所述第一连接器用于传输所述第一数据。

8.一种方法，所述方法包括：

由系统的多个节点中的一个节点处理任务；

响应于确定所述节点的多个连接器中的第一连接器是第一类型，经由所述第一连接器传输第一数据，其中所述节点的所述多个连接器：

被配置为耦合到通信桥接件；以及

包括所述第一类型的第一连接器和与所述第一类型不同的第二类型的第二连接器，所述第一连接器和所述第二连接器都能够传输所述第一数据。

9.根据权利要求8所述的方法，其中所述第一连接器是光学连接器并且所述第二连接器是非光学连接器。

10.根据权利要求9所述的方法，所述方法还包括进一步响应于存储在可编程寄存器中的指示，经由所述第一连接器传输所述第一数据。

11.根据权利要求10所述的方法，其中所述指示对应于所述第一连接器，并且标识对应于所述第一数据的数据类型。

12.根据权利要求9所述的方法，所述方法还包括：

经由所述第一连接器传输所述第一数据；以及

同时经由所述第二连接器传输不同于所述第一数据的第二数据。

13.根据权利要求8所述的方法，所述方法还包括响应于功率消耗超过阈值而将所述第一数据的传输从所述第一连接器切换到所述第二连接器。

14.根据权利要求8所述的方法，所述方法还包括至少部分地基于功率消耗、所测量的数据传输错误率和来自应用的提示中的一者或多者来选择所述第一连接器用于传输所述第一数据。

15.一种计算系统，所述计算系统包括：

多个节点，所述节点被配置为处理任务；和

通信桥接件，所述通信桥接件包括多个桥互连件，每个桥互连件位于所述多个节点中的至少两个节点之间；

其中所述多个节点中的第一节点包括被配置为耦合到所述通信桥接件的多个连接器，其中所述多个连接器包括第一类型的第一连接器和不同于所述第一类型的第二类型的第二连接器，所述第一连接器和所述第二连接器都能够传输第一数据；并且

其中所述第一节点被配置为响应于确定所述第一连接器是所述第一类型而经由所述第一连接器传输所述第一数据。

16.根据权利要求15所述的计算系统，其中所述第一连接器是光学连接器并且所述第二连接器是非光学连接器。

17.根据权利要求16所述的计算系统，其中所述第一节点被配置为进一步响应于存储在可编程寄存器中的指示经由所述第一连接器传输所述第一数据。

18.根据权利要求17所述的计算系统，其中所述指示对应于所述第一连接器并且标识对应于所述第一数据的数据类型。

19.根据权利要求16所述的计算系统，其中所述第一节点被进一步配置为：

经由所述第一连接器传输所述第一数据；以及

同时经由所述第二连接器传输不同于所述第一数据的第二数据。

20.根据权利要求15所述的计算系统，其中所述第一节点被配置为响应于功率消耗超过阈值而将所述第一数据的传输从所述第一连接器切换到所述第二连接器。