CN102138138B - 用于实现流处理计算机架构的方法及系统 - Google Patents

用于实现流处理计算机架构的方法及系统 Download PDF

Info

Publication number
CN102138138B
CN102138138B CN200980132236.8A CN200980132236A CN102138138B CN 102138138 B CN102138138 B CN 102138138B CN 200980132236 A CN200980132236 A CN 200980132236A CN 102138138 B CN102138138 B CN 102138138B
Authority
CN
China
Prior art keywords
super node
stream
node cluster
kernel
stream calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200980132236.8A
Other languages
English (en)
Other versions
CN102138138A (zh
Inventor
E·申菲尔德
T·B·史密斯三世
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN102138138A publication Critical patent/CN102138138A/zh
Application granted granted Critical
Publication of CN102138138B publication Critical patent/CN102138138B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163—Interprocessor communication
    • G06F15/173—Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
    • G06F15/17337—Direct connection machines, e.g. completely connected computers, point to point communication networks
    • G06F15/17343—Direct connection machines, e.g. completely connected computers, point to point communication networks wherein the interconnection is dynamically configurable, e.g. having loosely coupled nearest neighbor architecture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Multi Processors (AREA)

Abstract

本发明涉及一种用于实施流处理计算机架构的方法，所述方法包括通过以下操作来创建流计算机处理(SCP)系统：形成处理器的超级节点集群，所述处理器表示物理计算节点(“节点”)，经由本地互连装置(“互连”)以通信方式耦接处理器，和经由光学外部链路(“链路”)将集群以通信方式耦接到光学电路交换器(OCS)。OCS经由链路以通信方式耦接到处理器的另一集群。所述方法还包括：产生包括内核及数据流的流计算图形，并将图形映射到SCP系统，其包括：将内核分配给集群及各自的节点，当数据流处于同一集群中的节点之间时，将内核之间的数据流流量分配给互连，以及当数据流处于不同集群中的节点之间时，将内核之间的流量分配给链路。所述方法还包括配置OCS以在已映射集群之间提供连接性。

Description

用于实现流处理计算机架构的方法及系统
技术领域
本发明涉及数据处理系统，更具体地，涉及用于实现流处理计算机架构的方法及系统。
背景技术
通信对计算机系统性能的影响在宏观层面(例如，刀片服务器及计算机集群)及微观层面(例如，在具有许多核心(core)的单一处理器芯片内)而言均持续增长。用于计算的传统方法，其依赖于缩短经由高速缓存层次对主存储器的存取时间，正在到达收益递减(diminishingreturns)点。之所以如此，部分是因为I/O数据传输相对于处理核心速度的延时不断增加以及高速缓存及全局通信线所需的(有限的)芯片上电力耗散预算的部分不断增加。同时，严格的芯片上电力耗散约束已使许多主要的半导体公司转移到多核心或芯片多处理器(CMP)架构。CMP的出现又对两个主要领域中的通信基础架构造成更多挑战。具体地，CMP中处理核心的数目的不断增加加剧了对芯片内通信及芯片间通信的带宽要求。另外，与传统单核心处理器芯片相比，CMP架构大大增加了编程复杂性及最终生产率。
流处理最近已作为用于基于CMP架构及软件管理的高速缓存组织的系统的替代性计算模型方法而出现。许多类别的重要应用(例如，数字信号处理及多媒体应用)呈现对可并行处理的规则数据结构的长序列的相当规则的存取，这与对数据库中典型的复杂数据记录的更随机的存取相反。对于这些应用，利用专用处理器(诸如，及AMD/ATI图形处理单元(GPU)或的Cell宽带引擎)进行的流处理的组合与应用于通用CMP架构的传统计算范例相比，可能提供更高的性能及更低的电力耗散。
在图1中示出了样本流计算图形。图形100由被称作内核(kernel)(102A、102B及102C)的多个计算节点构成，这些节点由表示从一个内核去向另一内核的数据流的边104A/104B连接。内核指的是对数据流执行计算的软件代码单元。在图1的图形100中，这些数据流为单向的；即，数据从该图的左侧移动(流动)至右侧，如箭头所示。内核可为以下三种类型之一：源端102A(表示被产生作为对计算图形的输入的数据流的起源)；宿端102B(表示一个或多个流形式的最终结果)；及规则内核102C。内核(102A至102C)可具有一个或多个输入流104A，且作为其特定计算的结果而产生一个或多个输出流104B。
通常，流计算图形(例如，图形100)表示针对计算机处理问题的解决方案(例如，检测一些事件或找到输入数据流——金融股票交易、感测数据相关性及其它——之间的模式及复杂关系)。只要数据流正由计算内核处理，该图形即持续存在，且通常此时间为非常长的时间(数小时或数小时以上或无期限)。因此，认为此图形的拓扑为固定的。
处理这种流计算图形中的一个挑战为确定如何将计算节点(例如，内核102A至102C)分组成多个群组，以使得这些群组可被分配给计算机处理系统的物理计算节点。存在执行这种分组(也称为调度、嵌入，或在图形理论中称作为图形收缩(graph contraction)的图形理论变换)的许多可能方式。如图1中所示，阴影群组(110A至110C)表示多个内核的分组，以使得被分配给一个群组(诸如，作为例子的群组110B)的内核将位于一个物理计算节点内或位于与快速局域通信网络紧密耦接或通过使用该快速局域通信网络而紧密耦接的节点的集群内。接着，可将从内核的一个这种群组传递至另一群组的总聚集流视作群组间的一个连接。就图形理论而言，可将此视作已使规则计算节点(内核)塌陷于其中的超级节点。可针对流计算图形中的所有计算节点进行此类型的分组。由流计算图形的内核之间的边所表示的流可类似地塌陷成超级边，该超级边表示在超级节点之间传递的所有数据流的总和。
例如，如图1中所示，超级节点110C及110B共享在超级节点110B与超级节点110C之间传递的三个流(从左向右)。现可将这三个流视作连接于超级节点110B与超级节点110C之间的一个流。实际上，原始数据流由流计算系统的物理通信构件来聚集，以使得超级节点110B处的进入点将使来自一组内核(例如，超级节点110B内的内核)的三个流多路复用成一个流，且在另一端，内核(超级节点110C内的内核)群组将去多路复用回这三个流，且将其本地连接至在一个物理计算节点或这些节点的集群中所映射的适当内核。
更感兴趣的是将该流处理范例扩展到不同领域(诸如，金融、数据挖掘及计算生物学)中的特定大规模应用中。该扩展需要超越在单一的类GPU处理器上运行流应用程序，而是替代地，涉及构建大型可扩展流处理系统(SPS)，其中这些处理器中的许多由高速互连网络互连。然而，构建大型可扩展流处理系统遭遇各种缺陷，诸如，增加的传输带宽的挑战以及从处理节点对存储器中的大数据集合的存取时间的增加。
因此，将需要提供一种克服上述缺陷的增强型流处理架构。
发明内容
根据本发明的一个实施例，一种用于实施流处理计算机架构的方法包括创建流计算机处理(SCP)系统。SCP系统通过以下来创建：形成处理器的超级节点集群(super node cluster)，所述处理器表示所述超级节点集群内的物理计算节点，经由本地互连装置以通信方式耦接所述超级节点集群中的每一个处理器，和经由多个光学外部链路将所述超级节点集群以通信方式耦接到光学电路交换器(OCS)。OCS经由从包括表示其它物理计算节点的处理器的其它超级节点集群到光学电路交换器的其它多个外部链路以通信方式耦接到所述其它超级节点集群。所述方法还包括：产生包括内核及数据流的流计算图形。所述方法还包括：将所述流计算图形映射到流计算机处理系统，其包括：将计算的内核分配给每一个超级节点集群及每一个超级节点集群各自的物理计算节点，当数据流处于同一超级节点集群中的物理计算节点之间时，将所述内核之间的数据流流量分配给所述本地互连装置，以及当数据流处于不同超级节点集群中的物理计算节点之间时，将所述内核之间的数据流流量分配给所述光学外部链路。所述方法还包括：配置所述光学电路交换器以在对应于所述分配的已映射集群之间提供连接性。
经由本发明的技术来实现额外特征及优势。本发明的其它实施例及方面在本文中被详细描述且被认为是所要求的本发明的一部分。为更好地理解具有这些优势及特征的本发明，参考描述及附图。
附图说明
特别指出且在本说明书的结尾处的权利要求中清楚地请求保护被视作本发明的主题。由结合附图所进行的以下详细描述可以清楚理解本发明的上述及其它特征及优势。
图1为在节点分组的情况下的常规流计算图形；
图2为根据本发明的例示性实施例的流计算机系统的图；
图3为描述在本发明的例示性实施例中用于创建和管理流计算机系统的流处理架构的处理过程的流程图；
图4说明作为计算图形的例子的、包括二元树拓扑的流计算图形，该图形说明在例示性实施例中该图形的内核如何分组成超级节点以及这些超级节点如何互连；和
图5A说明例示性流计算机系统，图5B中示出的例示性流计算图形被映射或嵌入至该系统上。
具体实施方式
根据本发明的例示性实施例公开了一种用于流计算机系统的互连流处理架构及一种用于实现该互连架构的处理过程。该互连架构由两种网络类型构成，这两种网络类型补充彼此的功能性且解决紧密耦接的处理节点群组间的连接性。这种群组或集群可使用多种协议以及静态网络拓扑及动态网络拓扑两者(例如，2D/3D网格、分层完全连接构件、基于交换器的构件)而本地互连。网络及交换器功能性可并入处理器芯片内，以使得可在没有外部交换器的情况下通过直接将处理器芯片彼此互连而得到集群。这种技术及协议的例子为HyperTransport3(HT3)。互连的封装限制、传送信号速度及可允许距离限制了全电子构造的尺寸，因此，仅有限数目的处理器可在集群内直接连接。实现极高性能等级(例如，亿亿级(exascale))可需要互连于一个系统内的多达100,000个未来多核心处理器芯片。虽然可将集群限制为封装于一个机柜内的100个或100个以下的处理器芯片，但可能需要互连约1000个或1000个以上的这种集群。在例示性实施例中，具有高带宽且跨越更长距离的集群间连接将使用光学信号传送，且流处理架构使用基于微机电系统(MEMS)的OCS以在这些集群间进行连接。
虽然许多大型设备中的节点至交换器的连接性为光学的以便提供所需的带宽及距离，但正在使用大基数的电交换器构件(例如，对于InfiniBand或10G以太网协议及交换器)。这些构件对于单一路径需要至少两个光学传输器(Tx)及两个接收器(Rx)，这是因为通信从电的(来自处理器集群)被转换至光的，接着被转换至电的(对于交换器)，接着被转换至光的(离开交换器)，且最终被转换回电的(在目的地集群处)，而本文中所描述的例示性实施例的光学交换器仅需要一个Tx及一个Rx，这是因为该交换器可经由镜使光学信号直接偏转。大基数的电交换器必需由较小基数的构建区块组成，这意味着这些交换器倾向于为大型的且耗电多的(power-hungry)。光学电路交换器可具有大得多的单一交换器基数，且其保证具有显著较小的尺寸及较低的电力消耗。
在例示性实施例中，形成一集群的紧密耦接的处理器群组使用OCS网络及光学收发器来互连至SPS内的其它这种集群。该OCS网络允许灵活的点对点连接，其可在毫秒级时间标度上改变。由于处理器的未来带宽将增加，因此OCS架构的使用可利用相同交换网络来支持未来更高带宽需求及协议。OCS网络无需如同经由分组交换网络进行路由般极迅速地改变电路连接。对电路连接的调整仅需要在调整工作地点以使节点间的工作达成负载平衡时进行。由SPS执行的计算的性质是使得通信模式及其持续时间在相当长的时间(例如，数分钟或数小时)内为稳定的，以足以分摊(amortize)OCS的相对较高的交换时间(数毫秒)。由于为使在不同处理器内进行的计算达成负载平衡而对工作安排进行的调整为非频繁发生的操作(由于其自身的高计算成本及复杂性)，因此，该例示性流处理架构在总性能上没有明显缺陷的情况下，在SPS需求的性质与OCS互连技术的特定特征之间进行唯一匹配。事实上，使用此网络(一旦经重新配置)可导致更好的通信延时，这是因为其对协议及数据带宽不具有队列拥塞，不具有竞争且具有透通性。
现转向图2，现将在例示性实施例中描述具有例示性流处理架构的流计算机系统200。流计算机系统200由连接在一起以形成多处理器202的多个单个物理计算节点201构成。多个这些处理器202被分在一起以形成超级节点集群204(本文中也称为“超级节点”及“集群”)。由已知快速互连装置206在本地连接集群204内部的处理器(及各自的物理计算节点)，该已知快速互连装置206可为：在一集群内的处理器202的物理计算节点之间具有某种拓扑的直接连接型网络；或交换器，经由高速缓冲一致对称多处理器(SMP)构件而通过存储器；或以上的组合。处理器202的每一集群204共享多个光学外部链路208。形成这些外部链路以用于优化极高带宽下的点对点连接。该优化可在所使用的物理实施中、在被选择来促进这种高带宽的协议中、在低延时集群对集群链路中进行，且具有支持对一个物理链路或多个物理链路内的多个流的聚集以使其看起来像由少数物理链路构成的一条高带宽物理链路的能力。由于这些外部链路经由不会知晓该链路的协议、数据或内容的全光学交换器而进行电路交换，因此这些链路应使用极轻量级通信协议。此外，这些外部链路的物理性质可能需要在WDM(波分多路复用器)中使用多种光学波长，所有这些光学波长被耦接到一条光纤或一条外部链路中，但在两端可被分离开。基于镜的MEMS OCS将在光学域(optics domain)中使这些外部链路内的光束偏转，而不管其波长数目、协议及传送信号速度。这些外部链路为一集群内的所有计算节点所共有，以使得集群204中的任何物理计算节点201可直接或通过传递经过在本地互连的集群构件206而在这些外部链路208中的一个或全部上传递信息。在一个例示性实施例中，使用电路交换式交换器210。电路交换式交换器210无需频繁交换，且因此构建起来简单得多，且可使用不同技术(例如，全光学、基于MEMS镜)以在多个集群204之间动态地连接。这些集群204之间的任何给定时间上的特定连接是基于给定流计算图形而被优化的，由物理计算节点201及其所连接的集群204执行该给定流计算图形的计算。
这些类型的外部链路208及动态交换使得能够得到在需要时动态改变的极高吞吐量(高带宽)连接性。由于多核心处理芯片需要极高带宽网络以将这些芯片互连至其它这种物理处理节点或存储器子系统，因此例示性流处理架构在提供具体在功能上由流处理计算图形及其相对固定的性质使能的这种机制方面起到重要的作用。这提供更有效的路由，由于分组无需被重新检查且被逐个分组地路由。电路交换器210的构造可针对这种功能且利用适当技术(例如，全光学电路交换)而被优化，可以高效地以极低电力及成本有效地操纵大量信息(流)。
注意图2中所示的图仅描绘该系统中的主数据管道也很重要。应理解，提供该系统中的所有集群/计算节点之间的完整连接性的另一较慢网络(未示出)也被提供用于处置较不忙碌的连接，以及用于控制及其它较低带宽通信。因此，分组交换网络，例如，可用以传送被确定传输最小数据的那些数据流(例如，104)。所述确定可通过指定阈值函数(例如，在预定时间段内传递的数据的量化数目，或特定计算的优先级函数或其它这种系统及操作相关参数)来进行，一旦达到该阈值，便经由基于电路交换的网络来路由流。因此，流的路由可在全部被分配以传递通过分组交换网络时开始，而随着计算进行且更多带宽在流内传送，将重新定向这种路由以传递通过形成电路交换网络的外部链路。
现转向图3，现将在例示性实施例中描述一流程图，该流程图描述用于实现流处理架构的处理过程。在图3的流程图中，步骤302至306涉及创建例示性流计算机处理系统。步骤308涉及产生例示性流计算图形，步骤310至316涉及将该流计算图形映射到该流计算机处理系统，且步骤318涉及对于该流计算机处理系统执行该流计算图形。
现将描述流计算机处理系统的创建。在步骤302处，形成处理器(例如，图2的处理器202)的超级节点集群。在步骤304处，经由本地已知的互连装置(例如，图2的网络206)以通信方式耦接该超级节点集群中的处理器中的每一个。该本地已知的互连装置可使用例如直接连接、经由高速缓冲一致对称多处理器(SMP)构件而通过存储器、交换器或其组合来实现。
在步骤306处，该超级节点集群(例如，图2的集群204)经由一个或多个光学外部链路(例如，链路208)以通信方式耦接到一个或多个光学电路交换器(例如，图2的交换器210)。该光学电路交换器经由从包括其它物理计算节点的处理器的其它超级节点集群至光学电路交换器的光学外部链路以通信方式耦接到其它超级节点集群。
如上文所指示，在步骤308处针对在步骤302至306中创建的流计算系统而产生流计算图形。该流计算图形包括内核及数据流。内核表示对输入到相应内核的数据流中的一个或多个执行计算的软件代码单元。图4示出具有二元树拓扑的流计算图形400。内核402将数据流404发送至其它内核。这些内核402被分组成多个超级节点，诸如具有特定期望性质的超级节点410A及410B。
如上文所指示，该流计算图形被映射到该流计算机处理系统，如现将描述的那样。现在转向图5A及图5B，流计算图形(例如，流计算图形500B)的内核及数据流被映射到可重新配置的电路交换连接的集群(例如，流计算机系统500A的集群505A)上。在步骤310处，将内核分配给超级节点集群且分配给超级节点集群中每一个各自的物理计算节点。如图5B中所示，已分配诸如内核502B的内核给图5A的系统500A上的物理计算节点(例如，节点503A)。图5B中所示的形成超级节点(例如，超级节点510B及512B)且与数据流(被示为流504B)连接的节点的分组已被分别映射到图5A中所示的结构(参看连接501A)上。
在步骤312处，当数据流处于同一超级节点集群中的物理计算节点之间时，将内核之间的数据流流量分配给本地已知的互连装置。
在步骤314处，当数据流处于不同超级节点集群中的物理计算节点之间时，将内核之间的数据流流量分配给光学外部链路。
在步骤316处，光学电路交换器被配置以经由外部链路而在对应于所述分配的超级节点集群之间提供连接性(如图5A及图5B中所示，已重新配置电路交换器520以提供这些被映射的超级节点(例如，超级节点510B、512B、514B、516B、518B、520B)之间的所需连接性)。集群之间的连接的建立(即，每一集群将使用外部链路经由OCS交换器连接至特定其它集群)是基于将内核映射到物理处理节点上的优化处理过程。在该处理过程的结尾，正在计算作为整体在集群之间进行的保留通信的总量(基于原始图形中所有流边的总和)，从而得出每一集群与所有其它集群之间的通信所需的总带宽。接着，经由OCS交换器配置适当的外部链路以支持任何集群与所有其它集群之间的这种带宽。经由分组交换网络来路由较低带宽阈值连接(即，并不值得使用高带宽外部链路经由OCS建立电路的那些连接，这是因为极少预期数据传递通过那些连接)。
在步骤318处，根据流计算图形来执行对流计算机处理系统的操作，以使得优化集群之间在给定时间的特定连接。
因此，以上处理过程导致满足流计算图形的拓扑(图4中示为二元树，作为可能的这种图形的例子)且动态地改变电路交换器520以在集群505A间匹配所需的通信模式，同时个别数据流的本地分离由集群互连506A在本地进行(如图5A及图5B中所示)。
如由上文所描述的例示性实施例可知，光学通信和流处理范例的组合解决了上述编程及带宽挑战。光学通信链路提供超高吞吐量、最小通信延时，及独立于容量而保持的低操作功率。与高基数的MEMS(微机电系统)交换器组合的、可利用光学链路的容量、透明性及基本上低功耗的光学电路交换互连网络可递送在全电互连的情况下完全不可能的带宽/瓦特(bandwidth-per-watt)。另外，超高带宽OCS互连网络为用于SPS的最佳解决方案，SPS的计算性能直接取决于最大化当前处理的流的I/O数据带宽及最小化接下来将处理的流的大DMA传送的延时。另外，SPS通常在使用存活时间相对长的处理器之间建立连接，因此不担心OCS的较长交换时间。
光学通信进一步解决了SPS的编程能力挑战，因为光学通信最小化从任何给定处理节点对给定存储器中的大数据集合的存取时间，而不管其相对位置。减少数据存取的时间变化有助于简化流处理系统的建模。随之，简化的抽象系统级模型促进对获得大规模流应用到SPS架构上的平衡部署问题的解决以最大化其持续的处理吞吐量。这种模型可进一步使能自动优化方法的开发，这些方法用于在编译时间数据传送及数据处理在整个SPS上的静态安排(static orchestration)与SPS操作期间通信及计算的动态再平衡。
本文中所使用的术语仅出于描述特定实施例的目的且并非意欲限制本发明。除非上下文清楚地指示其它情形，否则如本文中所使用，单数形式“一”及“该”意欲也包括复数形式。应进一步理解，当在本说明书中使用时，术语“包括”指示所述特征、整数、步骤、操作、单元和/或组件的存在，但并不排除存在或添加一个或多个其它特征、整数、步骤、操作、单元组件和/或其群组。
以下权利要求中的对应结构、材料、操作以及所有功能性限定的装置(means)或步骤的等同旨在包括任何用于与在权利要求中具体指出的其它单元相组合地执行该功能的结构、材料或操作。所给出的对本发明的描述其目的在于示意和描述，并非是穷尽性的，也并非是要把本发明限定到所表述的形式。对于所属技术领域的普通技术人员来说，在不偏离本发明范围和精神的情况下，显然可以作出许多修改和变型。对实施例的选择和说明是为了最好地解释本发明的原理和实际应用，使所属技术领域的普通技术人员能够明了，本发明可以有适合所要的特定用途的具有各种改变的各种实施方式。
本文中所描绘的流程图仅为一个例子。在不脱离本发明的精神的情况下，可存在对本文中所描述的图或步骤(或操作)的许多变化。举例而言，可按不同次序执行这些步骤，或者可添加、删除或修改步骤。将所有这些变化看作为所要求的本发明的一部分。
虽然已经描述了本发明的优选实施例，但所属技术领域的普通技术人员应理解，在现在及将来，可进行在以下权利要求范围内的各种改良及增强。这些权利要求应被解释为保持对最初描述的本发明的适当保护。

Claims (12)

1.一种用于实施流处理计算机架构的方法，包括：
创建流计算机处理系统；
产生包括内核及数据流的流计算图形，所述内核表示对从一个所述内核去向另一所述内核的所述数据流中的一个或多个执行计算的软件代码单元；
将所述流计算图形映射到所述流计算机处理系统；以及
根据所述流计算图形在所述流计算机处理系统上执行操作，
其中，创建流计算机处理系统包括：
形成处理器的超级节点集群，所述处理器中的每一个包括所述超级节点集群内的至少一个物理计算节点，其中所述物理计算节点是多处理器；
经由本地互连装置以通信方式耦接所述超级节点集群中的每一个处理器；和
经由一个或多个光学外部链路将所述超级节点集群以通信方式耦接到至少一个光学电路交换器，所述光学电路交换器经由从包括至少一个其它物理计算节点的处理器的至少一个其它超级节点集群至光学电路交换器的一个或多个光学外部链路，以通信方式耦接到所述至少一个其它超级节点集群；
将所述流计算图形映射到所述流计算机处理系统包括：
将所述内核分配给所述超级节点集群及所述超级节点集群中每一个各自的物理计算节点；
当各个数据流处于同一超级节点集群中的物理计算节点之间时，将所述内核之间的数据流流量分配给所述本地互连装置；
当各个数据流处于不同超级节点集群中的物理计算节点之间时，将所述内核之间的数据流流量分配给所述光学外部链路；和
配置所述光学电路交换器以经由所述光学外部链路而在对应于所述分配的所述超级节点集群之间提供连接性，
并且其中配置所述光学电路交换器包括：
动态地交换所述光学电路交换器的连接性，以反映对所述流计算图形所做的改变。
2.如权利要求1所述的方法，其中对所述流计算图形的改变反映负载平衡活动。
3.如权利要求1所述的方法，其中超级节点集群内的单个数据流是由所述超级节点集群的相应本地互连装置管理的。
4.如权利要求3所述的方法，其中所述本地互连装置由以下各项中的至少一个实现：
直接连接；
经由高速缓冲一致对称多处理器(SMP)构件而通过存储器实现；和
交换器。
5.如权利要求1所述的方法，其中所述流计算图形是使用二元树拓扑产生的。
6.如权利要求1所述的方法，进一步包括：
使用分组交换网络传送内核之间的所述数据流中被确定为经受最少数据传递的数据流，所述确定是使用阈值函数做出的。
7.一种用于实施流处理计算机架构的系统，包括：
一装置，被配置为创建流计算机处理系统；
一装置，被配置为产生包括内核及数据流的流计算图形的装置，所述内核表示对从一个所述内核去向另一所述内核的所述数据流中的一个或多个执行计算的软件代码单元；
一装置，被配置为将所述流计算图形映射到所述流计算机处理系统；
一装置，被配置为根据所述流计算图形在所述流计算机处理系统上执行操作，其中被配置为创建流计算机处理系统的装置进一步包括：
被配置为形成处理器的超级节点的装置，所述处理器中的每一个包括所述超级节点集群内的至少一个物理计算节点，其中所述物理计算节点是多处理器；
被配置为经由本地互连装置以通信方式耦接所述超级节点集群中的每一个处理器的装置；和
被配置为经由一个或多个光学外部链路将所述超级节点集群以通信方式耦接到至少一个光学电路交换器的装置，所述光学电路交换器经由从包括至少一个其它物理计算节点的处理器的至少一个其它超级节点集群至光学电路交换器的一个或多个光学外部链路，以通信方式耦接到所述至少一个其它超级节点集群；
被配置为将所述流计算图形映射到所述流计算机处理系统的装置，进一步包括：
被配置为将所述内核分配给所述超级节点集群及所述超级节点集群中每一个各自的物理计算节点的装置；
被配置为当各个数据流处于同一超级节点集群中的物理计算节点之间时，将所述内核之间的数据流流量分配给所述本地互连装置的装置；
被配置为当各个数据流处于不同超级节点集群中的物理计算节点之间时，将所述内核之间的数据流流量分配给所述光学外部链路的装置；和
被配置为配置所述光学电路交换器以经由所述光学外部链路而在对应于所述分配的所述超级节点集群之间提供连接性的装置；
并且其中配置所述光学电路交换器的装置被进一步配置为：动态地交换所述光学电路交换器的连接性，以反映对所述流计算图形所做的改变。
8.如权利要求7所述的系统，其中对所述流计算图形的改变反映负载平衡活动。
9.如权利要求7所述的系统，其中超级节点集群内的单个数据流是由所述超级节点集群的相应本地互连装置管理的。
10.如权利要求9所述的系统，其中所述本地互连装置由以下各项中的至少一个实现：
直接连接；
经由高速缓冲一致对称多处理器(SMP)构件而通过存储器实现；和
交换器。
11.如权利要求7所述的系统，其中所述流计算图形是使用二元树拓扑产生的。
12.如权利要求7所述的系统，进一步包括：
被配置为使用分组交换网络传送内核之间的所述数据流中被确定为经受最少数据传递的数据流的装置，所述确定是使用阈值函数做出的。
CN200980132236.8A 2008-08-18 2009-08-13 用于实现流处理计算机架构的方法及系统 Active CN102138138B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/193,125 2008-08-18
US12/193,125 US7856544B2 (en) 2008-08-18 2008-08-18 Stream processing in super node clusters of processors assigned with stream computation graph kernels and coupled by stream traffic optical links
PCT/EP2009/060483 WO2010020577A1 (en) 2008-08-18 2009-08-13 Method and system for implementing a stream processing computer architecture

Publications (2)

Publication Number Publication Date
CN102138138A CN102138138A (zh) 2011-07-27
CN102138138B true CN102138138B (zh) 2015-01-28

Family

ID=41078173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980132236.8A Active CN102138138B (zh) 2008-08-18 2009-08-13 用于实现流处理计算机架构的方法及系统

Country Status (7)

Country Link
US (2) US7856544B2 (zh)
EP (1) EP2274685A1 (zh)
JP (1) JP5490120B2 (zh)
KR (1) KR101572295B1 (zh)
CN (1) CN102138138B (zh)
TW (1) TWI434186B (zh)
WO (1) WO2010020577A1 (zh)

Families Citing this family (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8943509B2 (en) * 2008-03-21 2015-01-27 International Business Machines Corporation Method, apparatus, and computer program product for scheduling work in a stream-oriented computer system with configurable networks
CN102105866B (zh) * 2009-05-25 2014-02-26 松下电器产业株式会社 多处理器系统、多处理器控制方法、以及多处理器集成电路
US20110134127A1 (en) * 2009-12-03 2011-06-09 Ravishankar Gundlapalli Global Career Graph
CN102201992B (zh) * 2011-05-25 2013-09-25 上海理工大学 面向流处理器并行环境的数据流通信系统及其通信方法
CN102200906B (zh) * 2011-05-25 2013-12-25 上海理工大学 大规模并发数据流处理系统及其处理方法
US8990452B2 (en) 2011-07-26 2015-03-24 International Business Machines Corporation Dynamic reduction of stream backpressure
US9148495B2 (en) 2011-07-26 2015-09-29 International Business Machines Corporation Dynamic runtime choosing of processing communication methods
US8959313B2 (en) 2011-07-26 2015-02-17 International Business Machines Corporation Using predictive determinism within a streaming environment
US8560526B2 (en) 2011-07-26 2013-10-15 International Business Machines Corporation Management system for processing streaming data
CN102957622B (zh) * 2011-08-16 2015-05-27 阿里巴巴集团控股有限公司 一种数据处理的方法、装置及系统
EP4002867A1 (en) 2011-10-28 2022-05-25 NeoPhotonics Corporation Scalable optical switches and switching modules
US8898505B2 (en) 2011-12-01 2014-11-25 International Business Machines Corporation Dynamically configureable placement engine
US10554782B2 (en) * 2011-12-01 2020-02-04 International Business Machines Corporation Agile hostpool allocator
US8874751B2 (en) 2011-12-01 2014-10-28 International Business Machines Corporation Candidate set solver with user advice
US9405553B2 (en) * 2012-01-30 2016-08-02 International Business Machines Corporation Processing element management in a streaming data system
US9009007B2 (en) 2012-03-13 2015-04-14 International Business Machines Corporation Simulating stream computing systems
US8954698B2 (en) 2012-04-13 2015-02-10 International Business Machines Corporation Switching optically connected memory
US9146775B2 (en) 2012-04-26 2015-09-29 International Business Machines Corporation Operator graph changes in response to dynamic connections in stream computing applications
CN102882799B (zh) * 2012-09-13 2017-09-01 曙光信息产业(北京)有限公司 流量可控的集群部署配置系统与方法
US9930081B2 (en) 2012-11-13 2018-03-27 International Business Machines Corporation Streams optional execution paths depending upon data rates
CN103345458A (zh) * 2013-06-24 2013-10-09 北京工业大学 一种面向高性能计算的多fpga互联结构及逻辑划分方法
US9460049B2 (en) * 2013-07-18 2016-10-04 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Dynamic formation of symmetric multi-processor (SMP) domains
CN104750659B (zh) * 2013-12-26 2018-07-20 中国科学院电子学研究所 一种基于自动布线互连网络的粗粒度可重构阵列电路
US9886521B2 (en) * 2014-03-13 2018-02-06 International Business Machines Corporation Adaptive sampling schemes for clustering streaming graphs
WO2016032845A1 (en) * 2014-08-26 2016-03-03 Vendita Technology Group, Inc. Hardware and software architecture for enabling optimizing technical capabilities in a database
CN104504143B (zh) * 2015-01-04 2017-12-29 华为技术有限公司 一种流图优化方法及其装置
US9967197B2 (en) 2015-01-12 2018-05-08 Citrix Systems, Inc. Large scale bandwidth management of IP flows using a hierarchy of traffic shaping devices
US10505863B1 (en) 2015-04-06 2019-12-10 EMC IP Holding Company LLC Multi-framework distributed computation
US10515097B2 (en) * 2015-04-06 2019-12-24 EMC IP Holding Company LLC Analytics platform for scalable distributed computations
US10528875B1 (en) 2015-04-06 2020-01-07 EMC IP Holding Company LLC Methods and apparatus implementing data model for disease monitoring, characterization and investigation
US10776404B2 (en) 2015-04-06 2020-09-15 EMC IP Holding Company LLC Scalable distributed computations utilizing multiple distinct computational frameworks
US10404787B1 (en) 2015-04-06 2019-09-03 EMC IP Holding Company LLC Scalable distributed data streaming computations across multiple data processing clusters
US10425350B1 (en) 2015-04-06 2019-09-24 EMC IP Holding Company LLC Distributed catalog service for data processing platform
US10331380B1 (en) 2015-04-06 2019-06-25 EMC IP Holding Company LLC Scalable distributed in-memory computation utilizing batch mode extensions
US10860622B1 (en) 2015-04-06 2020-12-08 EMC IP Holding Company LLC Scalable recursive computation for pattern identification across distributed data processing nodes
US10706970B1 (en) 2015-04-06 2020-07-07 EMC IP Holding Company LLC Distributed data analytics
US10270707B1 (en) 2015-04-06 2019-04-23 EMC IP Holding Company LLC Distributed catalog service for multi-cluster data processing platform
US10509684B2 (en) 2015-04-06 2019-12-17 EMC IP Holding Company LLC Blockchain integration for scalable distributed computations
US10791063B1 (en) 2015-04-06 2020-09-29 EMC IP Holding Company LLC Scalable edge computing using devices with limited resources
US10496926B2 (en) 2015-04-06 2019-12-03 EMC IP Holding Company LLC Analytics platform for scalable distributed computations
US10511659B1 (en) 2015-04-06 2019-12-17 EMC IP Holding Company LLC Global benchmarking and statistical analysis at scale
US10541936B1 (en) 2015-04-06 2020-01-21 EMC IP Holding Company LLC Method and system for distributed analysis
US10348810B1 (en) * 2015-04-06 2019-07-09 EMC IP Holding Company LLC Scalable distributed computations utilizing multiple distinct clouds
US10541938B1 (en) 2015-04-06 2020-01-21 EMC IP Holding Company LLC Integration of distributed data processing platform with one or more distinct supporting platforms
US10366111B1 (en) * 2015-04-06 2019-07-30 EMC IP Holding Company LLC Scalable distributed computations utilizing multiple distinct computational frameworks
US10812341B1 (en) 2015-04-06 2020-10-20 EMC IP Holding Company LLC Scalable recursive computation across distributed data processing nodes
US11416282B2 (en) 2015-05-26 2022-08-16 Blaize, Inc. Configurable scheduler in a graph streaming processing system
US11150961B2 (en) 2015-05-26 2021-10-19 Blaize, Inc. Accelerated operation of a graph streaming processor
US10437637B1 (en) 2015-05-26 2019-10-08 Thin CI, Inc. Configurable scheduler for graph processing on multi-processor computing systems
US11379262B2 (en) 2015-05-26 2022-07-05 Blaize, Inc. Cascading of graph streaming processors
US11436045B2 (en) 2015-05-26 2022-09-06 Blaize, Inc. Reduction of a number of stages of a graph streaming processor
US10656861B1 (en) 2015-12-29 2020-05-19 EMC IP Holding Company LLC Scalable distributed in-memory computation
US10122788B2 (en) * 2016-03-29 2018-11-06 Amazon Technologies, Inc. Managed function execution for processing data streams in real time
US10178451B2 (en) * 2016-07-21 2019-01-08 Raytheon Company Optical data switching circuitry
US10390114B2 (en) 2016-07-22 2019-08-20 Intel Corporation Memory sharing for physical accelerator resources in a data center
US10374968B1 (en) 2016-12-30 2019-08-06 EMC IP Holding Company LLC Data-driven automation mechanism for analytics workload distribution
WO2018184208A1 (en) * 2017-04-07 2018-10-11 Intel Corporation Methods and apparatus for deep learning network execution pipeline on multi-processor platform
US20220232024A1 (en) 2017-11-27 2022-07-21 Lacework, Inc. Detecting deviations from typical user behavior
US11979422B1 (en) 2017-11-27 2024-05-07 Lacework, Inc. Elastic privileges in a secure access service edge
US11792284B1 (en) 2017-11-27 2023-10-17 Lacework, Inc. Using data transformations for monitoring a cloud compute environment
US10425437B1 (en) 2017-11-27 2019-09-24 Lacework Inc. Extended user session tracking
CN110213073B (zh) * 2018-04-20 2021-10-22 腾讯科技（深圳）有限公司 数据流向变更方法、电子设备、计算节点及存储介质
US11042416B2 (en) * 2019-03-06 2021-06-22 Google Llc Reconfigurable computing pods using optical networks
US11307860B1 (en) 2019-11-22 2022-04-19 Blaize, Inc. Iterating group sum of multiple accumulate operations
US10996960B1 (en) 2019-11-22 2021-05-04 Blaize, Inc. Iterating single instruction, multiple-data (SIMD) instructions
US11366664B1 (en) 2019-12-08 2022-06-21 Blaize, Inc. Single instruction multiple data (simd) execution with variable width registers
US11188571B1 (en) 2019-12-23 2021-11-30 Lacework Inc. Pod communication graph
US11256759B1 (en) 2019-12-23 2022-02-22 Lacework Inc. Hierarchical graph analysis
US10873592B1 (en) 2019-12-23 2020-12-22 Lacework Inc. Kubernetes launch graph
US11201955B1 (en) 2019-12-23 2021-12-14 Lacework Inc. Agent networking in a containerized environment
US11561840B2 (en) * 2020-01-30 2023-01-24 Alibaba Group Holding Limited Efficient inter-chip interconnect topology for distributed parallel deep learning
CN111415007B (zh) * 2020-03-26 2023-01-17 中科寒武纪科技股份有限公司 一种计算数据的方法、装置、板卡及计算机可读存储介质
CN111880911A (zh) * 2020-06-19 2020-11-03 浪潮电子信息产业股份有限公司 一种任务负载调度方法、装置、设备及可读存储介质
US11513845B2 (en) 2020-11-06 2022-11-29 Blaize, Inc. Configurable scheduler with pre-fetch and invalidate threads in a graph stream processing system
US11620248B2 (en) * 2021-03-31 2023-04-04 Advanced Micro Devices, Inc. Optical bridge interconnect unit for adjacent processors
US20230409643A1 (en) * 2022-06-17 2023-12-21 Raytheon Company Decentralized graph clustering using the schrodinger equation
CN115809685B (zh) * 2023-02-09 2023-07-25 鹏城实验室 一种npu集群网络结构和网络互连方法

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS56127266A (en) * 1980-03-10 1981-10-05 Ibm Method of executing and controlling command stream
JPS62259164A (ja) * 1985-11-27 1987-11-11 テキサス　インスツルメンツ　インコ−ポレイテツド コンピユ−タ及び実時間音声レコグナイザ
US5317734A (en) * 1989-08-29 1994-05-31 North American Philips Corporation Method of synchronizing parallel processors employing channels and compiling method minimizing cross-processor data dependencies
FR2689711B1 (fr) 1992-04-03 1994-05-13 France Telecom Reseau de telecommunications.
US6631018B1 (en) 1997-08-27 2003-10-07 Nortel Networks Limited WDM optical network with passive pass-through at each node
JPH1185616A (ja) * 1997-09-11 1999-03-30 Canon Inc 情報処理システム及び情報処理装置及びそれらの制御方法及び記憶媒体
US6175868B1 (en) 1998-05-15 2001-01-16 Nortel Networks Limited Method and apparatus for automatically configuring a network switch
US6671254B1 (en) 1998-12-11 2003-12-30 Oki Electric Industry Co., Ltd. Communication network and communication node used in such network
US6647208B1 (en) 1999-03-18 2003-11-11 Massachusetts Institute Of Technology Hybrid electronic/optical switch system
US6748440B1 (en) * 1999-05-12 2004-06-08 Microsoft Corporation Flow of streaming data through multiple processing modules
US6792174B1 (en) 1999-11-02 2004-09-14 Nortel Networks Limited Method and apparatus for signaling between an optical cross-connect switch and attached network equipment
CA2408798A1 (en) 2000-05-11 2001-11-15 Btg International Limited Optical transport networks
US20020131103A1 (en) 2001-03-16 2002-09-19 Nicholas Bambos Method and system for reconfiguring a network element such as an optical network element
US6809734B2 (en) * 2001-03-22 2004-10-26 Sony Computer Entertainment Inc. Resource dedication system and method for a computer architecture for broadband networks
US7263096B2 (en) 2001-12-21 2007-08-28 Lucent Technologies Inc. Apparatus, system and method for managing circuit and packet-switched calls on a network
US6970617B2 (en) 2003-01-07 2005-11-29 Charles Mao Reconfigurable service ring and method for operation in optical networks
WO2004072796A2 (en) 2003-02-05 2004-08-26 Arizona Board Of Regents Reconfigurable processing
US7340169B2 (en) 2003-11-13 2008-03-04 Intel Corporation Dynamic route discovery for optical switched networks using peer routing
US7000048B2 (en) 2003-12-18 2006-02-14 Intel Corporation Apparatus and method for parallel processing of network data on a single processing thread
US7376295B2 (en) 2004-09-20 2008-05-20 Fujitsu Limited Opto-electronic processors with reconfigurable chip-to-chip optical interconnections
US7739218B2 (en) 2005-08-16 2010-06-15 International Business Machines Corporation Systems and methods for building and implementing ontology-based information resources
US20070204020A1 (en) * 2006-02-24 2007-08-30 International Business Machines Corporation System and method of stream processing workflow composition using automatic planning
US7441224B2 (en) * 2006-03-09 2008-10-21 Motorola, Inc. Streaming kernel selection for reconfigurable processor
US7738129B2 (en) 2006-03-13 2010-06-15 International Business Machines Corporation Method and apparatus for assigning candidate processing nodes in a stream-oriented computer system
US20100242042A1 (en) 2006-03-13 2010-09-23 Nikhil Bansal Method and apparatus for scheduling work in a stream-oriented computer system
US7853949B2 (en) 2006-03-13 2010-12-14 International Business Machines Corporation Method and apparatus for assigning fractional processing nodes to work in a stream-oriented computer system
US8194638B2 (en) 2006-07-27 2012-06-05 International Business Machines Corporation Dual network types solution for computer interconnects
US7680502B2 (en) 2006-07-28 2010-03-16 Mccown Steven H Radio frequency detection assembly and method for detecting radio frequencies
US9038041B2 (en) 2006-12-04 2015-05-19 Tibco Software, Inc. Stream processor with compiled programs
US7899861B2 (en) * 2007-04-02 2011-03-01 International Business Machines Corporation Method for declarative semantic expression of user intent to enable goal-driven stream processing
US8458720B2 (en) 2007-08-17 2013-06-04 International Business Machines Corporation Methods and systems for assigning non-continual jobs to candidate processing nodes in a stream-oriented computer system
US7941387B2 (en) 2007-11-05 2011-05-10 International Business Machines Corporation Method and system for predicting resource usage of reusable stream processing elements
US8943509B2 (en) 2008-03-21 2015-01-27 International Business Machines Corporation Method, apparatus, and computer program product for scheduling work in a stream-oriented computer system with configurable networks
US8125984B2 (en) * 2008-03-21 2012-02-28 International Business Machines Corporation Method, system, and computer program product for implementing stream processing using a reconfigurable optical switch

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Bugra Gedik等.SPADE:The system S declarative stream processing engine.《SIGMOD"08》.2008,第1123-1134页. *
On the Feasibility of Optical Circuit Switching for High Performance Computing Systems;Kevin J. Barker等;《SC|05》;20051118;第1-22页 *

Also Published As

Publication number Publication date
TWI434186B (zh) 2014-04-11
KR20110063730A (ko) 2011-06-14
JP5490120B2 (ja) 2014-05-14
TW201019133A (en) 2010-05-16
JP2012500432A (ja) 2012-01-05
US8037284B2 (en) 2011-10-11
US7856544B2 (en) 2010-12-21
KR101572295B1 (ko) 2015-12-04
CN102138138A (zh) 2011-07-27
US20100042809A1 (en) 2010-02-18
EP2274685A1 (en) 2011-01-19
WO2010020577A1 (en) 2010-02-25
US20110055519A1 (en) 2011-03-03

Similar Documents

Publication Publication Date Title
CN102138138B (zh) 用于实现流处理计算机架构的方法及系统
CN101354694B (zh) 基于mpu架构的超高扩展超级计算系统
Wu et al. UNION: A unified inter/intrachip optical network for chip multiprocessors
CN104185999A (zh) 分组流互联架构
Ziabari et al. Leveraging silicon-photonic noc for designing scalable gpus
CN101808254B (zh) 一种基于分层图的静态选路与波长分配方法
CN108628800A (zh) 一种动态可重构的智能计算集群及其配置方法
CN102769563B (zh) 路由计算方法及装置
CN105099776A (zh) 云服务器的管理系统
CN105229621B (zh) 多模式代理器
Liu et al. PSNet: Reconfigurable network topology design for accelerating parameter server architecture based distributed machine learning
Al-Azez et al. Energy efficient IoT virtualization framework with passive optical access networks
CN104883224A (zh) 构建数据中心交换网络的方法及节点装置
Tang et al. Effective*-flow schedule for optical circuit switching based data center networks: A comprehensive survey
Morris et al. 3d-noc: Reconfigurable 3d photonic on-chip interconnect for multicores
CN106549782A (zh) 一种数据中心内关联流的带宽调度方法及装置
Zhao et al. CD-Xbar: A converge-diverge crossbar network for high-performance GPUs
Liu et al. WRH-ONoC: A wavelength-reused hierarchical architecture for optical network on chips
Shu et al. Programmable OPS/OCS hybrid data centre network
Yan et al. A novel non-cluster based architecture of hybrid electro-optical network-on-chip
Pham et al. Scalable low-latency inter-FPGA networks
Perelló et al. Cost‐Efficient Virtual Optical Network Embedding for Manageable Inter‐Data‐Center Connectivity
Guo et al. Cost-effective QKD protocol upgrading for metropolitan quantum optical networks
Feng et al. Scalable Low-Power High-Performance Optical Network for Rack-Scale Computers
CN105634997A (zh) 一种基于fpga实现数据中心框式交换机线卡架构

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant