CN102326159B - 存储器网络方法、设备及系统 - Google Patents

存储器网络方法、设备及系统 Download PDF

Info

Publication number
CN102326159B
CN102326159B CN201080008737.8A CN201080008737A CN102326159B CN 102326159 B CN102326159 B CN 102326159B CN 201080008737 A CN201080008737 A CN 201080008737A CN 102326159 B CN102326159 B CN 102326159B
Authority
CN
China
Prior art keywords
network node
path
processor
port
coupled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080008737.8A
Other languages
English (en)
Other versions
CN102326159A (zh
Inventor
戴维·R·雷斯尼克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Micron Technology Inc
Original Assignee
Micron Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Micron Technology Inc filed Critical Micron Technology Inc
Publication of CN102326159A publication Critical patent/CN102326159A/zh
Application granted granted Critical
Publication of CN102326159B publication Critical patent/CN102326159B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163—Interprocessor communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163—Interprocessor communication
    • G06F15/167—Interprocessor communication using a common memory, e.g. mailbox
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163—Interprocessor communication
    • G06F15/173—Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163—Interprocessor communication
    • G06F15/173—Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
    • G06F15/17356—Indirect interconnection networks
    • G06F15/17368—Indirect interconnection networks non hierarchical topologies
    • G06F15/17381—Two dimensional, e.g. mesh, torus

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multi Processors (AREA)
  • Memory System (AREA)

Abstract

本发明揭示可包含第一节点群组的设备及系统，所述第一节点群组包含耦合到存储器的第一网络节点，所述第一网络节点包含第一端口、第二端口、处理器端口及跳跃端口。网络节点群组可包含耦合到存储器的第二网络节点，所述第二网络节点包含第一端口、第二端口、处理器端口及跳跃端口，所述第二网络节点的所述跳跃端口耦合到所述第一网络节点的所述跳跃端口且经配置以在所述第一网络节点与所述第二网络节点之间通信。网络节点群组可包含耦合到所述第一网络节点的所述处理器端口且耦合到所述第二网络节点的所述处理器端口的处理器，所述处理器经配置以通过所述第一网络节点存取第一存储器且通过所述第二网络节点存取第二存储器。还揭示其它设备、系统及方法。

Description

存储器网络方法、设备及系统
相关申请案交叉参考
本专利申请案主张2009年2月19日提出申请的第12/389,200号美国申请案的优先权权益，所述美国申请案以引用的方式并入本文中。
背景技术
许多电子装置(例如个人计算机、工作站、计算机服务器、主机及其它计算机相关设备(包含打印机、扫描仪及硬盘驱动器))利用提供大的数据存储能力同时试图引发低功率消耗的存储器。极适合在前述装置中使用的一种类型的存储器为动态随机存取存储器(DRAM)。
由于芯片大小限制提供限制性影响，因此在大的多处理器系统中对具有增加的容量的存储器装置的需求持续上升。个别存储器单元的组件所占用的表面积已稳定地减小，使得除减小栅极延迟之外，还可增加半导体衬底上存储器单元的填装密度。然而，缩减装置表面积可导致减小的制造合格率，且增加用于连接存储器装置的众多库与其它装置(例如处理器)的互连件的复杂性。另外，在小型化期间，互连件延迟不像栅极延迟一样按比例缩放。
附图说明
在下文论述中且参考以下图式详细描述各种实施例。
图1是根据各种实施例的存储器系统的桥接器架构的图解性框图。
图2是根据各种实施例的存储器系统的共享总线架构的图解性框图。
图3是根据各种实施例展示具有专用处理器的互连网络节点的存储器系统的网络架构的图解性框图。
图4是根据各种实施例展示共享处理器的经互连网络节点的存储器系统的网络架构的图解性框图。
图5是根据各种实施例展示置于共享处理器的不同几何平面中的网络节点的存储器系统的网络架构的图解性框图。
图6是根据各种实施例展示置于彼此互连且共享处理器的不同空间平面中的网络节点的存储器系统的网络架构的图解性框图。
图7是根据各种实施例展示彼此互连且共享处理器的网络节点的三维存储器系统的图解性框图。
图8是根据各种实施例允许网络故障恢复同时恢复来自多维存储器网络中的存储器的数据的存储器系统的图解性框图。
图9是根据各种实施例描述在多维存储器系统中路由数据的方法的流程图。
具体实施方式
各种实施例包含处理系统、半导体模块、存储器系统及方法。在以下说明中且在图1到图9中阐述数个实施例的特定细节以提供对此些实施例的理解。然而，所属领域的技术人员将理解，可能有额外实施例且许多实施例可在不具有以下说明中所揭示的细节中的数个细节的情况下实践。还应理解，各种实施例可实施于包含物理组件(例如“硬件”)的物理电路内，或其可使用机器可读指令(例如，“软件”)实施，或以物理组件与机器可读指令的某一组合(例如，“固件”)来实施。
存储器的表面积减小及随之发生的填装密度增加可通过减小存储器阵列及装置的水平特征大小来实现。在各种实施例中，此可通过形成显著三维的存储器系统使得所述存储器装置除大体延伸跨越衬底表面之外还垂直延伸到衬底中及衬底上面而发生。
本文中所论述的存储器装置的实例描述于2007年8月29日提出申请且转让给美光科技公司(Micron Technology，Inc)的标题为“存储器装置接口方法、设备及系统(MEMORY DEVICE INTERFACE METHODS，APPARATUS，AND SYSTEMS)”的第11/847,113号美国专利申请案中。
本文中所论述的网络节点(路由器)的实例描述于2008年2月19日提出申请且转让给美光科技公司的标题为“具有芯片上网络的存储器装置方法、设备及系统(METHODDEVICE WITH NETWORK ON CHIP METHODS，APPARATUS，AND SYSTEMS)”的第12/033,684号美国专利申请案中。
图1是根据各种实施例的存储器系统100的桥接器架构的图解性框图。在实例性实施例中，存储器系统100包含处理器(104、114)、存储器(110、120)、桥接器(102、112)及网络节点101。在一些实施例中，处理器104耦合到专用存储器110及桥接器102。架构100还包含耦合到专用存储器120及桥接器112的处理器114。网络节点101可用于耦合桥接器102与桥接器112。在各种实施例中，图1中所示的架构可结合本文中所揭示的其它存储器系统及架构使用。
图2是根据各种实施例的存储器系统200的共享总线架构的图解性框图。共享总线架构200包含耦合到处理器210、212、214及216、存储器206及桥接器204的共享总线208。在一些实施例中，网络节点202耦合到桥接器204以将存储器系统200连接到其它类似存储器系统。在各种实施例中，图2中所示的架构可结合本文中所揭示的其它存储器系统及架构使用。
可使用图1中所示的桥接器架构或图2中所示的共享总线架构来构建大的多处理器系统。在两种架构中，可使用网络结构及互连硬件来提供高性能连网系统。在一些实施例中，可使用多种标准输入/输出(IO)通道(例如，经提供作为InfinibandTM通信链路的一部分)及其它机构来耦合可容纳于特定母板或类似封装布置上的额外计算资源。
在图1中所示的桥接器架构中，每一处理器(104、114)具有其自身的存储器(110、120)且可能具有其自身的IO能力。此意味着当处理器共享那些资源时可产生软件及性能问题。如果一个处理器(例如，104)需要来自另一处理器的存储器(例如，120)的数据，那么第一处理器(104)必须产生请求消息并将其发送到第二处理器(114)来索要其需要的数据，且接着等待第二处理器(114)停止其正在进行的操作以为所述请求服务且对第一处理器(104)做出回复。此意味着由于软件额外开销而可存在显著的性能损失，所述软件额外开销因等待返回所需数据的时间损失而确实直接引起计算额外开销。
在图2中所示的共享总线架构中，可合理地形成群组的一部分的处理器的数目由于构造总线中的电功率问题且在较大程度上由于是向所连接的处理器提供满意服务的一部分的存储器大小及带宽约束而有限。共享总线系统通常是自限制的，且因此通常使用网络或IO通道互连件增长以针对较大系统来按比例缩放。此再引入上文针对桥接器构架所描述的相同损失及问题。
在一些实施例中，组合用于支持构成分布式系统的多个处理器的网络结构及存储器允许设想新的系统构造方式。如果可实现此，那么可改进系统性能，从而使得执行数据共享较容易且较快。可使用网络请求存取数据，而不论所请求的数据驻存于网络内的何处。在一些实施例中，可构建使用类似于图3中所示的互连件的互连件的存储器系统。
图3是根据各种实施例展示耦合到专用处理器(322、324、326、328)的经互连网络节点(302、304、306、308)的存储器系统300的网络架构的图解性框图。虽然此处展示二维网状网络，但所述概念容易扩展为三维或三维以上(例如，超立方体)、环面结构等。取决于系统要求且取决于可由网络节点逻辑支持的复杂性程度，还可使用其它种类的网络架构(例如，克劳斯(Clos)网络变型)。
在一些实施例中，图3中所示的处理器可包含单个封装或裸片内的多个处理器(多核心或众核心处理器)或连接到单个网络节点(例如，302、304、306及308)的多个独立处理器。在一些实施例中，每一处理器(322、324、326及328)具有附接到其的存储器(312、314、316及318)。此布置提供来自由特定处理器执行的计算的中间值的本地存储，所述中间值不可用于位于存储器系统300的其它部分中的处理器。然而，如果所述处理器中的一些处理器请求对分布于各种存储器(312、314、316及318)之间的数据的存取，那么可因使用存储器参考方案而产生各种数据管理问题。在各种实施例中，图3中所示的架构可结合本文中所揭示的其它存储器系统及架构使用。
使用本文中所描述的分布式存储器网络的许多潜在益处中的一者是所有存储器可显现为所述网络中的单个地址集合；从而避免了对从一个过程到另一个过程构建存取数据的请求消息的需要。存储器时间等待(存取时间)在此等存储器结构中不一致，因此可能存在具有保持数据接近于使用所述数据的处理器的工作及数据管理软件的一性能益处。另外，不保持数据接近于处理器的影响小于针对图1中所示的网络-存储器结构的影响，这是因为不需要消息传递来发送及接收数据。
有时，在使用多核心处理器集成电路(IC)时出现性能问题。随着单个IC内的核心的数目增加，所述布置实际上看起来越来越像图2中所示的总线架构。在此情况下，共享带宽，且随着核心及线程的数目增加，每核心或线程的可用带宽的分数可减小。
图4是根据各种实施例展示共享处理器的经互连网络节点的存储器系统400的网络构架的图解性框图。存储器系统400包含网络节点(412、414、416、418、422、424、426、428、432、434、436、438、442、444、446、448)、存储器(413、415、417、419、423、425、427、429、433、435、437、439、443、445、447、449)及处理器(410、420、430、440)。
如图4中所示，存储器413耦合到网络节点412，存储器415耦合到网络节点414，存储器417耦合到网络节点416，且存储器419耦合到网络节点418。处理器410耦合到网络节点412、414、416及418。
存储器423耦合到网络节点422，存储器425耦合到网络节点424，存储器427耦合到网络节点426，且存储器429耦合到网络节点428。处理器420耦合到网络节点422、424、426及428。
存储器433耦合到网络节点432，存储器435耦合到网络节点434，存储器437耦合到网络节点436，且存储器439耦合到网络节点438。处理器430耦合到网络节点432、434、436及438。
存储器443耦合到网络节点442，存储器445耦合到网络节点444，存储器447耦合到网络节点446，且存储器449耦合到网络节点448。处理器440耦合到网络节点442、444、446及448。
在一些实施例中，针对处理器与多个路径的网络互连提供高速串行接口，每一串行接口均为可并行地运行的相当大带宽的串行接口。此意味着每一处理器封装可连接到多个网络节点，从而提供存储器存取并行性且允许增加此类结构胜过当前可用的大多数其它结构的益处的存储器/网络结构。
在一些实施例中，图4中所示的存储器网络可为多维的，或许具有环面结构等。处理器(410、420、430及440)中的每一者可具有为图3中所示的存储器及网络节点的带宽的倍数的带宽。在其中可使用三维(3D)网络互连件的一些实施例中，存在以下选项：如图4中所示保持每一处理器连接到网络节点(因各种空间平面或维度可用于连接)或使一个或一个以上处理器在两个或两个以上空间平面或维度中连接到网络节点。关于开发具有多个维度(例如，如在克劳斯网络中，具有多个源及目的地)的网络结构的顾虑中的一者可为，所得的网络逻辑相当复杂，而所述复杂性有时随着穿过每一网络节点的路径数目的平方而增长。
简化设计的一种方式是利用可以每一处理器(410、420、430及440)始发的多个路径，以便使得每一路径沿不同物理维度(例如，X、Y、Z维度)去往单独的存储器网络。在一些实施例中，如果每一处理器(410、420、430及440)具有三个网络-存储器路径，那么可存在三个不同的二维(2D)网状网络(每一维度一个网络)，而非单个3D网络。此布置可产生为大小的分数的若干个较小2D网络，且具有较小数目个穿过每一网络节点中的逻辑的路径。
图5是根据各种实施例展示置于共享处理器的不同几何平面中的网络节点的存储器系统500的网络架构的图解性框图。图5展示通过处理器(510、512、514及516)互连以形成2D网络的一维网络集合。图5中所示的每一网络节点具有最多两个连接用于网络(因为每一网络节点仅处置单个维度)，及若干个连接用于本地存储器及用于一处理器，而非两个连接用于每一网络维度以及所述存储器及处理器。在一个实施例中，存储器系统500包含集成式封装501，所述集成式封装包括网络节点502及存储器503。
图5中所示的存储器网络类似于图3及图4中所示的网络按比例缩放，且可针对任一所规定的网络大小构建。在一些实施例中，可通过从每一处理器为每一所添加的维度添加一路径来合理地构造具有较大数目个维度的存储器网络。下文进一步描述此实施方案。
在一些实施例中，复杂网络结构可经构建以使多处理器芯片连接到网络内的不同点。举例来说，考虑将处理器510连接到网络节点502(X11)及网络节点518(Y11)，且将处理器512连接到网络节点504(X12)及网络节点520(Y21)。在一些实施例中，此网络的特性中的一者可为网络通信及数据可通过处理器(510、512、514及516)来取得数据，所述数据可分布于存储器网络上。
举例来说，如果可以对存储器503及519(分别耦合到网络节点502(X11)及518(Y11))中的存储器数据进行直接存取的处理器A(510)想要来自存储器505(耦合到网络节点504(X12))的数据，那么请求信号穿过X11传送到X12，在存取所述数据之后通过反转请求路径将所述数据返回。然而，如果需要来自网络节点524(Y22)的数据，那么可在以下路径上发送请求：
处理器A(510)→X11→X12→处理器B(512)→Y21→Y22。
在一些实施例中，如果所需的数据不在与请求处理器的路径相同的X或Y路径上，那么可穿过另一处理器发送请求(及响应)。具有经设计以仅使请求及响应通过的处理器的此布置通常并非是改进处理器性能、减小系统功率要求或简化封装的有效方式。
在一些实施例中，可修改所述构架使得连接到同一处理器(例如同一处理器核心)的网络节点对还包含其之间的网络链路，从而提供“跳跃”路径。结果可有点类似于图6中所示的结果。
图6是根据各种实施例展示置于彼此互连且共享处理器的不同几何平面中的网络节点的存储器系统600的网络架构的图解性框图。虽然图6并未展示连接到每一网络节点的存储器，但应理解为存在所述存储器。类似地，图6中所示的布置仅为许多可能布置中的一者。
在一些实施例中，存储器系统600包含集成式封装609，所述集成式封装包括网络节点622及处理器602。在实例性实施例中，网络节点622包含左端口601、右端口603及跳跃端口605。图6中所示的配置添加到网络节点(622、624、632、634、642、644、652、654、662、664、672及674)的额外链路，借此避免穿过处理器602到612路由网络业务。图6中的每一网络节点(例如网络节点622)具有用于耦合到其它网络节点的三个端口(例如，左端口601、右端口603及跳跃端口605)及用以耦合到处理器(例如处理器A(602))的端口(例如607)。术语左端口、右端口并不表示节点上的任一特定物理位置，而是其仅指定装置上的两个端口中的一者。在使用此网络时，来自任一处理器(602、604、606、608、610及612)的请求可由连接到其的对应网络节点中的任一者接收。最小长度路径可遵循曼哈顿(Manhattan)路由方案，其具有最后路由维度应处于对应于网络节点放置的维度中的额外规则。举例来说，如果处理器A(602)想要取得来自网络节点654(Y32)的数据，那么请求路径可有点类似于以下路径：
X11→X12→X13→Y31→Y32。
在一些实施例中，如果相反需要来自网络节点652(X23)的数据，那么路径可有点类似于以下路径：
Y11→Y12→X21→X22→X23。
在一些实施例中，当请求由处理器注入到网络中时，消息在所注入维度中横过节点直到所述请求抵达对应于另一维度的正确地址。在一些实施例中，如果数据不在节点中，那么所述请求被沿“跳跃”路径向下自动发送到节点对中的另一节点且接着沿处于另一维度中的网络路径向下直到其抵达正确节点。举例来说，当在网络节点X11处请求来自连接到网络X23的存储器的数据时使用跳跃端口605。
图6中所示的配置包含耦合到节点群组692的节点群组690。在一些实例中，节点群组690包含网络节点642、644及处理器606。在一些实例中，节点群组692包含网络节点652及654以及处理器608。在一些实施例中，网络节点642耦合到第一存储器(图6中未展示)，且网络节点652耦合到第二存储器(图6中未展示)。除用于耦合到处理器606及608的处理器端口之外，网络节点642及652中的每一者还分别包含左端口、右端口及跳跃端口。
在一些实施例中，存储器系统600包含安置于x路径中的网络节点622，网络节点622包含第一x路径端口(601)、第二x路径端口(603)、跳跃路径端口(605)及耦合到处理器602的处理器端口。在一些实施例中，存储器系统600包含安置于y路径中的网络节点(624)，网络节点624包含第一y路径端口、第二y路径端口、处理器端口及跳跃路径端口。在一些实施例中，存储器系统600包含安置于z路径中的第三网络节点，所述第三网络节点包含第一z路径端口、第二z路径端口、处理器端口及两个跳跃路径端口。
图7是根据各种实施例展示具有彼此互连且耦合到处理器(702)的网络节点(704、706及708)的节点群组700的三维存储器系统的图解性框图。处理器702沿使用处理器链路705的路径耦合到网络节点704(安置于X路径中)。处理器702沿使用处理器链路706的路径耦合到网络节点708(安置于Y路径中)。处理器702沿使用处理器链路707的路径耦合到网络节点706(安置于Z路径中)。
因此，可注意，如果将图6中所示的架构扩展为三维，那么结果有点类似于图解说明单个网络节点群组的图7中所示的结果。以类似方式，举例来说，可使用用于每一所添加网络维度的额外处理器路径来更进一步扩展此概念以构造四维网络。可以此方式构造N维网络。
在多维网络的大多数情况下，当采取跳跃路径来改变网络维度时，仅可采取去往一节点群组中的下一节点组件的单个跳跃。此活动将请求进行分布以最小化路径冲突及网络热点。如果将请求从X路径中的节点发送到Y路径中的节点，且最终目的地节点并不位于Y维度中，那么可将所述请求传送到下一维度Z上。
图8是根据各种实施例允许网络故障恢复同时恢复来自多维存储器网络中的存储器的数据的存储器系统800的图解性框图。存储器系统800包含处理器802、网络节点(804、806、808及810)及跳跃路径812。处理器802耦合到网络节点804、806、808及810。网络节点804、806、808及810连接到路径815、817、819及821，路径815、817、819及821又可连接到其它网络节点。网络节点804安置于W路径(814、815)中，网络节点806安置于X路径(816、817)中，网络节点808安置于Y路径(818、819)中，且网络节点810安置于Z路径(820、821)中。在一些实施例中，处理器802包括具有一个以上嵌入式处理器的衬底。
在图8中所示的网络结构的情况下，多维网络中的每一节点可具有任务是仅处置单个网络维度的组件，使得所得的网络结构具有大的弹性。返回参考图6，如果处理器D想要取得来自附接到网络节点644(Y31)的存储器的数据，那么所述请求将通常沿以下路径前进：处理器D→X21→X22→X23→Y32→Y31。然而，如果X22与X23之间的路径在请求抵达无法从其采取所要路径的节点(例如X22)时损坏(例如X23已完全出故障)，那么本地逻辑仅将所述请求连同旗标一起发送到跳跃路径(例如，812)，所述旗标含有指示优选路由维度(X维度)将不用于下一网络跳跃的信息。在一些实施例中，所述旗标向处理器802提供确定关于何种新的最小路径将用于将来的请求的信息。因此，X22将能够将请求发送到Y22。接着将抵达Y22的经重新路由的请求发送到Y21。所述请求接着循着以下路径行进：Y21→X12→X13→Y31。
在另一实例中，假设代替X22与X23之间的路径出故障，X23与Y32之间的跳跃路径出故障。因此，将抵达X23的请求连同旗标一起发送到X24(未展示)上，所述旗标指示优选维度将不用于下一跳跃。所述请求接着将被发送到Y维度中，从而在更多个跳跃之后到达Y31。
网络中的断开链路还可沿最终网络维度发生。举例来说，考虑处理器D想要来自X23的数据，且从X21到X22的链路损坏。节点X21使用如果所要路径损坏那么采取跳跃路径的先前规则将请求发送到Y12，以及产生首先在非优选维度中实现路由的旗标。Y12注意到零Y网络距离将被覆盖。因此，Y21可将请求发送到Y11或发送到Y13(未展示)。假设选择了Y11，则所述请求将去往Y11，其接着沿路径Y11→X11→X12→Y21→Y22→X22→X23发送所述请求。如果网络节点X22已出故障，那么所述路径在Y22到X22链路中断开。在所述情况下，所述请求将被发送到Y23(未展示)，从而在更多个跳跃之后到达X23。此由于所述请求必须寻找在接近于X23的节点处或在X23处回到X维度中的另一路线而发生。
图9是描述根据各种实施例在多维存储器系统中路由数据的方法900的流程图。如下文所示，可遵循各种网络路由规则来在本文中所描述的多维存储器网络中存取存储器。在本文中所描述的实施例中，“索引”表示在特定维度(例如，X、Y或Z维度)中节点的位置。用于定位节点的索引的数目包含
在框902处，方法900包含产生存取耦合到目的地网络节点的第一存储器的请求。
在框904处，方法900包含将所述请求发送到始发网络节点，所述请求包含对应于多个维度的多个索引。
在框906处，方法900包含在所述始发网络节点处确定所述请求是否包含与第一维度相关联的第一索引。
在框908处，方法900包含如果所述请求包含第一索引，那么沿所述第一维度将所述请求发送到第一网络节点。
在框910处，方法900包含如果所述请求包含与第二维度相关联的第二索引，那么将所述请求传送到跳跃路径。
在一些实施例中，简单规则可通过自动地绕过出故障的网络组件及路径来路由请求而提供网络弹性。使用此些规则，可在每一网络节点内提供网络数据流管理。在一些实施例中，所述路由规则可包含以下规则中的至少一者：
规则-1：如果请求指示所述请求应在网络的特定维度(例如，沿X路径、Y路径、Z路径或W路径)中流动，那么将所述请求发送到所述维度中的下一节点。
规则-2：如果请求在所述网络维度的正确节点位置处(举例来说，所述请求正沿X维度行进且抵达对应于目的地节点的Y索引)，但尚未抵达其目的地，那么将所述请求发送到本地跳跃路径。
规则-3：如果期望在当前网络路径维度中继续进行，但所述请求无法(例如，由于路径错误或故障)继续进行，那么将所述请求发送到跳跃路径且设定旗标来防止返回到非优选维度中的发送节点/路线)。
规则-4：如果所述请求使用跳跃路径，但发现不可能继续进行到驻存于所要维度中的节点，那么仅将所述请求发送到下一节点且设定旗标来防止使用非优选维度的任一返回到发送节点/路线。
规则-5：如果做出存储器请求，那么以特定维度次序横过网络，其中目的地节点的地址的维度是所规定的次序中的最后维度。因此，举例来说，如果将在其中选择维度的次序是X→Y→Z的3D网络中存取耦合到Y21的存储器，那么沿次序Z→X→Y发送经发送到请求处理器的本地Z节点的请求。此可导致跨越网络组件分布请求且最小化请求中的路径跳跃的数目。
规则-6：不将对请求的回复约束为循着与请求相同的返回路径行进，而是其可以相反次序发生。此可帮助在网络内分布响应。
在一些实施例中，由于网络节点变为此些网络的分布式实体，因此节点组件的损失将不损坏穿过出故障的节点的所有通信，而仅损坏沿对应于出故障组件的网络维度的路径的通信。如下所述，可管理避开此些故障。
在一些实施例中，可使用单一种类的网络节点构建几乎任一维度及比例的网络。较高维网络可比较低维网络具有较短网络时间等待及较高双向带宽；在每一情况下，单一种类的网络存储器组件可为构建块。
在一些实施例中，每一网络节点组件可经简化以含有五个或五个以下双向端口，其中的一者专用于处理器端口。在一些实施例中，每一网络组件内含有系统存储器，使得系统存储器取决于如何构建及配置所述网络而独立于网络处理器的数目及所述处理器的能力随着所述网络按比例缩放。可接着简化从网络错误的恢复并使所述恢复自动化进行。
在针对较高维的网络多个网络/存储器节点连接到每一处理器IC的情况下，处理器可针对较高的本地存储器带宽及经减小的平均存储器时间等待而具有较高级的存储器及网络存取并行性。在其中处理器具有比设想的网络所需的维度的数目更多的可用路径的情形下，所述处理器可具有在相同维度中行进的两个或两个以上路径。
在其中节点群组不包含任何处理器的一些实施例中，增加存储器大小及封装密度的一种方式包含添加增加总系统存储器的网络节点。这些所添加的节点可在不需要的情况下省去处理能力。举例来说，可提供网络群组使得其支持不同种类的IO能力。网络节点可针对IO功能而非针对计算加以优化或指定。
在一些实施例中，可形成其中网络维度中的一者由IO处理器或其它类型的特殊处理器使用的网络。举例来说，在3D网络中，处理器的一个平面可包括混合IO及信号处理器。以此方式，可在IO信号平面中移动数据，而不干涉计算节点之间的数据业务。
在一些实施例中，本文中所描述的处理器可包括具有一个或一个以上处理单元(例如，核心)的单个集成电路。多个处理器可连接到每一网络节点，所述网络节点可包括在存储器与处理器之间路由数据的集成电路。处理器、网络节点及存储器可驻存于相同的集成电路封装上。在一些实施例中，此些处理器包括单核心处理器、多核心处理器或所述两者的组合。在一些实施例中，特定节点群组的处理器包含多核心处理器的一个或一个以上核心。在一些实施例中，处理器包含专用集成电路(ASIC)。
在一些实施例中，本文中所描述的网络节点包含IO驱动器电路。在一些实施例中，网络节点及存储器安置于单个封装内。在一些实施例中，网络节点、存储器及处理器安置于单个封装中。在一些实施例中，网络节点经配置以在存储器与处理器之间的数据通信期间执行错误检查及校正(ECC)。网络节点可包含经提供以跨越存储器网络在存储器与处理器之间路由数据的路由器。在一些实施例中，网络节点包含具有多个路由元件的接口设备。
在一些实施例中，本文中所论述的存储器包含动态随机存取存储器(DRAM)阵列。在一些实施例中，本文中所论述的存储器包含NAND快闪存储器阵列。在一些实施例中，本文中所论述的存储器包含NOR快闪存储器阵列。在一些实施例中，存储器大小可与网络维度成比例。本地存储器带宽也可与网络维度成比例。
尽管已图解说明及描述了各种实施例(如上所述)，但可在不背离本发明的情况下做出改变。形成本发明的一部分的附图以图解说明而非限制方式展示其中可实践标的物的各种实施例。足够详细地描述所图解说明的实施例旨在使所属领域的技术人员能够实践本文中所揭示的教示内容。由此可利用及导出其它实施例。因此，此具体实施方式不应被视为具有限制意义。
虽然本文中已图解说明及描述了若干特定实施例，但应了解，经计算以实现相同目的的任一布置均可替代所示的各种实施例。此外，虽然各种实施例已描述了冗余信号传输系统，但应理解，可在不做修改的情况下在多种已知电子系统及装置中采用各种实施例。本发明打算涵盖各种实施例的任一及所有调适或变型。在审阅以上说明后，所属领域的技术人员将明了以上实施例的组合及本文中未具体描述的其它实施例。
提供本发明的摘要以符合37C.F.R.§1.72(b)，其需要将允许读者快速获取所述技术性发明的性质的摘要。提交本摘要是基于以下理解：其将不用于解释或限制权利要求书的意义。另外，在前述实施方式中可见，出于简化本发明的目的，可将各种特征共同集合于单个实施例中。此发明方法不应解释为反映以下意图：所主张的实施例需要比每一权利要求书中所明确陈述的特征更多的特征。而是，如以上权利要求书所反映：发明性标的物在于少于单个所揭示实施例的所有特征。因此，以上权利要求书特此被并入到实施方式中，其中每一权利要求本身作为单独实施例。

Claims (26)

1.一种包括网络的芯片设备，所述网络包括： 
第一节点群组，其包含： 
第一网络节点，其耦合到第一存储器，所述第一网络节点包含第一端口、第二端口、处理器端口及跳跃端口，其中所述第一和第二端口连接到延x路径的其他节点群组的网络节点； 
第二网络节点，其耦合到第二存储器，所述第二网络节点包含第一端口、第二端口、处理器端口及跳跃端口，所述第二网络节点的所述跳跃端口耦合到所述第一网络节点的所述跳跃端口且经配置以在所述第一网络节点与所述第二网络节点之间通信，其中所述第一和第二端口连接到沿y路径的其它节点群组的网络节点，其中所述x路径与所述y路径相对于彼此在不同的维度中；及 
处理器，其耦合到所述第一网络节点的所述处理器端口且耦合到所述第二网络节点的所述处理器端口，所述处理器经配置以通过所述第一网络节点存取第一存储器且通过所述第二网络节点存取第二存储器，其中所述第一和第二网络节点适于如果存取请求消息的地址分别沿着所述x路径或y路径，则使用所述第一或第二端口在另一节点群组中横过来自处理器的存取请求消息，且如果所述存取请求消息分别沿着所述y路径或x路径，则使用所述跳跃端口在另一节点群组中横过来自处理器的存取请求消息。 
2.根据权利要求1所述的设备，其包括第二节点群组，所述第二节点群组耦合到所述第一节点群组，所述第二节点群组包括： 
第三网络节点，其耦合到存储器，所述第三网络节点包含第一端口、第二端口、处理器端口及跳跃端口； 
第四网络节点，其耦合到存储器，所述第四网络节点包含第一端口、第二端口、处理器端口及跳跃端口，所述第四网络节点的所述跳跃端口耦合到所述第三网络节点的所述跳跃端口；及 
第二处理器，其使用所述第三网络节点的所述处理器端口耦合到所述第三网络节点且使用所述第四网络节点的所述处理器端口耦合到所述第四网络节点，其中所述第三网络节点的所述第一及第二端口中的一者耦合到所述第一网络节点的所述第一及第二端 口中的一者。 
3.根据权利要求1所述的设备，其中耦合到所述第一网络节点的所述存储器包括至少一个动态随机存取存储器(DRAM)阵列。 
4.根据权利要求1所述的设备，其中所述第一网络节点包括输入/输出驱动器电路。 
5.根据权利要求1所述的设备，其中所述第一网络节点及耦合到所述第一网络节点的所述存储器安置于单个封装中。 
6.根据权利要求1所述的设备，其中所述第一网络节点、耦合到所述第一网络节点的所述存储器及耦合到所述第一网络节点的所述处理器安置于单个封装中。 
7.根据权利要求1所述的设备，其中所述第二网络节点及耦合到所述第二网络节点的所述存储器安置于单个封装中。 
8.根据权利要求1所述的设备，其中所述第二网络节点、耦合到所述第二网络节点的所述存储器及耦合到所述第二网络节点的所述处理器安置于单个封装中。 
9.根据权利要求1所述的设备，其中所述第一网络节点经配置以在所述第一存储器与所述处理器之间的数据通信期间执行错误检查及校正(ECC)。 
10.根据权利要求1所述的设备，其中耦合到所述第一网络节点的所述存储器包括NAND快闪存储器阵列。 
11.根据权利要求1所述的设备，其中耦合到所述第一网络节点的所述存储器包括NOR快闪存储器阵列。 
12.根据权利要求1所述的设备，其中耦合到所述第一网络节点的所述处理器包括单核心处理器。 
13.根据权利要求1所述的设备，其中耦合到所述第一网络节点的所述处理器包括 多核心处理器。 
14.根据权利要求1所述的设备，其中耦合到所述第一网络节点的所述处理器为多核心处理器的单个核心。 
15.根据权利要求1所述的设备，其中耦合到所述第一网络节点的所述处理器包括专用集成电路(ASIC)。 
16.根据权利要求1所述的设备，其中耦合到所述第一网络节点的所述处理器包括具有若干嵌入式处理器的衬底。 
17.一种存储器系统，其包括： 
第一网络节点，其安置于x路径中，所述第一网络节点包含第一x路径端口、第二x路径端口、第一处理器端口、第一跳跃路径端口及第二跳跃路径端口，其中所述第一x路径端口和所述第二x路径端口连接到延所述x路径的其他节点群组的网络节点； 
第二网络节点，其安置于y路径中，所述第二网络节点包含第一y路径端口、第二y路径端口、第二处理器端口及第三跳跃路径端口以及第四跳跃路径端口，其中所述第一y路径端口和所述第二y路径端口连接到沿所述y路径的其它节点群组的网络节点； 
第三网络节点，其安置于z路径中，所述第三网络节点包含第一z路径端口、第二z路径端口、第三处理器端口及第五跳跃路径端口以及第六跳跃路径端口，其中所述第一z路径端口和所述第二z路径端口连接到延所述z路径的其他节点群组的网络节点；及 
处理器，其使用所述第一处理器端口耦合到所述第一网络节点、使用所述第二处理器端口耦合到所述第二网络节点，且使用所述第三处理器端口耦合到所述第三网络节点，其中所述第一、第二和第三网络节点适于如果存取请求消息的地址分别沿着所述x路径、y路径或z路径，则使用所述第一或第二端口在另一节点群组中横过来自处理器的存取请求消息，且如果所述存取请求消息分别沿着所述y路径或z路径、x路径或z路径、x路径或y路径，则分别使用所述第一、第二、第三网络节点的跳跃端口在另一节点群组中横过来自处理器的存取请求消息； 
其中所述第一网络节点耦合到第一存储器，所述第二网络节点耦合到第二存储器，且所述第三网络节点耦合到第三存储器； 
其中所述第一跳跃路径端口及所述第二跳跃路径端口中的至少一者耦合到所述第三、第四、第五及第六跳跃路径端口中的至少一者；且 
其中所述x路径、所述y路径及所述z路径相对于彼此处于不同维度中。 
18.根据权利要求17所述的系统，其中所述第一存储器包含NOR快闪存储器阵列，且所述第二存储器包含NAND快闪存储器阵列。 
19.根据权利要求17所述的系统，其中所述第一、所述第二及所述第三网络节点中的至少一者包含路由器。 
20.根据权利要求17所述的系统，其中对应于所述x路径、所述y路径及所述z路径的网络维度中的至少一者由至少一个输入/输出处理器使用。 
21.根据权利要求17所述的系统，其中所述处理器使用一个或一个以上链路耦合到所述第一网络节点。 
22.根据权利要求17所述的系统，其中所述第一网络节点及所述处理器安置于单个封装中。 
23.根据权利要求17所述的系统，其中所述第一网络节点、所述第二网络节点、所述第三网络节点及所述处理器布置为二维网状网络。 
24.根据权利要求17所述的系统，其中所述第一网络节点、所述第二网络节点、所述第三网络节点及所述处理器布置为超立方型网络。 
25.根据权利要求17所述的系统，其中所述第一网络节点、所述第二网络节点、所述第三网络节点及所述处理器布置为环面结构。 
26.根据权利要求17所述的系统，其中所述第一网络节点、所述第二网络节点、所述第三网络节点及所述处理器布置为克劳斯网络。 
CN201080008737.8A 2009-02-19 2010-02-18 存储器网络方法、设备及系统 Active CN102326159B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/389,200 2009-02-19
US12/389,200 US8549092B2 (en) 2009-02-19 2009-02-19 Memory network methods, apparatus, and systems
PCT/US2010/024600 WO2010096569A2 (en) 2009-02-19 2010-02-18 Memory network methods, apparatus, and systems

Publications (2)

Publication Number Publication Date
CN102326159A CN102326159A (zh) 2012-01-18
CN102326159B true CN102326159B (zh) 2015-01-21

Family

ID=42560865

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080008737.8A Active CN102326159B (zh) 2009-02-19 2010-02-18 存储器网络方法、设备及系统

Country Status (7)

Country Link
US (3) US8549092B2 (zh)
EP (1) EP2399201B1 (zh)
JP (2) JP5630664B2 (zh)
KR (1) KR101549287B1 (zh)
CN (1) CN102326159B (zh)
TW (1) TWI482454B (zh)
WO (1) WO2010096569A2 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8549092B2 (en) 2009-02-19 2013-10-01 Micron Technology, Inc. Memory network methods, apparatus, and systems
US9779057B2 (en) 2009-09-11 2017-10-03 Micron Technology, Inc. Autonomous memory architecture
EP2738948A1 (en) * 2012-11-28 2014-06-04 Sercel Method for setting frequency channels in a multi-hop wireless mesh network.
US9258191B2 (en) 2012-12-13 2016-02-09 Microsoft Technology Licensing, Llc Direct network having plural distributed connections to each resource
JP5985403B2 (ja) * 2013-01-10 2016-09-06 株式会社東芝 ストレージ装置
JP6005533B2 (ja) 2013-01-17 2016-10-12 株式会社東芝 記憶装置および記憶方法
US10089043B2 (en) 2013-03-15 2018-10-02 Micron Technology, Inc. Apparatus and methods for a distributed memory system including memory nodes
US9952975B2 (en) * 2013-04-30 2018-04-24 Hewlett Packard Enterprise Development Lp Memory network to route memory traffic and I/O traffic
US9779138B2 (en) 2013-08-13 2017-10-03 Micron Technology, Inc. Methods and systems for autonomous memory searching
JP5931816B2 (ja) 2013-08-22 2016-06-08 株式会社東芝 ストレージ装置
JP5902137B2 (ja) 2013-09-24 2016-04-13 株式会社東芝 ストレージシステム
US10003675B2 (en) 2013-12-02 2018-06-19 Micron Technology, Inc. Packet processor receiving packets containing instructions, data, and starting location and generating packets containing instructions and data
US9558143B2 (en) 2014-05-09 2017-01-31 Micron Technology, Inc. Interconnect systems and methods using hybrid memory cube links to send packetized data over different endpoints of a data handling device
US9645760B2 (en) 2015-01-29 2017-05-09 Kabushiki Kaisha Toshiba Storage system and control method thereof
JP6313237B2 (ja) * 2015-02-04 2018-04-18 東芝メモリ株式会社 ストレージシステム
WO2016173611A1 (en) * 2015-04-27 2016-11-03 Hewlett-Packard Development Company, L P Memory systems
KR101797929B1 (ko) 2015-08-26 2017-11-15 서경대학교 산학협력단 매니코어 플랫폼에서 코어에 프로세스를 할당하는 방법 및 코어 프로세스간 통신 방법
KR102665997B1 (ko) 2016-12-20 2024-05-13 에스케이하이닉스 주식회사 패킷을 부호화하는 장치 및 이를 포함하는 메모리 네트워크에서의 라우팅 방법
US12034570B2 (en) 2022-03-14 2024-07-09 T-Mobile Usa, Inc. Multi-element routing system for mobile communications
US12050532B2 (en) 2022-09-23 2024-07-30 Apple Inc. Routing circuit for computer resource topology

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3072646B2 (ja) * 1989-03-20 2000-07-31 富士通株式会社 並列計算機間通信制御方式
JPH05181816A (ja) * 1992-01-07 1993-07-23 Hitachi Ltd 並列データ処理装置及びマイクロプロセッサ
JPH0675930A (ja) * 1992-08-27 1994-03-18 Toshiba Corp 並列プロセッサシステム
JP3224963B2 (ja) 1994-08-31 2001-11-05 株式会社東芝 ネットワーク接続装置及びパケット転送方法
JPH09190418A (ja) * 1996-01-12 1997-07-22 Hitachi Ltd ネットワーク制御方法
JP3860257B2 (ja) * 1996-06-28 2006-12-20 富士通株式会社 チャネルの決定方法
US6289021B1 (en) 1997-01-24 2001-09-11 Interactic Holdings, Llc Scaleable low-latency switch for usage in an interconnect structure
US6424659B2 (en) * 1998-07-17 2002-07-23 Network Equipment Technologies, Inc. Multi-layer switching apparatus and method
US7538694B2 (en) * 1999-01-29 2009-05-26 Mossman Holdings Llc Network device with improved storage density and access speed using compression techniques
US7104804B2 (en) * 2000-07-03 2006-09-12 Advanced Interconnect Solutions Method and apparatus for memory module circuit interconnection
JP4290320B2 (ja) * 2000-09-28 2009-07-01 富士通株式会社 ルーチング装置
US7299266B2 (en) 2002-09-05 2007-11-20 International Business Machines Corporation Memory management offload for RDMA enabled network adapters
US7788310B2 (en) 2004-07-08 2010-08-31 International Business Machines Corporation Multi-dimensional transform for distributed memory network
US8117288B2 (en) * 2004-10-12 2012-02-14 International Business Machines Corporation Optimizing layout of an application on a massively parallel supercomputer
US7603137B1 (en) * 2005-01-27 2009-10-13 Verizon Corporate Services Group Inc. & BBN Technologies Corp. Hybrid communications link
WO2007051029A1 (en) * 2005-10-27 2007-05-03 Qualcomm Incorporated A method and apparatus for generating a permutation for forward link hopping in wireless communication system
US7725573B2 (en) * 2005-11-29 2010-05-25 Intel Corporation Methods and apparatus for supporting agile run-time network systems via identification and execution of most efficient application code in view of changing network traffic conditions
US8150946B2 (en) * 2006-04-21 2012-04-03 Oracle America, Inc. Proximity-based memory allocation in a distributed memory system
US7836220B2 (en) 2006-08-17 2010-11-16 Apple Inc. Network direct memory access
US8160056B2 (en) * 2006-09-08 2012-04-17 At&T Intellectual Property Ii, Lp Systems, devices, and methods for network routing
KR100801710B1 (ko) * 2006-09-29 2008-02-11 삼성전자주식회사 비휘발성 메모리 장치 및 이 장치를 구비하는 메모리시스템.
JP5078347B2 (ja) * 2006-12-28 2012-11-21 インターナショナル・ビジネス・マシーンズ・コーポレーション 複数のノードを有するコンピュータ・システムの故障ノードをフェイルオーバー（修復）する方法
US7843929B2 (en) * 2007-04-20 2010-11-30 Cray Inc. Flexible routing tables for a high-radix router
US20090019258A1 (en) 2007-07-09 2009-01-15 Shi Justin Y Fault tolerant self-optimizing multi-processor system and method thereof
US7623365B2 (en) 2007-08-29 2009-11-24 Micron Technology, Inc. Memory device interface methods, apparatus, and systems
US8285789B2 (en) * 2007-10-05 2012-10-09 Intel Corporation Flattened butterfly processor interconnect network
US7603428B2 (en) * 2008-02-05 2009-10-13 Raptor Networks Technology, Inc. Software application striping
CN101222346B (zh) * 2008-01-22 2013-04-17 张建中 一种可进行单源组播交互和多源组播交互的方法和装置以及系统
US9229887B2 (en) 2008-02-19 2016-01-05 Micron Technology, Inc. Memory device with network on chip methods, apparatus, and systems
US8019966B2 (en) * 2008-06-09 2011-09-13 International Business Machines Corporation Data sharing utilizing virtual memory having a shared paging space
US8656082B2 (en) * 2008-08-05 2014-02-18 Micron Technology, Inc. Flexible and expandable memory architectures
US20100049942A1 (en) * 2008-08-20 2010-02-25 John Kim Dragonfly processor interconnect network
US20100162265A1 (en) * 2008-12-23 2010-06-24 Marco Heddes System-On-A-Chip Employing A Network Of Nodes That Utilize Logical Channels And Logical Mux Channels For Communicating Messages Therebetween
US8549092B2 (en) 2009-02-19 2013-10-01 Micron Technology, Inc. Memory network methods, apparatus, and systems

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
A Layer-Multiplexed 3D On-Chip Network Architecture;Rohit Sunkam Ramanujam et al;《IEEE EMBEDDED SYSTEMS LETTERS》;20090831;第1卷(第2期);全文 *
A Novel Architecture of the 3D Stacked MRAM L2 Cache for CMPs;Guangyu Sun et al;《IEEE 15th International Symposium on High Performance Computer Architecture》;20090218;全文 *
A Novel Dimensionally-Decomposed Router for On-Chip Communication in 3D Architectures;Jongman Kim et al;《Proceedings of the 34th annual international symposium on Computer architecture》;20070531;第35卷(第2期);全文 *
Design and Management of 3D Chip Multiprocessors Using Network-in-Memory;Feihui Li et al;《Proceedings of the 33rd annual international symposium on Computer Architecture》;20060531;第34卷(第2期);参见图7、8，第3.2节，第3.3节第1段，第133页左栏最后1段-右栏第1段 *
Tightly-Coupled Multi-Layer Topologies for 3-D NoCs;Hiroki Matsutani et al;《International Conference on Parallel Processing》;20070914;全文 *

Also Published As

Publication number Publication date
TW201036366A (en) 2010-10-01
JP5877872B2 (ja) 2016-03-08
KR101549287B1 (ko) 2015-09-01
US20180159933A1 (en) 2018-06-07
JP2012518843A (ja) 2012-08-16
US8549092B2 (en) 2013-10-01
WO2010096569A2 (en) 2010-08-26
EP2399201A4 (en) 2013-07-17
KR20110123774A (ko) 2011-11-15
EP2399201A2 (en) 2011-12-28
JP5630664B2 (ja) 2014-11-26
TWI482454B (zh) 2015-04-21
CN102326159A (zh) 2012-01-18
WO2010096569A3 (en) 2010-12-16
US20140032701A1 (en) 2014-01-30
EP2399201B1 (en) 2014-09-03
US20100211721A1 (en) 2010-08-19
JP2014157628A (ja) 2014-08-28
US10681136B2 (en) 2020-06-09

Similar Documents

Publication Publication Date Title
CN102326159B (zh) 存储器网络方法、设备及系统
US8819611B2 (en) Asymmetric mesh NoC topologies
US10409766B2 (en) Computer subsystem and computer system with composite nodes in an interconnection structure
US9160617B2 (en) Faulty core recovery mechanisms for a three-dimensional network on a processor array
US9137098B2 (en) T-Star interconnection network topology
CN102141975B (zh) 计算机系统
EP3226490B1 (en) Optical network-on-chip, optical router and signal transmission method
US8990616B2 (en) Final faulty core recovery mechanisms for a two-dimensional network on a processor array
CN101002444A (zh) 用于分组交换控制的集成电路和方法
CN101834789A (zh) 面向包-电路交换片上路由器的回退转向路由算法及所用路由器
US11983481B2 (en) Software-defined wafer-level switching system design method and apparatus
CN103473210A (zh) 多芯核三维芯片的拓扑系统和数据包路由方法
CN105095148A (zh) 一种混合型三维片上网络
CN114448862A (zh) 基于3d片上网络的数据传输方法、装置、设备和介质
CN102394922A (zh) 分布式集群文件系统及文件访问方法
Cai et al. Deadlock-free adaptive routing based on the repetitive turn model for 3D network-on-chip
US20120173604A1 (en) Data center system, reconfigurable node, reconfigurable node controlling method and reconfigurable node control program
US20240048508A1 (en) Mixed-Dimension Order Routing
CN117951079A (zh) 一种片上网络、芯片及芯片中数据传输方法
CN117896308A (zh) 一种2D Mesh的多故障容错路由方法和路由装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant