CN102792288A - 可配置的互连系统 - Google Patents

可配置的互连系统 Download PDF

Info

Publication number
CN102792288A
CN102792288A CN2010800592165A CN201080059216A CN102792288A CN 102792288 A CN102792288 A CN 102792288A CN 2010800592165 A CN2010800592165 A CN 2010800592165A CN 201080059216 A CN201080059216 A CN 201080059216A CN 102792288 A CN102792288 A CN 102792288A
Authority
CN
China
Prior art keywords
module
bus
memory
connector
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010800592165A
Other languages
English (en)
Inventor
乔恩·C.R.·班尼特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Violin Memory Inc
Original Assignee
Violin Memory Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Violin Memory Inc filed Critical Violin Memory Inc
Publication of CN102792288A publication Critical patent/CN102792288A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/16—Handling requests for interconnection or transfer for access to memory bus
    • G06F13/1668—Details of memory controller
    • G06F13/1684—Details of memory controller using multiple buses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/36—Handling requests for interconnection or transfer for access to common bus or bus system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/40—Bus structure
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C19/00—Digital stores in which the information is moved stepwise, e.g. shift registers
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03K—PULSE TECHNIQUE
    • H03K19/00—Logic circuits, i.e. having at least two inputs acting on one output; Inverting circuits
    • H03K19/02—Logic circuits, i.e. having at least two inputs acting on one output; Inverting circuits using specified components
    • H03K19/17—Logic circuits, i.e. having at least two inputs acting on one output; Inverting circuits using specified components using twistors
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Memory System (AREA)
  • Hardware Redundancy (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)

Abstract

本发明涉及一种互连系统、装置及方法，其中所述主板可能被少于所有的模块组装，被设计为接受保持一个设置以便在模块故障、存储控制器故障或其结合的情况下，保持剩余模块的连接性。当使用所述存储器的RAID组织将数据存储在模块上，所述数据可能被重构为备用模块。所述系统也通过增加附加的存储器模块提供存储器的有序的增加扩展，而保持连接性能。

Description

可配置的互连系统
本申请要求2009年12月23日申请的、申请号为61/289,819的美国临时专利申请的优先权，该美国临时专利申请在此通过引用被并入作为本发明的一部分。
背景技术
当代的计算系统内存架构可能产生于价格、性能和升级的能力之间的折衷，比如，系统的全部内存容量。
存储系统可能通过模块的使用提供一种升级路径。这样的模块可能是使用工业标准接口的磁盘，双列直插固态内存模块(DIMM)和类似的。
可能采用插口和连接器接口，其可使将被内存模块转移和替换的每个模块更快或包含更高的容量，或至少用于替换失效的内存模块。存储系统可能配置有空置插口或小于全容量的模块（例如，空插口/连接器）并在以后用内存扩展模型提供增强的容量。通常，这样的存储系统不能被重新配置或升级而在数据库系统中操作。这些限制的原因可能是硬件相关的或软件相关的。通常数据总线架构对数据总线的连续性、数据总线的终端或类似的加以限制。
在计算系统中使用的存储器包括，但不限于，所有类型的随机访问存储器(RAM)（例如，S-RAM,D-RAM）；可编程只读存储器(PROM)；电可改变只读存储器(EPROM)；闪速存储器，包括磁阻随机访问存储器(MRAM)的所有类型的磁存储器，铁电随机访问存储器(FRAM或FeRAM)以及基于纳米管/非易失性随机访问存储器（NRAM）和相变存储器(PRAM)，与磁盘和磁带存储介质。多种工业标准接口被已知并使用。这些存储器类型中的一些是在市场上可买到的，然而其他的仍处于原型或研究阶段。所述存储系统可以是易失性存储器、非易失性存储器或存储器类型与技术的结合。其他的可能适于在未来使用的存储器包括量子设备和类似的。
需要提供灵活的和有成本效益的升级功能而提供与微处理器工作频率同步的高带宽、增强的接口带宽和诸如此类的存储系统和计算系统架构或互连拓扑结构。或者，也需要较低的能量消耗、较低的内存延迟和用于相同或相似的操作特性的相似的属性。
这样的存储系统可能被用于其中数据完整性和永久性具有重要性的数据中心和其他计算应用程序中，并且当一个或更多的其中的组件已经失败时，这样的存储系统的性能在所述存储系统和数据中心的设计、参数、结构和运算中是重大考虑因素。同样地，这样的系统的有效修复对在第一存储器设备故障可以被诊断和服务的时间内发生两个存储器设备故障的概率具有影响。
当一个存储系统意在用于通过使用设备存储用于相对快速检索的大量数据，比如包括客户－服务器配置、远程通信网络、存储区域网络或诸如此类的计算机，所述存储系统的架构可能考虑到多种设计标准，比如，平衡访问速度、可靠性、可扩展性或可升级性、费用、可维护性。
存储的数据可能被备份到其他设备（可能是任何存储器类型，比如包括固态设备、旋转的磁性介质、磁带或光盘）。所述备份设备中的一种可能是具有已知的长期的数据保留性能的永久存储介质类型，比如磁带、磁盘、闪盘或诸如此类，以便不受电源故障的影响。为了安全或灾难复原的目的，所述数据或在其上数据已经被备份存储的介质可能被物理地移动或传送到另一个位置。
本地到所述存储系统，使用RAID(最初为价格便宜的磁盘的冗余阵列，但现在应用于使用任何存储器类型的系统)用于以可以容许所述存储系统中一个或更多的存储器电路故障的形式存储数据是已知的。
可以在本发明人的名称为“用于在非易失性介质中存储数据的方法和系统”的US 12/273,410专利中发现可用于设置在总线架构内的易失性或非易失性内存模块的这样的RAID存储系统的一个例子，该专利在此通过引用被并入作为本发明的一部分。
适于存储用于快速检索的大量数据的存储系统的例子可以在本发明人的名称为“互连系统”的US 11/405,083专利中发现，该专利在此通过引用被并入作为本发明的一部分。
存储系统的购买者可能为存储系统指定机箱或外壳，少于完全以内存模块组装（populated）。也就是说，可能当前不需要已经安装所述架构、主板、机箱或类似的可以最终接受的最大量内存的存储系统。这可以延伸到存储控制器、电源供应器和其他辅助设备。考虑到半导体设备的价格的历史趋势，只购买当前需要的内存量的策略可能是吸引人的。
但是，一旦存储系统投入使用，并且数据已经被存储，当添加内存到存储系统而没有中断所述设备的连续运算时，这样的添加可能出现操作困难。
发明内容
一种存储系统具有：主板、多个连接器和多个点对点总线片段，配置为每个连接器连接两个或更多总线片段的终端。一个存储控制器与至少一个总线片段连接。所述设置被配置为当多个存储器模块插入所述连接器并且多个存储器模块的数量M小于或等于所述连接器的数量N，可能保持所述存储控制器和多个存储器模块之间的在第一种情形下的连接，该情形下多个存储器模块中的一个存储器模块是无效的或从各自的连接器被移除。多个存储器模块中的至少一些具有可配置的交换器，用于将在第一总线片段接收的信号路由到第二总线片段、第三总线片段中的一个，或具有与所述存储器模块相关的存储器电路。
一种存储系统具有：主板、多个连接器和多个点对点总线片段，配置为每个连接器连接两个或更多总线片段的一个终端。一个存储控制器与至少一个总线片段连接。所述设置被配置为当多个存储器模块插入所述连接器并且多个存储器模块的数量M小于或等于所述连接器的数量N，可能保持所述存储控制器和多个存储器模块之间的在第一种情形下的连接，该情形下多个存储器模块中的一个存储器模块是无效的或从各自的连接器被移除。多个存储器模块中的至少一些具有可配置的交换器，用于将在第一总线片段接收的信号路由到第二总线片段、第三总线片段中的一个，或具有与所述存储器模块相关的存储器电路。
在另一个方面，一种互连系统包括主板、多个连接器和多个点对点总线片段，配置为多个第一连接器的第一组第一连接器的每个连接器连接两个或更多的第一总线片段。一个接口连接多个第一总线片段的至少一个总线片段的终端，所述第一总线片段具有连接多个第一连接器中的一个连接器的另外的终端。所述第一接口适于连接模块控制器，并且多个连接器中的一个连接器适于连接系统模块。所述连接器、所述接口和所述总线片段被设置为当至少两个连接器没有安装系统模块时保持任意两个连接器之间的连接。
附图说明
图1是包含到用户设备的接口的存储系统的方框图；
图2a显示具有可配置的交换单元(CSE)的作为交换器的存储器模块(MM)的方框图；并且图2b显示具有存储器电路的配置为交换器的存储器模块(MM)的方框图；
图3是图2b的存储器的方框图，其中所述存储器电路元件包含存储器控制器；
图4是包含多个存储控制器和多组互连存储器模块的存储系统的方框图；
图5a是如图4中所示的第一组存储器模块的连接器和总线片段的一个互连图，其中不是所有的连接器都具有插入其中的存储器模块；并且图5b是如图4中所示的第一组存储器模块的连接器和总线片段的另一个互连图，其中不是所有的连接器都具有插入其中的存储器模块；
图6a是如图4中所示的第一组存储器模块的连接器和总线片段的一个互连图，其中不是所有的连接器都具有插入其中的存储器模块，并且其中配置模块用于提供附加的连接；并且图6b是如图4中所示的第一组存储器模块的连接器和总线片段的一个互连图，其中不是所有的连接器都具有插入其中的存储器模块，并且其中配置模块和到第二存储控制器的连接用于提供附加的连接；
图7a,b是图6a,b的详细示图，说明配置模块的使用，其中所述模块被用于按总线发送到另一组存储器模块、存储控制器或提供组内的连接；
图8是其中两组存储器模块连接到三个存储控制器的另一个例子的方框图；
图9a，b说明一个存储器模块被两个特定的模块的故障隔离并且通过一个模块控制器使通信保持可能的情况；
图10是显示存储控制器通过PCI-e交换器网络被进一步互连以便提供多个可替换的通信路径；
图11是图11的输入/输出模块的方框图，其中从用户设备或接口接收的地址数据被用于将所述数据发送到适当的存储控制器；
图12a是包含单个控制器和存储器树的存储系统的方框图，其中所述树的叶子通过一个配置模块提供连接；并且，图12b是其中所述配置模块中的一个被两个到存储控制器的接口替换的图12a的存储系统的方框图；
图13是逻辑连接图（左手边）和通过存储控制器（未示）互连的一对存储器树的主板设置（右手边）；
图14是用于提供图13的所述存储器树的互连的存储控制器的逻辑连接图；
图15是图13的存储器树对的逻辑连接图，其中附加的总线互连路径被提供，和（右手边）主板设置，其中两个RAID 4＋1组和一个备用模块被组装（populated）。
图16是图13的存储器树对的逻辑连接图，其中附加的总线互连路径被提供，和（右手边）主板设置，其中四个RAID 4＋1组和一个备用模块被组装（populated）。
图17是图13的存储器树对的逻辑连接图，其中附加的总线互连路径被提供，和（右手边）主板设置，其中六个RAID 4＋1组和两个备用模块被组装（populated）（完全组装）。
图18是一对存储器树的逻辑连接图（左手边）和主板设置（右手边），其中存储器树对意在连接到类似的存储器树对；
图19是图19的两个存储器设置被连接以形成一个64模块存储系统的例子；
图20是一对存储器树的逻辑连接图（左手边）和主板设置（右手边）的例子，其中存储器树对意在连接到类似的存储器树对，类似于图18中在右手和左手界面显示的；
图21是两个图19的存储器设置和图20的存储器设置互连以形成96模块存储系统的例子；
图22显示印刷电路主板的总线设置的示意图表示，其中所述总线布局适于图16的设置；
图23是图22的总线设置的一部分的细节图，其中在各个印刷电路板层四条不同的总线一条在另一条上放置；并且
图24是图22的总线设置的另一个细节图，其中一条总线被布置在所述印刷电路板的四个不同的层上。
具体实施方式
根据附图可以更好地理解示例实施例，但这些实施例不意在具有限定性质。如在相同或不同的附图中编号的元件执行相等的功能。元素可以通过首字母缩略词被标号或标注，或标号又标注，并且表示法之间的选择至少为了清楚而做出，所以用数字标注的一个元件和用字母缩略词或字母数字指示符标注的相同的元件不应当在那个基础上被区分。
将理解到描述的方法和附图中显示的装置可能以机器可执行的指令，例如软件或硬件，或两者的结合，来配置或体现。所述指令可能被用于使得通用计算机、专用处理器，比如数字信号处理器DSP、阵列处理器、图形处理器或诸如此类用所述指令编程以执行描述的操作。可替代地，可能通过包含用于执行描述的所述操作的硬连接逻辑或固件指令的特定的硬件组件，或通过编程的计算机组件和可能包含模拟电路的定制的硬件组件的任意结合来执行所述操作。
所述方法可能至少部分地被提供为可能包括机器可读介质的计算机程序产品，在所述机器可读介质上已经存储了可以用于为计算机（或其他电子设备）编程以执行所述方法的指令。为了本说明书的目的，术语“机器可读介质”应当被采用包含能够存储或编码用于通过计算机器或专用硬件执行并使得所述机器或专用硬件执行本发明的任一方法或功能的指令序列或数据的任何介质。术语“机器可读介质”应当相应地被采用包括，但不限于半导体和其他固态存储器、光盘和磁盘、磁存储器和光存储器。
比如，但不作为限制，机器可读介质可以包括只读存储器(ROM)、所有类型的随机访问存储器(RAM)（例如，S-RAM,D-RAM）、可编程只读存储器(PROM)、电可改变只读存储器(EPROM)、闪速存储器、磁阻随机访问存储器或磁盘存储介质，或其他后来可能发展的具有类似属性的存储器技术。
此外，通常在本领域中提起一种形式或另一种形式（例如，程序、过程、流程、应用、模块、算法或逻辑）的软件执行动作或产生结果。本领域技术人员众所周知，这样的表达只是说明通过计算机或相等设备执行所述软件使得计算机或相等设备的处理器执行动作、产品或结果的简便的方式。
当描述一个特定的例子，所述例子可能包括特定的特征、结构或特性，但可能不需要每个例子都包括所述特定的特征、结构或特性。这不应当作为建议或暗示两个或更多例子的特征、结构或特性不应当或不能整体或部分地被结合，除非当这样的结合是明确排除的。当一个特定的特征、结构或特性被描述与一个例子相关，本领域技术人员可以与另一个例子相关实行这样的特征、结构或特性，不论是否被明确描述。
此处描述的连接器或连接器接口，比如存储器模块连接器接口，不限于公连接器或接口结合母连接器或接口的物理上可分离的接口。连接器接口也包括任何类型的物理接口或连接，比如来自存储器模块的引线、锡球或连接被焊接或以其他方式电连接到电路板的接口。比如，以层压模具结构的方式，多个集成电路模具（如，存储器设备和缓冲器设备）可能被层压在相互的顶部，具有形成底部的基板和通过连接器接口的球形网格阵列类型到存储控制器或处理器的接口。作为另一个例子，所述存储器设备和缓冲器设备可能通过灵活的磁带互连和通过球形网格阵列类型连接器接口或物理上可分离的插座类型连接器接口中的一个到存储控制器的接口来互连。连接类型可能包括集成电路芯片之间的接口、在基板上、基板之间或在印刷电路板上或诸如此类的互连导体。
存储器模块可能包括存储器并且也可能具有用于所述存储器的控制器，本地存储控制器、可能是可配置的交换单元(CSE)的交换器，比如在US 11/405,083中描述的已经通过引用并入的交换器，或其他交换器，并且也可能具有其他用于处理、发送和接收信号的电路。但是，存储器模块可能只包括存储器，和一个或更多的可能分开安装的元件。对于特定电路的功能的配置或系统的特别的架构水平，或特定的物理结构或计算机程序产品中的软件程序意在方便讨论，本领域技术人员将理解到实际的物理方面和计算方面可能以多种同等方式设置。
“总线”意味着一条信号线或每个具有一个或更多的接口位置或用于“收发”（例如，接收，发送或两者）的电路的多条信号线。每个接口可能连接或耦合到一个收发器（例如，一个发送接收器），或者发送器电路、接收器电路中的一个。连接或耦合可以通过电学地、光学地、磁学地或同等技术的方式提供。
此处词语“总线”的使用不应当解释为限制一个或更多模块之间，或模块与存储控制器或其他接口之间的连接的特定的硬件实现，或者建议贯穿一种特定的产品使用一个特定的总线架构。多种总线设置和架构可以被同等使用。总线片段可以作为主板上的多个印刷电路布线来实现，如电缆与连接器、点对点线变形器、光纤或导波管或类似的。
其他的电子连接和组件被用于提供满足如电源、地、辅助发信号和控制或诸如此类的附加系统要求。这样的附加连接或组件可能偶尔被描述以使本说明书清楚。但是，这样的附加连接或组件对于本领域技术人员是众所周知的，并且在任何例子中缺少这些连接或组件的描述不应当作为排除它们的暗示。
图1显示存储系统5的简化的例子，其中一个用户设备10，其可能是计算机、一个具有网络的接口、一个具有交换结构的接口或诸如此类连接到一个存储控制器20，所述存储控制器20被配置为将数据路由到多个模块30。所述用户设备10可能是任何请求者或存储在所述存储系统5内的数据源，所述存储系统包括所述互连模块30和所述控制器20。
在图1的例子中，所述模块30被设置在二元树中，通过总线片段80连接。可能使用其他的配置包括菊链、三元树、四元树或诸如此类。通常，所述模块30的输入和输出能够通过所述总线片段80连接到其他模块30，除了在其外围的所述树的模块30叶，并且一些可能连接到存储控制器20，或拓扑配置模块，如将在后面描述的。
一个总线片段80被显示为一条连接线。所述总线片段80可能是串行总线、并行总线或类似的，并且可能具有用于恢复或帮助连接所述总线的设备之间的数据的转移的活动组件（未显示）。所述总线可能是单向的或双向的，并且发信号和控制功能可能在所述总线(“带内”)上或通过未显示的辅助连接(“带外”)被执行。一方面，所述模块30可能是可被插接入主板（未显示）的连接的电子电路，具有配对的连接器以便与将所述连接器连接到也可能被插接入所述主板的其他模块30、存储控制器或拓扑配置模块的总线片段80通过接口通信。比如，存储器模块可能在电路板上被分组，或包括一个或更多用于固态电路的基板以便多个存储器电路、控制器和类似的可能是单一的可置换单元。可选择地，一个或更多单独的功能组件可能被配置在单独的物理对象上并且通过可以执行所需功能的任何技术互连。
图2a显示在可插接的电路卡上的可配置的交换单元(CSE)40，并且具有三个总线接口或(1,2,3)。为了方便，当与总线连接时，接口可被称为“端口”。CSE可能是具有在所述总线片段80上接收和发送数据的性能的电子电路，并且基于路由指令（可能是带内或带外），比如从所述模块30的任何端口(1,2,3)上的输入转移数据到任何端口(1,2,3)上的输出。此外，虽然没有显示或应用在在图2a的配置中，所述CSE也可能将数据路由到位于所述模块30上的存储器电路、外部接口或计算电路的其他存储器。
所述CSE可能是电子电路比如现场可编程门阵列(FPGA)、特定用途集成电路(ASIC)、微处理器或类似的，具有足够的内存存储任何需要的配置数据或操作指令，或缓冲正通过所述模块30转移的数据。可替代地，所述存储器可能被所述CSE电路访问并可能位于另一物理对象上。
另一方面，模块30b可能如图2b中被配置，其中所述CSE40的一个输出设置有到所述模块30上的存储器电路50的接口。其中地址信息由所述模块30上的所述CSE40接收，并且被执行的功能是读或写数据到位于本地模块30的存储器，所述CSE40为数据或命令到所述本地存储器50提供本地输入/输出功能。如图3所示，所述本地存储器50可能包括接口，其可能是模块存储控制器60和相关的存储器设备70。所述存储器设备70可能是比如，使用FLASH,DRAM或其他适当的存储器类型的一个或更多的存储器片。
虽然所述CSE 40、所述模块存储控制器60和所述存储器设备70被单独显示，这不意在限制用于执行所述功能的所述电路和软件的配置。根据被用于设计、成本和其他工程上的考虑时的技术，这样的功能可能被分开或整合。所述模块上的所述存储器的架构可能是线性总线、多个总线、树或类似的，并且不需要与总体存储系统5的相同。
在另一个例子中，存储系统包含多个存储控制器20，和多个存储器模块30，并且可能如图4所示设置。这里，28个互连存储器模块的组与一个或更多存储控制器20连接。存储控制器20可能具有单一的端口作为到所述存储器模块的接口，或多个端口，取决于要求的吞吐量和其他考虑。在一个例子中，28个模块的三个组(G1,G2,G3)可能被装配为一个存储系统5。可替代地，互连模型的单一的组或者两个或更多的组可能被使用。一个组中的模型30的数量只为了说明的目的被选择，并且不应当考虑为限制。虽然模型30可能通常具有CSE40和包含模型存储控制器60的存储器，模型30可能包含用作数据路由交换或另外的交换类型的CSE 40。
所述存储系统的拓扑被设置为总线片段80可能连接在存储器模块的两个组G之间，如果超过一个组的模块存在，使用拓扑配置模块90。拓扑配置模块90的功能将在后面描述。目前，每个拓扑配置模块90可能被认为是两个总线片段80之间的被动连接。
模块的这样的设置和连接可能显示错误的容错特性。通常，两个任意模块30故障或两个任意模块控制器20故障而不损失到所述系统5的剩余的模块30的连接性可能是容许的。假如数据已经存储在模块30中以便执行RAID的数据存储系统，在故障可能被恢复的时候所述数据存储在所述存储系统中。对于RAID 6系统，即使故障的模块中的数据在模块的相同的RAID组中，两个模块故障可能被容许。
当数据正以高度可靠的方式存储，每一个检测到的组件故障应当开始修复（维护）动作，以便故障的组件可以在下一个组件故障之前被替换。这样的维护动作可能也包括将数据恢复到备用模块，和可期望避免数据丢失的任何其他的预防步骤。数据的恢复可能开始于故障的检测。一些维护动作，如故障模块的替换可能需要人工的或机械的介入，然而其他的可能自动开始和执行。当在检测故障的时候有一些现存的未检测的组件故障时，第二故障也可能被认为也已经发生，或第二故障在修复过程中被引起。
在图4中显示的配置可能被认为完全以模块30组装（populated）。但是，可能有不是所有的连接到所述总线片段80的位置都被所述模块30占用的情况。一种中间情况可能发生，比如，当只有三个组G中的一个有模块出现。
图5a显示具有模块的最低组装(population)的组G1的简化示意图。该图可能表示主板上的连接器110，每个连接器110终接三个总线片段80。其中模块30已经插入连接器110的主板上的位置显示为有阴影线。在这个例子中，存储控制器20被假定具有6个总线接口或端口A0-A5，并且每个接口可能与安装的存储器模块30中的其中之一的一个端口通信。比如，所述存储控制器20可能是具有5个CSE交换器的二元树以提供6端口连接的单一的存储控制器20，或任何其他的为特定目的设计的设备。
所述总线片段80在所述连接器110之间连接应当被认为是逻辑连接。也就是说，所述线80在附图中的物理长度不表示所述总线片段80的长度，主板上所述连接器110的特定的物理位置也不是必然意在由图5中的连接器110的位置表示。当所述系统被设计时，考虑到其他因素，如所述模块30上的信号迹线的长度，实际的总线片段长度和连接器位置将被确定。
每个所述的6存储器模块30与所述存储控制器20的一个端口通信。通过使用总计6个存储器模块，4+1RAID配置是可能的，并且具有已经作为备用模块安装的附加模块。也就是说，如果一个故障发生在所述RAID组的模块的其中之一内，用于所述故障模块的数据可能被重构进所述备用的模块，不用等待所述故障模块的替换。假设所述故障模块具有所述模块可能通过“热交换”被替换的类型，所述故障模块可能用工作模块替换，并且该替换的工作模块成为备用模块。在这个例子中，没有设置到所述存储控制器B或到存储器组G2或G3的连接，因为没有安装于其相关的总线片段连接存储控制器B或存储器组G2或G3的连接器的模块30。此外，单个存储器模块之间的连接通过存储控制器A被影响，并且不需要任何使连接器相互连接的总线链路。
如图5b所示，在另一个组装增加（increment）中，总计16个存储器模块被安装。所述16模块可能被分配为三个4+1RAID组加上一个备用模块。所述备用模块可能是显示为具有安装的存储器模块（阴影框）的任一位置。模块的其他模式也可能具有相同或相似的性能。特别地，所述模式可能沿所述图的垂直中心线左右翻转。
安装的模块的这种设置与图5a的具有类型的属性，除了故障现在可能发生在任何RAID组的任何安装的模块30中。通过所述存储控制器端口A0-A5，或通过经由其他模块30和总线片段80路由数据，使用所述模块30的所述CSE 40，保持与所有操作模块30的连接，以便所述故障模块的数据可以被恢复入所述工作的备用模块。可能观察到两个模块可能故障并且所述连接仍然足以重构与所述故障模块关联的两个RAID组的情况。但是，如果所述存储系统被认为实质上被填满数据，至少一个所述故障模块可能需要被替换。可替代地，超过一个备用模块可能被安装。
将物理模块分配到RAID组的适应性可能是一个设计目标。其中所述存储系统5的任何模块30可能被分配给特定的RAID组，所述存储系统可能自由地适应模块30在任意位置的故障的结果，而不必再次将恢复的数据复制到已经替换所述故障模块的模块。等待开始数据的恢复直到故障的模块已经被替换，以便数据能够被恢复到所述故障模块位置中，这样将延迟所述恢复进程的开始，并且这可能被认为引起数据丢失的更高风险。然而，取决于所述存储系统意在进行的应用，这样的方法可以考虑。
在图5b的配置中，一些安装在连接器中的模块能够与直接或间接通过一个或更多中间模块30经由与其相关的总线片段80安装在连接器中的其他模块通信。具有这样的连接的模块可能在图5b中被区分为由更粗的线连接。当前未使用的总线片段以与先前相同的线宽显示。
图6a说明其中安装了26个模块的组G1，并且具有五个(5)4+1RAID和一个备用模块。应当注意安装其余两个模块以达到28的总数是同样可能的，并且将热后备的数量提高到3个。通过组装存储器组的所有28个连接器，所述气流流型（air flow pattern）可能会更规则，虽然虚拟模块也将起作用。
当26或28模块被安装，现在可能对提供存储器组G1的第三列中的模块之间的连接是有益的。先前，所述总线片段80可能被用于连接存储控制器B或没有服务实际功能的另一个存储器组G2或G3。这里，可能是被动或主动的配置模块90,91，可能被用于在存储器组G1内连接总线片段80以便在所述存储器组的模块之间提供附加的连接。在这种情况下，任何两个模块的故障不会将模块从存储控制器A或所述存储器组的任何其他模块30分离。在这种情况下，来自两个故障模块的数据可能像以前一样被重构。
将理解到这里以简化的方式描述所述存储系统5的操作，以便当存在模块故障时更好地说明连接的主题。其他的RAID配置，包括纵向和横向校验、宽条带和类似的，可能被用于完成其他系统性能目标。图6a的拓扑配置提供保持两个故障模块的连接的互连配置。
替代地，如图6b所示，两个拓扑配置模块90被用在可能已经用于连接存储器组G2和G3的所述总线片段上，而其余的总线片段可能连接第二存储控制器B的端口(B0和B1)中的两个。假设存储控制器A和B可以比如通过用户设备10在外部相互连接到所述存储系统5，所述连接将同样保持在其中具有两个故障模块和一个故障存储控制器的情形。在故障事件过程中保持模块之间的连接可能涉及通过一个或更多模块路由所述数据以便建立一条路径来替换终接在故障模块的路径。
比如，如图7a所示，所述拓扑配置模块90,91可能实现。该图显示图6b的模块的一个子集。所述拓扑配置模块90,91可能是分别插接入连接器111和112的电路板。在这个例子中，连接器111终接两个连接存储器组G1的模块的总线片段80，和两个可连接存储器组G2（如果出现）的总线片段80。所述导向G2的存储器片段80可能终接在与G2关联的相应的连接器111中。替代地，连接器111可能在G1和G2之间共享。连接器111的数量，和所述连接器111是单独的连接器还是共享的资源取决于详细的设计和电路板布线，并且显示的设置仅仅是说明性的。所述拓扑配置模块90提供连接器的引脚之间的连接以便实现与模块和存储器组的连接的需要的设置。在图7a中显示的例子中，在G1中的两个模块相互连接。使用分开的标记数字111和112是为了方便讨论插接入所述插座的设备90,91的使用，并且可能不表明所述连接器111和112不同于在位置110的那些连接器。
连接器112适于接收拓扑配置模块91。在图7a显示的设置中，连接器112终接与组G1的两个模块30连接的总线片段80、连接到组G2(如果出现)的模块30并连接到存储控制器MC-B(如果出现)的端口B0和B5的两个总线片段80。在显示的例子中，使用配置模块91，组G1的两个模块30的总线片段80被路由到MC-B的端口B0和B5。比如，在存储器组G1和存储器组G2之间的接口的每个总线片段80可能被终接于连接器111以便拓扑配置模块90可能被用于完成所述存储器组G1和G2之间的所述总线片段80的连接。
图7b显示可能使用拓扑配置模块90和91中的连接的替代设置而实现的另一个系统配置。这里，拓扑配置模块90将与组G1的两个模块30连接的两个片段80连接到每个与组G2的不同的模块30连接的两个总线片段80。拓扑配置模块91被设置为使组G1的两个模块30相互连接。
替代地，所述存储系统可以被配置被动拓扑配置模块。
虽然组件之间的特定的连接被显示在例子中，这不意在限制通过所述拓扑配置模块的两者之一做出特定的连接。此外，除被模块的组共享之外，所述拓扑配置模块可能相互被结合或分开。通常，这是关于在主板上的总线片段和模块的位置、可用的连接器引脚和诸如此类的实际的设计根据。
所述配置模块90,91内的连接被显示为连接链路，可能是被动或主动的。也就是说，所述连接器引脚之间的路由可能完全是被动连接，如印刷电路板迹线，或者可能是主动连接，如CSE或其他交换器，其比如可能是微型机械设备或诸如此类，或技术的结合。当所述连接是被动的，通过移除所述拓扑配置模块的当前版本，并插入具有所需连接的拓扑配置模块改变所述配置。
所述存储系统5的剩余部分可能不在开始配置的时候出现。也就是说，单独的主板可能提供给存储器组G2和G3，可能视需要被安装，并且可能通过以配置为实现所述虚线的配置的拓扑配置模块替换配置为实现图7中的实现连接的所述拓扑配置模块被相互连接(可能需要添加虚线模块到所述图中)。
替代地，所述用于G2和G3的主板可能与用于G1的主板集成，并且只是直到需要才组装模块。每个组的模块配置可能是完整的或部分的配置，取决于当时的系统需求。如对组G1的描述，每个所述组可能被独立操作，或者此时所述组可能被连接以形成更大的模块阵列。
图8显示其中组G1和G2被组装并且具有三个存储控制器MC-A,MC-B和MC-C的情形，虽然如果单一的存储控制器20被认为足够，任何两个存储控制器20可能被适当的拓扑配置模块91替换。所述存储控制器20被显示每个具有6个端口。但是，可能使用具有更少或更多数量端口的存储控制器20，并且可能使用附加的拓扑配置模块连接未终接于存储控制器端口中的所述总线片段80。
在另一个例子中，在具有模块组G1,G2和G3的互连系统中，比如，可能具有四个存储控制器20，MC-A到MC-D，和总量高达84个的存储器模块，其可能互相进行全通信，即使存在两个模块故障或存储控制器故障。这样的组随即发生故障的可能性是较小的；但是，在维修过程中引起故障是非常普遍的，比如，包括移除错误的模块或破坏连接器，不论假定多少程序的或物理的防护设施在适当的位置以避免其发生。
所述术语故障已经在这个意义上使用，模块30或控制器20已经变的无效、不可靠或已经达到使用寿命的终点，并且需要被更换。在某些情况下，比如，故障可能只影响存储器70、存储控制器60或CSE 40中的一个。当所述CSE 40保持有效，所述模块30可能继续在提供模块连接性方面发挥作用，虽然对于数据的存储是无效的。是否在系统的操作中考虑这样的部分故障将是策略的问题。
在图4中显示了出现三个存储器组的例子。但是，在此呈现的例子不意在限制每个组中的模块的数量、存储控制器的数量、存储控制器端口或存储器组的数量。模块的内部架构可能不同于总体系统架构，或采用一些或所有其特征，取决于分配在模块级的数据存储要求。
可能以多种方式执行系统从存储器模块的初始安装到存储器模块的更大的组的安装的扩展。在一个例子中，其中组G1总是被组装和使用，并且希望通过完整的组以提高容量，第二组的每个连接器110可能组装有一个模块30，G1的现存的拓扑配置模块保持在适当的位置。所述模块30将已经连接到适于G2的电源并被通电。然后，比如单独通过存储控制器MC-B或MC-C，或如果两者都被安装则通过两个控制器访问这样的模块。MC-C可能已经被安装或拓扑配置模块被安装在其适当的位置。G2的剩余的拓扑配置模块90，91可能被插入以便配置所述组G2。
一旦G2的模块已经被安装，比如，它们可能被初始化并且其性能通过进行预定的自我检测或通过访问每个经过所述总线系统的模块被证实。存储控制器MC，作为初始化或启动序列的一部分，可能执行发现程序，可以确定通过其在存储系统中的特定的模块位置可能通过总线片段网络直接或间接地被访问。一旦这个程序被完成，可能确定在这种情况下新的组G2的可操作性。但是，在这个时候，除了通过适当的存储控制器之间的外部路径，仍然可能没有到组G1和G2之间的连接。
当存储器组G1是完全可操作的，数据不需要流经G1的所述总线片段，其通过拓扑配置模块内部加入G1，因为模块之间存在完全的连接而没有使用。在为启动存储器组G2的准备中，这种状态可以被确定，以便移除与G1相关的所述拓扑配置模块将不影响性能。通常，当G1的所有安装模块可操作时，将出现这种情形。
所述拓扑配置模块90，91可能被影响如图7所述的存储器组G1和G2之间的虚线连接的替代的拓扑配置模块90，91替换。也就是说，然后将通过所述配置模块在存储器组G1和G2之间出现物理总线连接。
替代地，MC-B可能已经被安装，或先前安装的所述拓扑配置模块可能仍保持在适当的位置。注意虽然为了替换端口B0的连接，在图7中已经显示已经替换G1中的MC-B的所述配置模块的接线，这样的配置模块应该具有类似的接线以便至少替换B1。其余的端口B2-B5应当与G2关联并且虽然这样的拓扑配置本不应当需要完成G1的网络，这样的连接可能被包含在拓扑配置模块的设计中以便如果所述存储控制器MC-B没有被安装，可以将G2加入所述存储系统而不替换所述模块。
拓扑配置模块可以结合在一个组内的总线片段或两个组的连接的总线片段的连接对的功能，或者一个或更多总线片段到一个或更多存储控制器的端口的连接。
在用所述替代的拓扑配置模块替换安装的拓扑配置模块后，所述总线片段80在物理上连接在存储器组G1和G2之间的一些路径上。一些总线片段80可能也连接到存储控制器20的端口。在这个时候，当G1的一个模块具有模块故障时，在所述总线上数据的路由可能改变。代替经由通过所述拓扑配置模块在G1内连接的所述总线片段被路由，所述数据可能被路由进入G2以便通过具有G1的两个要求的模块之间的连接的模块30。替代地，所述数据可以通过另一个存储控制器MC-B被路由，假设所述控制器已经被安装。
当G1和G2均被安装、配置并且是有效的，由在所述安装的模块上的存储器表示的存储空间被增加。在这个例子中，它已经被翻倍。所述存储系统可能被认为由逻辑地址空间表示，映射到物理地址空间。由于这样的逻辑地址空间已经被翻倍，并且新的数据可以写入所述增加的存储器。这样的物理存储器可能被配置为RAID组，或以其他方式与现存的存储的数据一致；或具有另外的RAID配置或一些其他的配置，假设所述存储系统的操作对存储器组的不同的功能其作用。
组G1或G2的模块出现故障，组G1或G2的备用模块可能被用于存储使用RAID重构的数据只要保持存储数据的完整性。在某些情况下，选择的模块可能被限定在特定的位置，比如在故障已经发射的存储器组内。但是，可能不需要这样的限制，取决于系统配置和采用的RAID策略。如果FLASH存储器被使用，经过一段时间，由于模块的故障或与模块的耗损均衡或耗尽更换相关的数据的移动，所述数据可能最终位于不同于最初存储所述数据的模块集的模块内。这样的改变可能以所述逻辑地址空间和所述物理地址空间之间的映射表说明。
当所述模块被分配到RAID组而没有考虑它们在存储器组的位置，可能出现的情况是，除了两个模块故障，其中每个模块在一个单独的RAID组，所述故障的模块断开在RAID组内的另一个模块与一个故障模块共同的连接。这种情形被显示在图9a中，其对应于图6b的配置。在这样的情形中，间接通过所述存储控制器MC-B与分离的模块通信是可能的。当然MC-A和MC-B将需要相互连接，至少间接连接，以使MC-A和MC-B之间的数据路径存在。这可能通过用户设备10，外部交换结构或类似的。
通过将所述存储系统作为网络分析，可能区分易受被两个模块故障中断影响的模块，并建立分配规则：比如所述故障的模块不分配给相同的RAID组。可选择地，作为预防，有被第二故障中断的危险的存储器模块中的数据可能立即被复制到备用模块。然后已经被复制的模块可能被擦除并作为备用存储器模块使用。在这些情况下使用外部间接连接不应当对总体系统吞吐量是负担因为间接路径被用于只访问单独的模块。
图10中显示了适于间接访问的数据存储系统。相关的所述存储控制器MC-A到MC-D通过PCIe交换器25的结构互连，配置为通过所述PCIe交换器至少两个存储控制器互相连接。比如，MC-A和MC-B通过PCIe交换器A和B相互连接。在一方面，到MC-A的输入通过PCIe-A路由，并且到MC-B的输入通过PCIe-B路由。但是，在PCIe-B和MC-A之间存在一个替代的路径。同样地，在PCIe-A和MC-B之间存在一个替代的路径。所以，无论什么时候需要，用于更直接地连接到MC-A的模块的数据可能通过将所述数据转发到PCIe-B并使用终接在PCIe-B数据路径被路由到相同的模块以影响数据传送。可以看出来自PCIe-A的数据可能至少间接地被路由到任何其他的PCIe交换器或任何存储控制器MC。这样，在系统架构中的高层，数据可能被路由以到达包含所述模块30的存储系统中的任何模块，即使由于存储器模块的故障，总线片段中的两个是不可操作的。
假设由于预防数据丢失，没有两个模块在只有单一校验位的一个RAID组中已经产生故障，很明显所述附加的模块30可能也发生故障而没有丢失数据或连接性。更多强大的RAID设置是可能的，以便在RAID组中超过一个模块故障可能被容许。在这些情况下，如图10中显示的与设置相关的数据路由的适应性提供关于数据丢失的特别的鲁棒性。
在互连系统内的仍然较高的层级，与用户设备10的接口可能通过输入/输出模块15。图11中显示了这样的输入输出模块的一个例子。所述输入/输出模块15可能包括地址指示器16和PCIe交换器17。要被读或写的与数据相关的逻辑地址在所述地址指示器16中被解码，并且所述逻辑地址与物理地址相关，该物理地址已经被存储器管理系统软件分配到存储了该逻辑数据地址的物理位置。在系统的这个层级，必须做出关于那个存储控制器30是数据或命令的目标目的地的决定。进一步的数据路由可能遵从较低的层级，比如在PCIe交换器，其可能被设置在输入/输出模块15和存储控制器20之间。所述输入/输出模块15将通过用户设备5提供的数据的逻辑地址与存储系统中的数据的物理位置相关联，至少在RAID组层级，所述存储系统可能被看作单一的大容量存储系统，如果需要，具有与用户设备操作分离的存储系统的操作的细节。通过重新分配逻辑地址空间，可能改变存储器的数量、分配给用户设备的逻辑地址。
如图10所示，具有三个输入/输出模块15，每一个与单独的用户设备10通信。由于先前描述的互连和逻辑地址空间到物理地址空间的转变，任何物理存储器的位置可能被分配给任何用户设备10。在其他情况下，所述存储器可能被分配使得单个的存储器模块与特定的用户设备10相关。
比如，RAID组可能被分配给单个的存储控制器20。通过这样做，在单一的存储控制器20中发现与RAID组内的数据存储相关的信息。如果所述存储控制器20发生故障，多种策略可以用于恢复所述数据。如前所述，通常由MC-A服务的模块现在由MC-B服务，虽然总的总线长度可能更长。用于RAID组的映射表可以与所述RAID组存储在所述RAID组的模块30中。所述映射表的一部分，包含的动态数据可能在另一个存储控制器20中被镜像。另一方面，在US 12/273,410中描述的存储器管理系统可能被用于重构用于RAID组的映射，即使最近的事务数据已经被丢失。
在另一个例子中，通过所述PCIe交换器，单一的输入/输出模块15可能被用于连接任何的存储控制器20，单一的用户设备10，比如服务器或通信网络接口，可能使用大内存阵列作为具有RAID和冗余的随机附赠存储设备。
如前所述，RAID组内的模块的数量可能被选择为特定的性能属性。也可能根据需要的存储器的总量和存储器密度的本领域技术状况选择主板的大小、连接器的数量或类似的。在图12a中显示了具有五个4+1RAID组和三个备用模块的设备的例子。所述存储系统已经由拓扑配置模块90和91配置以使所述存储器组内的模块的叶端通过拓扑配置模块连接。在替代的或扩展配置中，所述拓扑配置模块可能被如图12b显示的第二控制器更换，或者连接到另一个存储器组的总线片段80的总线片段80，比如是所述存储器组关于沿所述拓扑配置模块的线显示的镜像图像。
所述模块30的物理位置可能由设计的电和机械方面决定，比如提供适当的降温，和控制总线片段长度。通常，可能设置用于调节模块30的连接器110被配置成使所述连接器的长度方向与模块30的行（line）正交。这实质上将模块连续地相互平行设置以使所述模块30的表面分开具有接近于连接器的短边而不是连接器的长边的值的距离。连接器之间的总线片段可能被配置以便完成图6的连接模式而确保直接连接的模块不是相邻的。这可能是较优的，因为更换模块中的错误通常包括将一个模块拉到邻近的实际故障的模块。这样的错误也可以通过配置RAID组来缓解，使得相同的RAID组的成员在物理上不相邻。
存储器模块的树的深度和存储器模块和存储控制器直接的接口的数量和位置可能取决于产品的特定设计目的，并且这里的例子意在说明设计的原理而容易被本领域技术人员理解，如果需要，他们也可以应用对更复杂的设置的设计的教导。
在另一个例子中，另一个配置存储系统的模块方法被显示在图13中。当完全组装时这里具有16存储器模块（MM）的容量的两个树。所述图的左手边是模块的逻辑设置，显示作为单独结构的两个树中的每一个。当所述树被完全组装时也显示所述模块的功能。也就是说，一个MM是具有相关的存储器电路和交换器（如CSE）的存储器模块，以将信号路由到相关的存储器或多个附加的连接端口的其中之一。当被指定为MM，所述电路从另一个存储器模块接收信息并且在本地使用所述信息数据或将所述信息传递到选择的存储器模块。“根”存储器模块是MM，其中连接端口中的一个通过总线连接到存储控制器（MC）(未显示)。当所述树被配置为RAID 4＋1存储，为数据存储和冗余需要15个MM的总量。第16个MM被用作备用模块。所述树的16个MM中的任何一个可能被用作备用MM。在一些配置中，被MM占据的位置可能被不具有相关存储器的模块组装，并且这样的模块可能被称为只有交换器的MM。当存储系统只被部分组装并且为其他设备或系统提供连接或接口，可能使用这样的模块。
通常，作为MM插入连接器的模块可能是“系统模块”，其可能是具有至少三个端口，每个端口适于通过一个总线片段通信的交换器、或者交换器和与其通信的存储器电路、或两个总线片段之间的被动连接中的一个。
图13的右手边的图显示主板上的连接器的物理布局，可能对应于所述左手边的图的逻辑设置。每个存储器模块在主板上的位置通过将模块编号与所述连接器关联显示。此外，两个多端口存储控制器MC1和MC2的位置被显示。后面将描述，这种物理设置是具有有利的主板上的迹线布局的一种设置。当然，其他设置是可能的。
16模块(1-16)的上级组与模块(25-32)的下级组之间的连接性可能通过根MM与存储控制器MC1和MC2之间的连接或通过经由其他将在后面的图中显示的总线路径路由所述数据来完成。图14显示经过存储控制器的连接的例子。每个存储控制器可能具有多个信道，其可能通过总线、和到控制器的接口、计算机、路由交换器或诸如此类与根MM连接。假设存储控制器MC1和MC2相互通信，并且是可操作的，那么所有的32存储器模块的MM都能够相互通信。图13的根存储器模块被显示只具有一个连接，然而它们可能具有三个端口。如所述，端口中的一个可能连接到存储控制器，并且其他的端口连接到其他设备，可能是根MM、MM或只有MM的交换器。比如模块10和32也是这样的。
在这个例子的进一步的方面，所述主板可能是不完全组装。这可能在存储器模块的安装更新的某个阶段需要。在所述设备被安装的时候，可能不需要主板的总体可安装容量。众所周知，在操作数据库系统或其他计算应用中的存储要求趋向于随时间提高。现代的存储系统的容量是最终的容量可能大于初始容量。未使用的存储器容量浪费资本成本、电源和冷却。此外，工业的趋势是存储器和其他设备的成本随时间趋向于更低，并且从而多余的内存被认为是经济浪费。
然而，在操作不完全组装的存储系统时，需要考虑在想要的层级保持数据完整性。因此，当不是所有的存储器被安装，即使当有一个或更多硬件故障时，配置需要保持足够的连接性和备用容量。
图15显示图13的主板，其中只有两个4+1RAID组被组装。也显示根MM之间和两个只有MM的交换器之间的总线连接，以便保持连接性。在这个例子中，MM 10,24和32被显示为只有MM的交换器并且MM5被显示为备用MM。这只是大量的将达到同样目的的设置中的一个。还有，在这个例子中，交换器MM 10和32可能已经被被动的跳线（jumper）替换，因为没有执行交换功能。所述主动总线路径被显示为加重线。其他的线和连接器位置是未组装的。图15的右手边的图显示组装的连接器指定的主板布线。
安装的模块的配置可能在初始化时被系统和存储控制器采用，并且阶段地采用以便确定可能的连接并报告，或考虑故障对数据完整性的影响。
图13的主板可能用32MM(MM和根MM)的总体完全组装。对于这样的配置，不需要跳线或只有MM的交换器，并且任何两个MM(可以包括根MM)可被用为备用模块，而提供六个4+1RAID组。比如，这种设置可以容许存储控制器的故障和任意两个模块故障，假设在数据被恢复前，两个模块故障不发生在相同的RAID组中。
更大规模的存储器主板是可能的。图17的左手边的图说明意在成为64MM设备的部分的逻辑设置。总的连接类似于图16中的连接，但大多数叶连接被路由到所述存储器（未显示）的另外的部分。图18显示了完全组装的64MM设备。这里，至少可以具有四个5信道存储控制器（未显示），可以想象四个存储控制器中的三个的故障可以被容许，尽管吞吐量可能被降低。因为除了在灾难情况下，不希望这样的故障的联合（constellation），对此将需要提供其他的数据恢复装置，所述存储系统将具有符合当代数据中心要求的高可用性和数据可靠性。由于MC和MM可能被热交换，在任何时间服务外的模块的数量将在这样的系统的适当容量内。
在现有的设计中，连接器的间隔可能大概为12.5mm，并且至少总计96个存储器模块和4个控制器可能以框架安装的方式被安装在一个主板上。使用现有的FLASH存储器电路封装的密度使得大范围的存储器十分紧密，并且因为在相同或类似的形成因素下，形势继续朝向更高容量的电路，其将会更加紧密。虽然可以认为存储器模块MM首先包括单一的存储器类型，比如FLASH，在单个存储器模块MM上的FLASH电路的容量可能不同，因为它们已经被安装了不同的次数。此外，假设MM接口到总线是可兼容的，可能在存储器模块MM上采用其他存储器电路类型，包括DRAM、SRAM和其他正在发展的类型。这样的存储卡系统在US 12/079,364中被描述，名称为“通用存储器插座和卡以及其使用的系统”，其通常被指定，并且在此通过引用并入。
当需要可以接受96MM的主板，32模块的中心组的设置被显示在图19中，并且完整的96存储系统被显示在图20中。
路由选择主板上的迹线以便提供连接是有利的，其中如图2所示，MM配置有可配置交换元件(CSE)，并且进一步在名称为“互连系统”的US 11/405,083中描述，其通常被指定并通过引用在此并入。在一个设计例子中，所述连接器在横向于其长边的方向间隔大约12.5mm，并且四个连接器间隔以便四个连接器组装可匹配装配在适于安装的外壳内的主板的宽度。
在这个设计中，将需要调节用于模块之间的所有方面的连接总线的迹线的总宽度是大约38mm。图21对应于用于32MM容量系统的主板，以典型的方式显示总线连接的路由。在该图中，图16的连接器布线的方向已经被旋转90°，并且可能被视为主板的顶部X射线视图，其中该图的底部对应于主板的正面，该图的顶部对应于主板的背面，其中所述主板被水平装配。
可能根据图22理解总线路由的表征，表示图21的4个总线片段210的组。所述总线片段具有宽度W，可能是大约38mm。每个总线片段的长度取决于所述总线片段连接的连接器。比如，连接MM 15和所述MC的总线片段具有长度LA并且连接MM 11和所述MC的总线片段具有长度LB。所述具有长度LA的总线片段被路由在主板的层A上并且总线片段LB被路由在主板的层B上。类似地，从MM13到所述MC的总线片段和从MM9到所述MC的总线片段被分别路由在层C和D。关于图21，可以观察到只有印刷电路板层被用于路由连接器之间的所有总线片段。所以，如图21所示，不同的阴影密度是指示层A,B,C,D中那一层被分配给宽度为W的总线的关键。印刷电路板的其他层可能被用于接地、电源和类似的。相互一致的连接器之间的总线的路由选择有些不同。由于38mm的单层总线的宽度大于相邻的连接器（例如，MM25到MM15）之间的横向间距，连接器的多个相邻的行将导致迹线之间的干扰。但是，比如在MM15和MM8之间，只需要一个总线片段。在这种情况下，如图23所示，总线220的大约四分之一的宽度被设置在四个印刷电路板层的每一层中。如图21所示，路由设置的多种结合被用于连接主板的连接器。
虽然已经通过上述例子说明本发明，本领域普通技术人员应当理解本发明不限于所述例子，而可能做出不脱离本发明的精神实质的多种改变或修改。

Claims (18)

1.一种存储系统，包括：
主板；
多个连接器；
多个点对点总线片段，配置为每个连接器连接两个或更多总线片段的终端；
与至少一个总线片段通信的存储控制器；
互连系统进一步包括：
插入所述连接器的多个存储器模块，其中多个存储器模块的数量M小于或等于所述连接器的数量N；多个存储器模块中的至少一些具有可配置的交换器，用于将在第一总线片段接收的信号路由到第二总线片段、第三总线片段中的一个，或具有与所述存储器模块相关的存储器电路，以及
其中所述存储系统被配置为提供所述存储控制器和多个存储器模块之间的在第一种情形下的连接，该情形下多个存储器模块中的一个存储器模块是无效的或从它们各自的连接器被移除。
2.根据权利要求1所述的系统，其中所述存储控制器可被配置为提供在所述第一种情形下的连接。
3.根据权利要求1所述的系统，其中插入连接器的配置模块可被配置为提供在所述第一种情形下的连接。
4.根据权利要求3所述的系统，其中所述配置模块是可配置的交换器。
5.根据权利要求1所述的系统，其中当M等于N，保持在第二种情形下的连接，该情形下所述多个存储器模块中的三个存储器模块是无效的或从它们各自的连接器被移除。
6.根据权利要求1所述的系统，其中当M小于N，一个存储器模块可被插入任何一个未插入存储器模块的M-N连接器，且不干扰已经插入的存储器模块之间的连接。
7.一种互连系统，包括：
主板；
多个第一连接器；
多个点对点总线片段，配置为多个第一连接器的第一组第一连接器的每个连接器连接两个或更多的第一总线片段；
连接多个第一连接器的两个第一总线片段中的每个的一个终端的第一接口，所述第一总线片段具有连接多个第一连接器中的连接器的另外的终端；
连接多个第一总线片段的至少一个总线片段的一个终端的第二接口，所述第一总线片段具有连接多个第一连接器中的一个连接器的另外的终端；
其中所述第一接口适于接收拓扑配置模块，所述第二接口适于连接模块控制器。
8.根据权利要求7所述的系统，其中所述拓扑配置模块适于以下的其中之一：相互连接与所述第一接口连接的所述两个第一总线片段的终端；或者，将连接所述第一接口的所述两个第一总线片段的终端与连接第二个第一接口的两个第一总线片段的终端相连接。
9.根据权利要求7所述的系统，其中所述第一接口是第二连接器。
10.根据权利要求9所述的系统，其中所述第二接口是所述第二连接器的一部分。
11.根据权利要求7所述的系统，其中连接所述第一个第一连接器的多个第一总线片段的所述总线片段的另一终端连接第二个第一连接器的所述第一接口，或所述第二接口。
12.根据权利要求7所述的系统，进一步包括：
第二组第一连接器；配置为所述第二组第一连接器的每个连接器连接三个总线片段；
连接多个第二总线片段的两个总线片段中的每个的一个终端的第二个第一接口，所述总线片段具有连接所述第二个第一连接器中的连接器的另一个终端；以及
连接多个第二总线片段中的至少一个总线片段的一个终端的第二个第二接口。
13.根据权利要求12所述的系统，其中所述第二个第一接口适于接收所述拓扑配置模块，并且所述第二个第二接口适于接收第二拓扑配置模块和第二模块控制器中的至少一个。
14.根据权利要求13所述的系统，其中所述第一拓扑配置模块适于以下的其中之一：将连接所述第一个第一接口的两个第一总线片段的终端与连接第二个第一接口的两个第二总线片段的终端相连接；或者，相互连接与所述第二个第一接口连接的所述两个第二总线片段的终端。
15.根据权利要求13所述的系统，其中所述第二拓扑配置模块适于以下的至少其中之一：相互连接与所述第二个第一接口连接的第二总线片段对的终端；或者，将与所述第二个第二接口连接的至少一个第二总线片段的一个终端和一个存储控制器连接。
16.一种互连系统，包括：
主板；
多个连接器；
多个点对点总线片段，配置为多个第一连接器的第一组第一连接器的每个连接器连接三个或更多的第一总线片段；
连接多个第一总线片段中的至少一个总线片段的一个终端的接口，所述第一总线片段具有连接多个第一连接器中的一个连接器的另外的终端；
其中第一接口适于连接模块控制器，多个连接器中的一个连接器适于连接系统模块；所述连接器、所述接口和所述总线片段被设置为当至少两个连接器未安装系统模块时，保持任意两个连接器之间的连接。
17.根据权利要求16所述的互连系统，进一步包括适于与多个连接器中的一个连接器配合的系统模块，所述系统模块包括以下的其中之一：
具有至少三个端口，每个端口适于通过总线片段通信的可配置的交换器；或者，可配置的交换器和与其通信的存储器电路；或者，两个总线片段之间的被动连接。
18.根据权利要求17所述的互连系统，进一步包括具有适于与系统模块通信的存储控制器。
CN2010800592165A 2009-12-23 2010-12-23 可配置的互连系统 Pending CN102792288A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US28981909P 2009-12-23 2009-12-23
US61/289,819 2009-12-23
US12/976,735 US9465756B2 (en) 2009-12-23 2010-12-22 Configurable interconnection system
US12/976,735 2010-12-22
PCT/US2010/062061 WO2011079298A2 (en) 2009-12-23 2010-12-23 Configurable interconnection system

Publications (1)

Publication Number Publication Date
CN102792288A true CN102792288A (zh) 2012-11-21

Family

ID=44196420

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800592165A Pending CN102792288A (zh) 2009-12-23 2010-12-23 可配置的互连系统

Country Status (5)

Country Link
US (1) US9465756B2 (zh)
EP (1) EP2517110B1 (zh)
KR (1) KR101839027B1 (zh)
CN (1) CN102792288A (zh)
WO (1) WO2011079298A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103608762A (zh) * 2013-05-09 2014-02-26 华为技术有限公司 存储设备、存储系统及数据发送方法
CN114064527A (zh) * 2020-07-30 2022-02-18 苏州库瀚信息科技有限公司 无单一失败点的存储装置

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8554963B1 (en) 2012-03-23 2013-10-08 DSSD, Inc. Storage system with multicast DMA and unified address space
JP2015072514A (ja) * 2013-10-01 2015-04-16 ソニー株式会社 データバスシステムおよび記録装置
CA2881206A1 (en) 2014-02-07 2015-08-07 Andrew WARFIELD Methods, systems and devices relating to data storage interfaces for managing address spaces in data storage devices
US9471428B2 (en) 2014-05-06 2016-10-18 International Business Machines Corporation Using spare capacity in solid state drives
US9471451B2 (en) 2014-06-18 2016-10-18 International Business Machines Corporation Implementing enhanced wear leveling in 3D flash memories
US11983138B2 (en) 2015-07-26 2024-05-14 Samsung Electronics Co., Ltd. Self-configuring SSD multi-protocol support in host-less environment
US11144496B2 (en) 2016-07-26 2021-10-12 Samsung Electronics Co., Ltd. Self-configuring SSD multi-protocol support in host-less environment
US11461258B2 (en) 2016-09-14 2022-10-04 Samsung Electronics Co., Ltd. Self-configuring baseboard management controller (BMC)
US10372659B2 (en) 2016-07-26 2019-08-06 Samsung Electronics Co., Ltd. Multi-mode NMVE over fabrics devices
US10762023B2 (en) 2016-07-26 2020-09-01 Samsung Electronics Co., Ltd. System architecture for supporting active pass-through board for multi-mode NMVe over fabrics devices
US10210123B2 (en) 2016-07-26 2019-02-19 Samsung Electronics Co., Ltd. System and method for supporting multi-path and/or multi-mode NMVe over fabrics devices
US10346041B2 (en) 2016-09-14 2019-07-09 Samsung Electronics Co., Ltd. Method for using BMC as proxy NVMeoF discovery controller to provide NVM subsystems to host
US20190109720A1 (en) 2016-07-26 2019-04-11 Samsung Electronics Co., Ltd. Modular system (switch boards and mid-plane) for supporting 50g or 100g ethernet speeds of fpga+ssd
US20230152992A1 (en) * 2021-11-15 2023-05-18 Vmware, Inc. Force provisioning virtual objects in degraded stretched clusters

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050050255A1 (en) * 2003-08-28 2005-03-03 Jeddeloh Joseph M. Multiple processor system and method including multiple memory hub modules
US6996686B2 (en) * 2002-12-23 2006-02-07 Sun Microsystems, Inc. Memory subsystem including memory modules having multiple banks
US20060095592A1 (en) * 2004-10-29 2006-05-04 International Business Machines Corporation Multi-channel memory architecture for daisy chained arrangements of nodes with bridging between memory channels

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3728679A (en) 1971-10-21 1973-04-17 Weston Instruments Inc Skew device
US4805195A (en) 1984-06-08 1989-02-14 Amdahl Corporation Selectable timing delay circuit
JP2666533B2 (ja) 1990-08-06 1997-10-22 日本電気株式会社 スイツチモジユール
US5144166A (en) 1990-11-02 1992-09-01 Concurrent Logic, Inc. Programmable logic cell and array
US5920704A (en) 1991-03-29 1999-07-06 International Business Machines Corporation Dynamic routing switch apparatus with clocked signal regeneration
US5832286A (en) 1991-12-04 1998-11-03 Sharp Kabushiki Kaisha Power control apparatus for digital electronic device
US5313501A (en) 1992-06-15 1994-05-17 Digital Equipment Corporation Method and apparatus for deskewing digital data
JPH07154381A (ja) 1993-11-30 1995-06-16 Hitachi Ltd データ転送装置
US5513377A (en) 1994-06-17 1996-04-30 International Business Machines Corporation Input-output element has self timed interface using a received clock signal to individually phase aligned bits received from a parallel bus
US5652530A (en) 1995-09-29 1997-07-29 Intel Corporation Method and apparatus for reducing clock-data skew by clock shifting
US6151289A (en) 1996-01-22 2000-11-21 T. Squared G, Inc. Multibyte random access mass storage/memory system
US5872959A (en) 1996-09-10 1999-02-16 Lsi Logic Corporation Method and apparatus for parallel high speed data transfer
US6058443A (en) 1997-02-18 2000-05-02 Advanced Micro Devices, Inc. System for partitioning PC chipset functions into logic and port integrated circuits
JPH10254587A (ja) 1997-03-14 1998-09-25 Toshiba Corp コンピュータシステム
US6031847A (en) 1997-07-01 2000-02-29 Silicon Graphics, Inc Method and system for deskewing parallel bus channels
US5974487A (en) 1997-07-14 1999-10-26 Advanced Micro Devices, Inc. Data transfer network on a chip utilizing a mesh of rings topology
US6157229A (en) 1997-09-29 2000-12-05 Matsushita Electric Industrial Co., Ltd. Skew compensation device
US6378018B1 (en) 1997-10-10 2002-04-23 Intel Corporation Memory device and system including a low power interface
EP1031093B1 (en) 1997-10-10 2003-02-05 Rambus Inc. Method and apparatus for fail-safe resynchronization with minimum latency
US6968419B1 (en) 1998-02-13 2005-11-22 Intel Corporation Memory module having a memory module controller controlling memory transactions for a plurality of memory devices
US6105144A (en) 1998-03-02 2000-08-15 International Business Machines Corporation System and method for alleviating skew in a bus
WO1999046775A2 (en) 1998-03-10 1999-09-16 Rambus, Inc. Performing concurrent refresh and current control operations in a memory subsystem
US6295568B1 (en) 1998-04-06 2001-09-25 International Business Machines Corporation Method and system for supporting multiple local buses operating at different frequencies
US6587912B2 (en) * 1998-09-30 2003-07-01 Intel Corporation Method and apparatus for implementing multiple memory buses on a memory module
US6205571B1 (en) 1998-12-29 2001-03-20 International Business Machines Corporation X-Y grid tree tuning method
US20050010737A1 (en) * 2000-01-05 2005-01-13 Fred Ware Configurable width buffered module having splitter elements
KR20000049745A (ko) 2000-04-27 2000-08-05 우상엽 반도체 메모리 테스트 장치
US6961347B1 (en) * 2000-06-20 2005-11-01 Hewlett-Packard Development Company, L.P. High-speed interconnection link having automated lane reordering
US6618791B1 (en) 2000-09-29 2003-09-09 Intel Corporation System and method for controlling power states of a memory device via detection of a chip select signal
US6658509B1 (en) * 2000-10-03 2003-12-02 Intel Corporation Multi-tier point-to-point ring memory interface
US7610447B2 (en) * 2001-02-28 2009-10-27 Rambus Inc. Upgradable memory system with reconfigurable interconnect
US7065101B2 (en) 2001-11-15 2006-06-20 International Business Machines Corporation Modification of bus protocol packet for serial data synchronization
US6845461B1 (en) 2001-11-20 2005-01-18 Silicon Image, Inc. High-speed bus with embedded clock signals
US7000065B2 (en) 2002-01-02 2006-02-14 Intel Corporation Method and apparatus for reducing power consumption in a memory bus interface by selectively disabling and enabling sense amplifiers
US6894691B2 (en) 2002-05-01 2005-05-17 Dell Products L.P. Dynamic switching of parallel termination for power management with DDR memory
US20050089037A1 (en) 2002-05-14 2005-04-28 Fujitsu Limited Communication speed control circuit, communication speed control board and information processing device
US7206888B2 (en) 2003-07-24 2007-04-17 Lucent Technologies Inc. Backplane configuration with shortest-path-relative-shift routing
US7158422B2 (en) 2004-02-27 2007-01-02 Micron Technology, Inc. System and method for communicating information to a memory device using a reconfigured device pin
US7913148B2 (en) 2004-03-12 2011-03-22 Nvidia Corporation Disk controller methods and apparatus with improved striping, redundancy operations and interfaces
US20050259692A1 (en) 2004-05-19 2005-11-24 Zerbe Jared L Crosstalk minimization in serial link systems
US7516029B2 (en) 2004-06-09 2009-04-07 Rambus, Inc. Communication channel calibration using feedback
US7164615B2 (en) 2004-07-21 2007-01-16 Samsung Electronics Co., Ltd. Semiconductor memory device performing auto refresh in the self refresh mode
US7827424B2 (en) 2004-07-29 2010-11-02 Ati Technologies Ulc Dynamic clock control circuit and method
US7539800B2 (en) 2004-07-30 2009-05-26 International Business Machines Corporation System, method and storage medium for providing segment level sparing
US7400862B2 (en) 2004-10-25 2008-07-15 Skyworks Solutions, Inc. Transmit-receive switch architecture providing pre-transmit isolation
US7817767B2 (en) 2004-12-23 2010-10-19 Rambus Inc. Processor-controlled clock-data recovery
TW200627241A (en) 2005-01-20 2006-08-01 Avermedia Tech Inc Computer interface card
WO2006081150A2 (en) 2005-01-21 2006-08-03 Raza Microelectronics, Inc. System and method for performing concatenation of diversely routed channels
JP4274140B2 (ja) * 2005-03-24 2009-06-03 日本電気株式会社 ホットスワップ機能付きメモリシステム及びその障害メモリモジュールの交換方法
CA2597692A1 (en) 2005-04-21 2006-11-02 Violin Memory, Inc. Interconnection system
US7475187B2 (en) * 2005-09-15 2009-01-06 Infineon Technologies Ag High-speed interface circuit for semiconductor memory chips and memory system including the same
US7990737B2 (en) * 2005-12-23 2011-08-02 Intel Corporation Memory systems with memory chips down and up
US7389381B1 (en) 2006-04-05 2008-06-17 Co Ramon S Branching memory-bus module with multiple downlink ports to standard fully-buffered memory modules
US7624245B2 (en) 2006-06-23 2009-11-24 International Business Machines Corporation Memory systems for automated computing machinery
US8886892B2 (en) * 2007-01-26 2014-11-11 Hewlett-Packard Development Company, L.P. Memory module and method employing a multiplexer to replace a memory device
US7979616B2 (en) * 2007-06-22 2011-07-12 International Business Machines Corporation System and method for providing a configurable command sequence for a memory interface device
US20100005219A1 (en) * 2008-07-01 2010-01-07 International Business Machines Corporation 276-pin buffered memory module with enhanced memory system interconnect and features
JP5887568B2 (ja) * 2011-06-23 2016-03-16 パナソニックＩｐマネジメント株式会社 メモリカードコントローラ、メモリカードアダプタおよびメモリカードドライブ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6996686B2 (en) * 2002-12-23 2006-02-07 Sun Microsystems, Inc. Memory subsystem including memory modules having multiple banks
US20050050255A1 (en) * 2003-08-28 2005-03-03 Jeddeloh Joseph M. Multiple processor system and method including multiple memory hub modules
CN1875355A (zh) * 2003-08-28 2006-12-06 米克伦技术公司 包括多个存储器集线器模块的多处理器系统和方法
US20060095592A1 (en) * 2004-10-29 2006-05-04 International Business Machines Corporation Multi-channel memory architecture for daisy chained arrangements of nodes with bridging between memory channels

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103608762A (zh) * 2013-05-09 2014-02-26 华为技术有限公司 存储设备、存储系统及数据发送方法
CN103608762B (zh) * 2013-05-09 2016-03-09 华为技术有限公司 存储设备、存储系统及数据发送方法
CN114064527A (zh) * 2020-07-30 2022-02-18 苏州库瀚信息科技有限公司 无单一失败点的存储装置

Also Published As

Publication number Publication date
EP2517110B1 (en) 2015-12-23
EP2517110A2 (en) 2012-10-31
WO2011079298A2 (en) 2011-06-30
US20110213908A1 (en) 2011-09-01
KR20120135205A (ko) 2012-12-12
US9465756B2 (en) 2016-10-11
KR101839027B1 (ko) 2018-03-15
WO2011079298A3 (en) 2011-11-17
EP2517110A4 (en) 2014-08-06

Similar Documents

Publication Publication Date Title
CN102792288A (zh) 可配置的互连系统
US10423547B2 (en) Initialization of modular data storage assemblies
CN100413274C (zh) 高级切换对等协议
US7424639B2 (en) Disk array system and failure recovering control method
CN106168925A (zh) 用于存储和从闪存恢复数据的方法和系统
CN105706065A (zh) 存储群集
JP5985403B2 (ja) ストレージ装置
CN107077438A (zh) 通过通信介质的部分进行通信
CN107817953B (zh) 一种双控存储设备访问硬盘的方法及装置
CN108052655A (zh) 数据写入及读取方法
GB2380836A (en) Fault-tolerant memory system having parity groups
JPH086685A (ja) 相互接続装置及びそれを使用するケーブル管理装置
CN109324989A (zh) 包括多个单独可移除子载体的标准形状因子电子模块载体
CN106796544A (zh) 主动存储单元和阵列
US7000070B2 (en) Scalable disk array controller inter-connection network
CN101727128A (zh) 服务器
US20080158956A1 (en) Non-volatile memory module for preventing system failure and system including the same
KR100883005B1 (ko) 고가용성 대용량 저장 시스템 및 이의 생성 방법
US7600070B1 (en) Disk drive packaging enclosure
JP5659289B1 (ja) ストレージシステム
CN102946574B (zh) 光模块集成装置、无源光网络系统以及光模块共享方法
CN105980990A (zh) 在基于非易失性存储器的存贮设备中对信息进行路由的装置和方法
US7630211B2 (en) Methods and systems for providing off-card disk access in a telecommunications equipment shelf assembly
CN103365789A (zh) 数据存储装置和flash存储装置的块删除块写入方法
CN106445001B (zh) 运行状态信息共享的服务器系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20121121

WD01 Invention patent application deemed withdrawn after publication