CN106648453A - 用于分布式计算和存储的系统 - Google Patents

用于分布式计算和存储的系统 Download PDF

Info

Publication number
CN106648453A
CN106648453A CN201610640383.8A CN201610640383A CN106648453A CN 106648453 A CN106648453 A CN 106648453A CN 201610640383 A CN201610640383 A CN 201610640383A CN 106648453 A CN106648453 A CN 106648453A
Authority
CN
China
Prior art keywords
node
storage system
dummy node
processor
physical address
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610640383.8A
Other languages
English (en)
Inventor
廖玉峰
周正宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aupera
Aupera Technologies Inc
Original Assignee
Aupera Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/939,908 external-priority patent/US9678911B2/en
Application filed by Aupera Technologies Inc filed Critical Aupera Technologies Inc
Publication of CN106648453A publication Critical patent/CN106648453A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0626—Reducing size or complexity of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0658—Controller construction arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects
    • G06F3/0664—Virtualisation aspects at device level, e.g. emulation of a storage device or system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multi Processors (AREA)

Abstract

本发明公开了一种分布式计算和存储系统,其包括交换结构,连接到所述交换结构的输入/输出接口，和连接到所述交换结构的多个节点，所述多个节点中的每个节点具有节点物理地址,所述多个节点中的每个节点具有节点通信地址，所述节点通信地址由节点内的处理器基于所述节点物理地址进行分配，每个节点还包括至少一个处理器，连接到所述至少一个处理器的至少一个存储器控制器，和连接到所述至少一个存储器控制器的多个存储器装置。

Description

用于分布式计算和存储的系统
技术领域
本公开涉及分布式计算和存储系统。
背景技术
许多计算和存储系统包括主机控制器/处理器，所称的集中式处理，交换结构(switch fabric)，以及多个存储器模块。在这个架构中，命令和数据通过交换结构被路由，这成为一个中央资源瓶颈，尤其是在高并发数据访问请求期间。
图1突出显示了集中式处理的这样一个瓶颈问题，上层应用尝试将数据写入到存储器模块100，并对存储器模块100读取数据，命令和数据通过主机控制器/处理器10被路由，主机控制器/处理器的性能限制了数据读取和写入的并发性。
本公开提供了一种分布式计算和存储系统，其具有紧密耦合的计算和存储元件，这样的结构可以为某些特定的应用提供更有效的数据存储和处理。
发明内容
公开了一种分布式计算和存储系统，其包括多个节点。每个节点执行一个或多个应用程序，包括至少一个处理器和多个存储器设备。节点连接通过交换结构提供。
在系统初始化时，执行一个配置阶段，在此期间，节点根据预定的地理标识(ID)生成因特网协议(IP)地址和/或媒体访问控制(MAC)地址。地理ID可以是基于机箱内的物理位置。
附图说明
图1示出了示例性的传统的存储系统的框图。
图2示出了具有多个计算和存储节点、并通过交换结构互连的示例性分布式计算和存储系统的框图。
图3示出了示例性节点200的框图。
图4示出示例性处理器301的框图。
图5示出节点内200的示例性物理模块。
图6示出了在印刷电路板(PCB)1000上的示例性节点布局。
图7示出了通信地址分配的示例性流程图。
具体实施方式
虽然本发明容易受到各种修改和可替代形式的影响，但通过举例的方式在附图中示出了具体实施例，并将对其进行详细说明。但应该理解的是，本文所讨论的附图和详细描述不意图将所公开的本发明限制到特定的形式，而是相反，本发明意图覆盖落入本发明的精神和范围内的如由所附权利要求限定的所有修改、等同物和可替代物。
在图2中，多个节点200可通过交换结构20连接。在这个例子中，示出了五个节点，但是节点的数目不是关键的，并且是可以改变的。每个节点包括至少一个处理器，以及多个存储器装置。
在图2中，两个输入/输出接口模块202被连接到交换结构。在这个例子中，示出了两个输入/输出接口模块，但是输入/输出接口模块的数量不是关键的，并且是可以改变的。在这个例子中，输入/输出接口模块可以是以太网物理层(PHY)或PHY集成MAC设备。
在图2中，交换结构被用来连接节点和输入/输出接口模块。存在不同类型的交换结构，包括但不限于：以太网交换机，外围控制接口(PCI)-Express开关和串行RapidIO开关。
在图2中，来自每个输入/输出接口模块的数据，然后可被分配到不同的节点，数据可被处理。节点的结构可以是彼此相似，如在图3中所示。
在图3中，处理器210可以是通用处理器，合适的通用处理器的例子，包括英特尔X86系列，ARM处理器系列，和对本领域技术人员将是显而易见的其它合适的通用处理器。可替代地，片上系统(SoC)，特定目的的专用集成电路(ASIC)，或现场可编程门阵列(FPGA)可以被用来支持实现处理器功能。
在图3中示出了至少一个存储器控制器211，其可以是单独的控制器，或者其可以是处理器210的一部分，其中，处理器210可以是SoC或FPGA，如图4所示。
在图3中，存储器装置212可以是闪存，包括但不限于多级单元(MLC)NAND闪存，单级单元(SLC)NAND闪存，三电平单元(TLC)NAND闪存，嵌入式多媒体卡(eMMC)存储器。存储器装置也可以是其它类型的存储器，包括但不限于静态RAM(SRAM)，双倍数据速率(DDR)同步动态随机存取存储器(SDRAM)，磁性随机存取存储器(MRAM)，电阻式随机存取存储器(RRAM)，以及3D XPOINT存储器。
在图4中，处理器301可以是SoC，其中包括一个或多个处理器核心，处理器核心的类型包括但不限于ARM，X86，MIPS和其他专用处理器核心。在这个例子中，SoC包括存储器控制器302，以太网MAC(401)，通用串行总线(USB)控制器402，通用输入输出(GPIO)403。
在图5中，物理上，每个节点包括安装在印刷电路板(PCB)1000上的节点连接器2002，或平台，和可被插入到节点连接器2002的节点模块2001。在图5中，处理器301、存储器302和存储器装置303可以位于节点模块2001处。节点模块2001可以热插拔。
在图5中，节点连接器2002通过硬连线的方法与预定地理ID相关联，或被连接到串行总线，其可以包括但不限于内部集成电路(I2C)等。
在图6中，可以在印刷电路板1000上安装32个节点，示出了32个节点，但是节点数目不是关键的，并且是可以改变的。印刷电路板1000可以是一个单独的印刷电路板，或是通过电缆或连接器连接的多个小的印刷电路板，或者可以是节点被安装在其上的一些平台。
在图6中，对于每一个节点连接器2002，可能存在与其相关联的唯一的地理ID，并且该地理ID表示每个连接器的真实的物理位置。
在图6中，在系统初始化期间，节点通信地址，其包括但不限于基于IP地址和/或MAC地址的节点通信地址，将根据每个节点的地理ID来生成，该过程在图7的流程图中示出，其中机箱管理器可以位于机箱内，如图6所示，或机箱管理器可以作为外部设备位于机箱外面。
在图6中，由于节点通信地址与真实物理位置相关联，在某些部署的情况下，位于一定区域内的一些节点可以是活动的，而其余的节点可以处于空闲模式中。在这个例子中，节点200，201，210，211，220，221，230，231将处于活动模式中，而其他节点将处于空闲模式中。
一种分布式计算和存储系统，包括交换结构，连接到所述交换结构的输入/输出接口，和连接到所述交换结构的多个节点，多个节点中的每个节点都具有节点通信地址，所述节点通信地址由节点内的处理器基于所述节点物理地址进行分配。每个节点还包括：至少一个处理器，连接到所述至少一个处理器的至少一个存储器控制器，和连接到所述至少一个存储器控制器的多个存储器装置。
在分布式计算和存储系统中，节点通信地址可以包括IP段和/或MAC范围，和节点物理地址，其中所述节点物理地址可以基于一个物理位置，由地理ID表示。节点物理地址也可由机箱管理器来确定。
一种分布式计算和存储系统，包括交换结构，连接到所述交换结构的输入/输出接口，和连接到所述交换结构的多个虚拟节点，多个虚拟节点中的每个虚拟节点都具有虚拟节点通信地址，所述虚拟节点通信地址由所述节点内的虚拟处理器基于所述虚拟节点物理地址进行分配。每个虚拟节点还包括：至少一个虚拟处理器，连接到所述至少一个虚拟处理器的至少一个虚拟存储器控制器，和连接到所述至少一个虚拟存储器控制器的多个虚拟存储器装置。
在分布式计算和存储系统中，虚拟节点通信地址可以包括IP段，和虚拟节点物理地址，其中所述虚拟节点物理地址可以基于物理位置，由地理ID表示。虚拟节点物理地址也可由机箱管理器来确定。
虽然已经根据具体的实施例对本发明进行了描述，可以预期，对其进行改变和修改将无疑对本领域技术人员来说是明显的。因此，意图在于下列权利要求被解释为涵盖落入本发明的真实精神和范围内的所有这样的改变和修改。

Claims (13)

1.一种分布式计算和存储系统,包括：
交换结构；
连接到所述交换结构的输入/输出接口，以及
连接到所述交换结构的多个节点，每个所述节点包括：
至少一个处理器；
连接到所述至少一个处理器的至少一个存储器控制器；
连接到所述至少一个存储器控制器的多个存储器装置；
节点物理地址；以及
节点通信地址，所述节点通信地址由所述至少一个处理器基于所述节点物理地址进行分配。
2.如权利要求1所述的分布式计算和存储系统，其中所述节点通信地址包括基于IP段和/或MAC范围的节点物理地址。
3.如权利要求1所述的分布式计算和存储系统，还包括机箱管理器，所述机箱管理器在系统初始化期间确定IP段和/或MAC范围。
4.如权利要求1所述的分布式计算和存储系统，其中所述节点物理地址基于物理位置，由地理标识表示。
5.如权利要求1所述的分布式计算和存储系统，其中所述节点内的所述处理器在系统初始化期间基于每个所述节点的地理标识，生成所述节点通信地址。
6.如权利要求1所述的分布式计算和存储系统，其中每个所述节点还包括节点连接器，所述节点连接器具有预定的地理标识，所述地理标识与印刷电路板上的唯一的物理位置相关联。
7.一种分布式计算和存储系统,包括:
交换结构；
连接到所述交换结构的输入/输出接口；以及
连接到所述交换结构的多个虚拟节点，每个所述虚拟节点包括：
至少一个虚拟处理器；
连接到所述至少一个虚拟处理器的至少一个虚拟存储器控制器；
连接到所述至少一个虚拟存储器控制器的多个虚拟存储器装置；
虚拟节点物理地址；以及
虚拟节点通信地址，所述虚拟节点通信地址由所述至少一个虚拟处理器基于所述虚拟节点物理地址进行分配。
8.如权利要求7所述的分布式计算和存储系统，其中每个所述虚拟节点通信地址包括虚拟节点物理地址，所述虚拟节点物理地址基于在系统初始化期间所述虚拟节点的地理标识。
9.如权利要求7所述的分布式计算和存储系统，其中所述虚拟节点通信地址包括IP段和/或MAC范围，和虚拟节点物理地址。
10.如权利要求7所述的分布式计算和存储系统，还包括机箱管理器，所述机箱管理器在系统初始化期间确定虚拟节点的IP段和/或MAC范围。
11.如权利要求7所述的分布式计算和存储系统，其中所述虚拟节点物理地址基于物理位置，由地理标识表示。
12.如权利要求7所述的分布式计算和存储系统，其中所述虚拟节点内的所述处理器在系统初始化期间基于每个所述虚拟节点的虚拟节点物理地址，生成所述虚拟节点通信地址。
13.如权利要求7所述的分布式计算和存储系统，其中每个所述虚拟节点还包括虚拟节点连接器，所述虚拟节点连接器具有预定的地理标识，所述地理标识与印刷电路板上的唯一的物理位置相关联。
CN201610640383.8A 2015-08-10 2016-08-05 用于分布式计算和存储的系统 Pending CN106648453A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562203220P 2015-08-10 2015-08-10
US62/203,220 2015-08-10
US14/939,908 US9678911B2 (en) 2015-11-12 2015-11-12 System for distributed computing and storage
US14/939,908 2015-11-12

Publications (1)

Publication Number Publication Date
CN106648453A true CN106648453A (zh) 2017-05-10

Family

ID=58852486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610640383.8A Pending CN106648453A (zh) 2015-08-10 2016-08-05 用于分布式计算和存储的系统

Country Status (1)

Country Link
CN (1) CN106648453A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107577418A (zh) * 2017-06-01 2018-01-12 蜂储通讯科技（上海）有限公司 一种基于arm架构的分布式存储系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100214959A1 (en) * 2009-02-25 2010-08-26 Microsoft Corporation Automatic network address assignment in a wireless mesh
US20110141512A1 (en) * 2009-12-16 2011-06-16 Xerox Corporation Media access control address installation for tandem print engine configurations
CN103078944A (zh) * 2013-01-08 2013-05-01 赛凡信息科技（厦门）有限公司 基于分布式对称文件系统的数据中心架构
CN103975552A (zh) * 2011-12-06 2014-08-06 思科技术公司 经由经认证的路由器的数据交换
US20150103826A1 (en) * 2009-10-30 2015-04-16 Calxeda Inc. System and method for using a multi-protocol fabric module across a distributed server interconnect fabric
US20150222592A1 (en) * 2014-01-31 2015-08-06 Allied Telesis Holdings Kabushiki Kaisha Port-based dynamic network parameter assignment

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100214959A1 (en) * 2009-02-25 2010-08-26 Microsoft Corporation Automatic network address assignment in a wireless mesh
US20150103826A1 (en) * 2009-10-30 2015-04-16 Calxeda Inc. System and method for using a multi-protocol fabric module across a distributed server interconnect fabric
US20110141512A1 (en) * 2009-12-16 2011-06-16 Xerox Corporation Media access control address installation for tandem print engine configurations
CN103975552A (zh) * 2011-12-06 2014-08-06 思科技术公司 经由经认证的路由器的数据交换
CN103078944A (zh) * 2013-01-08 2013-05-01 赛凡信息科技（厦门）有限公司 基于分布式对称文件系统的数据中心架构
US20150222592A1 (en) * 2014-01-31 2015-08-06 Allied Telesis Holdings Kabushiki Kaisha Port-based dynamic network parameter assignment

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107577418A (zh) * 2017-06-01 2018-01-12 蜂储通讯科技（上海）有限公司 一种基于arm架构的分布式存储系统

Similar Documents

Publication Publication Date Title
CN106462501A (zh) 基于混合存储器立方体系统互连目录的高速缓冲存储器一致性方法
US10289313B2 (en) Method and apparatus for improving sequential reading in NAND flash
CN103218208B (zh) 用于实施成形的存储器访问操作的系统和方法
CN106415522A (zh) 存储器内轻量一致性
CN109478169A (zh) 具有灵活地址解码的存储器控制器
CN108459974A (zh) 集成闪存的高带宽存储器设备
KR20170012399A (ko) 메모리 시스템에서 데이터 구조들을 세그먼트하기 위한 시스템들 및 방법들
WO2013028849A1 (en) Methods and systems for mapping a peripheral function onto a legacy memory interface
CN106844245A (zh) 数据传输方法及装置
US10346345B2 (en) Core mapping
CN110301131B (zh) 用于分层设备集合的上下文感知设备许可
CN109785882A (zh) 具有虚拟体化架构的sram及包括其的系统和方法
JP2019518286A (ja) メモリバス上のマルチレベルデータキャッシュ及びストレージ
US12001283B2 (en) Energy efficient storage of error-correction-detection information
EP4202704A1 (en) Interleaving of heterogeneous memory targets
CN103019947B (zh) 一种fpga芯片配置信息模型的层次化构建方法
DE102020130965A1 (de) Technologien für rasches booten mit fehlerkorrekturcode-arbeitsspeicher
CN108461102A (zh) 具有多种速度和密度的位单元的sram架构
CN106648453A (zh) 用于分布式计算和存储的系统
CN106066833A (zh) 存取多端口存储器模块的方法及相关的存储器控制器
CN108804380A (zh) 矢量运算硬件加速器多核级联的周期精确模型
CN107038124A (zh) 多处理器系统的探听方法及其装置
US20220108743A1 (en) Per bank refresh hazard avoidance for large scale memory
US9678911B2 (en) System for distributed computing and storage
CN115133348A (zh) 用于设备到设备连接的接地引脚

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170510

WD01 Invention patent application deemed withdrawn after publication