CN115174604A - 网状架构上的高速nvm - Google Patents

网状架构上的高速nvm Download PDF

Info

Publication number
CN115174604A
CN115174604A CN202210810970.2A CN202210810970A CN115174604A CN 115174604 A CN115174604 A CN 115174604A CN 202210810970 A CN202210810970 A CN 202210810970A CN 115174604 A CN115174604 A CN 115174604A
Authority
CN
China
Prior art keywords
data
storage device
external storage
semiconductor memory
volatile semiconductor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210810970.2A
Other languages
English (en)
Other versions
CN115174604B (zh
Inventor
亚伦·克林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kioxia Corp
Original Assignee
Kioxia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kioxia Corp filed Critical Kioxia Corp
Priority to CN202210810970.2A priority Critical patent/CN115174604B/zh
Publication of CN115174604A publication Critical patent/CN115174604A/zh
Application granted granted Critical
Publication of CN115174604B publication Critical patent/CN115174604B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163—Interprocessor communication
    • G06F15/173—Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
    • G06F15/17306—Intercommunication techniques
    • G06F15/17331—Distributed shared memory [DSM], e.g. remote direct memory access [RDMA]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/35—Switches specially adapted for specific applications
    • H04L49/356—Switches specially adapted for specific applications for storage area networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Bus Control (AREA)

Abstract

本发明提供一种网络存储设备，其包括固态磁盘；网络接口适配器，其以通信方式耦合到所述固态磁盘；和非易失性半导体存储器装置，其经配置以在存储从所述主机接收的所述数据于所述多个固态磁盘中的至少一个之前，暂时存储从所述主机接收的所述数据。所述网络存储设备经配置以确定所述非易失性半导体存储器装置是否可用于存储所述数据，响应于确定所述非易失性半导体存储器装置可用于存储所述数据，在存储所述数据于所述多个固态磁盘中的至少一个之前，暂时存储所述数据于所述非易失性半导体存储器装置中，和响应于确定所述非易失性半导体存储器装置不可用于存储所述数据，将查询经由所述网络接口适配器广播到一或多个外部存储装置。

Description

网状架构上的高速NVM
分案申请的相关信息
本案是分案申请。该分案的母案是申请日为2018年8月1日、申请号为201880063437.6、发明名称为“网状架构上的高速NVM”的发明专利申请案。
相关申请案的交叉引用
本申请案主张2017年8月3日申请的标题为“网状架构上的高速NVM(NVM ExpressOver Fabrics)”的美国实用申请案15/668,314的优先权，其内容以全文引用的方式并入本文中。
技术领域
本公开涉及非易失性存储器高速存储设备和用于实施高性能存储网络中的非易失性随机存取存储器的方法。
背景技术
对写入命令的低时延是高性能计算(HPC)中且尤其是存储网络中的重要特征。其重要性的实例是存储器内数据库(IMDB)的生长区域。计算资源(例如CPU和存储器)的增加使得能够将整个数据库加载到存储器中并且通过CPU对其进行处理。这实现大数据集的快速存储器内处理。然而，传入的事务必须是永久性的，且因此必须写入到永久性媒体。由于在对这类事务做出应答之前须暂停处理，因此这成为整个过程的瓶颈。
引入具有快速的高速外围组件接口(PCIe)接口和高效存储堆叠的高速非易失性存储器(“NVMeTM”)装置减小了对永久性媒体的存取时间。另外，远程直接存储器存取(RDMA)网络接口控制器(NIC)已发展到提供非常快速的(个位数微秒)数据传送。引入网状架构上的NVMeTM标准实现其中主机客户端可经由低时延网络结构存取NVMeTM磁盘的环境。每一主机客户端和存储设备具有实现网状架构中的每一元件之间的低时延传送的RDMA NIC。然而，长期以来仍需要有效地管理和实施高性能存储网络中的NVMeTM装置。
发明内容
本公开涉及一种网络存储设备，其包括固态磁盘；网络接口适配器，其以通信方式耦合到所述固态磁盘和主机客户端；非易失性半导体存储器装置，其以通信方式耦合到所述固态磁盘和所述网络接口适配器；和CPU，其以通信方式耦合到所述非易失性半导体存储器装置和所述网络接口适配器。所述网络接口适配器可从所述主机客户端检索数据并且将所述数据从所述主机客户端传送到所述固态磁盘。所述非易失性半导体存储器装置可经由所述网络接口适配器从所述主机客户端接收数据；暂时存储所述数据；和将所述数据传送到所述固态磁盘中的一个。所述CPU可经由所述网络接口适配器从所述主机客户端接收写入请求，并且确定所述非易失性半导体存储器装置是否可用于存储所述数据。在确定所述非易失性半导体装置可用于存储所述数据的情况下，所述CPU可起始所述网络接口适配器以执行所述数据从所述主机客户端经由所述网络接口适配器到所述非易失性半导体存储器装置的所述传送。在确定所述非易失性半导体存储器装置不可用于存储所述数据的情况下，所述CPU可起始所述网络接口适配器经由所述网络接口适配器将查询广播到一或多个外部存储装置。此外，所述CPU可将应答状态经由所述网络接口适配器发送到所述主机客户端，所述应答状态指示所述数据已经存储于非易失性半导体存储器装置中。
根据一个实施方案，非易失性半导体存储器装置可包括电阻式随机存取存储器、磁阻式随机存取存储器、纳米随机存取存储器和具有备用电池的动态随机存取存储器中的一个。
在一些实施方案中，网络存储设备可包含易失性存储器装置，其以通信方式耦合到所述多个固态磁盘和所述网络接口适配器。所述易失性存储器装置可在确定所述非易失性半导体存储器装置不可用于存储所述数据的情况下，经由所述网络接口适配器从所述一或多个外部存储装置接收数据。所述一或多个外部存储装置可对应于一或多个第二网络存储设备。所述易失性存储器装置可包括动态随机存取存储器(DRAM)。
在其它实施方案中，所述易失性半导体存储器装置可暂时存储所述数据并且将数据传送到固态磁盘中的一个。
在某些实施方案中，CPU可经由所述网络接口适配器从所述一或多个外部存储装置中的第一外部存储装置接收对查询的响应。所述对查询的响应可指示第一外部存储装置可用于存储所述数据。所述CPU可将第二写入请求经由网络接口适配器发送到第一外部存储装置。所述一或多个外部存储装置可为存储网络中的多个网络存储设备中的一或多个。
根据一个实施方案，第二写入请求可起始第一外部存储装置开始所述数据从主机客户端到第一外部存储装置的传送。
在一些实施方案中，CPU可经由网络接口适配器从一或多个外部存储装置接收信号。所述信号可指示所述数据已经存储于所述一或多个外部存储装置中。
在其它实施方案中，所述CPU可将第二应答状态经由网络接口适配器发送到主机客户端。所述第二应答状态可指示所述数据已经存储于所述一或多个外部存储装置中。
根据一些实施方案，网络接口适配器根据远程直接存储器存取(RDMA)协议起作用。网络接口适配器可连接到网络通信网状架构。根据一个实施方案，网络接口适配器以独立于CPU的方式存取非易失性半导体存储器装置。
在一些实施方案中，所述非易失性半导体存储器装置可包括用于主机客户端的预留存储区域。所述非易失性半导体存储器装置可另外包括本地存储区域和远程存储区域。
在某些实施方案中，所述非易失性半导体存储器装置可确定所述预留存储区域是否可用于存储所述数据。响应于确定所述预留存储区域可用于存储所述数据，所述非易失性半导体存储器装置可分配来自所述预留存储区域的用于存储所述数据的空间。
在其它实施方案中，所述非易失性半导体存储器装置可响应于确定所述预留存储区域不可用于存储所述数据，确定所述本地存储区域是否可用于存储所述数据。响应于确定所述本地存储区域可用于存储所述数据，所述非易失性半导体存储器装置可分配来自所述本地存储区域的用于存储所述数据的空间。
根据一个实施方案，所述非易失性半导体存储器装置可确定所述远程存储区域是否可用于存储所述数据。响应于确定所述远程存储区域可用于存储所述数据，所述非易失性半导体存储器装置可分配来自所述远程存储区域的用于存储所述数据的空间。
在一些实施方案中，所述数据在大于0.1微秒且小于1微秒的时间段内从所述主机客户端传送到所述目标网络存储设备的所述非易失性半导体存储器装置。
本公开的第二方面涉及一种将来自主机客户端的数据传送到网络存储设备的方法。所述方法包括将第一写入请求从主机客户端经由网络接口适配器发送到目标网络存储设备。所述方法还包括将第二写入请求从所述目标网络存储设备经由所述网络接口适配器发送到第二网络存储设备。所述方法另外包括将与所述第一写入请求相关联的数据从所述主机客户端经由所述网络接口适配器传送到所述第二网络存储设备的非易失性半导体存储器装置。此外，所述方法包括将信号从所述第二网络存储设备经由所述网络接口适配器发送到所述目标网络存储设备，所述信号指示所述数据已经存储于所述第二网络存储设备的所述非易失性存储器装置中。所述方法还包括将应答状态从所述目标网络存储设备经由所述网络接口适配器发送到所述主机客户端，所述应答状态指示所述数据已经存储。此外，所述方法包括将所述数据从所述第二网络存储设备的所述非易失性半导体存储器装置经由所述网络接口适配器传送到所述目标网络存储设备的易失性半导体存储器装置。所述方法另外包括将所述数据从所述目标网络存储设备的所述易失性半导体存储器装置传送到所述目标网络存储设备的固态磁盘。
根据一些实施方案，所述非易失性半导体存储器装置可包括电阻式随机存取存储器、磁阻式随机存取存储器、纳米随机存取存储器和具有备用电池的动态随机存取存储器中的一个。
在一些实施方案中，所述易失性存储器装置可包括动态随机存取存储器(DRAM)。
在其它实施方案中，网络接口适配器根据远程直接存储器存取(RDMA)协议起作用。网络接口适配器可连接到网络通信网状架构。根据一个实施方案，网络接口适配器以独立于CPU的方式存取非易失性半导体存储器装置。
根据一些实施方案，非易失性半导体存储器装置可包括用于主机客户端的预留存储区域。非易失性半导体存储器装置可另外包括本地存储区域和远程存储区域。
在某些实施方案中，所述方法另外包括确定所述预留存储区域是否可用于存储所述数据，并且响应于确定所述预留区域可用于存储所述数据，分配来自所述预留存储区域的用于存储所述数据的空间。
在其它实施方案中，所述方法包括响应于确定所述预留存储区域不可用于存储所述数据，确定所述本地存储区域是否可用于存储所述数据，并且响应于确定所述本地存储区域可用于存储所述数据，分配来自所述本地存储区域的用于存储所述数据的空间。
根据一些实施方案，所述方法另外包括确定所述远程存储区域是否可用于存储所述数据，并且响应于确定所述远程存储区域可用于存储所述数据，分配来自所述远程存储区域的用于存储所述数据的空间。
在某些实施方案中，所述方法另外包括在大于0.1微秒且小于1微秒的时间段内将所述数据从所述主机客户端传送到所述目标网络存储设备的所述非易失性半导体存储器装置。
在某些实施方案中，第二网络存储设备可为存储网络中的多个网络存储设备中的一个。
附图说明
在结合附图考虑以下详细描述后，前述和其它目标和优势将是显而易见的，在所有附图中相同参考标号指代相同部件，且在附图中：
图1示出根据本公开的一或多个实施例配置的具有非易失性存储器的NVMeTM存储设备的示意性表示；
图2是根据本公开的实施例的用于具有非易失性存储器的网状架构上的NVMeTM中的写入命令的方法步骤的流程图；
图3示出根据本公开的一或多个实施例配置的NVMeTM存储设备和第二NVMeTM存储设备的示意性表示；
图4是根据本公开的实施例的用于具有第二NVMeTM存储设备的网状架构上的NVMeTM中的写入命令的方法步骤的流程图；
图5示出根据本公开的一或多个实施例配置的具有非易失性存储器层次和NVMeTM层次的NVMeTM存储设备的示意性表示；
图6示出根据本公开的一或多个实施例配置的NVMeTM存储设备中的非易失性半导体存储器装置的示意性表示；和
图7是根据本公开的实施例的用于在网状架构上的NVMeTM中的写入命令期间的空间分配的方法步骤的流程图。
具体实施方式
图1示出包括经由网状架构112通信的主机客户端102和存储设备114的NVMeTM系统100的示意性表示。主机客户端102是包括应用程序104、中央处理单元(“CPU”)106和动态随机存取存储器(“DRAM”)108的计算系统。存储设备114是包括CPU 126、非易失性存储器308和多个NVMeTM磁盘116的计算系统。主机客户端102和存储设备114使用NIC类型的RDMA网络适配器110和130进行介接。DRAM 108仅在且只要施加电力时便可维持数据。网状架构112是其中节点通过互连的交换机和例如电缆、光纤或无线链路等网络连接将数据传送到彼此的网络拓扑结构。
非易失性存储器308是当关断电源时仍保持其信息的随机存取存储器。非易失性存储器308可为具有备用电池的DRAM或多种新兴技术中的一种。具有备用电池的DRAM类似于DRAM 108但受电池支持以使得DRAM不失去电力并保持数据。新兴的非易失性存储器技术的实例是电阻式随机存取存储器(RRAM或ReRAM)，其通过改变电介质实心材料上的电阻进行工作。新兴的非易失性存储器技术的另一实例是使用磁性元件的磁阻式随机存取存储器(MRAM)。另外，例如纳米RAM的未来技术是基于碳纳米管技术。非易失性存储器308可驻存于NVMeTM磁盘116中。
当主机客户端102想要将数据写入到存储设备114中的特定NVMeTM磁盘116时，主机客户端的CPU 106包封写入命令并且使用RDMA接口110将所述写入命令发送到存储设备114的CPU 126。应用程序104将数据发送到主机客户端的DRAM 108，使得一旦存储设备114准备好接收所述数据，所述数据就已准备好发射到存储设备114。
一旦存储设备114使用RDMA接口130接收到写入命令，存储设备114的CPU 126便解析经包封写入命令，将所述写入命令解封，并且提取数据信息。存储设备114的CPU 126接着使用RDMA接口130起始数据从主机客户端102的DRAM 108到存储设备114的非易失性存储器308的事务。在RDMA 130事务之后，数据将驻存于存储设备114的非易失性存储器308中。
一旦数据驻存在存储设备114的非易失性存储器308中，非易失性存储器308便向存储设备114的CPU 126发送指示数据已存储于非易失性存储器308中的状态。存储设备114的CPU 126接着包封所述状态并且使用RDMA接口130将其发送到主机客户端102的CPU 106。所述状态充当数据已经存储于指定NVMeTM磁盘116中的应答。
由于存储设备114已将应答发送到主机客户端102，因此在后台进程中，存储设备114的CPU 126起始数据从存储设备114的非易失性存储器308到写入命令指定的NVMeTM磁盘116的传送。
在图2中说明使用NVMeTM系统100的写入命令的过程200。过程200开头是在步骤402中，发送经包封写入命令。举例来说，在NVMeTM系统100中，当主机客户端102想要将数据写入到存储设备114中的特定NVMeTM磁盘116时，主机客户端的CPU 106包封写入命令并且使用RDMA接口110将所述写入命令发送到存储设备114的CPU 126。应用程序104将数据发送到主机客户端的DRAM 108，使得一旦存储设备114准备好接收所述数据，所述数据就已准备好发射到存储设备114。
过程200继续在步骤404中，将来自主机客户端102的数据传送到存储设备114。举例来说，在NVMeTM系统100中，一旦存储设备114使用RDMA接口130接收到写入命令，存储设备114的CPU 126便解析经包封写入命令，将所述写入命令解封，并且提取数据信息。存储设备的CPU 126接着使用RDMA接口130起始数据从主机客户端102的DRAM 108到存储设备114的非易失性存储器308的事务。在RDMA 130事务之后，数据将驻存于存储设备114的非易失性存储器308中。
过程200继续在步骤406中，将来自存储设备114的CPU 126的应答发送到主机客户端102。举例来说，在NVMeTM系统100中，一旦数据驻存在存储设备114的非易失性存储器308中，非易失性存储器308便向存储设备114的CPU 126发送指示数据已存储于非易失性存储器308中的状态。存储设备114的CPU 126接着包封所述状态并且使用RDMA接口130将其发送到主机客户端102的CPU 106。所述状态充当数据已经存储于指定NVMeTM磁盘116中的应答。
过程200结尾是在步骤408中，将来自非易失性存储器308的数据传送到NVMeTM磁盘116中的一个。举例来说，在NVMeTM系统100中，由于存储设备114已将应答发送到主机客户端102，因此在后台进程中，存储设备114的CPU 126起始数据从存储设备114的非易失性存储器308到写入命令指定的NVMeTM磁盘116的传送。
在现有技术系统中，存储设备114在将从主机客户端102传送的数据传送到NVMeTM磁盘116之前依赖于DRAM存储所述数据。由于DRAM仅在且只要施加电力时便可维持数据，因此现有技术系统在向主机客户端102发送已经存储数据的应答之前，必须等到数据已传送到NVMeTM磁盘116。由于RDMA接口110和130具有高带宽和低时延，因此现有技术系统中的主要时间消耗是在磁盘存取中。
过程200允许所述时延刚好是主机客户端102和存储设备114之间的传送时延。从非易失性存储器308到NVMeTM磁盘116的数据传送不影响过程200的时延。然而，即使是在具有备用电池的DRAM的存储设备114实施中，与NVMeTM磁盘116进行比较，非易失性存储器308仍是相对小的。因而，在意在接收数据的存储设备114将数据从非易失性存储器308转移到NVMeTM磁盘116时，可能需要使用另一存储设备114存储传入的数据。
图3示出包括经由网状架构112通信的主机客户端102、目标存储设备514和第二存储设备520的NVMeTM系统300的示意性表示。主机客户端102是包括应用程序104、CPU 106和DRAM 108的计算系统。目标存储设备514和第二存储设备520是包括CPU 126、非易失性存储器308、DRAM 518和多个NVMeTM磁盘116的计算系统。主机客户端102、目标存储设备514和第二存储设备520使用网络接口控制器类型的RDMA 110和130进行介接。DRAM 518类似于DRAM108。
当主机客户端102想要将数据写入到目标存储设备514中的特定NVMeTM磁盘116时，主机客户端的CPU 106包封写入命令并且使用RDMA接口110将所述写入命令发送到目标存储设备514的CPU 126。应用程序104将数据发送到主机客户端的DRAM 108，使得所述数据准备好进行发射。
一旦目标存储设备514使用RDMA接口130接收到写入命令，目标存储设备514的CPU126便解析经包封写入命令，将所述写入命令解封，并且提取数据信息。如果目标存储设备514的非易失性存储器308不具有用于主机客户端102想要传送的数据的自由空间，那么目标存储设备的CPU 126使用RDMA接口110将写入命令重新引导到第二存储设备520的CPU126。
当第二存储设备520的CPU 126接收到从目标存储设备514的CPU 126重新引导的写入命令时，确定其是否具有处置所述命令的资源。如果第二存储设备520不具有从主机客户端102接收数据的资源，那么第二存储设备520将通知目标存储设备514的CPU 126，使得目标存储设备514的CPU 126可将所述命令引导到可接收所述数据的另一以通信方式耦合的存储设备(未示出)。
如果第二存储设备520具有接收数据的资源，那么第二存储设备520的CPU 126接着使用RDMA接口130起始数据从主机客户端102的DRAM 108到第二存储设备520的非易失性存储器308的事务。在RDMA 130事务之后，数据将驻存于第二存储设备520的非易失性存储器308中。
一旦数据驻存在第二存储设备520的非易失性存储器308中，非易失性存储器308便向目标存储设备514的CPU 126发送指示数据已存储于第二存储设备520的非易失性存储器308中的状态。目标存储设备514的CPU 126接着包封指示数据已存储于第二存储设备520的非易失性存储器308中的状态并且使用RDMA接口130将其发送到主机客户端102的CPU106。所述状态充当数据已经存储于第二存储设备520的非易失性存储器308中的应答。
在后台进程中，第二存储设备520的CPU 126起始数据从第二存储设备520的非易失性存储器308到目标存储设备514的DRAM 518的传送。一旦数据存储于目标存储设备514的DRAM 518中，目标存储设备514的CPU 126便起始数据从目标存储设备514的DRAM 518到写入命令指定的目标存储设备的NVMeTM磁盘116的传送。
在图4中说明使用NVMeTM系统300的写入命令的过程400。过程400开头是在步骤602中，将来自主机客户端102的经包封写入命令发送到目标存储设备514。举例来说，在NVMeTM系统300中，当主机客户端102想要将数据写入到目标存储设备514中的特定NVMeTM磁盘116时，主机客户端的CPU 106包封写入命令并且使用RDMA接口110将所述写入命令发送到目标存储设备514的CPU 126。应用程序104将数据发送到主机客户端的DRAM 108，使得所述数据准备好进行发射。
过程400继续在步骤604中，将用经包封写入命令进行的查询从目标存储设备514广播到第二存储设备520。举例来说，在NVMeTM系统300中，一旦目标存储设备514使用RDMA接口130接收到写入命令，目标存储设备514的CPU 126便解析经包封写入命令，将所述写入命令解封，并且提取数据信息。如果目标存储设备514的非易失性存储器308不具有用于主机客户端102想要传送的数据的自由空间，那么目标存储设备的CPU 126使用RDMA接口130将写入命令重新引导到第二存储设备520的CPU 126。
过程400继续在步骤606中，确定第二存储设备520的资源可用性。举例来说，在NVMeTM系统300中，当第二存储设备520的CPU 126接收到从目标存储设备520的CPU126重新引导的写入命令时，确定其是否具有处置所述命令的资源。如果第二存储设备520不具有从主机客户端102接收数据的资源，那么第二存储设备520将通知目标存储设备514的CPU126，使得目标存储设备514的CPU 126可将所述命令引导到可接收所述数据的另一以通信方式耦合的存储设备(未示出)。
过程400继续在步骤608中，将数据从主机客户端102的DRAM 108传送到第二存储设备520的非易失性存储器308。举例来说，在NVMeTM系统300中，如果第二存储设备520具有接收数据的资源，那么第二存储设备520的CPU 126接着使用RDMA接口130起始数据从主机客户端102的DRAM 108到第二存储设备520的非易失性存储器308的事务。在RDMA 130事务之后，数据将驻存于第二存储设备520的非易失性存储器308中。
过程400继续在步骤610中，将来自目标存储设备514的CPU 126的应答发送到主机客户端102。举例来说，在NVMeTM系统300中，一旦数据驻存在第二存储设备520的非易失性存储器308中，非易失性存储器308便向目标存储设备114的CPU 126发送指示数据已存储于第二存储设备520的非易失性存储器308中的状态。目标存储设备514的CPU 126接着包封指示数据已存储于第二存储设备520的非易失性存储器308中的状态并且使用RDMA接口130将其发送到主机客户端102的CPU 106。所述状态充当数据已经存储于第二存储设备520的非易失性存储器308中的应答。
过程400继续在步骤612中，将数据从第二存储设备的非易失性存储器308传送到目标存储设备514的DRAM 518。举例来说，在NVMeTM系统300中，在后台进程中，第二存储设备520的CPU 126起始数据从第二存储设备520的非易失性存储器308到目标存储设备514的DRAM 518的传送。
过程400结尾是在步骤614中，将数据从DRAM 518传送到目标存储设备514中的一个到目标存储设备514的NVMeTM磁盘116中的一个。举例来说，在NVMeTM系统300中，一旦数据存储于目标存储设备514的DRAM 518中，目标存储设备514的CPU 126便起始数据从目标存储设备514的DRAM 518到写入命令指定的目标存储设备的NVMeTM磁盘116的传送。
图5示出包括经由网状架构112通信的两个主机客户端102、目标存储设备514和第二存储设备520的NVMeTM系统500的示意性表示。主机客户端102是包括应用程序104、CPU106和DRAM 108的计算系统。目标存储设备514和第二存储设备520是包括CPU 126、DRAM518和多个NVMeTM磁盘的计算系统。主机客户端102、目标存储设备514和第二存储设备520使用网络接口控制器类型的RDMA 110和130进行介接。NVMeTM系统500包括非易失性存储器层次708和NVMeTM层次716。非易失性存储器层次708是一系列的多个非易失性存储器装置308。NVMeTM层次716是一系列的多个NVMeTM磁盘116。NVMeTM系统500可包括大于两个主机客户端102和大于一个第二存储设备520。
NVMeTM系统500允许在大规模存储部署中分配NVRAM，从而启用非易失性存储器层次708。当主机客户端102想要将数据写入到目标存储设备514中的特定NVMeTM磁盘116时，主机客户端的CPU 106包封写入命令并且使用RDMA接口110将所述写入命令发送到目标存储设备514的CPU 126。目标存储设备514将利用非易失性存储器层次708传送来自主机客户端102的DRAM 108的数据，并且另外，将来自非易失性存储器层次708的数据传送到NVMeTM层次716的特定NVMeTM磁盘。
举例来说，如果目标存储设备514具有足够本地资源，那么目标存储设备514将数据存储于非易失性存储器层次708的本地部分中。目标存储设备514接着将应答状态发送到主机客户端102。如果目标存储设备514不具有足够本地资源，那么目标存储设备514将查询广播到网络中的所有第二存储设备520，询问是否存在可接收数据的第二存储设备520。具有可用资源的第二存储设备520中的一个将指示其可接收数据的信号发送到目标存储设备514。过程如过程400所描述地继续。
为了分配非易失性存储器层次708的有价值的有限资源，应定义用户定义的公平机制。图6示出NVRAM装置802的示意性表示。NVRAM 802是用于分配非易失性存储器层次708的有价值的有限资源的用户定义的机制的实例。NVRAM 802是包括由管理员凭经验划分成预留区域804、本地区域812和远程区域814的存储空间的非易失性半导体存储器装置。NVRAM 802是非易失性存储器装置308的实例。
预留区域804定义可用于每一主机客户端102的受保证的存储区域。预留区域804另外划分成多个区域，每一区域专用于主机客户端102。主机1 806是专用于第一主机客户端102的存储区域。主机2 808是专用于第二主机客户端102的存储区域。主机N 810是专用于第N个主机客户端102的存储区域。
本地区域812是经分配用于发送到NVRAM 802的数据以便存储于本地NVMeTM磁盘116中的存储区域。本地区域812充当在对应于特定主机客户端102的预留区域804已满时的附加空间。举例来说，如果对应于主机客户端102的主机1存储区域806已满且NVRAM 802接收到来自主机客户端102的数据，那么新数据可存储于本地区域812中。
远程区域814是经分配用于发送到NVRAM 802的数据以便存储于远程NVMeTM磁盘116中的存储区域。远程区域814充当在目标存储设备514的预留区域804已满且第二存储设备520需要接收数据时的附加空间。举例来说，如果目标存储设备514的NVRAM 802已满，那么第二存储设备520的NVRAM 802可接收数据并且将其存储于远程存储区域814中。
在图7中说明为NVRAM装置802中的写入命令分配空间的过程700。过程700开头是在步骤902中，将来自主机客户端102的经包封写入命令发送到目标存储设备514。举例来说，主机客户端的CPU 106包封写入命令并且使用RDMA接口110将所述写入命令发送到目标存储设备514的CPU 106。
过程700继续在步骤904中，确定经包封写入命令的命令偏好。来自主机客户端102的经包封写入命令可具有指定写入命令是旨在存储于目标存储设备514处还是第二存储设备520处的命令偏好。如果命令偏好是将数据发送到第二存储设备520，那么过程700继续到步骤906。如果命令偏好是将数据发送到目标存储设备514，那么过程700继续到步骤908。
在步骤906处，目标存储设备514将用写入命令进行的查询广播到第二存储设备520。举例来说，目标存储设备514的CPU 106使用RDMA接口110将写入命令发送到第二存储设备520的CPU 106。目标存储设备514的CPU 106可起始RDMA接口110以使用RDMA接口110将查询广播到第二存储设备520。在步骤906之后，过程700如上文所描述的过程400所描述地继续。
在步骤908处，过程700继续确定是否存在专用于主机客户端102的可用预留区域804。如果存在专用于主机客户端102的可用预留区域804，那么过程700继续到步骤910。如果不存在专用于主机客户端102的可用预留区域804，那么过程700继续到步骤912。
在步骤910处，过程700继续分配来自预留区域804的空间以用于数据存储。举例来说，如果对应于主机客户端102的主机1存储区域806可用，那么主机1存储区域806可用于存储从主机客户端102传入的数据。在步骤910之后，过程700如上文所描述的过程200所描述地继续。
在步骤912处，过程700继续确定是否存在可用的本地区域812。如果不存在可用的本地区域812，那么过程700继续到步骤906。如果存在可用的本地区域812，那么过程700继续到步骤914。
在步骤914处，过程700继续确定主机客户端102是否已达到本地区域812中的分配的阈值极限。如果主机客户端102已达到本地区域812中的分配的阈值极限，那么过程700继续到步骤906。如果主机客户端102尚未达到本地区域812中的分配的阈值极限，那么过程700继续到步骤916。
在步骤916处，过程700确定写入命令的优先权是否高于阈值优先权。如果写入命令的优先权不高于阈值优先权，那么过程700继续到步骤906。如果写入命令的优先权高于阈值优先权，那么过程700继续到步骤918。
过程700结尾是在步骤918中，分配来自本地区域812的空间以用于数据存储。举例来说，如果对应于主机客户端102的主机1存储区域806已满且NVRAM 802接收到来自主机客户端102的数据，那么新数据可存储于本地区域812中。
当从第二主机客户端102接收到命令时发生类似过程。在此情况下，目标存储设备514检查远程区域814是否有可用空间。如果在远程区域814中存在可用的空间，那么目标存储设备514分配来自远程区域814的空间以用于传入的命令。
本发明的各个方面的其它目标、优势和实施例对于所属领域的技术人员来说将是显而易见的，且在本描述内容和附图的范围内。举例来说(而非限制)，结构或功能元件可根据本发明重新布置。类似地，根据本发明的原理可应用到即使本文中没有具体地详细描述但仍在本发明的范围内的其它实例。

Claims (20)

1.一种网络存储设备，其包括：
多个固态磁盘；
网络接口适配器，其以通信方式耦合到所述多个固态磁盘，所述网络接口适配器经配置以从主机接收写入请求以及对应于所述写入请求的数据；以及
非易失性半导体存储器装置，其经配置以在存储从所述主机接收的所述数据于所述多个固态磁盘中的至少一个之前，暂时存储从所述主机接收的所述数据；
其中，所述网络存储设备经配置以：
确定所述非易失性半导体存储器装置是否可用于存储所述数据，
响应于确定所述非易失性半导体存储器装置可用于存储所述数据，在存储所述数据于所述多个固态磁盘中的至少一个之前，暂时存储所述数据于所述非易失性半导体存储器装置中，和
响应于确定所述非易失性半导体存储器装置不可用于存储所述数据，将查询经由所述网络接口适配器广播到一或多个外部存储装置。
2.根据权利要求1所述的网络存储设备，其中所述非易失性半导体存储器装置包括：电阻式随机存取存储器，磁阻式随机存取存储器，纳米随机存取存储器，或具有备用电池的动态随机存取存储器。
3.根据权利要求1所述的网络存储设备，其另外包括：
易失性存储器装置，其经配置以响应于确定所述非易失性半导体存储器装置不可用于存储所述数据，从所述一或多个外部存储装置接收所述数据。
4.根据权利要求1所述的网络存储设备，其中所述网络存储设备进一步经配置以将对应于所述写入请求的应答状态发送到所述主机。
5.根据权利要求1所述的网络存储设备，其中所述网络存储设备进一步经配置以：
从所述一或多个外部存储装置中的第一外部存储装置接收对所述查询的响应；和
将对应于所述数据的第二写入请求发送到所述第一外部存储装置。
6.根据权利要求5所述的网络存储设备，其中所述网络存储设备进一步经配置以从所述第一外部存储装置接收信号，所述信号指示所述数据已经存储于所述第一外部存储装置中。
7.根据权利要求5所述的网络存储设备，其中所述网络存储设备进一步经配置以将所述数据传送到所述第一外部存储装置。
8.根据权利要求7所述的网络存储设备，其中所述网络接口适配器经配置以将所述数据传送到所述第一外部存储装置。
9.根据权利要求8所述的网络存储设备，其中所述网络接口适配器经配置以使用远程直接存储器存取RDMA协议，将所述数据传送到所述第一外部存储装置。
10.根据权利要求1所述的网络存储设备，其中所述查询经配置以询问所述一或多个外部存储装置中的任一个是否可用于存储所述数据。
11.一种将数据存储于网络存储设备的方法，所述方法包括：
从主机经由网络接口适配器接收写入请求以及对应于所述写入请求的数据；
确定非易失性半导体存储器装置是否可用于存储所述数据；
响应于确定所述非易失性半导体存储器装置可用于存储所述数据，在存储从所述主机接收的所述数据于所述网络存储设备的多个固态磁盘中的至少一个之前，暂时存储从所述主机接收的所述数据于所述非易失性半导体存储器装置；以及
响应于确定所述非易失性半导体存储器装置不可用于存储所述数据，将查询经由所述网络接口适配器广播到一或多个外部存储装置。
12.根据权利要求11所述的方法，其中所述非易失性半导体存储器装置包括：电阻式随机存取存储器，磁阻式随机存取存储器，纳米随机存取存储器，或具有备用电池的动态随机存取存储器。
13.根据权利要求11所述的方法，其另外包括：
响应于确定所述非易失性半导体存储器装置不可用于存储所述数据，从所述一或多个外部存储装置接收所述数据。
14.根据权利要求11所述的方法，其另外包括：
将对应于所述写入请求的应答状态发送到所述主机。
15.根据权利要求11所述的方法，其另外包括：
从所述一或多个外部存储装置中的第一外部存储装置接收对所述查询的响应；和
将对应于所述数据的第二写入请求发送到所述第一外部存储装置。
16.根据权利要求15所述的方法，其另外包括：
从所述第一外部存储装置接收信号，所述信号指示所述数据已经存储于所述第一外部存储装置中。
17.根据权利要求15所述的方法，其另外包括：
将所述数据传送到所述第一外部存储装置。
18.根据权利要求17所述的方法，其中所述传送是将所述数据经由所述网络接口适配器传送到所述第一外部存储装置。
19.根据权利要求18所述的方法，其中所述传送是根据远程直接存储器存取RDMA协议。
20.根据权利要求11所述的方法，其中所述查询询问所述一或多个外部存储装置中的任一个是否可用于存储所述数据。
CN202210810970.2A 2017-08-03 2018-08-01 网状架构上的高速nvm Active CN115174604B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210810970.2A CN115174604B (zh) 2017-08-03 2018-08-01 网状架构上的高速nvm

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US15/668,314 2017-08-03
US15/668,314 US10785301B2 (en) 2017-08-03 2017-08-03 NVM express over fabrics
CN202210810970.2A CN115174604B (zh) 2017-08-03 2018-08-01 网状架构上的高速nvm
PCT/IB2018/000991 WO2019025862A1 (en) 2017-08-03 2018-08-01 NON-VOLATILE MEMORY EXPRESS IN SWITCHING MATRICES
CN201880063437.6A CN111149341B (zh) 2017-08-03 2018-08-01 网状架构上的高速nvm

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201880063437.6A Division CN111149341B (zh) 2017-08-03 2018-08-01 网状架构上的高速nvm

Publications (2)

Publication Number Publication Date
CN115174604A true CN115174604A (zh) 2022-10-11
CN115174604B CN115174604B (zh) 2024-01-02

Family

ID=63878713

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201710799341.3A Withdrawn CN109388336A (zh) 2017-08-03 2017-09-07 从主机客户端向网络存储装置传送数据的网络存储装置和方法
CN201880063437.6A Active CN111149341B (zh) 2017-08-03 2018-08-01 网状架构上的高速nvm
CN202210810970.2A Active CN115174604B (zh) 2017-08-03 2018-08-01 网状架构上的高速nvm

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201710799341.3A Withdrawn CN109388336A (zh) 2017-08-03 2017-09-07 从主机客户端向网络存储装置传送数据的网络存储装置和方法
CN201880063437.6A Active CN111149341B (zh) 2017-08-03 2018-08-01 网状架构上的高速nvm

Country Status (5)

Country Link
US (2) US10785301B2 (zh)
EP (1) EP3662642B1 (zh)
JP (2) JP7282738B2 (zh)
CN (3) CN109388336A (zh)
WO (1) WO2019025862A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10785301B2 (en) * 2017-08-03 2020-09-22 Toshiba Memory Corporation NVM express over fabrics
US11860782B2 (en) 2019-08-13 2024-01-02 Neuroblade Ltd. Compensating for DRAM activation penalties
US11822826B2 (en) * 2020-02-20 2023-11-21 Raytheon Company Sensor storage system
US20220019370A1 (en) * 2020-07-16 2022-01-20 Micron Technology, Inc. Partial zone memory unit handling in a zoned namespace of a memory device
EP4229511A1 (en) 2020-10-16 2023-08-23 Neuroblade, Ltd. Memory appliances for memory intensive operations

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002082833A (ja) * 2000-09-08 2002-03-22 Hitachi Ltd 不揮発性キャッシュメモリを用いた高速データ書き込みシステム
JP2007034536A (ja) * 2005-07-25 2007-02-08 Sony Corp データ記憶装置及び方法、並びに記録再生システム
EP2109822A1 (en) * 2006-12-06 2009-10-21 Fusion Multisystems, Inc. Apparatus, system, and method for solid-state storage as cache for high-capacity, non-volatile storage
CN101563729A (zh) * 2006-12-20 2009-10-21 莫塞德技术公司 具有易失性和非易失性存储器的混合固态存储器系统
CN104081366A (zh) * 2012-01-26 2014-10-01 内存技术有限责任公司 借助非易失性大容量存储器系统提供高速缓冲存储器移动的设备和方法

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19534527C2 (de) * 1995-09-08 1999-04-29 Francotyp Postalia Gmbh Verfahren zur Erhöhung der Manipulationssicherheit von kritischen Daten
US6738870B2 (en) * 2000-12-22 2004-05-18 International Business Machines Corporation High speed remote storage controller
US7254668B1 (en) * 2002-10-28 2007-08-07 Sandisk Corporation Method and apparatus for grouping pages within a block
US7197662B2 (en) * 2002-10-31 2007-03-27 Ring Technology Enterprises, Llc Methods and systems for a storage system
US6795850B2 (en) * 2002-12-13 2004-09-21 Sun Microsystems, Inc. System and method for sharing memory among multiple storage device controllers
TW591372B (en) * 2003-05-15 2004-06-11 High Tech Comp Corp Power control method of portable electronic device, portable electronic device and electronic system
US7334089B2 (en) * 2003-05-20 2008-02-19 Newisys, Inc. Methods and apparatus for providing cache state information
US7389393B1 (en) 2004-10-21 2008-06-17 Symantec Operating Corporation System and method for write forwarding in a storage environment employing distributed virtualization
JP2006164218A (ja) * 2004-11-11 2006-06-22 Nec Corp ストレージシステム及びそのキャッシュ制御方法
US20080126357A1 (en) * 2006-05-04 2008-05-29 Wambo, Inc. Distributed file storage and transmission system
CN101118460A (zh) * 2006-05-10 2008-02-06 马维尔国际贸易有限公司 具有高功率和低功率处理器以及线程转移的系统
JP4245021B2 (ja) 2006-09-06 2009-03-25 日本電気株式会社 ストレージ装置、ストレージシステム、ストレージ装置の制御方法
US8706968B2 (en) * 2007-12-06 2014-04-22 Fusion-Io, Inc. Apparatus, system, and method for redundant write caching
US8533847B2 (en) * 2007-05-24 2013-09-10 Sandisk Il Ltd. Apparatus and method for screening new data without impacting download speed
JP5229869B2 (ja) * 2008-01-09 2013-07-03 独立行政法人産業技術総合研究所 不揮発性光メモリ素子及びその動作方法
US7813212B2 (en) * 2008-01-17 2010-10-12 Mosaid Technologies Incorporated Nonvolatile memory having non-power of two memory capacity
US8549222B1 (en) * 2008-02-12 2013-10-01 Netapp, Inc. Cache-based storage system architecture
US8775718B2 (en) * 2008-05-23 2014-07-08 Netapp, Inc. Use of RDMA to access non-volatile solid-state memory in a network storage system
WO2012129191A2 (en) * 2011-03-18 2012-09-27 Fusion-Io, Inc. Logical interfaces for contextual storage
KR20130078455A (ko) * 2011-12-30 2013-07-10 삼성전자주식회사 메모리 특성 정보를 저장하는 반도체 메모리 장치, 이를 포함하는 메모리 모듈, 메모리 시스템 및 반도체 메모리 장치의 동작방법
US8554963B1 (en) 2012-03-23 2013-10-08 DSSD, Inc. Storage system with multicast DMA and unified address space
US9237195B2 (en) * 2012-04-27 2016-01-12 Netapp, Inc. Virtual storage appliance gateway
US9122401B2 (en) 2012-08-23 2015-09-01 Apple Inc. Efficient enforcement of command execution order in solid state drives
US9164929B2 (en) 2013-01-03 2015-10-20 International Business Machines Corporation False power failure alert impact mitigation
US9311110B2 (en) * 2013-07-08 2016-04-12 Intel Corporation Techniques to initialize from a remotely accessible storage device
US9235521B2 (en) * 2013-07-22 2016-01-12 Avago Technologies General Ip (Singapore) Pte Ltd Cache system for managing various cache line conditions
US9251064B2 (en) 2014-01-08 2016-02-02 Netapp, Inc. NVRAM caching and logging in a storage system
US10635316B2 (en) * 2014-03-08 2020-04-28 Diamanti, Inc. Methods and systems for data storage using solid state drives
US9866635B2 (en) * 2014-03-26 2018-01-09 Rockwell Automation Technologies, Inc. Unified data ingestion adapter for migration of industrial data to a cloud platform
KR20150119547A (ko) * 2014-04-15 2015-10-26 에스케이하이닉스 주식회사 반도체 장치, 이를 포함하는 반도체 메모리 장치 및 메모리 시스템
US9591077B2 (en) * 2014-07-01 2017-03-07 Gogo Llc Content integrity checks
US9933950B2 (en) * 2015-01-16 2018-04-03 Sandisk Technologies Llc Storage operation interrupt
US10061743B2 (en) 2015-01-27 2018-08-28 International Business Machines Corporation Host based non-volatile memory clustering using network mapped storage
US9525737B2 (en) * 2015-04-14 2016-12-20 E8 Storage Systems Ltd. Lockless distributed redundant storage and NVRAM cache in a highly-distributed shared topology with direct memory access capable interconnect
US10009438B2 (en) * 2015-05-20 2018-06-26 Sandisk Technologies Llc Transaction log acceleration
KR102430187B1 (ko) 2015-07-08 2022-08-05 삼성전자주식회사 RDMA NVMe 디바이스의 구현 방법
US10476958B2 (en) * 2015-12-16 2019-11-12 Toshiba Memory Corporation Hyper-converged flash array system
US10725677B2 (en) * 2016-02-19 2020-07-28 Sandisk Technologies Llc Systems and methods for efficient power state transitions
US10679722B2 (en) * 2016-08-26 2020-06-09 Sandisk Technologies Llc Storage system with several integrated components and method for use therewith
US20180059976A1 (en) * 2016-08-26 2018-03-01 Sandisk Technologies Llc Storage System with Integrated Components and Method for Use Therewith
US20180059945A1 (en) * 2016-08-26 2018-03-01 Sandisk Technologies Llc Media Controller with Response Buffer for Improved Data Bus Transmissions and Method for Use Therewith
US10732893B2 (en) * 2017-05-25 2020-08-04 Western Digital Technologies, Inc. Non-volatile memory over fabric controller with memory bypass
US10785301B2 (en) * 2017-08-03 2020-09-22 Toshiba Memory Corporation NVM express over fabrics

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002082833A (ja) * 2000-09-08 2002-03-22 Hitachi Ltd 不揮発性キャッシュメモリを用いた高速データ書き込みシステム
JP2007034536A (ja) * 2005-07-25 2007-02-08 Sony Corp データ記憶装置及び方法、並びに記録再生システム
EP2109822A1 (en) * 2006-12-06 2009-10-21 Fusion Multisystems, Inc. Apparatus, system, and method for solid-state storage as cache for high-capacity, non-volatile storage
CN101563729A (zh) * 2006-12-20 2009-10-21 莫塞德技术公司 具有易失性和非易失性存储器的混合固态存储器系统
CN104081366A (zh) * 2012-01-26 2014-10-01 内存技术有限责任公司 借助非易失性大容量存储器系统提供高速缓冲存储器移动的设备和方法

Also Published As

Publication number Publication date
CN111149341A (zh) 2020-05-12
JP2023062055A (ja) 2023-05-02
JP2020529678A (ja) 2020-10-08
US20200382595A1 (en) 2020-12-03
JP7282738B2 (ja) 2023-05-29
US10785301B2 (en) 2020-09-22
WO2019025862A1 (en) 2019-02-07
CN115174604B (zh) 2024-01-02
CN111149341B (zh) 2022-07-29
EP3662642B1 (en) 2023-06-07
EP3662642A1 (en) 2020-06-10
JP7512454B2 (ja) 2024-07-08
US20190045009A1 (en) 2019-02-07
CN109388336A (zh) 2019-02-26

Similar Documents

Publication Publication Date Title
CN111149341B (zh) 网状架构上的高速nvm
US10609150B2 (en) Lock management method in cluster, lock server, and client
US10484472B2 (en) Methods and systems for efficiently moving data between nodes in a cluster
JP4046943B2 (ja) マルチポート内部キャッシュｄｒａｍ
CN110727617B (zh) 同时通过PCIe EP和网络接口访问双线SSD装置的方法和系统
US10951741B2 (en) Computer device and method for reading or writing data by computer device
CN111404931B (zh) 一种基于持久性内存的远程数据传输方法
CN103257941A (zh) 多协议存储控制器和系统
JP2020529678A5 (zh)
US10057348B2 (en) Storage fabric address based data block retrieval
CN102843435A (zh) 一种在集群系统中存储介质的访问、响应方法和系统
CN111541624B (zh) 空间以太网缓存处理方法
CN110471627B (zh) 一种共享存储的方法、系统及装置
CN110309087B (zh) 数据传输方法与使用此方法的主机系统
JP2018110031A (ja) クラスタ内のロック管理方法、ロックサーバ及びクライアント
CN104580328A (zh) 虚拟机迁移方法、装置及系统
CN113127183B (zh) 一种用户态协议栈中的内存分配方法和装置
KR100445425B1 (ko) 분산 레이드 제어기 환경에서의 부하 분산 방법
US20140068220A1 (en) Hardware based memory allocation system with directly connected memory
CN109885508A (zh) 高速外设组件互连标准总线系统及其数据传输方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant