CN104246742B - 用于远程客户端访问存储设备的命令验证的技术 - Google Patents

用于远程客户端访问存储设备的命令验证的技术 Download PDF

Info

Publication number
CN104246742B
CN104246742B CN201380005847.2A CN201380005847A CN104246742B CN 104246742 B CN104246742 B CN 104246742B CN 201380005847 A CN201380005847 A CN 201380005847A CN 104246742 B CN104246742 B CN 104246742B
Authority
CN
China
Prior art keywords
order
client
nvme
queue
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380005847.2A
Other languages
English (en)
Other versions
CN104246742A (zh
Inventor
E·塔米尔
V·马克海尔瓦科斯
B-Z·弗里德曼
P·凯顿
T·L·维尔克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN104246742A publication Critical patent/CN104246742A/zh
Application granted granted Critical
Publication of CN104246742B publication Critical patent/CN104246742B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163—Interprocessor communication
    • G06F15/173—Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
    • G06F15/17306—Intercommunication techniques
    • G06F15/17331—Distributed shared memory [DSM], e.g. remote direct memory access [RDMA]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4282—Bus transfer protocol, e.g. handshake; Synchronisation on a serial bus, e.g. I2C bus, SPI bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163—Interprocessor communication
    • G06F15/167—Interprocessor communication using a common memory, e.g. mailbox
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/44—Program or device authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/78—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure storage of data
    • G06F21/79—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure storage of data in semiconductor storage media, e.g. directly-addressable memories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/78—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure storage of data
    • G06F21/80—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure storage of data in storage media based on magnetic or optical technology, e.g. disks with sectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0688—Non-volatile semiconductor memory arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/12—Protocol engines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2213/00—Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F2213/0026—PCI express
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Computer And Data Communications (AREA)
  • Information Transfer Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Retry When Errors Occur (AREA)

Abstract

公开了用于访问被维持在服务器处的存储设备的命令验证的示例。在一些示例中，耦合到所述服务器的网络输入/输出设备可以从远离所述服务器的客户端接收命令。对于这些示例，所述网络输入/输出设备的元件或模块可以能够验证所述命令并且向所述客户端报告所接收的命令的状态。描述和请求保护了其它示例。

Description

用于远程客户端访问存储设备的命令验证的技术
相关案例
本申请要求享有2012年1月17日递交的美国临时专利申请号61/587,541的优先权。
背景技术
在示例的常规计算装置中，客户端和服务器包括能够使用远程直接存储器存取(RDMA)协议与彼此进行通信的各自的网络接口控制器(NIC)或网络(NW)输入/输出(I/O)设备。服务器包括执行服务器的操作系统和相关联的驱动器的主机处理器。服务器还可以包括管理对在服务器处或由服务器维持的存储装置的访问的存储控制器。客户端的NW I/O设备向服务器的NW I/O设备发出请求以便将数据写入到由服务器维持的存储装置并且从该存储装置读取数据。服务器的操作系统、相关联的驱动器和主机处理器处理由服务器的NWI/O设备接收的请求，并且向存储控制器发出相对应的请求。存储控制器接收并且执行这些相对应的请求。在执行相对应的请求之后，存储控制器向服务器的操作系统和相关联的驱动器发出请求完成信息(以及相关联的数据，如果已经从存储装置读取了数据)。由此，服务器的操作系统、相关联的驱动器和主机处理器生成相对应的请求完成信息和相关联的数据，并且向服务器的NW I/O设备发出相对应的请求完成信息和相关联的数据。服务器的NWI/O设备接着向客户端的NW I/O设备发出相对应的请求完成信息和相关联的数据。
因而，在前述的常规布置中，服务器的操作系统、相关联的驱动器和主机处理器处理由服务器的NW I/O设备接收的请求以及来自存储装置的完成信息和数据。这会消耗相当大数量的操作系统和主机处理器处理带宽。它也会增加由主机处理器消耗的能量和耗散的热量的量。而且，它会增加在处理由客户端的NW I/O设备发出的请求时涉及的等待时间。
附图说明
图1说明了第一示例系统。
图2说明了示例完成队列要素。
图3说明了第二示例系统。
图4说明了NVMe命名空间的示例分配方案。
图5说明了第一示例回弹缓冲器分配。
图6说明了第二示例回弹缓冲器分配。
图7说明了示例命名空间上下文索引。
图8说明了示例通信流。
图9说明了示例读取命令格式。
图10说明了示例写入和比较命令格式。
图11说明了示例冲洗和写入坏轨(write uncorrectable)命令格式。
图12说明了示例NVMe命令完成格式。
图13说明了示例NVMe命令验证表。
图14说明了装置的示例方框图。
图15说明了逻辑流程的示例。
图16说明了存储介质的示例。
图17说明了示例网络输入/输出设备。
具体实施方式
如在本公开中考虑的，在客户端和服务器之间的常规布置中，当客户端尝试访问由服务器维持的存储装置时，会消耗相当大数量的操作系统和主机处理器处理带宽。近来，服务器包括具有试图最小化操作系统和主机处理器加入的增强能力的NW I/O设备和存储控制器二者。例如，诸如命令提交和命令完成队列的硬件元件可以由服务器的NW I/O设备和存储控制器利用以便使远程客户端能够经由被已知为远程直接存储器存取(RDMA)的过程来访问存储装置。
存储控制器还被设计为根据可以与RDMA很好地工作的相对新的互连通信协议进行操作。进而，这些存储控制器可以控制对硬盘驱动器(HDD)、固态驱动器(SSD)的访问。SSD可以包括但不局限于各种类型的非易失性存储器，例如3维交叉点存储器、闪存、铁电存储器、硅-氧化物-氮化物-氧化物-硅(SONOS)存储器、聚合物存储器、纳米线、铁电晶体管随机存取存储器(FeTRAM或FeRAM)、纳米线或电可擦除可编程只读存储器(EEPROM)。在一些示例中，对HDD或SSD的访问可以包括在诸如2010年11月发布的外围部件互连(PCI)Express基本规范版本3.0(“PCIExpress”或“PCIe”)和/或2012年10月发布的非易失性存储器Express(NVMe)规范版本1.1的工业标准或规范(包括后代或变形)中描述的互连通信协议的使用。
根据NVMe规范操作的存储控制器(“NVMe控制器”)可以能够在允许远程客户端访问诸如SSD或HDD的存储装置时最小化操作系统和主机处理器加入。这些类型的NVMe控制器可能不具有内置的安全检查来控制客户端对SSD或HDD的访问。典型地，访问检查由操作系统处理，并且这会摧毁或降低经过RDMA过程获得的可能效率。然而，NW I/O设备可以具有内置的安全检查，并且可以具有验证客户端以便确保客户端访问SSD的请求被允许或者有效。相对于这些和其它挑战，需要本文描述的示例。
在一些示例中，可以实现与远程客户端访问存储设备的命令验证相关联的技术。对于这些示例，在服务器处用于NW I/O设备的电路可以能够支持与接收、验证和指示对于客户端访问由被维持在服务器处的NVWe控制器控制的存储设备的所接收的命令的状态相关联的一个或多个模块。例如，用于客户端访问存储设备的命令可以在NW I/O设备处被接收。由NW I/O的电路执行的特征和/或逻辑可以基于在命令中指示的操作码(Opcode)是否被NW I/O设备支持来验证该命令。也可以基于在命令中指示的索引标识符是否使客户端与被分配到该客户端的NVMe命名空间标识符相关联来验证该命令。由电路执行的特征和/或逻辑可以接着向客户端指示所接收的命令的状态，作为无效命令(例如，未被授权)或已完成命令(例如，访问被许可并且命令由NVMe控制器执行)中的一个。
图1说明了第一示例系统。如图1所示，第一示例系统包括具有客户端10的系统100，客户端10经由网络50通过通信的方式耦合到服务器20。根据一些示例，术语“主机计算机”、“主机”、“服务器”、“客户端”、“网络节点”和“节点”可以互换地使用，并且可以例如没有限制地意指一个或多个端站、移动互联网设备、智能电话、媒体设备、输入/输出(I/O)设备、平板计算机、设备、中间站、网络接口、客户端、服务器和/或其部分。尽管以单数形式参照客户端10、服务器20和网络50，但是应该理解，每一个这样的各自部件可以包括多个这样的各自部件，而不偏离这些示例。根据一些示例，“网络”可以是或者包括至少部分地准许、促进和/或允许两个或更多个实体通过通信的方式耦合到一起的任何机制、媒介、模态和/或其部分。并且在一些示例中，如果第一实体能够将一个或多个命令和/或数据发送到第二实体和/或从第二实体接收一个或多个命令和/或数据，则第一实体可以“通过通信的方式耦合”到第二实体。并且，数据和信息可以互换地使用，并且可以是或者包括一个或多个命令(例如，一个或多个程序指令)，和/或一个或多个这样的命令可以是或者包括数据和/或信息。并且对于这些示例，“指令”可以包括数据和/或一个或多个命令。
客户端10可以包括在本文被称为网络(NW)I/O设备106的远程直接存储器存取(RDMA)使能的网络接口控制器(RNIC)和/或一个或多个(并且在图1所示的示例中是多个)缓冲器13。
如图1所示，服务器20可以包括一个或多个集成电路(IC)芯片180、存储器21和/或存储装置150。一个或多个芯片180可以具有可以包括诸如NW I/O设备108的NW I/O设备和/或NVMe控制器112的电路118。尽管在图1中没有示出，但是在一些示例中，NW I/O设备108可以是耦合到服务器20并且包括如下面进一步描述的其自己的电路的单独可附接的设备。
并且如图1所示，一个或多个芯片180可以合并在一个或多个多核主机处理器(HP)和/或中央处理单元(CPU)12内。尽管在附图中没有示出，但是服务器20还可以包括一个或多个芯片组或者设备以便包括但不局限于存储器或输入/输出控制器电路。NW I/O设备108、NVMe控制器112和/或HP/CPU12可以能够与彼此进行通信。此外，NW I/O设备108、NVMe控制器112和/或HP/CPU12可以能够访问服务器20的一个或多个其它部件(例如存储器21和/或存储装置150)和/或经由一个或多个这样的芯片组与该一个或多个其它部件进行通信。在一些示例中，客户端10和/或NWI/O设备106可以至少部分地远离(例如在地理上远离)服务器20和/或NW I/O设备108。
根据一些示例，“电路”可以例如单独地或者按照任何组合地包括模拟电路、数字电路、硬连线电路、可编程电路、协处理器电路、状态机电路和/或可以包括可以由可编程电路执行的程序指令的存储器。并且，在一些示例中，处理器、HP、CPU、处理器核心(PC)、核心和控制器分别可以包括能够至少部分地执行一个或多个算术和/或逻辑运算和/或能够至少部分地执行一个或多个指令的各自的电路。集成电路芯片可以包括一个或多个微电子设备、衬底和/或裸片。尽管在图1中没有示出，但是服务器20可以具有可以例如包括各自的键盘、指向设备和显示设备的图形用户接口系统，该图形用户接口系统可以允许人类用户将命令输入到服务器20和/或系统100并且监控服务器20和/或系统100的操作。并且，存储器可以包括下列类型的存储器中的一个或多个：半导体固件存储器、可编程存储器、非易失性存储器、只读存储器、电可编程存储器、随机存取存储器、闪存、磁盘存储器、光盘存储器和/或其它或以后发展的计算机可读和/或可写存储器。
在一些示例中，存储装置150可以包括海量存储装置156。对于这些示例，存储装置150可以包括一个或多个设备，数据可以分别存储在这些设备中和/或从这些设备取回。并且，对于这些示例，海量存储装置可以包括能够进行数据的非易失性存储的存储装置。例如，海量存储装置156可以没有限制地包括一个或多个非易失性机电、磁、光学和/或半导体存储设备。这些设备可以包括硬盘驱动(HDD)或固态驱动(SSD)。SSD可以具有非易失性类型的存储器，例如3维交叉点存储器、闪存、铁电存储器、硅-氧化物-氮化物-氧化物-硅(SONOS)存储器、聚合物存储器、纳米线、铁电晶体管随机存取存储器(FeTRAM或FeRAM)、纳米线或电可擦除可编程只读存储器(EEPROM)。
根据一些示例，NVMe控制器112、存储装置150或海量存储装置156可以能够根据PCIe规范和/或NVMe规范进行操作。
一个或多个机器可读程序指令可以至少部分地存储在存储器21中。在服务器20的操作中，这些机器可读指令可以由一个或多个主机处理器12、NW I/O设备108和/或NVMe控制器112访问和执行。当由一个或多个HP12执行时，这些一个或多个机器可读指令可以导致一个或多个操作系统环境(OSE)32至少部分地由一个或多个HP12执行，并且变得至少部分地驻留在存储器21中。并且当这些机器可读指令由NW I/O设备108和/或NVMe控制器112执行时，这些一个或多个指令可以导致NVMe控制器112的一个或多个命令接口110、一个或多个门铃192、一个或多个指示器202、一个或多个代理194、一个或多个完成队列124和/或一个或多个提交队列126由NW I/O设备108和/或NVMe控制器112建立和/或执行，和/或变得驻留在存储器21中。
根据一些示例，一个或多个OSE32可以包括一个或多个操作系统(OS)31和/或一个或多个NW I/O设备和/或NVMe控制器驱动器33。这些一个或多个驱动器33可以至少部分地相互远离一个或多个OS31。可选地或此外，在不偏离这些示例的情况下，一个或多个OS32和/或驱动器33的一个或多个各自的部分可以不至少部分地相互远离彼此，和/或可以至少部分地包括在彼此中。同样，在不偏离这些示例的情况下，电路118、NW I/O设备108和/或NVMe控制器112可以远离一个或多个未示出的芯片组和/或HP12或者可选地可以包括在该一个或多个未示出的芯片组和/或HP12中。并且在不偏离这些示例的情况下，存储器21的一个或多个部分可以被包括在NW I/O设备108、NVMe控制器112、电路118、HP12和/或IC180中或者被维持在NW I/O设备108、NVMe控制器112、电路118、HP12和/或IC180处。
在一些示例中，实体的一部分或子集可以包括实体的全部或者少于全部。并且对于这些示例，过程、线程、守护程序(daemon)、程序、驱动器、操作系统、应用、内核和/或虚拟机监控器分别可以(1)至少部分地包括和/或(2)至少部分地导致一个或多个操作和/或程序指令的执行和/或由该一个或多个操作和/或程序指令的执行产生。
根据一些示例，命令接口可以至少部分地促进、准许和/或实现数据和/或一个或多个命令的交换、发射和/或接收。对于这些示例，队列、缓冲器和/或门铃可以是数据和/或一个或多个命令可以至少临时地存储在其中的存储器中的一个或多个位置(例如，至少部分地由一个或多个地址指定和/或指示)。并且，队列要素可以包括将被存储和/或存储在一个或多个队列中的数据和/或一个或多个命令，例如以一个或多个描述符和/或一个或多个命令为例。此外，对于这些示例，指示器可以至少部分地指示、处理和/或指定存储器中的一个或多个位置和/或一个或多个项目。
在一些示例中，NW I/O设备106和NW I/O设备108可以根据一个或多个协议经由网络50交换数据和/或命令，这些协议可以符合和/或兼容诸如互联网广域RDMA协议(iWARP)、Infiniband(IB)协议、以太网协议、传输控制协议/互联网协议(TCP/IP)协议和/或融合以太网上RDMA(RoCE)协议的RDMA协议。例如，iWARP协议可以符合和/或兼容Recio等人的“AnRDMA Protocol Specification”(互联网草案规范，互联网工程任务组(IETF)，2002年10月21日)。并且例如，以太网协议可以符合和/或兼容2008年12月26日的电气与电子工程师协会公司(IEEE)标准802.3-2008。此外例如，TCP/IP协议可以符合和/或兼容1981年9月公布的互联网工程任务组(IETF)请求评论(RFC)791和793中描述的协议。并且，IB协议可以符合和/或兼容2012年11月公布的InfinbandTM体系结构规范第二卷版本1.3。此外例如，RoCE协议可以符合和/或兼容2010年4月公布的对Infinband体系结构规范第1卷版本1.2.1的补充，附录A16：“RDMA over Converged Ethernet(RoCE)”。许多不同的、额外的和/或其它协议可以用于这样的数据和/或命令交换而不偏离这些示例(例如前述、有关和/或其它协议的较早和/或以后发展的版本)。
根据一些示例，电路118可以至少部分地准许和/或促进NW I/O设备106经由NW I/O设备108对一个或多个命令接口110的访问。例如，电路118可以至少部分地准许和/或促进NW I/O设备106能够按照独立于服务器20中的OSE32的方式来访问一个或多个命令接口110。这一访问可以例如包括至少一个队列要素(例如，一个或多个队列要素(QE)116)到一个或多个命令接口110中的一个或多个提交队列114的写入。这可以命令NVMe控制器112至少部分地执行涉及与NVMe控制器112相关联的存储装置150和/或海量存储装置156的一个或多个操作。NVMe控制器112可以至少部分地对一个或多个队列要素116做出响应来执行这些一个或多个操作(例如，至少部分地在一个或多个队列要素116被写入到一个或多个提交队列114之后并且对一个或多个队列要素116被写入到一个或多个提交队列114做出响应)。涉及存储装置150和/或海量存储装置156的这些一个或多个操作可以包括至少部分地涉及存储装置150和/或海量存储装置156的一个或多个写入操作和/或一个或多个读取操作。对于这些示例，客户端10因而可以能够经由由NVMe控制器112执行的一个或多个读取操作和/或一个或多个写入操作来访问存储装置150和/或海量存储装置156。
通过示例的方式，在系统100的操作中，客户端10和/或NW I/O设备106可以向服务器20和/或在NW I/O设备108处的逻辑和/或特征认证客户端10和/或NW I/O设备106。这会导致客户端10和/或NW I/O设备106被许可对至少部分地访问被维持在服务器20的元件处或由该服务器20的元件控制(例如经由NW I/O设备108)的设备的准许。至少部分地与此同时，在此之后或之前，NW I/O设备108、NVMe控制器112、一个或多个代理194和/或OSE32可以至少部分地在存储器21中生成、建立和/或维持一个或多个接口110和/或一个或多个指示器181，该一个或多个接口110和/或一个或多个指示器181可以至少部分地指示一个或多个接口110和/或其部件可以位于存储器21中的哪里(例如，一个或多个位置)。例如，一个或多个指示器181可以至少部分地指示一个或多个提交队列114、一个或多个完成队列120、一个或多个门铃170和/或一个或多个缓冲器130A…130N可能位于其中的存储器21中的一个或多个位置。NW I/O设备108可以经由网络50向NW I/O设备106提供一个或多个指示器181。之后，NW I/O设备106可以使用一个或多个指示器181中的一个或多个来访问一个或多个命令接口110和/或该一个或多个命令接口110的一个或多个部件。一个或多个指示器181可以至少部分地是或者包括存储器21中的一个或多个区域的一个或多个句柄(例如，被指派给事务上下文)，例如在这一实施例中可以符合和/或可以兼容RDMA(例如iWARP、IB、RoCE)协议的一个或多个服务标签(Stag)或事务标签(TTag)。在一些示例中，存储器21中的一个或多个区域可以被包括在被维持用于促进客户端10对存储装置150或海量存储装置156的远程访问的一个或多个回弹缓冲器中。
在接收到一个或多个指示器181之后，客户端10和/或NW I/O设备106可以经由网络50和NW I/O设备108按照旁路和/或独立于OSE32的加入的方式向NVMe控制器112发出对于服务器20的一个或多个命令105。一个或多个命令105可以命令NVMe控制器112执行涉及存储装置150和/或海量存储装置156的一个或多个操作。
根据一些示例，一个或多个命令105可以符合和/或兼容RDMA(例如iWARP、IB、RoCE)协议。一个或多个命令105可以至少部分地包括和/或指定一个或多个队列要素116，该一个或多个队列要素可以至少部分地体现和/或指示涉及被命令的存储装置150和/或海量存储装置156的一个或多个操作。尽管在图1中没有示出，但是一个或多个命令105可以至少部分地包括、指定和/或指示一个或多个指示器181，该一个或多个指示器181可以将一个或多个提交队列114中的一个或多个位置指示为一个或多个队列要求116的一个或多个预期目的地。
在一些示例中，一个或多个队列要素116可以命令NVMe控制器112执行涉及存储装置150和/或海量存储装置156的一个或多个写入操作。因此，一个或多个命令105还可以至少部分地包括和/或指定要由NVMe控制器112写入到存储装置150和/或海量存储装置156的数据199，作为执行一个或多个队列要素116的结果。一个或多个命令105可以至少部分地包括、指定和/或指示指示器181中的一个或多个，该指示器181可以向客户端10指示数据199将被(至少暂时)写入到的一个或多个缓冲器(例如，缓冲器13)的一个或多个位置。
至少部分地对一个或多个命令105的接收做出响应，NW I/O设备108可以按照由一个或多个命令105命令的方式将一个或多个队列要素116和数据199直接分别地写入(例如，根据RDMA(例如iWARP、IB、RoCE)协议和/或按照旁路和/或独立于OSE32的方式)到一个或多个提交队列114以及一个或多个缓冲器130A。因而实际上，通过向NW I/O设备108发出一个或多个命令105，NW I/O设备106可以将一个或多个队列要素116和数据199分别写入到一个或多个提交队列114以及一个或多个缓冲器130A。
一个或多个命令105还可以包括和/或指定一个或多个值201以及一个或多个指示器181，该一个或多个指示器181可以指示一个或多个值201可以被写入到的一个或多个门铃170的一个或多个位置。至少部分地对一个或多个命令105中的这些一个或多个值201以及这些一个或多个指示器181做出响应，NW I/O设备108可以按照由一个或多个命令105命令的方式直接将一个或多个值201写入在门铃170中(例如，根据RDMA(例如iWARP、IB、RoCE)协议和/或按照旁路和/或独立于OSE32的方式)。一个或多个值201在门铃170中的写入可以使门铃170鸣响。因而实际上，通过向NW I/O设备108发出一个或多个命令105，NW I/O设备106可以使门铃170鸣响。
根据一些示例，与实体相关联的门铃的鸣响可以至少部分地包括和/或涉及将一个或多个值写入到一个或多个存储器位置(例如，与门铃相关联、包括和/或体现门铃)，这可以至少部分地导致和/或触发实体至少部分地执行一个或多个操作和/或动作。在一些示例中，门铃170和/或192可以对CPU12和/或服务器20表现为分别在NVMe控制器112和/或NWI/O设备108中的各自存储器(未示出)中的一个或多个各自的存储器位置(未示出)。
至少部分地对门铃170的鸣响做出响应，NVMe控制器112可以返回到完全操作状态(例如，如果NVMe控制器112以前进入相对于这一完全操作状态的降低功率状态)，并且可以读取被写入到一个或多个提交队列114中的一个或多个队列要素116。NVMe控制器112可以接着至少部分地执行由一个或多个队列要素116指定和/或体现的一个或多个命令。这可以导致NVMe控制器112至少部分地执行涉及存储装置150和/或海量存储装置156的一个或多个操作(例如，存储在一个或多个缓冲器130A中的数据199到存储装置150和/或海量存储装置156的一个或多个写入)。
在涉及存储装置150和/或海量存储装置156的这些一个或多个操作的至少部分完成之后，NVMe控制器112可以至少部分地生成一个或多个完成队列要素(CQE)129并且将该一个或多个完成队列要素(CQE)129写入到一个或多个完成队列124。并且在涉及存储装置150和/或海量存储装置156的这些一个或多个操作的至少部分完成之后，NVMe控制器112也可以至少部分地将一个或多个值写入到与NW I/O设备108相关联的一个或多个门铃192。这可以使一个或多个门铃192鸣响。至少部分地对一个或多个门铃192的鸣响做出响应，NW I/O设备108可以(例如，经由一个或多个RDMA写入操作)将一个或多个完成队列要素190写入到一个或多个完成队列120，并且接着将该一个或多个完成队列要素190转发到客户端10中的一个或多个缓冲器13(例如，经由一个或多个响应197)。
在涉及存储装置150和/或海量存储装置156的一个或多个(例如几个)这样的写入和/或读取操作至少部分地被执行之后，一个或多个代理194可以执行某些管理功能。例如，一个或多个代理194可以至少部分地建立位于与NW I/O设备108相关联的一个或多个提交队列126中的一个或多个提交队列条目/要素(E)196A…196N和/或位于表250(见图2)中的一个或多个提交队列条目/要素QE A…QE N。如下面讨论的，这些要素196A…196N和/或QEA…QE N在被NW I/O设备108至少部分地执行时可以准许和/或促进一个或多个其它队列条目(例如，一个或多个NVMe控制器112完成条目190)至少部分地拷贝或转发到客户端10和/或NW I/O设备106和/或至少部分地拷贝或转发由NVMe控制器112读取的数据。
这些管理功能还可以包括由与一个或多个队列对(例如，提交/完成队列对114、120和/或提交/完成队列对126、124)相关联的一个或多个指示器(例如，振铃指示器PNTR202)的一个或多个代理194至少部分地更新(例如，适当地推进)，该一个或多个队列对与NW I/O控制器108和NVMe控制器112相关联。这可以准许队列对的新条目存储在将不导致该队列对中的其它条目的错误覆写的位置处。此外，作为这些管理功能的一部分，一个或多个代理194可以指示可以用来被重新使用的一个或多个缓冲器130A…130N。
作为另一示例，一个或多个队列要素116可以命令NVMe控制器112执行涉及存储装置150和/或海量存储装置156的一个或多个读取操作。因此，一个或多个命令105还可以至少部分地包括和/或指定存储装置150和/或海量存储装置156中的一个或多个位置(例如，命名空间)，NVMe控制器112将从这些位置读取数据199，作为执行一个或多个队列要素116的结果。
至少部分地对一个或多个命令105的接收做出响应，NW I/O设备108可以按照由一个或多个命令105命令的方式将一个或多个队列要素116直接写入到(例如，根据RDMA(例如iWARP、IB、RoCE)协议和/或按照旁路和/或独立于OSE32的方式)一个或多个提交队列114。因而实际上，通过向NW I/O设备108发出一个或多个命令105，NW I/O设备106可以将一个或多个队列要素116分别写入到一个或多个提交队列114以及一个或多个缓冲器130A。
在这一示例中，一个或多个命令105也可以包括和/或指定一个或多个值201以及一个或多个指示器181，该一个或多个指示器181可以指示一个或多个值201将被写入到的一个或多个门铃170的一个或多个位置。至少部分地对一个或多个命令105中的这些一个或多个值201以及这些一个或多个指示器181做出响应，NW I/O设备108可以按照由一个或多个命令105命令的方式直接(例如，根据RDMA(例如iWARP、IB、RoCE)协议和/或按照旁路和/或独立于OSE32的方式)将一个或多个值201写入到门铃170中。一个或多个值201到门铃170中的写入可以使门铃170鸣响。因而实际上，通过向NW I/O设备108发出一个或多个命令105，NW I/O设备106可以使门铃170鸣响。
至少部分地对门铃170的鸣响做出响应，NVMe控制器112可以返回到完全操作状态(例如，如果NVMe控制器112先前进入了相对于这一完全操作状态的降低功率状态)，并且可以读取被写入到一个或多个提交队列114中的一个或多个队列要素116。NVMe控制器112可以接着至少部分地执行由一个或多个队列要素116指定和/或体现的一个或多个命令。这可以导致NVMe控制器112至少部分地执行涉及存储装置150和/或海量存储装置156的一个或多个操作(例如，存储装置150和/或海量存储装置156的一个或多个读取以便获得数据199)并且将数据199存储在一个或多个缓冲器(例如一个或多个缓冲器130A)中。
在涉及存储装置150和/或海量存储装置156的这些一个或多个操作的至少部分完成之后，NVMe控制器112可以至少部分地生成一个或多个完成队列要素129并且将该一个或多个完成队列要素129写入到一个或多个完成队列124。并且在涉及存储装置150和/或海量存储装置156的这些一个或多个操作的至少部分完成之后，NVMe控制器112也可以至少部分地将一个或多个值写入到与NW I/O设备108相关联的一个或多个门铃192。这可以使一个或多个门铃192鸣响。至少部分地对一个或多个门铃192的鸣响做出响应，NW I/O设备108可以从一个或多个完成队列124获得队列要素129并且将一个或多个完成队列要素190转发或写入到一个或多个完成队列120以便促进数据199(例如，使用NW I/O设备106经由一个或多个RDMA写入操作)传送到客户端10中的一个或多个缓冲器13(例如，经由一个或多个响应197)。
根据一些示例，命令接口110可以是异步的，因为例如完成队列要素可以不按照某一顺序被存储在一个或多个完成队列120中，该顺序与下列项目相对应(1)命令队列要素被存储在一个或多个提交队列114中的顺序，(2)这样的命令队列要素由NVMe控制器112执行和/或完成的顺序，和/或(3)完成队列要素190被存储在一个或多个完成队列120中和/或被提供到NW I/O设备106和/或客户端10的顺序。在操作中，NW I/O设备106和/或客户端10可以在从客户端10和/或NW I/O设备106发出的写入命令的情况下对从NW I/O设备108接收的相对应的完成队列要素190适当地重新排序。然而，在读取命令的情况下，在这一实施例中，为了准许从存储装置150和/或海量存储装置156读取的各自数据与用于传输到客户端10和/或NW I/O设备106的相对应的完成队列要素适当地相关联，由NW I/O设备108根据放置在完成队列120中的完成指示产生的每一个完成队列要素(例如，完成队列要素190)可以包括在图2中说明的要素。
如图2所示，完成队列要素(例如，完成队列要素190)可以包括一个或多个命令参数304、一个或多个命令队列标识符306、一个或多个命令队列头部位置指示器308、状态信息310、一个或多个队列定相位(P)312和/或一个或多个命令标识符302。一个或多个命令参数304可以是和/或指示可以与一个或多个完成队列要素190相对应和/或相关联的一个或多个队列要素116和/或命令105的一个或多个命令特定参数。一个或多个命令队列标识符306可以指示和/或指定一个或多个队列要素116被写入到的一个或多个提交队列114。一个或多个命令队列头部位置指示器308可以指示一个或多个队列要素116可以位于的当前位置(例如，在由一个或多个命令队列标识符306表示的一个或多个提交队列114中)。状态信息310可以指示一个或多个命令105和/或一个或多个队列要素116是否成功地由NVMe控制器112执行。一个或多个定相位312可以指示一个或多个完成队列要素190是否构成在一个或多个完成队列120中的最近添加的有效条目(例如，以便进行服务)。一个或多个命令标识符302可以至少部分地指示和/或与相对应的一个或多个队列要素116中的一个或多个相对应的命令标识符相同。命令标识符302可以准许一个或多个完成队列要素190与一个或多个相对应的队列要素116和/或与从存储装置150和/或海量存储装置156读取的各自数据199正确地相关联，作为这些一个或多个相对应的队列要素116的执行的结果。
在一些示例中，一个或多个命令标识符302可以被选择为不与目前可以由还没有由NW I/O设备108提供到客户端10和/或NW I/O设备106的任何完成队列要素使用的任何其它命令标识符相冲突和/或相同。可以在系统100中使用的命令标识符可以被计算和/或预生成，并且可以用作可以至少部分地存储在存储器21中的表250中的各自条目，条目A……条目N，的各自索引，索引A……索引N。表250中的每一个条目，条目A……条目N可以存储可以与NW I/O设备108相关联的一个或多个各自的预计算的和/或预生成的命令队列要素QEA…QE N。每一个各自的要素QE A…QEN可以与一个或多个缓冲器130A…130N中的一个或多个各自的缓冲器相关联。NVMe控制器112可以将从存储装置150和/或海量存储装置156读取的数据存储到其中的该一个或多个缓冲器130A…130N中的每一个缓冲器也可以与系统100中的一个或多个各自的提交标识符和/或各自的条目，条目A……条目N，相关联。
命令队列要素QE A…QE N可以由客户端10和/或一个或多个代理194存储和/或维持在表250中。如果一个或多个缓冲器130A…130N被静态地分配，则表250可以是静态的，并且可以就分配特性方面来说对应到可以在客户端10中被分配的一个或多个缓冲器13。
作为示例，在NVMe控制器112从存储装置150和/或海量存储装置156读取数据199之后，NVMe控制器112可以将数据199存储在可以与一个或多个命令标识符302相关联的一个或多个缓冲器(例如，一个或多个缓冲器130A)中，并且可以将一个或多个队列要素129存储在一个或多个完成队列124中。至少部分地对NVMe控制器112使一个或多个门铃192鸣响做出响应，NW I/O设备108可以至少部分地基于一个或多个队列定相位312来确定一个或多个完成队列120或124中的一个或多个最近添加的有效完成队列。NW I/O设备108可以使用一个或多个完成队列要素190中的一个或多个命令标识符302来在表250中进行索引以便定位表250中可以至少部分地与一个或多个命令标识符302相关联和/或由该一个或多个命令标识符302标识的一个或多个条目(例如，一个或多个条目，条目A)以及一个或多个命令队列要素(例如，一个或多个队列要素QE A)。NW I/O设备108可以至少部分地执行可以与这些一个或多个命令队列要素QE A相关联和/或由这些一个或多个命令队列要素QE A体现的一个或多个命令。这可以至少部分地导致NW I/O108读取一个或多个缓冲器130A以便获得数据199并且将数据199和一个或多个完成队列要素190传输到NWI/O设备106和/或客户端10(例如，经由一个或多个响应197)。结果，数据199和一个或多个完成队列要素190可以被拷贝到一个或多个客户端缓冲器13中。
可选地，在一些示例中，NW I/O设备108可以至少部分地包括状态机(未示出)。这一状态机可以至少部分地独立于可以与NW I/O设备108相关联和/或由NW I/O设备108利用的一个或多个提交队列126和/或与该一个或多个提交队列126分离。这一状态机可以至少部分地基于一个或多个命令标识符302来定位表250中的一个或多个命令队列要素QE A，并且可以将一个或多个队列要素QE A拷贝到一个或多个提交队列126中的一个或多个相对应的提交队列要素196A中。状态机接着可以使用信号通知NWI/O设备108至少部分地访问并且执行一个或多个提交队列126中的一个或多个提交队列要素196A。
进一步可选地，在不偏离这些示例的情况下，在完成涉及存储装置150和/或海量存储装置156的一个或多个读取操作之前，NVMe控制器112可以至少部分地基于一个或多个命令标识符302来至少部分地定位和/或选择表250中和/或来自表250的一个或多个队列要素QE A。NVME控制器112接着可以将一个或多个完成队列要素190写入到一个或多个完成队列120中，并且可以将一个或多个队列要素QE A写入到一个或多个提交队列126中的一个或多个相对应的提交队列要素196A中。NVME控制器112接着可以使一个或多个门铃192鸣响。这可以导致NW I/O设备108至少部分地访问和执行一个或多个提交队列126中的一个或多个提交队列要素196A。这可以至少部分地导致NW I/O设备108读取一个或多个缓冲器130A以便获得数据199并且将数据199和一个或多个完成队列要素190传输到NWI/O设备106和/或客户端10(例如，经由一个或多个响应197)。结果，数据199和/或一个或多个完成队列要素190可以被拷贝到一个或多个客户端缓冲器13中。
在这一可选方案中，至少部分地由NVMe控制器112执行的固件和/或一个或多个代理194可以维持每队列对上下文信息以便指示用于RDMA事务的一个或多个队列。这一上下文信息还可以包括各种指示器(例如，对于提交队列要素196A…196N的一个或多个阵列，以便将数据从一个或多个缓冲器130A…130N移动到一个或多个缓冲器13，和/或一个或多个提交队列126的头部)、一个或多个门铃192的一个或多个位置以及使一个或多个门铃192鸣响的一个或多个值、和/或一个或多个提交队列126的头部和/或指示器的本地拷贝。各种这些指示器(例如，头部和尾部指示器)可以由NVMe控制器112执行的固件动态地更新。
此外或可选地，在不偏离这些示例的情况下，NW I/O设备108和/或NVMe控制器112可以至少部分地被包括在未示出的芯片组中或者未示出的电路板或设备中。并且此外或可选地，在不偏离本实施例的情况下，存储装置150和/或海量存储装置156可以至少部分地被包括在服务器20内部中或者在服务器20外部。
进而，尽管参照作为RNIC的NW I/O设备108和作为NVMe兼容存储控制器的NVMe控制器112进行了前述描述，但是这一实施例的原理可以应用于下列情况，其中可以采用不同于和/或除了RDMA或NVMe以外的协议，和/或其中NVMe控制器112可以在执行和/或促进不涉及存储装置150的操作(例如，其它和/或额外的输入/输出和/或通信相关操作)时被涉及。因此，在不偏离上面提到的示例的情况下，NW I/O设备108可以利用和/或客户端10和服务器20之间的通信可以使用不同于和/或除了RDMA以外的协议。并且，在不偏离这一实施例的情况下，NW I/O设备108或NVMe控制器112可以在执行可以使用除了PCIe或NVMe协议以外的协议的这样的其它和/或额外的操作时被涉及和/或可以促进这样的其它和/或额外的操作的执行。在这些额外和/或可选的布置中，硬件和/或固件电路(未示出)可以包括在电路118中，该电路118可以至少部分地准许例如经由一个或多个中断机制(例如，一个或多个消息信号通知中断(MSI/MSI-X)和/或其它机制)写入到门铃170和/或192。这一实施例应该被广泛地视为涵盖所有这样的修改、变化和变更。
因而，在一些示例中，电路可以至少部分地被布置为使客户端中的第一NW I/O设备能够经由远离客户端的服务器中的第二NW I/O设备并且按照独立于服务器中的操作系统环境的方式访问服务器的另一(例如，存储装置和/或另一/额外类型的)控制器的至少一个命令接口。客户端中的NWI/O设备以及服务器中的NW I/O可以是或者包括各自的远程直接存储器存取使能的网络接口控制器(例如，能够至少部分地利用RDMA和/或经由RDMA进行通信的控制器)。命令接口可以包括至少一个(例如，存储装置和/或其它/额外类型的)控制器命令队列。这样的访问可以包括将至少一个队列要素写入到至少一个提交队列以便命令另一控制器执行与另一控制器(例如，NVMe控制器)相关联的至少一个操作(例如，涉及存储装置和/或涉及一个或多个其它和/或额外类型的操作，例如其它和/或额外的输入/输出操作)。另一控制器可以至少部分地对至少一个队列要素做出响应来执行至少一个操作。许多可选形式、变化和修改是可能的。
因而，在一些示例中，服务器20中的NVMe控制器112的一个或多个命令接口110可以由客户端的NW I/O设备106经由一个或多个RDMA事务按照旁路、独立于和/或不涉及服务器的OSE32和/或CPU12的方式进行直接访问。有利地，这可以准许存储命令、数据和完成消息在客户端和服务器之间非常快速而有效地并且以减小的等待时间被传递。而且，在这一实施例中，NW I/O设备108和NVMe控制器112之间的交互可以完全或几乎完全由硬件(例如，利用对等存储器和门铃写入)并且也按照旁路、独立于和/或不涉及服务器的OSE32和/或CPU12的方式执行。有利地，这可以准许这样的交互非常快速而有效地并且以减小的等待时间被执行。此外，这一实施例的上述特征可以减小服务器的功率消耗、热耗散和由OSE32和CPU12消耗的带宽的量。
许多其它修改是可能的。例如，如前面陈述的，在这一实施例中，客户端10可以包括多个客户端。如果RDMA用于服务器20和客户端10之间的通信，则在这一实施例中，有利地，客户端10可以在执行它们与服务器20、NW I/O设备108和/或NVMe控制器112的通信时在客户端10之间或当中动态地共享缓冲器130A…130N作为缓冲器的公共池。为了准许这样的缓冲器共享，NW I/O设备108可以能够至少部分地操控、调整和/或修改缓冲器指定的信息，该缓冲器指定的信息可以在由客户端10提供到服务器20的命令105中至少部分地被指示，以便允许缓冲器130A…130N和/或其它服务器资源在客户端10当中被共享，而不导致例如竞争相关的问题。
例如，代替和/或除了一个或多个存储器区句柄以外，一个或多个指示器181和/或由一个或多个指示器181指示的STag/TTag还可以包括NW I/O设备108可以将其与一个或多个缓冲器和/或缓冲器130A…130N中的缓冲器池相关联的各自的信息。在这一布置中，客户端10可以利用这样的指示器181执行RDMA读取操作，并且NW I/O设备108可以执行到由各自的信息和/或指示器181指示的一个或多个缓冲器和/或缓冲器池的写入操作。在执行它的操作时，NW I/O设备108可以适当地调整被提供到NVMe控制器112的实际命令和/或命令队列，以便当NVMe控制器112执行这样的命令和/或命令队列要素时导致正确的缓冲器被NVMe控制器112写入，等等。
可选地或此外，在不偏离上述示例的情况下，NW I/O设备108可以包括共享接收队列(未示出)和/或与该共享接收队列相关联以便例如从多个客户端10接收命令105。NW I/O设备108可以能够将一个或多个适当的服务器缓冲器地址、值和/或其它信息至少部分地代替到所接收的命令105的一个或多个部分(例如，队列要素116、值201、指示器181和/或其它信息)中，以便准许一个或多个命令接口110中的结构在多个客户端10之间或当中的共享，而不导致竞争或者性能上的其它降低。在这一布置中，客户端可以不被提供和/或利用存储器控制器的命令队列和/或门铃的一个或多个STag，并且写入到这些结构可以由服务器的NW I/O设备108执行。有利地，这可以准许可以与共享接收队列相关联和/或利用该共享接收队列的多个客户端10至少部分地利用和/或共享相同的存储控制器命令队列、门铃和/或其它结构。
例如，在写入操作的情况下，一个或多个指示器181、一个或多个值201和/或在一个或多个命令105中的其它信息可以至少部分地指示用于写入操作的一个或多个存储控制器STag或TTag(和相关信息)和/或一个或多个完成队列要素可以被写入的一个或多个缓冲器的一个或多个RDMASTag或TTag。至少部分地基于一个或多个所接收的命令105和/或存储在NW I/O设备108中的其它信息，NW I/O设备108可以选择缓冲器130A…130N中的一个或多个缓冲器以及待写入的数据199和到NVMe控制器112的一个或多个相对应的命令队列要素要张贴到的提交队列114中的一个或多个位置。NW I/O设备108可以根据这样的选择来张贴数据199和一个或多个相对应的命令队列要素，并且之后，可以使门铃170鸣响。如由NW I/O设备108张贴的，一个或多个命令队列要素可以指示在一个或多个命令105中提供的一个或多个存储控制器STag或TTag、命令标识符302、安全上下文信息(例如，以便准许一个或多个存储控制器STag或TTag的验证)和/或数据199被张贴到的一个或多个缓冲器的一个或多个STag或TTag。在NVMe控制器112至少部分地完成所请求的一个或多个写入操作并且张贴了一个或多个完成队列要素之后，NVMe控制器112可以使门铃192鸣响。至少部分地基于表125中的信息，NW I/O设备108可以生成一个或多个适当的响应197并且将该一个或多个适当的响应197转发到提供所接收的命令105的一个或多个客户端。
在读取操作的情况下，通常模拟信息可以在命令105中被提供，并且通常模拟操作可以由NW I/O设备108和/或NVMe控制器112执行。然而，在读取操作的情况下，由NVMe控制器112读取的数据199可以由NVMe控制器112存储到由NW I/O设备108指定的一个或多个缓冲器130A…130N，并且可以由NW I/O设备108读取，而不是反之亦然(例如，如在写入操作中的情况)。NW I/O设备108可以在一个或多个响应197中将所读取的数据199传输到提供所接收的命令105的一个或多个客户端。在前述布置中，命令105可以与可以由客户端利用来访问客户端本地的存储装置的命令类似或相同，至少从发起这样的访问的一个或多个客户端执行的应用的观点看。有利地，这可以准许先前被描述为实质上对这些一个或多个客户端执行的应用透明的类型的远程操作和/或RDMA事务。
因而，在一些示例中，有利地，多个客户端能够共享存储控制器的命令队列、门铃和/或服务器的缓冲器，和/或使用RDMA协议写入到这些结构(经由服务器的NW I/O设备)，而不遭受否则可能发生的资源竞争问题(和/或其它缺点)。服务器的NW I/O设备可以能够至少部分地修改与客户端的命令105相关联和/或包括在该客户端的命令105中的信息以便促进这样的共享和/或RDMA STag/TTag信息在客户端之间或当中的共享。有利地，这可以准许RDMA协议用于服务器和多个客户端之间的命令通信和/或完成信息，具有改善的可扩充性，同时减小存储器消耗以便实现这样的特征，并且没有通信线路速率的降低。
图3说明了第二示例系统。如图3所示，第二示例系统包括系统300。根据一些示例，系统300可以包括多个客户端节点310-1到310-n(其中“n”表示大于3的任何正整数)和服务器305。对于这些示例，NW I/O设备330、NVMe控制器350和回弹缓冲器360可以与服务器305定位在一起和/或被维持在服务器305处。
在一些示例中，由网络I/O设备330和/或服务器305的电路执行的逻辑和/或特征可以将资源分配给客户端310-1到310-n，以便促进对于由NVMe控制器350控制的存储设备(未示出)的远程访问。对于这些示例，单独的I/O队列对(QP)320-1到320-n和单独的NVMeQP340-1到340-n可以被分别分配或指派给客户端310-1到310-n。并且，回弹缓冲器360的至少部分可以被分配或指派给客户端310-1到310-n。I/O QP320-1到320-n、NVMe QP340-1到340-n或回弹缓冲器360可以是驻留在服务器305处的系统存储器的一部分。可选地，I/OQP320-1到320-n可以被维持在NW I/O设备330处或与该NW I/O设备330在一起，并且NVMeQP340-1到340-n可以被维持在NVMe控制器350处或与该NVMe控制器350在一起。
根据一些示例，I/O QP320-1到320-n可以单独地包括由NW I/O设备330处的逻辑和/或特征利用的命令提交队列和命令完成队列二者以便与客户端310-1到310-n交换关于访问由NVMe控制器350控制的存储装置的命令的信息。并且，NVMe QP340-1到340-n可以单独地包括由NW I/O设备330处和NVMe控制器350处的逻辑和/或特征利用的命令提交队列和命令完成队列以便促进命令从客户端310-1到310-n到NVMe控制器350的转送。对于这些示例，NVMe QP340-1到340-n不直接由客户端310-1到310-n可访问。因为NVMe QP340-1到340-n不直接由客户端310-1到310-n可访问，因此NW I/O设备330处的逻辑和/或特征可以能够在从这些客户端接收的命令被转发或转送到NVMe QP340-1到340-n之前对它们进行验证。
在一些示例中，如下面更详细描述的，由NW I/O设备330处的电路执行的逻辑和/或特征可以首先验证从一个或多个客户端310-1到310-n接收的命令以便访问由NVMe控制器350控制的存储装置。所述逻辑和/或特征可以接着能够将所接收的命令的状态指示为无效的或完成的。作为这一示例过程的一部分，该逻辑和/或特征可以利用I/O QP320-1到320-n、NVMeQP340-1到340-n或回弹缓冲器360来按照与上面针对图1和2描述的类似的方式促进访问。
图4说明了NVMe命名空间的示例分配方案400。根据一些示例，被维持在服务器305(例如，服务器软件)处的逻辑和/或特征可以能够分配给定的NVMe命令空间标识符。这些给定的NVMe命名空间标识符可以接着由NW I/O设备330处的逻辑和/或特征使用作为验证过程的一部分，以便允许对由NVMe控制器350控制的存储装置的至少部分的RDMA访问。对于这些示例，NVMe命名空间标识符可以与包括在存储装置中的大量非易失性存储器相关联，该存储装置可以被格式化为具有逻辑块地址的逻辑块。如图4所示，这些NVMe标识符被表示为NVMe命名空间401、402和403。并且，NVMe命名空间401被表示为被进一步细分为包括401-1、401-2和401-3，而NVMe命名空间403被表示为包括403-1、403-2和403-3。
根据一些示例，被维持在服务器305处的逻辑和/或特征可以将一个或多个命名空间上下文(NSC)指派给NVMe命名空间标识符。例如，如图4所示，NSC11、12和13分别被单独地指派给NVMe命名空间标识符401-1、401-2和401-3。同时，NSC10可以被指派给NVMe命名空间标识符401。并且，如图4所示，NSC20、21和22每一个被指派给相同的命名空间标识符402。如下面更多提到的，所指派或分配的NSC可以被通信到客户端310-1到310-n，并且可以接着由NW I/O设备330处的逻辑和/或特征用作索引标识符，以便确定包括在从给定客户端接收的命令中的给定NSC是否使该给定客户端与被分配给该给定客户端的NVMe命令空间相关联。
在一些示例中，NW I/O设备330处的逻辑和/或特征可以使保护域(PD)与给定I/OQP相关联。这些PD可以向客户端提供对具有给定命名空间标识符的一个或多个命名空间的受保护访问。例如，PD＝11包括可以分别提供对命名空间标识符401-1、402和403-2的受保护访问的NSC11、NSC21和NSC32。根据一些示例，如图4所示，PD11、22、33和44可以分别与I/OQP320-1、320-2、320-3和320-4相关联。因而，如上面针对图3提到的，I/O QP320-1被分配用于由客户端310-1使用。因此，通过使PD11与I/O QP320-1相关联，客户端310-1可能具有对命名空间标识符401-1、402和403-2的受保护访问。其它客户端可以接着根据与它们的分别被指派或分配的I/O QP相关联的PD而具有受保护访问。
图5说明了第一示例回弹缓冲器分配。在一些示例中，如图5所示，回弹缓冲器360-1的逻辑块地址(LBA)可以被指派或分配给具有事务标签(TTag)510-1到510-3的事务上下文。对于这些示例，LBA可以针对被维持在服务器305处的系统存储器，并且可以由被维持在服务器305(例如，服务器软件)处的逻辑和/或特征指派。被指派到给定事务上下文的LBA可以用于临时存储以便促进客户端和由NVMe控制器350控制的存储装置之间的数据传输。并且如在图5中示出的，元数据区域可以被保留在被分配给元数据的给定事务上下文的每一个LBA内。元数据例如可以与用于访问由NVMe控制器350控制的存储装置的命令相关联，并且可以包括与客户端和存储装置之间的数据传输相关联的信息(例如，管理或控制信息)。
根据一些示例，一个或多个事务上下文可以被分配给客户端310-1到310-n，并且由服务器305处的逻辑和/或特征通信的那些分配对于客户端和NW I/O设备330处的逻辑和/或特征二者具有TTag510-1、510-2和510-3。对于这些示例并且如下面更多地提到的，所指派或分配的TTag可以由NWI/O设备330处的逻辑和/或特征使用以便可能验证从包括或参照所分配的TTag的客户端接收的命令。并且，被包括在分配到给定事务上下文的LBA中的存储容量的量会限制对于从客户端接收的每一个命令传输的数据的量。如果命令包括对于比指派到TTag更多的回弹缓冲器存储容量的请求或需要，则该命令会被认为是无效的，并且可能被NW I/O设备330处的逻辑和/或特征拒绝。
图6说明了第二示例回弹缓冲器分配。在一些示例中，如图6所示，回弹缓冲器360-2的LBA可以被指派或分配到具有TTag610-1到610-3的事务上下文。对于这些示例，该分配可以类似于对于回弹缓冲器360-1描述的那些分配，例外是，不是包括具有被指派到给定事务上下文的给定LBA的元数据，单独的元数据区域被保留。
在一些示例中，可以从客户端接收包括元数据的初始命令。这一初始命令可以在客户端和由NVMe控制器350控制的存储装置之间建立RDMA数据传输。可以接着从客户端接收不包括元数据的随后的命令。因为随后的命令缺乏元数据，被分配到事务上下文的回弹缓冲器的部分可以完全用于数据传输，而不是保留一部分用于元数据，如上面针对图5描述的。因而，通过使用整个部分，回弹缓冲器360-2可以在随后的命令不包括元数据时被更有效地使用。
图7说明了示例命名空间上下文索引700。根据一些示例，命名空间上下文索引700可以包括用于验证从客户端接收的命令的信息以便提供对由NVMe控制器350控制的存储装置的客户端访问。如图7所示，命名空间上下文索引700描绘了上面针对图3-5描述的被提供到客户端310-1到310-n的资源的各种分配或指派。此外，命名空间上下文索引700包括指示什么操作码(Opcode)被授权用于使客户端访问存储装置的信息。对于每一个客户端的这些操作码可以包括但不局限于冲洗(F)、写入(W)、读取(R)、写入坏轨(WU)、比较(C)中的一个或多个。
根据一些示例，被授权的操作码也可以基于什么操作码被NW I/O设备330处的逻辑和/或特征支持以便促进由NVMe控制器350控制的存储装置的RDMA。例如，除了上面列出的五个操作码以外，NVMe规范还包括几个操作码。然而，额外的操作码可以用于对于由NVMe控制器350控制的存储装置的RDMA不相关或不必要的操作。因而，包括这些其它操作码的命令可以被认为不被NW I/O设备330处的逻辑和/或特征支持。
在一些示例中，某些NVMe命令空间标识符可以被局限于对于那些NVMe命名空间标识符允许的操作码。例如，NVMe命名空间标识符402可以被局限于仅用于读取访问的操作码。因此如在图7中对于命名空间上下文索引700显示的，分别被分配到客户端310-1、310-2和310-n的NSC21、22和20对于操作码仅具有“R”。因而，如果包括这些NSC的命令具有除了读取操作码以外的操作码，则这些命令可能不由NW I/O设备330处的逻辑和/或特征验证。
图8说明了示例通信流800。在一些示例中，如图8所示，通信流800描绘了客户端310-1和服务器305之间的示例通信。对于这些示例，该通信可以与RDMA(例如iWARP、IB、RoCE)协议兼容。
在一些示例中，从图8的顶部开始，第一行“RDMA写入(S-Stag)(数据)”可以是承载事务数据的RDMA写入消息。第二行“RDMA写入(S-Stag)(行外元数据)”可以是承载行外元数据的RDMA写入，其可以在客户端310-1以利用行外元数据被格式化的命名空间为目标时出现。第三行“RDMA发送(命令)(C-标签、S-Stag)”可以是来自客户端310-1的RDMA发送消息，其可以包括用于访问由NVMe控制器350控制的存储装置的命令。第四行“RDMA写入(C-Stag)(数据)”可以是RDMA写入消息以便承载来自存储装置的读取并且以被维持在客户端310-1处的缓冲器(例如由C-Stag表示)为目标的数据，该缓冲器最初在读取请求命令中被指示。第五行“RDMA发送SE(完成)”可以是RDMA发送消息，指示诸如读取命令的所请求的事件(SE)由NVMe控制器350完成。最后一行“RDMA读取(行外元数据)”可以是如果客户端310-1以使用行外元数据被格式化的命名空间作为目标时使用的RDMA读取消息。
根据一些示例，如图8所示，实线可以与所有操作码有关，点线可以与只读操作码有关，并且虚线可以与可以包括写入或比较命令的只写入操作码有关。
图9说明了示例读取命令格式900。根据一些示例，RDMA(例如iWARP、IB、RoCE)协议中的消息可以使用示例读取命令格式900从远程客户端发送到服务器。对于这些示例，客户端310-1到310-n可以使用示例读取命令格式900来转送读取命令以便访问由服务器305处的NVMe控制器350控制的存储装置。NW I/O设备330处的逻辑和/或特征可以接收消息，并且对包括在该消息中的信息与命名空间上下文索引700进行比较以便验证读取命令。例如，可以至少部分地基于在位范围[7:0]中指示的“操作码”是否由NW I/O设备330支持并且基于在位范围[63:32]中指示的“NSC”是否使发送客户端与被分配到该客户端的NVMe命名空间标识符相关联来验证命令。可以使在位范围[31:0]中指示的“回弹缓冲器TTag”与命名上下文索引700中的信息进行比较以便验证发送客户端是否被分配了与该TTag相关联的事务上下文。进而，在位范围[63:0]中指示的“起始LBA”和在位范围[15:0]中指示的“逻辑块的号”可以用于确定对于命令的访问事务的尺寸，并且接着使该尺寸与来自对于与“回弹缓冲器TTag”相关联的事务上下文分配的回弹缓冲器360-1的存储容量的量进行比较。如果所确定的尺寸超出所分配的存储容量的量，则NW I/O设备330处的逻辑和/或特征可以验证读取命令。
本公开不局限于被包括在按照读取命令格式900的示例格式接收的读取命令中的信息的上面提到的示例。包括在按照读取命令格式900的示例格式或其它读取命令格式的读取命令中的其它信息可以用于验证从客户端接收的读取命令。
图10说明了示例写入和比较命令格式1000。根据一些示例，RDMA(例如iWARP、IB、RoCE)协议中的消息可以使用写入和比较命令格式1000被从远程客户端发送到服务器。对于这些示例，客户端310-1到310-n可以使用示例写入和比较命令格式1000来转送写入或比较命令以便访问由服务器305处的NVMe控制器350控制的存储装置。NW I/O设备330处的逻辑和/或特征可以接收消息，并且使包括在该消息中的信息与命名空间上下文索引700进行比较以便验证写入或比较命令。如上所述，在诸如读取命令格式900的类似的位范围中指示的信息，也可以在示例写入和比较命令格式1000中被指示。因而，按照写入和比较命令格式1000的示例格式接收的写入或比较命令可以按照如上面针对图9提到的类似方式被验证。
本公开不局限于被包括在按照写入和比较命令格式1000的示例格式接收的写入或比较命令中的信息的上面提到的示例。被包括在按照写入和比较命令格式1000的示例格式或其它写入或比较命令格式的写入或比较命令中的其它信息可以用于验证从客户端接收的写入或比较命令。
图11说明了示例冲洗和写入坏轨命令格式1100。根据一些示例，RDMA(例如iWARP、IB、RoCE)协议中的消息可以使用冲洗和写入坏轨命令格式1100被从远程客户端发送到服务器。对于这些示例，客户端310-1到310-n可以使用示例冲洗和写入坏轨命令格式1100来转送冲洗或写入坏轨命令以便访问由服务器305处的NVMe控制器350控制的存储装置。NWI/O设备330处的逻辑和/或特征可以接收消息，并且使包括在该消息中的信息与命名空间上下文索引700进行比较以便验证冲洗或写入坏轨命令。如上所述，在诸如读取命令格式900的类似的位范围中指示的信息，也可以在示例冲洗和写入坏轨命令格式1100中被指示。因而，按照冲洗和写入坏轨命令格式1100的示例格式接收的冲洗或写入坏轨命令可以按照如上面针对图9提到的类似方式被验证。
本公开不局限于被包括在按照冲洗和写入坏轨命令格式1100的示例格式接收的冲洗或写入坏轨命令中的信息的上面提到的示例。被包括在按照冲洗和写入坏轨命令格式1100的示例格式或其它冲洗或写入坏轨命令格式的冲洗或写入坏轨命令中的其它信息可以用于验证从客户端接收的冲洗或写入坏轨命令。
图12说明了示例NVMe命令完成格式1200。根据一些示例，NW I/O设备330处的逻辑和/或特征可以能够将RDMA(例如iWARP、IB、RoCE)协议中的消息发送到客户端以便指示从客户端接收的命令的状态。对于这些示例，可以使用示例NVMe命令完成格式1200来发送消息。例如，NVMe命令完成格式1200的“状态字段”可以在位范围[63:49]中指示所接收的命令的状态。并且，客户端可以使用包括在位范围[47:32]中的“TTag索引低”信息以便使按照示例NVMe命令完成格式1200的所接收的命令与具有TTag的先前发送的命令相关联，该TTag匹配包括在位范围[47:32]中的至少一些信息。
图13说明了示例NVMe命令验证表1300。在一些示例中，NVMe命令验证表1300可以指示NW I/O设备330的逻辑和/或特征可以能够进行的各种验证检查以便证实从客户端接收的命令。如图13所示，所执行的检查可以基于在所接收的命令中指示或包括的操作码而变化。根据一些示例，可以使包括在所接收的命令(例如按照格式900、1000或1100)中的信息与被维持在诸如命名空间上下文索引700的索引中的信息进行比较，以便执行检查。
图14说明了装置1400的示例方框图。尽管图14所示的装置1400具有在某种拓扑中的有限数量的元件，但是可以认识到，装置1400可以包括在可选的拓扑中的更多或更少的元件，如对于给定实现期望的。
装置1400可以由被维持在耦合到服务器的网络I/O设备处的电路1420支持。电路1420可以被布置为执行一个或多个软件或固件实现的模块1422-a。值得注意的是，“a”和“b”和“c”以及如在本文使用的类似的标志符意在作为代表任何正整数的变量。因而例如，如果实现设置a＝5的值，则模块1422-a的软件或固件的完整集合可以包括模块1422-1、1422-2、1422-3、1422-4或1422-5。所提出的示例并不局限于这一上下文中，并且自始至终使用的不同变量可以代表相同或不同的整数值。
根据一些示例，电路1420可以包括处理器或处理器电路。处理器或处理器电路可以是各种市场上可买到的处理器中的任意一种，没有限制地包括和处理器；应用、嵌入式和安全处理器；和以及处理器；IBM和蜂窝处理器；Core(2)Core i3、Corei5、Core i7、Xeon和处理器；以及类似的处理器。根据一些示例，电路1420也可以是专用集成电路(ASIC)，并且至少一些模块1422-a可以被实现为ASIC的硬件元件。
根据一些示例，装置1400可以包括接收模块1422-1。接收模块1422-1可以能够经由符合RDMA(例如iWARP、IB、RoCE)协议的消息来接收命令1410。命令1410可以被从远程客户端发送到服务器。对于这些示例，服务器可以耦合到具有装置1400的NW I/O设备。命令1410可以包括访问由服务器处或与服务器一起定位的NVMe控制器控制的存储装置的命令。接收模块1422-1可以能够至少临时地存储协议信息1424-a(例如，在诸如查找表(LUT)的数据结构中)，以便解释或解码命令1410的至少部分。
在一些示例中，装置400还可以包括验证模块1422-2。验证模块1422-2可以能够验证由接收模块1422-1接收的命令。验证模块1422-2可以使用包括在索引(例如，命名空间上下文索引700)中的信息来执行验证。验证模块1422-2可以能够将索引信息至少临时地存储在数据结构(例如LUT)中。索引信息在图14中被表示为NSC索引信息142-b。验证模块1422-2还可以使用至少临时地存储在数据结构(例如，NVMe命令验证表1300)中的信息来执行各种验证检查。检查信息在图14中被表示为NVMe命令检查信息1428-c。对于这些示例，在NVMe命令检查信息1428-c中描述的检查之后，与NSC索引信息1426-b相比较，验证模块1422-2可以至少部分地基于包括在命令1410中的信息来执行验证。
在一些示例中，装置400还可以包括有效载荷模块1422-3。有效载荷模块1422-3可以能够获得(例如，从由验证模块1422-2维持的LUT)用于将写入或比较数据放置到在被验证的命令中指示的回弹缓冲器的信息。有效载荷模块1422-3可以使用来自NSC索引信息1426-b的信息以便确定回弹缓冲器的什么LBA要写入数据。
根据一些示例，装置1400还可以包括提交模块1422-4。提交模块1422-4可以能够将被验证的命令写入到NVMe提交队列。提交模块1422-4可以使用来自NSC索引信息1426-b的信息以便确定哪个NVMe提交队列要写入被验证的命令1410。
在一些示例中，装置1400还可以包括报告模块1422-5。报告模块1422-5可以能够指示所接收的命令1410的状态。如果命令1410被发现是无效的，则该状态例如可以包括无效命令1440。如果被验证的命令1410由NVMe控制器执行，则已完成命令1450可以被指示。报告模块1422-5可以能够至少临时地存储协议信息1424-a(例如在LUT中)，以便对要被发送到客户端的符合RDMA(例如iWARP、IB、RoCE)的协议中的无效命令1440或已完成命令1450的至少部分进行编码，该客户端发送命令1410。
本文包括代表用于执行所公开的体系结构的新颖方面的示例方法的一组逻辑流程。然而为了解释的简单的目的，本文所示的一个或多个方法被显示和描述为一系列动作，本领域中的技术人员将理解和认识到，所述方法并不被所述动作的顺序限制。一些动作可以根据其而按照与在本文示出和描述的顺序不同的顺序和/或与其它动作同时出现。例如，本领域中的技术人员将理解和认识到，可以将方法可选地表示为一系列相互关联的状态或事件，例如在状态图中。而且，对于新颖实现，可以不要求在方法中说明的所有动作。
逻辑流程可以在软件、固件和/或硬件中实现。在软件和固件实现中，逻辑流程可以由存储在诸如光学、磁或半导体存储装置的至少一个非暂态计算机可读介质或机器可读介质上的计算机可执行指令实现。实施例并不局限于这一上下文。
图15说明了逻辑流程1500的示例。逻辑流程1500可以代表由本文描述的一个或多个逻辑、特征和/或设备，例如装置1400，执行的一些或所有操作。更具体地，逻辑流程1500可以由接收模块1422-1、验证模块1422-2、有效载荷模块1422-4、提交模块1422-4或报告模块1422-5实现。
根据一些示例，方框1502处的逻辑流程1500可以从客户端接收命令以便向客户端提供对由被维持在服务器处的NVMe控制器控制的存储设备的访问。例如，对于耦合到服务器的NW I/O设备，命令1410可以由包括在装置1400中的接收模块1422-1接收。
在一些示例中，方框1504处的逻辑流程1500可以接着至少部分地基于包括在该命令中的操作码是否被NW I/O设备支持并且基于包括在该命令中的索引标识符是否使客户端与被分配到该客户端的NVMe命名空间标识符相关联来验证命令。例如，验证模块1422-2可以根据NVMe命令检查信息1428-c来对包括在命令1410中的信息与NSC信息1426-b进行比较，以便确定命令1410是否是有效的。
根据一些示例，方框1506处的逻辑流程1500可以接着向客户端指示所接收的命令的状态。对于这些示例，该状态可以包括无效命令或已完成命令中的一个。如果验证模块1422-2确定命令是无效的，则报告模块1422-5可以例如向发送命令1410的客户端指示无效命令1440。可选地，报告模块1422-5可以指示有效命令1410由被维持在服务器处的NVMe控制器执行。该指示可以是已完成命令1450，并且如上面提到的，可以在被指派到发送命令1410的客户端的命令完成队列中被指示。
图16说明了存储介质1600的示例。存储介质1600可以包括制品。在一些示例中，存储介质1600可以包括任何非暂态计算机可读介质或机器可读介质，例如光学、磁或半导体存储装置。存储介质1600可以存储各种类型的计算机可执行指令，例如实现逻辑流程1500的指令。计算机可读或机器可读存储介质的示例可以包括能够存储电子数据的任何有形介质，包括易失性存储器或非易失性存储器、可移动或不可移动存储器、可擦除或不可擦除存储器、可写或可重写存储器等等。计算机可执行指令的示例可以包括任何适当类型的代码，例如源代码、编译代码、解释代码、可执行代码、静态代码、动态代码、面向对象的代码、可视化代码等等。示例并不局限于这一上下文。
图17说明了示例NW I/O设备1700。在一些示例中，如图17所示，NW I/O设备1700可以包括处理部件1740、其它平台部件或通信接口1760。根据一些示例，网络I/O设备1700可以在耦合到如上所述的系统或数据中心中的服务器的NW I/O设备中实现。
根据一些示例，处理部件1740可以执行对于装置1400和/或存储介质1600的处理操作或逻辑。处理部件1740可以包括各种硬件元件、软件元件或这两者的组合。硬件元件的示例可以包括设备、逻辑设备、部件、处理器、微处理器、电路、处理器电路、电路元件(例如，晶体管、电阻器、电容器、电感器等等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、存储器单元、逻辑门、寄存器、半导体设备、芯片、微芯片、芯片组等等。软件元件的示例可以包括软件部件、程序、应用、计算机程序、应用程序、设备驱动器、系统程序、软件开发程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、函数、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号或其任何组合。确定示例是使用硬件元件和/或软件元件实现可以根据任何数量的因素而改变，该因素例如是期望的计算速率、功率水平、热耐受性、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度和其它设计或性能约束，如对于给定示例期望的。
在一些示例中，其它平台部件1750可以包括公共计算元件，例如一个或多个处理器、多核处理器、协处理器、存储器单元、芯片组、控制器、外围设备、接口、振荡器、定时设备等等。存储器单元的示例可以没有限制地包括具有一个或多个较高速度存储器单元的形式的各种类型的计算机可读和机器可读存储介质，例如ROM、RAM、DRAM、DDRAM、SDRAM、SRAM、PROM、EPROM、EEPROM、闪存或者适合于存储信息的任何其它类型的存储介质。
在一些示例中，通信接口1760可以包括逻辑和/或特征来支持通信接口。对于这些示例，通信接口1760可以包括根据各种通信协议或标准来操作以便通过直接或网络通信链路进行通信的一个或多个通信接口。直接通信可以经由在一个或多个工业标准(包括后代和变形)，例如与PCIe规范、NVMe规范、RDMA协议规范、IEEE802-2-2008规范、RFC791或RFC793相关联的标准，中描述的通信协议或标准的使用而发生。
NW I/O设备1700的部件和特征可以使用分立电路、专用集成电路(ASIC)、逻辑门和/或单个芯片架构的任何组合来实现。进而，NW I/O设备1700的特征可以在适当地适宜的场合使用微控制器、可编程逻辑阵列和/或微处理器或前述设备的任何组合来实现。注意到，硬件、固件和/或软件元件可以在本文被共同或单独地被称为“逻辑”或“电路”。
应该认识到，在图17的方框图中示出的示例NW I/O设备1700可以代表许多潜在实现的一个功能描述性示例。因此，在附图中描绘的块功能的划分、省略或包括并不推断出用于实现这些功能的硬件部件、电路、软件和/或元件将必须在实施例中被划分、省略或包括。
至少一个示例的一个或多个方面可以由存储在代表处理器内的各种逻辑的至少一个机器可读介质上的代表性指令实现，当被机器、计算设备或者系统读取时，该指令使该机器、计算设备或系统制造逻辑以便执行本文描述的技术。被称为“IP”核心的这样的表示可以被存储在有形机器可读介质上，并且被提供到各种消费者或制造设施以便装入到实际上制造逻辑或处理器的制造机器中。
可以使用硬件元件、软件元件或这两者的组合来实现各种示例。在一些示例中，硬件元件可以包括设备、部件、处理器、微处理器、电路、电路元件(例如，晶体管、电阻器、电容器、电感器等等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、存储器单元、逻辑门、寄存器、半导体设备、芯片、微芯片、芯片组等等。在一些示例中，软件元件可以包括软件部件、程序、应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、函数、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号或其任何组合。确定示例是使用硬件元件和/或软件元件实现可以根据任何数量的因素改变，该因素例如是期望的计算速率、功率水平、热耐受性、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度和其它设计或性能约束，如对于给定示例期望的。
一些示例可以包括制品或至少一个计算机可读介质。计算机可读介质可以包括非暂态存储介质以便存储逻辑。在一些示例中，非暂态存储介质可以包括能够存储电子数据的一种或多种类型的计算机可读存储介质，包括易失性存储器或非易失性存储器、可移动或不可移动存储器、可擦除或不可擦除存储器、可写或可重写存储器等等。在一些示例中，逻辑可以包括各种软件元件，例如软件部件、程序、应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、函数、方法、过程、软件接口、API、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号或其任何组合。
根据一些示例，计算机可读介质可以包括非暂态存储介质以便存储或维持指令，当被机器、计算设备或系统执行时，该指令使该机器、计算设备或系统执行根据所描述的示例的方法和/或操作。指令可以包括任何适当类型的代码，例如源代码、编译代码、解释代码、可执行代码、静态代码、动态代码等等。可以根据用于指示机器、计算设备或系统执行某种功能的预定义的计算机语言、方式或句法来实现指令。可以使用任何适当的高级、低级、面向对象、可视化、编译和/或解释编程语言来实现指令。
可以使用措辞“在一个示例中”或“示例”连同其派生词来描述一些示例。这些术语意指结合该示例描述的特定特征、结构或特性可以被包括在至少一个示例中。短语“在一个示例中”在说明书中不同地方的出现并不一定都指代相同的示例。
可以使用措辞“耦合”和“连接”连同其派生词来描述一些示例。这些词语不必意在作为彼此的同义词。例如，使用词语“连接”和/或“耦合”的描述可以指示两个或更多个元件彼此直接物理或电接触。然而，词语“耦合”也可以意指两个或更多个元件彼此不直接接触，但是仍然彼此协作或相互作用。
要强调的是，提供本公开的摘要以便符合37C.F.R.第1.72(b)节，要求将允许读者更快地确定技术公开的性质的摘要。应当理解，它将不用于解释或限制权利要求的范围或意义。此外，在前面的详细描述中可以看到，为了简单化本公开的目的，各种附图在单个实施例中被分组到一起。本公开的这一方法不应该被解释为反映请求保护的示例要求比在每一个权利要求中明确列举的特征更多的特征的意图。更确切地，如下面的权利要求反映的，创造性主题在于少于单个所公开的示例的所有特征。因而，下面的权利要求特此被合并到详细描述中，每一个权利要求独立地作为单独的示例。在所附权利要求中，词语“包括(including)”和“其中(in which)”分别用作词语“包括(comprising)”和“其中(wherein)”的浅近英语等效形式。而且，词语“第一”、“第二”、“第三”等等仅用作标记，并且并不意在将数字要求强加在它们的对象上。
根据一些示例，示例装置可以包括用于耦合到服务器的网络输入/输出设备的电路。示例装置还可以包括用于由电路执行以便从远离服务器的客户端接收命令的接收模块。该命令可以向客户端提供对由被维持在服务器处的非易失性存储器Express(NVMe)控制器控制的存储设备的访问。示例装置还可以包括用于由电路执行以便至少部分地基于在该命令中指示的操作码是否被网络输入/输出设备支持并且基于在该命令中指示的索引标识符是否使客户端与被分配到该客户端的NVMe命名空间标识符相关联来验证命令的验证模块。示例装置还可以包括用于由电路执行以便向客户端指示所接收的命令的状态的报告模块。该状态还可以包括无效命令或已完成命令中的一个。
在一些示例中，示例装置还可以包括被布置为根据工业标准进行操作以便包括PCIe基本规范版本3.0或NVMe规范版本1.1的网络输入/输出设备、存储设备和NVMe控制器。
根据示例装置的一些示例，所述命令可以在与远程直接存储器存取(RDMA)协议兼容的分组中被接收，所述远程直接存储器存取(RDMA)协议包括互联网广域RDMA协议(iWARP)、Infinband或融合以太网上RDMA(RoCE)中的一个。
在示例装置的一些示例中，包括在命令中的操作码包括冲洗、写入、读取、写入坏轨或比较中的一个。
根据一些示例，示例装置还可以包括存储设备，包括硬盘驱动(HDD)或固态驱动(SSD)。SSD可以具有非易失性存储器，包括3维交叉点存储器、闪存、铁电存储器、硅-氧化物-氮化物-氧化物-硅(SONOS)存储器、聚合物存储器、纳米线、铁电晶体管随机存取存储器(FeTRAM或FeRAM)、纳米线或电可擦除可编程只读存储器(EEPROM)中的至少一个。
在示例装置的一些示例中，使客户端与命名空间标识符相关联的索引标识符被包括在索引中，该索引指示由服务器提供到客户端的用于访问存储设备的所分配的资源，该所分配的资源包括由服务器维持的缓冲器和客户端可访问的第一队列对，该第一队列对包括到NVMe控制器的命令提交队列和来自NVMe控制器的命令完成队列。
根据示例装置的一些示例，所分配的资源还可以包括NVMe控制器可访问的第二队列对，该第二队列对包括到NVMe控制器的第二命令提交队列和来自NVMe控制器的第二命令完成队列。
在一些示例中，示例装置还可以包括能够经由第一命令完成队列中的指示来将所接收的命令的状态指示为已完成命令的报告模块，该指示用于指示访问存储设备的所接收的命令由NVMe控制器执行。
根据示例装置的一些示例，所分配的资源可以包括缓冲器的存储器容量的一部分。验证模块还可以基于在该命令中指示的访问存储设备的事务尺寸是否超出存储容量的该部分来验证命令。
在示例装置的一些示例中，使客户端与NVMe命名空间标识符相关联的索引标识符也可以使客户端与被指派到缓冲器的第一事务上下文相关联。验证模块还可以基于在所接收的命令中指示的第二事务上下文是否与第一事务上下文相匹配来验证命令。
根据示例装置的一些示例，使客户端与NVMe命名空间标识符相关联的索引标识符也可以使NVMe命名空间标识符与操作码相关联。验证模块还可以基于在该命令中指示的操作码是否与NVMe命名空间标识符相关联来验证命令。
在一些示例中，示例方法可以包括在耦合到服务器的网络输入/输出设备处接收用于远离服务器的客户端访问由被维持在该服务器处的非易失性存储器Express(NVMe)控制器控制的存储设备的命令。可以基于在该命令中指示的操作码(Opcode)是否被网络输入/输出设备支持并且基于在该命令中指示的索引标识符是否使客户端与被分配到该客户端的NVMe命名空间标识符相关联来验证命令。可以接着向客户端指示所接收的命令的状态，作为无效命令或已完成命令中的一个。
根据一些示例，示例方法还可以包括布置为根据工业标准来操作以便包括PCIe基本规范版本3.0或NVMe规范版本1.1的网络输入/输出设备、存储设备和NVMe控制器。
在示例方法的一些示例中，所分配的资源还包括NVMe控制器可访问的第二队列对，该第二队列对包括到NVMe控制器的第二命令提交队列和来自NVMe控制器的第二命令完成队列。
根据示例方法的一些示例，所接收的命令的状态可以经由被置于第一命令完成队列中的完成指示而被指示为已完成命令。该完成指示可以指示访问存储设备的所接收的命令由NVMe控制器执行。
在示例方法的一些示例中，使客户端与NVMe命名空间标识符相关联的索引标识符也可以使客户端与被指派到缓冲器的第一事务上下文相关联。验证所述命令还可以包括基于在所接收的命令中指示的第二事务上下文是否与第一事务上下文相匹配来验证命令。
根据示例方法的一些示例，存储设备包括硬盘驱动(HDD)或固态驱动(SSD)。对于这些示例，SSD可以具有非易失性存储器，其包括3维交叉点存储器、闪存、铁电存储器、硅-氧化物-氮化物-氧化物-硅(SONOS)存储器、聚合物存储器、纳米线、铁电晶体管随机存取存储器(FeTRAM或FeRAM)、纳米线或电可擦除可编程只读存储器(EEPROM)。
根据一些示例，至少一个机器可读介质包括多个指令，对在耦合到服务器的网络输入/输出设备上被执行做出响应，该指令使网络I/O设备执行如上面提到的示例方法。
尽管以结构特征和/或方法动作特定的语言描述了该主题，但是应该理解，在所附权利要求中定义的主题不必局限于上面描述的特定特征或动作。更确切地，上面描述的特定特征和动作被公开为实现权利要求的示例形式。

Claims (34)

1.一种用于访问存储设备的命令验证的装置，包括：
用于耦合到服务器的网络输入/输出设备的电路；
接收模块，用于由所述电路执行以便从远离所述服务器的客户端接收命令，所述命令用于向所述客户端提供对由维持在所述服务器处的非易失性存储器快速(NVMe)控制器控制的存储设备的访问；
验证模块，用于由所述电路执行以便至少部分地基于在所述命令中指示的操作码(Opcode)是否被所述网络输入/输出设备支持并且基于在所述命令中指示的索引标识符是否使所述客户端与被分配到所述客户端的NVMe命名空间标识符相关联来验证所述命令；以及
报告模块，用于由所述电路执行以便向所述客户端指示接收到的命令的状态，所述状态包括无效命令或已完成命令中的一个。
2.如权利要求1所述的装置，所述网络输入/输出设备、所述存储设备和所述NVMe控制器被布置为根据工业标准来操作，所述工业标准包括PCIe基本规范版本3.0或NVMe规范版本1.1。
3.如权利要求1所述的装置，在与远程直接存储器存取(RDMA)协议兼容的分组中接收所述命令，所述远程直接存储器存取(RDMA)协议包括互联网广域RDMA协议(iWARP)、Infinband或融合以太网上RDMA(RoCE)中的一个。
4.如权利要求1所述的装置，包括在所述命令中的所述操作码包括冲洗、写入、读取、写入坏轨或比较中的一个。
5.如权利要求1所述的装置，所述存储设备包括硬盘驱动(HDD)或固态驱动(SSD)，所述SSD具有非易失性存储器，包括下列中的至少一个：3维交叉点存储器、闪存、铁电存储器、硅-氧化物-氮化物-氧化物-硅(SONOS)存储器、聚合物存储器、纳米线、铁电晶体管随机存取存储器(FeTRAM)或铁电随机存取存储器(FeRAM)、纳米线或电可擦除可编程只读存储器(EEPROM)。
6.如权利要求1到5中的任意一项所述的装置，使所述客户端与所述NVMe命名空间标识符相关联的所述索引标识符被包括在索引中，所述索引指示由所述服务器提供到所述客户端的用于访问所述存储设备的分配的资源，所述分配的资源包括由所述服务器维持的缓冲器和所述客户端可访问的第一队列对，所述第一队列对包括到所述NVMe控制器的第一命令提交队列和来自所述NVMe控制器的第一命令完成队列。
7.如权利要求6所述的装置，所述分配的资源还包括所述NVMe控制器可访问的第二队列对，所述第二队列对包括到所述NVMe控制器的第二命令提交队列和来自所述NVMe控制器的第二命令完成队列。
8.如权利要求6所述的装置，所述报告模块能够经由所述第一命令完成队列中的指示来将所述接收到的命令的状态指示为已完成命令，所述指示用于指示访问所述存储设备的所述接收到的命令由所述NVMe控制器执行。
9.如权利要求6所述的装置，所述分配的资源包括所述缓冲器的存储器容量的一部分，所述验证模块还基于在所述命令中指示的访问所述存储设备的事务尺寸是否超出所述存储器容量的所述部分来验证所述命令。
10.如权利要求6所述的装置，使所述客户端与所述NVMe命名空间标识符相关联的所述索引标识符也使所述客户端与被指派到所述缓冲器的第一事务上下文相关联，所述验证模块还基于在所述接收到的命令中指示的第二事务上下文是否与所述第一事务上下文相匹配来验证所述命令。
11.如权利要求1到5中的任意一项所述的装置，使所述客户端与所述NVMe命名空间标识符相关联的所述索引标识符也使所述NVMe命名空间标识符与操作码相关联，所述验证模块还基于在所述命令中指示的所述操作码是否与所述NVMe命名空间标识符相关联来验证所述命令。
12.一种用于访问存储设备的命令验证的方法，包括：
在耦合到服务器的网络输入/输出设备处接收用于远离所述服务器的客户端访问由维持在所述服务器处的非易失性存储器快速(NVMe)控制器控制的存储设备的命令；
基于在所述命令中指示的操作码(Opcode)是否被所述网络输入/输出设备支持并且基于在所述命令中指示的索引标识符是否使所述客户端与被分配到所述客户端的NVMe命名空间标识符相关联来验证所述命令；以及向所述客户端将接收到的命令的状态指示为无效命令或已完成命令中的一个。
13.如权利要求12所述的方法，所述网络输入/输出设备、所述存储设备和所述NVMe控制器被布置为根据工业标准来操作，所述工业标准包括PCIe基本规范版本3.0或NVMe规范版本1.1。
14.如权利要求12所述的方法，在与远程直接存储器存取(RDMA)协议兼容的分组中接收所述命令，所述远程直接存储器存取(RDMA)协议包括互联网广域RDMA协议(iWARP)、Infinband或融合以太网上RDMA(RoCE)中的一个。
15.如权利要求12所述的方法，在所述命令中指示的所述操作码包括冲洗、写入、读取、写入坏轨或比较中的一个。
16.如权利要求12到15中的任意一项所述的方法，使所述客户端与所述NVMe命名空间标识符相关联的所述索引标识符被包括在索引中，所述索引指示由所述服务器提供到所述客户端的用于访问所述存储设备的分配的资源，所述分配的资源包括由所述服务器维持的缓冲器和所述客户端可访问的第一队列对，所述第一队列对包括到所述NVMe控制器的第一命令提交队列和来自所述NVMe控制器的第一命令完成队列。
17.如权利要求16所述的方法，所述分配的资源还包括所述NVMe控制器可访问的第二队列对，所述第二队列对包括到所述NVMe控制器的第二命令提交队列和来自所述NVMe控制器的第二命令完成队列。
18.如权利要求16所述的方法，经由被置于所述第一命令完成队列中的完成指示来将所述接收到的命令的状态指示为已完成命令，所述完成指示用于指示访问所述存储设备的所述接收到的命令由所述NVMe控制器执行。
19.如权利要求16所述的方法，使所述客户端与所述NVMe命名空间标识符相关联的所述索引也使所述客户端与被指派到所述缓冲器的第一事务上下文相关联，验证所述命令还包括基于在所述接收到的命令中指示的第二事务上下文是否与所述第一事务上下文相匹配来验证所述命令。
20.如权利要求12到15中的任意一项所述的方法，所述存储设备包括硬盘驱动(HDD)或固态驱动(SSD)，所述SSD具有非易失性存储器，包括下列中的至少一个：3维交叉点存储器、闪存、铁电存储器、硅-氧化物-氮化物-氧化物-硅(SONOS)存储器、聚合物存储器、纳米线、铁电晶体管随机存取存储器(FeTRAM)或铁电随机存取存储器(FeRAM)、纳米线或电可擦除可编程只读存储器(EEPROM)。
21.一种耦合到服务器的网络输入/输出设备，包括：
通信接口；
存储器；以及
处理器，用于：接收用于远离所述服务器的客户端访问由维持在所述服务器处的非易失性存储器快速(NVMe)控制器控制的存储设备的命令，基于在所述命令中指示的操作码(Opcode)是否被所述网络输入/输出设备支持并且基于在所述命令中指示的索引标识符是否使所述客户端与被分配到所述客户端的NVMe命名空间标识符相关联来验证所述命令，以及向所述客户端将接收到的命令的状态指示为无效命令或已完成命令中的一个。
22.如权利要求21所述的网络输入/输出设备，所述网络输入/输出设备、所述存储设备和所述NVMe控制器被布置为根据工业标准来操作，所述工业标准包括PCIe基本规范版本3.0或NVMe规范版本1.1。
23.如权利要求21所述的网络输入/输出设备，在与远程直接存储器存取(RDMA)协议兼容的分组中接收所述命令，所述远程直接存储器存取(RDMA)协议包括互联网广域RDMA协议(iWARP)、Infinband或融合以太网上RDMA(RoCE)中的一个。
24.如权利要求21所述的网络输入/输出设备，在所述命令中指示的所述操作码包括冲洗、写入、读取、写入坏轨或比较中的一个。
25.如权利要求21到24中的任意一项所述的网络输入/输出设备，使所述客户端与所述NVMe命名空间标识符相关联的所述索引标识符被包括在索引中，所述索引指示由所述服务器提供到所述客户端的用于访问所述存储设备的分配的资源，所述分配的资源包括由所述服务器维持的缓冲器和所述客户端可访问的第一队列对，所述第一队列对包括到所述NVMe控制器的第一命令提交队列和来自所述NVMe控制器的第一命令完成队列。
26.如权利要求25所述的网络输入/输出设备，所述分配的资源还包括所述NVMe控制器可访问的第二队列对，所述第二队列对包括到所述NVMe控制器的第二命令提交队列和来自所述NVMe控制器的第二命令完成队列。
27.如权利要求25所述的网络输入/输出设备，经由被置于所述第一命令完成队列中的完成指示来将所述接收到的命令的状态指示为已完成命令，所述完成指示用于指示访问所述存储设备的所述接收到的命令由所述NVMe控制器执行。
28.如权利要求25所述的网络输入/输出设备，使所述客户端与所述NVMe命名空间标识符相关联的所述索引也使所述客户端与被指派到所述缓冲器的第一事务上下文相关联，验证所述命令还包括基于在所述接收到的命令中指示的第二事务上下文是否与所述第一事务上下文相匹配来验证所述命令。
29.如权利要求21到24中的任意一项所述的网络输入/输出设备，所述存储设备包括硬盘驱动(HDD)或固态驱动(SSD)，所述SSD具有非易失性存储器，包括下列中的至少一个：3维交叉点存储器、闪存、铁电存储器、硅-氧化物-氮化物-氧化物-硅(SONOS)存储器、聚合物存储器、纳米线、铁电晶体管随机存取存储器(FeTRAM)或铁电随机存取存储器(FeRAM)、纳米线或电可擦除可编程只读存储器(EEPROM)。
30.一种用于访问存储设备的命令验证的装置，包括：
用于在耦合到服务器的网络输入/输出设备处接收用于远离所述服务器的客户端访问由维持在所述服务器处的非易失性存储器快速(NVMe)控制器控制的存储设备的命令的模块；
用于基于在所述命令中指示的操作码(Opcode)是否被所述网络输入/输出设备支持并且基于在所述命令中指示的索引标识符是否使所述客户端与被分配到所述客户端的NVMe命名空间标识符相关联来验证所述命令的模块；以及
用于向所述客户端将接收到的命令的状态指示为无效命令或已完成命令中的一个的模块。
31.如权利要求30所述的装置，在所述命令中指示的所述操作码包括冲洗、写入、读取、写入坏轨或比较中的一个。
32.如权利要求30到31中的任意一项所述的装置，使所述客户端与所述NVMe命名空间标识符相关联的所述索引标识符被包括在索引中，所述索引指示由所述服务器提供到所述客户端的用于访问所述存储设备的分配的资源，所述分配的资源包括由所述服务器维持的缓冲器和所述客户端可访问的第一队列对，所述第一队列对包括到所述NVMe控制器的第一命令提交队列和来自所述NVMe控制器的第一命令完成队列。
33.如权利要求32所述的装置，所述分配的资源还包括所述NVMe控制器可访问的第二队列对，所述第二队列对包括到所述NVMe控制器的第二命令提交队列和来自所述NVMe控制器的第二命令完成队列。
34.如权利要求32所述的装置，使所述客户端与所述NVMe命名空间标识符相关联的所述索引也使所述客户端与被指派到所述缓冲器的第一事务上下文相关联，验证所述命令还包括基于在所述接收到的命令中指示的第二事务上下文是否与所述第一事务上下文相匹配来验证所述命令。
CN201380005847.2A 2012-01-17 2013-01-16 用于远程客户端访问存储设备的命令验证的技术 Active CN104246742B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261587541P 2012-01-17 2012-01-17
US61/587,541 2012-01-17
PCT/US2013/021759 WO2013109640A1 (en) 2012-01-17 2013-01-16 Techniques for command validation for access to a storage device by a remote client

Publications (2)

Publication Number Publication Date
CN104246742A CN104246742A (zh) 2014-12-24
CN104246742B true CN104246742B (zh) 2017-11-10

Family

ID=48799625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380005847.2A Active CN104246742B (zh) 2012-01-17 2013-01-16 用于远程客户端访问存储设备的命令验证的技术

Country Status (5)

Country Link
US (7) US9467512B2 (zh)
CN (1) CN104246742B (zh)
BR (1) BR112014017543A2 (zh)
DE (1) DE112013000601T5 (zh)
WO (1) WO2013109640A1 (zh)

Families Citing this family (198)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9471578B2 (en) 2012-03-07 2016-10-18 Commvault Systems, Inc. Data storage system utilizing proxy device for storage operations
US9298715B2 (en) 2012-03-07 2016-03-29 Commvault Systems, Inc. Data storage system utilizing proxy device for storage operations
US9342537B2 (en) 2012-04-23 2016-05-17 Commvault Systems, Inc. Integrated snapshot interface for a data storage system
US9886346B2 (en) 2013-01-11 2018-02-06 Commvault Systems, Inc. Single snapshot for multiple agents
US11966355B2 (en) * 2013-03-10 2024-04-23 Mellanox Technologies, Ltd. Network adapter with a common queue for both networking and data manipulation work requests
US9423977B2 (en) * 2013-03-14 2016-08-23 Seagate Technology Llc Lock-free communication storage request reordering
US8966164B1 (en) * 2013-09-27 2015-02-24 Avalanche Technology, Inc. Storage processor managing NVME logically addressed solid state disk array
US8954657B1 (en) * 2013-09-27 2015-02-10 Avalanche Technology, Inc. Storage processor managing solid state disk array
US9009397B1 (en) * 2013-09-27 2015-04-14 Avalanche Technology, Inc. Storage processor managing solid state disk array
US9967340B2 (en) * 2013-04-11 2018-05-08 Avago Technologies General Ip (Singapore) Pte. Ltd. Network-displaced direct storage
US9483431B2 (en) 2013-04-17 2016-11-01 Apeiron Data Systems Method and apparatus for accessing multiple storage devices from multiple hosts without use of remote direct memory access (RDMA)
US10452316B2 (en) 2013-04-17 2019-10-22 Apeiron Data Systems Switched direct attached shared storage architecture
US9756128B2 (en) 2013-04-17 2017-09-05 Apeiron Data Systems Switched direct attached shared storage architecture
US20140337456A1 (en) * 2013-05-07 2014-11-13 Dell Products L.P. Systems and methods for enabling rdma between diverse endpoints
US10063638B2 (en) * 2013-06-26 2018-08-28 Cnex Labs, Inc. NVM express controller for remote access of memory and I/O over ethernet-type networks
US9785355B2 (en) 2013-06-26 2017-10-10 Cnex Labs, Inc. NVM express controller for remote access of memory and I/O over ethernet-type networks
US9785356B2 (en) 2013-06-26 2017-10-10 Cnex Labs, Inc. NVM express controller for remote access of memory and I/O over ethernet-type networks
US9430412B2 (en) 2013-06-26 2016-08-30 Cnex Labs, Inc. NVM express controller for remote access of memory and I/O over Ethernet-type networks
US9986028B2 (en) * 2013-07-08 2018-05-29 Intel Corporation Techniques to replicate data between storage servers
US10223326B2 (en) * 2013-07-31 2019-03-05 Oracle International Corporation Direct access persistent memory shared storage
ES2628328T3 (es) 2013-10-29 2017-08-02 Huawei Technologies Co., Ltd. Sistema de procesamiento de datos y método de procesamiento de datos
US9245140B2 (en) * 2013-11-15 2016-01-26 Kabushiki Kaisha Toshiba Secure data encryption in shared storage using namespaces
CN106104500B (zh) * 2013-11-26 2020-05-19 英特尔公司 存储数据的方法和设备
US9052835B1 (en) 2013-12-20 2015-06-09 HGST Netherlands B.V. Abort function for storage devices by using a poison bit flag wherein a command for indicating which command should be aborted
US9753812B2 (en) 2014-01-24 2017-09-05 Commvault Systems, Inc. Generating mapping information for single snapshot for multiple applications
US9495251B2 (en) 2014-01-24 2016-11-15 Commvault Systems, Inc. Snapshot readiness checking and reporting
US9632874B2 (en) 2014-01-24 2017-04-25 Commvault Systems, Inc. Database application backup in single snapshot for multiple applications
US9639426B2 (en) 2014-01-24 2017-05-02 Commvault Systems, Inc. Single snapshot for multiple applications
US10628353B2 (en) 2014-03-08 2020-04-21 Diamanti, Inc. Enabling use of non-volatile media-express (NVMe) over a network
JP2017512350A (ja) * 2014-03-08 2017-05-18 ディアマンティ インコーポレイテッド 集中型ネットワーキング及びストレージのための方法及びシステム
US11921658B2 (en) 2014-03-08 2024-03-05 Diamanti, Inc. Enabling use of non-volatile media-express (NVMe) over a network
US10635316B2 (en) 2014-03-08 2020-04-28 Diamanti, Inc. Methods and systems for data storage using solid state drives
US9887008B2 (en) * 2014-03-10 2018-02-06 Futurewei Technologies, Inc. DDR4-SSD dual-port DIMM device
US9548890B2 (en) * 2014-03-17 2017-01-17 Cisco Technology, Inc. Flexible remote direct memory access resource configuration in a network environment
US9667711B2 (en) 2014-03-26 2017-05-30 International Business Machines Corporation Load balancing of distributed services
JP6273353B2 (ja) * 2014-04-21 2018-01-31 株式会社日立製作所 計算機システム
US20150317176A1 (en) * 2014-05-02 2015-11-05 Cavium, Inc. Systems and methods for enabling value added services for extensible storage devices over a network via nvme controller
US9294567B2 (en) 2014-05-02 2016-03-22 Cavium, Inc. Systems and methods for enabling access to extensible storage devices over a network as local storage via NVME controller
US9430268B2 (en) 2014-05-02 2016-08-30 Cavium, Inc. Systems and methods for supporting migration of virtual machines accessing remote storage devices over network via NVMe controllers
US9529773B2 (en) 2014-05-02 2016-12-27 Cavium, Inc. Systems and methods for enabling access to extensible remote storage over a network as local storage via a logical storage controller
JP6365854B2 (ja) * 2014-05-29 2018-08-01 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． サービス処理方法、関連するデバイス、及びシステム
US9632953B2 (en) 2014-06-03 2017-04-25 Qualcomm Incorporated Providing input/output virtualization (IOV) by mapping transfer requests to shared transfer requests lists by IOV host controllers
US9881680B2 (en) 2014-06-03 2018-01-30 Qualcomm Incorporated Multi-host power controller (MHPC) of a flash-memory-based storage device
US9690720B2 (en) * 2014-06-03 2017-06-27 Qualcomm Incorporated Providing command trapping using a request filter circuit in an input/output virtualization (IOV) host controller (HC) (IOV-HC) of a flash-memory-based storage device
WO2015194005A1 (ja) 2014-06-19 2015-12-23 株式会社日立製作所 ストレージ装置およびインタフェース装置
KR102249810B1 (ko) 2014-07-23 2021-05-11 삼성전자주식회사 스토리지 장치 및 스토리지 장치의 동작 방법
US9658782B2 (en) 2014-07-30 2017-05-23 Excelero Storage Ltd. Scalable data using RDMA and MMIO
US10936200B2 (en) 2014-07-30 2021-03-02 Excelero Storage Ltd. System and method for improved RDMA techniques for multi-host network interface controllers
US10237347B2 (en) 2015-06-08 2019-03-19 Excelero Storage Ltd. System and method for providing a client device seamless access to a plurality of remote storage devices presented as a virtual device
US10979503B2 (en) 2014-07-30 2021-04-13 Excelero Storage Ltd. System and method for improved storage access in multi core system
US9112890B1 (en) 2014-08-20 2015-08-18 E8 Storage Systems Ltd. Distributed storage over shared multi-queued storage device
US9563367B2 (en) 2014-08-26 2017-02-07 HGST Netherlands B.V. Latency command processing for solid state drive interface protocol
US9774672B2 (en) * 2014-09-03 2017-09-26 Commvault Systems, Inc. Consolidated processing of storage-array commands by a snapshot-control media agent
US10042716B2 (en) 2014-09-03 2018-08-07 Commvault Systems, Inc. Consolidated processing of storage-array commands using a forwarder media agent in conjunction with a snapshot-control media agent
US9274720B1 (en) 2014-09-15 2016-03-01 E8 Storage Systems Ltd. Distributed RAID over shared multi-queued storage devices
US10230531B2 (en) * 2014-10-23 2019-03-12 Hewlett Packard Enterprise Development Lp Admissions control of a device
WO2016068941A1 (en) 2014-10-30 2016-05-06 Hewlett Packard Enterprise Development Lp Secure transactions in a memory fabric
US10715332B2 (en) 2014-10-30 2020-07-14 Hewlett Packard Enterprise Development Lp Encryption for transactions in a memory fabric
US9934177B2 (en) 2014-11-04 2018-04-03 Cavium, Inc. Methods and systems for accessing storage using a network interface card
KR102238652B1 (ko) 2014-11-12 2021-04-09 삼성전자주식회사 데이터 저장 장치, 이의 작동 방법, 및 이를 포함하는 데이터 처리 시스템의 작동 방법
US9648105B2 (en) 2014-11-14 2017-05-09 Commvault Systems, Inc. Unified snapshot storage management, using an enhanced storage manager and enhanced media agents
US9448731B2 (en) 2014-11-14 2016-09-20 Commvault Systems, Inc. Unified snapshot storage management
US9519666B2 (en) 2014-11-27 2016-12-13 E8 Storage Systems Ltd. Snapshots and thin-provisioning in distributed storage over shared storage devices
CN107209745A (zh) * 2014-12-04 2017-09-26 惠普发展公司有限责任合伙企业 基于硬件标识符对基于网络的存储资源的访问
CN104407820B (zh) * 2014-12-12 2016-08-17 华为技术有限公司 基于固态硬盘存储系统的数据处理方法、装置以及系统
CN104536701B (zh) * 2014-12-23 2018-02-06 记忆科技(深圳)有限公司 一种nvme协议多命令队列的实现方法及系统
US9747249B2 (en) * 2014-12-29 2017-08-29 Nicira, Inc. Methods and systems to achieve multi-tenancy in RDMA over converged Ethernet
US9846650B2 (en) 2015-03-09 2017-12-19 Samsung Electronics Co., Ltd. Tail response time reduction method for SSD
US11042300B2 (en) * 2015-03-31 2021-06-22 Toshiba Memory Corporation Command load balancing for NVME dual port operations
US9525737B2 (en) * 2015-04-14 2016-12-20 E8 Storage Systems Ltd. Lockless distributed redundant storage and NVRAM cache in a highly-distributed shared topology with direct memory access capable interconnect
US9529542B2 (en) 2015-04-14 2016-12-27 E8 Storage Systems Ltd. Lockless distributed redundant storage and NVRAM caching of compressed data in a highly-distributed shared topology with direct memory access capable interconnect
US9639395B2 (en) 2015-04-16 2017-05-02 Google Inc. Byte application migration
US9747122B2 (en) 2015-04-16 2017-08-29 Google Inc. Virtual machine systems
US10838852B2 (en) 2015-04-17 2020-11-17 Samsung Electronics Co., Ltd. System and method to extend NVME queues to user space
US11036533B2 (en) 2015-04-17 2021-06-15 Samsung Electronics Co., Ltd. Mechanism to dynamically allocate physical storage device resources in virtualized environments
US10678552B2 (en) 2015-04-28 2020-06-09 Hewlett Packard Enterprise Development Lp Hardware for system firmware use
US10817446B1 (en) * 2015-04-30 2020-10-27 Mobiveil, Inc. Optimized multiport NVMe controller for multipath input/output applications
US10009438B2 (en) 2015-05-20 2018-06-26 Sandisk Technologies Llc Transaction log acceleration
US9760314B2 (en) * 2015-05-29 2017-09-12 Netapp, Inc. Methods for sharing NVM SSD across a cluster group and devices thereof
US10496626B2 (en) 2015-06-11 2019-12-03 EB Storage Systems Ltd. Deduplication in a highly-distributed shared topology with direct-memory-access capable interconnect
US10248610B2 (en) * 2015-06-23 2019-04-02 Mellanox Technologies, Ltd. Enforcing transaction order in peer-to-peer interactions
KR102430187B1 (ko) * 2015-07-08 2022-08-05 삼성전자주식회사 RDMA NVMe 디바이스의 구현 방법
US10303647B2 (en) 2015-07-15 2019-05-28 Mellanox Technologies, Ltd. Access control in peer-to-peer transactions over a peripheral component bus
JP6403162B2 (ja) * 2015-07-23 2018-10-10 東芝メモリ株式会社 メモリシステム
US20180032471A1 (en) * 2016-07-26 2018-02-01 Samsung Electronics Co., Ltd. Self-configuring ssd multi-protocol support in host-less environment
US11983138B2 (en) 2015-07-26 2024-05-14 Samsung Electronics Co., Ltd. Self-configuring SSD multi-protocol support in host-less environment
US9892071B2 (en) * 2015-08-03 2018-02-13 Pure Storage, Inc. Emulating a remote direct memory access (‘RDMA’) link between controllers in a storage array
US10162537B2 (en) 2015-09-10 2018-12-25 Samsung Electronics Co., Ltd. Methods and systems to detect silent corruption of data
US9954979B2 (en) * 2015-09-21 2018-04-24 International Business Machines Corporation Protocol selection for transmission control protocol/internet protocol (TCP/IP)
US9864654B2 (en) 2015-09-21 2018-01-09 Sandisk Technologies Llc Detecting data indicated as being uncorrectable at a data storage device
CN108141417B (zh) * 2015-10-09 2021-01-22 索尼公司 总线系统和通信设备
CN106569736B (zh) * 2015-10-10 2018-10-19 北京忆芯科技有限公司 NVMe协议处理器及其处理方法
CN106648440B (zh) * 2015-10-28 2020-07-24 华为技术有限公司 操作存储设备的控制方法和存储设备
CN106775434B (zh) * 2015-11-19 2019-11-29 华为技术有限公司 一种NVMe网络化存储的实现方法、终端、服务器及系统
US20170155717A1 (en) * 2015-11-30 2017-06-01 Intel Corporation Direct memory access for endpoint devices
US10423568B2 (en) 2015-12-21 2019-09-24 Microsemi Solutions (U.S.), Inc. Apparatus and method for transferring data and commands in a memory management environment
US9898222B2 (en) * 2015-12-24 2018-02-20 Intel IP Corporation SoC fabric extensions for configurable memory maps through memory range screens and selectable address flattening
US10860511B1 (en) * 2015-12-28 2020-12-08 Western Digital Technologies, Inc. Integrated network-attachable controller that interconnects a solid-state drive with a remote server computer
CN107430494B (zh) * 2016-01-29 2020-09-15 慧与发展有限责任合伙企业 用于远程直接存储器访问的系统、方法和介质
CN107533537B (zh) * 2016-01-29 2021-02-26 慧与发展有限责任合伙企业 存储系统、用于存储的方法和非暂时性计算机可读介质
WO2017131751A1 (en) 2016-01-29 2017-08-03 Hewlett Packard Enterprise Development Lp Remote direct memory access
US10025727B2 (en) * 2016-02-05 2018-07-17 Honeywell International Inc. Relay mechanism to facilitate processor communication with inaccessible input/output (I/O) device
CN107045483B (zh) * 2016-02-05 2019-10-18 北京忆恒创源科技有限公司 基于队列的消息交换方法及其装置
US10055377B2 (en) * 2016-02-24 2018-08-21 Western Digital Technologies, Inc. Using a proprietary framework on a standards-based embedded device
US10776272B2 (en) 2016-03-02 2020-09-15 Mellanox Technologies, Ltd. Control of persistent memory via a computer bus
US10503753B2 (en) 2016-03-10 2019-12-10 Commvault Systems, Inc. Snapshot replication operations based on incremental block change tracking
CN105892945B (zh) * 2016-03-30 2019-09-20 深圳忆联信息系统有限公司 一种信息更新方法及电子设备
WO2017176775A1 (en) * 2016-04-04 2017-10-12 Marvell World Trade Ltd. Methods and systems for accessing host memory through non-volatile memory over fabric bridging with direct target access
US9842084B2 (en) 2016-04-05 2017-12-12 E8 Storage Systems Ltd. Write cache and write-hole recovery in distributed raid over shared multi-queue storage devices
JP6717026B2 (ja) * 2016-04-19 2020-07-01 オムロン株式会社 制御装置、中継装置、制御装置の制御方法、中継装置の制御方法、制御プログラム、および記録媒体
CN107346265B (zh) * 2016-05-05 2021-05-18 北京忆恒创源科技有限公司 实现QoS的方法与装置
CN112347012B (zh) * 2016-06-20 2024-07-23 北京忆芯科技有限公司 支持SR-IOV的NVMe控制器及方法
US10728331B2 (en) * 2016-06-22 2020-07-28 Excelero Storage Ltd. Techniques for dynamic cache use by an input/output device
CN111352873B (zh) * 2016-06-30 2021-10-08 北京忆芯科技有限公司 NVMe协议命令处理方法与装置
US10089134B2 (en) 2016-06-30 2018-10-02 Western Digital Technologies, Inc. Controlling access to namespaces of a storage device
US10034407B2 (en) * 2016-07-22 2018-07-24 Intel Corporation Storage sled for a data center
US10372659B2 (en) 2016-07-26 2019-08-06 Samsung Electronics Co., Ltd. Multi-mode NMVE over fabrics devices
US10346041B2 (en) 2016-09-14 2019-07-09 Samsung Electronics Co., Ltd. Method for using BMC as proxy NVMeoF discovery controller to provide NVM subsystems to host
US11461258B2 (en) 2016-09-14 2022-10-04 Samsung Electronics Co., Ltd. Self-configuring baseboard management controller (BMC)
US11144496B2 (en) 2016-07-26 2021-10-12 Samsung Electronics Co., Ltd. Self-configuring SSD multi-protocol support in host-less environment
US10452279B1 (en) * 2016-07-26 2019-10-22 Pavilion Data Systems, Inc. Architecture for flash storage server
US10210123B2 (en) 2016-07-26 2019-02-19 Samsung Electronics Co., Ltd. System and method for supporting multi-path and/or multi-mode NMVe over fabrics devices
US10649950B2 (en) 2016-08-29 2020-05-12 Excelero Storage Ltd. Disk access operation recovery techniques
US10735513B2 (en) * 2016-09-08 2020-08-04 Toshiba Memory Corporation Remote NVMe activation
US10445018B2 (en) * 2016-09-09 2019-10-15 Toshiba Memory Corporation Switch and memory device
US11216396B2 (en) * 2016-09-29 2022-01-04 Intel Corporation Persistent memory write semantics on PCIe with existing TLP definition
US20180088978A1 (en) * 2016-09-29 2018-03-29 Intel Corporation Techniques for Input/Output Access to Memory or Storage by a Virtual Machine or Container
CN107992436B (zh) 2016-10-26 2021-04-09 华为技术有限公司 一种NVMe数据读写方法及NVMe设备
WO2018119742A1 (zh) * 2016-12-28 2018-07-05 华为技术有限公司 NVMe over Fabric中转发报文的方法、设备和系统
US20180188974A1 (en) * 2016-12-30 2018-07-05 Intel Corporation Computer program product, system, and method to allow a host and a storage device to communicate using different fabric, transport, and direct memory access protocols
US10769081B2 (en) 2016-12-30 2020-09-08 Intel Corporation Computer program product, system, and method to allow a host and a storage device to communicate between different fabrics
US10031872B1 (en) 2017-01-23 2018-07-24 E8 Storage Systems Ltd. Storage in multi-queue storage devices using queue multiplexing and access control
WO2018137217A1 (zh) * 2017-01-25 2018-08-02 华为技术有限公司 一种数据处理的系统、方法及对应装置
US20180210846A1 (en) * 2017-01-25 2018-07-26 Hewlett Packard Enterprise Development Lp Files access from a nvm to external devices through an external ram
US10657245B2 (en) * 2017-03-14 2020-05-19 Wyse Technology L.L.C. Dynamically controlling access to devices
US20180276175A1 (en) * 2017-03-22 2018-09-27 National Instruments Corporation Direct Network Access by a Memory Mapped Peripheral Device for Scheduled Data Transfer on the Network
US10509759B2 (en) * 2017-03-31 2019-12-17 Intel Corporation Multiple storage devices implemented using a common connector
US10282094B2 (en) 2017-03-31 2019-05-07 Samsung Electronics Co., Ltd. Method for aggregated NVME-over-fabrics ESSD
US10733137B2 (en) 2017-04-25 2020-08-04 Samsung Electronics Co., Ltd. Low latency direct access block storage in NVME-of ethernet SSD
CN110770710B (zh) * 2017-05-03 2023-09-05 艾德蒂克通信公司 用于控制数据加速的装置和方法
US10310745B2 (en) * 2017-05-19 2019-06-04 Samsung Electronics Co., Ltd. Method and apparatus for fine tuning and optimizing NVMe-oF SSDs
US10803039B2 (en) 2017-05-26 2020-10-13 Oracle International Corporation Method for efficient primary key based queries using atomic RDMA reads on cache friendly in-memory hash index
US10719446B2 (en) 2017-08-31 2020-07-21 Oracle International Corporation Directly mapped buffer cache on non-volatile memory
US10685010B2 (en) 2017-09-11 2020-06-16 Amazon Technologies, Inc. Shared volumes in distributed RAID over shared multi-queue storage devices
US20190102287A1 (en) * 2017-09-29 2019-04-04 Intel Corporation Remote persistent memory access device
US10956335B2 (en) 2017-09-29 2021-03-23 Oracle International Corporation Non-volatile cache access using RDMA
US10732836B2 (en) 2017-09-29 2020-08-04 Oracle International Corporation Remote one-sided persistent writes
US11086876B2 (en) 2017-09-29 2021-08-10 Oracle International Corporation Storing derived summaries on persistent memory of a storage device
US10802766B2 (en) 2017-09-29 2020-10-13 Oracle International Corporation Database with NVDIMM as persistent storage
US10564857B2 (en) * 2017-11-13 2020-02-18 Western Digital Technologies, Inc. System and method for QoS over NVMe virtualization platform using adaptive command fetching
US10884975B2 (en) * 2017-11-30 2021-01-05 Samsung Electronics Co., Ltd. Differentiated storage services in ethernet SSD
EP3525080A4 (en) * 2017-12-26 2019-08-14 Huawei Technologies Co., Ltd. METHOD AND DEVICE FOR ACCESSING A STORAGE SYSTEM
CN110199270B (zh) * 2017-12-26 2022-09-02 华为技术有限公司 存储系统中存储设备的管理方法及装置
US10740022B2 (en) 2018-02-14 2020-08-11 Commvault Systems, Inc. Block-level live browsing and private writable backup copies using an ISCSI server
WO2019169556A1 (zh) * 2018-03-06 2019-09-12 华为技术有限公司 一种报文发送的方法、装置和存储设备
CN108549610B (zh) * 2018-03-27 2021-02-23 深圳忆联信息系统有限公司 一种NVMe扩展的实现方法及固态硬盘
US11509606B2 (en) * 2018-06-29 2022-11-22 Intel Corporation Offload of storage node scale-out management to a smart network interface controller
EP3792743A4 (en) 2018-06-30 2021-06-30 Huawei Technologies Co., Ltd. NVME-BASED DATA WRITING PROCESS, DEVICE AND SYSTEM
CN111095231B (zh) * 2018-06-30 2021-08-03 华为技术有限公司 一种基于NVMe的数据读取方法、装置及系统
KR102683711B1 (ko) * 2018-07-16 2024-07-09 삼성전자주식회사 PCIe EP 및 네트워크 인터페이스를 통해 동시에 듀얼 라인 SSD 장치에 액세스하는 방법
US11263124B2 (en) 2018-08-03 2022-03-01 Micron Technology, Inc. Host-resident translation layer validity check
US11016911B2 (en) * 2018-08-24 2021-05-25 Samsung Electronics Co., Ltd. Non-volatile memory express over fabric messages between a host and a target using a burst mode
TWI660346B (zh) * 2018-09-07 2019-05-21 大陸商深圳大心電子科技有限公司 記憶體管理方法以及儲存控制器
US10852964B2 (en) * 2018-09-25 2020-12-01 Micron Technology, Inc. Host-resident translation layer validity check techniques
US11226907B2 (en) 2018-12-19 2022-01-18 Micron Technology, Inc. Host-resident translation layer validity check techniques
US11226894B2 (en) 2018-12-21 2022-01-18 Micron Technology, Inc. Host-based flash memory maintenance techniques
CN110008154B (zh) * 2019-04-16 2020-08-21 北京智芯微电子科技有限公司 提高处理器与访存总线时序的方法及内存属性预测器
US11397644B2 (en) 2019-04-23 2022-07-26 Samsung Electronics Co., Ltd. Method for controlling operations of RAID system comprising host device and plurality of SSDs
US11809888B2 (en) * 2019-04-29 2023-11-07 Red Hat, Inc. Virtual machine memory migration facilitated by persistent memory devices
WO2020236272A1 (en) 2019-05-23 2020-11-26 Cray Inc. System and method for facilitating fine-grain flow control in a network interface controller (nic)
TWI766194B (zh) * 2019-06-17 2022-06-01 慧榮科技股份有限公司 資料儲存裝置以及非揮發式記憶體控制方法
EP3771180B1 (en) * 2019-07-25 2023-08-30 INTEL Corporation Offload of storage node scale-out management to a smart network interface controller
US10893105B1 (en) * 2019-08-07 2021-01-12 EMC IP Holding Company LLC Utilization of networking protocol for seamless integration of compute nodes with software-defined storage nodes
CN112579311B (zh) * 2019-09-30 2023-11-10 华为技术有限公司 访问固态硬盘的方法及存储设备
CN111177054B (zh) * 2019-12-30 2021-09-03 京信网络系统股份有限公司 数据传输方法、装置、设备及存储介质
US11650937B2 (en) * 2019-12-31 2023-05-16 Western Digital Technologies, Inc. Storage system and method for secure host controller memory buffer access
US11422921B2 (en) * 2019-12-31 2022-08-23 Western Digital Technologies, Inc. Debug systems for deterministic validation of data storage devices
CN111813345A (zh) * 2020-07-17 2020-10-23 济南浪潮数据技术有限公司 一种数据传输方法、装置、服务器及可读存储介质
US11733918B2 (en) 2020-07-28 2023-08-22 Samsung Electronics Co., Ltd. Systems and methods for processing commands for storage devices
US11789634B2 (en) 2020-07-28 2023-10-17 Samsung Electronics Co., Ltd. Systems and methods for processing copy commands
US11467992B1 (en) * 2020-09-24 2022-10-11 Amazon Technologies, Inc. Memory access operation in distributed computing system
US11327909B1 (en) 2020-10-26 2022-05-10 Mellanox Technologies, Ltd. System for improving input / output performance
US11687365B2 (en) 2020-12-21 2023-06-27 Eidetic Communications Inc. Method and apparatus for controlling a computational storage processor
CN114691026A (zh) * 2020-12-31 2022-07-01 华为技术有限公司 一种数据访问方法及相关设备
US11720424B2 (en) * 2021-03-12 2023-08-08 Salesforce, Inc. Single flow execution
US11609700B2 (en) 2021-08-11 2023-03-21 Mellanox Technologies, Ltd. Pacing in a storage sub-system
CN114024871B (zh) * 2022-01-04 2022-03-22 苏州浪潮智能科技有限公司 一种芯片验证方法、系统、计算机设备及可读存储介质
US11733912B2 (en) 2022-01-19 2023-08-22 Dell Products L.P. Intelligent target routing in a distributed storage system
US20230244613A1 (en) * 2022-01-28 2023-08-03 Seagate Technology Llc Scalable storage using nvme communication
US11977785B2 (en) 2022-02-08 2024-05-07 Microsoft Technology Licensing, Llc Non-volatile memory device-assisted live migration of virtual machine data
US11829602B2 (en) 2022-03-16 2023-11-28 Dell Products L.P. Intelligent path selection in a distributed storage system
US11907537B2 (en) 2022-04-06 2024-02-20 Dell Products L.P. Storage system with multiple target controllers supporting different service level objectives
US11762595B1 (en) 2022-04-08 2023-09-19 Dell Products L.P. Host-based locality determination for logical volumes stored across multiple nodes of a distributed storage system
US12032830B2 (en) 2022-04-27 2024-07-09 Dell Products L.P. Host path selection utilizing address range distribution obtained from storage nodes for distributed logical volume
CN115098426B (zh) * 2022-06-22 2023-09-12 深圳云豹智能有限公司 Pcie设备管理方法、接口管理模块、pcie系统、设备和介质
US11995356B2 (en) 2022-10-12 2024-05-28 Dell Products L.P. Host-based locality determination using locality log pages
WO2024113295A1 (en) * 2022-12-01 2024-06-06 Intel Corporation System, method and apparatus for filtering configuration accesses to unimplemented devices
US20240184612A1 (en) * 2022-12-05 2024-06-06 Microsoft Technology Licensing, Llc Virtual machine live migration with direct-attached non-volatile memory express device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1536842A (zh) * 2003-04-10 2004-10-13 国际商业机器公司 用于根据使用类来控制对设施的访问的装置、系统和方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7584262B1 (en) 2002-02-11 2009-09-01 Extreme Networks Method of and system for allocating resources to resource requests based on application of persistence policies
US7895286B1 (en) 2004-04-30 2011-02-22 Netapp, Inc. Network storage system with NVRAM and cluster interconnect adapter implemented in a single circuit module
US7711835B2 (en) 2004-09-30 2010-05-04 Citrix Systems, Inc. Method and apparatus for reducing disclosure of proprietary data in a networked environment
US7756943B1 (en) 2006-01-26 2010-07-13 Symantec Operating Corporation Efficient data transfer between computers in a virtual NUMA system using RDMA
US7921177B2 (en) * 2007-07-18 2011-04-05 International Business Machines Corporation Method and computer system for providing remote direct memory access
US8463881B1 (en) * 2007-10-01 2013-06-11 Apple Inc. Bridging mechanism for peer-to-peer communication
US8775718B2 (en) * 2008-05-23 2014-07-08 Netapp, Inc. Use of RDMA to access non-volatile solid-state memory in a network storage system
US20100083247A1 (en) * 2008-09-26 2010-04-01 Netapp, Inc. System And Method Of Providing Multiple Virtual Machines With Shared Access To Non-Volatile Solid-State Memory Using RDMA
US9015268B2 (en) * 2010-04-02 2015-04-21 Intel Corporation Remote direct storage access
US8588228B1 (en) * 2010-08-16 2013-11-19 Pmc-Sierra Us, Inc. Nonvolatile memory controller with host controller interface for retrieving and dispatching nonvolatile memory commands in a distributed manner
CN103348330B (zh) 2010-12-01 2017-05-24 希捷科技有限公司 采用独立硅元件的动态较高级冗余模式管理
WO2013101209A1 (en) 2011-12-30 2013-07-04 Intel Corporation Thin translation for system access of non volatile semicondcutor storage as random access memory
US9098402B2 (en) * 2012-12-21 2015-08-04 Intel Corporation Techniques to configure a solid state drive to operate in a storage mode or a memory mode
US9710406B2 (en) 2014-12-15 2017-07-18 Intel Corporation Data transmission using PCIe protocol via USB port

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1536842A (zh) * 2003-04-10 2004-10-13 国际商业机器公司 用于根据使用类来控制对设施的访问的装置、系统和方法

Also Published As

Publication number Publication date
WO2013109640A1 (en) 2013-07-25
US20140325013A1 (en) 2014-10-30
US11500810B2 (en) 2022-11-15
US11755527B2 (en) 2023-09-12
US10360176B2 (en) 2019-07-23
US20220100696A1 (en) 2022-03-31
US20130198311A1 (en) 2013-08-01
US20170249281A1 (en) 2017-08-31
DE112013000601T5 (de) 2014-12-18
US9467512B2 (en) 2016-10-11
US20230185759A1 (en) 2023-06-15
CN104246742A (zh) 2014-12-24
BR112014017543A2 (pt) 2017-06-27
US9467511B2 (en) 2016-10-11
US20130198312A1 (en) 2013-08-01
US11138143B2 (en) 2021-10-05
US20190278739A1 (en) 2019-09-12

Similar Documents

Publication Publication Date Title
CN104246742B (zh) 用于远程客户端访问存储设备的命令验证的技术
CN104283938B (zh) 用于在存储服务器之间复制数据的技术
US9311110B2 (en) Techniques to initialize from a remotely accessible storage device
CN107247859B (zh) 逻辑电路设计的验证方法、装置、电子设备及存储介质
TWI239187B (en) System and method for managing and validating remote keys which correspond to outstanding data transactions
US8478982B2 (en) Media access control security management in physical layer
TWI326030B (en) Non-volatile memory sharing system for multiple processors and memory sharing method thereof
CN106201934A (zh) 串行外围设备接口主机端口
CN110073646A (zh) 安全IoT设备更新
TWI506444B (zh) 改良ｍｍｉｏ請求處置之處理器及方法
CN107003955A (zh) 用于在根复合体中集成设备的方法、装置和系统
CN106462521B (zh) 在基于闪存存储器的存储设备的输入/输出虚拟化主机控制器中的命令捕获
CN104866443B (zh) 可中断存储独占
CN107003956A (zh) 片上系统非核结构中的保证服务质量
CN103460202A (zh) 至少部分地通过电路来促进对至少一个控制器命令接口的访问
KR20170013882A (ko) 플래시 메모리 기반 저장 디바이스의 멀티 호스트 전력 제어기（ｍｈｐｃ）
CN105389120B (zh) 支持通过活动消息的rma api
CN109997117A (zh) 用于将门铃合并在请求消息中的技术
CN107077440A (zh) 紧密耦合的分布式非核一致结构
CN106462522A (zh) 基于闪存的存储设备的输入/输出虚拟化（iov）主机控制器（hc）（iov‑hc）
CN109314103A (zh) 用于远程现场可编程门阵列处理的方法和装置
CN109983749A (zh) 使用远程直接存储器访问通信的更快的数据传输
CN110023919A (zh) 用于处理结构中非投递式存储器写入事务的方法、装置和系统
CN108121768A (zh) 分布式系统数据处理方法及装置
CN107209717A (zh) 针对存储器元件的分叉存储器管理

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant