JP2018185814A5 - - Google Patents

Download PDF

Info

Publication number
JP2018185814A5
JP2018185814A5 JP2018084344A JP2018084344A JP2018185814A5 JP 2018185814 A5 JP2018185814 A5 JP 2018185814A5 JP 2018084344 A JP2018084344 A JP 2018084344A JP 2018084344 A JP2018084344 A JP 2018084344A JP 2018185814 A5 JP2018185814 A5 JP 2018185814A5
Authority
JP
Japan
Prior art keywords
rdma
dax
flash memory
instruction
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018084344A
Other languages
English (en)
Other versions
JP2018185814A (ja
JP7001533B2 (ja
Filing date
Publication date
Priority claimed from US15/655,738 external-priority patent/US10733137B2/en
Application filed filed Critical
Publication of JP2018185814A publication Critical patent/JP2018185814A/ja
Publication of JP2018185814A5 publication Critical patent/JP2018185814A5/ja
Application granted granted Critical
Publication of JP7001533B2 publication Critical patent/JP7001533B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (19)

  1. イーサネットを通じて連結された少なくとも1つのNVMe−oF(Non−Volatile Memory Express over Fabric)_SSD(Solid−State Drive)内の不揮発性のフラッシュメモリへの低レイテンシ直接データアクセス(Low−Latency Direct Access、以下、「LL−DAX」という)方法において、
    ホスト内のLL−DAXブロック格納ソフトウェア階層から、LL−DAXプロトコルを使用して、前記フラッシュメモリにデータ、ストレージアドレス、データ移送動作の長さ、及び動作コード(演算コード)を含む遠隔直接メモリアクセス(RDMA)書き込み要請を送信するステップと、
    前記LL−DAXブロック格納ソフトウェア階層の前記ホストにてNVMe−oF階層から、前記RDMA書き込み要請がNVMe−oFプロトコルを使用して前記フラッシュメモリに送信され、同時に前記LL−DAXブロック格納ソフトウェア階層から前記フラッシュメモリに前記RDMA書き込み要請が送信されるステップと、
    ここで、前記LL−DAXプロトコルを使用した前記RDMA書き込み要請と、前記NVMe−oFプロトコルを使用した前記RDMA書き込み要請は前記ホストが起源であり、
    前記データが前記フラッシュメモリに固持(persist)されていることを表すRDMAレベル確認応答を前記ホストにて受信するステップと、
    前記LL−DAXブロック格納ソフトウェア階層から、ストレージアドレス、データ移送の長さ、及び動作コードを含むRDMA読み出し要請を前記フラッシュメモリに送信するステップと、
    前記ホストにて、前記フラッシュメモリから前記RDMA読み出し要請に対応するRDMA読み出し応答データパケットを受信するステップと、を含むことを特徴とする、低レイテンシ直接データアクセス方法。
  2. 前記RDMA書き込み要請の前記ストレージアドレス、前記データ移送の長さ及び前記動作コードと、前記RDMA読み出し要請の前記ストレージアドレス、前記データ移送の長さ及び前記演算コードは、それぞれのRDMAヘッダフィールドに担持(carry)されることを特徴とする、請求項1に記載の低レイテンシ直接データアクセス方法。
  3. 前記RDMA書き込み要請を送信するステップは、複数のRDMAキューペア(QP)(以下、RDMA_QPという)を使用して前記RDMA書き込み要請を送信するステップを含み、及び前記RDMA読み出し要請を送信するステップは、前記複数のRDMAキューペア(QP)を使用して前記RDMA読み出し要請を送信するステップを含むことを特徴とする、請求項1に記載の低レイテンシ直接データアクセス方法。
  4. 前記複数のRDMA_QPがホスト命令を有、LL−DAXホストインタフェース(HIF)ロジックによって仲裁を行うステップをさらに含むときに、前記仲裁は、前記ホスト命令のうちの1つを実行するために選択することを特徴とする、請求項に記載の低レイテンシ直接データアクセス方法。
  5. 前記複数のRDMA_QPのうち、第1RDMA_QPは、第1命令専用であり、前記複数のRDMA_QPのうち、第2RDMA_QPは、前記第1命令と異なる第2命令専用であることを特徴とする、請求項に記載の低レイテンシ直接データアクセス方法。
  6. 前記第1命令は書き込み命令であり、前記第2命令は読み出し命令である、ことを特徴とする、請求項に記載の低レイテンシ直接データアクセス方法。
  7. 前記ホストにて、前記LL−DAXブロック格納ソフトウェア階層から、識別命令を前記フラッシュメモリに送信するステップをさらに含み、
    前記フラッシュメモリは、前記識別命令に応答して、前記フラッシュメモリに関する情報を前記ホストに送信することを特徴とする、請求項1に記載の低レイテンシ直接データアクセス方法。
  8. 前記情報は、前記フラッシュメモリの支援される特性、性能及び特徴を含む、ことを特徴とする、請求項に記載の低レイテンシ直接データアクセス方法。
  9. 前記識別命令は、前記RDMA読み出し要請を用いて送信されることを特徴とする、請求項に記載の低レイテンシ直接データアクセス方法。
  10. 前記ホスト内の前記LL−DAXブロック格納ソフトウェア階層から、前記フラッシュメモリに削除命令を送信するステップをさらに含み、
    前記削除命令は、ブロックアドレスの範囲の開始ブロックアドレス及び終了ブロックアドレスを含むことを特徴とする、請求項1に記載の低レイテンシ直接データアクセス方法。
  11. 前記削除命令は、前記RDMA書き込み要請を用いて送信することを特徴とする、請求項10に記載の低レイテンシ直接データアクセス方法。
  12. 前記RDMA読み出し及び前記RDMA書き込み要請は、RoCE_v1、RoCE_v2及びiWARPで構成されたRDMA輸送プロトコルのグループから選択された輸送(transport)プロトコルを使用して輸送されることを特徴とする、請求項1に記載の低レイテンシ直接データアクセス方法。
  13. 前記LL−DAXブロック格納ソフトウェア階層は、タイムアウト値を含み、前記LL−DAX_QPは、前記RDMA書き込み要請を送信するステップの間、タイムアウトを防止するように構成された受信バッファを含むことを特徴とする、請求項に記載の低レイテンシ直接データアクセス方法。
  14. 前記フラッシュメモリのLL−DAXストレージ容量は、NVMe−oFネームスペースと共有されることを特徴とする、請求項1に記載の低レイテンシ直接データアクセス方法。
  15. 不揮発性フラッシュメモリに対する低レイテンシ直接データアクセスのためのシステムであって、
    前記システムは、
    記フラッシュメモリを含んでイーサネットを通じて連結される少なくとも1つのNVMe−oF(Non−Volatile Memory Express over Fabric)_SSD(Solid−State Drive)装置と、
    プロセッサ、NVMe−oF階層、LL−DAXブロック格納ソフトウェア階層を含むホストと、を含み、
    ここで、前記LL−DAXブロック格納ソフトウェア階層は、内部に格納された命令を含
    前記命令が前記プロセッサによって実行されるときに、前記命令により、前記プロセッサは、
    記フラッシュメモリにLL−DAXプロトコルを使用してデータ、ストレージアドレス、データ移送の動作の長さ、及び動作コードを含む遠隔直接メモリアクセス(RDMA)書き込み要請を送信し、
    前記データが前記フラッシュメモリに固持されていることを表わす確認応答を受信し、
    ストレージアドレス、データ移送の長さ、及び動作コードを含むRDMA読み出し要請を前記フラッシュメモリに送信し、そして、
    記フラッシュメモリから前記RDMA読み出し要請に対応するデータパケットを受信し、
    ここで、前記NVMe−oF階層は内部に格納された命令を含み、前記プロセッサにより実行される時、前記プロセッサは前記RDMA書き込み要請をNVMe−oFプロトコルを使用して前記フラッシュメモリに送信し、同時に前記LL−DAX格納ソフトウェア階層から前記フラッシュメモリに前記RDMA書き込み要請が送信され、
    前記LL−DAXプロトコルを使用した前記RDMA書き込み要請と、前記NVMe−oFプロトコルを使用した前記RDMA書き込み要請は前記ホストが起源であることを特徴とする、システム。
  16. 前記NVMe−oF_SSD装置は、複数のRDMAキューペア(QP)(以下、RDMA_QPという)内のホスト命令の間の仲裁のためのLL−DAXホストインタフェース(HIF)ロジックを含むことを特徴とする、請求項15に記載のシステム。
  17. 前記複数のRDMA_QPのうち、第1RDMA_QPは、第1命令専用であり、前記複数のRDMA_QPのうち、第2RDMA_QPは、前記第1命令と異なる第2命令専用であることを特徴とする、請求項16に記載のシステム。
  18. 前記LL−DAXブロック格納ソフトウェア階層は、タイムアウト値を含み、前記少なくとも1つのNVMe−oF_SSD装置は、前記RDMA書き込み要請を送信する間、タイムアウトを防止するように構成された受信バッファを含むことを特徴とする、請求項15に記載のシステム。
  19. 前記LL−DAXブロック格納ソフトウェア階層に格納された前記命令が前記プロセッサによって実行されるときに、前記命令により、前記プロセッサは、前記フラッシュメモリに識別命令を送信するか、又は、前記フラッシュメモリに削除命令を送信することを特徴とする、請求項15に記載のシステム。
JP2018084344A 2017-04-25 2018-04-25 NVMe-oF SSDにおける低レイテンシ直接データアクセス方法、及びそのためのシステム Active JP7001533B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762489991P 2017-04-25 2017-04-25
US62/489,991 2017-04-25
US15/655,738 US10733137B2 (en) 2017-04-25 2017-07-20 Low latency direct access block storage in NVME-of ethernet SSD
US15/655,738 2017-07-20

Publications (3)

Publication Number Publication Date
JP2018185814A JP2018185814A (ja) 2018-11-22
JP2018185814A5 true JP2018185814A5 (ja) 2021-07-26
JP7001533B2 JP7001533B2 (ja) 2022-01-19

Family

ID=63854447

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018084344A Active JP7001533B2 (ja) 2017-04-25 2018-04-25 NVMe-oF SSDにおける低レイテンシ直接データアクセス方法、及びそのためのシステム

Country Status (5)

Country Link
US (1) US10733137B2 (ja)
JP (1) JP7001533B2 (ja)
KR (1) KR102494568B1 (ja)
CN (1) CN108733601B (ja)
TW (1) TWI732110B (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11983138B2 (en) * 2015-07-26 2024-05-14 Samsung Electronics Co., Ltd. Self-configuring SSD multi-protocol support in host-less environment
US10346041B2 (en) 2016-09-14 2019-07-09 Samsung Electronics Co., Ltd. Method for using BMC as proxy NVMeoF discovery controller to provide NVM subsystems to host
US11461258B2 (en) 2016-09-14 2022-10-04 Samsung Electronics Co., Ltd. Self-configuring baseboard management controller (BMC)
US10210123B2 (en) 2016-07-26 2019-02-19 Samsung Electronics Co., Ltd. System and method for supporting multi-path and/or multi-mode NMVe over fabrics devices
US20190109720A1 (en) 2016-07-26 2019-04-11 Samsung Electronics Co., Ltd. Modular system (switch boards and mid-plane) for supporting 50g or 100g ethernet speeds of fpga+ssd
US10620855B2 (en) * 2016-09-06 2020-04-14 Samsung Electronics Co., Ltd. System and method for authenticating critical operations on solid-state drives
US10733137B2 (en) * 2017-04-25 2020-08-04 Samsung Electronics Co., Ltd. Low latency direct access block storage in NVME-of ethernet SSD
US10782994B2 (en) * 2017-12-19 2020-09-22 Dell Products L.P. Systems and methods for adaptive access of memory namespaces
US11115490B2 (en) * 2018-07-31 2021-09-07 EMC IP Holding Company LLC Host based read cache for san supporting NVMEF with E2E validation
US11481342B2 (en) 2019-06-25 2022-10-25 Seagate Technology Llc Data storage system data access arbitration
US11709774B2 (en) * 2019-08-07 2023-07-25 Intel Corporation Data consistency and durability over distributed persistent memory systems
WO2021107950A1 (en) * 2019-11-27 2021-06-03 Hewlett-Packard Development Company, L.P. Dax file access responsive to interception of file access function call
US11256448B2 (en) * 2019-12-16 2022-02-22 Samsung Electronics Co., Ltd. Network storage gateway
TWI774255B (zh) * 2020-05-04 2022-08-11 威盛電子股份有限公司 橋接電路與電腦系統
CN113051206A (zh) * 2020-05-04 2021-06-29 威盛电子股份有限公司 桥接电路与计算机系统
US11720413B2 (en) * 2020-06-08 2023-08-08 Samsung Electronics Co., Ltd. Systems and methods for virtualizing fabric-attached storage devices
CN113965627A (zh) * 2020-07-02 2022-01-21 北京瀚海云星科技有限公司 一种发送数据的方法、低延时接收数据的方法及相关装置
US11334507B2 (en) * 2020-08-21 2022-05-17 Samsung Electronics Co., Ltd. Method and system for communicating data packets in remote direct memory access networks
US11960419B2 (en) 2022-07-19 2024-04-16 Samsung Electronics Co., Ltd. Systems and methods for data prefetching for low latency data read from a remote server

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8051212B2 (en) * 2001-04-11 2011-11-01 Mellanox Technologies Ltd. Network interface adapter with shared data send resources
US7860941B1 (en) * 2001-07-17 2010-12-28 Pmc-Sierra Us, Inc. InfiniBand layer 4 router and methods for implementing same in an InfiniBand based external storage device
US20050091334A1 (en) * 2003-09-29 2005-04-28 Weiyi Chen System and method for high performance message passing
JP4275504B2 (ja) 2003-10-14 2009-06-10 株式会社日立製作所 データ転送方法
US7826470B1 (en) * 2004-10-19 2010-11-02 Broadcom Corp. Network interface device with flow-oriented bus interface
US7580406B2 (en) * 2004-12-31 2009-08-25 Intel Corporation Remote direct memory access segment generation by a network controller
US20130086311A1 (en) 2007-12-10 2013-04-04 Ming Huang METHOD OF DIRECT CONNECTING AHCI OR NVMe BASED SSD SYSTEM TO COMPUTER SYSTEM MEMORY BUS
US8046559B2 (en) * 2008-03-27 2011-10-25 Intel Corporation Memory rank burst scheduling
US8831041B2 (en) * 2011-06-27 2014-09-09 Citrix Systems, Inc. Prioritizing highly compressed traffic to provide a predetermined quality of service
US9467512B2 (en) 2012-01-17 2016-10-11 Intel Corporation Techniques for remote client access to a storage medium coupled with a server
US8988987B2 (en) * 2012-10-25 2015-03-24 International Business Machines Corporation Technology for network communication by a computer system using at least two communication protocols
US9098402B2 (en) * 2012-12-21 2015-08-04 Intel Corporation Techniques to configure a solid state drive to operate in a storage mode or a memory mode
US9256384B2 (en) * 2013-02-04 2016-02-09 Avago Technologies General Ip (Singapore) Pte. Ltd. Method and system for reducing write latency in a data storage system by using a command-push model
US9715519B2 (en) * 2013-03-15 2017-07-25 Sandisk Technologies Llc Managing updates to multiple sets of metadata pertaining to a memory
US9967340B2 (en) * 2013-04-11 2018-05-08 Avago Technologies General Ip (Singapore) Pte. Ltd. Network-displaced direct storage
US9483431B2 (en) * 2013-04-17 2016-11-01 Apeiron Data Systems Method and apparatus for accessing multiple storage devices from multiple hosts without use of remote direct memory access (RDMA)
US10063638B2 (en) * 2013-06-26 2018-08-28 Cnex Labs, Inc. NVM express controller for remote access of memory and I/O over ethernet-type networks
US9430412B2 (en) 2013-06-26 2016-08-30 Cnex Labs, Inc. NVM express controller for remote access of memory and I/O over Ethernet-type networks
US9986028B2 (en) * 2013-07-08 2018-05-29 Intel Corporation Techniques to replicate data between storage servers
US9311110B2 (en) * 2013-07-08 2016-04-12 Intel Corporation Techniques to initialize from a remotely accessible storage device
US9411775B2 (en) * 2013-07-24 2016-08-09 Intel Corporation iWARP send with immediate data operations
US9361171B2 (en) * 2014-03-07 2016-06-07 ProfitBricks, Inc. Systems and methods for storage of data in a virtual storage device
WO2015138245A1 (en) * 2014-03-08 2015-09-17 Datawise Systems, Inc. Methods and systems for converged networking and storage
WO2016196766A2 (en) 2015-06-03 2016-12-08 Diamanti, Inc. Enabling use of non-volatile media - express (nvme) over a network
US9887008B2 (en) 2014-03-10 2018-02-06 Futurewei Technologies, Inc. DDR4-SSD dual-port DIMM device
US9529773B2 (en) 2014-05-02 2016-12-27 Cavium, Inc. Systems and methods for enabling access to extensible remote storage over a network as local storage via a logical storage controller
US9565269B2 (en) 2014-11-04 2017-02-07 Pavilion Data Systems, Inc. Non-volatile memory express over ethernet
US10140029B2 (en) * 2014-12-10 2018-11-27 Netapp, Inc. Method and apparatus for adaptively managing data in a memory based file system
US9851919B2 (en) * 2014-12-31 2017-12-26 Netapp, Inc. Method for data placement in a memory based file system
US10104017B2 (en) * 2015-05-12 2018-10-16 Jeda Networks, Inc. Methods, systems and apparatus for the virtualization of high performance networks
WO2016182756A1 (en) 2015-05-14 2016-11-17 Apeiron Data Systems Accessing multiple storage devices from multiple hosts without remote direct memory access (rdma)
CN106664290B (zh) * 2015-05-26 2019-12-06 华为技术有限公司 一种光电混合网络的数据传输方法及装置
US9760314B2 (en) 2015-05-29 2017-09-12 Netapp, Inc. Methods for sharing NVM SSD across a cluster group and devices thereof
KR102430187B1 (ko) * 2015-07-08 2022-08-05 삼성전자주식회사 RDMA NVMe 디바이스의 구현 방법
CN108702374A (zh) * 2015-09-02 2018-10-23 科内克斯实验室公司 用于以太网类型网络上的存储器和I/O的远程访问的NVM Express控制器
CN106775434B (zh) * 2015-11-19 2019-11-29 华为技术有限公司 一种NVMe网络化存储的实现方法、终端、服务器及系统
US10466922B2 (en) * 2015-12-07 2019-11-05 Netapp, Inc. Accelerating concurrent access to a file in a memory-based file system
US9965441B2 (en) * 2015-12-10 2018-05-08 Cisco Technology, Inc. Adaptive coalescing of remote direct memory access acknowledgements based on I/O characteristics
US9813338B2 (en) * 2015-12-10 2017-11-07 Cisco Technology, Inc. Co-existence of routable and non-routable RDMA solutions on the same network interface
EP3286631A4 (en) * 2016-01-29 2018-05-30 Hewlett-Packard Enterprise Development LP Remote direct memory access
US10877674B2 (en) * 2016-01-29 2020-12-29 Hewlett Packard Enterprise Development Lp Determining layout templates identifying storage drives
US10089134B2 (en) * 2016-06-30 2018-10-02 Western Digital Technologies, Inc. Controlling access to namespaces of a storage device
US10592113B2 (en) * 2016-07-18 2020-03-17 Storart Technology (Shenzhen) Co., Ltd. Method for transferring command from host to device controller and system using the same
US20180032249A1 (en) * 2016-07-26 2018-02-01 Microsoft Technology Licensing, Llc Hardware to make remote storage access appear as local in a virtualized environment
US9747039B1 (en) * 2016-10-04 2017-08-29 Pure Storage, Inc. Reservations over multiple paths on NVMe over fabrics
US10372374B2 (en) * 2016-11-08 2019-08-06 Excelero Storage Ltd. System and method for providing input/output determinism for servers hosting remotely accessible storages
WO2018119742A1 (zh) * 2016-12-28 2018-07-05 华为技术有限公司 NVMe over Fabric中转发报文的方法、设备和系统
US10769081B2 (en) * 2016-12-30 2020-09-08 Intel Corporation Computer program product, system, and method to allow a host and a storage device to communicate between different fabrics
US10229065B2 (en) * 2016-12-31 2019-03-12 Intel Corporation Unified hardware and software two-level memory
US11543967B2 (en) * 2017-02-23 2023-01-03 Samsung Electronics Co., Ltd. Method for controlling BW SLA in NVME-of ethernet SSD storage systems
US10503427B2 (en) * 2017-03-10 2019-12-10 Pure Storage, Inc. Synchronously replicating datasets and other managed objects to cloud-based storage systems
US10338838B2 (en) * 2017-03-24 2019-07-02 Samsung Electronics Co., Ltd. Multi-mode NVMe over fabrics device for supporting CAN (controller area network) bus or SMBus interface
US10282094B2 (en) * 2017-03-31 2019-05-07 Samsung Electronics Co., Ltd. Method for aggregated NVME-over-fabrics ESSD
US10459665B2 (en) * 2017-04-03 2019-10-29 Samsung Electronics Co., Ltd. System and method of configuring NVMe-oF devices using a baseboard management controller (BMC)
US10733137B2 (en) * 2017-04-25 2020-08-04 Samsung Electronics Co., Ltd. Low latency direct access block storage in NVME-of ethernet SSD
US10958729B2 (en) * 2017-05-18 2021-03-23 Intel Corporation Non-volatile memory express over fabric (NVMeOF) using volume management device
KR20190033284A (ko) * 2017-09-21 2019-03-29 삼성전자주식회사 PCIe P2P 접속된 스토리지 장치들 사이의 데이터 전송 방법 및 시스템
US10459640B2 (en) * 2017-09-29 2019-10-29 Netapp, Inc. High availability storage access using quality of service based path selection in a storage area network environment

Similar Documents

Publication Publication Date Title
JP2018185814A5 (ja)
US11016911B2 (en) Non-volatile memory express over fabric messages between a host and a target using a burst mode
US11397703B2 (en) Methods and systems for accessing host memory through non-volatile memory over fabric bridging with direct target access
US11412042B2 (en) Remote NVMe activation
WO2018102967A1 (zh) NVMe over Fabric架构中数据读写命令的控制方法、存储设备和系统
WO2018137217A1 (zh) 一种数据处理的系统、方法及对应装置
CN109690510B (zh) 用于将数据分发到高性能计算网络和基于云的网络中的多个接收器的多播装置和方法
JP2018185814A (ja) NVMe−oF SSDにおける低レイテンシ直接データアクセス方法、及びそのためのシステム
US10558367B2 (en) Adaptive transaction layer packet for latency balancing
US8788726B2 (en) Data transmission system, storage medium and data transmission program
CN111758090B (zh) 用于通过网络访问和管理键值数据的系统和方法
TW202016744A (zh) 主機、非揮發性記憶體快速固態驅動器及儲存服務的方法
TW200814672A (en) Method and system for a user space TCP offload engine (TOE)
WO2017000593A1 (zh) 报文处理方法及装置
US9256564B2 (en) Techniques for improving throughput and performance of a distributed interconnect peripheral bus
CN111542803B (zh) 一种基于NVMe的数据写入方法、装置及系统
WO2021121386A1 (zh) 一种数据传输方法及相关设备
WO2019057005A1 (zh) 数据校验的方法、装置以及网卡
WO2021063160A1 (zh) 访问固态硬盘的方法及存储设备
CN110177087A (zh) 一种基于TOE网卡的Target端协议硬件解析方法
CN111459417A (zh) 一种面向NVMeoF存储网络的无锁传输方法及系统
JP5304674B2 (ja) データ変換装置、データ変換方法及びプログラム
US8111696B2 (en) Method to improve the performance of a computer network
US10372667B2 (en) Communication apparatus and control method thereof
US20150199298A1 (en) Storage and network interface memory share