CN110471627B - 一种共享存储的方法、系统及装置 - Google Patents

一种共享存储的方法、系统及装置 Download PDF

Info

Publication number
CN110471627B
CN110471627B CN201910768176.4A CN201910768176A CN110471627B CN 110471627 B CN110471627 B CN 110471627B CN 201910768176 A CN201910768176 A CN 201910768176A CN 110471627 B CN110471627 B CN 110471627B
Authority
CN
China
Prior art keywords
nvme
switch
hard disk
openshift
platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910768176.4A
Other languages
English (en)
Other versions
CN110471627A (zh
Inventor
赵二诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Capitalonline Data Service Co ltd
Original Assignee
Capitalonline Data Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Capitalonline Data Service Co ltd filed Critical Capitalonline Data Service Co ltd
Priority to CN201910768176.4A priority Critical patent/CN110471627B/zh
Publication of CN110471627A publication Critical patent/CN110471627A/zh
Application granted granted Critical
Publication of CN110471627B publication Critical patent/CN110471627B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4282—Bus transfer protocol, e.g. handshake; Synchronisation on a serial bus, e.g. I2C bus, SPI bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0688—Non-volatile semiconductor memory arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/141—Setup of application sessions

Abstract

本发明实施例提出一种共享存储的方法及装置，其中，所述方法包括：Openshift平台与交换机建立连接；所述Openshift平台基于与所述交换机建立的连接，通过NVMEof协议挂载远端NVME硬盘；其中，所述NVME硬盘用于为所述Openshift平台提供存储功能。采用本发明实施例能实现满足NVME硬盘动态分配使用并且更加快速的共享存储。

Description

一种共享存储的方法、系统及装置
技术领域
本发明涉及业务处理领域，尤其涉及一种共享存储的方法、系统及装置。
背景技术
NVMe是Non-Volatile Memory express(非易失性内存主机控制器接口规范)的简称，NVMe是一种协议，能够使固态硬盘(SSD)运行得更快传输是一种抽象协议层，旨在提供可靠的NVMe命令和数据传输。但是，使用NVMe进行处理时，需要通过使用本地主机的PCIe总线挂载NVMe存储设备，这样一来NVMe主机和NVMe存储目标之间的延迟可能无法减少，从而无法提供更快速的存储。
发明内容
本发明实施例提供一种共享存储的方法、系统及装置，以解决相关技术中的一个或多个技术问题。
第一方面，本发明实施例提供了一种共享存储的方法，所述方法包括：
Openshift平台与交换机建立连接；
所述Openshift平台基于与所述交换机建立的连接，通过NVMEof协议挂载远端NVME硬盘；
其中，所述NVME硬盘用于为所述Openshift平台提供存储功能。
一实施例中，所述交换机为FC或者网络交换机。
一实施例中，所述交换机为网络交换机时，支持远程直接内存访问RDMA协议。
一实施例中，所述容器云Openshift平台还用于接入用户态程序pod。
第二方面，本发明实施例提供了一种共享存储的系统，所述系统包括：
Openshift平台，用于与交换机建立连接；基于与所述交换机建立的连接，通过NVMEof协议挂载远端NVME硬盘；
交换机，用于通过NVME本地服务器连接NVME硬盘；
NVME硬盘，用于为所述Openshift平台提供存储功能。
一实施例中，所述交换机为FC或者网络交换机。
一实施例中，所述交换机为网络交换机时支持RDMA协议。
一实施例中，所述Openshift平台，还用于接入用户态程序pod。
第三方面，本发明实施例提供了一种共享存储的装置，所述装置包括：
连接模块，用于与交换机建立连接；
处理模块，用于基于与所述交换机建立的连接，通过NVMEof协议挂载远端NVME硬盘。
第四方面，本发明实施例提供了一种共享存储的装置，所述装置的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
在一个可能的设计中，所述装置的结构中包括处理器和存储器，所述存储器用于存储支持所述装置执行任一上述方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。所述装置还可以包括通信接口，用于与其他设备或通信网络通信。
第五方面，本发明实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行前述方法。
上述技术方案中的一个技术方案具有如下优点或有益效果：
能够使用nvmeof为容器云openshift平台提供底层nvme存储性能。从而可以满足NVME硬盘动态分配使用，并且能够更加快速的共享存储。
上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本发明进一步的方面、实施方式和特征将会是容易明白的。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本发明公开的一些实施方式，而不应将其视为是对本发明范围的限制。
图1示出本发明实施例的共享存储的方法的流程图。
图2示出本发明实施例的共享存储的框架示意图。
图3示出本发明实施例的RDMA与TCP/IP架构对比示意图。
图4示出本发明实施例的NVMe-FC协议层示意图。
图5示出本发明实施例的共享存储的系统架构示意图。
图6示出本发明实施例的共享存储的装置结构示意图。
图7示出根据本发明实施例的测试装置的硬件组成示意图。
具体实施方式
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
本发明实施例提供了一种共享存储的方法，如图1所示，包括：
步骤101：Openshift平台与交换机建立连接；
步骤102：所述Openshift平台基于与所述交换机建立的连接，通过NVMEof协议挂载远端NVME硬盘；
其中，所述NVME硬盘用于为所述Openshift平台提供存储功能。
其中，所述OpenShift平台为一种开源容器云平台。
所述交换机为FC或者网络交换机。其中，FC为光纤交换机。
当所述交换机为网络交换机时，所述网络交换机需要支持远程直接内存访问(RDMA，Remote Direct Memory Access)协议。
进一步地，所述容器云Openshift平台还用于接入用户态程序pod。从而使得用户态程序Pod能够通过Openshift平台基于NVMeoF协议挂载远端NVMe硬盘。
一种示例，可以参见图2，包括以下处理：
1、nvme本地硬盘接入NVME本地服务器。
2、NVME本地服务器接入交换机，此处交换机可以是FC或是网络交换机，NAME本地服务器如果是网络交换机需要网卡支持RDMA协议。
3、Openshift集群节点连接交换机，通过NVMEof协议挂载远端的NVME硬盘。其中，Openshift集群节点中可以包括有Master(管理节点)以及其他的Node(节点)。
4-6、用户态程序pod使用nvmeof挂载的远端nvme硬盘。
具体来说，用户态程序pod通过持久卷申请(Persistent Volume Claim，PVC)以及持久卷(Persistent Volume，PV)连接到openshift集群，再通过Openshift集群节点基于NVMEof协议挂载远端的NVME硬盘。
其中，PV为集群中由管理员配置的一段网络存储。是集群中的资源，是容量插件，但其生命周期独立于使用PV的任何单个pod。此API对象捕获存储实现的详细信息，包括NFS，iSCSI或特定于云提供程序的存储系统。
所述PVC是由用户进行存储的请求。类似于pod。Pod消耗节点资源，PVC消耗PV资源。Pod可以请求特定级别的资源(CPU和内存)。声明可以请求特定的大小和访问模式(例如，可以一次读/写或多次只读)。
并且，PVC和PV是一一对应的。
通过上述方案能够实现使用nvmeof为容器云openshift平台提供底层nvme存储性能。与使用本地主机的PCIe总线的NVMe存储设备的延迟相比，NVMe-oF的最初设计目标是在通过合适的网络结构连接的NVMe主机和NVMe存储目标之间添加不超过10微秒的延迟。而本方案实现将本地NVME硬盘可以挂载远端服务器使用，远端识别出的硬盘可以达到本地NVME硬盘性能的方法，可以满足NVME硬盘动态分配使用。满足openshift容器云平台更加快速的共享存储。
具体分析，NVMe传输是一种抽象协议层，旨在提供可靠的NVMe命令和数据传输。为了支持数据中心的网络存储，通过NVMe over Fabric实现NVMe标准在PCIe总线上的扩展，以此来挑战SCSI在SAN中的统治地位。NVMe over Fabric支持把NVMe映射到多个Fabrics传输选项，主要包括FC、InfiniBand、RoCE v2、iWARP和TCP。
然而，在这些Fabrics选项协议中，我们常常认为InfiniBand、RoCE v2(可路由的RoCE)、iWARP是理想的Fabric，其原因在于它们支持RDMA。
其中，无限带宽InfiniBand(IB)：从一开始就支持RDMA的新一代网络协议。由于这是一种新的网络技术，因此需要支持该技术的网卡和交换机。
RDMA融合以太网(RoCE)：一种允许通过以太网进行RDMA的网络协议。其较低的网络头是以太网头，其上网络头(包括数据)是InfiniBand头。这允许在标准以太网基础架构(交换机)上使用RDMA。只有NIC应该是特殊的，并支持RoCE。
互联网广域RDMA协议(iWARP)：允许通过TCP执行RDMA的网络协议。在IB和RoCE中存在功能，iWARP不支持这些功能。这允许在标准以太网基础架构(交换机)上使用RDMA。只有NIC应该是特殊的，并支持iWARP(如果使用CPU卸载)，否则所有iWARP堆栈都可以在SW中实现，并且丢失了大部分的RDMA性能优势。
支持RDMA在选择NVMe over Fabric时具有优势，是由于RDMA是一种新的内存访问技术，RDMA让计算机可以直接存取其他计算机的内存，而不需要经过处理器耗时的处理。RDMA将数据从一个系统快速移动到远程系统存储器中，而不对操作系统造成任何影响。RDMA技术的原理及其与TCP/IP架构的对比如图3所示，图3中左侧示出TCP/IP架构，右侧示出RDMA的处理，通过图3可以看出，TCP/IP架构中，需要通过套接字(Socket)、TCP、IPv4/IPv6、以及网络设备连接到设备驱动，而RDMA则通过内核旁路(Kemel Bypass)可以直接连接到设备驱动，因此RDMA结构速度更快。具体的，RDMA可以理解为利用相关的硬件和网络技术，服务器1的网卡可以直接读写服务器2的内存，最终达到高带宽、低延迟和低资源利用率的效果。如图3所示，应用程序不需要参与数据传输过程，只需要指定内存读写地址，开启传输并等待传输完成即可。应用和RNIC之间的传输接口层(software transport interface)被称为Verbs。IBTA解释了RDMA传输过程中应具备的特性行为，而并没有规定Verbs的具体接口和数据结构原型。这部分工作由另一个组织OFA(Open Fabric Alliance)来完成，OFA提供了RDMA传输的一系列Verbs API。OFA开发出了OFED(Open Fabric EnterpriseDistribution)协议栈，支持多种RDMA传输层协议。
RDMA的主要优势总结如下：
1)零拷贝Zero-Copy：数据不需要在网络协议栈的各个层之间来回拷贝，这缩短了数据流路径。
2)Kernel-Bypass：应用直接操作设备接口，不再经过系统调用切换到内核态，没有内核切换开销。
3)None-CPU：数据传输无须CPU参与，完全由网卡搞定，无需再做发包收包中断处理，不耗费CPU资源。
这么多优势总结起来就是提高处理效率，减低时延。那如果其他网络Fabric可以通过类似RDMA的技术满足NVMe over Fabric的效率和时延等要求，可以作为NVMeoverFabric的Fabric。
关于NVMe-oF和NVMe的主要区别是传输命令的机制。NVMe通过外围组件互连Express(PCIe)接口协议将请求和响应映射到主机中的共享内存。NVMe-oF使用基于消息的模型通过网络在主机和目标存储设备之间发送请求和响应。
NVMe-oF替代PCIe来扩展NVMe主机和NVMe存储子系统进行通信的距离。与使用本地主机的PCIe总线的NVMe存储设备的延迟相比，NVMe-oF的最初设计目标是在通过合适的网络结构连接的NVMe主机和NVMe存储目标之间添加不超过10微秒的延迟。
此外，在技术细节和工作机制上两者有很大不同，NVMe-oF是在NVMe(NVMe overPCIe)的基础上扩展和完善起来的，具体差异点如下：
命名机制在兼容NVMe over PCIe的基础上做了扩展，例如：引入了SUBNQN等；
术语上的变化，使用Capsule、Response Capsule来表示传输的报文；
扩展了Scatter Gather Lists(SGLs)支持In Capsule Data传输。此前NVMe overPCIe中的SGL不支持In Capsule Data传输；
增加了Discovery和Connect机制，用于发现和连接拓扑结构中的NVM Subsystem；
在Connection机制中增加了创建Queue(队列)的机制，删除了NVMe over PCIe中的创建和删除Queue的命令；
在NVMe-oF中不存在PCIe架构下的中断机制；
NVMe-oF不支持CQ的流控，所以每个队列的OutStanding Capsule数量不能大于对应CQ的Entry的数量，从而避免CQ被OverRun；
NVMe-oF仅支持SGL，NVMe over PCIe支持SGL/PRP。
FC Fabric，FC-NVMe将NVMe命令集简化为基本的FCP指令。由于光纤通道专为存储流量而设计，因此系统中内置了诸如发现，管理和设备端到端验证等功能。
光纤通道是面向NVMe overFabrics(NVMe-oF)的Fabric传输选项，其他NVMe传输选项包括以太网和InfiniBand上的远程直接内存访问(RDMA)。国际信息技术标准委员会(INCITS)的T11委员会定义了一种帧格式和映射协议，将NVMe-oF应用到光纤通道。FC协议(FCP)允许上层传输协议，如NVMe，小型计算机系统接口(SCSI)和IBM专有光纤连接(FICON)的映射，以实现主机和外围目标存储设备或系统之间的数据和命令传输。
在大规模基于块闪存的存储环境最有可能采用NVMeover FC。FC-NVMe光纤通道提供NVMe-oF结构、可预测性和可靠性特性等与给SCSI提供的相同，另外，NVMe-oF流量和传统的基于SCSI的流量可以在同一FC结构上同时运行。
基于光纤FC标准的NVMe定义了FC-NVMe协议层(基于FC的NVMe协议层)，如图4所示。NVMe over Fabrics规范定义了NVMe-oF协议层。NVMe规范定义了NVMe主机软件和NVM子系统协议层。要求必须支持基于光纤通道的NVMe才能发挥潜在优势的基础架构组件，包括存储操作系统(OS)和网络适配器卡。FC存储系统供应商必须让其产品符合FC-NVMe的要求。目前支持FC-NVMe的主机总线适配器(HBA)的供应商包括Broadcom和Cavium。
NVMe over fabric白皮书明确列出了光纤通道作为一个NVMeover Fabrics选择，也描述了理想的Fabrics需要具备可靠的、以Credit为基础的流量控制和交付机制。然而，基于Credit的流程控制机制是FC、PCIe传输原生能力。在NVMe的白皮书中并没有把RDMA列为“理想”NVMe overFabric的重要属性，也就是说RDMA是一种实现NVMeFabric的方法。
FC也提供零拷贝(Zero-Copy)技术支持DMA数据传输。RDMA通过从本地服务器传递Scatter-Gather List到远程服务器有效地将本地内存与远程服务器共享，使远程服务器可以直接读取或写入本地服务器的内存。
关于基于RDMA技术实现NVMe over fabric的Fabric技术的方式，RDMA技术最早出现在Infiniband网络，用于HPC高性能计算集群的互联。基于InfiniBand的NVMe倾向于吸引需要极高带宽和低延迟的高性能计算工作负载。InfiniBand网络通常用于后端存储系统内的通信，而不是主机到存储器的通信。与FC一样，InfiniBand是一个需要特殊硬件的无损网络，它具有诸如流量和拥塞控制以及服务质量(QoS)等优点。但与FC不同的是，InfiniBand缺少发现服务自动将节点添加到结构中。
最后，NVMe/TCP协议选项(暂记为NVMe over TCP)，在几年前，NVMe Express组织计划支持传输控制协议(TCP)的传输选项(不同于基于TCP的iWARP)。并且承载NVMe协议标准的Fabric即可作为NVMe over fabric的Fabric。
本发明实施例还提供了一种共享存储的系统，如图5所示，所述系统包括：
Openshifi平台51，用于与交换机建立连接；基于与所述交换机建立的连接，通过NVMEof协议挂载远端NVME硬盘；
交换机52，用于通过NVME本地服务器连接NVME硬盘；
NVME硬盘53，用于为所述Openshift平台提供存储功能。
所述交换机为FC或者网络交换机。
所述交换机为网络交换机时支持RDMA协议。
所述Openshift平台，还用于接入用户态程序pod。
本实施例中的各个设备的具体处理功能与前述方法相同，不再进行赘述。
另外，一种共享存储的装置，如图6所示，所述装置包括：
连接模块61，用于与交换机建立连接；
处理模块62，用于基于与所述交换机建立的连接，通过NVMEof协议挂载远端NVME硬盘。
其中，共享存储的装置可以为前述实施例中的OpenShift平台，比如，可以为平台中的管理节点，当然还可以为其他节点中均具备这两个模块的功能。
本发明实施例各装置中的各模块的功能可以参见上述方法中的对应描述，在此不再赘述。
图7示出根据本发明实施例的测试装置的硬件组成示意图，如图7所示，该装置包括：存储器910和处理器920，存储器910内存储有可在处理器920上运行的计算机程序。处理器920执行计算机程序时实现上述实施例中的自动驾驶方法。存储器910和处理器920的数量可以为一个或多个。
该装置还包括：通信接口930，用于与外界设备进行通信，进行数据交互传输。
存储器910可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
如果存储器910、处理器920和通信接口930独立实现，则存储器910、处理器920和通信接口930可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(ISA，Industry Standard Architecture)总线、外部设备互连(PCI，PeripheralComponent)总线或扩展工业标准体系结构(EISA，Extended Industry StandardComponent)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器910、处理器920及通信接口930集成在一块芯片上，则存储器910、处理器920及通信接口930可以通过内部接口完成相互间的通信。
本发明实施例提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述实施例中任一所述的方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器，磁盘或光盘等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种共享存储的方法，其特征在于，所述方法包括：
Openshift平台与交换机建立连接；
所述Openshift平台基于与所述交换机建立的连接，通过NVMeoF协议挂载远端NVMe硬盘；
其中，所述NVMe硬盘用于为所述Openshift平台提供存储功能；
所述Openshift平台还用于接入用户态程序pod，所述用户态程序pod通过持久卷申请PVC以及持久卷PV连接到所述Openshift平台，通过所述Openshift平台基于所述NVMeoF协议挂载远端NVMe硬盘；
通过NVMe over Fabric实现NVMe标准在PCIe总线上的扩展，所述NVMe over Fabric将NVMe映射到多个Fabrics传输选项。
2.根据权利要求1所述的方法，其特征在于，所述交换机为FC或者网络交换机。
3.根据权利要求2所述的方法，其特征在于，所述交换机为网络交换机时，支持远程直接内存访问RDMA协议。
4.一种共享存储的系统，其特征在于，所述系统包括：
Openshift平台，用于与交换机建立连接；基于与所述交换机建立的连接，通过NVMeoF协议挂载远端NVMe硬盘；
交换机，用于通过NVMe本地服务器连接NVMe硬盘；
NVMe硬盘，用于为所述Openshift平台提供存储功能；
所述Openshift平台，还用于接入用户态程序pod，所述用户态程序pod通过持久卷申请PVC以及持久卷PV连接到所述Openshift平台，通过所述Openshift平台基于所述NVMeoF协议挂载远端NVMe硬盘；
通过NVMe over Fabric实现NVMe标准在PCIe总线上的扩展，所述NVMe over Fabric将NVMe映射到多个Fabrics传输选项。
5.根据权利要求4所述的系统，其特征在于，所述交换机为FC或者网络交换机。
6.根据权利要求5所述的系统，其特征在于，所述交换机为网络交换机时支持RDMA协议。
7.一种共享存储的装置，其特征在于，所述装置包括：
连接模块，用于与交换机建立连接；
处理模块，用于基于与所述交换机建立的连接，通过NVMeoF协议挂载远端NVMe硬盘；
所述装置还用于接入用户态程序pod，所述用户态程序pod通过持久卷申请PVC以及持久卷PV接入，基于所述NVMeoF协议挂载远端NVMe硬盘；
通过NVMe over Fabric实现NVMe标准在PCIe总线上的扩展，所述NVMe over Fabric将NVMe映射到多个Fabrics传输选项。
8.一种共享存储的装置，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-3中任一项所述的方法。
CN201910768176.4A 2019-08-19 2019-08-19 一种共享存储的方法、系统及装置 Active CN110471627B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910768176.4A CN110471627B (zh) 2019-08-19 2019-08-19 一种共享存储的方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910768176.4A CN110471627B (zh) 2019-08-19 2019-08-19 一种共享存储的方法、系统及装置

Publications (2)

Publication Number Publication Date
CN110471627A CN110471627A (zh) 2019-11-19
CN110471627B true CN110471627B (zh) 2022-06-21

Family

ID=68512017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910768176.4A Active CN110471627B (zh) 2019-08-19 2019-08-19 一种共享存储的方法、系统及装置

Country Status (1)

Country Link
CN (1) CN110471627B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112333283B (zh) * 2020-11-20 2022-12-13 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 自主高端存储阵列系统架构
CN113485643B (zh) * 2021-07-01 2023-10-31 成都忆芯科技有限公司 用于数据存取的方法及数据写入的控制器

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017512350A (ja) * 2014-03-08 2017-05-18 ディアマンティ インコーポレイテッド 集中型ネットワーキング及びストレージのための方法及びシステム
CN107005422B (zh) * 2014-09-30 2021-06-01 微福斯有限责任公司 用于第二天操作的基于拓扑的管理的系统和方法
US10459665B2 (en) * 2017-04-03 2019-10-29 Samsung Electronics Co., Ltd. System and method of configuring NVMe-oF devices using a baseboard management controller (BMC)
CN107193504A (zh) * 2017-06-02 2017-09-22 郑州云海信息技术有限公司 一种基于Kubernetes的自动化分配和创建应用存储的方法和系统
CN109976661B (zh) * 2017-12-27 2020-08-14 华为技术有限公司 基于nof的读取控制方法、装置及系统

Also Published As

Publication number Publication date
CN110471627A (zh) 2019-11-19

Similar Documents

Publication Publication Date Title
CN113810312B (zh) 用于管理存储器资源的系统和方法
CN109471833B (zh) 用于最大化PCIe对等连接的带宽的系统和方法
CN108696569B (zh) 在NVMe-oF以太网SSD中提供数据复制的系统和方法
RU2637428C2 (ru) Масштабируемый прямой обмен данными между узлами через шину межсоединения периферийных компонентов типа экспресс (pcie)
JP5026283B2 (ja) 協調的共用ストレージアーキテクチャ
US9032164B2 (en) Apparatus for performing storage virtualization
US7529836B1 (en) Technique for throttling data access requests
US10423332B2 (en) Fibre channel storage array having standby controller with ALUA standby mode for forwarding SCSI commands
US7602774B1 (en) Quality of service for server applications
US7937447B1 (en) Communication between computer systems over an input/output (I/O) bus
TW201027354A (en) Dynamic physical and virtual multipath I/O
EP2073115A2 (en) Avoiding use of an inter-unit network in a storage system having multiple storage control units
US20030005039A1 (en) End node partitioning using local identifiers
US10893105B1 (en) Utilization of networking protocol for seamless integration of compute nodes with software-defined storage nodes
US11379405B2 (en) Internet small computer interface systems extension for remote direct memory access (RDMA) for distributed hyper-converged storage systems
US20220222016A1 (en) Method for accessing solid state disk and storage device
US11606429B2 (en) Direct response to IO request in storage system having an intermediary target apparatus
US20200110715A1 (en) Memory appliance couplings and operations
KR20200008483A (ko) PCIe EP 및 네트워크 인터페이스를 통해 동시에 듀얼 라인 SSD 장치에 액세스하는 방법
CN110471627B (zh) 一种共享存储的方法、系统及装置
US20210326270A1 (en) Address translation at a target network interface device
WO2023072048A1 (zh) 网络存储方法、存储系统、数据处理单元及计算机系统
CN115129625A (zh) 外围设备中的增强的存储协议仿真
US11720413B2 (en) Systems and methods for virtualizing fabric-attached storage devices
US11500678B2 (en) Virtual fibre channel port migration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A method, system and device for shared storage

Effective date of registration: 20230223

Granted publication date: 20220621

Pledgee: Zhongguancun Beijing technology financing Company limited by guarantee

Pledgor: CAPITALONLINE DATA SERVICE Co.,Ltd.

Registration number: Y2023990000129

PE01 Entry into force of the registration of the contract for pledge of patent right