CN115550377B - 一种nvmf存储集群节点互联方法、装置、设备及介质 - Google Patents
一种nvmf存储集群节点互联方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN115550377B CN115550377B CN202211487379.4A CN202211487379A CN115550377B CN 115550377 B CN115550377 B CN 115550377B CN 202211487379 A CN202211487379 A CN 202211487379A CN 115550377 B CN115550377 B CN 115550377B
- Authority
- CN
- China
- Prior art keywords
- nodes
- nvme
- node
- subsystem
- nvmf
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000004891 communication Methods 0.000 claims abstract description 151
- 230000005540 biological transmission Effects 0.000 claims abstract description 51
- 239000004744 fabric Substances 0.000 claims description 49
- 238000004590 computer program Methods 0.000 claims description 12
- 230000000977 initiatory effect Effects 0.000 description 8
- 230000002457 bidirectional effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 239000003999 initiator Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/14—Session management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/104—Peer-to-peer [P2P] networks
- H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
- H04L67/1078—Resource delivery mechanisms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/08—Protocols for interworking; Protocol conversion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
- H04L69/163—In-band adaptation of TCP data exchange; In-band control procedures
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computer And Data Communications (AREA)
Abstract
本申请公开了一种NVMF存储集群节点互联方法、装置、设备及介质,应用于存储集群通信技术领域,包括:基于NVMF协议以及其他节点的子系统NVMe限定名与其他节点中预设子系统建立第一通信连接,并在建立第一通信连接的过程中创建多个NVMe IO队列;每个节点均存在预设子系统,并存在与该节点唯一对应的子系统NVMe限定名;基于第一通信连接和第二通信连接将自身的子系统NVMe限定名、本地端口以及其他节点的端口、子系统NVMe限定名绑定,得到连接信息对;其中,第二通信连接为其他节点基于NVMF协议发起并与该任意节点建立的通信连接;基于连接信息对进行集群业务传输。能够提升存储集群节点互联的性能以及灵活性。
Description
技术领域
本申请涉及存储集群通信技术领域,特别涉及一种NVMF存储集群节点互联方法、装置、设备及介质。
背景技术
目前,存储集群的节点通常使用fc或pcie(即peripheral componentinterconnect express,高速串行计算机扩展总线标准)链路互联,fc互联方案因SCSI(即Small Computer System Interface,小型计算机系统接口)单队列和带宽限制存在性能瓶颈,而pcie互联方式存在线缆长度和拓扑灵活性的局限性。因此,如何提升存储集群节点互联的性能以及灵活性是目前亟待解决的问题。
发明内容
有鉴于此,本申请的目的在于提供一种NVMF存储集群节点互联方法、装置、设备及介质,能够提升存储集群节点互联的性能以及灵活性。其具体方案如下:
第一方面,本申请公开了一种NVMF存储集群节点互联方法,应用于存储集群中任意节点,包括:
基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接,并在建立所述第一通信连接的过程中创建多个NVMe IO队列;其中,每个节点均存在预设子系统,并存在与该节点唯一对应的子系统NVMe限定名;
基于所述第一通信连接和第二通信连接将自身的子系统NVMe限定名、本地端口以及所述其他节点的端口、子系统NVMe限定名绑定,得到连接信息对;其中,所述第二通信连接为所述其他节点基于NVMF协议发起并与该任意节点建立的通信连接;
基于所述连接信息对进行集群业务传输。
可选的,所述基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接之前,还包括:
对其他节点进行节点发现并获取其他节点的子系统NVMe限定名。
可选的,所述对其他节点进行节点发现并获取其他节点的子系统NVMe限定名,包括:
基于NVMF协议对其他节点进行节点发现,并获取其他节点返回的子系统NVMe限定名。
可选的,所述基于NVMF协议对其他节点进行节点发现,并获取其他节点返回的子系统NVMe限定名,包括:
通过connect fabric指令通知预设roce驱动建立RDMA管理队列,然后与其他节点中的发现控制器创建NVMe管理队列,通过fabric/admin指令配置发现控制器,获取发现日志页;其中,所述发现日志页包括发现到的其他节点的子系统NVMe限定名。
可选的,所述基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接,包括:
通过connect fabric指令通知预设roce驱动建立RDMA管理队列,然后与其他节点中的预设控制器创建NVMe管理队列,通过鉴权指令完成鉴权操作,通过fabric/admin指令配置预设控制器;通过connect fabric指令通知预设roce驱动建立RDMA IO队列,然后与预设控制器创建NVMe IO队列,通过鉴权指令完成鉴权操作。
可选的,所述基于NVMF协议对其他节点进行节点发现,并获取其他节点返回的子系统NVMe限定名,包括:
通过connect fabric指令与所述其他节点建立TCP连接,通过所述TCP连接获取所述其他节点返回的子系统NVMe限定名。
可选的,所述基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接,包括:
通过connect fabric指令与所述其他节点建立TCP连接,然后与其他节点中的预设控制器创建NVMe管理队列,通过鉴权指令完成鉴权操作,通过fabric/admin指令配置预设控制器;与预设控制器创建NVMe IO队列,通过鉴权指令成鉴权操作。
可选的,所述对其他节点进行节点发现并获取其他节点的子系统NVMe限定名,包括:
获取配置信息,其中,所述配置信息包括其他节点的IP地址和子系统NVMe限定名。
可选的,所述对其他节点进行节点发现并获取其他节点的子系统NVMe限定名,包括:
通过链路层发现协议将本节点的IP地址以、端口以及子系统NVMe限定名发布给其他节点,并获取其他节点返回的其他节点的子系统NVMe限定名。
可选的,所述对其他节点进行节点发现并获取其他节点的子系统NVMe限定名,包括:
基于mDNS协议对其他节点进行节点发现并获取其他节点的子系统NVMe限定名。
可选的,所述基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接之后,还包括:
通过NVME指令查询所述其他节点的节点信息;
基于所述节点信息识别所述其他节点的身份,基于所述不同的身份进行不同的业务配置。
可选的,所述基于所述不同的身份进行不同的业务配置,包括:
若为存储节点,则根据不同身份进行集群业务的不同配置。
第二方面,本申请公开了一种NVMF存储集群节点互联装置,应用于存储集群中任意节点,包括:
通信连接建立模块,用于基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接,并在建立所述第一通信连接的过程中创建多个NVMe IO队列;其中,每个节点均存在预设子系统,并存在该节点唯一对应的子系统NVMe限定名;
连接信息绑定模块,用于基于所述第一通信连接和第二通信连接将自身的子系统NVMe限定名、本地端口以及所述其他节点的端口、子系统NVMe限定名绑定,得到连接信息对;其中,所述第二通信连接为所述其他节点基于NVMF协议发起并与该任意节点建立的通信连接;
集群业务传输模块,用于基于所述连接信息对进行集群业务传输。
第三方面,本申请公开了一种NVMF存储节点,应用于具有多节点的NVMF存储集群,包括:
通信连接建立模块,用于基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接,并在建立所述第一通信连接的过程中创建多个NVMe IO队列;其中,每个节点均存在预设子系统,并存在该节点唯一对应的子系统NVMe限定名;
连接信息绑定模块,用于基于所述第一通信连接和第二通信连接将自身的子系统NVMe限定名、本地端口以及所述其他节点的端口、子系统NVMe限定名绑定,得到连接信息对;其中,所述第二通信连接为所述其他节点基于NVMF协议发起并与该任意节点建立的通信连接;
集群业务传输模块,用于基于所述连接信息对进行集群业务传输。
第四方面,本申请公开了一种电子设备,包括存储器和处理器,其中:
所述存储器,用于保存计算机程序;
所述处理器,用于执行所述计算机程序,以实现前述的NVMF存储集群节点互联方法。
第五方面,本申请公开了一种计算机可读存储介质,用于保存计算机程序,其中,所述计算机程序被处理器执行时实现前述的NVMF存储集群节点互联方法。
可见,本申请基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接,并在建立所述第一通信连接的过程中创建多个NVMe IO队列;其中,每个节点均存在预设子系统,并存在与该节点唯一对应的子系统NVMe限定名,并基于所述第一通信连接和第二通信连接将自身的子系统NVMe限定名、本地端口以及所述其他节点的端口、子系统NVMe限定名绑定,得到连接信息对;其中,所述第二通信连接为所述其他节点基于NVMF协议发起并与该任意节点建立的通信连接,之后基于所述连接信息对进行集群业务传输。也即,本申请中每个节点均存在用于节点互联的预设子系统,并存在唯一的子系统NVMe限定名,任意节点基于NVMF协议以及其他节点的子系统NVMe限定名与其他节点中预设子系统建立第一通信连接,并将两个方向相反的连接信息绑定到一起作为连接信息对,实现集群互联业务流的双向传输,能够利用NVMe多队列,从而提升存储集群节点互联的性能,并且适配于roce传输协议以及TCP传输协议,能够利用RDMA特性及传输网络的高带宽提升性能,同时基于TCP协议可以提升拓扑部署的距离和灵活性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例公开的一种存储管理软件与存储系统的适配方法流程图;
图2为本申请实施例公开的一种具体的NVMF存储集群节点互联示意图;
图3为本申请实施例公开的一种具体的节点发现以及连接过程示意图;
图4为本申请实施例公开的一种NVMF存储集群节点互联装置结构示意图;
图5为本申请实施例公开的一种电子设备原理结构图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
目前,存储集群的节点通常使用fc或pcie链路互联,fc互联方案因SCSI单队列和带宽限制存在性能瓶颈,而pcie互联方式存在线缆长度和拓扑灵活性的局限性。因此,如何提升存储集群节点互联的性能以及灵活性是目前亟待解决的问题。为此,本申请提供了一种NVMF(即nvme over fabric,NVMe(即Non-Volatile Memory express,非易失性内存主机控制器接口规范)标准组织提出的将NVMe应用到各种fabric网络的协议标准,定义了使用各种通用的传输层协议来实现NVMe功能的方式)存储集群节点互联方案,能够提升存储集群节点互联的性能以及灵活性。
参见图1所示,本申请实施例公开了一种NVMF存储集群节点互联方法,应用于存储集群中任意节点,包括:
步骤S11:基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接,并在建立所述第一通信连接的过程中创建多个NVMe IO队列;其中,每个节点均存在预设子系统,并存在与该节点唯一对应的子系统NVMe限定名。
其中,在所述基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接之前,本申请实施例可以对其他节点进行节点发现并获取其他节点的子系统NVMe限定名。
在第一种实施方式中,可以基于NVMF协议对其他节点进行节点发现,并获取其他节点返回的子系统NVMe限定名。
若第一通信连接采用的传输协议为roce协议,可以通过connect fabric指令通知预设roce驱动建立RDMA(即Remote Direct Memory Access,远程直接数据存取)管理队列,然后与其他节点中的发现控制器创建NVMe管理队列,通过fabric/admin指令配置发现控制器,获取发现日志页;其中,所述发现日志页包括发现到的其他节点的子系统NVMe限定名。
若第一通信连接采用的传输协议为TCP协议,可以通过connect fabric指令与所述其他节点建立TCP连接,通过所述TCP连接获取所述其他节点返回的子系统NVMe限定名。
在第二种实施方式中,可以获取配置信息,其中,所述配置信息包括其他节点的IP地址和子系统NVMe限定名。也即,通过配置信息指定目标节点。
在第三种实施方式中,可以通过链路层发现协议将本节点的IP地址以、端口以及子系统NVMe限定名发布给其他节点,并获取其他节点返回的其他节点的子系统NVMe限定名。
在第四种实施方式中,可以基于mDNS协议对其他节点进行节点发现并获取其他节点的子系统NVMe限定名。
进一步的,若第一通信连接采用的传输协议为roce协议,则基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接的具体过程为:通过connect fabric指令通知预设roce驱动建立RDMA管理队列,然后与其他节点中的预设控制器创建NVMe管理队列,通过鉴权指令完成鉴权操作,通过fabric/admin指令配置预设控制器;通过connect fabric指令通知预设roce驱动建立多个RDMA IO队列,然后与预设控制器创建多个NVMe IO队列,通过鉴权指令完成鉴权操作。其中,预设roce驱动为基于roce协议创建的驱动,roce为一种基于udp实现rdma传输的协议,应用于nvme over rdma。
并且,若第一通信连接采用的传输协议为TCP协议,则基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接的具体过程为:通过connect fabric指令与所述其他节点建立TCP连接,然后与其他节点中的预设控制器创建NVMe管理队列,通过鉴权指令完成鉴权操作,通过fabric/admin指令配置预设控制器;与预设控制器创建多个NVMe IO队列,通过鉴权指令成鉴权操作。
可以理解的是,基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接,即与其他节点中预设子系统中预设控制器建立第一通信连接。
本申请中,每个节点既作为nvmf协议的发起端又作为nvmf subsystem(即预设子系统)端,每个节点使用唯一的subnqn(即子系统NVMe限定名)创建节点范围的节点互联专用的nvmf subsystem,与节点业务路径隔离避免相互影响。当连接节点时每个节点都向所有节点发起nvmf连接,即每个节点的发起端连接其他节点的目标端即subsystem、其他节点的发起端也向本节点目标端发起连接。并且实现了存储节点间通过nvme over fabric协议发现、连接的过程。发现方式支持手动配置、扩展lldp协议、mDNS及nvmf discovery方式,手动配置方式为配置各节点的ip和subnqn来指明nvmf的目标端,扩展lldp则通过链路层发现协议将ip、端口及subsystem信息发布给其他节点;nvmf discovery方式则遵循标准协议实现nvme discovery service(即nvme发现服务)并实现discovery controller(即发现控制器)的链接和交互过程。节点间发起端向目标端实现管理队列的连接、鉴权、属性的获取和配置、controller的使能,io队列的创建、鉴权过程。
进一步的,在基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接之后,本申请实施例可以通过NVME指令查询所述其他节点的节点信息;基于所述节点信息识别所述其他节点的身份,基于所述不同的身份进行不同的业务配置。并且,若为存储节点,则根据不同身份进行集群业务的不同配置。其中,身份可以包括不是存储节点、是存储节点且为本集群节点、是存储节点且为其他集群节点、是存储节点且为未加入集群节点。其中,发起端可以通过nvme标准、自定义指令获取对端厂商、产品信息,获取集群UUID(即Universally Unique Identifier,通用唯一识别码)、节点UUID、平台版本及其他业务标识信息等信息,通过以上信息完成身份的识别。如果为存储节点为其配置细分的集群业务。
在一种具体的实施方式中,可以使用NVMe identify指令查询controller信息,获取对端设备的subnqn、产品信息和型号信息初步识别是否为存储节点,如果是则继续是使用NVMe identify指令查询定制的cluster node CNS(即集群节点结构),获取对端节点的集群uuid、节点uuid、端口信息、平台信息、版本信息以及其他业务标识信息,根据内部逻辑进行识别。初步识别可能存在问题,以最终识别结果为准,最终识别的结果包括:不是存储节点、是存储节点且为本集群节点、是存储节点且为其他集群节点、是存储节点且为未加入集群节点,以上获取到的节点身份属性与nvmf的链接对象进行绑定。如果识别为不是存储节点,则将连接信息上报给平台模块做其他业务使用。如果识别为存储节点,则交由集群通信模块,根据节点的不同身份做集群业务的不同配置,并做集群节点通信的准备。
步骤S12:基于所述第一通信连接和第二通信连接将自身的子系统NVMe限定名、本地端口以及所述其他节点的端口、子系统NVMe限定名绑定,得到连接信息对;其中,所述第二通信连接为所述其他节点基于NVMF协议发起并与该任意节点建立的通信连接。
其中,第二通信连接的建立过程可以参考第一通信连接的建立过程,在此不再进行赘述。
需要指出的是,由于NVMf连接为发起端、目标端定向模式,双方节点通过本地subnqn、本地端口、对端subnqn、对端端口将两条方向相反的连接信息绑定到一起识别为“集群互联连接对”,实现集群互联业务流的双向传输。
步骤S13:基于所述连接信息对进行集群业务传输。
下面以本NVMe over rdma为例详细的阐述本申请提供的方案:参见图2所示,图2为本申请实施例公开的一种具体的NVMF存储集群节点互联示意图,包括NVMe over fabric连接过程以及存储节点识别过程。
参见图3所示,图3为本申请实施例公开的一种具体的节点发现以及连接过程示意图,NVMe over fabric连接过程:NVMF发起端实现发现功能,使用well-known nqn与RDMANVME节点设备建立连接。具体过程为:通过connect fabric指令通知roce驱动建立RDMAqueue pair(admin)(即RDMA管理队列),然后与discover controller(即发现控制器)创建NVMe admin queue pair(即NVMe管理队列),通过fabric/admin指令配置discovercontroller,获取discover log page(即发现日志页)。另外,按需决定是否建立持久连接。NVMF发起端使用发现的nqn(即subnqn)与RDMA NVMe节点设备建立连接。具体过程为:connect fabric指令通知roce驱动建立RDMA queue pair(admin),然后与预设controller(即预设控制器,图3中的NVMe控制器)创建NVMe admin queue pair,通过AuthenticationSend/Recive指令完成鉴权操作,通过fabric/admin指令配置预设controller;connectfabric指令通知roce驱动建立RDMA queue pairs(io)(即RDMA IO队列),然后与预设controller创建NVMe io queue pairs(即NVMe IO队列),通过Authentication Send/Receive指令完成鉴权操作。当初始化就绪后,通知节点识别模块进行节点身份识别。
存储节点识别过程,具体包括:在每个节点上,NVMf发起端完成fabric连接后,向节点识别模块上报连接信息,节点识别模块负责识别连接对象的身份信息。首先,使用NVMeidentify指令查询controller信息,获取对端设备的subnqn、产品信息和型号信息初步识别是否为存储节点,如果是则继续是使用NVMe identify指令查询定制的集群节点结构,获取对端节点的集群uuid、节点uuid、端口信息、平台信息、版本信息以及其他业务标识信息,根据内部逻辑进行识别。最终识别的结果包括:不是存储节点、是存储节点且为本集群节点、是存储节点且为其他集群节点、是存储节点且为未加入集群节点,以上获取到的节点身份属性与nvmf的链接对象进行绑定。如果识别为不是存储节点,则将连接信息上报给平台模块做其他业务使用。如果识别为存储节点,则交由集群通信模块,根据节点的不同身份做集群业务的不同配置,并做集群节点通信的准备。
在每个节点上,NVMf在本地范围创建存储节点互联的专用subsystem,当发起端向该subsystem的controller连接并查询controller和节点信息时,负责将相关信息生成并经协议交互返回给对方。当有新的nvmf连接时,包括发起端向目标端的连接和目标端接收到发起端的链接,nvmf subsystem模块根据两个信息中的local nqn(即本地子系统NVMe限定名)、自定义实现的local nvme port(本地端口)、remote nqn(对端子系统NVMe限定名)和自定义实现的remote nvme port(对端端口)确定两个连接信息为同一对相互连接的节点端口,则绑定到一起提供给节点通信用。
并且,本申请实施例的nvme over fabric节点互联的具体实现不限定特定的fabric传输协议,支持nvme over roce、nvme over tcp和nvme over fc。
可见,本申请实施例基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接,并在建立所述第一通信连接的过程中创建多个NVMeIO队列;其中,每个节点均存在预设子系统,并存在与该节点唯一对应的子系统NVMe限定名,并基于所述第一通信连接和第二通信连接将自身的子系统NVMe限定名、本地端口以及所述其他节点的端口、子系统NVMe限定名绑定,得到连接信息对;其中,所述第二通信连接为所述其他节点基于NVMF协议发起并与该任意节点建立的通信连接,之后基于所述连接信息对进行集群业务传输。也即,本申请实施例中每个节点均存在用于节点互联的预设子系统,并存在唯一的子系统NVMe限定名,任意节点基于NVMF协议以及其他节点的子系统NVMe限定名与其他节点中预设子系统建立第一通信连接,并将两个方向相反的连接信息绑定到一起作为连接信息对,实现集群互联业务流的双向传输,能够利用NVMe多队列,从而提升存储集群节点互联的性能,并且适配于roce传输协议以及TCP传输协议,能够利用RDMA特性及传输网络的高带宽提升性能,同时基于TCP协议可以提升拓扑部署的距离和灵活性。
参见图4所示,本申请实施例公开了一种NVMF存储集群节点互联装置,应用于存储集群中任意节点,包括:
通信连接建立模块11,用于基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接,并在建立所述第一通信连接的过程中创建多个NVMe IO队列;其中,每个节点均存在预设子系统,并存在该节点唯一对应的子系统NVMe限定名;
连接信息绑定模块12,用于基于所述第一通信连接和第二通信连接将自身的子系统NVMe限定名、本地端口以及所述其他节点的端口、子系统NVMe限定名绑定,得到连接信息对;其中,所述第二通信连接为所述其他节点基于NVMF协议发起并与该任意节点建立的通信连接;
集群业务传输模块13,用于基于所述连接信息对进行集群业务传输。
可见,本申请实施例基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接,并在建立所述第一通信连接的过程中创建多个NVMeIO队列;其中,每个节点均存在预设子系统,并存在与该节点唯一对应的子系统NVMe限定名,并基于所述第一通信连接和第二通信连接将自身的子系统NVMe限定名、本地端口以及所述其他节点的端口、子系统NVMe限定名绑定,得到连接信息对;其中,所述第二通信连接为所述其他节点基于NVMF协议发起并与该任意节点建立的通信连接,之后基于所述连接信息对进行集群业务传输。也即,本申请实施例中每个节点均存在用于节点互联的预设子系统,并存在唯一的子系统NVMe限定名,任意节点基于NVMF协议以及其他节点的子系统NVMe限定名与其他节点中预设子系统建立第一通信连接,并将两个方向相反的连接信息绑定到一起作为连接信息对,实现集群互联业务流的双向传输,能够利用NVMe多队列,从而提升存储集群节点互联的性能,并且适配于roce传输协议以及TCP传输协议,能够利用RDMA特性及传输网络的高带宽提升性能,同时基于TCP协议可以提升拓扑部署的距离和灵活性。
进一步的,所述装置还包括节点发现模块,用于对其他节点进行节点发现并获取其他节点的子系统NVMe限定名。
在第一种实施方式中,所述节点发现模块,具体用于基于NVMF协议对其他节点进行节点发现,并获取其他节点返回的子系统NVMe限定名。在一些实施例中,节点发现模块,用于通过connect fabric指令通知预设roce驱动建立RDMA管理队列,然后与其他节点中的发现控制器创建NVMe管理队列,通过fabric/admin指令配置发现控制器,获取发现日志页;其中,所述发现日志页包括发现到的其他节点的子系统NVMe限定名。在另一些实施例中,节点发现模块,用于通过connect fabric指令与所述其他节点建立TCP连接,通过所述TCP连接获取所述其他节点返回的子系统NVMe限定名。
在第二种实施方式中,所述节点发现模块,具体用于获取配置信息,其中,所述配置信息包括其他节点的IP地址和子系统NVMe限定名。
在第三种实施方式中,所述节点发现模块,具体用于通过链路层发现协议将本节点的IP地址以、端口以及子系统NVMe限定名发布给其他节点,并获取其他节点返回的其他节点的子系统NVMe限定名。
在第四种实施方式中,所述节点发现模块,具体用于基于mDNS协议对其他节点进行节点发现并获取其他节点的子系统NVMe限定名。
在一些实施例中,通信连接建立模块11,具体用于通过connect fabric指令通知预设roce驱动建立RDMA管理队列,然后与其他节点中的预设控制器创建NVMe管理队列,通过鉴权指令完成鉴权操作,通过fabric/admin指令配置预设控制器;通过connect fabric指令通知预设roce驱动建立多个RDMA IO队列,然后与预设控制器创建多个NVMe IO队列,通过鉴权指令完成鉴权操作。
在另一些实施例中,通信连接建立模块11,具体用于通过connect fabric指令与所述其他节点建立TCP连接,然后与其他节点中的预设控制器创建NVMe管理队列,通过鉴权指令完成鉴权操作,通过fabric/admin指令配置预设控制器;与预设控制器创建多个NVMeIO队列,通过鉴权指令成鉴权操作。
进一步的,所述装置还包括:
身份识别模块,用于通过NVME指令查询所述其他节点的节点信息;基于所述节点信息识别所述其他节点的身份;
配置模块,用于基于所述不同的身份进行不同的业务配置。
并且,配置模块,具体用于若为存储节点,则根据不同身份进行集群业务的不同配置。
进一步的,本申请实施例公开了一种NVMF存储节点,应用于具有多节点的NVMF存储集群,包括:
通信连接建立模块,用于基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接,并在建立所述第一通信连接的过程中创建多个NVMe IO队列;其中,每个节点均存在预设子系统,并存在该节点唯一对应的子系统NVMe限定名;
连接信息绑定模块,用于基于所述第一通信连接和第二通信连接将自身的子系统NVMe限定名、本地端口以及所述其他节点的端口、子系统NVMe限定名绑定,得到连接信息对;其中,所述第二通信连接为所述其他节点基于NVMF协议发起并与该任意节点建立的通信连接;
集群业务传输模块,用于基于所述连接信息对进行集群业务传输。
参见图5所示,本申请实施例公开了一种电子设备20,包括处理器21和存储器22;其中,所述存储器22,用于保存计算机程序;所述处理器21,用于执行所述计算机程序,以实现以下步骤:
基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接,并在建立所述第一通信连接的过程中创建多个NVMe IO队列;其中,每个节点均存在预设子系统,并存在与该节点唯一对应的子系统NVMe限定名;基于所述第一通信连接和第二通信连接将自身的子系统NVMe限定名、本地端口以及所述其他节点的端口、子系统NVMe限定名绑定,得到连接信息对;其中,所述第二通信连接为所述其他节点基于NVMF协议发起并与该任意节点建立的通信连接;基于所述连接信息对进行集群业务传输。
可见,本申请实施例基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接,并在建立所述第一通信连接的过程中创建多个NVMeIO队列;其中,每个节点均存在预设子系统,并存在与该节点唯一对应的子系统NVMe限定名,并基于所述第一通信连接和第二通信连接将自身的子系统NVMe限定名、本地端口以及所述其他节点的端口、子系统NVMe限定名绑定,得到连接信息对;其中,所述第二通信连接为所述其他节点基于NVMF协议发起并与该任意节点建立的通信连接,之后基于所述连接信息对进行集群业务传输。也即,本申请实施例中每个节点均存在用于节点互联的预设子系统,并存在唯一的子系统NVMe限定名,任意节点基于NVMF协议以及其他节点的子系统NVMe限定名与其他节点中预设子系统建立第一通信连接,并将两个方向相反的连接信息绑定到一起作为连接信息对,实现集群互联业务流的双向传输,能够利用NVMe多队列,从而提升存储集群节点互联的性能,并且适配于roce传输协议以及TCP传输协议,能够利用RDMA特性及传输网络的高带宽提升性能,同时基于TCP协议可以提升拓扑部署的距离和灵活性。
本实施例中,所述处理器21执行所述存储器22中保存的计算机子程序时,可以具体实现以下步骤:在所述基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接之前,对其他节点进行节点发现并获取其他节点的子系统NVMe限定名。
本实施例中,所述处理器21执行所述存储器22中保存的计算机子程序时,可以具体实现以下步骤:基于NVMF协议对其他节点进行节点发现,并获取其他节点返回的子系统NVMe限定名。
本实施例中,所述处理器21执行所述存储器22中保存的计算机子程序时,可以具体实现以下步骤:通过connect fabric指令通知预设roce驱动建立RDMA管理队列,然后与其他节点中的发现控制器创建NVMe管理队列,通过fabric/admin指令配置发现控制器,获取发现日志页;其中,所述发现日志页包括发现到的其他节点的子系统NVMe限定名。
本实施例中,所述处理器21执行所述存储器22中保存的计算机子程序时,可以具体实现以下步骤:通过connect fabric指令通知预设roce驱动建立RDMA管理队列,然后与其他节点中的预设控制器创建NVMe管理队列,通过鉴权指令完成鉴权操作,通过fabric/admin指令配置预设控制器;通过connect fabric指令通知预设roce驱动建立多个RDMA IO队列,然后与预设控制器创建多个NVMe IO队列,通过鉴权指令完成鉴权操作。
本实施例中,所述处理器21执行所述存储器22中保存的计算机子程序时,可以具体实现以下步骤:通过connect fabric指令与所述其他节点建立TCP连接,通过所述TCP连接获取所述其他节点返回的子系统NVMe限定名。
本实施例中,所述处理器21执行所述存储器22中保存的计算机子程序时,可以具体实现以下步骤:通过connect fabric指令与所述其他节点建立TCP连接,然后与其他节点中的预设控制器创建NVMe管理队列,通过鉴权指令完成鉴权操作,通过fabric/admin指令配置预设控制器;与预设控制器创建多个NVMe IO队列,通过鉴权指令成鉴权操作。
本实施例中,所述处理器21执行所述存储器22中保存的计算机子程序时,可以具体实现以下步骤:获取配置信息,其中,所述配置信息包括其他节点的IP地址和子系统NVMe限定名。
本实施例中,所述处理器21执行所述存储器22中保存的计算机子程序时,可以具体实现以下步骤:通过链路层发现协议将本节点的IP地址以、端口以及子系统NVMe限定名发布给其他节点,并获取其他节点返回的其他节点的子系统NVMe限定名。
本实施例中,所述处理器21执行所述存储器22中保存的计算机子程序时,可以具体实现以下步骤:基于mDNS协议对其他节点进行节点发现并获取其他节点的子系统NVMe限定名。
本实施例中,所述处理器21执行所述存储器22中保存的计算机子程序时,可以具体实现以下步骤:通过NVME指令查询所述其他节点的节点信息;基于所述节点信息识别所述其他节点的身份,基于所述不同的身份进行不同的业务配置。
本实施例中,所述处理器21执行所述存储器22中保存的计算机子程序时,可以具体实现以下步骤:若为存储节点,则根据不同身份进行集群业务的不同配置。
并且,所述存储器22作为资源存储的载体,可以是只读存储器、随机存储器、磁盘或者光盘等,存储方式可以是短暂存储或者永久存储。
另外,所述电子设备20还包括电源23、通信接口24、输入输出接口25和通信总线26;其中,所述电源23用于为所述电子设备20上的各硬件设备提供工作电压;所述通信接口24能够为所述电子设备20创建与外界设备之间的数据传输通道,其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议,在此不对其进行具体限定;所述输入输出接口25,用于获取外界输入数据或向外界输出数据,其具体的接口类型可以根据具体应用需要进行选取,在此不进行具体限定。
进一步的,本申请实施例公开了一种计算机可读存储介质,用于保存计算机程序,其中,所述计算机程序被处理器执行时实现以下步骤:
基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接,并在建立所述第一通信连接的过程中创建多个NVMe IO队列;其中,每个节点均存在预设子系统,并存在与该节点唯一对应的子系统NVMe限定名;基于所述第一通信连接和第二通信连接将自身的子系统NVMe限定名、本地端口以及所述其他节点的端口、子系统NVMe限定名绑定,得到连接信息对;其中,所述第二通信连接为所述其他节点基于NVMF协议发起并与该任意节点建立的通信连接;基于所述连接信息对进行集群业务传输。
可见,本申请实施例基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接,并在建立所述第一通信连接的过程中创建多个NVMeIO队列;其中,每个节点均存在预设子系统,并存在与该节点唯一对应的子系统NVMe限定名,并基于所述第一通信连接和第二通信连接将自身的子系统NVMe限定名、本地端口以及所述其他节点的端口、子系统NVMe限定名绑定,得到连接信息对;其中,所述第二通信连接为所述其他节点基于NVMF协议发起并与该任意节点建立的通信连接,之后基于所述连接信息对进行集群业务传输。也即,本申请实施例中每个节点均存在用于节点互联的预设子系统,并存在唯一的子系统NVMe限定名,任意节点基于NVMF协议以及其他节点的子系统NVMe限定名与其他节点中预设子系统建立第一通信连接,并将两个方向相反的连接信息绑定到一起作为连接信息对,实现集群互联业务流的双向传输,能够利用NVMe多队列,从而提升存储集群节点互联的性能,并且适配于roce传输协议以及TCP传输协议,能够利用RDMA特性及传输网络的高带宽提升性能,同时基于TCP协议可以提升拓扑部署的距离和灵活性。
本实施例中,所述计算机可读存储介质中保存的计算机子程序被处理器执行时,可以具体实现以下步骤:在所述基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接之前,对其他节点进行节点发现并获取其他节点的子系统NVMe限定名。
本实施例中,所述计算机可读存储介质中保存的计算机子程序被处理器执行时,可以具体实现以下步骤:基于NVMF协议对其他节点进行节点发现,并获取其他节点返回的子系统NVMe限定名。
本实施例中,所述计算机可读存储介质中保存的计算机子程序被处理器执行时,可以具体实现以下步骤:通过connect fabric指令通知预设roce驱动建立RDMA管理队列,然后与其他节点中的发现控制器创建NVMe管理队列,通过fabric/admin指令配置发现控制器,获取发现日志页;其中,所述发现日志页包括发现到的其他节点的子系统NVMe限定名。
本实施例中,所述计算机可读存储介质中保存的计算机子程序被处理器执行时,可以具体实现以下步骤:通过connect fabric指令通知预设roce驱动建立RDMA管理队列,然后与其他节点中的预设控制器创建NVMe管理队列,通过鉴权指令完成鉴权操作,通过fabric/admin指令配置预设控制器;通过connect fabric指令通知预设roce驱动建立多个RDMA IO队列,然后与预设控制器创建多个NVMe IO队列,通过鉴权指令完成鉴权操作。
本实施例中,所述计算机可读存储介质中保存的计算机子程序被处理器执行时,可以具体实现以下步骤:通过connect fabric指令与所述其他节点建立TCP连接,通过所述TCP连接获取所述其他节点返回的子系统NVMe限定名。
本实施例中,所述计算机可读存储介质中保存的计算机子程序被处理器执行时,可以具体实现以下步骤:通过connect fabric指令与所述其他节点建立TCP连接,然后与其他节点中的预设控制器创建NVMe管理队列,通过鉴权指令完成鉴权操作,通过fabric/admin指令配置预设控制器;与预设控制器创建多个NVMe IO队列,通过鉴权指令成鉴权操作。
本实施例中,所述计算机可读存储介质中保存的计算机子程序被处理器执行时,可以具体实现以下步骤:获取配置信息,其中,所述配置信息包括其他节点的IP地址和子系统NVMe限定名。
本实施例中,所述计算机可读存储介质中保存的计算机子程序被处理器执行时,可以具体实现以下步骤:通过链路层发现协议将本节点的IP地址以、端口以及子系统NVMe限定名发布给其他节点,并获取其他节点返回的其他节点的子系统NVMe限定名。
本实施例中,所述计算机可读存储介质中保存的计算机子程序被处理器执行时,可以具体实现以下步骤:基于mDNS协议对其他节点进行节点发现并获取其他节点的子系统NVMe限定名。
本实施例中,所述计算机可读存储介质中保存的计算机子程序被处理器执行时,可以具体实现以下步骤:通过NVME指令查询所述其他节点的节点信息;基于所述节点信息识别所述其他节点的身份,基于所述不同的身份进行不同的业务配置。
本实施例中,所述计算机可读存储介质中保存的计算机子程序被处理器执行时,可以具体实现以下步骤:若为存储节点,则根据不同身份进行集群业务的不同配置。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的一种NVMF存储集群节点互联方法、装置、设备及介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (15)
1.一种NVMF存储集群节点互联方法,其特征在于,应用于存储集群中任意节点,包括:
基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接,并在建立所述第一通信连接的过程中创建多个NVMe IO队列;其中,每个节点均存在预设子系统,并存在与该节点唯一对应的子系统NVMe限定名;
基于所述第一通信连接和第二通信连接将自身的子系统NVMe限定名、本地端口以及所述其他节点的端口、子系统NVMe限定名绑定,得到连接信息对;其中,所述第二通信连接为所述其他节点基于NVMF协议发起并与该任意节点建立的通信连接;
基于所述连接信息对进行集群业务传输;
其中,所述基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接,包括:
通过connect fabric指令通知预设roce驱动建立RDMA管理队列,然后与其他节点中的预设控制器创建NVMe管理队列,通过鉴权指令完成鉴权操作,通过fabric/admin指令配置预设控制器;通过connect fabric指令通知预设roce驱动建立多个RDMA IO队列,然后与预设控制器创建多个NVMe IO队列,通过鉴权指令完成鉴权操作。
2.根据权利要求1所述的NVMF存储集群节点互联方法,其特征在于,所述基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接之前,还包括:
对其他节点进行节点发现并获取其他节点的子系统NVMe限定名。
3.根据权利要求2所述的NVMF存储集群节点互联方法,其特征在于,所述对其他节点进行节点发现并获取其他节点的子系统NVMe限定名,包括:
基于NVMF协议对其他节点进行节点发现,并获取其他节点返回的子系统NVMe限定名。
4.根据权利要求3所述的NVMF存储集群节点互联方法,其特征在于,所述基于NVMF协议对其他节点进行节点发现,并获取其他节点返回的子系统NVMe限定名,包括:
通过connect fabric指令通知预设roce驱动建立RDMA管理队列,然后与其他节点中的发现控制器创建NVMe管理队列,通过fabric/admin指令配置发现控制器,获取发现日志页;其中,所述发现日志页包括发现到的其他节点的子系统NVMe限定名。
5.根据权利要求3所述的NVMF存储集群节点互联方法,其特征在于,所述基于NVMF协议对其他节点进行节点发现,并获取其他节点返回的子系统NVMe限定名,包括:
通过connect fabric指令与所述其他节点建立TCP连接,通过所述TCP连接获取所述其他节点返回的子系统NVMe限定名。
6.根据权利要求5所述的NVMF存储集群节点互联方法,其特征在于,所述基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接,包括:
通过connect fabric指令与所述其他节点建立TCP连接,然后与其他节点中的预设控制器创建NVMe管理队列,通过鉴权指令完成鉴权操作,通过fabric/admin指令配置预设控制器;与预设控制器创建多个NVMe IO队列,通过鉴权指令成鉴权操作。
7.根据权利要求2所述的NVMF存储集群节点互联方法,其特征在于,所述对其他节点进行节点发现并获取其他节点的子系统NVMe限定名,包括:
获取配置信息,其中,所述配置信息包括其他节点的IP地址和子系统NVMe限定名。
8.根据权利要求2所述的NVMF存储集群节点互联方法,其特征在于,所述对其他节点进行节点发现并获取其他节点的子系统NVMe限定名,包括:
通过链路层发现协议将本节点的IP地址、端口以及子系统NVMe限定名发布给其他节点,并获取其他节点返回的其他节点的子系统NVMe限定名。
9.根据权利要求2所述的NVMF存储集群节点互联方法,其特征在于,所述对其他节点进行节点发现并获取其他节点的子系统NVMe限定名,包括:
基于mDNS协议对其他节点进行节点发现并获取其他节点的子系统NVMe限定名。
10.根据权利要求1至9任一项所述的NVMF存储集群节点互联方法,其特征在于,所述基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接之后,还包括:
通过NVME指令查询所述其他节点的节点信息;
基于所述节点信息识别所述其他节点的身份,基于不同的身份进行不同的业务配置。
11.根据权利要求10所述的NVMF存储集群节点互联方法,其特征在于,所述基于所述不同的身份进行不同的业务配置,包括:
若为存储节点,则根据不同身份进行集群业务的不同配置。
12.一种NVMF存储集群节点互联装置,其特征在于,应用于存储集群中任意节点,包括:
通信连接建立模块,用于基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接,并在建立所述第一通信连接的过程中创建多个NVMeIO队列;其中,每个节点均存在预设子系统,并存在该节点唯一对应的子系统NVMe限定名;
连接信息绑定模块,用于基于所述第一通信连接和第二通信连接将自身的子系统NVMe限定名、本地端口以及所述其他节点的端口、子系统NVMe限定名绑定,得到连接信息对;其中,所述第二通信连接为所述其他节点基于NVMF协议发起并与该任意节点建立的通信连接;
集群业务传输模块,用于基于所述连接信息对进行集群业务传输;
其中,通信连接建立模块,具体用于通过connect fabric指令通知预设roce驱动建立RDMA管理队列,然后与其他节点中的预设控制器创建NVMe管理队列,通过鉴权指令完成鉴权操作,通过fabric/admin指令配置预设控制器;通过connect fabric指令通知预设roce驱动建立多个RDMA IO队列,然后与预设控制器创建多个NVMe IO队列,通过鉴权指令完成鉴权操作。
13.一种NVMF存储节点,其特征在于,应用于具有多节点的NVMF存储集群,包括:
通信连接建立模块,用于基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接,并在建立所述第一通信连接的过程中创建多个NVMeIO队列;其中,每个节点均存在预设子系统,并存在该节点唯一对应的子系统NVMe限定名;
连接信息绑定模块,用于基于所述第一通信连接和第二通信连接将自身的子系统NVMe限定名、本地端口以及所述其他节点的端口、子系统NVMe限定名绑定,得到连接信息对;其中,所述第二通信连接为所述其他节点基于NVMF协议发起并与本节点建立的通信连接;
集群业务传输模块,用于基于所述连接信息对进行集群业务传输;
其中,通信连接建立模块,具体用于通过connect fabric指令通知预设roce驱动建立RDMA管理队列,然后与其他节点中的预设控制器创建NVMe管理队列,通过鉴权指令完成鉴权操作,通过fabric/admin指令配置预设控制器;通过connect fabric指令通知预设roce驱动建立多个RDMA IO队列,然后与预设控制器创建多个NVMe IO队列,通过鉴权指令完成鉴权操作。
14.一种电子设备,其特征在于,包括存储器和处理器,其中:
所述存储器,用于保存计算机程序;
所述处理器,用于执行所述计算机程序,以实现如权利要求1至11任一项所述的NVMF存储集群节点互联方法。
15.一种计算机可读存储介质,其特征在于,用于保存计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1至11任一项所述的NVMF存储集群节点互联方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211487379.4A CN115550377B (zh) | 2022-11-25 | 2022-11-25 | 一种nvmf存储集群节点互联方法、装置、设备及介质 |
PCT/CN2023/116232 WO2024109240A1 (zh) | 2022-11-25 | 2023-08-31 | 一种nvmf存储集群节点互联方法、装置、设备及非易失性可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211487379.4A CN115550377B (zh) | 2022-11-25 | 2022-11-25 | 一种nvmf存储集群节点互联方法、装置、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115550377A CN115550377A (zh) | 2022-12-30 |
CN115550377B true CN115550377B (zh) | 2023-03-07 |
Family
ID=84719985
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211487379.4A Active CN115550377B (zh) | 2022-11-25 | 2022-11-25 | 一种nvmf存储集群节点互联方法、装置、设备及介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN115550377B (zh) |
WO (1) | WO2024109240A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115550377B (zh) * | 2022-11-25 | 2023-03-07 | 苏州浪潮智能科技有限公司 | 一种nvmf存储集群节点互联方法、装置、设备及介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102232218A (zh) * | 2011-06-24 | 2011-11-02 | 华为技术有限公司 | 计算机子系统和计算机系统 |
CN105912275A (zh) * | 2016-04-27 | 2016-08-31 | 华为技术有限公司 | 在非易失性存储系统中建立连接的方法和装置 |
CN112130748A (zh) * | 2019-06-24 | 2020-12-25 | 华为技术有限公司 | 一种数据访问方法、网卡及服务器 |
CN114930283A (zh) * | 2020-12-11 | 2022-08-19 | 西部数据技术公司 | 利用可编程网络接口进行分组处理 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10275160B2 (en) * | 2015-12-21 | 2019-04-30 | Intel Corporation | Method and apparatus to enable individual non volatile memory express (NVME) input/output (IO) Queues on differing network addresses of an NVME controller |
CN111722786B (zh) * | 2019-03-21 | 2024-07-16 | 阿里巴巴集团控股有限公司 | 基于NVMe设备的存储系统 |
US11113001B2 (en) * | 2019-08-30 | 2021-09-07 | Hewlett Packard Enterprise Development Lp | Fabric driven non-volatile memory express subsystem zoning |
CN111459417B (zh) * | 2020-04-26 | 2023-08-18 | 中国人民解放军国防科技大学 | 一种面向NVMeoF存储网络的无锁传输方法及系统 |
CN113014662A (zh) * | 2021-03-11 | 2021-06-22 | 联想(北京)有限公司 | 数据处理方法及基于NVMe-oF协议的存储系统 |
CN113407307A (zh) * | 2021-06-11 | 2021-09-17 | 苏州浪潮智能科技有限公司 | 一种端口扩展方法、装置、设备及计算机可读存储介质 |
CN113872955A (zh) * | 2021-09-23 | 2021-12-31 | 苏州浪潮智能科技有限公司 | 一种网络连接的方法、装置、计算机设备和存储介质 |
CN115550377B (zh) * | 2022-11-25 | 2023-03-07 | 苏州浪潮智能科技有限公司 | 一种nvmf存储集群节点互联方法、装置、设备及介质 |
-
2022
- 2022-11-25 CN CN202211487379.4A patent/CN115550377B/zh active Active
-
2023
- 2023-08-31 WO PCT/CN2023/116232 patent/WO2024109240A1/zh unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102232218A (zh) * | 2011-06-24 | 2011-11-02 | 华为技术有限公司 | 计算机子系统和计算机系统 |
CN105912275A (zh) * | 2016-04-27 | 2016-08-31 | 华为技术有限公司 | 在非易失性存储系统中建立连接的方法和装置 |
CN112130748A (zh) * | 2019-06-24 | 2020-12-25 | 华为技术有限公司 | 一种数据访问方法、网卡及服务器 |
CN114930283A (zh) * | 2020-12-11 | 2022-08-19 | 西部数据技术公司 | 利用可编程网络接口进行分组处理 |
Non-Patent Citations (1)
Title |
---|
"NVMeoF网络存储协议卸载技术研究";朱佳平;《中国优秀硕士学位论文全文数据库 信息科技辑》;20210115;第一章-第三章 * |
Also Published As
Publication number | Publication date |
---|---|
WO2024109240A1 (zh) | 2024-05-30 |
CN115550377A (zh) | 2022-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2597842B1 (en) | Providing network capability over a converged interconnect fabric | |
US11575592B2 (en) | Message processing method and apparatus, control-plane device, and computer storage medium | |
US9007945B2 (en) | Automated network service discovery and communication | |
CN112291079B (zh) | 一种网络业务配置方法及网络管理设备 | |
CN104394080A (zh) | 实现安全组功能的方法及装置 | |
CN115550377B (zh) | 一种nvmf存储集群节点互联方法、装置、设备及介质 | |
CN102594886B (zh) | 浏览器与浏览器直通的方法、装置和通信系统 | |
CN111464622A (zh) | 分布式存储系统中的卷映射处理方法及装置 | |
CN111338758A (zh) | 资源管理方法、装置和电子设备 | |
CN115150327A (zh) | 一种接口设置方法、装置、设备及介质 | |
KR20220006605A (ko) | 클라우드 통신 방법 및 장치, 사용자 기기, 네트워크 기기 | |
CN109120556B (zh) | 一种云主机访问对象存储服务器的方法及系统 | |
WO2023221708A1 (zh) | Pdn拨号及配置方法、系统、装置、设备及存储介质 | |
CN111416732B (zh) | 一种sdn中网络设备扩容自动配置业务的方法及装置 | |
WO2022007140A1 (zh) | 用户设备路由选择方法及相关产品 | |
CN113783971A (zh) | 地址管理方法、网络设备及存储介质 | |
CN112559472A (zh) | 一种文件传输方法、装置、计算机设备及存储介质 | |
CN113411802A (zh) | 拨号报文处理方法、网元、系统及网络设备 | |
CN109768905A (zh) | 一种PPPoE报文传输的方法、系统、设备及存储介质 | |
WO2023065218A1 (zh) | 一种映射关系生成方法、装置和存储介质 | |
US11863520B2 (en) | Data access methods and systems | |
CN111107663B (zh) | 数据的传输方法及装置、存储介质、电子装置 | |
US20240259233A1 (en) | Slim ethernet communication over infiniband | |
WO2022116191A1 (zh) | 连接建立方法、装置、设备及存储介质 | |
US20240259298A1 (en) | Link aggregation in infiniband networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |