CN115550377A - 一种nvmf存储集群节点互联方法、装置、设备及介质 - Google Patents

一种nvmf存储集群节点互联方法、装置、设备及介质 Download PDF

Info

Publication number
CN115550377A
CN115550377A CN202211487379.4A CN202211487379A CN115550377A CN 115550377 A CN115550377 A CN 115550377A CN 202211487379 A CN202211487379 A CN 202211487379A CN 115550377 A CN115550377 A CN 115550377A
Authority
CN
China
Prior art keywords
nodes
nvme
node
subsystem
nvmf
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211487379.4A
Other languages
English (en)
Other versions
CN115550377B (zh
Inventor
苑忠科
张凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202211487379.4A priority Critical patent/CN115550377B/zh
Publication of CN115550377A publication Critical patent/CN115550377A/zh
Application granted granted Critical
Publication of CN115550377B publication Critical patent/CN115550377B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • H04L67/1078—Resource delivery mechanisms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/08—Protocols for interworking; Protocol conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/163—In-band adaptation of TCP data exchange; In-band control procedures
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks

Abstract

本申请公开了一种NVMF存储集群节点互联方法、装置、设备及介质，应用于存储集群通信技术领域，包括：基于NVMF协议以及其他节点的子系统NVMe限定名与其他节点中预设子系统建立第一通信连接，并在建立第一通信连接的过程中创建多个NVMe IO队列；每个节点均存在预设子系统，并存在与该节点唯一对应的子系统NVMe限定名；基于第一通信连接和第二通信连接将自身的子系统NVMe限定名、本地端口以及其他节点的端口、子系统NVMe限定名绑定，得到连接信息对；其中，第二通信连接为其他节点基于NVMF协议发起并与该任意节点建立的通信连接；基于连接信息对进行集群业务传输。能够提升存储集群节点互联的性能以及灵活性。

Description

一种NVMF存储集群节点互联方法、装置、设备及介质
技术领域
本申请涉及存储集群通信技术领域，特别涉及一种NVMF存储集群节点互联方法、装置、设备及介质。
背景技术
目前，存储集群的节点通常使用fc或pcie（即peripheral componentinterconnect express，高速串行计算机扩展总线标准）链路互联，fc互联方案因SCSI（即Small Computer System Interface，小型计算机系统接口）单队列和带宽限制存在性能瓶颈，而pcie互联方式存在线缆长度和拓扑灵活性的局限性。因此，如何提升存储集群节点互联的性能以及灵活性是目前亟待解决的问题。
发明内容
有鉴于此，本申请的目的在于提供一种NVMF存储集群节点互联方法、装置、设备及介质，能够提升存储集群节点互联的性能以及灵活性。其具体方案如下：
第一方面，本申请公开了一种NVMF存储集群节点互联方法，应用于存储集群中任意节点，包括：
基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接，并在建立所述第一通信连接的过程中创建多个NVMe IO队列；其中，每个节点均存在预设子系统，并存在与该节点唯一对应的子系统NVMe限定名；
基于所述第一通信连接和第二通信连接将自身的子系统NVMe限定名、本地端口以及所述其他节点的端口、子系统NVMe限定名绑定，得到连接信息对；其中，所述第二通信连接为所述其他节点基于NVMF协议发起并与该任意节点建立的通信连接；
基于所述连接信息对进行集群业务传输。
可选的，所述基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接之前，还包括：
对其他节点进行节点发现并获取其他节点的子系统NVMe限定名。
可选的，所述对其他节点进行节点发现并获取其他节点的子系统NVMe限定名，包括：
基于NVMF协议对其他节点进行节点发现，并获取其他节点返回的子系统NVMe限定名。
可选的，所述基于NVMF协议对其他节点进行节点发现，并获取其他节点返回的子系统NVMe限定名，包括：
通过connect fabric指令通知预设roce驱动建立RDMA管理队列，然后与其他节点中的发现控制器创建NVMe管理队列，通过fabric/admin指令配置发现控制器，获取发现日志页；其中，所述发现日志页包括发现到的其他节点的子系统NVMe限定名。
可选的，所述基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接，包括：
通过connect fabric指令通知预设roce驱动建立RDMA管理队列，然后与其他节点中的预设控制器创建NVMe管理队列，通过鉴权指令完成鉴权操作，通过fabric/admin指令配置预设控制器；通过connect fabric指令通知预设roce驱动建立RDMA IO队列，然后与预设控制器创建NVMe IO队列，通过鉴权指令完成鉴权操作。
可选的，所述基于NVMF协议对其他节点进行节点发现，并获取其他节点返回的子系统NVMe限定名，包括：
通过connect fabric指令与所述其他节点建立TCP连接，通过所述TCP连接获取所述其他节点返回的子系统NVMe限定名。
可选的，所述基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接，包括：
通过connect fabric指令与所述其他节点建立TCP连接，然后与其他节点中的预设控制器创建NVMe管理队列，通过鉴权指令完成鉴权操作，通过fabric/admin指令配置预设控制器；与预设控制器创建NVMe IO队列，通过鉴权指令成鉴权操作。
可选的，所述对其他节点进行节点发现并获取其他节点的子系统NVMe限定名，包括：
获取配置信息，其中，所述配置信息包括其他节点的IP地址和子系统NVMe限定名。
可选的，所述对其他节点进行节点发现并获取其他节点的子系统NVMe限定名，包括：
通过链路层发现协议将本节点的IP地址以、端口以及子系统NVMe限定名发布给其他节点，并获取其他节点返回的其他节点的子系统NVMe限定名。
可选的，所述对其他节点进行节点发现并获取其他节点的子系统NVMe限定名，包括：
基于mDNS协议对其他节点进行节点发现并获取其他节点的子系统NVMe限定名。
可选的，所述基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接之后，还包括：
通过NVME指令查询所述其他节点的节点信息；
基于所述节点信息识别所述其他节点的身份，基于所述不同的身份进行不同的业务配置。
可选的，所述基于所述不同的身份进行不同的业务配置，包括：
若为存储节点，则根据不同身份进行集群业务的不同配置。
第二方面，本申请公开了一种NVMF存储集群节点互联装置，应用于存储集群中任意节点，包括：
通信连接建立模块，用于基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接，并在建立所述第一通信连接的过程中创建多个NVMe IO队列；其中，每个节点均存在预设子系统，并存在该节点唯一对应的子系统NVMe限定名；
连接信息绑定模块，用于基于所述第一通信连接和第二通信连接将自身的子系统NVMe限定名、本地端口以及所述其他节点的端口、子系统NVMe限定名绑定，得到连接信息对；其中，所述第二通信连接为所述其他节点基于NVMF协议发起并与该任意节点建立的通信连接；
集群业务传输模块，用于基于所述连接信息对进行集群业务传输。
第三方面，本申请公开了一种NVMF存储节点，应用于具有多节点的NVMF存储集群，包括：
通信连接建立模块，用于基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接，并在建立所述第一通信连接的过程中创建多个NVMe IO队列；其中，每个节点均存在预设子系统，并存在该节点唯一对应的子系统NVMe限定名；
连接信息绑定模块，用于基于所述第一通信连接和第二通信连接将自身的子系统NVMe限定名、本地端口以及所述其他节点的端口、子系统NVMe限定名绑定，得到连接信息对；其中，所述第二通信连接为所述其他节点基于NVMF协议发起并与该任意节点建立的通信连接；
集群业务传输模块，用于基于所述连接信息对进行集群业务传输。
第四方面，本申请公开了一种电子设备，包括存储器和处理器，其中：
所述存储器，用于保存计算机程序；
所述处理器，用于执行所述计算机程序，以实现前述的NVMF存储集群节点互联方法。
第五方面，本申请公开了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述的NVMF存储集群节点互联方法。
可见，本申请基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接，并在建立所述第一通信连接的过程中创建多个NVMe IO队列；其中，每个节点均存在预设子系统，并存在与该节点唯一对应的子系统NVMe限定名，并基于所述第一通信连接和第二通信连接将自身的子系统NVMe限定名、本地端口以及所述其他节点的端口、子系统NVMe限定名绑定，得到连接信息对；其中，所述第二通信连接为所述其他节点基于NVMF协议发起并与该任意节点建立的通信连接，之后基于所述连接信息对进行集群业务传输。也即，本申请中每个节点均存在用于节点互联的预设子系统，并存在唯一的子系统NVMe限定名，任意节点基于NVMF协议以及其他节点的子系统NVMe限定名与其他节点中预设子系统建立第一通信连接，并将两个方向相反的连接信息绑定到一起作为连接信息对，实现集群互联业务流的双向传输，能够利用NVMe多队列，从而提升存储集群节点互联的性能，并且适配于roce传输协议以及TCP传输协议，能够利用RDMA特性及传输网络的高带宽提升性能，同时基于TCP协议可以提升拓扑部署的距离和灵活性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例公开的一种存储管理软件与存储系统的适配方法流程图；
图2为本申请实施例公开的一种具体的NVMF存储集群节点互联示意图；
图3为本申请实施例公开的一种具体的节点发现以及连接过程示意图；
图4为本申请实施例公开的一种NVMF存储集群节点互联装置结构示意图；
图5为本申请实施例公开的一种电子设备原理结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
目前，存储集群的节点通常使用fc或pcie链路互联，fc互联方案因SCSI单队列和带宽限制存在性能瓶颈，而pcie互联方式存在线缆长度和拓扑灵活性的局限性。因此，如何提升存储集群节点互联的性能以及灵活性是目前亟待解决的问题。为此，本申请提供了一种NVMF（即nvme over fabric，NVMe（即Non-Volatile Memory express，非易失性内存主机控制器接口规范）标准组织提出的将NVMe应用到各种fabric网络的协议标准，定义了使用各种通用的传输层协议来实现NVMe功能的方式）存储集群节点互联方案，能够提升存储集群节点互联的性能以及灵活性。
参见图1所示，本申请实施例公开了一种NVMF存储集群节点互联方法，应用于存储集群中任意节点，包括：
步骤S11：基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接，并在建立所述第一通信连接的过程中创建多个NVMe IO队列；其中，每个节点均存在预设子系统，并存在与该节点唯一对应的子系统NVMe限定名。
其中，在所述基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接之前，本申请实施例可以对其他节点进行节点发现并获取其他节点的子系统NVMe限定名。
在第一种实施方式中，可以基于NVMF协议对其他节点进行节点发现，并获取其他节点返回的子系统NVMe限定名。
若第一通信连接采用的传输协议为roce协议，可以通过connect fabric指令通知预设roce驱动建立RDMA（即Remote Direct Memory Access，远程直接数据存取）管理队列，然后与其他节点中的发现控制器创建NVMe管理队列，通过fabric/admin指令配置发现控制器，获取发现日志页；其中，所述发现日志页包括发现到的其他节点的子系统NVMe限定名。
若第一通信连接采用的传输协议为TCP协议，可以通过connect fabric指令与所述其他节点建立TCP连接，通过所述TCP连接获取所述其他节点返回的子系统NVMe限定名。
在第二种实施方式中，可以获取配置信息，其中，所述配置信息包括其他节点的IP地址和子系统NVMe限定名。也即，通过配置信息指定目标节点。
在第三种实施方式中，可以通过链路层发现协议将本节点的IP地址以、端口以及子系统NVMe限定名发布给其他节点，并获取其他节点返回的其他节点的子系统NVMe限定名。
在第四种实施方式中，可以基于mDNS协议对其他节点进行节点发现并获取其他节点的子系统NVMe限定名。
进一步的，若第一通信连接采用的传输协议为roce协议，则基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接的具体过程为：通过connect fabric指令通知预设roce驱动建立RDMA管理队列，然后与其他节点中的预设控制器创建NVMe管理队列，通过鉴权指令完成鉴权操作，通过fabric/admin指令配置预设控制器；通过connect fabric指令通知预设roce驱动建立多个RDMA IO队列，然后与预设控制器创建多个NVMe IO队列，通过鉴权指令完成鉴权操作。其中，预设roce驱动为基于roce协议创建的驱动，roce为一种基于udp实现rdma传输的协议，应用于nvme over rdma。
并且，若第一通信连接采用的传输协议为TCP协议，则基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接的具体过程为：通过connect fabric指令与所述其他节点建立TCP连接，然后与其他节点中的预设控制器创建NVMe管理队列，通过鉴权指令完成鉴权操作，通过fabric/admin指令配置预设控制器；与预设控制器创建多个NVMe IO队列，通过鉴权指令成鉴权操作。
可以理解的是，基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接，即与其他节点中预设子系统中预设控制器建立第一通信连接。
本申请中，每个节点既作为nvmf协议的发起端又作为nvmf subsystem（即预设子系统）端，每个节点使用唯一的subnqn（即子系统NVMe限定名）创建节点范围的节点互联专用的nvmf subsystem，与节点业务路径隔离避免相互影响。当连接节点时每个节点都向所有节点发起nvmf连接，即每个节点的发起端连接其他节点的目标端即subsystem、其他节点的发起端也向本节点目标端发起连接。并且实现了存储节点间通过nvme over fabric协议发现、连接的过程。发现方式支持手动配置、扩展lldp协议、mDNS及nvmf discovery方式，手动配置方式为配置各节点的ip和subnqn来指明nvmf的目标端，扩展lldp则通过链路层发现协议将ip、端口及subsystem信息发布给其他节点；nvmf discovery方式则遵循标准协议实现nvme discovery service（即nvme发现服务）并实现discovery controller（即发现控制器）的链接和交互过程。节点间发起端向目标端实现管理队列的连接、鉴权、属性的获取和配置、controller的使能，io队列的创建、鉴权过程。
进一步的，在基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接之后，本申请实施例可以通过NVME指令查询所述其他节点的节点信息；基于所述节点信息识别所述其他节点的身份，基于所述不同的身份进行不同的业务配置。并且，若为存储节点，则根据不同身份进行集群业务的不同配置。其中，身份可以包括不是存储节点、是存储节点且为本集群节点、是存储节点且为其他集群节点、是存储节点且为未加入集群节点。其中，发起端可以通过nvme标准、自定义指令获取对端厂商、产品信息，获取集群UUID（即Universally Unique Identifier，通用唯一识别码）、节点UUID、平台版本及其他业务标识信息等信息，通过以上信息完成身份的识别。如果为存储节点为其配置细分的集群业务。
在一种具体的实施方式中，可以使用NVMe identify指令查询controller信息，获取对端设备的subnqn、产品信息和型号信息初步识别是否为存储节点，如果是则继续是使用NVMe identify指令查询定制的cluster node CNS（即集群节点结构），获取对端节点的集群uuid、节点uuid、端口信息、平台信息、版本信息以及其他业务标识信息，根据内部逻辑进行识别。初步识别可能存在问题，以最终识别结果为准，最终识别的结果包括：不是存储节点、是存储节点且为本集群节点、是存储节点且为其他集群节点、是存储节点且为未加入集群节点，以上获取到的节点身份属性与nvmf的链接对象进行绑定。如果识别为不是存储节点，则将连接信息上报给平台模块做其他业务使用。如果识别为存储节点，则交由集群通信模块，根据节点的不同身份做集群业务的不同配置，并做集群节点通信的准备。
步骤S12：基于所述第一通信连接和第二通信连接将自身的子系统NVMe限定名、本地端口以及所述其他节点的端口、子系统NVMe限定名绑定，得到连接信息对；其中，所述第二通信连接为所述其他节点基于NVMF协议发起并与该任意节点建立的通信连接。
其中，第二通信连接的建立过程可以参考第一通信连接的建立过程，在此不再进行赘述。
需要指出的是，由于NVMf连接为发起端、目标端定向模式，双方节点通过本地subnqn、本地端口、对端subnqn、对端端口将两条方向相反的连接信息绑定到一起识别为“集群互联连接对”，实现集群互联业务流的双向传输。
步骤S13：基于所述连接信息对进行集群业务传输。
下面以本NVMe over rdma为例详细的阐述本申请提供的方案：参见图2所示，图2为本申请实施例公开的一种具体的NVMF存储集群节点互联示意图，包括NVMe over fabric连接过程以及存储节点识别过程。
参见图3所示，图3为本申请实施例公开的一种具体的节点发现以及连接过程示意图，NVMe over fabric连接过程：NVMF发起端实现发现功能，使用well-known nqn与RDMANVME节点设备建立连接。具体过程为：通过connect fabric指令通知roce驱动建立RDMAqueue pair(admin)（即RDMA管理队列），然后与discover controller（即发现控制器）创建NVMe admin queue pair（即NVMe管理队列），通过fabric/admin指令配置discovercontroller，获取discover log page（即发现日志页）。另外，按需决定是否建立持久连接。NVMF发起端使用发现的nqn（即subnqn）与RDMA NVMe节点设备建立连接。具体过程为：connect fabric指令通知roce驱动建立RDMA queue pair(admin)，然后与预设controller（即预设控制器，图3中的NVMe控制器）创建NVMe admin queue pair，通过AuthenticationSend/Recive指令完成鉴权操作，通过fabric/admin指令配置预设controller；connectfabric指令通知roce驱动建立RDMA queue pairs(io)（即RDMA IO队列），然后与预设controller创建NVMe io queue pairs（即NVMe IO队列），通过Authentication Send/Receive指令完成鉴权操作。当初始化就绪后，通知节点识别模块进行节点身份识别。
存储节点识别过程，具体包括：在每个节点上，NVMf发起端完成fabric连接后，向节点识别模块上报连接信息，节点识别模块负责识别连接对象的身份信息。首先，使用NVMeidentify指令查询controller信息，获取对端设备的subnqn、产品信息和型号信息初步识别是否为存储节点，如果是则继续是使用NVMe identify指令查询定制的集群节点结构，获取对端节点的集群uuid、节点uuid、端口信息、平台信息、版本信息以及其他业务标识信息，根据内部逻辑进行识别。最终识别的结果包括：不是存储节点、是存储节点且为本集群节点、是存储节点且为其他集群节点、是存储节点且为未加入集群节点，以上获取到的节点身份属性与nvmf的链接对象进行绑定。如果识别为不是存储节点，则将连接信息上报给平台模块做其他业务使用。如果识别为存储节点，则交由集群通信模块，根据节点的不同身份做集群业务的不同配置，并做集群节点通信的准备。
在每个节点上，NVMf在本地范围创建存储节点互联的专用subsystem，当发起端向该subsystem的controller连接并查询controller和节点信息时，负责将相关信息生成并经协议交互返回给对方。当有新的nvmf连接时，包括发起端向目标端的连接和目标端接收到发起端的链接，nvmf subsystem模块根据两个信息中的local nqn（即本地子系统NVMe限定名）、自定义实现的local nvme port（本地端口）、remote nqn（对端子系统NVMe限定名）和自定义实现的remote nvme port（对端端口）确定两个连接信息为同一对相互连接的节点端口，则绑定到一起提供给节点通信用。
并且，本申请实施例的nvme over fabric节点互联的具体实现不限定特定的fabric传输协议，支持nvme over roce、nvme over tcp和nvme over fc。
可见，本申请实施例基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接，并在建立所述第一通信连接的过程中创建多个NVMeIO队列；其中，每个节点均存在预设子系统，并存在与该节点唯一对应的子系统NVMe限定名，并基于所述第一通信连接和第二通信连接将自身的子系统NVMe限定名、本地端口以及所述其他节点的端口、子系统NVMe限定名绑定，得到连接信息对；其中，所述第二通信连接为所述其他节点基于NVMF协议发起并与该任意节点建立的通信连接，之后基于所述连接信息对进行集群业务传输。也即，本申请实施例中每个节点均存在用于节点互联的预设子系统，并存在唯一的子系统NVMe限定名，任意节点基于NVMF协议以及其他节点的子系统NVMe限定名与其他节点中预设子系统建立第一通信连接，并将两个方向相反的连接信息绑定到一起作为连接信息对，实现集群互联业务流的双向传输，能够利用NVMe多队列，从而提升存储集群节点互联的性能，并且适配于roce传输协议以及TCP传输协议，能够利用RDMA特性及传输网络的高带宽提升性能，同时基于TCP协议可以提升拓扑部署的距离和灵活性。
参见图4所示，本申请实施例公开了一种NVMF存储集群节点互联装置，应用于存储集群中任意节点，包括：
通信连接建立模块11，用于基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接，并在建立所述第一通信连接的过程中创建多个NVMe IO队列；其中，每个节点均存在预设子系统，并存在该节点唯一对应的子系统NVMe限定名；
连接信息绑定模块12，用于基于所述第一通信连接和第二通信连接将自身的子系统NVMe限定名、本地端口以及所述其他节点的端口、子系统NVMe限定名绑定，得到连接信息对；其中，所述第二通信连接为所述其他节点基于NVMF协议发起并与该任意节点建立的通信连接；
集群业务传输模块13，用于基于所述连接信息对进行集群业务传输。
可见，本申请实施例基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接，并在建立所述第一通信连接的过程中创建多个NVMeIO队列；其中，每个节点均存在预设子系统，并存在与该节点唯一对应的子系统NVMe限定名，并基于所述第一通信连接和第二通信连接将自身的子系统NVMe限定名、本地端口以及所述其他节点的端口、子系统NVMe限定名绑定，得到连接信息对；其中，所述第二通信连接为所述其他节点基于NVMF协议发起并与该任意节点建立的通信连接，之后基于所述连接信息对进行集群业务传输。也即，本申请实施例中每个节点均存在用于节点互联的预设子系统，并存在唯一的子系统NVMe限定名，任意节点基于NVMF协议以及其他节点的子系统NVMe限定名与其他节点中预设子系统建立第一通信连接，并将两个方向相反的连接信息绑定到一起作为连接信息对，实现集群互联业务流的双向传输，能够利用NVMe多队列，从而提升存储集群节点互联的性能，并且适配于roce传输协议以及TCP传输协议，能够利用RDMA特性及传输网络的高带宽提升性能，同时基于TCP协议可以提升拓扑部署的距离和灵活性。
进一步的，所述装置还包括节点发现模块，用于对其他节点进行节点发现并获取其他节点的子系统NVMe限定名。
在第一种实施方式中，所述节点发现模块，具体用于基于NVMF协议对其他节点进行节点发现，并获取其他节点返回的子系统NVMe限定名。在一些实施例中，节点发现模块，用于通过connect fabric指令通知预设roce驱动建立RDMA管理队列，然后与其他节点中的发现控制器创建NVMe管理队列，通过fabric/admin指令配置发现控制器，获取发现日志页；其中，所述发现日志页包括发现到的其他节点的子系统NVMe限定名。在另一些实施例中，节点发现模块，用于通过connect fabric指令与所述其他节点建立TCP连接，通过所述TCP连接获取所述其他节点返回的子系统NVMe限定名。
在第二种实施方式中，所述节点发现模块，具体用于获取配置信息，其中，所述配置信息包括其他节点的IP地址和子系统NVMe限定名。
在第三种实施方式中，所述节点发现模块，具体用于通过链路层发现协议将本节点的IP地址以、端口以及子系统NVMe限定名发布给其他节点，并获取其他节点返回的其他节点的子系统NVMe限定名。
在第四种实施方式中，所述节点发现模块，具体用于基于mDNS协议对其他节点进行节点发现并获取其他节点的子系统NVMe限定名。
在一些实施例中，通信连接建立模块11，具体用于通过connect fabric指令通知预设roce驱动建立RDMA管理队列，然后与其他节点中的预设控制器创建NVMe管理队列，通过鉴权指令完成鉴权操作，通过fabric/admin指令配置预设控制器；通过connect fabric指令通知预设roce驱动建立多个RDMA IO队列，然后与预设控制器创建多个NVMe IO队列，通过鉴权指令完成鉴权操作。
在另一些实施例中，通信连接建立模块11，具体用于通过connect fabric指令与所述其他节点建立TCP连接，然后与其他节点中的预设控制器创建NVMe管理队列，通过鉴权指令完成鉴权操作，通过fabric/admin指令配置预设控制器；与预设控制器创建多个NVMeIO队列，通过鉴权指令成鉴权操作。
进一步的，所述装置还包括：
身份识别模块，用于通过NVME指令查询所述其他节点的节点信息；基于所述节点信息识别所述其他节点的身份；
配置模块，用于基于所述不同的身份进行不同的业务配置。
并且，配置模块，具体用于若为存储节点，则根据不同身份进行集群业务的不同配置。
进一步的，本申请实施例公开了一种NVMF存储节点，应用于具有多节点的NVMF存储集群，包括：
通信连接建立模块，用于基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接，并在建立所述第一通信连接的过程中创建多个NVMe IO队列；其中，每个节点均存在预设子系统，并存在该节点唯一对应的子系统NVMe限定名；
连接信息绑定模块，用于基于所述第一通信连接和第二通信连接将自身的子系统NVMe限定名、本地端口以及所述其他节点的端口、子系统NVMe限定名绑定，得到连接信息对；其中，所述第二通信连接为所述其他节点基于NVMF协议发起并与该任意节点建立的通信连接；
集群业务传输模块，用于基于所述连接信息对进行集群业务传输。
参见图5所示，本申请实施例公开了一种电子设备20，包括处理器21和存储器22；其中，所述存储器22，用于保存计算机程序；所述处理器21，用于执行所述计算机程序，以实现以下步骤：
基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接，并在建立所述第一通信连接的过程中创建多个NVMe IO队列；其中，每个节点均存在预设子系统，并存在与该节点唯一对应的子系统NVMe限定名；基于所述第一通信连接和第二通信连接将自身的子系统NVMe限定名、本地端口以及所述其他节点的端口、子系统NVMe限定名绑定，得到连接信息对；其中，所述第二通信连接为所述其他节点基于NVMF协议发起并与该任意节点建立的通信连接；基于所述连接信息对进行集群业务传输。
可见，本申请实施例基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接，并在建立所述第一通信连接的过程中创建多个NVMeIO队列；其中，每个节点均存在预设子系统，并存在与该节点唯一对应的子系统NVMe限定名，并基于所述第一通信连接和第二通信连接将自身的子系统NVMe限定名、本地端口以及所述其他节点的端口、子系统NVMe限定名绑定，得到连接信息对；其中，所述第二通信连接为所述其他节点基于NVMF协议发起并与该任意节点建立的通信连接，之后基于所述连接信息对进行集群业务传输。也即，本申请实施例中每个节点均存在用于节点互联的预设子系统，并存在唯一的子系统NVMe限定名，任意节点基于NVMF协议以及其他节点的子系统NVMe限定名与其他节点中预设子系统建立第一通信连接，并将两个方向相反的连接信息绑定到一起作为连接信息对，实现集群互联业务流的双向传输，能够利用NVMe多队列，从而提升存储集群节点互联的性能，并且适配于roce传输协议以及TCP传输协议，能够利用RDMA特性及传输网络的高带宽提升性能，同时基于TCP协议可以提升拓扑部署的距离和灵活性。
本实施例中，所述处理器21执行所述存储器22中保存的计算机子程序时，可以具体实现以下步骤：在所述基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接之前，对其他节点进行节点发现并获取其他节点的子系统NVMe限定名。
本实施例中，所述处理器21执行所述存储器22中保存的计算机子程序时，可以具体实现以下步骤：基于NVMF协议对其他节点进行节点发现，并获取其他节点返回的子系统NVMe限定名。
本实施例中，所述处理器21执行所述存储器22中保存的计算机子程序时，可以具体实现以下步骤：通过connect fabric指令通知预设roce驱动建立RDMA管理队列，然后与其他节点中的发现控制器创建NVMe管理队列，通过fabric/admin指令配置发现控制器，获取发现日志页；其中，所述发现日志页包括发现到的其他节点的子系统NVMe限定名。
本实施例中，所述处理器21执行所述存储器22中保存的计算机子程序时，可以具体实现以下步骤：通过connect fabric指令通知预设roce驱动建立RDMA管理队列，然后与其他节点中的预设控制器创建NVMe管理队列，通过鉴权指令完成鉴权操作，通过fabric/admin指令配置预设控制器；通过connect fabric指令通知预设roce驱动建立多个RDMA IO队列，然后与预设控制器创建多个NVMe IO队列，通过鉴权指令完成鉴权操作。
本实施例中，所述处理器21执行所述存储器22中保存的计算机子程序时，可以具体实现以下步骤：通过connect fabric指令与所述其他节点建立TCP连接，通过所述TCP连接获取所述其他节点返回的子系统NVMe限定名。
本实施例中，所述处理器21执行所述存储器22中保存的计算机子程序时，可以具体实现以下步骤：通过connect fabric指令与所述其他节点建立TCP连接，然后与其他节点中的预设控制器创建NVMe管理队列，通过鉴权指令完成鉴权操作，通过fabric/admin指令配置预设控制器；与预设控制器创建多个NVMe IO队列，通过鉴权指令成鉴权操作。
本实施例中，所述处理器21执行所述存储器22中保存的计算机子程序时，可以具体实现以下步骤：获取配置信息，其中，所述配置信息包括其他节点的IP地址和子系统NVMe限定名。
本实施例中，所述处理器21执行所述存储器22中保存的计算机子程序时，可以具体实现以下步骤：通过链路层发现协议将本节点的IP地址以、端口以及子系统NVMe限定名发布给其他节点，并获取其他节点返回的其他节点的子系统NVMe限定名。
本实施例中，所述处理器21执行所述存储器22中保存的计算机子程序时，可以具体实现以下步骤：基于mDNS协议对其他节点进行节点发现并获取其他节点的子系统NVMe限定名。
本实施例中，所述处理器21执行所述存储器22中保存的计算机子程序时，可以具体实现以下步骤：通过NVME指令查询所述其他节点的节点信息；基于所述节点信息识别所述其他节点的身份，基于所述不同的身份进行不同的业务配置。
本实施例中，所述处理器21执行所述存储器22中保存的计算机子程序时，可以具体实现以下步骤：若为存储节点，则根据不同身份进行集群业务的不同配置。
并且，所述存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，存储方式可以是短暂存储或者永久存储。
另外，所述电子设备20还包括电源23、通信接口24、输入输出接口25和通信总线26；其中，所述电源23用于为所述电子设备20上的各硬件设备提供工作电压；所述通信接口24能够为所述电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；所述输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
进一步的，本申请实施例公开了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现以下步骤：
基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接，并在建立所述第一通信连接的过程中创建多个NVMe IO队列；其中，每个节点均存在预设子系统，并存在与该节点唯一对应的子系统NVMe限定名；基于所述第一通信连接和第二通信连接将自身的子系统NVMe限定名、本地端口以及所述其他节点的端口、子系统NVMe限定名绑定，得到连接信息对；其中，所述第二通信连接为所述其他节点基于NVMF协议发起并与该任意节点建立的通信连接；基于所述连接信息对进行集群业务传输。
可见，本申请实施例基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接，并在建立所述第一通信连接的过程中创建多个NVMeIO队列；其中，每个节点均存在预设子系统，并存在与该节点唯一对应的子系统NVMe限定名，并基于所述第一通信连接和第二通信连接将自身的子系统NVMe限定名、本地端口以及所述其他节点的端口、子系统NVMe限定名绑定，得到连接信息对；其中，所述第二通信连接为所述其他节点基于NVMF协议发起并与该任意节点建立的通信连接，之后基于所述连接信息对进行集群业务传输。也即，本申请实施例中每个节点均存在用于节点互联的预设子系统，并存在唯一的子系统NVMe限定名，任意节点基于NVMF协议以及其他节点的子系统NVMe限定名与其他节点中预设子系统建立第一通信连接，并将两个方向相反的连接信息绑定到一起作为连接信息对，实现集群互联业务流的双向传输，能够利用NVMe多队列，从而提升存储集群节点互联的性能，并且适配于roce传输协议以及TCP传输协议，能够利用RDMA特性及传输网络的高带宽提升性能，同时基于TCP协议可以提升拓扑部署的距离和灵活性。
本实施例中，所述计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：在所述基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接之前，对其他节点进行节点发现并获取其他节点的子系统NVMe限定名。
本实施例中，所述计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：基于NVMF协议对其他节点进行节点发现，并获取其他节点返回的子系统NVMe限定名。
本实施例中，所述计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：通过connect fabric指令通知预设roce驱动建立RDMA管理队列，然后与其他节点中的发现控制器创建NVMe管理队列，通过fabric/admin指令配置发现控制器，获取发现日志页；其中，所述发现日志页包括发现到的其他节点的子系统NVMe限定名。
本实施例中，所述计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：通过connect fabric指令通知预设roce驱动建立RDMA管理队列，然后与其他节点中的预设控制器创建NVMe管理队列，通过鉴权指令完成鉴权操作，通过fabric/admin指令配置预设控制器；通过connect fabric指令通知预设roce驱动建立多个RDMA IO队列，然后与预设控制器创建多个NVMe IO队列，通过鉴权指令完成鉴权操作。
本实施例中，所述计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：通过connect fabric指令与所述其他节点建立TCP连接，通过所述TCP连接获取所述其他节点返回的子系统NVMe限定名。
本实施例中，所述计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：通过connect fabric指令与所述其他节点建立TCP连接，然后与其他节点中的预设控制器创建NVMe管理队列，通过鉴权指令完成鉴权操作，通过fabric/admin指令配置预设控制器；与预设控制器创建多个NVMe IO队列，通过鉴权指令成鉴权操作。
本实施例中，所述计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：获取配置信息，其中，所述配置信息包括其他节点的IP地址和子系统NVMe限定名。
本实施例中，所述计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：通过链路层发现协议将本节点的IP地址以、端口以及子系统NVMe限定名发布给其他节点，并获取其他节点返回的其他节点的子系统NVMe限定名。
本实施例中，所述计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：基于mDNS协议对其他节点进行节点发现并获取其他节点的子系统NVMe限定名。
本实施例中，所述计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：通过NVME指令查询所述其他节点的节点信息；基于所述节点信息识别所述其他节点的身份，基于所述不同的身份进行不同的业务配置。
本实施例中，所述计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：若为存储节点，则根据不同身份进行集群业务的不同配置。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的一种NVMF存储集群节点互联方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (16)

1.一种NVMF存储集群节点互联方法，其特征在于，应用于存储集群中任意节点，包括：
基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接，并在建立所述第一通信连接的过程中创建多个NVMe IO队列；其中，每个节点均存在预设子系统，并存在与该节点唯一对应的子系统NVMe限定名；
基于所述第一通信连接和第二通信连接将自身的子系统NVMe限定名、本地端口以及所述其他节点的端口、子系统NVMe限定名绑定，得到连接信息对；其中，所述第二通信连接为所述其他节点基于NVMF协议发起并与该任意节点建立的通信连接；
基于所述连接信息对进行集群业务传输。
2.根据权利要求1所述的NVMF存储集群节点互联方法，其特征在于，所述基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接之前，还包括：
对其他节点进行节点发现并获取其他节点的子系统NVMe限定名。
3.根据权利要求2所述的NVMF存储集群节点互联方法，其特征在于，所述对其他节点进行节点发现并获取其他节点的子系统NVMe限定名，包括：
基于NVMF协议对其他节点进行节点发现，并获取其他节点返回的子系统NVMe限定名。
4.根据权利要求3所述的NVMF存储集群节点互联方法，其特征在于，所述基于NVMF协议对其他节点进行节点发现，并获取其他节点返回的子系统NVMe限定名，包括：
通过connect fabric指令通知预设roce驱动建立RDMA管理队列，然后与其他节点中的发现控制器创建NVMe管理队列，通过fabric/admin指令配置发现控制器，获取发现日志页；其中，所述发现日志页包括发现到的其他节点的子系统NVMe限定名。
5.根据权利要求4所述的NVMF存储集群节点互联方法，其特征在于，所述基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接，包括：
通过connect fabric指令通知预设roce驱动建立RDMA管理队列，然后与其他节点中的预设控制器创建NVMe管理队列，通过鉴权指令完成鉴权操作，通过fabric/admin指令配置预设控制器；通过connect fabric指令通知预设roce驱动建立多个RDMA IO队列，然后与预设控制器创建多个NVMe IO队列，通过鉴权指令完成鉴权操作。
6.根据权利要求3所述的NVMF存储集群节点互联方法，其特征在于，所述基于NVMF协议对其他节点进行节点发现，并获取其他节点返回的子系统NVMe限定名，包括：
通过connect fabric指令与所述其他节点建立TCP连接，通过所述TCP连接获取所述其他节点返回的子系统NVMe限定名。
7.根据权利要求6所述的NVMF存储集群节点互联方法，其特征在于，所述基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接，包括：
通过connect fabric指令与所述其他节点建立TCP连接，然后与其他节点中的预设控制器创建NVMe管理队列，通过鉴权指令完成鉴权操作，通过fabric/admin指令配置预设控制器；与预设控制器创建多个NVMe IO队列，通过鉴权指令成鉴权操作。
8.根据权利要求2所述的NVMF存储集群节点互联方法，其特征在于，所述对其他节点进行节点发现并获取其他节点的子系统NVMe限定名，包括：
获取配置信息，其中，所述配置信息包括其他节点的IP地址和子系统NVMe限定名。
9.根据权利要求2所述的NVMF存储集群节点互联方法，其特征在于，所述对其他节点进行节点发现并获取其他节点的子系统NVMe限定名，包括：
通过链路层发现协议将本节点的IP地址以、端口以及子系统NVMe限定名发布给其他节点，并获取其他节点返回的其他节点的子系统NVMe限定名。
10.根据权利要求2所述的NVMF存储集群节点互联方法，其特征在于，所述对其他节点进行节点发现并获取其他节点的子系统NVMe限定名，包括：
基于mDNS协议对其他节点进行节点发现并获取其他节点的子系统NVMe限定名。
11.根据权利要求1至10任一项所述的NVMF存储集群节点互联方法，其特征在于，所述基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接之后，还包括：
通过NVME指令查询所述其他节点的节点信息；
基于所述节点信息识别所述其他节点的身份，基于不同的身份进行不同的业务配置。
12.根据权利要求11所述的NVMF存储集群节点互联方法，其特征在于，所述基于所述不同的身份进行不同的业务配置，包括：
若为存储节点，则根据不同身份进行集群业务的不同配置。
13.一种NVMF存储集群节点互联装置，其特征在于，应用于存储集群中任意节点，包括：
通信连接建立模块，用于基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接，并在建立所述第一通信连接的过程中创建多个NVMeIO队列；其中，每个节点均存在预设子系统，并存在该节点唯一对应的子系统NVMe限定名；
连接信息绑定模块，用于基于所述第一通信连接和第二通信连接将自身的子系统NVMe限定名、本地端口以及所述其他节点的端口、子系统NVMe限定名绑定，得到连接信息对；其中，所述第二通信连接为所述其他节点基于NVMF协议发起并与该任意节点建立的通信连接；
集群业务传输模块，用于基于所述连接信息对进行集群业务传输。
14.一种NVMF存储节点，其特征在于，应用于具有多节点的NVMF存储集群，包括：
通信连接建立模块，用于基于NVMF协议以及其他节点的子系统NVMe限定名与所述其他节点中预设子系统建立第一通信连接，并在建立所述第一通信连接的过程中创建多个NVMeIO队列；其中，每个节点均存在预设子系统，并存在该节点唯一对应的子系统NVMe限定名；
连接信息绑定模块，用于基于所述第一通信连接和第二通信连接将自身的子系统NVMe限定名、本地端口以及所述其他节点的端口、子系统NVMe限定名绑定，得到连接信息对；其中，所述第二通信连接为所述其他节点基于NVMF协议发起并与本节点建立的通信连接；
集群业务传输模块，用于基于所述连接信息对进行集群业务传输。
15.一种电子设备，其特征在于，包括存储器和处理器，其中：
所述存储器，用于保存计算机程序；
所述处理器，用于执行所述计算机程序，以实现如权利要求1至12任一项所述的NVMF存储集群节点互联方法。
16.一种计算机可读存储介质，其特征在于，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至12任一项所述的NVMF存储集群节点互联方法。
CN202211487379.4A 2022-11-25 2022-11-25 一种nvmf存储集群节点互联方法、装置、设备及介质 Active CN115550377B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211487379.4A CN115550377B (zh) 2022-11-25 2022-11-25 一种nvmf存储集群节点互联方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211487379.4A CN115550377B (zh) 2022-11-25 2022-11-25 一种nvmf存储集群节点互联方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN115550377A true CN115550377A (zh) 2022-12-30
CN115550377B CN115550377B (zh) 2023-03-07

Family

ID=84719985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211487379.4A Active CN115550377B (zh) 2022-11-25 2022-11-25 一种nvmf存储集群节点互联方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN115550377B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102232218A (zh) * 2011-06-24 2011-11-02 华为技术有限公司 计算机子系统和计算机系统
CN105912275A (zh) * 2016-04-27 2016-08-31 华为技术有限公司 在非易失性存储系统中建立连接的方法和装置
CN111459417A (zh) * 2020-04-26 2020-07-28 中国人民解放军国防科技大学 一种面向NVMeoF存储网络的无锁传输方法及系统
CN111722786A (zh) * 2019-03-21 2020-09-29 阿里巴巴集团控股有限公司 基于NVMe设备的存储系统
CN112130748A (zh) * 2019-06-24 2020-12-25 华为技术有限公司 一种数据访问方法、网卡及服务器
US20210064281A1 (en) * 2019-08-30 2021-03-04 Hewlett Packard Enterprise Development Lp Fabric driven non-volatile memory express subsystem zoning
CN113014662A (zh) * 2021-03-11 2021-06-22 联想(北京)有限公司 数据处理方法及基于NVMe-oF协议的存储系统
CN114930283A (zh) * 2020-12-11 2022-08-19 西部数据技术公司 利用可编程网络接口进行分组处理

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102232218A (zh) * 2011-06-24 2011-11-02 华为技术有限公司 计算机子系统和计算机系统
CN105912275A (zh) * 2016-04-27 2016-08-31 华为技术有限公司 在非易失性存储系统中建立连接的方法和装置
CN111722786A (zh) * 2019-03-21 2020-09-29 阿里巴巴集团控股有限公司 基于NVMe设备的存储系统
CN112130748A (zh) * 2019-06-24 2020-12-25 华为技术有限公司 一种数据访问方法、网卡及服务器
US20210064281A1 (en) * 2019-08-30 2021-03-04 Hewlett Packard Enterprise Development Lp Fabric driven non-volatile memory express subsystem zoning
CN111459417A (zh) * 2020-04-26 2020-07-28 中国人民解放军国防科技大学 一种面向NVMeoF存储网络的无锁传输方法及系统
CN114930283A (zh) * 2020-12-11 2022-08-19 西部数据技术公司 利用可编程网络接口进行分组处理
CN113014662A (zh) * 2021-03-11 2021-06-22 联想(北京)有限公司 数据处理方法及基于NVMe-oF协议的存储系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱佳平: ""NVMeoF网络存储协议卸载技术研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Also Published As

Publication number Publication date
CN115550377B (zh) 2023-03-07

Similar Documents

Publication Publication Date Title
EP2597842B1 (en) Providing network capability over a converged interconnect fabric
US11487690B2 (en) Universal host and non-volatile memory express storage domain discovery for non-volatile memory express over fabrics
US9923978B2 (en) Automated network service discovery and communication
EP3225014B1 (en) Source ip address transparency systems and methods
EP3905598B1 (en) Message processing method and apparatus, control plane device, and computer storage medium
CN112291079B (zh) 一种网络业务配置方法及网络管理设备
WO2013097484A1 (zh) 虚拟机集群的负载均衡方法、服务器及系统
WO2020108438A1 (zh) 一种接入系统、方法及装置
CN102594886B (zh) 浏览器与浏览器直通的方法、装置和通信系统
CN115150327A (zh) 一种接口设置方法、装置、设备及介质
EP3675465A1 (en) Faster duplicate address detection for ranges of link local addresses
CN112968965B (zh) Nfv网络节点的元数据服务方法、服务器及存储介质
CN115550377B (zh) 一种nvmf存储集群节点互联方法、装置、设备及介质
WO2023221708A1 (zh) Pdn拨号及配置方法、系统、装置、设备及存储介质
US11128558B2 (en) Automatic routing configuration between hosts and network layer devices
WO2022007140A1 (zh) 用户设备路由选择方法及相关产品
CN113783971A (zh) 地址管理方法、网络设备及存储介质
CN111314477A (zh) P2p通信方法、系统、家庭网关、电子设备和存储介质
CN116418863B (zh) 基于socks5透明代理的通信方法和装置
US20230231803A1 (en) Session establishment method and network device
CN111107663B (zh) 数据的传输方法及装置、存储介质、电子装置
WO2023065218A1 (zh) 一种映射关系生成方法、装置和存储介质
US20220337548A1 (en) Data access methods and systems
CN113691572B (zh) 一种数据转发方法、装置、设备及计算机存储介质
CN113419810A (zh) 数据交互方法、装置、电子设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant