CN115623018B - 基于多设备节点的共享系统 - Google Patents

Abstract

本发明公开了一种基于多设备节点的共享系统，其中，共享系统包括：主机、存储系统，存储系统中的多个设备节点通过路由器与主机连接，主机与每个设备节点都部署有共享网卡，每个设备节点包含：存储网络设备，以控制本地设备节点向存储系统中的其他设备节点广播互联信息，并基于本地设备节点接收到的应答信息，建立本地设备节点与目标设备节点之间的预设连接；无损网络设备，以管理存储系统的网络环境；管理设备，以将本地设备节点的节点数据从共享网卡同步到目标设备节点的共享网卡，并管理本地设备节点与目标设备节点之间的预设连接。本发明解决了相关技术中的存储系统无法使得其多设备节点以高性能共享ROCE网卡的技术问题。

Description

基于多设备节点的共享系统

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种基于多设备节点的共享系统。

背景技术

随着互联网、云计算、物联网、移动互联网等技术的发展，数据呈爆炸性增长，同时,对传统的数据传输网络带来了新的挑战。面对高性能计算、大数据分析和浪涌型IO（输入输出）高并发、低时延应用，当前的TCP/IP（Transmission Control Protocol/InternetProtocol，即传输控制协议/网际协议）软硬件架构和应用高CPU消耗的技术特征根本不能满足应用的需求。

相关技术中，RDMA（Remote Direct Memory Access，远程直接数据存取）利用MPTK（Messaging passing through kernel，即通过内核传递消息）方式，可以将数据直接从一台计算机的内存传输到另一台计算机，无需双方操作系统的介入，实现了低延时、低CPU开销、高带宽的特性。为了兼容现有的Ethernet（以太网）网络，RDMA发展了ROCE（即RDMA overEthernet），使得RDMA技术得到了长足发展。然而，以太网是不可靠网络，网络发送堵塞、拥塞、网络切换时，各个网络上的设备节点均无法感知，这对延时、带宽、故障管理有很高要求的存储系统带来新的挑战。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种基于多设备节点的共享系统，以至少解决相关技术中的存储系统无法使得其多设备节点以高性能共享ROCE网卡的技术问题。

根据本发明实施例的一个方面，提供了一种基于多设备节点的共享系统，所述共享系统包括：主机，所述主机部署有共享网卡；存储系统，包含多个设备节点，所述多个设备节点通过路由器与所述主机连接，每个设备节点都部署有所述共享网卡，其中，每个所述设备节点包含：存储网络设备，用于控制本地设备节点向所述存储系统中的其他设备节点广播互联信息，并基于所述本地设备节点接收到的应答信息，建立所述本地设备节点与所述应答信息携带的节点标识指示的目标设备节点之间的预设连接；无损网络设备，用于管理所述存储系统的网络环境；管理设备，用于将所述本地设备节点的节点数据从共享网卡同步到所述目标设备节点的共享网卡，并管理所述本地设备节点与所述目标设备节点之间的所述预设连接。

可选地，所述设备节点还包括：环境部署设备，用于在所述存储系统中的设备节点启动后，部署所述网络环境。

可选地，所述设备节点还包括：内存管理设备，用于从所述主机的操作系统中申请内存，管理共享所述共享网卡的所述存储网络设备、所述无损网络设备以及所述管理设备中各装置的装置内存。

可选地，所述存储网络设备包括：端口地址管理装置，用于管理所述本地设备节点中的预设端口的地址，并监听所述预设端口的端口号，其中，所述预设端口是所述本地设备节点与所述其他设备节点之间进行数据传输的端口；端口信息管理装置，用于将所述本地设备节点的预设端口信息同步至所述其他设备节点，并在所述本地设备节点注册通信协议的协议信息。

可选地，所述存储网络设备还包括：广播装置，用于依据预设间隔周期，向所述其他设备节点广播所述互联信息，并接收所述其他设备节点广播的所述应答信息，其中，所述互联信息和所述应答信息中包括下述至少之一：端口信息、协议信息、地址信息、网络信息，所述广播的类型分为第一组播、第二组播，所述第一组播应用于第一类网络内发现所述其他设备节点，所述第二组播应用于第二类网络内发现所述其他设备节点。

可选地，所述存储网络设备还包括：连接管理装置，用于基于所述广播装置接收到的所述应答信息识别待连接设备节点，并建立所述本地设备节点与所述待连接设备节点的所述预设连接；在与所述本地设备节点具有预设连接关系的所述目标设备节点离线的情况下，断开所述本地设备节点与所述目标设备节点的所述预设连接。

可选地，所述连接管理装置通过以下方式发起所述预设连接：通过发现进程接收守护进程通知的所述应答信息，并通知所述路由器所述本地设备节点处于上线状态；通过所述发现进程接收所述其他设备节点的上线信息，通知所述守护进程所述其他设备节点上线；通过所述守护进程判断所述其他设备节点是否配置了发现子网，在所述其他设备节点配置了发现子网的情况下，判断所述其他设备节点的地址是否属于所述发现子网，在所述其他设备节点的地址属于所述发现子网的情况下，查询所述其他设备节点的所述应答信息，并基于查询到的所述应答信息向所述其他设备节点发起所述预设连接。

可选地，所述存储网络设备还包括：多队列管理装置，用于远程管理所述本地设备节点的内存数据存取队列，并向所述管理设备的动态链接管理装置提供数据传输接口，其中，所述动态链接管理装置用于管理所述本地设备节点与所述其他设备节点之间的所述预设连接、所述本地设备节点与所述主机之间的连接。

可选地，所述存储网络设备还包括：通信协议管理装置，用于管理所述本地设备节点的通信协议，发送所述通信协议的协议指令，接收所述通信协议的协议状态，并基于所述协议指令进行数据传输以及协议处理。

可选地，所述无损网络设备包括：数据包长度调整装置，用于调整所述本地设备节点关联的所述预设连接发送的数据包的最大字节数。

可选地，所述无损网络设备还包括：流量隔离装置，用于将所述本地设备节点的预设端口划分至不同区域，并通过所述不同区域进行流量隔离。

可选地，所述无损网络设备还包括：流量控制装置，用于更新所述本地设备节点的预设端口的流量配置信息；拥塞控制装置，用于更新所述本地设备节点的预设端口的拥塞配置信息。

可选地，所述管理设备包括：端口信息识别装置，用于描述所述本地设备节点的端口信息，并识别所述其他设备节点的预设端口，判断所述其他设备节点的预设端口是否属于同一设备节点。

可选地，所述管理设备还包括：节点信息同步装置，用于将所述节点数据同步到所述本地设备节点的集群控制装置以及所述目标设备节点的所述集群控制装置，其中，所述节点数据包括：地址信息、端口信息、协议信息、配置信息。

可选地，所述管理设备还包括：事务管理装置，用于同步所述节点信息同步装置与所述集群控制装置之间的数据，将所述本地设备节点的所述集群控制装置的数据同步至所述目标设备节点的所述集群控制装置；接收所述目标设备节点的所述事务管理装置同步的数据，并通知所述本地设备节点的所述集群控制装置以及所述节点信息同步装置。

可选地，所述管理设备还包括：动态链接管理装置，用于管理所述本地设备节点与所述其他设备节点之间的所述预设连接、所述本地设备节点与所述主机之间的连接，其中，在任一条所述预设连接断开的情况下，切换到备用链路，在没有所述备用链路的情况下，将所述节点数据同步到所述本地设备的对端设备节点，通过所述对端设备节点将无备用链路信息通知到所述集群控制装置，通过所述集群控制装置将所述无备用链路信息同步到所述事务管理装置；在所述事务管理装置接收到所述无备用链路信息的情况下，从所述集群控制装置中的所述节点数据获取主机信息，与所述主机信息指示的主机发起连接。

在本公开中，提供了一种基于多设备节点的共享系统，共享系统包括：主机，主机部署有共享网卡；存储系统，包含多个设备节点，多个设备节点通过路由器与主机连接，每个设备节点都部署有共享网卡，其中，每个设备节点包含：存储网络设备，用于控制本地设备节点向存储系统中的其他设备节点广播互联信息，并基于本地设备节点接收到的应答信息，建立本地设备节点与应答信息携带的节点标识指示的目标设备节点之间的预设连接；无损网络设备，用于管理存储系统的网络环境；管理设备，用于将本地设备节点的节点数据从共享网卡同步到目标设备节点的共享网卡，并管理本地设备节点与目标设备节点之间的预设连接。通过本申请，可以在存储系统中的每个设备节点中增加存储网络设备、无损网络设备、管理设备等，能够实现存储系统中的设备节点间的自动连接，通过管理存储系统的网络环境，能够实现对网络拥塞、堵塞等的管理，通过对设备节点间的预设连接进行管理，能够实现某一设备节点故障时的链路自动切换功能，达到了多控设备节点下ROCE网卡对服务器主机共享的目的，进而解决了相关技术中的存储系统无法使得其多设备节点以高性能共享ROCE网卡的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种用于基于多设备节点的共享系统的移动终端的硬件结构框图；

图2是根据本发明实施例的一种可选的基于多设备节点的共享系统的示意图；

图3是根据本发明实施例的一种可选的自动发现结构的示意图；

图4是根据本发明实施例的一种可选的发起NVMF协议连接流程的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于本领域技术人员理解本发明，下面对本发明各实施例中涉及的部分术语或名词做出解释：

DMA（Direct Memory Access），直接内存访问，主要解决CPU搬移内存速度问题。

RDMA（Remote Direct Memory Access），远程直接数据存取，为了解决网络传输中客户端与服务器端数据处理的延迟而产生的。

ROCE（RDMA over Ethernet），RDMA过融合以太网，允许通过以太网执行RDMA的网络协议。

DHCP（Dynamic Host Configuration Protocol）,动态主机配置协议，主要功能是负责局域网内各个计算机IP地址的申请和分配管理。

LLDP（Link Layer Discovery Protocol），链路层发现协议，提供了一种标准的链路层发现方式，可以将本端设备的的主要能力、管理地址、设备标识、接口标识等信息组织成不同的TLV（Type/Length/Value，类型/长度/值），并封装在LLDPDU（Link LayerDiscovery Protocol Data Unit，链路层发现协议数据单元）中发布给与自己直连的邻居。

PFC（Priority Flow Control），基于优先级的流量控制。

ECN（Explicit Congestion Notification），拥塞控制。

SCM（SAN Cluster Manage），存储集群控制模块（内部），其中，SAN（Storage AreaNetwork）表示存储区域网络。

DCM（dynamic connect Manage），动态链接管理。

CEM（Cluster Event Manage），集群事务管理，用于管理集群事务，同步集群信息。

NVMF（Non Volatile Memory Express over Fabric），是NVMe协议（是一种非）在其他传输介质的扩展，本申请用于指NVMe over ROCE。

本申请实施例中所提供的基于多设备节点的共享系统实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是根据本发明实施例的一种用于基于多设备节点的共享系统的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个（图1中仅示出一个）处理器102（处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置）和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本申请实施例中的基于多设备节点的共享系统对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述基于多设备节点的共享系统。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。

本发明提出了一种基于多控设备节点的前端主机共享ROCE网卡的方法，通过在原有的存储系统中增加网络管理、IP管理、无损网络控制、设备自动发现管理、动态链接管理等模块，实现对网络拥塞、堵塞的管理，实现主机设备、设备节点的自动发现，实现设备节点的自动连接，实现设备节点与服务器主机的动态链接管理，实现设备节点故障时的ROCE链路自动切换，以达到多控设备节点下ROCE网卡对服务器主机共享的目的，提高了存储系统的可靠性。

下面结合各个实施例来详细说明本发明。

实施例一

根据本发明实施例，提供了一种运行于上述移动终端的基于多设备节点的共享系统的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图2是根据本发明实施例的一种可选的基于多设备节点的共享系统的示意图，如图2所示，包括：主机、路由器、存储系统，其中，存储系统包括：多个设备节点，每个设备节点包括：存储网络设备（Nvme over RDMA）、无损网络设备（lossless）、管理设备、环境部署设备、内存管理设备（Memory manage），存储网络设备包括：端口地址管理装置（IP manage）、端口信息管理装置（Port manage）、广播装置（LLDP/DHCP）、连接管理装置（discoverymanage）、多队列管理装置（Multi queue）、通信协议管理装置（IO manage）；无损网络设备包括：数据包长度调整装置（MTU）、流量隔离装置（VLAN）、流量控制装置（PFC）、拥塞控制装置（ECN）；管理设备包括：端口信息识别装置（VPD）、节点信息同步装置（Agent）、事务管理装置（CEM）、集群控制装置（SCM）、动态链接管理装置（DCM）。

在本实施例中，主机上部署有共享网卡（即ROCE网卡），存储系统中的各设备节点通过路由器与主机连接，并且每个设备节点都部署有共享网卡，与同一主机连接的所有设备节点为同一机框节点。

在本实施例中，设备节点中的存储网络设备可以用于控制本地设备节点向存储系统中的其他设备节点广播互联信息（如端口信息、协议信息NQN、地址信息IP、网络信息VLAN等），并根据本地设备节点接收到的应答信息（与互联信息携带的信息相同），建立本地设备节点与应答信息携带的节点标识指示的目标设备节点之间的预设连接（即NVMF协议连接）。

在本实施例中，无损网络设备可以用于更新存储系统的网络环境（即预先部署的RDMA相关环境）的环境信息（如链路传输字节数、划分区域、端口配置等信息）。管理设备可以用于将本地设备节点的节点数据从共享网卡同步到目标设备节点的共享网卡，并管理本地设备节点与目标设备节点之间的预设连接。

本实施例中一种可选地，设备节点还包括：环境部署设备，用于在存储系统中的设备节点启动后，部署网络环境。

本实施例中另一种可选地，设备节点还包括：内存管理设备，用于从主机的操作系统中申请内存，管理共享共享网卡的存储网络设备、无损网络设备以及管理设备中各装置的装置内存。

在本发明实施例中，在存储系统中的设备节点启动时，环境部署设备可以实施RDMA相关环境（即网络环境，如OFED、RDMA_CORE等环境）的部署，之后内存管理设备可以从OS（即主机的操作系统）中申请内存，并管理ROCE共享内部各个模块（即管理共享共享网卡的存储网络设备、无损网络设备以及管理设备中各装置的装置内存）。

可选地，存储网络设备包括：端口地址管理装置，用于管理本地设备节点中的预设端口的地址，并监听预设端口的端口号，其中，预设端口是本地设备节点与其他设备节点之间进行数据传输的端口；端口信息管理装置，用于将本地设备节点的预设端口信息同步至其他设备节点，并在本地设备节点注册通信协议的协议信息。

在本发明实施例中，端口地址管理装置（即IP manage）用于配置、删除、管理设备节点中每个ROCE端口（即预设端口）的地址IP，监听预设端口的端口号（如nvmeoverroce端口），预设端口是本地设备节点与其他设备节点之间进行数据传输的端口。

端口信息管理装置（即port manage）用于管理ROCE网口（即物理端口），识别、创建ROCE端口信息（即预设端口信息），并将本地设备节点的ROCE端口信息同步到各个设备节点内（即将本地设备节点的预设端口信息同步至其他设备节点），并在本地设备节点注册通信协议（如NVMF协议）的协议信息（即NQN信息），可以此采用LLDP广播本地NQN信息，以便于主机发现设备节点，设备节点与设备节点之间互相发现。

可选地，存储网络设备还包括：广播装置，用于依据预设间隔周期，向其他设备节点广播互联信息，并接收其他设备节点广播的应答信息，其中，互联信息和应答信息中包括下述至少之一：端口信息、协议信息、地址信息、网络信息，广播的类型分为第一组播、第二组播，第一组播应用于第一类网络内发现其他设备节点，第二组播应用于第二类网络内发现其他设备节点。

本实施例中另一种可选地，存储网络设备还包括：连接管理装置，用于基于广播装置接收到的应答信息识别待连接设备节点，并建立本地设备节点与待连接设备节点的预设连接；在与本地设备节点具有预设连接关系的目标设备节点离线的情况下，断开本地设备节点与目标设备节点的预设连接。

在本发明实施例中，广播装置（即LLDP/DHCP）用于依据预设间隔周期（可以根据实际情况进行设置），向其他设备节点广播互联信息（包括：端口信息、协议信息、地址信息、网络信息等），并接收其他设备节点广播的应答信息（包括：端口信息、协议信息、地址信息、网络信息等，与互联信息携带的信息相同）。LLDP/DHCP的功能具体为：DHCP用于在支持DHCP环境内的自动配置IP（即ROCE端口的地址IP），以减轻部署步骤。LLDP用于组播（即广播）本地互联信息，如用于节点互联的端口、NQN、IP、VLAN等信息，与主机互联的端口、NQN信息、IP、VLAN等信息。同时，可以接受处理本网络内其他设备节点的互联信息，发起连接，以便于设备节点之间通讯。LLDP会定时发送本地互联信息，以便于网络内及时发现本地设备节点的上线、离线等情况。

在本发明实施例中，广播的类型分为第一组播（即MAC组播）、第二组播（即IP组播），第一组播应用于第一类网络（即二层网络）内发现其他设备节点，第二组播应用于第二类网络（即三层网络）内发现其他设备节点。具体为：

MAC组播：主要应用于二层网络内发现设备节点。利用LLDP的组播地址，将本地的IP地址、端口号、协议类型、NQN等信息组播出去，以便于网络内部的其他设备节点获知本设备节点的上线信息，同时，本地设备节点也将接受来自其他设备节点的IP地址、端口号、协议类型、NQN等信息，将其他设备节点的NVMF节点信息（即互联信息）存储在本地，并将过滤后的信息通过消息队列的形式，发送到主程序。为了获取其他设备节点的离线信息，会设置NQN等信息的老化时间，当老化时间内没有对应设备节点的NQN信息时，将该设备节点删除，同时通知主程序，该设备节点离线。为了防止本地设备在其他设备节点被老化，会定时组播本地的NQN信息。

IP组播：主要应用于三层网络内发现设备。与MAC组播不同的是，IP组播发现的设备节点无法确定其设备节点的NQN信息。用户需配置要发现设备节点的子网信息，以便于设备自动区分哪些节点需要进行NVMF连接，并对无效的节点信息进行过滤。子网信息是指节点IP所在子网，如：子网为192.168.2.0/24时,IP地址为192.168.2.1-192.168.2.255的节点均为有效节点，守护进程收到对应的节点上线时会发起NVMF连接，如果子网为192.168.2.5/32时，IP地址为192.168.2.5的设备为有效节点。

在本发明实施例中，连接管理装置具有自动发现管理功能，能够根据广播装置接收到的应答信息识别待连接设备节点，并建立本地设备节点与待连接设备节点的预设连接，并能够在与本地设备节点具有预设连接关系的目标设备节点离线时，断开本地设备节点与目标设备节点的预设连接（即自动发现管理功能可以利用LLDP获取的NQN信息，或者扫描配置的子网，发现网络内的其他设备节点，并主动建立连接。当设备节点离线时，主动断开与其他设备节点的连接）。

在本发明实施例中，自动发现利用MAC组播、IP组播的方式，可以将本地的互联信息组播出去，同时接受来自组播的其他设备节点的互联信息，并自动与远端的设备节点建立NVMF协议连接。

在本发明实施例中，自动发现有单独的节点发现进程，用于获取本地的IP、端口号、协议类型、NQN等NVMF必要信息，组播本节点的上线、离线信息；同时接受远端节点的IP、端口号、协议类型、NQN等NVMF必要信息，过滤筛选后，发送给节点守护进程，节点守护进程根据远端信息，发起、断开NVMF协议连接。

图3是根据本发明实施例的一种可选的自动发现结构的示意图，如图3所示，包括：节点发现进程和节点守护进程，节点守护进程包括：IPC(进程间通讯模块)、NVMF信息下发/上报、NVMF连接管理、RDMA连接管理；节点发现进程包括：IPC(进程间通讯模块)、NVMF信息维护、网络报文组包/解析、链路报文收发，节点守护进程与节点发现进程通过各自的IPC进行消息队列通讯。

可选地，连接管理装置通过以下方式发起预设连接：通过发现进程接收守护进程通知的应答信息，并通知路由器本地设备节点处于上线状态；通过发现进程接收其他设备节点的上线信息，通知守护进程其他设备节点上线；通过守护进程判断其他设备节点是否配置了发现子网，在其他设备节点配置了发现子网的情况下，判断其他设备节点的地址是否属于发现子网，在其他设备节点的地址属于发现子网的情况下，查询其他设备节点的应答信息，并基于查询到的应答信息向其他设备节点发起预设连接。

在本发明实施例中，连接管理装置可以发起预设连接，具体为：通过发现进程接收守护进程通知的应答信息，并通知路由器本地设备节点处于上线状态，然后通过发现进程接收其他设备节点的上线信息，并通知守护进程其他设备节点上线。再通过守护进程判断其他设备节点是否配置了发现子网，如果其他设备节点配置了发现子网，则判断其他设备节点的地址是否属于发现子网，如果其他设备节点的地址属于发现子网，则可以查询其他设备节点的应答信息，并基于查询到的应答信息向其他设备节点发起预设连接。

图4是根据本发明实施例的一种可选的发起NVMF协议连接流程的示意图，如图4所示，包括如下流程：

（1）节点的ROCE端口被配置IP后，注册本地NVMF信息。

（2）通知发现进程本地NVMF信息，守护进程会将IP、端口号、协议类型、NQN等信息通知到发现进程，发现进程用于组播本节点的NVMF信息。

（3）发现进程注册IP组播网，通知路由器本地节点上线。

（4）发现进程接收远端的节点上线信息，经过过滤、筛选后，通知守护进程远端节点上线。

（5）守护进程先判断是否配置了发现子网，如果没有配置，直接返回（4）。

（6）如果配置了发现子网，则判断上线的远端节点是否属于子网内，如果不属于发现子网，则返回（4）。

（7）如果属于发现子网，则查询远端节点的NVMF信息，如协议类型、NQN等信息。

（8）查询NVMF信息成功后，发起NVMF协议连接。

可选地，存储网络设备还包括：多队列管理装置，用于远程管理本地设备节点的内存数据存取队列，并向管理设备的动态链接管理装置提供数据传输接口，其中，动态链接管理装置用于管理本地设备节点与其他设备节点之间的预设连接、本地设备节点与主机之间的连接。

在本发明实施例中，多队列管理装置（即Multi Queue）可以用于远程管理本地设备节点的内存数据存取队列（即可以以无损多队列的方式创建、删除、管理RDMA的存取队列，以无锁式多队列的方式收发IO），并向管理设备的动态链接管理装置提供数据传输接口（即能够提供API（即数据传输接口），供DCM模块使用），该动态链接管理装置（DCM模块）用于管理本地设备节点与其他设备节点之间的预设连接、本地设备节点与主机之间的连接。

可选地，存储网络设备还包括：通信协议管理装置，用于管理本地设备节点的通信协议，发送通信协议的协议指令，接收通信协议的协议状态，并基于协议指令进行数据传输以及协议处理。

在本发明实施例中，通信协议管理装置（即IO manage）用于管理本地设备节点的通信协议（如NVME协议、NVMF协议等），发送通信协议的协议指令，并接收通信协议的协议状态，之后根据协议指令进行数据传输以及协议处理等。

可选地，无损网络设备包括：数据包长度调整装置，用于调整本地设备节点关联的预设连接发送的数据包的最大字节数。

在本发明实施例中，数据包长度调整装置（即MTU，Maximum Transmission Unit，用于指单个包的最大字节数），能够调整MTU，以提升链路的带宽、降低时延（即数据包长度调整装置通过调整本地设备节点关联的预设连接发送的数据包的最大字节数，以提升链路的带宽、降低时延）。

可选地，无损网络设备还包括：流量隔离装置，用于将本地设备节点的预设端口划分至不同区域，并通过不同区域进行流量隔离。

在本发明实施例中，流量隔离装置（即VLAN）用于对网络端口划分不同区域，隔离其他端口（即流量隔离装置用于将本地设备节点的预设端口划分至不同区域，以通过不同区域进行流量隔离）。同时，配合PFC模块（即流量控制装置）使用，能够达到流控目的。

可选地，无损网络设备还包括：流量控制装置，用于更新本地设备节点的预设端口的流量配置信息；拥塞控制装置，用于更新本地设备节点的预设端口的拥塞配置信息。

在本发明实施例中，PFC模块（即流量控制装置）支持配置、修改、删除端口的PFC配置（即流量控制装置能够更新本地设备节点的预设端口的流量配置信息），ECN模块（即拥塞控制装置）支持配置、修改、删除端口的ECN配置（即拥塞控制装置能够更新本地设备节点的预设端口的拥塞配置信息），已便于适应于有损、无损的以太网网络环境。同时，PFC、ECN模块的配合使用，可以使以太网达到无损网络要求，提升ROCE的性能，提升存储系统节点的可靠性、稳定性。

可选地，管理设备包括：端口信息识别装置，用于描述本地设备节点的端口信息，并识别其他设备节点的预设端口，判断其他设备节点的预设端口是否属于同一设备节点。

在本发明实施例中，VPD（即端口信息识别装置）是指虚拟产品描述，用于描述本节点、本端口的信息，以便于本地节点的管理。同时，也可以在远端节点分辨其ROCE端口，以区分远端ROCE端口是否在同一节点内（能够在节点管理、链路冗余管理、动态链接管理等管理中使用）（即端口信息识别装置能够描述本地设备节点的端口信息，并识别其他设备节点的预设端口，判断其他设备节点的预设端口是否属于同一设备节点）。

可选地，管理设备还包括：节点信息同步装置，用于将节点数据同步到本地设备节点的集群控制装置以及目标设备节点的集群控制装置，其中，节点数据包括：地址信息、端口信息、协议信息、配置信息。

在本发明实施例中，Agent（即节点信息同步装置）能够将本地信息，如IP、ROCE端口、NQN、PFC、ECN配置等的变动情况，通过CEM模块，同步到本地的SCM，同时CEM也会将信息同步到远端节点的SCM（即节点信息同步装置可以将节点数据（包括：地址信息、端口信息、协议信息、配置信息等）同步到本地设备节点的集群控制装置（即SCM模块）以及目标设备节点的集群控制装置）。

可选地，管理设备还包括：事务管理装置，用于同步节点信息同步装置与集群控制装置之间的数据，将本地设备节点的集群控制装置的数据同步至目标设备节点的集群控制装置；接收目标设备节点的事务管理装置同步的数据，并通知本地设备节点的集群控制装置以及节点信息同步装置。

在本发明实施例中，CEM模块（即事务管理装置）能够同步AGT与SCM模块，并且以事务的形式，同步AGT、SCM的数据（即事务管理装置能够同步节点信息同步装置与集群控制装置之间的数据），同时，将本地SCM的数据同步到远端节点的SCM（即将本地设备节点的集群控制装置的数据同步至目标设备节点的集群控制装置），也用于接收远端CEM同步通过来的事件，通知到本地的SCM、AGT模块（即接收目标设备节点的事务管理装置同步的数据，并通知本地设备节点的集群控制装置以及节点信息同步装置）。

可选地，管理设备还包括：动态链接管理装置，用于管理本地设备节点与其他设备节点之间的预设连接、本地设备节点与主机之间的连接，其中，在任一条预设连接断开的情况下，切换到备用链路，在没有备用链路的情况下，将节点数据同步到本地设备的对端设备节点，通过对端设备节点将无备用链路信息通知到集群控制装置，通过集群控制装置将无备用链路信息同步到事务管理装置；在事务管理装置接收到无备用链路信息的情况下，从集群控制装置中的节点数据获取主机信息，与主机信息指示的主机发起连接。

在本发明实施例中，动态链接管理装置（即DCM模块）用于管理与主机、节点的链接（即动态链接管理装置，用于管理本地设备节点与其他设备节点之间的预设连接、本地设备节点与主机之间的连接）。当某一条链接断开时，会自动切换到备用链路（即在任一条预设连接断开的情况下，切换到备用链路）。没有备用链路时，将尝试同步本地信息到同一机框内的对端节点，由对端节点通知到SCM，该节点已无链路，SCM会同步到DCM（即在没有备用链路的情况下，将节点数据同步到本地设备的对端设备节点，通过对端设备节点将无备用链路信息通知到集群控制装置，通过集群控制装置将无备用链路信息同步到事务管理装置）。链接断开信息可以通过LLDP/DHCP模块（即广播装置）获取。本地节点断电前，会发生消息通知到同一机框内的对端节点。DCM收到对端节点下线、无备用链路的消息时，会从SCM中获取主机信息，与主机自动发起连接（即在事务管理装置接收到无备用链路信息的情况下，从集群控制装置中的节点数据获取主机信息，与主机信息指示的主机发起连接），自动切换链路，主机无感知，从而达到ROCE网卡共享的目的。

本发明实施例中，可以通过网络管理、IP管理、端口管理等模块管理本地节点的支持ROCE-NVME信息（即互联信息），并通过利用MAC组播、IP组播原理的自动发现模块，广播本地的ROCE-NVME信息，接收远端节点信息，以迅速发现、建立、断开与其他节点或者主机的连接。同时，利用MAC组播方式可以发现二层网络内节点设备，利用IP组播方式可以发现三层网络内的节点设备，能够适用于各类网络环境，减轻环境部署要求和步骤。还可以通过VLAN、PFC、ECN等模块，使得存储系统节点能够适用于多种网络环境。此外，通过VPD、Agent协助管理本节点的信息，通过CEM模块同步到本节点的SCM、本集群内的其他节点的SCM，SCM可以管理本集群内所有节点的信息，以便于DCM模块可以在某一节点下线时，可以通过SCM获取下线节点连接的主机信息，与主机自动发起连接，自动切换链路，从而达到ROCE网卡共享的目的。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对相关技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种基于多设备节点的共享系统，其特征在于，所述共享系统包括：

主机，所述主机部署有共享网卡；

存储系统，包含多个设备节点，所述多个设备节点通过路由器与所述主机连接，每个设备节点都部署有共享网卡，其中，每个所述设备节点包含：

存储网络设备，用于控制本地设备节点向所述存储系统中的其他设备节点广播互联信息，并基于所述本地设备节点接收到的应答信息，建立所述本地设备节点与所述应答信息携带的节点标识指示的目标设备节点之间的预设连接；

无损网络设备，用于管理所述存储系统的网络环境；

管理设备，用于将所述本地设备节点的节点数据从共享网卡同步到所述目标设备节点的共享网卡，并管理所述本地设备节点与所述目标设备节点之间的所述预设连接；

所述存储网络设备还包括：连接管理装置，连接管理装置通过以下方式发起预设连接：通过发现进程接收守护进程通知的应答信息，并通知路由器本地设备节点处于上线状态；通过发现进程接收其他设备节点的上线信息，通知守护进程其他设备节点上线；通过守护进程判断其他设备节点是否配置了发现子网，在其他设备节点配置了发现子网的情况下，判断其他设备节点的地址是否属于发现子网，在其他设备节点的地址属于发现子网的情况下，查询其他设备节点的应答信息，并基于查询到的应答信息向其他设备节点发起预设连接。

2.根据权利要求1所述的共享系统，其特征在于，所述设备节点还包括：

环境部署设备，用于在所述存储系统中的设备节点启动后，部署所述网络环境。

3.根据权利要求1所述的共享系统，其特征在于，所述设备节点还包括：

内存管理设备，用于从所述主机的操作系统中申请内存，管理共享所述共享网卡的所述存储网络设备、所述无损网络设备以及所述管理设备中的装置的装置内存。

4.根据权利要求1所述的共享系统，其特征在于，所述存储网络设备包括：

端口地址管理装置，用于管理所述本地设备节点中的预设端口的地址，并监听所述预设端口的端口号，其中，所述预设端口是所述本地设备节点与所述其他设备节点之间进行数据传输的端口；

端口信息管理装置，用于将所述本地设备节点的预设端口信息同步至所述其他设备节点，并在所述本地设备节点注册通信协议的协议信息。

5.根据权利要求1所述的共享系统，其特征在于，所述存储网络设备还包括：

广播装置，用于依据预设间隔周期，向所述其他设备节点广播所述互联信息，并接收所述其他设备节点广播的所述应答信息，其中，所述互联信息和所述应答信息中包括下述至少之一：端口信息、协议信息、地址信息、网络信息，所述广播的类型分为第一组播、第二组播，所述第一组播应用于第一类网络内发现所述其他设备节点，所述第二组播应用于第二类网络内发现所述其他设备节点。

6.根据权利要求5所述的共享系统，其特征在于，所述存储网络设备还包括：

连接管理装置，用于基于所述广播装置接收到的所述应答信息识别待连接设备节点，并建立所述本地设备节点与所述待连接设备节点的所述预设连接；在与所述本地设备节点具有预设连接关系的所述目标设备节点离线的情况下，断开所述本地设备节点与所述目标设备节点的所述预设连接。

7.根据权利要求1所述的共享系统，其特征在于，所述存储网络设备还包括：

多队列管理装置，用于远程管理所述本地设备节点的内存数据存取队列，并向所述管理设备的动态链接管理装置提供数据传输接口，其中，所述动态链接管理装置用于管理所述本地设备节点与所述其他设备节点之间的所述预设连接、所述本地设备节点与所述主机之间的连接。

8.根据权利要求1所述的共享系统，其特征在于，所述存储网络设备还包括：

通信协议管理装置，用于管理所述本地设备节点的通信协议，发送所述通信协议的协议指令，接收所述通信协议的协议状态，并基于所述协议指令进行数据传输以及协议处理。

9.根据权利要求1所述的共享系统，其特征在于，所述无损网络设备包括：

数据包长度调整装置，用于调整所述本地设备节点关联的所述预设连接发送的数据包的最大字节数。

10.根据权利要求1所述的共享系统，其特征在于，所述无损网络设备还包括：

流量隔离装置，用于将所述本地设备节点的预设端口划分至不同区域，并通过所述不同区域进行流量隔离。

11.根据权利要求1所述的共享系统，其特征在于，所述无损网络设备还包括：

流量控制装置，用于更新所述本地设备节点的预设端口的流量配置信息；

拥塞控制装置，用于更新所述本地设备节点的预设端口的拥塞配置信息。

12.根据权利要求1所述的共享系统，其特征在于，所述管理设备包括：

端口信息识别装置，用于描述所述本地设备节点的端口信息，并识别所述其他设备节点的预设端口，判断所述其他设备节点的预设端口是否属于同一设备节点。

13.根据权利要求1所述的共享系统，其特征在于，所述管理设备还包括：

节点信息同步装置，用于将所述节点数据同步到所述本地设备节点的集群控制装置以及所述目标设备节点的所述集群控制装置，其中，所述节点数据包括：地址信息、端口信息、协议信息、配置信息。

14.根据权利要求13所述的共享系统，其特征在于，所述管理设备还包括：

事务管理装置，用于同步所述节点信息同步装置与所述集群控制装置之间的数据，将所述本地设备节点的所述集群控制装置的数据同步至所述目标设备节点的所述集群控制装置；接收所述目标设备节点的所述事务管理装置同步的数据，并通知所述本地设备节点的所述集群控制装置以及所述节点信息同步装置。

15.根据权利要求14所述的共享系统，其特征在于，所述管理设备还包括：

动态链接管理装置，用于管理所述本地设备节点与所述其他设备节点之间的所述预设连接、所述本地设备节点与所述主机之间的连接，其中，在任一条所述预设连接断开的情况下，切换到备用链路，在没有所述备用链路的情况下，将所述节点数据同步到所述本地设备的对端设备节点，通过所述对端设备节点将无备用链路信息通知到所述集群控制装置，通过所述集群控制装置将所述无备用链路信息同步到所述事务管理装置；在所述事务管理装置接收到所述无备用链路信息的情况下，从所述集群控制装置中的所述节点数据获取主机信息，与所述主机信息指示的主机发起连接。

Images