CN113873008B - 一种rdma网络节点的连接重配方法、装置、系统及介质 - Google Patents

Abstract

本申请提供了一种RDMA网络节点的连接重配方法、装置、系统及介质，该方法包括：接收重配请求，重配请求携带需重配节点的标识，需重配节点包括发起节点、旧节点和新节点，控制发起节点根据重配请求向旧节点发送断开连接请求，以使发起节点和旧节点断开连接；当发起节点和旧节点断开连接后，控制发起节点根据重配请求向新节点发送建立连接请求，以使发起节点和新节点建立连接。从而不需要对整个RDMA网络的所有节点进行复位重连，而只需要针对需要修改的节点进行连接重配即可，不会影响其他RDMA节点的正常工作，对整个云平台的影响降到最低，提高了云平台的运行效率。

Description

一种RDMA网络节点的连接重配方法、装置、系统及介质

技术领域

本申请涉及计算机领域，特别涉及一种RDMA网络节点的连接重配方法、装置、系统及介质。

背景技术

云计算平台也称为云平台，是指基于硬件资源和软件资源的服务，提供计算、网络和存储能力。云计算平台可以划分为3类：以数据存储为主的存储型云平台，以数据处理为主的计算型云平台以及计算和数据存储处理兼顾的综合云计算平台。

云计算平台中，数据主要通过以太网传输，为了达到尽量低的传输延时，网络使用RDMA(Remote Direct Memory Access，远程直接数据存取)作为主要的数据传输协议，参见图1所示，为一个典型的具有4个节点的RDMA网络的示意图，每个节点拥有2个QP(QueuePair，队列对)，由于RDMA网络数据传输是建立在QP对的基础上，只有建立连接的QP对之间可以进行RDMA传输，故每个节点可以和2个节点进行RDMA传输，无法和第三个节点进行RDMA传输，例如节点1可以和节点2，节点3进行RDMA传输，但无法和节点4进行RDMA传输。参见图2所示，为另一个典型的具有4个节点的RDMA网络的示意图，和图1的连接关系不同，图2中，节点1可以和节点2，节点4进行RDMA传输，但无法和节点3进行RDMA传输。

现阶段，如果因为业务需要，需要修改RDMA网络各节点的连接关系，需要对整个RDMA网络进行复位重连，这就导致本来不需要重配的QP对，也必须停止发送数据，待连接重建后再继续发送数据，从而导致系统传输性能的大幅下降，数据传输效率较低。举例来说，如果将图1的网络拓扑修改为图2的网络拓扑，只需改变链路2和链路3即可，但链路1和链路4的正常数据传输也会被中断。

发明内容

有鉴于此，本申请的目的在于提供一种RDMA网络节点的连接重配方法、装置、系统及介质，可以按需重配RDMA网络节点的连接关系，对不需要重配连接关系的节点，在重配过程中，仍可以正常进行数据传输，提高了数据传输的效率。

为实现上述目的，本申请有如下技术方案：

第一方面，本申请实施例提供了一种RDMA网络节点的连接重配方法，包括：

接收重配请求，所述重配请求携带需重配节点的标识；所述需重配节点包括发起节点、旧节点和新节点；

控制所述发起节点根据所述重配请求向所述旧节点发送断开连接请求，以使所述发起节点和所述旧节点断开连接；

当所述发起节点和所述旧节点断开连接后，控制所述发起节点根据所述重配请求向所述新节点发送建立连接请求，以使所述发起节点和所述新节点建立连接。

可选地，所述方法还包括：

当所述旧节点接收到所述断开连接请求后在预设时长内未能断开与所述发起节点的连接时，或，当所述新节点接收到所述建立连接请求后在预设时长内未能建立与所述新节点的连接时，进行告警。

可选地，所述控制所述发起节点根据所述重配请求向所述旧节点发送断开连接请求，以使所述发起节点和所述旧节点断开连接，包括：

所述旧节点接收到所述断开连接请求后，控制所述旧节点发送申请断开连接请求，当所述旧节点接收到批准断开连接请求时，则控制所述旧节点与所述发起节点断开。

可选地，所述控制所述发起节点根据所述重配请求向所述新节点发送建立连接请求，以使所述发起节点和所述新节点建立连接，包括：

所述新节点接收到所述建立连接请求后，控制所述新节点发送申请建立连接请求，当所述新节点接收到批准建立连接请求时，则控制所述新节点与所述发起节点连接。

第二方面，本申请实施例提供了一种RDMA网络节点的连接重配装置，包括：

接收单元，用于接收重配请求，所述重配请求携带需重配节点的标识；所述需重配节点包括发起节点、旧节点和新节点；

断开连接单元，用于控制所述发起节点根据所述重配请求向所述旧节点发送断开连接请求，以使所述发起节点和所述旧节点断开连接；

建立连接单元，用于当所述发起节点和所述旧节点断开连接后，控制所述发起节点根据所述重配请求向所述新节点发送建立连接请求，以使所述发起节点和所述新节点建立连接。

可选地，所述装置还包括：

告警单元，用于当所述旧节点接收到所述断开连接请求后在预设时长内未能断开与所述发起节点的连接时，或，当所述新节点接收到所述建立连接请求后在预设时长内未能建立与所述新节点的连接时，进行告警。

可选地，所述断开连接单元包括：

第一控制单元，用于所述旧节点接收到所述断开连接请求后，控制所述旧节点发送申请断开连接请求，当所述旧节点接收到批准断开连接请求时，则控制所述旧节点与所述发起节点断开。

可选地，所述建立连接单元包括：

第二控制单元，用于所述新节点接收到所述建立连接请求后，控制所述新节点发送申请建立连接请求，当所述新节点接收到批准建立连接请求时，则控制所述新节点与所述发起节点连接。

第三方面，本申请实施例提供了一种RDMA网络节点的连接重配系统，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上述RDMA网络节点的连接重配方法的步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理执行时实现如上述RDMA网络节点的连接重配方法的步骤。

与现有技术相比，本申请至少具有以下优点：

本申请提供了一种RDMA网络节点的连接重配方法、装置、系统及介质，该方法包括：接收重配请求，重配请求携带需重配节点的标识，需重配节点包括发起节点、旧节点和新节点，控制发起节点根据重配请求向旧节点发送断开连接请求，以使发起节点和旧节点断开连接；当发起节点和旧节点断开连接后，控制发起节点根据重配请求向新节点发送建立连接请求，以使发起节点和新节点建立连接。从而不需要对整个RDMA网络的所有节点进行复位重连，而只需要针对需要修改的节点进行连接重配即可，不会影响其他RDMA节点的正常工作，对整个云平台的影响降到最低，提高了云平台的运行效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1示出了本申请实施例提供的一种具有4个节点的RDMA网络的示意图；

图2示出了本申请实施例提供的另一种具有4个节点的RDMA网络的示意图；

图3示出了本申请实施例提供的一种RDMA网络节点的连接重配方法的流程图；

图4示出了本申请实施例提供的一种基于FPGA的云计算平台的示意图；

图5示出了本申请实施例提供的一种RDMA网络节点的连接重配装置的示意图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请的具体实施方式做详细的说明。

在下面的描述中阐述了很多具体细节以便于充分理解本申请，但是本申请还可以采用其它不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施例的限制。

正如背景技术中的描述，云计算平台也称为云平台，是指基于硬件资源和软件资源的服务，提供计算、网络和存储能力。云计算平台可以划分为3类：以数据存储为主的存储型云平台，以数据处理为主的计算型云平台以及计算和数据存储处理兼顾的综合云计算平台。

云计算平台中，数据主要通过以太网传输，为了达到尽量低的传输延时，网络使用RDMA(Remote Direct Memory Access，远程直接数据存取)作为主要的数据传输协议，参见图1所示，为一个典型的具有4个节点的RDMA网络的示意图，每个节点拥有2个QP(QueuePair，队列对)，由于RDMA网络数据传输是建立在QP对的基础上，只有建立连接的QP对之间可以进行RDMA传输，故每个节点可以和2个节点进行RDMA传输，无法和第三个节点进行RDMA传输，例如节点1可以和节点2，节点3进行RDMA传输，但无法和节点4进行RDMA传输。参见图2所示，为另一个典型的具有4个节点的RDMA网络的示意图，和图1的连接关系不同，图2中，节点1可以和节点2，节点4进行RDMA传输，但无法和节点3进行RDMA传输。

现阶段，如果因为业务需要，需要修改RDMA网络各节点的连接关系，需要对整个RDMA网络进行复位重连，这就导致本来不需要重配的QP对，也必须停止发送数据，待连接重建后再继续发送数据，从而导致系统传输性能的大幅下降，数据传输效率较低。举例来说，如果将图1的网络拓扑修改为图2的网络拓扑，只需改变链路2和链路3即可，但链路1和链路4的正常数据传输也会被中断。

为了解决以上技术问题，本申请提供了一种RDMA网络节点的连接重配方法、装置、系统及介质，该方法包括：接收重配请求，重配请求携带需重配节点的标识，需重配节点包括发起节点、旧节点和新节点，控制发起节点根据重配请求向旧节点发送断开连接请求，以使发起节点和旧节点断开连接；当发起节点和旧节点断开连接后，控制发起节点根据重配请求向新节点发送建立连接请求，以使发起节点和新节点建立连接。从而不需要对整个RDMA网络的所有节点进行复位重连，而只需要针对需要修改的节点进行连接重配即可，不会影响其他RDMA节点的正常工作，对整个云平台的影响降到最低，提高了云平台的运行效率。

为了更好地理解本申请的技术方案和技术效果，以下将结合附图对具体的实施例进行详细的描述。

示例性方法

参见图3所示，该图为本申请实施例提供的一种RDMA网络节点的连接重配方法的流程图，包括：

S101：接收重配请求，所述重配请求携带需重配节点的标识；所述需重配节点包括发起节点、旧节点和新节点。

在本申请实施例中，以图1所示的RDMA网络转变为图2所示的RDMA节点为例，需重配节点可以包括发起节点1，旧节点3和新节点4，以及发起节点2、旧节点4和新节点3。当要修改链路2时，发起节点为节点1，旧节点为节点3和新节点为节点4；当要修改链路3时，发起节点为节点2、旧节点为节点4和新节点为节点3。需要说明的是，发起节点、旧节点和新节点可以根据对应关系的不同灵活调整，以上仅为示例，本申请实施例在此不作具体限定。

即只修改链路2和链路3，在进行节点连接重配的过程中，链路1和链路4仍可以正常工作，从而对整个云平台的影响降到最低，提高云平台的运行效率。

可选地，在本申请实施例中，云计算平台可以基于FPGA进行构建，(FieldProgrammable Gate Array，现场可编程逻辑门阵列)，参见图4所示，为本申请实施例提供的一种基于FPGA的云计算平台的示意图，系统分为用户端和云端，用户端提供用户编程的软件接口和运行结果输出；云端提供整个的计算架构，将多个FPGA通过网络组成加速资源池，实现数据加速。FPGA以加速卡的形式插在服务器中，服务器内部FPGA加速卡彼此之间通过PCIE互联，FPGA加速卡对外通过高速以太网与FPGA云平台管理服务器互联。FPGA云平台管理服务器将所有FPGA资源进行虚拟化后上云，供用户端的用户使用。

云计算平台中，数据主要通过以太网传输，为了达到尽量低的传输延时，网络使用RDMA作为主要的数据传输协议。其通过直接访问计算机的存储区，将数据从一个系统快速移动到远程系统存储器中，这样就不需要用到多少计算机的处理功能。可以解放内存带宽和CPU周期用于改进应用系统性能。

需要说明的是，本申请实施例在此不具体限定构建云平台的可编程器件的类型，还可以为其他可编程器件，具体可由本领域技术人员根据实际情况进行设定。

参见图1所示，其中节点1为主节点，其它节点为副节点，建立成如图1所示的RDMA网络的建立过程具体如下：

当开始建立后，所有节点首先检查自己拥有的空闲QP数量，之后所有副节点将自己的空闲QP数通过网络反馈给主节点。主节点获取所有节点的空闲QP数后，根据业务需求，进行各个节点QP对的分配，并将分配结果告知各个副节点。各个副节点收到主节点的配置信息后，对本地QP进行配置，然后向主节点发送确认信息。主节点收到所有确认信息后，将整个连接状态记录。至此RDMA网络建立连接过程结束。

S102：控制所述发起节点根据所述重配请求向所述旧节点发送断开连接请求，以使所述发起节点和所述旧节点断开连接。

现有方案中，如果因为业务需要，以图1所示的RDMA网络转变为图2所示的RDMA节点为例，该需求可以来自任何一个节点。由需求节点向主控节点申请修改RDMA网络，主控节点得到修改网络需求后，向所有副节点发送重新建立连接命令，同时待完成当前RDMA传输后，复位本节点；所有副节点完成当前RDMA传输后，复位本节点，完成后告知主控节点。主控节点收到所有副节点复位完毕的确认信息后，根据图2重新进行RDMA网络连接的建立。对整个RDMA网络进行复位重连。这就导致本来不需要重配的QP对，也必须停止发送数据，待连接重建后再继续发送数据。

在本申请实施例中，以图1所示的RDMA网络转变为图2所示的RDMA节点为例，可以仅对链路2和链路3进行修改，具体的，可以控制发起节点根据重配请求向旧节点发送断开连接请求，以使发起节点和旧节点断开连接。

举例来说，当发起节点为节点1时，此时重配请求中的旧节点为节点3，可以根据重配请求向旧节点3发送断开连接请求，以使发起节点1和旧节点3断开连接；当发起节点为节点2时，可以根据重配请求向旧节点4发送断开连接请求，以使发起节点2和旧节点4断开连接。

可选地，当旧节点接收到断开连接请求后，控制旧节点发送申请断开连接请求，当旧节点接收到批准断开连接请求时，则控制旧节点与发起节点断开。可选地，当旧节点接收到拒绝断开连接请求时，则旧节点与发起节点之间仍然保持连接，此时可以控制旧节点发送拒绝断开信息给发起节点，以起到通知作用。

可选地，当旧节点接收到断开连接请求后在预设时长内未能断开与发起节点的连接时，可以进行告警，需要说明的是，本申请实施例在此不具体限定告警的形式，可以为报错，蜂鸣等以起到提醒的作用，具体可由本领域技术人员根据实际情况进行设定。

S102：当所述发起节点和所述旧节点断开连接后，控制所述发起节点根据所述重配请求向所述新节点发送建立连接请求，以使所述发起节点和所述新节点建立连接。

在本申请实施例中，以图1所示的RDMA网络转变为图2所示的RDMA节点为例，当根据重配请求向旧节点3发送断开连接请求，以使发起节点1和旧节点3断开连接后，需要建立发起节点1和新节点4的连接，具体可以为控制发起节点1根据重配请求向新节点4发送建立连接请求，以使发起节点1和新节点4建立连接。

当根据根据重配请求向旧节点4发送断开连接请求，以使发起节点2和旧节点4断开连接后，需要建立发起节点2和新节点3的连接，具体可以为控制发起节点2根据重配请求向新节点3发送建立连接请求，以使发起节点2和新节点3建立连接。至此，完成图1中的RDMA网络向图2中的RDMA网络的转换。从而不需要对整个RDMA网络的所有节点进行复位重连，而只需要针对需要修改的节点进行连接重配即可，不会影响其他RDMA节点的正常工作(如图1中的RDMA网络向图2中的RDMA网络的转换中，只对链路2和3进行了修改，链路1和4仍可以正常工作)，对整个云平台的影响降到最低，提高了云平台的运行效率。

可选地，当新节点接收到建立连接请求后，控制新节点发送申请建立连接请求，当新节点接收到批准建立连接请求时，则控制新节点与发起节点连接。可选地，当新节点接收到拒绝建立连接请求时，则新节点与发起节点之间仍然保持断开，此时可以控制新节点发送拒绝建立信息给发起节点，以起到通知作用。

可选地，当新节点接收到建立连接请求后在预设时长内未能建立与发起节点的连接时，可以进行告警，需要说明的是，本申请实施例在此不具体限定告警的形式，可以为报错，蜂鸣等以起到提醒的作用，具体可由本领域技术人员根据实际情况进行设定。

需要说明的是，本申请实施例在此不限定节点的数量和连接关系，以上仅为示例。

示例性装置

参见图5所示，为本申请实施例提供的一种RDMA网络节点的连接重配装置的示意图，包括：

接收单元501，用于接收重配请求，所述重配请求携带需重配节点的标识；所述需重配节点包括发起节点、旧节点和新节点；

断开连接单元502，用于控制所述发起节点根据所述重配请求向所述旧节点发送断开连接请求，以使所述发起节点和所述旧节点断开连接；

建立连接单元503，用于当所述发起节点和所述旧节点断开连接后，控制所述发起节点根据所述重配请求向所述新节点发送建立连接请求，以使所述发起节点和所述新节点建立连接。

可选地，所述装置还包括：

告警单元，用于当所述旧节点接收到所述断开连接请求后在预设时长内未能断开与所述发起节点的连接时，或，当所述新节点接收到所述建立连接请求后在预设时长内未能建立与所述新节点的连接时，进行告警。

可选地，所述断开连接单元包括：

第一控制单元，用于所述旧节点接收到所述断开连接请求后，控制所述旧节点发送申请断开连接请求，当所述旧节点接收到批准断开连接请求时，则控制所述旧节点与所述发起节点断开。

可选地，所述建立连接单元包括：

第二控制单元，用于所述新节点接收到所述建立连接请求后，控制所述新节点发送申请建立连接请求，当所述新节点接收到批准建立连接请求时，则控制所述新节点与所述发起节点连接。

本申请提供了一种RDMA网络节点的连接重配装置，接收重配请求，重配请求携带需重配节点的标识，需重配节点包括发起节点、旧节点和新节点，控制发起节点根据重配请求向旧节点发送断开连接请求，以使发起节点和旧节点断开连接；当发起节点和旧节点断开连接后，控制发起节点根据重配请求向新节点发送建立连接请求，以使发起节点和新节点建立连接。从而不需要对整个RDMA网络的所有节点进行复位重连，而只需要针对需要修改的节点进行连接重配即可，不会影响其他RDMA节点的正常工作，对整个云平台的影响降到最低，提高了云平台的运行效率。

在上述实施例的基础上，本申请实施例提供了一种RDMA网络节点的连接重配系统，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上述RDMA网络节点的连接重配方法的步骤。

在上述实施例的基础上，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理执行时实现如上述RDMA网络节点的连接重配方法的步骤。

该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其它实施例的不同之处。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

以上所述仅是本申请的优选实施方式，虽然本申请已以较佳实施例披露如上，然而并非用以限定本申请。任何熟悉本领域的技术人员，在不脱离本申请技术方案范围情况下，都可利用上述揭示的方法和技术内容对本申请技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本申请技术方案的内容，依据本申请的技术实质对以上实施例所做的任何的简单修改、等同变化及修饰，均仍属于本申请技术方案保护的范围内。

Claims (10)

1.一种RDMA网络节点的连接重配方法，其特征在于，包括：

接收重配请求，所述重配请求携带需重配节点的标识；所述需重配节点包括发起节点、旧节点和新节点；

控制所述发起节点根据所述重配请求向所述旧节点发送断开连接请求，以使所述发起节点和所述旧节点断开连接；

当所述发起节点和所述旧节点断开连接后，控制所述发起节点根据所述重配请求向所述新节点发送建立连接请求，以使所述发起节点和所述新节点建立连接。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述旧节点接收到所述断开连接请求后在预设时长内未能断开与所述发起节点的连接时，或，当所述新节点接收到所述建立连接请求后在预设时长内未能建立与所述新节点的连接时，进行告警。

3.根据权利要求1所述的方法，其特征在于，所述控制所述发起节点根据所述重配请求向所述旧节点发送断开连接请求，以使所述发起节点和所述旧节点断开连接，包括：

所述旧节点接收到所述断开连接请求后，控制所述旧节点发送申请断开连接请求，当所述旧节点接收到批准断开连接请求时，则控制所述旧节点与所述发起节点断开。

4.根据权利要求1所述的方法，其特征在于，所述控制所述发起节点根据所述重配请求向所述新节点发送建立连接请求，以使所述发起节点和所述新节点建立连接，包括：

所述新节点接收到所述建立连接请求后，控制所述新节点发送申请建立连接请求，当所述新节点接收到批准建立连接请求时，则控制所述新节点与所述发起节点连接。

5.一种RDMA网络节点的连接重配装置，其特征在于，包括：

接收单元，用于接收重配请求，所述重配请求携带需重配节点的标识；所述需重配节点包括发起节点、旧节点和新节点；

断开连接单元，用于控制所述发起节点根据所述重配请求向所述旧节点发送断开连接请求，以使所述发起节点和所述旧节点断开连接；

建立连接单元，用于当所述发起节点和所述旧节点断开连接后，控制所述发起节点根据所述重配请求向所述新节点发送建立连接请求，以使所述发起节点和所述新节点建立连接。

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：

告警单元，用于当所述旧节点接收到所述断开连接请求后在预设时长内未能断开与所述发起节点的连接时，或，当所述新节点接收到所述建立连接请求后在预设时长内未能建立与所述新节点的连接时，进行告警。

7.根据权利要求5所述的装置，其特征在于，所述断开连接单元包括：

第一控制单元，用于所述旧节点接收到所述断开连接请求后，控制所述旧节点发送申请断开连接请求，当所述旧节点接收到批准断开连接请求时，则控制所述旧节点与所述发起节点断开。

8.根据权利要求5所述的装置，其特征在于，所述建立连接单元包括：

第二控制单元，用于所述新节点接收到所述建立连接请求后，控制所述新节点发送申请建立连接请求，当所述新节点接收到批准建立连接请求时，则控制所述新节点与所述发起节点连接。

9.一种RDMA网络节点的连接重配系统，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1-4任意一项所述RDMA网络节点的连接重配方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理执行时实现如权利要求1-4任意一项所述RDMA网络节点的连接重配方法的步骤。