CN115639954A - 一种数据传输方法、装置、设备及介质 - Google Patents

Abstract

本申请公开了一种数据传输方法、装置、设备及介质，涉及计算机技术领域，该方法利用RDMA协议的低延时、低CPU开销、高带宽的特性，也即利用RDMA write/read操作传输数据，利用RDMA rend/recive传输数据操作资源和数据传输长度，管理IO)；利用Ethernet网络的扩展性，通过设备管理和IP管理生产本地私钥，并通过私钥认证管理，保障接入节点的安全，提高数据传输安全性；通过多队列饱和式数据传输，达到数据快速传输的目的。由此达到提高传输安全性，降低传输时延、提示传输速率的效果。

Description

一种数据传输方法、装置、设备及介质

技术领域

本发明涉及计算机技术领域，特别涉及一种数据传输方法、装置、设备及介质。

背景技术

当前，随着互联网、云计算、物联网、移动互联网等技术的发展，数据呈爆炸性增长，同时对传统的数据传输网络带来了新的挑战。面对高性能计算、大数据分析和浪涌型IO(Input/Output，I/O输入/输出)高并发、低时延应用，现有TCP/IP((Transmission ControlProtocol/Internet Protocol，传输控制协议/网际协议)软硬件架构和应用高CPU(central processing unit，中央处理器)消耗的技术特征根本不能满足应用的需求。

综上所述，如何低时延高效率地进行数据传输是当前亟待解决地问题。

发明内容

有鉴于此，本发明的目的在于提供一种数据传输方法、装置、设备及介质，能够低时延高效率地进行数据传输。其具体方案如下：

第一方面，本申请公开了一种数据传输方法，应用于存储系统，所述存储系统包括第一节点和第二节点，所述方法包括：

通过所述第一节点获取所述第一节点的第一信息，并通过所述第二节点获取所述第二节点的第二信息；

基于所述第一信息和所述第二信息判断所述第一节点与所述第二节点之间能否通过ROCE端口进行数据传输；

若能够进行数据传输，则确定所述第一节点和所述第二节点之间进行多队列传输的目标队列；

通过所述第二节点基于RDMA read操作和第二RDMA数据传输资源将表示数据读取的目标命令发送至所述第一节点，并通过所述第一节点基于RDMA write操作和所述第二RDMA数据传输资源接收所述目标命令；所述第二RDMA数据传输资源为所述第二节点通过所述目标队列随时发送至所述第一节点的资源；

通过所述第一节点基于所述RDMA write操作和第一RDMA数据传输资源将所述目标命令对应的目标数据发送至所述第二节点，并通过所述第二节点基于所述RDMA read操作和所述第一RDMA数据传输资源接收所述目标数据；所述第一RDMA数据传输资源为所述第一节点通过所述多队列随时发送至所述第二节点的资源。

可选的，所述基于所述第一信息和所述第二信息判断所述第一节点与所述第二节点之间能否通过ROCE端口进行数据传输，包括：

通过所述第一节点基于所述第一信息生成所述第一节点对应的第一私钥，并基于所述第一私钥生成所述第一节点对应的ROCE网卡的第一ROCE端口私钥，然后将所述第一ROCE端口私钥发送至所述第二节点；

通过所述第二节点基于所述第二信息生成所述第二节点对应的第二私钥，并基于所述第二私钥生成所述第二节点对应的ROCE网卡的第二ROCE端口私钥，然后将所述第二ROCE端口私钥发送至所述第二节点；

通过所述第二节点认证所述第一ROCE端口私钥，并通过所述第一节点认证所述第二ROCE端口私钥，以判断所述第一节点与所述第二节点之间能否通过ROCE端口进行数据传输。

可选的，所述确定所述第一节点和所述第二节点之间进行多队列传输的目标队列之前，还包括：

通过所述第一节点根据所述第一信息确定所述第一节点对应的进行多队列传输第一队列数，并将所述第一队列数发送至所述第二节点，然后接收所述第二队列数；

通过所述第二节点根据所述第二信息确定所述第二节点对应的进行多队列传输第二队列数，并将所述第二队列数发送至所述第一节点，然后接收所述第一队列数；

相应的，所述确定所述第一节点和所述第二节点之间进行多队列传输的目标队列，包括：

通过所述第一节点和所述第二节点分别基于所述第一队列数和所述第二队列数确定所述第一节点和所述第二节点之间进行多队列传输的目标队列数，以确定所述第一节点和所述第二节点之间进行多队列传输的目标队列。

可选的，所述通过所述第一节点基于所述RDMA write操作和第一RDMA数据传输资源将所述目标命令对应的目标数据发送至所述第二节点，包括：

通过所述第一节点判断是否需要发送所述目标命令对应的目标数据；

若需要发送所述目标数据，则通过所述第一节点基于所述RDMA write操作和第一RDMA数据传输资源将所述目标数据发送至所述第二节点。

可选的，所述通过所述第一节点判断是否需要发送所述目标命令对应的目标数据之后，还包括：

若不需要发送所述目标数据，则通过所述第一节点基于RDMA send操作和所述第一RDMA数据传输资源将表示释放所述目标命令的第一响应报文发送至所述第二节点，然后通过所述第二节点基于RDMA Revice操作和所述第一RDMA数据传输资源接收所述第一响应报文并基于所述第一响应报文释放所述目标命令。

可选的，所述通过所述第一节点基于所述RDMA write操作和第一RDMA数据传输资源将所述目标命令对应的目标数据发送至所述第二节点之后，还包括：

通过所述第一节点确定所述目标数据对应的数据地址和数据长度；

通过所述第一节点基于所述数据地址、数据长度和所述目标数据发送状态的标识构建第一响应报文，并基于RDMA send操作和所述第一RDMA数据传输资源将所述第一响应报文发送至所述第二节点，然后通过所述第二节点基于RDMA Revice操作和所述第一RDMA数据传输资源获取所述第一响应报文。

可选的，所述通过所述第二节点基于RDMA Revice操作和所述第一RDMA数据传输资源获取所述第一响应报文之后，还包括：

通过所述第二节点基于所述RDMA send操作和所述第二RDMA数据传输资源将数据传输完成消息发送至所述第一节点，并通过所述第一节点基于所述RDMA Revice操作和所述第二RDMA数据传输资源接收所述数据传输完成消息。

第二方面，本申请公开了一种数据传输装置，应用于存储系统，所述存储系统包括第一节点和第二节点，所述装置包括：

信息获取模块，用于通过所述第一节点获取所述第一节点的第一信息，并通过所述第二节点获取所述第二节点的第二信息；

数据传输判断模块，用于基于所述第一信息和所述第二信息判断所述第一节点与所述第二节点之间能否通过ROCE端口进行数据传输；

目标队列确定模块，用于若能够进行数据传输，则确定所述第一节点和所述第二节点之间进行多队列传输的目标队列；

命令发送模块，用于通过所述第二节点基于RDMA read操作和第二RDMA数据传输资源将表示数据读取的目标命令发送至所述第一节点；所述第二RDMA数据传输资源为所述第二发送模块通过所述目标队列随时发送至所述第一节点的资源；

命令接收模块，用于通过所述第一节点基于RDMA write操作和所述第二RDMA数据传输资源接收所述目标命令；

数据发送模块，用于通过所述第一节点基于所述RDMA write操作和第一RDMA数据传输资源将所述目标命令对应的目标数据发送至所述第二节点；所述第一RDMA数据传输资源为所述第一节点通过所述多队列随时发送至所述目标节点的资源；

数据接收模块，用于通过所述第二节点基于所述RDMA read操作和所述第一RDMA数据传输资源接收所述目标数据。

第三方面，本申请公开了一种电子设备，包括处理器和存储器；其中，所述处理器执行所述存储器中保存的计算机程序时实现前述公开的数据传输方法。

第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的数据传输方法。

可见，本申请通过所述第一节点获取所述第一节点的第一信息，并通过所述第二节点获取所述第二节点的第二信息；基于所述第一信息和所述第二信息判断所述第一节点与所述第二节点之间能否通过ROCE端口进行数据传输；若能够进行数据传输，则确定所述第一节点和所述第二节点之间进行多队列传输的目标队列；通过所述第二节点基于RDMAread操作和第二RDMA数据传输资源将表示数据读取的目标命令发送至所述第一节点，并通过所述第一节点基于RDMA write操作和所述第二RDMA数据传输资源接收所述目标命令；所述第二RDMA数据传输资源为所述第二发送模块通过所述目标队列随时发送至所述第一节点的资源；通过所述第一节点基于所述RDMA write操作和第一RDMA数据传输资源将所述目标命令对应的目标数据发送至所述第二节点，并通过所述第二节点基于所述RDMA read操作和所述第一RDMA数据传输资源接收所述目标数据；所述第一RDMA数据传输资源为所述第一节点通过所述多队列随时发送至所述目标节点的资源。由此可见，本申请利用RDMA read操作和RDMA write操作实现两节点间直接传输，不必经过操作系统，具有了低延时、低CPU开销、高带宽的特性；本申请通过目标队列进行多队列传输，并随时传输第一RDMA数据传输资源和第二RDMA数据传输资源，实现了多队列饱和式数据传输，加快了传输速度；本申请判断出所述第一节点与所述第二节点之间能够进行数据传输之后，才会允许数据传输，增强了安全性，避免传输错误。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请提供的一种数据传输方法流程图；

图2为本申请提供的一种数据传输系统结构示意图；

图3为本申请提供的一种具体的数据传输方法流程图；

图4为本申请提供的一种数据传输装置结构示意图；

图5为本申请提供的一种电子设备结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

当前，随着互联网、云计算、物联网、移动互联网等技术的发展，数据呈爆炸性增长，同时对传统的数据传输网络带来了新的挑战。面对高性能计算、大数据分析和浪涌型IO(Input/Output，I/O输入/输出)高并发、低时延应用，现有TCP/IP((Transmission ControlProtocol/Internet Protocol，传输控制协议/网际协议)软硬件架构和应用高CPU(central processing unit，中央处理器)消耗的技术特征根本不能满足应用的需求。

为了克服上述问题，本申请提供了一种数据传输方案，能够低时延高效率地进行数据传输。

参见图1所示，本申请实施例公开了一种数据传输方法，应用于存储系统，所述存储系统包括第一节点和第二节点，该方法包括：

步骤S11：通过所述第一节点获取所述第一节点的第一信息，并通过所述第二节点获取所述第二节点的第二信息。

本申请实施例中，如图2所示，所述第一节点和所述第二节点都具备图2的数据传输系统，所述数据传输系统是基于ROCE(RDMA over Ethernet)网卡扩展得到的，RDMA(Remote Direct Memory Access)；所述数据传输系统包括：OFED、RDMA_CORE、内存管理模块(Memory manage)、IP管理模块(IP manage)、设备管理模块(Device manage)、认证管理模块(Auth manage)、IO管理模块(IO Build manage)、发送管理模块(IO send manage)、接收管理模块(IO revive manage)，另外，系统中存在网络设备驱动程序(NetdeviceDriver)，也存在RDMA的相关环境部署，包括OFED(驱动)和RDMA_CORE(数据库)。所述第一节点和所述第二节点基于所述传输系统进行数据传输。

需要指出的是，RDMA协议利用Messaging passing through kernel方式，将数据直接从一台计算机的内存传输到另一台计算机，无需双方操作系统的介入，实现了低延时、低CPU开销、高带宽的特性。为了兼容现有的Ethernet网络，RDMA发展了ROCE，使得RDMA技术得到了长足发展。

本申请实施例中，在通过所述第一节点获取所述第一节点的第一信息，并通过所述第二节点获取所述第二节点的第二信息之前，也即在存储系统节点启动时，实施RDMA相关环境OFED、RDMA_CORE的部署。

本申请实施例中，在通过所述第一节点获取所述第一节点的第一信息，并通过所述第二节点获取所述第二节点的第二信息之前，还需要通过所述第一节点的内存管理模块从对应的OS(Operating System，操作系统)中申请内存，通过所述第二节点的内存管理模块从对应的OS中申请内存。需要指出的是，所述内存管理模块用于管理数据传输系统(ROCE共享内部)中的各个模块。

本申请实施例中，所述通过所述第一节点获取所述第一节点的第一信息，并通过所述第二节点获取所述第二节点的第二信息，具体为：通过所述第一节点的设备管理模块读取所述第一节点的PN(profinet，工业以太网接口)、CPU、内存等第一信息，并通过所述第二节点的设备管理模块读取所述第二节点的PN、CPU、内存等第二信息。

步骤S12：基于所述第一信息和所述第二信息判断所述第一节点与所述第二节点之间能否通过ROCE端口进行数据传输。

步骤S13：若能够进行数据传输，则确定所述第一节点和所述第二节点之间进行多队列传输的目标队列。

本申请实施例中，所述确定所述第一节点和所述第二节点之间进行多队列传输的目标队列之前，还包括：通过所述第一节点根据所述第一信息确定所述第一节点对应的进行多队列传输第一队列数，并将所述第一队列数发送至所述第二节点，然后接收所述第二队列数；通过所述第二节点根据所述第二信息确定所述第二节点对应的进行多队列传输第二队列数，并将所述第二队列数发送至所述第一节点，然后接收所述第一队列数。需要指出的是，在确定第一队列数的同时可确定第一内存池大小，在确定第二队列数的同时可确定第二内存池大小。

需要指出的是，具体，通过所述第一节点的内存管理模块根据所述第一信息确定所述第一节点对应的进行多队列传输第一队列数，并将所述第一队列数发送至所述第二节点，然后接收所述第二队列数；通过所述第二节点的内存管理模块根据所述第二信息确定所述第二节点对应的进行多队列传输第二队列数，并将所述第二队列数发送至所述第一节点，然后接收所述第一队列数。需要指出的是所述并将所述第一队列数发送至所述第二节点，然后接收所述第二队列数的过程以及所述将所述第二队列数发送至所述第一节点，然后接收所述第一队列数的过程，都是通过第一节点与第二节点预先存在的一个队列传输的。

本申请实施例中，所述确定所述第一节点和所述第二节点之间进行多队列传输的目标队列，包括：通过所述第一节点和所述第二节点分别基于所述第一队列数和所述第二队列数确定所述第一节点和所述第二节点之间进行多队列传输的目标队列数，以确定所述第一节点和所述第二节点之间进行多队列传输的目标队列。需要指出的是，通过所述第一节点的内存管理模块和所述第二节点的内存管理模块分别基于所述第一队列数和所述第二队列数确定所述第一节点和所述第二节点之间进行多队列传输的目标队列数，以确定所述第一节点和所述第二节点之间进行多队列传输的目标队列；需要指出的是，通过内存管理模块获取对应的节点可以创建的连接数量以及与其他每个节点之间连接的线程数量、QP数量、IO数量。

需要指出的是，所述第一节点和所述第二节点还可以同时获取其他节点的队列数，并确定与其他节点之间的队列数。

步骤S14：通过所述第二节点基于RDMA read操作和第二RDMA数据传输资源将表示数据读取的目标命令发送至所述第一节点，并通过所述第一节点基于RDMA write操作和所述第二RDMA数据传输资源接收所述目标命令；所述第二RDMA数据传输资源为所述第二节点通过所述目标队列随时发送至所述第一节点的资源。

本申请实施例中，通过所述第二节点的发送管理模块基于RDMA read操作和第二RDMA数据传输资源将表示数据读取的目标命令发送至所述第一节点，并通过所述第一节点的接收管理模块基于RDMA write操作和所述第二RDMA数据传输资源接收所述目标命令；所述第二RDMA数据传输资源为所述第二节点通过所述目标队列随时发送至所述第一节点的资源。需要指出的是，所述第二节点根据内存池信息循环发送第二节点内存的RDMA操作元素(地址、长度、key)，发送时不管第一节点是否需要数据传输，都传输第二节点的第二RDMA数据传输资源至第一节点，达到饱和数据传输资源的目的。需要指出的是，所述内存信息是由IO管理模块下发至所述发送管理模块的。

需要指出的是，所述IO管理模块用于管理节点IO的组建、拆包、组包、发送、接收。

步骤S15：通过所述第一节点基于所述RDMA write操作和第一RDMA数据传输资源将所述目标命令对应的目标数据发送至所述第二节点，并通过所述第二节点基于所述RDMAread操作和所述第一RDMA数据传输资源接收所述目标数据；所述第一RDMA数据传输资源为所述第一节点通过所述多队列随时发送至所述第二节点的资源。

本申请实施例中，所述通过所述第一节点基于所述RDMA write操作和第一RDMA数据传输资源将所述目标命令对应的目标数据发送至所述第二节点，包括：通过所述第一节点判断是否需要发送所述目标命令对应的目标数据；若需要发送所述目标数据，则通过所述第一节点基于所述RDMA write操作和第一RDMA数据传输资源将所述目标数据发送至所述第二节点。需要指出的是，第一节点的接收管理模块接收到目标命令后，需要将命令通知到第一节点的IO管理模块，通过所述第一节点的IO管理模块判断是否需要发送所述目标命令对应的目标数据；若需要发送所述目标数据，则需要IO管理模块根据上层任务需求，将目标数据通过接受管理模块发送过来的数据传输资源(第二RDMA数据传输资源)，下发给发送管理模块(也即，发送管理模块根据本端节点数据传输需要，接收IO管理模块下发的IO传输命令，将数据或者命令发送到对端节点)，然后通过所述第一节点的发送管理模块基于所述RDMA write操作和第一RDMA数据传输资源将所述目标数据发送至所述第二节点。需要指出的是，在利用所述IO管理模块之前，还需要通过所述IO管理模块从内存管理模块获取IO资源池数量，获取线程数量。

需要指出的是，将目标数据通过接受管理模块发送过来的数据传输资源下发给发送管理模块时，如果数据过长，则进行拆分处理，分批发送至数据管理模块，也可以分批从第一节点的发送管理模块发送至第二节点。

需要指出的是，若不需要发送所述目标数据，则通过所述第一节点基于RDMA send操作和所述第一RDMA数据传输资源将表示释放所述目标命令的第一响应报文发送至所述第二节点，然后通过所述第二节点基于RDMA Revice操作和所述第一RDMA数据传输资源接收所述第一响应报文并基于所述第一响应报文释放所述目标命令。需要指出的是，若不需要发送所述目标数据，则需要第一节点的IO管理模块通知第一节点的所述发送管理模块，通过所述第一节点的发送管理模块基于RDMA send操作和所述第一RDMA数据传输资源将表示释放所述目标命令的第一响应报文发送至所述第二节点的接收管理模块，然后通过所述第二节点的接收管理模块基于RDMA Revice操作和所述第一RDMA数据传输资源接收所述第一响应报文并基于所述第一响应报文释放所述目标命令；也即，如不需发送数据，则只需通知发送管理模块发送该命令的响应，使第二节点释放该命令，并重新发送第二RDMA数据传输资源。

本申请实施例中，所述通过所述第一节点基于所述RDMA write操作和第一RDMA数据传输资源将所述目标命令对应的目标数据发送至所述第二节点之后，还包括：通过所述第一节点确定所述目标数据对应的数据地址和数据长度；通过所述第一节点基于所述数据地址、数据长度和所述目标数据发送状态的标识构建第一响应报文，并基于RDMA send操作和所述第一RDMA数据传输资源将所述第一响应报文发送至所述第二节点，然后通过所述第二节点基于RDMA Revice操作和所述第一RDMA数据传输资源获取所述第一响应报文。需要指出的是，在IO管理模块判断出需要进行数据传输之后，将第一节点组织好的所述目标数据对应的数据地址和数据长度，通知到发送管理模块，在将目标数据发送至第二节点之后，通过所述第一节点的发送管理模块确定所述目标数据对应的数据地址和数据长度；通过所述第一节点的发送管理模块基于所述数据地址、数据长度和所述目标数据发送状态的标识构建第一响应报文，并基于RDMA send操作和所述第一RDMA数据传输资源将所述第一响应报文发送至所述第二节点的接收管理模块，然后通过所述第二节点的接收管理模块基于RDMA Revice操作和所述第一RDMA数据传输资源获取所述第一响应报文。需要指出的是，所述第二节点的IO管理模块可对第一响应报文进行解析得到数据地址、数据长度和所述目标数据发送状态，此时所述发送状态标识数据传输成功；另外，其它情况的发送状态还可以便是数据传输失败和是否有数据。

本申请实施例中，所述通过所述第二节点基于RDMA Revice操作和所述第一RDMA数据传输资源获取所述第一响应报文之后，还包括：通过所述第二节点基于所述RDMA send操作和所述第二RDMA数据传输资源将数据传输完成消息发送至所述第一节点，并通过所述第一节点基于所述RDMA Revice操作和所述第二RDMA数据传输资源接收所述数据传输完成消息。需要指出的是，通过所述第二节点的发送管理模块基于所述RDMA send操作和所述第二RDMA数据传输资源将数据传输完成消息发送至所述第一节点，并通过所述第一节点的接收管理模块基于所述RDMA Revice操作和所述第二RDMA数据传输资源接收所述数据传输完成消息，然后通过接收管理模块将所述数据传输完成消息发送至第一节点的IO管理模块，通过IO管理模块将数据传输完成消息的数据组包，解析，并根据解析结果，通知到相应模块。

需要指出的是，RDMA Revice操作和RDMA send操作也具有低延时、低CPU开销、高带宽的特性。

可见，本申请通过所述第一节点获取所述第一节点的第一信息，并通过所述第二节点获取所述第二节点的第二信息；基于所述第一信息和所述第二信息判断所述第一节点与所述第二节点之间能否通过ROCE端口进行数据传输；若能够进行数据传输，则确定所述第一节点和所述第二节点之间进行多队列传输的目标队列；通过所述第二节点基于RDMAread操作和第二RDMA数据传输资源将表示数据读取的目标命令发送至所述第一节点，并通过所述第一节点基于RDMA write操作和所述第二RDMA数据传输资源接收所述目标命令；所述第二RDMA数据传输资源为所述第二发送模块通过所述目标队列随时发送至所述第一节点的资源；通过所述第一节点基于所述RDMA write操作和第一RDMA数据传输资源将所述目标命令对应的目标数据发送至所述第二节点，并通过所述第二节点基于所述RDMA read操作和所述第一RDMA数据传输资源接收所述目标数据；所述第一RDMA数据传输资源为所述第一节点通过所述多队列随时发送至所述目标节点的资源。由此可见，本申请利用RDMA read操作和RDMA write操作实现两节点间直接传输，不必经过操作系统，具有了低延时、低CPU开销、高带宽的特性；本申请通过目标队列进行多队列传输，并随时传输第一RDMA数据传输资源和第二RDMA数据传输资源，实现了多队列饱和式数据传输，加快了传输速度；本申请判断出所述第一节点与所述第二节点之间能够进行数据传输之后，才会允许数据传输，增强了安全性，避免传输错误。

参见图3所示，本申请实施例公开了一种具体的数据传输方法，应用于存储系统，所述存储系统包括第一节点和第二节点，该方法包括：

步骤S21：通过所述第一节点获取所述第一节点的第一信息，并通过所述第二节点获取所述第二节点的第二信息。

其中，关于步骤S21的更加具体的处理过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

步骤S22：通过所述第一节点基于所述第一信息生成所述第一节点对应的第一私钥，并基于所述第一私钥生成所述第一节点对应的ROCE网卡的第一ROCE端口私钥，然后将所述第一ROCE端口私钥发送至所述第二节点。

本申请实施例中，通过所述第一节点的设备管理模块基于所述第一信息生成所述第一节点对应的第一私钥，并通过所述第一节点的IP管理模块基于所述第一私钥生成所述第一节点对应的ROCE网卡的第一ROCE端口私钥，然后将所述第一ROCE端口私钥发送至所述第二节点。

需要指出的是，所述设备管理模块根据第一信息生成一定规则的认证私钥，用于节点接入认证；IP管理模块用于管理ROCE网口，识别、创建ROCE口，并配置、管理、删除ROCE网卡的IP信息；根据设备管理模块的私钥生成端口私钥，用于认证。

步骤S23：通过所述第二节点基于所述第二信息生成所述第二节点对应的第二私钥，并基于所述第二私钥生成所述第二节点对应的ROCE网卡的第二ROCE端口私钥，然后将所述第二ROCE端口私钥发送至所述第二节点。

本申请实施例中，通过所述第二节点的设备管理模块基于所述第二信息生成所述第二节点对应的第二私钥，并通过所述第一节点的IP管理模块基于所述第二私钥生成所述第二节点对应的ROCE网卡的第二ROCE端口私钥，然后将所述第二ROCE端口私钥发送至所述第二节点。

需要指出的是，所述设备管理模块根据第二信息生成一定规则的认证私钥，用于节点接入认证；IP管理模块用于管理ROCE网口，识别、创建ROCE口，并配置、管理、删除ROCE网卡的IP信息；根据设备管理模块的私钥生成端口私钥，用于认证。

步骤S24：通过所述第二节点认证所述第一ROCE端口私钥，并通过所述第一节点认证所述第二ROCE端口私钥，以判断所述第一节点与所述第二节点之间能否通过ROCE端口进行数据传输。

本申请实施例中，第一节点和第二节点认证对方私钥，以在认证通过后允许所述第一节点与所述第二节点之间通过ROCE端口进行数据传输。需要指出的是，通过所述第二节点的认证管理模块认证所述第一ROCE端口私钥，并通过所述第一节点的认证管理模块认证所述第二ROCE端口私钥。

需要指出的是，认证管理模块用于管理认证、管理与其他节点的连接，通过建立的对端节点连接过程中的端口私钥，进行验证，是否可以接入本端节点。

本申请实施例中，利用Ethernet网络的扩展性，通过认证管理，保障接入节点的安全，更提高了传输安全性。

步骤S25：若能够进行数据传输，则确定所述第一节点和所述第二节点之间进行多队列传输的目标队列。

其中，关于步骤S25的更加具体的处理过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

步骤S26：通过所述第二节点基于RDMA read操作和第二RDMA数据传输资源将表示数据读取的目标命令发送至所述第一节点，并通过所述第一节点基于RDMA write操作和所述第二RDMA数据传输资源接收所述目标命令；所述第二RDMA数据传输资源为所述第二节点通过所述目标队列随时发送至所述第一节点的资源。

其中，关于步骤S26的更加具体的处理过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

步骤S27：通过所述第一节点基于所述RDMA write操作和第一RDMA数据传输资源将所述目标命令对应的目标数据发送至所述第二节点，并通过所述第二节点基于所述RDMAread操作和所述第一RDMA数据传输资源接收所述目标数据；所述第一RDMA数据传输资源为所述第一节点通过所述多队列随时发送至所述第二节点的资源。

其中，关于步骤S27的更加具体的处理过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

可见，通过所述第一节点获取所述第一节点的第一信息，并通过所述第二节点获取所述第二节点的第二信息；通过所述第一节点基于所述第一信息生成所述第一节点对应的第一私钥，并基于所述第一私钥生成所述第一节点对应的ROCE网卡的第一ROCE端口私钥，然后将所述第一ROCE端口私钥发送至所述第二节点；通过所述第二节点基于所述第二信息生成所述第二节点对应的第二私钥，并基于所述第二私钥生成所述第二节点对应的ROCE网卡的第二ROCE端口私钥，然后将所述第二ROCE端口私钥发送至所述第二节点；通过所述第二节点认证所述第一ROCE端口私钥，并通过所述第一节点认证所述第二ROCE端口私钥，以判断所述第一节点与所述第二节点之间能否通过ROCE端口进行数据传输；若能够进行数据传输，则确定所述第一节点和所述第二节点之间进行多队列传输的目标队列；通过所述第二节点基于RDMA read操作和第二RDMA数据传输资源将表示数据读取的目标命令发送至所述第一节点，并通过所述第一节点基于RDMA write操作和所述第二RDMA数据传输资源接收所述目标命令；所述第二RDMA数据传输资源为所述第二发送模块通过所述目标队列随时发送至所述第一节点的资源；通过所述第一节点基于所述RDMA write操作和第一RDMA数据传输资源将所述目标命令对应的目标数据发送至所述第二节点，并通过所述第二节点基于所述RDMA read操作和所述第一RDMA数据传输资源接收所述目标数据；所述第一RDMA数据传输资源为所述第一节点通过所述多队列随时发送至所述目标节点的资源。由此可见，本申请利用RDMA read操作和RDMA write操作实现两节点间直接传输，不必经过操作系统，具有了低延时、低CPU开销、高带宽的特性；本申请通过目标队列进行多队列传输，并随时传输第一RDMA数据传输资源和第二RDMA数据传输资源，实现了多队列饱和式数据传输，加快了传输速度；本申请利用第二ROCE端口私钥和第一ROCE端口私钥判断出所述第一节点与所述第二节点之间能够进行数据传输之后，才会允许数据传输，增强了安全性，避免传输错误。

参见图2所述的数据传输系统，每个模块的作用如下所示：

1、在存储系统节点启动时，实施RDMA相关环境OFED、RDMA_CORE的部署。

2、内存管理模块从OS中申请内存，用于管理ROCE共享内部各个模块，根据节点信息：如设备CPU、内存大小等，确定内存池大小，多队列传输的队列数

3、device manage(设备管理模块，又称节点管理模块)用于读取本设备的PN、CPU、内存等信息，根据设备信息生成一定规则的认证私钥，用于设备接入认证。

4、IP manage(IP管理模块)用于管理ROCE网口，识别、创建ROCE口，并配置、管理、删除ROCE网卡的IP信息；根据device manage模块的私钥生成端口私钥，用于认证。

5、认证管理模块用于管理认证、管理与其他节点的连接，通过建立连接过程中的私钥，进行验证，对端节点是否可以接入本端节点，通过内存管理模块获取本端节点可以创建的连接数量、与其他每个设备连接的线程梳理、QP数量、IO数量。

6、IO管理模块，用于管理本地IO的组建、拆包、组包、发送、接收。首先从内存管理模块获取IO资源池数量，获取线程数量，根据上层任务需求，将数据通过接受管理模块发送过来的数据传输资源，将需要传输的数据下发给发送管理模块；如数据较长，则进行拆分处理；同时处理接受模块收到的数据传输完成消息，将数据组包，解析，并根据解析结果，通知到相应模块；数据发送完成后，利用RDMA send、recive操作，通知对端。

7、发送管理模块：一、根据IO管理模块下发的内存池信息，循环发送本地内存的RDMA操作元素(地址、长度、key)，发送时不管远端是否需要数据传输，都传输本地的RDMA数据传输资源，达到饱和数据传输资源的目的；二、根据本端数据传输需要，接收IO管理模块下发的IO传输命令，将数据或者命令发送到对端节点，由于RDMA read/write操作对端无法获取数据长度，将data的传输长度，封装在响应报文中，通过RDMA send操作发送到对端，对端可以通过RDMA Revice操作获取本次数据传输的长度和状态(成功、失败、是否有数据)。

8、接收管理模块，用于接收远端发送过来的命令和本地发送到对端命令对应的响应。收到对端的命令则通知给IO管理模块，IO管理模块会根据自身需求，决定是否发送数据，如需发送数据则将本地组织好的数据地址、长度，通知到发送管理模块，数据传输完成后发送该命令的响应；如不需发送数据，则只需通知发送管理模块发送该命令的响应，使对端释放该命令，并重新发送数据传输资源。

综上所述，本申请提出了一种基于ROCE网卡的饱和式通讯的低延时高效率的控制系统。该方法利用RDMA协议(RDMA read/write send/recive操作)的低延时、低CPU开销、高带宽的特性(用RDMA read/write操作的DMA特性，发送数据；利用RDMA end/recive传输数据操作资源和数据传输长度，管理IO)；利用Ethernet网络的扩展性，通过设备管理和IP管理生产本地私钥，并通过私钥认证管理，保障接入节点的安全，提高数据传输安全性；通过多队列饱和式数据传输，达到数据快速传输的目的。由此达到提高传输安全性，降低传输时延、提示传输速率的效果。

需要指出的是，RDMA协议利用Messaging passing through kernel方式，将数据直接从一台计算机的内存传输到另一台计算机，无需双方操作系统的介入，实现了低延时、低CPU开销、高带宽的特性。为了兼容现有的Ethernet网络，RDMA发展了ROCE，使得RDMA技术得到了长足发展。

参见图4所示，本申请实施例公开了一种数据传输装置，应用于存储系统，所述存储系统包括第一节点和第二节点，所述装置包括：

信息获取模块11，用于通过所述第一节点获取所述第一节点的第一信息，并通过所述第二节点获取所述第二节点的第二信息；

数据传输判断模块12，用于基于所述第一信息和所述第二信息判断所述第一节点与所述第二节点之间能否通过ROCE端口进行数据传输；

目标队列确定模块13，用于若能够进行数据传输，则确定所述第一节点和所述第二节点之间进行多队列传输的目标队列；

命令发送模块14，用于通过所述第二节点基于RDMA read操作和第二RDMA数据传输资源将表示数据读取的目标命令发送至所述第一节点；所述第二RDMA数据传输资源为所述第二发送模块通过所述目标队列随时发送至所述第一节点的资源；

命令接收模块15，用于通过所述第一节点基于RDMA write操作和所述第二RDMA数据传输资源接收所述目标命令；

数据发送模块16，用于通过所述第一节点基于所述RDMA write操作和第一RDMA数据传输资源将所述目标命令对应的目标数据发送至所述第二节点；所述第一RDMA数据传输资源为所述第一节点通过所述多队列随时发送至所述目标节点的资源；

数据接收模块17，用于通过所述第二节点基于所述RDMA read操作和所述第一RDMA数据传输资源接收所述目标数据。

其中，关于上述各个模块更加具体的工作过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

可见，本申请通过所述第一节点获取所述第一节点的第一信息，并通过所述第二节点获取所述第二节点的第二信息；基于所述第一信息和所述第二信息判断所述第一节点与所述第二节点之间能否通过ROCE端口进行数据传输；若能够进行数据传输，则确定所述第一节点和所述第二节点之间进行多队列传输的目标队列；通过所述第二节点基于RDMAread操作和第二RDMA数据传输资源将表示数据读取的目标命令发送至所述第一节点，并通过所述第一节点基于RDMA write操作和所述第二RDMA数据传输资源接收所述目标命令；所述第二RDMA数据传输资源为所述第二发送模块通过所述目标队列随时发送至所述第一节点的资源；通过所述第一节点基于所述RDMA write操作和第一RDMA数据传输资源将所述目标命令对应的目标数据发送至所述第二节点，并通过所述第二节点基于所述RDMA read操作和所述第一RDMA数据传输资源接收所述目标数据；所述第一RDMA数据传输资源为所述第一节点通过所述多队列随时发送至所述目标节点的资源。由此可见，本申请利用RDMA read操作和RDMA write操作实现两节点间直接传输，不必经过操作系统，具有了低延时、低CPU开销、高带宽的特性；本申请通过目标队列进行多队列传输，并随时传输第一RDMA数据传输资源和第二RDMA数据传输资源，实现了多队列饱和式数据传输，加快了传输速度；本申请判断出所述第一节点与所述第二节点之间能够进行数据传输之后，才会允许数据传输，增强了安全性，避免传输错误。

进一步的，本申请实施例还提供了一种电子设备，图5是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。

图5为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、输入输出接口24、通信接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任意实施例公开的数据传输方法的相关步骤。

本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口25能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口24，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。

另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，存储器22作为可以包括作为运行内存的随机存取存储器和用于外部内存的存储用途的非易失性存储器，其上的存储资源包括操作系统221、计算机程序222等，存储方式可以是短暂存储或者永久存储。

其中，操作系统221用于管理与通过源主机上电子设备20上的各硬件设备以及计算机程序222，操作系统221可以是Windows、Unix、Linux等。计算机程222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的数据传输方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。

本实施例中，所述输入输出接口24具体可以包括但不限于USB接口、硬盘读取接口、串行接口、语音输入接口、指纹输入接口等。

进一步的，本申请实施例还公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的数据传输方法。

关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。

这里所说的计算机可读存储介质包括随机存取存储器(Random Access Memory，RAM)、内存、只读存储器(Read-Only Memory，ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、磁碟或者光盘或技术领域内所公知的任意其他形式的存储介质。其中，所述计算机程序被处理器执行时实现前述数据传输方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的数据传输方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种数据传输方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种数据传输方法，其特征在于，应用于存储系统，所述存储系统包括第一节点和第二节点，所述方法包括：

通过所述第一节点获取所述第一节点的第一信息，并通过所述第二节点获取所述第二节点的第二信息；

基于所述第一信息和所述第二信息判断所述第一节点与所述第二节点之间能否通过ROCE端口进行数据传输；

若能够进行数据传输，则确定所述第一节点和所述第二节点之间进行多队列传输的目标队列；

通过所述第二节点基于RDMA read操作和第二RDMA数据传输资源将表示数据读取的目标命令发送至所述第一节点，并通过所述第一节点基于RDMA write操作和所述第二RDMA数据传输资源接收所述目标命令；所述第二RDMA数据传输资源为所述第二节点通过所述目标队列随时发送至所述第一节点的资源；

通过所述第一节点基于所述RDMA write操作和第一RDMA数据传输资源将所述目标命令对应的目标数据发送至所述第二节点，并通过所述第二节点基于所述RDMA read操作和所述第一RDMA数据传输资源接收所述目标数据；所述第一RDMA数据传输资源为所述第一节点通过所述多队列随时发送至所述第二节点的资源。

2.根据权利要求1所述的数据传输方法，其特征在于，所述基于所述第一信息和所述第二信息判断所述第一节点与所述第二节点之间能否通过ROCE端口进行数据传输，包括：

通过所述第一节点基于所述第一信息生成所述第一节点对应的第一私钥，并基于所述第一私钥生成所述第一节点对应的ROCE网卡的第一ROCE端口私钥，然后将所述第一ROCE端口私钥发送至所述第二节点；

通过所述第二节点基于所述第二信息生成所述第二节点对应的第二私钥，并基于所述第二私钥生成所述第二节点对应的ROCE网卡的第二ROCE端口私钥，然后将所述第二ROCE端口私钥发送至所述第二节点；

通过所述第二节点认证所述第一ROCE端口私钥，并通过所述第一节点认证所述第二ROCE端口私钥，以判断所述第一节点与所述第二节点之间能否通过ROCE端口进行数据传输。

3.根据权利要求1所述的数据传输方法，其特征在于，所述确定所述第一节点和所述第二节点之间进行多队列传输的目标队列之前，还包括：

通过所述第一节点根据所述第一信息确定所述第一节点对应的进行多队列传输第一队列数，并将所述第一队列数发送至所述第二节点，然后接收所述第二队列数；

通过所述第二节点根据所述第二信息确定所述第二节点对应的进行多队列传输第二队列数，并将所述第二队列数发送至所述第一节点，然后接收所述第一队列数；

相应的，所述确定所述第一节点和所述第二节点之间进行多队列传输的目标队列，包括：

通过所述第一节点和所述第二节点分别基于所述第一队列数和所述第二队列数确定所述第一节点和所述第二节点之间进行多队列传输的目标队列数，以确定所述第一节点和所述第二节点之间进行多队列传输的目标队列。

4.根据权利要求1所述的数据传输方法，其特征在于，所述通过所述第一节点基于所述RDMA write操作和第一RDMA数据传输资源将所述目标命令对应的目标数据发送至所述第二节点，包括：

通过所述第一节点判断是否需要发送所述目标命令对应的目标数据；

若需要发送所述目标数据，则通过所述第一节点基于所述RDMA write操作和第一RDMA数据传输资源将所述目标数据发送至所述第二节点。

5.根据权利要求4所述的数据传输方法，其特征在于，所述通过所述第一节点判断是否需要发送所述目标命令对应的目标数据之后，还包括：

若不需要发送所述目标数据，则通过所述第一节点基于RDMA send操作和所述第一RDMA数据传输资源将表示释放所述目标命令的第一响应报文发送至所述第二节点，然后通过所述第二节点基于RDMA Revice操作和所述第一RDMA数据传输资源接收所述第一响应报文并基于所述第一响应报文释放所述目标命令。

6.根据权利要求1至5任一项所述的数据传输方法，其特征在于，所述通过所述第一节点基于所述RDMA write操作和第一RDMA数据传输资源将所述目标命令对应的目标数据发送至所述第二节点之后，还包括：

通过所述第一节点确定所述目标数据对应的数据地址和数据长度；

通过所述第一节点基于所述数据地址、数据长度和所述目标数据发送状态的标识构建第一响应报文，并基于RDMA send操作和所述第一RDMA数据传输资源将所述第一响应报文发送至所述第二节点，然后通过所述第二节点基于RDMA Revice操作和所述第一RDMA数据传输资源获取所述第一响应报文。

7.据权利要求6所述的数据传输方法，其特征在于，所述通过所述第二节点基于RDMARevice操作和所述第一RDMA数据传输资源获取所述第一响应报文之后，还包括：

通过所述第二节点基于所述RDMA send操作和所述第二RDMA数据传输资源将数据传输完成消息发送至所述第一节点，并通过所述第一节点基于所述RDMA Revice操作和所述第二RDMA数据传输资源接收所述数据传输完成消息。

8.一种数据传输装置，其特征在于，应用于存储系统，所述存储系统包括第一节点和第二节点，所述装置包括：

信息获取模块，用于通过所述第一节点获取所述第一节点的第一信息，并通过所述第二节点获取所述第二节点的第二信息；

数据传输判断模块，用于基于所述第一信息和所述第二信息判断所述第一节点与所述第二节点之间能否通过ROCE端口进行数据传输；

目标队列确定模块，用于若能够进行数据传输，则确定所述第一节点和所述第二节点之间进行多队列传输的目标队列；

命令发送模块，用于通过所述第二节点基于RDMA read操作和第二RDMA数据传输资源将表示数据读取的目标命令发送至所述第一节点；所述第二RDMA数据传输资源为所述第二发送模块通过所述目标队列随时发送至所述第一节点的资源；

命令接收模块，用于通过所述第一节点基于RDMA write操作和所述第二RDMA数据传输资源接收所述目标命令；

数据发送模块，用于通过所述第一节点基于所述RDMA write操作和第一RDMA数据传输资源将所述目标命令对应的目标数据发送至所述第二节点；所述第一RDMA数据传输资源为所述第一节点通过所述多队列随时发送至所述目标节点的资源；

数据接收模块，用于通过所述第二节点基于所述RDMA read操作和所述第一RDMA数据传输资源接收所述目标数据。

9.一种电子设备，其特征在于，包括处理器和存储器；其中，所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1至7任一项所述的数据传输方法。

10.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的数据传输方法。

Images