CN113965626A - 一种发送标签数据的方法、接收标签数据的方法及相关装置 - Google Patents

Abstract

本发明提供一种发送标签数据的方法、接收标签数据的方法及相关装置其中涉及的发送标签数据的方法、接收标签数据的方法，并在此基础上的基于RDMA的标签数据传输方法，以及相关装置、计算机网络系统和计算机可读存储介质，主要是在源主机端通过对请求跨端通信的标签、数据的内存拷贝、拼接，构造包括所述标签、数据的RDMA传输数据段和执行对所述RDMA传输数据段的RDMA发送，以及在目的主机端通过所述标签、数据内存偏移量解析RDMA传输数据段获取被传输的标签、数据，进而实现标签数据中标签、数据更为广泛且简单高效地一并跨端传输。

Description

一种发送标签数据的方法、接收标签数据的方法及相关装置

技术领域

本发明涉及计算机通信技术领域，具体地，涉及一种发送标签数据的方法、接收标签 数据的方法及相关装置。

背景技术

随着电子信息技术的发展，越来越多的电子计算机服务被广泛提供给人们的生产生活 活动。然而，单台计算机设备能够提供服务的能力毕竟有限；故现在越来越多的计算机服务， 特别是功能强大的计算机服务，是通过若干台计算机设备构成的计算机集群实现的。不同的 计算机设备通过网络连接构成服务器集群，进而为人们提供各种形式的计算机服务。在对外 提供服务时，不免涉及跨计算机设备终端间的调用和数据交互，即计算机间的跨端数据通信。 而计算机设备间的跨端通信，通常都是在TCP/IP协议支持下实现的。

然而，传统的TCP/IP技术在数据包处理过程中，要经过操作系统及其他软件层，需要占用大量的服务器资源和内存总线带宽，数据在系统内存、处理器缓存和网络控制器缓存 之间来回进行复制移动，给服务器的CPU和内存造成了沉重负担。尤其是网络带宽、处理器 速度与内存带宽三者的严重"不匹配性"，更加剧了网络延迟效应。

RDMA是一种远程直接数据存取技术。作为一种远程内存访问技术，RDMA能够使 计算机直接存取其他计算机的内存，而不需要经过处理器的处理。RDMA将数据从一个系统 快速移动到远程系统的内存中，而不对操作系统造成任何影响。正是由于RDMA通信具备上 述优点，故在越来越多的应用场景中，特别是在大数据、AI领域，当有着大量的数据远程通 信请求产生时，越来越倾向于选择基于RDMA协议执行跨端数据传输。

然而，在这些应用场景中，不免涉标签数据(即带有标签的数据对象)的跨端通信；这其中不仅限于原本就有着对应标签的数据对象，也包括数据对象原本无标签，而在应用执 行过程中出于某种需要被(临时或永久地)打上标签的数据对象。在现有的通信技术方案中， 基于TCP/IP通信框架一般是不关注、且在技术上也不感知涉及跨端通信的标签、数据对应的 内存地址，它们一般是通过CPU拷贝以及在操作系统内核协议栈的支持下，遵循着一定的数 据格式，逐包发送到目的主机端的，并在目的主机端解析进而实现有效通信的。但是，RDMA 是“零拷贝”的技术，是绕过操作内核的；另，也缺少在此之上的数据格式支持；即便是目 的主机端接收到的数据，也仅会被视为无法识别的字节流，而无法解析识别的。

此外，这里的标签，特别是那些出于某个或某些特定的功能需要被通信模块以外的功 能模块生成的标签，底层通信模块更是很难感知其与数据的对应关系；同时标签往往是小的 数据，当被作为一个小的、独立的数据对象进行RDMA通信时，由于RDMA通信请求调用 本身是存在一定开销的，标签这种小的数据传输对象基于RDMA进行传输往往是负收益的。

发明内容

有鉴于此，本发明提供一种发送标签数据的方法、接收标签数据的方法及相关装置。

一方面，本发明实施例提供一种发送标签数据的方法，该方法应用于计算机跨端通信 系统中的源主机端，具体应用于标签数据的RDMA传输，其能够生成包括着标签数据(即相 互对应的标签、数据)的RDMA报文，以及发送RDMA报文。

上述的标签数据发送方法，包括：对于请求跨端传输的数据及其对应的标签，将所述 数据、标签拷贝到一块地址连续的内存中，并拼接二者构造RDMA传输数据段；而上述的RDMA传输数据段包括：前面述及的标签、数据；将上述的RDMA传输数据段所对应的内 存注册为RDMA内存；根据其生成对应着(也即包括着)标签数据的RDMA报文；并发送 所述RDMA报文；以及同时将所述的RDMA传输数据段中标签、数据的内存偏移量信息等 发送给目的主机端；其中，具体来说，事实上前面述及的每个RDMA报文中，都包括有上述 标签、数据内容的全部或部分数据；而全部的RDMA报文中则共同荷载了上述的标签、数据 内容。

在第一方面的各实施例中，其中的一些作为一种可能的实现方式，所提供的发送数据 的方法包括：通过DMA引擎申请一块地址连续的内存，作为上述的地址连续内存，并通过 DMA引擎拷贝所述数据、标签到上述的内存中，以实现所述RDMA传输数据段的构造。

在第一方面的各实施例中，其中的一些作为又一种可能的实现方式，优选地，所提供 的发送数据的方法包括：在构造所述RDMA传输数据段时，使所述的RDMA传输数据段还包括：数据段头部；而其中的数据段头部将占据所述数据段前面固定的若干字段；其用来记录数据段的信息，其中的记录信息包括：构造所述RDMA传输数据段时所述标签、数据的内存偏移量；而如此，所述的标签、数据的内存偏移量信息，就通过所述RDMA传输数据段一 并发送给目的主机端，减少了额外的控制消息通信。

在第一方面的各实施例中，其中的一些作为又一种可能的实现方式，所提供的发送数 据的方法包括：其中的RDMA数据传输，为单侧RDMA；即其基本语义操作为RDMA读操作，或者是RDMA写操作，以减少通信两端间的消息传输和交互，提供整体通信效率。

另一方面，本发明实施例提供一种接收标签数据的方法，该方法应用于计算机跨端通 信系统中的目的主机端，具体应用于标签数据的RDMA传输，其能够接收包括着标签数据(即 相互对应的标签、数据)的RDMA报文，以及从中解析获取被传输的标签、数据。

结合第一方面，对应地，上述的标签数据接收方法，包括：对于接收的标签数据，具体来说，即接收其全部的RDMA报文，得到完整的包括着标签数据的数据段，即源主机端发来的RDMA传输数据段；所述的RDMA传输数据段包括：被传输的标签、数据；

解析所述标签数据，其具体过程：即根据来自源主机端的标签、数据内存偏移量，从 所述的RDMA传输数据段中获取被传输的标签、数据。

在第二方面的各实施例中，其中的一些作为一种可能的实现方式，优选地，其中接收 得到的所述RDMA传输数据段还包括：数据段头部；而其中的数据段头部将占据所述数据段 前面固定的若干字段；其记录有：包括构造所述RDMA传输数据段时所述标签、数据的内存 偏移量的信息；故这些实施例中的解析标签数据，具体过程包括：

先解析所述的数据段头部，获取其中所述的标签、数据的内存偏移量；

以及在此基础上，利用上述标签、数据的内存偏移量，从所述的RDMA传输数据段中获取被传输的标签、数据，以提供给目的主机端的相关应用访问或调用。

再一方面，本发明实施例提供一种基于RDMA的标签数据传输方法，该方法应用于计算机跨端通信系统的标签数据RDMA传输，所述系统包括源主机端设备和目的主机端设备；其中，源主机端设备用于标签数据的发送，而目的主机端设备用于标签数据的接收。

结合第一、第二方面，上述的基于RDMA的标签数据传输方法，包括：

对于源主机端请求跨端传输的数据及其对应的标签，在源主机端执行第一方面述及的 发送标签数据的方法，以及在目的主机端执行第二方面述及的接收标签数据的方法。

又一方面，本发明实施例提供一种用于标签数据RDMA传输的装置。

结合上述各方面，上述的装置包括：RDMA网卡、处理器，和存储器；其中，所述 的存储器存储有可在所述处理器上运行的计算机程序；而所述的处理器在执行上述计算机程序时，能够与所述RDMA网卡共同执行第一方面述及的发送标签数据的方法，

和/或，第二方面述及的接收标签数据的方法。

又一方面，本发明实施例提供一种计算机网络系统。

结合上述各方面，上述的计算机网络系统，包括：

若干台(不少于两台的)第四方面述及的的装置；所述装置通过RDMA网络彼此连接；上述这些装置中，或被用于标签数据RDMA报文的发送，或被用于标签数据RDMA报 文的接收，或者既被用于标签数据RDMA报文的发送，又被用于其他装置发来的标签数据 RDMA报文的接收。

又一方面，本发明实施例提供一种计算机可读存储介质。

上述的计算机可读存储介质中存储有用于执行标签数据传输的代码，其中包括：用于 执行第一方面述及的发送标签数据的方法操作的指令，和/或，第二方面述及的接收标签数据 的方法操作的指令，或，第三方面述及的基于RDMA的标签数据传输方法操作的指令。

上述诸实施例提供的发送标签数据的方法、接收标签数据的方法，并在此基础上的基 于RDMA的标签数据传输方法，以及相关装置、计算机网络系统和计算机可读存储介质，主 要是在源主机端通过对请求跨端通信的标签、数据的内存拷贝、拼接，构造包括所述标签、 数据的RDMA传输数据段和执行对所述RDMA传输数据段的RDMA发送，以及在目的主机端通过所述标签、数据内存偏移量解析RDMA传输数据段获取被传输的标签、数据，进而实现标签数据中标签、数据更为广泛且简单高效地一并跨端传输。

下面通过附图、具体实施例对本发明的技术方案做进一步的描述。

附图说明

为更加清楚地说明本发明实施例或现有技术中的技术方案，下面将对本发明中一部分 实施例或现有技术描述中涉及的附图做简单介绍。

图1为本发明一些优选实施例中RDMA传输数据段的组成示意图；

图2为本发明一优选实施例提供的一种基于RDMA的标签数据传输方法的流程示意图。

具体实施方式

下面结合本发明实施例的附图，对本发明实施例中的技术方案进行清楚、完整地描述。 显然，所描述的实施例仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的 实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于 本发明保护的范围。

在现有技术中，典型的基于TCP/IP协议的计算机跨端通信框架，虽然有着诸如技术 方案成熟、既有解决方案丰富、可靠易用等优点，但面对大数据跨端传输时，却也因基于TCP/IP 协议的通信框架设计之初的固有缺陷而在大数据通信时，特别是通信高峰时，形成通信瓶颈， 影响整体系统效率。虽然，RDMA作为一种远程内存访问技术，能够使计算机直接存取其他 计算机的内存，而不需要经过处理器的处理，在一定程度上克服了上述问题。但在涉标签数 据(即带有标签的数据对象)的跨端通信时，由于RDMA绕过操作内核，又因此缺少像TCP/IP 通信框架那样的数据格式机制支持，故即便是目的主机端接收到的数据，也仅会被视为无法 识别的字节流，而无法解析识别的。此外，若分开通信，不仅无法保障传输过程中标签、数 据间的对应关系，且即使能够保障二者对应关系，标签这样的字节数较少的数据传输对象基 于RDMA进行传输往往是负收益的(RDMA通信过程中，注册内存以及其中的控制消息通 信都是存在着一定的开销的)。

于是，本发明提供一种发送标签数据的方法、接收标签数据的方法及相关装置，用以 实现标签数据中标签、数据更为广泛且简单高效地一并跨端传输。

以下为本发明的一些优选实施例。其中，

本发明的一些优选实施例提供一种发送标签数据的方法，该方法应用于计算机跨端通 信系统中的源主机端，具体应用于标签数据的RDMA传输，其能够生成包括着标签数据(即 相互对应的标签、数据)的RDMA报文，以及发送RDMA报文。该方法包括：对请求跨端 传输的数据及其对应的标签，通过利用所述标签、数据构造RDMA传输数据段，且对构造的RDMA传输数据段执行RDMA跨端通信。其具体实现过程如下：对请求通信的数据及其对 应的标签，申请一块地址连续的空闲内存，将所述标签、数据拷贝到空闲内存进行拼接，构 造RDMA传输数据段，使所述的RDMA传输数据段包括前面述及的标签、数据；将构造的 RDMA传输数据段对应的内存注册为RDMA内存，并生产相应的RDMA报文和执行RDMA 报文发送。

在上述优选实施例中的一些中，还提供一种优选的实现方式，具体包括：通过DMA引擎申请所述的空闲内存，并通过DMA引擎拷贝数据、标签到空闲内存，以用于RDMA传 输数据段的构造。

在上述优选实施例中的一些中，还提供一种优选的实现方式，其中构造的RDMA传输数据段，如图1所示，包括：数据段头部103、标签101、数据102。而其所提供的发送标 签数据的方法，其具体实现过程则如下：对请求通信的数据102及其对应的标签101；生成 一个数据段头部103，同时申请一块与三者大小相同的且地址连续的空闲内存，将标签101 和数据102以及数据段头部103拷贝到空闲内存进行拼接，构造所述的RDMA传输数据段， 并使数据段头部103占据所述RDMA传输数据段前面固定的若干字段；其记录构造所述 RDMA传输数据段时其中的标签、数据的内存偏移量；将所述的RDMA传输数据段对应的 内存注册为RDMA内存，并生成对应RDMA报文以及发送所述RDMA报文。如此，所述的 标签、数据的内存偏移量信息，通过所述RDMA传输数据段一并发送给目的主机端，以实现 减少了额外的控制消息通信的目的，提高整体通信效率。

在上述优选实施例中的一些中，其中的RDMA数据传输，为单侧RDMA；单侧RDMA 的基本语义操作，通常包括：RDMA读操作和RDMA读操作两种基本语音操作方式；故这 里的RDMA数据传输，可以采用RDMA读操作，也可以采用RDMA写操作。相较于双侧 RDMA，在一次有效通信过程中，单侧RDMA显然可以减少通信两端的消息交互次数，进而 提高整体通信效率。

本发明的另一些优选实施例提供一种接收标签数据的方法，该方法应用于计算机跨端 通信系统中的目的主机端，具体应用于标签数据的RDMA传输，其能够接收包括着标签数据(即相互对应的标签、数据)的RDMA报文，以及从中解析获取被传输的标签、数据。该方法包括：

对于接收的标签数据，具体来说，接收其全部的RDMA报文，得到完整的包括着标签数据的数据段，即源主机端发来的RDMA传输数据段；同样地，接收的RDMA传输数据 段也是被存储在一块地址连续的内存中，且上述的RDMA传输数据段包括：被传输的标签、 数据；

解析所述标签数据，也即解析所述的RDMA传输数据段，具体来说，即：根据来自 源主机端的标签、数据内存偏移量获取其中的被传输的标签、数据，以提供给目的主机端的相关应用访问或调用。

在上述优选实施例中的一些中，还提供一种优选的实现方式，当其接收的所述RDMA 传输数据段还包括数据段头部，且所述的数据段头部占据固定的若干字段并记录构造所述 RDMA传输数据段时所述标签、数据的内存偏移量时，其中解析标签数据的过程，即解析所 述RDMA传输数据段的过程，其具体实现可以是：先解析所述的数据段头部，获取其中所述 的标签、数据的内存偏移量；再根据所获的标签、数据内存偏移量获取其中的被传输的标签、 数据，以提供给目的主机端的相关应用访问或调用。

本发明的再一些优选实施例提供一种基于RDMA的标签数据传输方法，具体应用于标签数据的RDMA传输，所述系统包括源主机端设备和目的主机端设备；其中，源主机端设备用于标签数据的发送，而目的主机端设备用于标签数据的接收。该方法包括：

对于源主机端请求跨端传输的数据及其对应的标签，

在源主机端执行上述任一实施例中述及的发送标签数据的方法，

以及对应地，在目的主机端执行上述任一实施例中述及的接收标签数据的方法。

图2为上述优选实施例中的一个提供的一种基于RDMA的标签数据传输方法的流程示意图。如图2所示，其标签数据的传输过程以数据102以及与之对应的标签101为例，包括：

在源主机端，

S101构造对应标签数据的RDMA传输数据段：

申请一块地址连续的空闲内存；将标签101、数据102拷贝到空闲内存拼接，并生成一个固定字节数的数据段头部103，使数据段头部103在标签101、数据102之前，并记录标签101、数据102在所述RDMA传输数据段的内存偏移量信息；

S102将上述内存(即对应RDMA传输数据段的内存)注册为RDMA内存；

S103生成相应的标签数据的RDMA报文；

S104并发送所述RDMA报文；

在目的主机端，

S201接收全部的RDMA报文，获取包括着数据段头部103、标签101、数据102的 标签数据的数据段，即源主机端发送的RDMA传输数据段；

S202遍历解析数据段头部，从中获取所述RDMA传输数据段中标签101、数据102 的内存偏移量；

S203根据上述的标签101、数据102的内存偏移量，从所述RDMA传输数据段中解 析获取标签101、数据102，以提供给目的主机端的相关应用访问或调用。

需要强调的是，本发明提供的方法在构造所述RDMA传输数据段时，包括但不仅限于本段中前面所述实施例中的所述标签在所述数据前的情形。

本发明的又一些优选实施例提供一种装置，该装置包括：RDMA网卡、处理器，和 存储器；其中，所述的存储器存储有可在所述处理器上运行的计算机程序；而所述的处理器在执行上述计算机程序时，能够与所述RDMA网卡共同执行上述任一实施例述及的发送标签数据的方法，和/或接收标签数据的方法。

本发明的又一些优选实施例提供一种计算机网络系统，该系统包括：若干台(不少于 两台)上述任一实施例述及的装置；而它们通过RDMA网络彼此连接；其中，这些装置或被用于标签数据RDMA报文的发送(即作为源主机端)，或被用于标签数据RDMA报文的接收 (即作为目的主机端)，或者既被用于标签数据RDMA报文的发送，又被用于其他装置发来 的标签数据RDMA报文的接收。

本发明的又一些优选实施例提供一种计算机可读存储介质，该计算机可读存储介质中 存储有用于执行标签数据传输的代码，其中包括：用于执行上述任一实施例述及的发送标签 数据的方法操作的指令，和/或，上述任一实施例述及的接收标签数据的方法操作的指令，或， 上述任一实施例述及的基于RDMA的标签数据传输方法操作的指令。

此外，需要强调的是，上述各实施例中所述及的内存，包括但不仅限于狭义上的内存 (即计算机系统中内存卡提供的内存)，也包括显卡的内存(通常被简称为显存)等。

以上所述仅为本发明的具体实施方式，但本发明的保护范围并不局限于此。

Claims (10)

1.一种发送标签数据的方法，所述方法应用于源主机端的标签数据RDMA传输，其特征在于，所述方法包括：

对于任一请求跨端传输的数据及其对应的标签，将所述的数据、标签拷贝到一块地址连续的内存中，并拼接二者构造RDMA传输数据段；所述的RDMA传输数据段包括：所述的标签、数据；

将所述的RDMA传输数据段所对应的内存注册为RDMA内存；

生成所述标签数据的RDMA报文；并发送所述RDMA报文；

以及向目的主机端发送所述的RDMA传输数据段中标签、数据的内存偏移量信息。

2.根据权利要求1所述的发送标签数据方法，其特征在于，所述方法包括：

通过DMA引擎申请所述的地址连续的内存，并执行所述数据、标签的拷贝、拼接。

3.根据权利要求1所述的发送标签数据方法，其特征在于，所述方法包括：构造的所述RDMA传输数据段，还包括：数据段头部；所述的数据段头部占据固定的若干字段；其记录信息包括：构造所述RDMA传输数据段时所述标签、数据的内存偏移量；

而所述的标签、数据的内存偏移量信息，则通过所述RDMA传输数据段一并发送给目的主机端。

4.根据权利要求3所述的发送标签数据方法，其特征在于，所述方法包括：

所述的RDMA数据传输，为单侧RDMA；

其中包括：读操作或写操作。

5.一种接收标签数据的方法，所述方法应用于目的主机端的标签数据RDMA传输，其特征在于，所述方法包括：

对于任一接收的标签数据，

接收其全部的RDMA报文，得到完整的所述标签数据；其中，所述标签数据，即源主机端发来的RDMA传输数据段；所述的RDMA传输数据段包括：被传输的标签、数据；

解析所述标签数据：根据来自源主机端的标签、数据内存偏移量获取其中的被传输的标签、数据。

6.根据权利要求5所述的接收标签数据方法，其特征在于，所述方法包括：

接收的所述RDMA传输数据段，还包括：数据段头部；所述的数据段头部占据固定的若干字段；其记录信息包括：构造所述RDMA传输数据段时所述标签、数据的内存偏移量；

所述的解析标签数据，包括：先解析所述的数据段头部，获取其中所述的标签、数据的内存偏移量。

7.一种基于RDMA的标签数据传输方法，所述方法应用于计算机跨端通信系统的标签数据RDMA传输，所述系统包括源主机端设备和目的主机端设备，其特征在于，所述方法包括：

对于任一请求跨端传输的数据及其对应的标签，

在源主机端，执行权利要求1-4任一所述的发送标签数据的方法；

以及在目的主机端，执行权利要求5-6任一所述的接收标签数据的方法。

8.一种用于标签数据RDMA传输的装置，其特征在于，包括：

RDMA网卡、处理器，和存储器；其中，

所述的存储器存储有可在所述处理器上运行的计算机程序；

所述的处理器在执行上述计算机程序时，能够与所述RDMA网卡共同执行权利要求1-4任一所述的发送标签数据的方法，

和/或，权利要求5-6任一所述的接收标签数据的方法。

9.一种计算机网络系统，其特征在于，包括：

若干台权利要求8所述的装置；所述装置通过RDMA网络彼此连接；

所述装置用于标签数据RDMA报文的发送，

和/或，标签数据RDMA报文的接收。

10.一种计算机可读存储介质，其特征在于，存储有用于执行标签数据传输的代码，其中包括：用于执行权利要求1-4任一所述的发送数据的方法操作的指令；

和/或，执行权利要求5-6任一所述的接收数据的方法操作的指令；

或，权利要求7所述的一种基于RDMA的标签数据传输方法操作的指令。

Images