CN113923167A - 联邦学习中数据传输优化方法 - Google Patents

Abstract

本申请公开了联邦学习中数据传输优化方法，应用于任意需要发送数据的第一参与方，所述联邦学习中数据传输优化方法包括：通过第一计算进程向第一网卡服务器进程请求传输标识，并请求得到的传输标识传递至对应的第二参与方中的第二计算进程；通过第一网卡服务器进程接收传输数据，并将传输标识以及传输数据对应写入第一网卡注册内存中；通过第一网卡服务器进程利用第一网卡通过DMA通信方式将第一网卡注册内存中的传输标识以及传输数据传输至第二参与方的第二网卡注册内存中，以供第二计算进程依据从第一计算进程接收的传输标识，从第二网卡注册内存中拉取对应的传输数据。本申请解决了现有技术中联邦学习网络数据传输效率低的技术问题。

Description

联邦学习中数据传输优化方法

技术领域

本申请涉及通信技术领域，尤其涉及一种联邦学习中数据传输优化方法、 电子设备、可读存储介质及产品。

背景技术

随着人工智能技术的不断发展，数据传输的方式也在不断换代更新，目 前在联邦学习框架通常使用传统的TCP(Transmission Control Protocol， 传输控制协议)通信进行不同参与方之间的通信，但是TCP通信过程中通常 会在发送侧以及接收侧发生数据拷贝，并且TCP通信过程中稳定传输的功能 实现依赖于软件，实际传输速度远低于物理带宽，网络传输效率低下，影响 了联邦学习网络数据传输的效率。

发明内容

本申请的主要目的在于提供一种联邦学习中数据传输优化方法、电子设 备、可读存储介质及产品，旨在解决现有技术中联邦学习网络数据传输效率 低的技术问题。

为实现上述目的，本申请提供一种联邦学习中数据传输优化方法，应用 于任意需要发送数据的第一参与方，所述联邦学习中数据传输优化方法包括：

通过需要发送数据的第一计算进程向第一网卡服务器进程请求传输标 识，并将所述第一网卡服务器进程反馈的所述传输标识传递至对应的第二参 与方中的第二计算进程，其中，所述传输标识与所述第一计算进程需要发送 的传输数据一一对应；

通过所述第一网卡服务器进程接收所述传输数据，并将所述传输标识以 及所述传输数据对应写入第一网卡注册内存中，其中，所述第一网卡注册内 存注册在所述第一网卡服务器内置的第一网卡中；

通过所述第一网卡服务器进程利用所述第一网卡通过DMA通信方式将所 述第一网卡注册内存中的所述传输标识以及所述传输数据传输至第二参与方 的第二网卡注册内存中，以供所述第二计算进程依据从所述第一计算进程接 收的所述传输标识，从所述第二网卡注册内存中拉取对应的所述传输数据， 其中，所述第二网卡注册内存注册在所述第二参与方的第二网卡服务器内置 的第二网卡中。

可选地，所述第一网卡服务器内置的所述第一网卡支持DMA通信，所述 第一网卡注册内存为从所述第一网卡服务器预先申请的注册在所述第一网卡 的内存；

所述第二网卡服务器内置的所述第二网卡支持DMA通信，所述第二网卡 注册内存为从所述第二网卡服务器预先申请的注册在所述第二网卡的内存。

可选地，所述通过需要发送数据的第一计算进程向第一网卡服务器进程 请求传输标识的步骤包括：

通过所述第一计算进程向所述第一网卡服务器进程发送数据传输请求， 其中，所述数据传输请求中包括所述第一计算进程产生的传输数据的所述传 输数据对应的传输数据大小；

通过所述第一网卡服务器进程，依据所述传输数据大小从所述第一网卡 注册内存中为所述传输数据划分对应的第一内存块，并生成所述传输数据对 应的传输标识；

通过所述第一网卡服务器进程向所述第一计算进程反馈所述传输标识。

可选地，所述通过所述第一网卡服务器进程接收所述传输数据，并将所 述传输标识以及所述传输数据对应写入第一网卡注册内存中的步骤包括：

通过所述第一网卡服务器进程调用所述第一网卡注册内存中所述第一内 存块对应的预设目标线程，并将所述第一内存块对应的内存地址以及所述传 输标识传入所述预设目标线程；

通过所述预设目标线程将所述传输标识写入所述第一内存块的起始位 置，并通知所述第一计算进程开始传输所述传输数据；

通过所述预设目标线程接收所述传输数据，并依据所述内存地址，在所 述起始位置之后将所述传输数据写入所述第一内存块。

可选地，在所述通过需要发送数据的第一计算进程向第一网卡服务器进 程请求传输标识，并将所述第一网卡服务器进程反馈的所述传输标识传递至 对应的第二参与方中的第二计算进程的步骤之前，所述联邦学习中数据传输 优化方法还包括：

通过所述第一计算进程将自身产生的需要发送的明文数据加密为待传输 密态数据；

获取所述待传输密态数据的密态数据长度，若所述密态数据长度大于预 设数据长度阈值，则将所述待传输密态数据作为所述传输数据通过所述第一 网卡服务器进程传输至所述第二计算进程；

若所述密态数据长度不大于预设数据长度阈值，则通过预设网络通信协 议将所述待传输密态数据传输至所述第二计算进程。

可选地，在所述通过需要发送数据的第一计算进程向第一网卡服务器进 程请求传输标识，并将所述第一网卡服务器进程反馈的所述传输标识传递至 对应的第二参与方中的第二计算进程的步骤之前，所述联邦学习中数据传输 优化方法还包括：

通过所述第一计算进程将自身产生的需要发送的明文数据传递至预设加 解密装置；

通过所述预设加解密装置将所述明文数据加密为待传输密态数据，并获 取所述待传输密态数据的密态数据长度；

若所述密态数据长度大于预设数据长度阈值，则将所述待传输密态数据 作为所述传输数据，通过所述第一网卡服务器进程传输至所述第二计算进程；

若所述密态数据长度不大于预设数据长度阈值，则通过预设网络通信协 议将所述待传输密态数据传输至所述第二计算进程。

本申请提供一种联邦学习中数据传输优化方法，应用于任意需要接收数 据的第二参与方，所述联邦学习中数据传输优化方法包括：

通过需要接收数据的第二计算进程接收对应的第一参与方中需要发送数 据的第一计算进程发送的传输标识，其中，所述传输标识与所述第一计算进 程需要发送的传输数据一一对应；

通过第二网卡服务器进程接收所述第一参与方中第一网卡服务器进程通 过DMA通信方式传输的所述传输标识和所述传输数据，并写入第二网卡注册 内存；

通过所述第二计算进程依据所述传输标识从所述第二网卡注册内存中拉 取对应的传输数据。

可选地，所述通过所述第二计算进程依据所述传输标识从所述第二网卡 注册内存中拉取对应的传输数据的步骤包括：

通过所述第二计算进程向所述第二网卡服务器进程发送数据拉取请求， 其中，所述数据拉取请求中包括所述第一计算进程向所述第二计算进程发送 的传输标识；

通过所述第二网卡服务器进程在预设映射表中查询所述传输标识对应的 内存地址，并提取所述内存地址中的传输数据反馈至所述第二计算进程。

可选地，所述通过第二网卡服务器进程接收所述第一参与方中第一网卡 服务器进程通过DMA通信方式传输的所述传输标识和所述传输数据，并写入 第二网卡注册内存的步骤包括：

通过所述第二网卡服务器进程从所述第二网卡注册内存中为所述传输数 据分配对应的第二内存块；

所述通过第二网卡服务器进程接收第一网卡服务器进程通过DMA通信方 式传输的所述传输标识和所述传输数据，并依序将所述传输标识和所述传输 数据写入所述第二内存块；

通过所述第二网卡服务器进程提取所述第二内存块中的传输标识，并获 取所述传输标识对应的传输数据的内存地址；

将所述传输标识和所述内存地址成对存储至预设映射表。

可选地，所述通过所述第二网卡服务器进程从所述第二网卡注册内存中 为所述传输数据分配对应的第二内存块地步骤包括：

通过所述第二网卡服务器进程从所述第一网卡服务器进程获取所述传输 数据的大小，并依据所述传输数据的大小从所述第二网卡注册内存中为所述 传输数据划分对应的第二内存块；或者，

通过所述第二网卡服务器进程预先设置接收数据的内存块分割大小，基 于所述内存块分割大小从所述第二网卡注册内存中为所述传输数据划分对应 的第二内存块，并在所述第二内存块不足以存储所述传输数据时，再次基于 所述内存块分割大小从所述第二网卡注册内存中为所述传输数据划分对应的 第二内存块。

本申请还提供一种联邦学习中数据传输优化装置，所述联邦学习中数据 传输优化装置应用于任意需要发送数据的第一参与方，所述联邦学习中数据 传输优化装置包括：

传输标识处理模块，用于通过需要发送数据的第一计算进程向第一网卡 服务器进程请求传输标识，并将所述第一网卡服务器进程反馈的所述传输标 识传递至对应的第二参与方中的第二计算进程，其中，所述传输标识与所述 第一计算进程需要发送的传输数据一一对应；

内存写入模块，用于通过所述第一网卡服务器进程接收所述传输数据， 并将所述传输标识以及所述传输数据对应写入第一网卡注册内存中，其中， 所述第一网卡注册内存注册在所述第一网卡服务器内置的第一网卡中；

数据传输模块，用于通过所述第一网卡服务器进程利用所述第一网卡通 过DMA通信方式将所述第一网卡注册内存中的所述传输标识以及所述传输数 据传输至第二参与方的第二网卡注册内存中，以供所述第二计算进程依据从 所述第一计算进程接收的所述传输标识，从所述第二网卡注册内存中拉取对 应的所述传输数据，其中，所述第二网卡注册内存注册在所述第二参与方的 第二网卡服务器内置的第二网卡中。

可选地，所述第一网卡服务器内置的所述第一网卡支持DMA通信，所述 第一网卡注册内存为从所述第一网卡服务器预先申请的注册在所述第一网卡 的内存；所述第二网卡服务器内置的所述第二网卡支持DMA通信，所述第二 网卡注册内存为从所述第二网卡服务器预先申请的注册在所述第二网卡的内 存。

可选地，所述第一网卡服务器内置的所述第一网卡支持DMA通信，所述 第一网卡注册内存为从所述第一网卡服务器预先申请的注册在所述第一网卡 的内存；所述第二网卡服务器内置的所述第二网卡支持DMA通信，所述第二 网卡注册内存为从所述第二网卡服务器预先申请的注册在所述第二网卡的内 存。

可选地，所述传输标识处理模块还用于：

通过所述第一计算进程向所述第一网卡服务器进程发送数据传输请求， 其中，所述数据传输请求中包括所述第一计算进程产生的传输数据的所述传 输数据对应的传输数据大小；

通过所述第一网卡服务器进程，依据所述传输数据大小从所述第一网卡 注册内存中为所述传输数据划分对应的第一内存块，并生成所述传输数据对 应的传输标识；

通过所述第一网卡服务器进程向所述第一计算进程反馈所述传输标识。

可选地，所述第一网卡注册内存至少包括一所述传输数据对应的第一内 存块，所述内存写入模块还用于：

通过所述第一网卡服务器进程调用所述第一网卡注册内存中所述第一内 存块对应的预设目标线程，并将所述第一内存块对应的内存地址以及所述传 输标识传入所述预设目标线程；

通过所述预设目标线程将所述传输标识写入所述第一内存块的起始位 置，并通知所述第一计算进程开始传输所述传输数据；

通过所述预设目标线程接收所述传输数据，并依据所述内存地址，在所 述起始位置之后将所述传输数据写入所述第一内存块。

可选地，所述联邦学习中数据传输优化装置还用于：

通过所述第一计算进程将自身产生的需要发送的明文数据加密为待传输 密态数据；

获取所述待传输密态数据的密态数据长度，若所述密态数据长度大于预 设数据长度阈值，则将所述待传输密态数据作为所述传输数据通过所述第一 网卡服务器进程传输至所述第二计算进程；

若所述密态数据长度不大于预设数据长度阈值，则通过预设网络通信协 议将所述待传输密态数据传输至所述第二计算进程。

可选地，所述联邦学习中数据传输优化装置还用于：

通过所述第一计算进程将自身产生的需要发送的明文数据传递至预设加 解密装置；

通过所述预设加解密装置将所述明文数据加密为待传输密态数据，并获 取所述待传输密态数据的密态数据长度；

若所述密态数据长度大于预设数据长度阈值，则将所述待传输密态数据 作为所述传输数据，通过所述第一网卡服务器进程传输至所述第二计算进程；

若所述密态数据长度不大于预设数据长度阈值，则通过预设网络通信协 议将所述待传输密态数据传输至所述第二计算进程。

本申请还提供一种联邦学习中数据传输优化装置，所述联邦学习中数据 传输优化装置应用于任意需要接收数据的第二参与方，所述联邦学习中数据 传输优化装置包括：

第一接收模块，用于通过需要接收数据的第二计算进程接收对应的第一 参与方中需要发送数据的第一计算进程发送的传输标识，其中，所述传输标 识与所述第一计算进程需要发送的传输数据一一对应；

第二接收模块，用于通过第二网卡服务器进程接收所述第一参与方中第 一网卡服务器进程通过DMA通信方式传输的所述传输标识和所述传输数据， 并写入第二网卡注册内存；

数据拉取模块，用于通过所述第二计算进程依据所述传输标识从所述第 二网卡注册内存中拉取对应的传输数据。

可选地，所述数据拉取模块还用于：

通过所述第二计算进程向所述第二网卡服务器进程发送数据拉取请求， 其中，所述数据拉取请求中包括所述第一计算进程向所述第二计算进程发送 的传输标识；

通过所述第二网卡服务器进程在预设映射表中查询所述传输标识对应的 内存地址，并提取所述内存地址中的传输数据反馈至所述第二计算进程。

可选地，第二接收模块还用于：

通过所述第二网卡服务器进程从所述第二网卡注册内存中为所述传输数 据分配对应的第二内存块；

所述通过第二网卡服务器进程接收第一网卡服务器进程通过DMA通信方 式传输的所述传输标识和所述传输数据，并依序将所述传输标识和所述传输 数据写入所述第二内存块；

通过所述第二网卡服务器进程提取所述第二内存块中的传输标识，并获 取所述传输标识对应的传输数据的内存地址；

将所述传输标识和所述内存地址成对存储至预设映射表。

可选地，第二接收模块还用于：

通过所述第二网卡服务器进程从所述第一网卡服务器进程获取所述传输 数据的大小，并依据所述传输数据的大小从所述第二网卡注册内存中为所述 传输数据划分对应的第二内存块；或者，

通过所述第二网卡服务器进程预先设置接收数据的内存块分割大小，基 于所述内存块分割大小从所述第二网卡注册内存中为所述传输数据划分对应 的第二内存块，并在所述第二内存块不足以存储所述传输数据时，再次基于 所述内存块分割大小从所述第二网卡注册内存中为所述传输数据划分对应的 第二内存块。

本申请还提供一种电子设备，所述电子设备为实体设备，所述电子设备 包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的 所述联邦学习中数据传输优化方法的程序，所述联邦学习中数据传输优化方 法的程序被处理器执行时可实现如上述的联邦学习中数据传输优化方法的步 骤。

本申请还提供一种可读存储介质，所述可读存储介质为计算机可读存储 介质，所述计算机可读存储介质上存储有实现联邦学习中数据传输优化方法 的程序，所述联邦学习中数据传输优化方法的程序被处理器执行时实现如上 述的联邦学习中数据传输优化方法的步骤。

本申请还提供一种产品，所述产品为计算机程序产品，包括计算机程序， 所述计算机程序被处理器执行时实现如上述的联邦学习中数据传输优化方法 的步骤。

本申请提供了一种联邦学习中数据传输优化方法、电子设备、可读存储 介质及产品，也即，本申请首先通过需要发送数据的第一计算进程向第一网 卡服务器进程请求传输标识，并将所述第一网卡服务器进程反馈的所述传输 标识传递至对应的第二参与方中的第二计算进程，其中，所述传输标识与所 述第一计算进程需要发送的传输数据一一对应，进而通过所述第一网卡服务 器进程接收所述传输数据，并将所述传输标识以及所述传输数据对应写入第 一网卡注册内存中，其中，所述第一网卡注册内存注册在所述第一网卡服务 器内置的第一网卡中，实现了将联邦学习中各第一计算进程的传输数据汇集 在具备网卡的第一网卡服务器上的目的，进而通过所述第一网卡服务器进程 利用所述第一网卡通过DMA通信方式将所述第一网卡注册内存中的所述传输 标识以及所述传输数据传输至第二参与方的第二网卡注册内存中，以供所述 第二计算进程依据从所述第一计算进程接收的所述传输标识，从所述第二网 卡注册内存中拉取对应的所述传输数据，其中，所述第二网卡注册内存注册 在所述第二参与方的第二网卡服务器内置的第二网卡中，实现了通过DMA通 信方式将传输数据由第一网卡服务器中的第一网卡注册内存传递至第二网卡 服务器中的第二网卡注册内存的目的，进而第二参与方的第二计算进程可根 据预先接收到的传输标识，从第二网卡注册内存中拉取对应的传输数据，实 现了利用DMA通信的方式将第一参与方中各第一计算进程的传输数据聚合发 送至对应的第二参与方中各第二计算进程，进而达到了将联邦学习网络中数 据传输的方式由TCP通信的方式部分替换为DMA通信的方式的目的，而DMA 通信过程中不发生数据拷贝，也不依赖于软件实现，进而克服了由于TCP通 信过程中通常会在发送侧以及接收侧发生数据拷贝，并且TCP通信过程中稳 定传输的功能实现依赖于软件，实际传输速度远低于物理带宽，网络传输效 率低下，进而影响了联邦学习网络传输的效率的技术缺陷，所以，提升了联 邦学习网络数据传输的效率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申 请的实施例，并与说明书一起用于解释本申请的原理。

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于 本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这 些附图获得其他的附图。

图1为本申请联邦学习中数据传输优化方法第一实施例的流程示意图；

图2为本申请联邦学习中数据传输优化方法第二实施例的流程示意图；

图3为本申请联邦学习中数据传输优化方法中联邦学习网络基于DMA通信 的方式进行数据传输系统架构示意图；

图4为本申请实施例中联邦学习中数据传输优化方法涉及的硬件运行环 境的设备结构示意图。

本申请目的实现、功能特点及优点将结合实施例，参照附图做进一步说 明。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本 发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。 显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。 基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提 下所获得的所有其它实施例，均属于本发明保护的范围。

实施例一

本申请实施例提供一种联邦学习中数据传输优化方法，应用于任意需要 发送数据的第一参与方，在本申请联邦学习中数据传输优化方法的第一实施 例中，参照图1，所述联邦学习中数据传输优化方法包括：

步骤S10，通过需要发送数据的第一计算进程向第一网卡服务器进程请求 传输标识，并将所述第一网卡服务器进程反馈的所述传输标识传递至对应的 第二参与方中的第二计算进程，其中，所述传输标识与所述第一计算进程需 要发送的传输数据一一对应；

步骤S20，通过所述第一网卡服务器进程接收所述传输数据，并将所述传 输标识以及所述传输数据对应写入第一网卡注册内存中，其中，所述第一网 卡注册内存注册在所述第一网卡服务器内置的第一网卡中；

步骤S30，通过所述第一网卡服务器进程利用所述第一网卡通过DMA通信 方式将所述第一网卡注册内存中的所述传输标识以及所述传输数据传输至第 二参与方的第二网卡注册内存中，以供所述第二计算进程依据从所述第一计 算进程接收的所述传输标识，从所述第二网卡注册内存中拉取对应的所述传 输数据，其中，所述第二网卡注册内存注册在所述第二参与方的第二网卡服 务器内置的第二网卡中。

本申请实施例实现了在联邦学习第一参与方的第一计算进程与联邦学习 第二参与方的第二计算进程之间进行DMA通信，具体地，各第一计算进程首 先向第一网卡服务器进程请求得到传输标识，进而将传输数据以及传输数据 对应的传输标识写入注册在所述第一网卡服务器内置的第一网卡上的第一网 卡注册内存中。且在利用DMA通信方式进行数据传输之前，将传输标识以TCP 通信的方式预先传输至对应的第二计算进程，进而第一参与方的第一网卡服 务器可通过DMA通信的方式直接将第一网卡注册内存中的传输标识和传输数 据直接传递至第二参与方中的第二网卡注册内存，进而各第二计算进程可依 据各自接收到的传输标识，从第二参与方的第二网卡注册内存中拉取对应的 传输数据，进而实现了以DMA通信的方式在第一计算进程和第二计算进程之 间进行数据传输的目的，而DMA通信方式不发生数据拷贝，也不依赖于软件 实现，克服了由于TCP通信过程中通常会在发送侧以及接收侧发生数据拷贝， 并且TCP通信过程中稳定传输的功能实现依赖于软件，实际传输速度远低于 物理带宽，网络传输效率低下，进而影响了联邦学习网络传输的效率的技术 缺陷，所以，提升了联邦学习网络数据传输的效率。

其中，步骤S10，通过需要发送数据的第一计算进程向第一网卡服务器进 程请求传输标识，并将所述第一网卡服务器进程反馈的所述传输标识传递至 对应的第二参与方中的第二计算进程，其中，所述传输标识与所述第一计算 进程需要发送的传输数据一一对应；

在本实施例中，需要说明的是，第一参与方与第二参与方均为联邦学习 的参与方，第一参与方至少包括一第一计算进程，用于执行第一参与方的联 邦学习计算任务，第二参与方至少包括一第二计算进程，用于执行第二参与 方的联邦学习计算任务，优选地，各所述第一计算进程部署于不同的发送方 服务器，各所述第二计算进程部署于不同的接收方服务器，其中，各所述发 送方服务器中至少存在一第一网卡服务器，各所述接收方服务器中至少存在 一第二网卡服务器。所述第一网卡服务器内置的所述第一网卡支持DMA通信， 所述第一网卡注册内存为从所述第一网卡服务器预先申请的注册在所述第一 网卡的内存，所述第一网卡注册内存用于存储第一网卡传输的数据。所述第 二网卡服务器内置的所述第二网卡支持DMA通信；所述第二网卡注册内存为 从所述第二网卡服务器预先申请的注册在所述第二网卡的内存，所述第二网 卡注册内存用于存储第二网卡传输的数据。

另外，需要说明的是，所述传输标识为传输所述第一计算进程产生的传 输数据的全局唯一ID，用于标识由第一计算进程至对应的第二计算进程的传 输过程中传输数据的身份。第一参与方的第一网卡服务器至少部署一第一网 卡服务器进程，用于处理第一网卡服务器与其他发送方服务器之间的TCP通 信；第二参与方的第二网卡服务器至少部署一第二网卡服务器进程，用于处 理第二网卡服务器与其他接收方服务器之间的TCP通信，其中，网卡服务器 为安装了DMA网卡的服务器。所述第一参与方和所述第二参与方设置于同一数据中心，也即设置于同一局域网，以便进行DMA通信。

具体地，通过需要发送数据的第一计算进程向网卡服务器进程发送数据 传输请求，其中，所述数据传输请求中包括第一计算进程产生的传输数据对 应的的待传输数据大小，进而通过第一网卡服务器进程响应所述数据传输请 求，向所述第一计算进程反馈所述数据传输请求对应的传输标识，并依据各 所述待传输数据大小，从已在第一网卡上注册好的内存中划分对应大小的内 存作为第一网卡注册内存，进而通过第一计算进程将传输标识传输至第二参 与方中对应的第二计算进程，其中，第一计算进程将传输标识传输至对应的 第二计算进程的方式为通过网络传输协议进行通信，所述网络传输协议可以 为TCP通信协议。

其中，在步骤S10中，所述通过需要发送数据的第一计算进程向第一网 卡服务器进程请求传输标识的步骤包括：

步骤S11，通过所述第一计算进程向所述第一网卡服务器进程发送数据传 输请求，其中，所述数据传输请求中包括所述第一计算进程产生的传输数据 的所述传输数据对应的传输数据大小；

在本实施例中，需要说明的是，所述数据传输请求为第一计算进程用于 向第一网卡服务器进程请求发送所述传输数据的请求，一所述第一计算进程 对应一数据传输请求，所述待传输数据大小为所述传输数据所占据的内存大 小。

步骤S12，通过所述第一网卡服务器进程，依据所述传输数据大小从所述 第一网卡注册内存中为所述传输数据划分对应的第一内存块，并生成所述传 输数据对应的传输标识；

在本实施例中，需要说明的是，在执行步骤S12之前，联邦学习的每一 参与方均预先创建内存池，并申请预设数量的内存放入内存池，且将内存池 中的内存注册到网卡上，该内存池支持动态扩张，例如内存池初始化过程中 创建大小为50GB的内存池，则可将50GB内存注册到网卡。

具体地，依据所述待传输数据大小，确定所述传输数据所需的网卡注册 内存大小，进而通过所述网卡服务器在内存池中划分大小为所述网卡注册内 存大小的内存作为第一网卡注册内存，并为传输数据生成全局唯一传输ID作 为传输标识，例如，假设各所述待传输数据大小为5GB，则所述网卡注册内存 大小可设置为5GB+500KB。

步骤S13，通过所述第一网卡服务器进程向所述第一计算进程反馈所述传 输标识。

在本实施例中，具体地，通过网卡服务器进程响应所述数据传输请求， 将所述传输标识反馈至对应的第一计算进程。

步骤S20，通过所述第一网卡服务器进程接收所述传输数据，并将所述传 输标识以及所述传输数据对应写入第一网卡注册内存中，其中，所述第一网 卡注册内存注册在所述第一网卡服务器内置的第一网卡中；

在本实施例中，具体地，通过所述第一网卡服务器进程在预设线程池中 调用所述传输数据对应的预设目标线程，其中，所述预设线程池中至少存在 一预设目标线程，所述预设目标线程用于处理第一网卡服务器与预设目标线 程对应的第一计算进程所在的发送方服务器之间的数据传输过程，进而通过 预设目标线程接收对应的第一计算进程发送的传输数据，并将所述传输标识 以及所述传输数据写入第一网卡注册内存，其中，所述第一网卡注册内存注 册在所述第一网卡服务器内置的第一网卡中。

其中，在步骤S20中，所述通过所述第一网卡服务器进程接收所述传输 数据，并将所述传输标识以及所述传输数据对应写入第一网卡注册内存中的 步骤包括：

步骤S21，通过所述第一网卡服务器进程调用所述第一网卡注册内存中所 述第一内存块对应的预设目标线程，并将所述第一内存块对应的内存地址以 及所述传输标识传入所述预设目标线程；

在本实施例中，需要说明的是，所述第一网卡服务器本地维护一预设线 程池，其中，所述预设线程池至少包括一预设目标线程，所述预设目标线程 用于处理对应的第一计算进程与第一网卡服务器进程之间的数据传输过程。 所述第一网卡注册内存至少包括一所述传输数据对应的第一内存块，所述第 一内存块用于存储对应的传输数据以及传输标识。

步骤S22，通过所述预设目标线程将所述传输标识写入所述第一内存块的 起始位置，并通知所述第一计算进程开始传输所述传输数据；

在本实施例中，具体地，启动所述预设目标线程，依据所述第一内存块 的内存地址，通过所述预设目标线程将所述传输标识写入所述第一内存块的 起始位置，并通知所述第一计算进程开始传输所述传输数据。

步骤S23，通过所述预设目标线程接收所述传输数据，并依据所述内存地 址，在所述起始位置之后将所述传输数据写入所述第一内存块。

在本实施例中，具体地，通过所述预设目标线程接收对应的第一计算进 程传递的传输数据，并依据所述第一内存块的内存地址，在写入所述传输标 识的起始位置之后，顺序写入所述传输数据，其中，需要说明的是，各所述 第一内存块的内存地址可设置为第一网卡注册内存中连续的内存地址，进而 根据所述传输标识在第一网卡注册内存中的内存地址，可确定每一传输数据 在第一网卡注册内存中的位置，也即可确定每一传输数据在第一网卡注册内 存中所占据的内存地址范围。

其中，步骤S30，通过所述第一网卡服务器进程利用所述第一网卡通过 DMA通信方式将所述第一网卡注册内存中的所述传输标识以及所述传输数据 传输至第二参与方的第二网卡注册内存中，以供所述第二计算进程依据从所 述第一计算进程接收的所述传输标识，从所述第二网卡注册内存中拉取对应 的所述传输数据，其中，所述第二网卡注册内存注册在所述第二参与方的第 二网卡服务器内置的第二网卡中。

在本实施例中，具体地，通过所述第一网卡服务器进程在预设DMA连接 池中调用预设DMA连接，进而依据所述预设DMA连接，将所述第一网卡注册 内存中的传输数据和传输标识传输至第二参与方的第二网卡注册内存，进而 所述第二计算进程依据接收到的传输标识，从所述第二网卡注册内存中拉取 对应的传输数据，其中，所述第二网卡注册内存注册在所述第二参与方的第 二网卡服务器内置的第二网卡中。所述第二计算进程依据接收到的传输标识， 从所述第二网卡注册内存中拉取对应的传输数据的具体过程可参照下述步骤 C30及其细化步骤中的内容，在此不再详述。

另外，需要说明的是，每一第一计算进程均至少存在一对应的第二计算 进程，而第一计算进程可将数据以DMA通信的方式传输至对应的第二计算进 程，而DMA通信需要基于网卡进行实现，所以，通常第一计算进程与对应的 第二计算进程均需要安装网卡，进而第一参与方需要在每一第一计算进程所 在的服务器安装DMA网卡，而第二参与方需要在每一第二计算进程所在的服 务器安装DMA网卡，而本申请实施例并不是由第一计算进程与第二计算进程 直接进行DMA通信，本申请实施例首先将各第一计算进程的传输数据聚合在第一网卡服务器，进而基于第一网卡服务器以DMA通信的方式统一发送传输 数据及对应的传输标识至第二参与方的第二网卡服务器，且每一第一计算进 程将各自的传输标识以TCP通信的方式发送至各自对应的第二计算进程，进 而各第二计算进程即可基于各自接收的传输标识，从第二参与方的网卡服务 器拉取对应的传输数据，进而实现了在仅仅只安装一张网卡的情况下，在多 个第一计算进程与多个第二计算进程之间进行DMA通信的目的，而第二参与 方与第一参与方无需在每一计算进程所在的服务器上均安装DMA网卡，节约 了联邦学习网络通过DMA通信进行数据传输的硬件资源。

其中，在所述通过需要发送数据的第一计算进程向第一网卡服务器进程 请求传输标识，并将所述第一网卡服务器进程反馈的所述传输标识传递至对 应的第二参与方中的第二计算进程的步骤之前，所述联邦学习中数据传输优 化方法还包括：

步骤A10，通过所述第一计算进程将自身产生的需要发送的明文数据加密 为待传输密态数据；

在本实施例中，需要说明的是，所述第一方计算进程所在的服务器中可 设置有加解密软件装置，该加解密软件装置为软件，进而通过第一计算进程 即可对数据进行加解密。在联邦学习场景中，为了保护各联邦学习的参与方 的隐私安全，各参与方之间传输的数据通常为密态数据，例如同态加密的数 据等。

步骤A20，获取所述待传输密态数据的密态数据长度，若所述密态数据长 度大于预设数据长度阈值，则将所述待传输密态数据作为所述传输数据通过 所述第一网卡服务器进程传输至所述第二计算进程；

步骤A30，若所述密态数据长度不大于预设数据长度阈值，则通过预设网 络通信协议将所述待传输密态数据传输至所述第二计算进程。

在本实施例中，具体地，获取所述待传输密态数据的数据长度，得到密 态数据长度，进而将所述密态数据长度与预设数据长度阈值进行比对，若所 述密态数据长度大于预设数据长度阈值，则将所述待传输密态数据作为所述 传输数据与对应的传输标识一起传递至所述第一网卡服务器进程，以通过DMA 通信的方式将传输数据传输至第二参与方中的第二网卡服务器进程，若所述 密态数据长度不大于预设数据长度阈值，则通过预设网络通信协议将所述待 传输密态数据传输至所述第二计算进程，其中，需要说明的是，预设数据长 度阈值存在的原因是：各传输数据聚合在第一参与方的第一网卡服务器之中 以及各传输数据在第二参与方之中分发会带来一定的软件开销，若传输数据 的密态数据长度过小，会导致当加密之后数据长度比较短，则使用DMA通信 聚合发送效率反而低于TCP通信，所以，本申请实施例在待传输密态数据的 密态数据长度大于预设数据长度阈值时，选择DMA通信的方式进行数据传输， 而在待传输密态数据的密态数据长度不大于预设数据长度阈值是，选择TCP 通信的方式进行数据传输，可提升数据传输的效率。

其中，在所述通过需要发送数据的第一计算进程向第一网卡服务器进程 请求传输标识，并将所述第一网卡服务器进程反馈的所述传输标识传递至对 应的第二参与方中的第二计算进程的步骤之前，所述联邦学习中数据传输优 化方法还包括：

步骤B10，通过所述第一计算进程将自身产生的需要发送的明文数据传递 至预设加解密装置；

步骤B20，通过所述预设加解密装置将所述明文数据加密为待传输密态数 据，并获取所述待传输密态数据的密态数据长度；

在本实施例中，需要说明的是，所述联邦学习的参与方设置有加解密硬 件装置，所述加解密硬件装置为硬件，所述加解密硬件装置可接收第一计算 进程传递的明文数据，并将明文数据加密为待传输密态数据，同样也可接收 来自于其他参与方的密态数据，并将密态数据解密为明文数据。

步骤B30，若所述密态数据长度大于预设数据长度阈值，则将所述待传输 密态数据作为所述传输数据，通过所述第一网卡服务器进程传输至所述第二 计算进程；

步骤B40，若所述密态数据长度不大于预设数据长度阈值，则通过预设网 络通信协议将所述待传输密态数据传输至所述第二计算进程。

在本实施例中，具体地，将所述密态数据长度与预设数据长度阈值进行 比对，若所述密态数据长度大于预设数据长度阈值，则将所述待传输密态数 据作为所述传输数据，并通过加解密硬件装置传递至所述第一网卡服务器进 程，以通过DMA通信的方式将传输数据以及对应的传输标识传输至第二参与 方中对应的第二网卡服务器进程，若所述密态数据长度不大于预设数据长度 阈值，则通过预设网络通信协议将所述待传输密态数据由预设加解密装置处 传输至对应的第二计算进程，其中，需要说明的是，预设加解密装置中存在 预设数据长度阈值存在的原因是：传输数据聚合在第一参与方的网卡服务器 之中以及传输数据在第二参与方之中分发会带来一定的软件开销，若传输数 据的密态数据长度过小，会导致当加密之后数据长度比较短，则使用DMA通 信聚合发送效率反而低于TCP通信，所以，本申请实施例在传输数据的密态 数据长度大于预设数据长度阈值是，选择DMA通信的方式进行数据传输，而 在传输数据的密态数据长度不大于预设数据长度阈值是，选择TCP通信的方 式进行数据传输，可提升数据传输的效率。

本申请实施例提供了一种联邦学习中数据传输优化方法，也即，本申请 实施例首先通过需要发送数据的第一计算进程向第一网卡服务器进程请求传 输标识，并将所述第一网卡服务器进程反馈的所述传输标识传递至对应的第 二参与方中的第二计算进程，其中，所述传输标识与所述第一计算进程需要 发送的传输数据一一对应，进而通过所述第一网卡服务器进程接收所述传输 数据，并将所述传输标识以及所述传输数据对应写入第一网卡注册内存中， 其中，所述第一网卡注册内存注册在所述第一网卡服务器内置的第一网卡中， 实现了将联邦学习中各第一计算进程的传输数据汇集在具备网卡的第一网卡 服务器上的目的，进而通过所述第一网卡服务器进程利用所述第一网卡通过 DMA通信方式将所述第一网卡注册内存中的所述传输标识以及所述传输数据 传输至第二参与方的第二网卡注册内存中，以供所述第二计算进程依据从所 述第一计算进程接收的所述传输标识，从所述第二网卡注册内存中拉取对应 的所述传输数据，其中，所述第二网卡注册内存注册在所述第二参与方的第 二网卡服务器内置的第二网卡中，实现了通过DMA通信方式将传输数据由第 一网卡服务器中的第一网卡注册内存传递至第二网卡服务器中的第二网卡注 册内存的目的，进而第二参与方的第二计算进程可根据预先接收到的传输标 识，从第二网卡注册内存中拉取对应的传输数据，实现了利用DMA通信的方 式将第一参与方中各第一计算进程的传输数据聚合发送至对应的第二参与方 中各第二计算进程，进而达到了将联邦学习网络中数据传输的方式由TCP通 信的方式部分替换为DMA通信的方式的目的，而DMA通信过程中不发生数据 拷贝，也不依赖于软件实现，进而克服了由于TCP通信过程中通常会在发送 侧以及接收侧发生数据拷贝，并且TCP通信过程中稳定传输的功能实现依赖 于软件，实际传输速度远低于物理带宽，网络传输效率低下，进而影响了联 邦学习网络传输的效率的技术缺陷，所以，提升了联邦学习网络数据传输的 效率。

实施例二

进一步地，参照图2，在本申请另一实施例中，应用于任意需要接收数据 的第二参与方，所述联邦学习中数据传输优化方法包括：

步骤C10，通过需要接收数据的第二计算进程接收对应的第一参与方中需 要发送数据的第一计算进程发送的传输标识，其中，所述传输标识与所述第 一计算进程需要发送的传输数据一一对应；

在本实施例中，需要说明的是，所述传输标识与所述第一计算进程需要 发送的传输数据一一对应。若联邦学习的参与方的计算进程不能直接与其他 参与方的计算进程进行通信，则需要在各参与方中设置数据转发进程，进而 第一参与方的第一计算进程首先将传输标识传递至发送方数据转发进程，进 而传输标识由发送方数据转发进程传输至接收方数据转发进程，进而由接收 方数据转发进程将所述传输标识传递至对应的第二计算进程。

步骤C20，通过第二网卡服务器进程接收所述第一参与方中第一网卡服务 器进程通过DMA通信方式传输的所述传输标识和所述传输数据，并写入第二 网卡注册内存；

在本实施例中，需要说明的是，在第一参与方通过预设DMA连接进行数 据传输之前，所述第一参与方的第一网卡服务器会预先告知第二参与方的第 二网卡服务器本次通过DMA连接进行传输的数据的大小，进而第二参与方的 网卡服务器将从本地的内存池中划分对应大小的第二网卡注册内存，以进行 数据接收。

具体地，通过第二网卡服务器进程接收所述第一参与方中第一网卡服务 器进程通过DMA通信方式传输的所述传输标识和所述传输数据，并依据所述 传输数据对应的内存地址，将所述传输标识和所述传输数据写入第二网卡注 册内存，其中，所述第一参与方的第一网卡服务器进程依据预设DMA连接将 传输数据以及对应的传输标识传输至第二参与方的第二网卡服务器进程的具 体过程可参照上述步骤S10至步骤S30中的具体内容，在此不再赘述。

步骤C30，通过所述第二计算进程依据所述传输标识从所述第二网卡注册 内存中拉取对应的传输数据。

在本实施例中，具体地，通过所述第二计算进程依据所述传输标识查询 所述传输数据的内存地址，在所述第二网卡注册内存中拉取存储在所述内存 地址所对应的内存中的传输数据。

其中，在步骤C30中，所述通过所述第二计算进程依据所述传输标识从 所述第二网卡注册内存中拉取对应的传输数据的步骤包括：

步骤C31，通过所述第二计算进程向所述第二网卡服务器进程发送数据拉 取请求，其中，所述数据拉取请求中包括所述第一计算进程向所述第二计算 进程发送的传输标识；

步骤C32，通过所述第二网卡服务器进程在预设映射表中查询所述传输标 识对应的内存地址，并提取所述内存地址中的传输数据反馈至所述第二计算 进程。

在本实施例中，需要说明的是，所述预设映射表为存储所述传输标识与 内存地址之间的映射关系的表，其中，依据传输标识，可在所述预设映射表 中查询对应的内存地址。

具体地，通过所述第二计算进程向所述第二网卡服务器进程发送数据拉 取请求，其中，所述数据拉取请求中包括所述第一计算进程向所述第二计算 进程发送的传输标识，进而以所述传输标识为索引，通过所述第二网卡服务 器在预设映射表中查询对应的内存地址，若查询成功，则通过所述第二网卡 服务器进程提取存储所述内存地址对应的内存中的传输数据反馈至对应的第 二计算进程；若查询失败，则返回执行步骤：以所述传输标识为索引，通过 所述第二网卡服务器在预设映射表中查询对应的内存地址，直至查询成功，所以，本申请实施例通过设置传输标识，可从第二网卡注册内存中精确定位 每一第二计算进程需要接收的传输数据，实现了将第一参与方聚合发送至第 二参与方的第二网卡注册内存的各传输数据精确分发至对应的第二计算进程 的目的。

其中，所述通过第二网卡服务器进程接收所述第一参与方中第一网卡服 务器进程通过DMA通信方式传输的所述传输标识和所述传输数据，并写入第 二网卡注册内存，所述联邦学习中数据传输优化方法包括：

步骤D10，通过所述第二网卡服务器进程从所述第二网卡注册内存中为所 述传输数据分配对应的第二内存块；

步骤D20，通过所述第二网卡服务器进程接收第一网卡服务器进程通过 DMA通信方式传输的所述传输标识和所述传输数据，并依序将所述传输标识和 所述传输数据写入所述第二内存块；

在本实施例中，具体地，依据所述传输数据的数据大小，通过所述第二 网卡服务器进程从所述第二网卡注册内存中为所述传输数据分配对应大小的 第二内存块；通过所述第二网卡服务器进程接收第一网卡服务器进程通过DMA 通信方式传输的所述传输标识和所述传输数据，并将所述传输标识写入所述 第二内存块的起始位置；在所述起始位置之后，将所述传输数据写入所述第 二内存块。

步骤D30，通过所述第二网卡服务器进程提取所述第二内存块中的传输标 识，并获取所述传输标识对应的传输数据的内存地址；

在本实施例中，具体地，通过所述第二网卡服务器进程提取数据块中的 传输标识，并依据所述传输标识对应的内存地址，确定各所述传输标识对应 的传输数据对应的内存地址，例如，假设第一个传输标识占据第1KB至第10KB， 第二个传输标识占据第101KB至第110KB，则第一个传输标识对应的传输数据 所占据的内存地址为第11KB至第100KB。

步骤D40，将所述传输标识和所述内存地址成对存储至预设映射表。

在本实施例中，以所述传输标识为key，以所述网卡注册内存地址为 value，将所述传输标识和所述内存地址成对存储至预设映射表，进而当第二 网卡服务器进程接收到第二计算进程的数据拉取请求时，即可直接依据数据 拉取请求中的传输标识，在预设映射表中查询对应的传输数据的内存地址， 即可实现将传输数据精确分发至对应的第二计算进程的目的。

参照图3为本申请实施例中联邦学习网络基于DMA通信的方式进行数据 传输系统架构示意图，其中，参与方A与参与方B均为联邦学习的参与方， 参与方A为第一参与方，参与方B为第二参与方，参与方A中的服务器4为 属于参与方A的第一网卡服务器，对应的计算进程为第一计算进程，参与方B 中的服务器1为属于参与方B中的第二网卡服务器，对应的计算进程为第二 计算进程。

其中，所述通过所述第二网卡服务器进程从所述第二网卡注册内存中为 所述传输数据分配对应的第二内存块的步骤包括：

步骤E10，通过所述第二网卡服务器进程从所述第一网卡服务器进程获取 所述传输数据的大小，并依据所述传输数据的大小从所述第二网卡注册内存 中为所述传输数据划分对应的第二内存块；或者，

在本实施例中，通过所述第二网卡服务器进程从所述第一网卡服务器进 程获取所述传输数据的大小，并依据所述待传输数据的大小，确定所述传输 数据所需的目标内存大小；从所述第二网卡注册内存中为所述传输数据划分 大小为所述目标内存大小的第二内存块。

步骤F10，通过所述第二网卡服务器进程预先设置接收数据的内存块分割 大小，基于所述内存块分割大小从所述第二网卡注册内存中为所述传输数据 划分对应的第二内存块，并在所述第二内存块不足以存储所述传输数据时， 再次基于所述内存块分割大小从所述第二网卡注册内存中为所述传输数据划 分对应的第二内存块。

本申请提供了一种联邦学习中数据传输优化方法，也即，通过需要接收 数据的第二计算进程接收对应的第一参与方中需要发送数据的第一计算进程 发送的传输标识，其中，所述传输标识与所述第一计算进程需要发送的传输 数据一一对应，进而通过第二网卡服务器进程接收所述第一参与方中第一网 卡服务器进程通过DMA通信方式传输的所述传输标识和所述传输数据，并写 入第二网卡注册内存，实现了将由第一参与方的第一网卡服务器聚合发送的 第二参与方的第二网卡服务器的传输数据直接接收至第二网卡注册内存的目 的，进而通过所述第二计算进程依据所述传输标识，可直接从所述第二网卡 注册内存中拉取对应的传输数据，实现了依据传输标识，将各传输数据精确 分发至对应的第二计算进程的目的，进而实现了在第一计算进程与第二计算 进程之间以DMA通信方式进行数据传输的目的，而DMA通信过程中不发生数 据拷贝，也不依赖于软件实现，进而克服了由于TCP通信过程中通常会在发 送侧以及接收侧发生数据拷贝，并且TCP通信过程中稳定传输的功能实现依 赖于软件，实际传输速度远低于物理带宽，网络传输效率低下，进而影响了联邦学习网络传输的效率的技术缺陷，所以，提升了联邦学习网络数据传输 的效率。

实施例三

本发明实施例提供一种电子设备，电子设备包括：至少一个处理器；以 及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一 个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能 够执行上述实施例一中的联邦学习中数据传输优化方法。

下面参考图4，其示出了适于用来实现本公开实施例的电子设备的结构示 意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本 电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便 携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及 诸如数字TV、台式计算机等等的固定终端。图4示出的电子设备仅仅是一个 示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图4所示，电子设备可以包括处理装置(例如中央处理器、图形处理 器等)，其可以根据存储在只读存储器(ROM)中的程序或者从存储装置加载 到随机访问存储器(RAM)中的程序而执行各种适当的动作和处理。在RAM中， 还存储有电子设备操作所需的各种程序和数据。处理装置、ROM以及RAM通过 总线彼此相连。输入/输出(I/O)接口也连接至总线。

通常，以下系统可以连接至I/O接口：包括例如触摸屏、触摸板、键盘、 鼠标、图像传感器、麦克风、加速度计、陀螺仪等的输入装置；包括例如液 晶显示器(LCD)、扬声器、振动器等的输出装置；包括例如磁带、硬盘等的 存储装置；以及通信装置。通信装置可以允许电子设备与其他设备进行无线 或有线通信以交换数据。虽然图中示出了具有各种系统的电子设备，但是应 理解的是，并不要求实施或具备所有示出的系统。可以替代地实施或具备更 多或更少的系统。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现 为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包 括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程 图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信 装置从网络上被下载和安装，或者从存储装置被安装，或者从ROM被安装。 在该计算机程序被处理装置执行时，执行本公开实施例的方法中限定的上述 功能。

本发明提供的电子设备，采用上述实施例一或实施例二中的联邦学习中 数据传输优化方法，解决了客户端请求联邦学习中数据传输优化服务的效率 低的技术问题。与现有技术相比，本发明实施例提供的电子设备的有益效果 与上述实施例一提供的联邦学习中数据传输优化方法的有益效果相同，且该 电子设备中的其他技术特征与上一实施例方法公开的特征相同，在此不做赘 述。

应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实 现。在上述实施方式的描述中，具体特征、结构、材料或者特点可以在任何 的一个或多个实施例或示例中以合适的方式结合。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限 于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易 想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护 范围应以所述权利要求的保护范围为准。

实施例四

本申请实施例还提供一种联邦学习中数据传输优化装置，所述联邦学习 中数据传输优化装置应用于任意需要发送数据的第一参与方，所述联邦学习 中数据传输优化装置包括：

传输标识处理模块，用于通过需要发送数据的第一计算进程向第一网卡 服务器进程请求传输标识，并将所述第一网卡服务器进程反馈的所述传输标 识传递至对应的第二参与方中的第二计算进程，其中，所述传输标识与所述 第一计算进程需要发送的传输数据一一对应；

内存写入模块，用于通过所述第一网卡服务器进程接收所述传输数据， 并将所述传输标识以及所述传输数据对应写入第一网卡注册内存中，其中， 所述第一网卡注册内存注册在所述第一网卡服务器内置的第一网卡中；

数据传输模块，用于通过所述第一网卡服务器进程利用所述第一网卡通 过DMA通信方式将所述第一网卡注册内存中的所述传输标识以及所述传输数 据传输至第二参与方的第二网卡注册内存中，以供所述第二计算进程依据从 所述第一计算进程接收的所述传输标识，从所述第二网卡注册内存中拉取对 应的所述传输数据，其中，所述第二网卡注册内存注册在所述第二参与方的 第二网卡服务器内置的第二网卡中。

可选地，所述第一网卡服务器内置的所述第一网卡支持DMA通信，所述 第一网卡注册内存为从所述第一网卡服务器预先申请的注册在所述第一网卡 的内存；所述第二网卡服务器内置的所述第二网卡支持DMA通信，所述第二 网卡注册内存为从所述第二网卡服务器预先申请的注册在所述第二网卡的内 存。

可选地，所述第一网卡服务器内置的所述第一网卡支持DMA通信，所述 第一网卡注册内存为从所述第一网卡服务器预先申请的注册在所述第一网卡 的内存；所述第二网卡服务器内置的所述第二网卡支持DMA通信，所述第二 网卡注册内存为从所述第二网卡服务器预先申请的注册在所述第二网卡的内 存。

可选地，所述传输标识处理模块还用于：

通过所述第一计算进程向所述第一网卡服务器进程发送数据传输请求， 其中，所述数据传输请求中包括所述第一计算进程产生的传输数据的所述传 输数据对应的传输数据大小；

通过所述第一网卡服务器进程，依据所述传输数据大小从所述第一网卡 注册内存中为所述传输数据划分对应的第一内存块，并生成所述传输数据对 应的传输标识；

通过所述第一网卡服务器进程向所述第一计算进程反馈所述传输标识。

可选地，所述第一网卡注册内存至少包括一所述传输数据对应的第一内 存块，所述内存写入模块还用于：

通过所述第一网卡服务器进程调用所述第一网卡注册内存中所述第一内 存块对应的预设目标线程，并将所述第一内存块对应的内存地址以及所述传 输标识传入所述预设目标线程；

通过所述预设目标线程将所述传输标识写入所述第一内存块的起始位 置，并通知所述第一计算进程开始传输所述传输数据；

通过所述预设目标线程接收所述传输数据，并依据所述内存地址，在所 述起始位置之后将所述传输数据写入所述第一内存块。

可选地，所述联邦学习中数据传输优化装置还用于：

通过所述第一计算进程将自身产生的需要发送的明文数据加密为待传输 密态数据；

获取所述待传输密态数据的密态数据长度，若所述密态数据长度大于预 设数据长度阈值，则将所述待传输密态数据作为所述传输数据通过所述第一 网卡服务器进程传输至所述第二计算进程；

若所述密态数据长度不大于预设数据长度阈值，则通过预设网络通信协 议将所述待传输密态数据传输至所述第二计算进程。

可选地，所述联邦学习中数据传输优化装置还用于：

通过所述第一计算进程将自身产生的需要发送的明文数据传递至预设加 解密装置；

通过所述预设加解密装置将所述明文数据加密为待传输密态数据，并获 取所述待传输密态数据的密态数据长度；

若所述密态数据长度大于预设数据长度阈值，则将所述待传输密态数据 作为所述传输数据，通过所述第一网卡服务器进程传输至所述第二计算进程；

若所述密态数据长度不大于预设数据长度阈值，则通过预设网络通信协 议将所述待传输密态数据传输至所述第二计算进程。

本申请联邦学习中数据传输优化装置的具体实施方式和有益效果与上述 联邦学习中数据传输优化方法各实施例基本相同，在此不再赘述。

实施例五

本申请实施例还提供一种联邦学习中数据传输优化装置，所述联邦学习 中数据传输优化装置应用于任意需要接收数据的第二参与方，所述联邦学习 中数据传输优化装置包括：

第一接收模块，用于通过需要接收数据的第二计算进程接收对应的第一 参与方中需要发送数据的第一计算进程发送的传输标识，其中，所述传输标 识与所述第一计算进程需要发送的传输数据一一对应；

第二接收模块，用于通过第二网卡服务器进程接收所述第一参与方中第 一网卡服务器进程通过DMA通信方式传输的所述传输标识和所述传输数据， 并写入第二网卡注册内存；

数据拉取模块，用于通过所述第二计算进程依据所述传输标识从所述第 二网卡注册内存中拉取对应的传输数据。

可选地，所述数据拉取模块还用于：

通过所述第二计算进程向所述第二网卡服务器进程发送数据拉取请求， 其中，所述数据拉取请求中包括所述第一计算进程向所述第二计算进程发送 的传输标识；

通过所述第二网卡服务器进程在预设映射表中查询所述传输标识对应的 内存地址，并提取所述内存地址中的传输数据反馈至所述第二计算进程。

可选地，第二接收模块还用于：

通过所述第二网卡服务器进程从所述第二网卡注册内存中为所述传输数 据分配对应的第二内存块；

所述通过第二网卡服务器进程接收第一网卡服务器进程通过DMA通信方 式传输的所述传输标识和所述传输数据，并依序将所述传输标识和所述传输 数据写入所述第二内存块；

通过所述第二网卡服务器进程提取所述第二内存块中的传输标识，并获 取所述传输标识对应的传输数据的内存地址；

将所述传输标识和所述内存地址成对存储至预设映射表。

可选地，第二接收模块还用于：

通过所述第二网卡服务器进程从所述第一网卡服务器进程获取所述传输 数据的大小，并依据所述传输数据的大小从所述第二网卡注册内存中为所述 传输数据划分对应的第二内存块；或者，

通过所述第二网卡服务器进程预先设置接收数据的内存块分割大小，基 于所述内存块分割大小从所述第二网卡注册内存中为所述传输数据划分对应 的第二内存块，并在所述第二内存块不足以存储所述传输数据时，再次基于 所述内存块分割大小从所述第二网卡注册内存中为所述传输数据划分对应的 第二内存块。

本申请联邦学习中数据传输优化装置的具体实施方式和有益效果与上述 联邦学习中数据传输优化方法各实施例基本相同，在此不再赘述。

实施例六

本实施例提供一种计算机可读存储介质，具有存储在其上的计算机可读 程序指令，计算机可读程序指令用于执行上述实施例一中的联邦学习中数据 传输优化的方法。

本发明实施例提供的计算机可读存储介质例如可以是U盘，但不限于电、 磁、光、电磁、红外线、或半导体的系统、系统或器件，或者任意以上的组 合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多 个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读 存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式 紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本实施例中，计算机可读存储介质可以是任何包含或存储 程序的有形介质，该程序可以被指令执行系统、系统或者器件使用或者与其 结合使用。计算机可读存储介质上包含的程序代码可以用任何适当的介质传 输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的 组合。

上述计算机可读存储介质可以是电子设备中所包含的；也可以是单独存 在，而未装配入电子设备中。

上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多 个程序被电子设备执行时，使得电子设备：获取至少两个网际协议地址；向 节点评价设备发送包括所述至少两个网际协议地址的节点评价请求，其中， 所述节点评价设备从所述至少两个网际协议地址中，选取网际协议地址并返 回；接收所述节点评价设备返回的网际协议地址；其中，所获取的网际协议 地址指示内容分发网络中的边缘节点。

或者，上述计算机可读存储介质承载有一个或者多个程序，当上述一个 或者多个程序被电子设备执行时，使得该电子设备：接收包括至少两个网际 协议地址的节点评价请求；从所述至少两个网际协议地址中，选取网际协议 地址；返回选取出的网际协议地址；其中，接收到的网际协议地址指示内容 分发网络中的边缘节点。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作 的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如 Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言 或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地 在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部 分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远 程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例 如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和 计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或 框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、 程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行 指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以 以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可 以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能 而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程 图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统 来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可 以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该单 元本身的限定。

本发明提供的计算机可读存储介质，存储有用于执行上述联邦学习中数 据传输优化方法的计算机可读程序指令，解决了客户端请求联邦学习中数据 传输优化服务的效率低的技术问题。与现有技术相比，本发明实施例提供的 计算机可读存储介质的有益效果与上述实施例一或实施例二提供的联邦学习 中数据传输优化方法的有益效果相同，在此不做赘述。

实施例七

本申请还提供一种产品，所述产品为计算机程序产品，包括计算机程序， 所述计算机程序被处理器执行时实现如上述的联邦学习中数据传输优化方法 的步骤。

本申请提供的计算机程序产品解决了客户端请求联邦学习中数据传输优 化服务的效率低的技术问题。与现有技术相比，本发明实施例提供的计算机 程序产品的有益效果与上述实施例一或实施例二提供的联邦学习中数据传输 优化方法的有益效果相同，在此不做赘述。

以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是 利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间 接运用在其他相关的技术领域，均同理包括在本申请的专利处理范围内。

Claims (13)

1.一种联邦学习中数据传输优化方法，其特征在于，应用于任意需要发送数据的第一参与方，所述联邦学习中数据传输优化方法包括：

通过需要发送数据的第一计算进程向第一网卡服务器进程请求传输标识，并将所述第一网卡服务器进程反馈的所述传输标识传递至对应的第二参与方中的第二计算进程，其中，所述传输标识与所述第一计算进程需要发送的传输数据一一对应；

通过所述第一网卡服务器进程接收所述传输数据，并将所述传输标识以及所述传输数据对应写入第一网卡注册内存中，其中，所述第一网卡注册内存注册在所述第一网卡服务器内置的第一网卡中；

通过所述第一网卡服务器进程利用所述第一网卡通过DMA通信方式将所述第一网卡注册内存中的所述传输标识以及所述传输数据传输至第二参与方的第二网卡注册内存中，以供所述第二计算进程依据从所述第一计算进程接收的所述传输标识，从所述第二网卡注册内存中拉取对应的所述传输数据，其中，所述第二网卡注册内存注册在所述第二参与方的第二网卡服务器内置的第二网卡中。

2.如权利要求1所述联邦学习中数据传输优化方法，其特征在于，所述第一网卡服务器内置的所述第一网卡支持DMA通信，所述第一网卡注册内存为从所述第一网卡服务器预先申请的注册在所述第一网卡的内存；

所述第二网卡服务器内置的所述第二网卡支持DMA通信，所述第二网卡注册内存为从所述第二网卡服务器预先申请的注册在所述第二网卡的内存。

3.如权利要求2所述联邦学习中数据传输优化方法，其特征在于，所述通过需要发送数据的第一计算进程向第一网卡服务器进程请求传输标识的步骤包括：

通过所述第一计算进程向所述第一网卡服务器进程发送数据传输请求，其中，所述数据传输请求中包括所述第一计算进程产生的传输数据的所述传输数据对应的传输数据大小；

通过所述第一网卡服务器进程，依据所述传输数据大小从所述第一网卡注册内存中为所述传输数据划分对应的第一内存块，并生成所述传输数据对应的传输标识；

通过所述第一网卡服务器进程向所述第一计算进程反馈所述传输标识。

4.如权利要求1所述联邦学习中数据传输优化方法，其特征在于，所述通过所述第一网卡服务器进程接收所述传输数据，并将所述传输标识以及所述传输数据对应写入第一网卡注册内存中的步骤包括：

通过所述第一网卡服务器进程调用所述第一网卡注册内存中所述第一内存块对应的预设目标线程，并将所述第一内存块对应的内存地址以及所述传输标识传入所述预设目标线程；

通过所述预设目标线程将所述传输标识写入所述第一内存块的起始位置，并通知所述第一计算进程开始传输所述传输数据；

通过所述预设目标线程接收所述传输数据，并依据所述内存地址，在所述起始位置之后将所述传输数据写入所述第一内存块。

5.如权利要求1-4中任一项所述联邦学习中数据传输优化方法，其特征在于，在所述通过需要发送数据的第一计算进程向第一网卡服务器进程请求传输标识，并将所述第一网卡服务器进程反馈的所述传输标识传递至对应的第二参与方中的第二计算进程的步骤之前，所述联邦学习中数据传输优化方法还包括：

通过所述第一计算进程将自身产生的需要发送的明文数据加密为待传输密态数据；

获取所述待传输密态数据的密态数据长度，若所述密态数据长度大于预设数据长度阈值，则将所述待传输密态数据作为所述传输数据通过所述第一网卡服务器进程传输至所述第二计算进程；

若所述密态数据长度不大于预设数据长度阈值，则通过预设网络通信协议将所述待传输密态数据传输至所述第二计算进程。

6.如权利要求1-4中任一项所述联邦学习中数据传输优化方法，其特征在于，在所述通过需要发送数据的第一计算进程向第一网卡服务器进程请求传输标识，并将所述第一网卡服务器进程反馈的所述传输标识传递至对应的第二参与方中的第二计算进程的步骤之前，所述联邦学习中数据传输优化方法还包括：

通过所述第一计算进程将自身产生的需要发送的明文数据传递至预设加解密装置；

通过所述预设加解密装置将所述明文数据加密为待传输密态数据，并获取所述待传输密态数据的密态数据长度；

若所述密态数据长度大于预设数据长度阈值，则将所述待传输密态数据作为所述传输数据，通过所述第一网卡服务器进程传输至所述第二计算进程；

若所述密态数据长度不大于预设数据长度阈值，则通过预设网络通信协议将所述待传输密态数据传输至所述第二计算进程。

7.一种联邦学习中数据传输优化方法，其特征在于，应用于任意需要接收数据的第二参与方，所述联邦学习中数据传输优化方法包括：

通过需要接收数据的第二计算进程接收对应的第一参与方中需要发送数据的第一计算进程发送的传输标识，其中，所述传输标识与所述第一计算进程需要发送的传输数据一一对应；

通过第二网卡服务器进程接收所述第一参与方中第一网卡服务器进程通过DMA通信方式传输的所述传输标识和所述传输数据，并写入第二网卡注册内存；

通过所述第二计算进程依据所述传输标识从所述第二网卡注册内存中拉取对应的传输数据。

8.如权利要求7所述联邦学习中数据传输优化方法，其特征在于，所述通过所述第二计算进程依据所述传输标识从所述第二网卡注册内存中拉取对应的传输数据的步骤包括：

通过所述第二计算进程向所述第二网卡服务器进程发送数据拉取请求，其中，所述数据拉取请求中包括所述第一计算进程向所述第二计算进程发送的传输标识；

通过所述第二网卡服务器进程在预设映射表中查询所述传输标识对应的内存地址，并提取所述内存地址中的传输数据反馈至所述第二计算进程。

9.如权利要求7所述联邦学习中数据传输优化方法，其特征在于，所述通过第二网卡服务器进程接收所述第一参与方中第一网卡服务器进程通过DMA通信方式传输的所述传输标识和所述传输数据，并写入第二网卡注册内存的步骤包括：

通过所述第二网卡服务器进程从所述第二网卡注册内存中为所述传输数据分配对应的第二内存块；

所述通过第二网卡服务器进程接收第一网卡服务器进程通过DMA通信方式传输的所述传输标识和所述传输数据，并依序将所述传输标识和所述传输数据写入所述第二内存块；

通过所述第二网卡服务器进程提取所述第二内存块中的传输标识，并获取所述传输标识对应的传输数据的内存地址；

将所述传输标识和所述内存地址成对存储至预设映射表。

10.如权利要求9所述联邦学习中数据传输优化方法，其特征在于，所述通过所述第二网卡服务器进程从所述第二网卡注册内存中为所述传输数据分配对应的第二内存块的步骤包括：

通过所述第二网卡服务器进程从所述第一网卡服务器进程获取所述传输数据的大小，并依据所述传输数据的大小从所述第二网卡注册内存中为所述传输数据划分对应的第二内存块；或者，

通过所述第二网卡服务器进程预先设置接收数据的内存块分割大小，基于所述内存块分割大小从所述第二网卡注册内存中为所述传输数据划分对应的第二内存块，并在所述第二内存块不足以存储所述传输数据时，再次基于所述内存块分割大小从所述第二网卡注册内存中为所述传输数据划分对应的第二内存块。

11.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至6和/或7至10中任一项所述的联邦学习中数据传输优化方法的步骤。

12.一种可读存储介质，其特征在于，所述可读存储介质上存储有实现联邦学习中数据传输优化方法的程序，所述实现联邦学习中数据传输优化方法的程序被处理器执行以实现如权利要求1至6和/或7至10中任一项所述联邦学习中数据传输优化方法的步骤。

13.一种产品，所述产品为计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6和/或7至10中任一项所述联邦学习中数据传输优化方法的步骤。

Images