CN112511526B - 数据传输方法、设备和可读存储介质 - Google Patents

Abstract

本申请公开了一种数据传输方法、设备和可读存储介质，所述数据传输方法包括：通过预设业务层接收数据发送请求后，通过预设适配层将所述数据发送请求对应的数据构造信息调用至预设数据传输底层，进而在所述预设数据传输底层中基于所述数据构造信息，构造具备数据标签信息的待发送数据单元，进而将所述待发送数据单元发送至与所述第一设备通信连接的第二设备，以供所述第二设备基于所述数据标签信息，调用所述待发送数据单元中的待发送数据。本申请解决了数据传输效率低的技术问题。

Description

数据传输方法、设备和可读存储介质

技术领域

本申请涉及机器学习中的通信技术领域，尤其涉及一种数据传输方法、设备和可读存储介质。

背景技术

随着计算机软件和人工智能的不断发展，对数据传输效率的要求也越来越高，例如，在联邦学习环境中，各联邦参与方与联邦协调方之间通常需要进行大量数据的传输，进而为了保证联邦学习的效率，对数据传输效率的要求极高，目前，通常基于TCP/IP协议栈发送数据，但是在基于TCP/IP协议栈发送数据时，从应用层到链路层，数据发送端通常需要消耗大量时间资源和计算资源为待发送数据层层加入头部信息，生成待发送的数据包，而数据接收端在收到数据包后，通常需要消耗大量时间资源和计算资源层层解析数据包的头部信息，以获取数据包中的数据，进而当要发送的数据量较大时，将导致数据发送和数据接收的效率较低，进而导致数据传输的效率较低。

发明内容

本申请的主要目的在于提供一种数据传输方法、设备和可读存储介质，旨在解决现有技术中数据传输效率低的技术问题。

为实现上述目的，本申请提供一种数据传输方法，所述数据传输方法应用于第一设备，所述数据传输方法包括：

通过预设业务层接收数据发送请求后，通过预设适配层将所述数据发送请求对应的数据构造信息调用至预设数据传输底层；

在所述预设数据传输底层中基于所述数据构造信息，构造具备数据标签信息的待发送数据单元；

将所述待发送数据单元发送至与所述第一设备通信连接的第二设备，以供所述第二设备基于所述数据标签信息，调用所述待发送数据单元中的待发送数据。

为实现上述目的，本申请还提供一种数据传输方法，所述数据传输方法应用于第二设备，所述数据传输方法包括：

接收数据单元和所述数据单元对应的设备标识；

基于所述设备标识，判断所述数据单元的数据来源是否为第一设备；

若是，对所述数据单元进行解包，获得目标数据和数据标签信息；

基于所述数据标签信息，通过预设适配层将所述目标数据推送至预设业务层。

为实现上述目的，本申请还提供一种数据传输方法，所述数据传输方法应用于联邦学习中的参与方设备，所述数据传输方法包括：

通过预设业务层接收数据发送请求后，通过预设适配层将所述数据发送请求对应的数据构造信息调用至预设数据传输底层；

在所述预设数据传输底层中基于所述数据构造信息，构造具备数据标签信息的待发送梯度信息单元；

将所述待发送梯度信息单元发送至与所述参与方设备通信连接的协调方设备，以供所述协调方设备基于所述数据标签信息，调用所述待发送梯度信息单元中的本地模型梯度信息计算联邦梯度信息，并将所述联邦梯度信息反馈至所述参与方设备。

为实现上述目的，本申请还提供一种数据传输方法，所述数据传输方法应用于联邦学习中的协调方设备，所述数据传输方法包括：

接收各参与方设备发送的梯度信息单元，并对各所述梯度信息单元进行解包，获得各所述梯度信息单元中的数据标签信息和本地模型梯度信息；

通过预设适配层调用各所述本地模型梯度信息中与预设数据标签信息一致的各数据标签信息对应的目标模型梯度信息至预设业务层；

在所述预设业务层中对各所述目标模型梯度信息进行聚合，获得联邦梯度信息；

将所述联邦梯度信息反馈至各所述参与方设备。

为实现上述目的，本申请还提供一种数据传输装置，所述数据传输装置为虚拟装置，且所述数据传输装置应用于第一设备，所述数据传输装置包括：

调用模块，用于通过预设业务层接收数据发送请求后，通过预设适配层将所述数据发送请求对应的数据构造信息调用至预设数据传输底层；

构造模块，用于在所述预设数据传输底层中基于所述数据构造信息，构造具备数据标签信息的待发送数据单元；

发送模块，用于将所述待发送数据单元发送至与所述第一设备通信连接的第二设备，以供所述第二设备基于所述数据标签信息，调用所述待发送数据单元中的待发送数据。

为实现上述目的，本申请还提供一种数据传输装置，所述数据传输装置为虚拟装置，且所述数据传输装置应用于第二设备，所述数据传输装置包括：

接收模块，用于接收数据单元和所述数据单元对应的设备标识；

判断模块，用于基于所述设备标识，判断所述数据单元的数据来源是否为第一设备；

解包模块，用于若是，对所述数据单元进行解包，获得目标数据和数据标签信息；

推送模块，用于基于所述数据标签信息，通过预设适配层将所述目标数据推送至预设业务层。

为实现上述目的，本申请还提供一种数据传输装置，所述数据传输装置为虚拟装置，且所述数据传输装置应用于联邦学习中的参与方设备，所述数据传输装置包括：

调用模块，用于通过预设业务层接收数据发送请求后，通过预设适配层将所述数据发送请求对应的数据构造信息调用至预设数据传输底层；

构造模块，用于在所述预设数据传输底层中基于所述数据构造信息，构造具备数据标签信息的待发送梯度信息单元；

发送模块，用于将所述待发送梯度信息单元发送至与所述参与方设备通信连接的协调方设备，以供所述协调方设备基于所述数据标签信息，调用所述待发送梯度信息单元中的本地模型梯度信息计算联邦梯度信息，并将所述联邦梯度信息反馈至所述参与方设备。

为实现上述目的，本申请还提供一种数据传输装置，所述数据传输装置为虚拟装置，且所述数据传输装置应用于联邦学习中的协调方设备，所述数据传输装置包括：

解包模块，用于接收各参与方设备发送的梯度信息单元，并对各所述梯度信息单元进行解包，获得各所述梯度信息单元中的数据标签信息和本地模型梯度信息；

调用模块，用于通过预设适配层调用各所述本地模型梯度信息中与预设数据标签信息一致的各数据标签信息对应的目标模型梯度信息至预设业务层；

聚合模块，用于在所述预设业务层中对各所述目标模型梯度信息进行聚合，获得联邦梯度信息；

反馈模块，用于将所述联邦梯度信息反馈至各所述参与方设备。

本申请还提供一种数据传输设备，所述数据传输设备为实体设备，所述数据传输设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述数据传输方法的程序，所述数据传输方法的程序被处理器执行时可实现如上述的数据传输方法的步骤。

本申请还提供一种可读存储介质，所述可读存储介质上存储有实现数据传输方法的程序，所述数据传输方法的程序被处理器执行时实现如上述的数据传输方法的步骤。

本申请提供了一种数据传输方法、设备和可读存储介质，相比于现有技术采用的基于TCP/IP协议栈发送数据的技术手段，其中，需要说明的是，预设业务层与预设数据发送底层语言环境不同，进而预设业务层与预设数据传输底层之间无法直接进行数据调用，而本申请首先通过预设业务层接收数据发送请求后，通过预设适配层将所述数据发送请求对应的数据构造信息调用至预设数据传输底层，也即，通过预设适配层将预设业务层和预设数据发送层进行连接，实现了预设业务层与预设数据发送层之间的数据调用，其中，需要说明的是，在现有技术中基于TCP/IP协议栈发送数据时，数据包由业务层构造，且需要应用层、传输层、网络层和链路层进行层层加入头部信息，才可进行数据包的发送，进而通过直接在所述预设数据传输底层中基于所述数据构造信息，构造具备数据标签信息的待发送数据单元，可避免层层加入头部信息的过程，节约了数据传输时发送的数据单元构造时间，进而提高了数据传输的效率，进而将所述待发送数据单元发送至与所述第一设备通信连接的第二设备，以供所述第二设备基于所述数据标签信息，调用所述待发送数据单元中的待发送数据，也即，第二设备的数据传输底层在接收待发送数据单元之后，对所述待发送数据单元进行一次解包，即可基于数据标签信息，直接向第二设备的业务层直接推送待发送数据，进而节约了数据接收端需要对接收到的数据包进行层层解包的过程，进而提高了数据接收端的数据接收效率，进而进一步提高了数据传输效率，克服了现有技术中基于TCP/IP协议栈发送数据时，从应用层到链路层，数据发送端通常需要消耗大量时间资源和计算资源为待发送数据层层加入头部信息，生成待发送的数据包，而数据接收端在收到数据包后，通常需要消耗大量时间资源和计算资源层层解析数据包的头部信息，以获取数据包中的数据，进而当要发送的数据量较大时，将导致数据发送和数据接收的效率较低，进而导致数据传输的效率较低的技术缺陷，提高了数据传输效率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请数据传输方法第一实施例的流程示意图；

图2为本申请数据传输方法第二实施例的流程示意图；

图3为本申请数据传输方法第三实施例的流程示意图；

图4为本申请数据传输方法第四实施例的流程示意图；

图5为本申请实施例方案涉及的硬件运行环境的设备结构示意图。

本申请目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

本申请实施例提供一种数据传输方法，在本申请数据传输方法的第一实施例中，参照图1，所述数据传输方法应用于第一设备，所述数据传输方法包括：

步骤S10，通过预设业务层接收数据发送请求后，通过预设适配层将所述数据发送请求对应的数据构造信息调用至预设数据传输底层；

在本实施例中，需要说明的是，所述第一设备为数据传输端，所述第一设备包括预设业务层、预设适配层和预设数据传输底层，其中，所述预设业务层为应用层，所述应用层的语言环境为Python语言，其中，所述应用层由至少一个特定应用服务元素和至少一个公用应用服务元素组成，其中，所述特定应用服务元素用于提供特定的应用服务，例如文件运输访问和管理(FTAM)、电子文电处理(MHS)、虚拟终端协议(VAP)等，所述公用应用服务元素用于提供一组公用应用服务，例如联系控制服务元素(ACSE)、可靠运输服务元素(RTSE)和远程操作服务元素(ROSE)等。

另外地，需要说明的是，所述预设数据传输底层为数据访问层，所述数据访问层的语言环境为C语言，其中，所述数据访问层用于直接操作数据库，可对数据进行增添、修改、删除和更新等，所述预设适配层为Python-c层，用于粘合Python语言和C语言，以实现Python语言和C语言之间的互相调用，所述Python-c层包括Python-c Extension，所述数据构造信息为预设数据传输底层用于构造发送的数据单元的信息，其中，所述数据构造信息包括数据地址等。

通过预设业务层接收数据发送请求后，通过预设适配层将所述数据发送请求对应的数据构造信息调用至预设数据传输底层，具体地，预设业务层在接收来自应用的数据发送请求之后，生成所述数据发送请求对应的数据构造信息，进而通过预设适配层将所述数据构造信息由所述预设业务层调用至预设数据传输底层。

进一步地，在步骤S10中，所述预设业务层包括Python层，所述预设适配层包括Python-c层，所述预设数据传输底层包括C语言层，

所述通过预设适配层将所述数据发送请求对应的数据构造信息传输至预设数据传输底层的步骤包括：

步骤S11，通过控制所述Python层访问所述Python-c层，调用所述数据构造信息至所述Python-c层；

在本实施例中，需要说明的是，所述Python层为语言环境为Python语言的应用层。

通过控制所述Python层访问所述Python-c层，调用所述数据构造信息至所述Python-c层，具体地，通过控制所述Python层访问所述Python-c层，将所述数据构造信息由所述Python层调用至Python-c层。

步骤S12，通过控制所述Python-c层访问所述C语言层，调用所述数据构造信息至所述C语言层。

在本实施例中，通过控制所述Python-c层访问所述C语言层，调用所述数据构造信息至所述C语言层，具体地，通过控制所述Python-c层访问所述C语言层，将所述数据构造信息由所述Python-c层调用至所述C语言层。

步骤S20，在所述预设数据传输底层中基于所述数据构造信息，构造具备数据标签信息的待发送数据单元；

在本实施例中，需要说明的是，所述数据构造信息包括数据地址和数据标签信息，其中，所述数据标签信息为数据的标识信息，用于标识数据的类别、用途或者来源等，例如，用于标识所述数据在数据接收端的业务层对应的应用服务或者用于标识待发送数据的类别等。

在所述预设数据传输底层中基于所述数据构造信息，构造具备数据标签信息的待发送数据单元，具体地，获取所述数据构造信息中的数据地址和数据标签信息，并在所述C语言层的内存中，查找所述数据地址对应的待发送数据，进而将所述数据标签信息和所述待发送数据封装为待发送数据单元，其中，所述待发送数据可以为二进制数据，以便第二设备(数据接收端)可直接调用二进制的待发送数据参与任务，例如，参与计算任务等。

进一步地，在步骤S20中，所述在所述预设数据传输底层中基于所述数据构造信息，构造具备数据标签信息的待发送数据单元的步骤包括：

步骤S21，获取所述数据构造信息中的数据地址和数据标签信息；

在本实施例中，获取所述数据构造信息中的数据地址和数据标签信息，具体地，通过解析所述数据构造信息，获取所述数据构造信息中的数据地址和数据标签信息。

进一步地，在步骤S21中，所述预设数据传输底层包括数据传输队列和发送模块，

所述获取所述数据构造信息中的数据地址和数据标签信息的步骤包括：

步骤S211，将所述数据构造信息打包为队列数据包加入所述数据传输队列，并控制所述预设适配层返回所述预设业务层；

在本实施例中，需要说明的是，在所述Python-c层执行适配层逻辑将所述数据发送请求对应的数据构造信息传输至预设数据传输底层时，所述Python-c层一直持有PythonGIL锁，其中，所述Python GIL锁为一种全局解释器锁，用于保证Python解释器在同一时刻只能执行一个线程，其中，所述全局解释器锁为计算机程序设计语言解释器中用于同步线程的工具，所述C语言层包括数据传输队列和发送模块，其中，所述数据传输队列为用于执行数据发送时的等待逻辑，所述发送模块用于构造和发送所述待发送数据单元。

将所述数据构造信息打包为队列数据包加入所述数据传输队列，并控制所述预设适配层返回所述预设业务层，具体地，将所述数据构造信息打包为队列数据包加入所述数据传输队列，并在所述队列数据包成功加入所述数据传输队列时，通知所述预设适配层返回所述预设业务层，进而实现了由数据传输队列的通知机制控制所述预设适配层返回所述预设业务层的目的，进而实现了底层通信逻辑和适配层逻辑的解耦，相比于当数据发送成功后，控制中间层返回业务层的方式，适配层可更快的返回业务层，进而提高了适配层任务执行的效率，进而可提高数据发送端的数据发送效率，提高了数据传输效率。

步骤S212，当所述队列数据包出队列时，将所述队列数据包传递给所述发送模块；

在本实施例中，当所述队列数据包出队列时，将所述队列数据包传递给所述发送模块，具体地，执行所述数据传输队列的等待逻辑，进而当所述等待逻辑执行完毕后，控制所诉和队列数据包出队列，且当检测到所述队列数据包出队列时，将所述队列数据包传递给所述发送模块。

步骤S213，通过所述发送模块对所述队列数据包进行解析，获得所述数据地址和所述数据标签信息。

在本实施例中，通过所述发送模块对所述队列数据包进行解析，获得所述数据地址和所述数据标签信息，具体地，通过所述发送模块对所述队列数据包进行解包，获得所述队列数据包中的数据地址和数据标签信息。

步骤S22，调用存储于所述数据地址中的待发送数据，并将所述数据标签信息和所述待发送数据拼接为所述待发送数据单元；

在本实施例中，调用存储于所述数据地址中的待发送数据，并将所述数据标签信息和所述待发送数据拼接为所述待发送数据单元，具体地，调用存储于所述数据地址中的待发送数据，其中，所述数据标签信息至少包括一数据标签，一所述数据标签对应所述待发送数据中的一条数据，进而依据预设数据单元格式，将所述数据标签信息和所述待发送数据拼接为待发送数据单元，其中，所述预设数据单元格式为预先设置好的二进制数据单元格式，例如，假设所述待发送数据单元的数据长度为1024比特位，则所述预设数据单元格式规定，第1位比特位至第128位比特位用于存储数据标签信息，第129位比特位至1024为比特位用于存储待发送数据。

步骤S30，将所述待发送数据单元发送至与所述第一设备通信连接的第二设备，以供所述第二设备基于所述数据标签信息，调用所述待发送数据单元中的待发送数据。

在本实施例中，需要说明的是，所述预设数据发送底层包括数据传输队列，所述第二设备为数据接收端。

将所述待发送数据单元发送至与所述第一设备通信连接的第二设备，以供所述第二设备基于所述数据标签信息，调用所述待发送数据单元中的待发送数据，具体地，基于预设数据发送方式，将所述待发送数据单元与设备标识发送至第二设备的数据传输底层，以供所述第二设备在探测到所述设备标识后，对所述待发送数据单元进行一次解包，即可获得待发送数据和数据标签信息，进而将所述待发送数据和所述数据标签信息在预设内存中进行存储，并依据所述数据标签信息，通过第二设备中的适配层，将所述待发送数据直接推送至所述第二设备中的业务层，进而第二设备的业务层可直接基于所述数据标签信息调用待发送数据执行相应的任务，进而第一设备在进行数据发送之前无需对待发送数据层层加入头部信息，第二设备在接收数据后，为了将数据推送至业务层，无需对应数据进行层层解包，所以，通过设置预设业务层、预设适配层和预设数据传输底层三层结构，并在待发送数据单元加入数据标签信息，即可同时在数据发送端提高数据发送效率和在数据接收端提高数据接收效率，进而提高了数据传输效率，其中，所述预设数据发送方式包括RDMA(RemoteDirect Memory Access，远程直接数据存取)传输方式等，其中，RDMA传输方式通过网络把资料直接传入计算机的存储区，实现将数据从一个系统快速移动到远程系统存储器中，而不对操作系统造成任何影响，消除了外部存储器复制和上下文切换的开销，可解放内存带宽和CPU周期用于改进应用系统性能。

在另一种实施方式中，还可由第二设备发起数据拉取请求，进而第一设备在接收数据拉取请求后，执行步骤S10至步骤S30。

本申请实施例提供了一种数据传输方法、设备和可读存储介质，相比于现有技术采用的基于TCP/IP协议栈发送数据的技术手段，其中，需要说明的是，预设业务层与预设数据发送底层语言环境不同，进而预设业务层与预设数据传输底层之间无法直接进行数据调用，而本申请实施例首先通过预设业务层接收数据发送请求后，通过预设适配层将所述数据发送请求对应的数据构造信息调用至预设数据传输底层，也即，通过预设适配层将预设业务层和预设数据发送层进行连接，实现了预设业务层与预设数据发送层之间的数据调用，其中，需要说明的是，在现有技术中基于TCP/IP协议栈发送数据时，数据包由业务层构造，且需要应用层、传输层、网络层和链路层进行层层加入头部信息，才可进行数据包的发送，进而通过直接在所述预设数据传输底层中基于所述数据构造信息，构造具备数据标签信息的待发送数据单元，可避免层层加入头部信息的过程，节约了数据传输时发送的数据单元构造时间，进而提高了数据传输的效率，进而将所述待发送数据单元发送至与所述第一设备通信连接的第二设备，以供所述第二设备基于所述数据标签信息，调用所述待发送数据单元中的待发送数据，也即，第二设备的数据传输底层在接收待发送数据单元之后，对所述待发送数据单元进行一次解包，即可基于数据标签信息，直接向第二设备的业务层直接推送待发送数据，进而节约了数据接收端需要对接收到的数据包进行层层解包的过程，进而提高了数据接收端的数据接收效率，进而进一步提高了数据传输效率，克服了现有技术中基于TCP/IP协议栈发送数据时，从应用层到链路层，数据发送端通常需要消耗大量时间资源和计算资源为待发送数据层层加入头部信息，生成待发送的数据包，而数据接收端在收到数据包后，通常需要消耗大量时间资源和计算资源层层解析数据包的头部信息，以获取数据包中的数据，进而当要发送的数据量较大时，将导致数据发送和数据接收的效率较低，进而导致数据传输的效率较低的技术缺陷，提高了数据传输效率。

进一步地，参照图2，基于本申请中第一实施例，在本申请的另一实施例中，所述数据传输方法应用于第二设备，所述数据传输方法包括：

步骤A10，接收数据单元和所述数据单元对应的设备标识；

在本实施例中，需要说明的是，所述设备标识为数据发送端的标识，用于标识所述数据单元的发送来源，所述数据单元为第一设备发送的目标数据和所述目标数据对应的数据标签信息，所述数据标签信息为所述目标数据的标识，用于标识目标数据的批次、用途或者类别等。

步骤A20，基于所述设备标识，判断所述数据单元的数据来源是否为第一设备；

在本实施例中，需要说明的是，所述第二设备会持续进行预设设备标识的探测，以识别第一设备发送的数据单元。

基于所述设备标识，判断所述数据单元的数据来源是否为第一设备，具体地，判断所述设备标识是否与预设设备标识一致，若一致，则所述数据单元的数据来源为第一设备，若不一致，则所述数据单元的数据来源不为第一设备。

步骤A30，若是，对所述数据单元进行解包，获得目标数据和数据标签信息；

在本实施例中，若是，对所述数据单元进行解包，获得目标数据和数据标签信息，具体地，若是，则对所述数据单元进行一次解包，即可获得目标数据和所述目标数据对应的数据标签信息,若否，则将所述数据单元进行存储。

步骤A40，基于所述数据标签信息，通过预设适配层将所述目标数据推送至预设业务层。

在本实施例中，具体地，基于所述数据标签信息，通过预设适配层将所述目标数据推送至预设业务层，具体地，为所述数据标签信息和所述目标数据划分对应的内存块，并将所述数据标签信息和所述目标数据存储于所述内存块中，进而通过所述预设适配层通知所述预设业务层具备所述数据标签信息的目标数据的内存块的内存块地址，进而基于所述内存块地址，所述预设业务层可通过所述预设适配层直接调用所述内存块中的目标数据。

进一步地，在步骤A40中，所述基于所述数据标签信息，通过预设适配层将所述目标数据推送至预设业务层的步骤包括：

步骤A41，通过预设适配层将所述数据标签信息传输至所述预设业务层，并在所述预设业务层中确定所述数据标签信息对应的目标应用服务；

在本实施例中，需要说明的，所述第二设备包括预设业务层、预设适配层和预设数据传输底层。

通过预设适配层将所述数据标签信息传输至所述预设业务层，并在所述预设业务层中确定所述数据标签信息对应的目标应用服务，具体地，通过预设适配层将所述数据标签信息由预设数据传输底层调用至所述预设业务层，并基于预先设置好的数据标签信息与应用服务之间的映射关系，在所述预设业务层中确定所述数据标签信息对应的目标应用服务。

步骤A42，在所述预设业务层中通过所述预设适配层调用所述目标数据至所述目标应用服务。

在本实施例中，需要说明的是，所述目标应用服务为基于所述目标数据的任务进程，例如，计算进程等。

在所述预设业务层中通过所述预设适配层调用所述目标数据至所述目标应用服务，具体地，基于所述目标数据对应的内存块的内存块地址，在所述预设业务层中通过所述预设适配层调用所述目标数据，并将所述目标数据应用于所述目标应用服务，以执行所述目标应用服务对应的任务进程。

本申请实施例提供了一种数据接收方法，相比于现有技术中采用的基于TCP/IP协议栈的数据传输的技术手段，本申请实施例在接收数据单元，对数据单元仅进行一次解包，即可获得目标数据和数据标签信息，并基于数据标签信息，通过预设适配层可将目标数据直接推送至预设业务层，克服了现有技术中基于TCP/IP协议栈进行数据传输时，数据接收端在收到数据包后，通常需要消耗大量时间资源和计算资源层层解析数据包的头部信息，以获取数据包中的数据，进而当要发送的数据量较大时，将导致数据发送和数据接收的效率较低，进而导致数据传输的效率较低的技术缺陷，进而提高了数据接收效率，所以，提高了数据传输效率。

进一步地，参照图3，基于本申请中第一实施例和第二实施例，在本申请的另一实施例中，所述数据传输方法应用于联邦学习中的参与方设备，所述数据传输方法包括：

步骤B10，通过预设业务层接收数据发送请求后，通过预设适配层将所述数据发送请求对应的数据构造信息调用至预设数据传输底层；

在本实施例中，需要说明的是，所述数据传输方法应用于联邦学习，所述协调方设备为联邦学习的参与方的设备，用于执行参与方本地的模型训练和更新任务。

通过预设业务层接收数据发送请求后，通过预设适配层将所述数据发送请求对应的数据构造信息调用至预设数据传输底层，具体地，预设业务层在接收来自应用的数据发送请求之后，生成所述数据发送请求对应的数据构造信息，进而通过预设适配层将所述数据构造信息由所述预设业务层调用至预设数据传输底层。

步骤B20，在所述预设数据传输底层中基于所述数据构造信息，构造具备数据标签信息的待发送梯度信息单元；

在本实施例中，需要说明的是，所述预设数据传输底层为C语言层，所述预设业务层为Python层，所述预设适配层为Python-c层，所述数据构造信息包括数据地址，所述预设数据传输底层包括数据传输队列和发送模块。

在所述预设数据传输底层中基于所述数据构造信息，构造具备数据标签信息的待发送梯度信息单元，具体地，将所述数据构造信息打包为队列数据包加入所述数据传输队列，并控制所述预设适配层返回预设业务层，进而在所述队列数据包出队列时，将所述队列数据包传递至所述发送模块，进而通过所述发送模块对所述队列数据包进行解包，获得数据地址和数据标签信息，进而在所述预设数据传输底层的内存中，调用所述数据地址对应的本地模型梯度信息，并将所述本地模型梯度信息和所述数据标签信息拼接为待发送梯度信息单元，其中，所述数据标签信息为本地模型梯度信息的标识信息，用于标识所述本地模型梯度信息，例如，用于标识所述本地模型梯度信息在数据接收端的业务层对应的应用服务和用于标识本地模型梯度信息的类别等，其中，所述本地模型梯度信息和所述元数据均可以为二进制数据，其中，所述待发送梯度信息单元包括本地模型梯度信息和所述本地模型梯度信息对应的数据标签，其中，所述本地模型梯度信息为参与方设备本地通过进行模型迭代训练更新计算的模型梯度。

步骤B30，将所述待发送梯度信息单元发送至与所述参与方设备通信连接的协调方设备，以供所述协调方设备基于所述数据标签信息，调用所述待发送梯度信息单元中的本地模型梯度信息计算联邦梯度信息，并将所述联邦梯度信息反馈至所述参与方设备。

在本实施例中，将所述待发送梯度信息单元发送至与所述参与方设备通信连接的协调方设备，以供所述协调方设备基于所述数据标签信息，调用所述待发送梯度信息单元中的本地模型梯度信息计算联邦梯度信息，并将所述联邦梯度信息反馈至所述参与方设备，具体地，通过所述发送模块基于预设数据发送方式，将所述待发送梯度信息单元与设备标识发送至协调方设备的数据传输底层，以供所述协调方设备在探测到所述设备标识后，对所述待发送梯度信息单元进行一次解包，即可获得本地模型梯度信息和数据标签信息，进而将所述本地模型梯度信息和所述数据标签信息在预设内存中进行存储，并依据所述数据标签信息，通过协调方设备中的适配层，将所述本地模型梯度信息直接推送至所述协调方设备中的业务层，进而协调方设备即可直接在业务层中基于预设聚合规则，对各参与方设备发送的本地模型梯度信息进行聚合，获得联邦梯度信息，其中，所述预设聚合规则包括求和、求平均和加权求平均等，并以与参与方设备相同的数据传输方式，将所述联邦梯度信息反馈至各参与方设备。

本申请实施例提供了一种联邦学习中的数据传输方法，相比于现有技术采用的基于TCP/IP协议栈发送数据的技术手段，其中，需要说明的是，预设业务层与预设数据发送底层语言环境不同，进而预设业务层与预设数据传输底层之间无法直接进行数据调用，而本申请首先通过预设业务层接收数据发送请求后，通过预设适配层将所述数据发送请求对应的数据构造信息调用至预设数据传输底层，也即，通过预设适配层将预设业务层和预设数据发送层进行连接，实现了预设业务层与预设数据发送层之间的数据调用，其中，需要说明的是，在现有技术中基于TCP/IP协议栈发送数据时，数据包由业务层构造，且需要应用层、传输层、网络层和链路层进行层层加入头部信息，才可进行数据包的发送，进而通过直接在所述预设数据传输底层中基于所述数据构造信息，构造具备数据标签信息的待发送梯度信息单元，可避免层层加入头部信息的过程，节约了数据传输时发送的数据单元构造时间，进而提高了联邦学习时的数据传输的效率，进而将所述待发送梯度信息单元发送至与协调方设备，以供所述协调方设备基于所述数据标签信息，直接调用各参与方设备发送的待发送梯度信息单元中的本地模型梯度信息计算联邦梯度信息，也即，协调方设备的数据传输底层在接收待发送梯度信息单元之后，对所述待发送梯度信息单元进行一次解包，即可基于数据标签信息，直接向协调方设备的业务层直接推送本地模型梯度信息，进一步地，将所述联邦梯度信息以相同的数据传输方式反馈至各参与方设备，进而节约了数据接收端需要对接收到的数据包进行层层解包的过程，提高了数据接收端的数据接收效率，进而进一步提高了联邦学习时的数据传输效率，克服了现有技术中基于TCP/IP协议栈发送数据时，从应用层到链路层，数据发送端通常需要消耗大量时间资源和计算资源为待发送数据层层加入头部信息，生成待发送的数据包，而数据接收端在收到数据包后，通常需要消耗大量时间资源和计算资源层层解析数据包的头部信息，以获取数据包中的数据，进而由于联邦学习时需要进行传输的数据量非常大，将导致数据发送和数据接收的效率较低，进而导致数据传输的效率较低的技术缺陷，提高了联邦学习时的数据传输效率。

进一步地，参照图4，基于本申请中第一实施例和第二实施例以及第三实施例，所述数据传输方法应用于联邦学习的协调方设备，所述数据传输方法包括：

步骤C10，接收各参与方设备发送的梯度信息单元，并对各所述梯度信息单元进行解包，获得各所述梯度信息单元中的数据标签信息和本地模型梯度信息；

在本实施例中，需要说明的是，所述设备标识为参与方设备的参与方身份标识。

接收各参与方设备发送的梯度信息单元，并对各所述梯度信息单元进行解包，获得各所述梯度信息单元中的数据标签信息和本地模型梯度信息，具体地，接收各参与方设备发送的梯度信息单元，并分别对各所述梯度信息单元进行一次解包，获得各所述梯度信息单元中的数据标签信息和本地模型梯度信息，并将各所述数据标签信息和各所述数据标签信息对应的本地模型梯度信息分别存储至各自对应的内存块中。

步骤C20，通过预设适配层调用各所述本地模型梯度信息中与预设数据标签信息一致的各数据标签信息对应的目标模型梯度信息至预设业务层；

在本实施例中，需要说明的是，所述数据标签信息为联邦学习的迭代轮次的标识信息，用于标识当前轮次的本地模型梯度信息。

通过预设适配层调用各所述本地模型梯度信息中与预设数据标签信息一致的各数据标签信息对应的目标模型梯度信息至预设业务层，具体地，基于各内存块的内存块地址，通过预设适配层将各所述本地模型梯度信息中与预设数据标签信息一致的各数据标签信息对应的目标模型梯度信息由预设数据传输底层调用至预设业务层，其中，各数据标签信息与预设数据标签信息一致，则证明各所述数据标签信息对应的目标模型梯度信息属于联邦学习的同一迭代训练批次，其中，各目标模型梯度信息为具备相同数据标签的各个参与方设备发送的本地模型梯度信息，也即，各目标模型梯度信息为同一迭代训练批次的各个参与方设备发送的本地模型梯度信息。

步骤C30，在所述预设业务层中对各所述目标模型梯度信息进行聚合，获得联邦梯度信息；

在本实施例中，具体地，基于预设聚合规则，在所述预设业务层中对各所述目标模型梯度信息进行聚合，获得联邦梯度信息，其中，所述预设聚合规则包括求和、求平均和加权平均等。

步骤C40，将所述联邦梯度信息反馈至各所述参与方设备。

在本实施例中，将所述联邦梯度信息反馈至各所述参与方设备，具体地，基于与所述参与方设备相同的数据传输方式，将所述联邦梯度信息反馈至各所述参与方设备。

本申请实施例提供了一种联邦学习中的数据传输方法，相比于现有技术中采用的基于TCP/IP协议栈的数据传输的技术手段，本申请实施例中协调方设备在接收各参与方设备发送的梯度信息单元后，分别对各梯度信息单元仅进行一次解包，即可获得各参与方设备对应的本地模型梯度信息和数据标签信息，并基于各数据标签信息，即可通过预设适配层调用各本地模型梯度信息进行聚合，获得联邦梯度信息，克服了现有技术中基于TCP/IP协议栈进行数据传输时，数据接收端在收到数据包后，通常需要消耗大量时间资源和计算资源层层解析数据包的头部信息，以获取数据包中的数据，进而当要发送的数据量较大时，将导致数据发送和数据接收的效率较低，进而导致数据传输的效率较低的技术缺陷，进而提高了数据接收效率，所以，提高了数据传输效率。

参照图5，图5是本申请实施例方案涉及的硬件运行环境的设备结构示意图。

如图5所示，该数据传输设备可以包括：处理器1001，例如CPU，存储器1005，通信总线1002。其中，通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。

可选地，所述数据传输设备还可以包括支持RDMA传输功能的网卡硬件。

可选地，该数据传输设备还可以包括矩形用户接口、网络接口、摄像头、RF(RadioFrequency，射频)电路，传感器、音频电路、WiFi模块等等。矩形用户接口可以包括显示屏(Display)、输入子模块比如键盘(Keyboard)，可选矩形用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。

本领域技术人员可以理解，图5中示出的数据传输设备结构并不构成对数据传输设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图5所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块以及数据传输程序。操作系统是管理和控制数据传输设备硬件和软件资源的程序，支持数据传输程序以及其它软件和/或程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信，以及与数据传输系统中其它硬件和软件之间通信。

在图5所示的数据传输设备中，处理器1001用于执行存储器1005中存储的数据传输程序，实现上述任一项所述的数据传输方法的步骤。

本申请数据传输设备具体实施方式与上述数据传输方法各实施例基本相同，在此不再赘述。

本申请实施例还提供一种数据传输装置，所述数据传输装置应用于第一设备，所述数据传输装置包括：

调用模块，用于通过预设业务层接收数据发送请求后，通过预设适配层将所述数据发送请求对应的数据构造信息调用至预设数据传输底层；

构造模块，用于在所述预设数据传输底层中基于所述数据构造信息，构造具备数据标签信息的待发送数据单元；

发送模块，用于将所述待发送数据单元发送至与所述第一设备通信连接的第二设备，以供所述第二设备基于所述数据标签信息，调用所述待发送数据单元中的待发送数据。

可选地，所述构造模块还用于：

获取所述数据构造信息中的数据地址和数据标签信息；

调用存储于所述数据地址中的待发送数据，并将所述数据标签信息和所述待发送数据拼接为所述待发送数据单元。

可选地，所述构造模块还用于：

将所述数据构造信息打包为队列数据包加入所述数据传输队列，并控制所述预设适配层返回所述预设业务层；

当所述队列数据包出队列时，将所述队列数据包传递给所述发送模块；

通过所述发送模块对所述队列数据包进行解析，获得所述数据地址和所述数据标签信息。

可选地，所述调用模块还用于：

通过控制所述Python层访问所述Python-c层，调用所述数据构造信息至所述Python-c层；

通过控制所述Python-c层访问所述C语言层，调用所述数据构造信息至所述C语言层。

本申请数据传输装置的具体实施方式与上述数据传输方法各实施例基本相同，在此不再赘述。

为实现上述目的，本申请实施例还提供一种数据传输装置，所述数据传输装置应用于第二设备，所述数据传输装置包括：

接收模块，用于接收数据单元和所述数据单元对应的设备标识；

判断模块，用于基于所述设备标识，判断所述数据单元的数据来源是否为第一设备；

解包模块，用于若是，对所述数据单元进行解包，获得目标数据和数据标签信息；

推送模块，用于基于所述数据标签信息，通过预设适配层将所述目标数据推送至预设业务层。

可选地，所述推送模块还用于：

通过预设适配层将所述数据标签信息传输至所述预设业务层，并在所述预设业务层中确定所述数据标签信息对应的目标应用服务；

在所述预设业务层中通过所述预设适配层调用所述目标数据至所述目标应用服务。

本申请数据传输装置的具体实施方式与上述数据传输方法各实施例基本相同，在此不再赘述。

为实现上述目的，本申请实施例还提供一种数据传输装置，所述数据传输装置应用于联邦学习中的参与方设备，所述数据传输装置包括：

调用模块，用于通过预设业务层接收数据发送请求后，通过预设适配层将所述数据发送请求对应的数据构造信息调用至预设数据传输底层；

构造模块，用于在所述预设数据传输底层中基于所述数据构造信息，构造具备数据标签信息的待发送梯度信息单元；

发送模块，用于将所述待发送梯度信息单元发送至与所述参与方设备通信连接的协调方设备，以供所述协调方设备基于所述数据标签信息，调用所述待发送梯度信息单元中的本地模型梯度信息计算联邦梯度信息，并将所述联邦梯度信息反馈至所述参与方设备。

本申请数据传输装置的具体实施方式与上述数据传输方法各实施例基本相同，在此不再赘述。

为实现上述目的，本申请实施例还提供一种数据传输装置，所述数据传输装置应用于联邦学习中的协调方设备，所述数据传输装置包括：

解包模块，用于接收各参与方设备发送的梯度信息单元，并对各所述梯度信息单元进行解包，获得各所述梯度信息单元中的数据标签信息和本地模型梯度信息；

调用模块，用于通过预设适配层调用各所述本地模型梯度信息中与预设数据标签信息一致的各数据标签信息对应的目标模型梯度信息至预设业务层；

聚合模块，用于在所述预设业务层中对各所述目标模型梯度信息进行聚合，获得联邦梯度信息；

反馈模块，用于将所述联邦梯度信息反馈至各所述参与方设备。

本申请数据传输装置的具体实施方式与上述数据传输方法各实施例基本相同，在此不再赘述。

本申请实施例提供了一种可读存储介质，且所述可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的数据传输方法的步骤。

本申请可读存储介质具体实施方式与上述数据传输方法各实施例基本相同，在此不再赘述。

以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利处理范围内。

Claims (9)

1.一种数据传输方法，其特征在于，所述数据传输方法应用于第一设备，所述数据传输方法包括：

通过预设业务层接收数据发送请求后，通过预设适配层将所述数据发送请求对应的数据构造信息调用至预设数据传输底层；

在所述预设数据传输底层中基于所述数据构造信息，构造具备数据标签信息的待发送数据单元，其中，所述数据标签信息为用于标识数据的类别、用途或者来源的标识信息；

将所述待发送数据单元发送至与所述第一设备通信连接的第二设备，以供所述第二设备基于所述数据标签信息，调用所述待发送数据单元中的待发送数据。

2.如权利要求1所述数据传输方法，其特征在于，所述基于所述数据构造信息，构造具备数据标签信息的待发送数据单元的步骤包括：

获取所述数据构造信息中的数据地址和数据标签信息；

调用存储于所述数据地址中的待发送数据，并将所述数据标签信息和所述待发送数据拼接为所述待发送数据单元。

3.如权利要求2所述数据传输方法，其特征在于，所述预设数据传输底层包括数据传输队列和发送模块，

所述获取所述数据构造信息中的数据地址和数据标签信息的步骤包括：

将所述数据构造信息打包为队列数据包加入所述数据传输队列，并控制所述预设适配层返回所述预设业务层；

当所述队列数据包出队列时，将所述队列数据包传递给所述发送模块；

通过所述发送模块对所述队列数据包进行解析，获得所述数据地址和所述数据标签信息。

4.如权利要求1所述数据传输方法，其特征在于，所述预设业务层包括Python层，所述预设适配层包括Python-c层，所述预设数据传输底层包括C语言层，

所述通过预设适配层将所述数据发送请求对应的数据构造信息传输至预设数据传输底层的步骤包括：

通过控制所述Python层访问所述Python-c层，调用所述数据构造信息至所述Python-c层；

通过控制所述Python-c层访问所述C语言层，调用所述数据构造信息至所述C语言层。

5.一种数据传输方法，其特征在于，所述数据传输方法应用于第二设备，所述数据传输方法包括：

接收数据单元和所述数据单元对应的设备标识；

基于所述设备标识，判断所述数据单元的数据来源是否为第一设备；

若是，对所述数据单元进行解包，获得目标数据和数据标签信息，其中，所述数据标签信息为用于标识数据的类别、用途或者来源的标识信息；

基于所述数据标签信息，通过预设适配层将所述目标数据推送至预设业务层，其中，所述基于所述数据标签信息，通过预设适配层将所述目标数据推送至预设业务层的步骤包括：

通过预设适配层将所述数据标签信息传输至所述预设业务层，并在所述预设业务层中确定所述数据标签信息对应的目标应用服务；

在所述预设业务层中通过所述预设适配层调用所述目标数据至所述目标应用服务。

6.一种数据传输方法，其特征在于，所述数据传输方法应用于联邦学习中的参与方设备，所述数据传输方法包括：

通过预设业务层接收数据发送请求后，通过预设适配层将所述数据发送请求对应的数据构造信息调用至预设数据传输底层；

在所述预设数据传输底层中基于所述数据构造信息，构造具备数据标签信息的待发送梯度信息单元，其中，所述数据标签信息为用于标识数据的类别、用途或者来源的标识信息；

将所述待发送梯度信息单元发送至与所述参与方设备通信连接的协调方设备，以供所述协调方设备基于所述数据标签信息，调用所述待发送梯度信息单元中的本地模型梯度信息计算联邦梯度信息，并将所述联邦梯度信息反馈至所述参与方设备。

7.一种数据传输方法，其特征在于，所述数据传输方法应用于联邦学习的协调方设备，所述数据传输方法包括：

接收各参与方设备发送的梯度信息单元，并对各所述梯度信息单元进行解包，获得各所述梯度信息单元中的数据标签信息和本地模型梯度信息，其中，所述数据标签信息为用于标识数据的类别、用途或者来源的标识信息；

通过预设适配层调用各所述本地模型梯度信息中与预设数据标签信息一致的各数据标签信息对应的目标模型梯度信息至预设业务层；

在所述预设业务层中对各所述目标模型梯度信息进行聚合，获得联邦梯度信息；

将所述联邦梯度信息反馈至各所述参与方设备。

8.一种数据传输设备，其特征在于，所述数据传输设备包括：存储器、处理器以及存储在存储器上的用于实现所述数据传输方法的程序，

所述存储器用于存储实现数据传输方法的程序；

所述处理器用于执行实现所述数据传输方法的程序，以实现如权利要求1至4或者5或者6或7中任一项所述数据传输方法的步骤。

9.一种可读存储介质，其特征在于，所述可读存储介质上存储有实现数据传输方法的程序，所述实现数据传输方法的程序被处理器执行以实现如权利要求1至4或者5或者6或者7中任一项所述数据传输方法的步骤。

Images