CN112948129A - 基于联邦学习的数据传输优化方法、设备及可读存储介质 - Google Patents

基于联邦学习的数据传输优化方法、设备及可读存储介质 Download PDF

Info

Publication number
CN112948129A
CN112948129A CN202110343403.6A CN202110343403A CN112948129A CN 112948129 A CN112948129 A CN 112948129A CN 202110343403 A CN202110343403 A CN 202110343403A CN 112948129 A CN112948129 A CN 112948129A
Authority
CN
China
Prior art keywords
data
transmitted
hardware
information
bit stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110343403.6A
Other languages
English (en)
Inventor
胡水海
苏霖锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhixing Technology Co Ltd
Original Assignee
Shenzhen Zhixing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhixing Technology Co Ltd filed Critical Shenzhen Zhixing Technology Co Ltd
Priority to CN202110343403.6A priority Critical patent/CN112948129A/zh
Publication of CN112948129A publication Critical patent/CN112948129A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5044—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering hardware capabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0877—Cache access modes
    • G06F12/0882—Page mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请公开了一种基于联邦学习的数据传输优化方法、设备及可读存储介质，所述基于联邦学习的数据传输优化方法应用于第一设备，所述基于联邦学习的数据传输优化方法包括：获取待传输数据，并将所述待传输数据转换为携带第一硬件设备信息的待传输比特流；将所述待传输比特流发送至第二设备，以供所述第二设备基于所述第一硬件设备信息以及获取的第二硬件设备信息共同对应的数据转换方式，将所述待传输比特流转换为适配于所述第二硬件设备信息的目标格式数据，并拷贝至所述第二硬件设备信息对应的目标设备内存。本申请解决了联邦学习异构框架中不同类型硬件设备进行数据传输时兼容性差的技术问题。

Description

基于联邦学习的数据传输优化方法、设备及可读存储介质
技术领域
本申请涉及通信技术领域，尤其涉及一种基于联邦学习的数据传输优化方法、设备及可读存储介质。
背景技术
随着计算机技术的不断发展，通信技术的发展也越来越快，目前，在进行数据传输时，通常是由数据发送方的CPU设备直接发送至数据接收方的CPU设备执行计算任务，在联邦学习场景中，由于数据通常为数据位宽极大的密态数据，CPU设备的算力往往无法满足联邦学习的要求，进而联邦学习的各参与方通常具备各自的硬件加速方案，例如，基于GPU硬件的并行加速计算方案和基于FPGA硬件的并行加速计算方案等，进而在联邦学习异构框架中，各参与方的不同类型硬件设备进行数据传输时的兼容性较差。
发明内容
本申请的主要目的在于提供一种基于联邦学习的数据传输优化方法、设备及可读存储介质，旨在解决现有技术中联邦学习异构框架中不同类型硬件设备进行数据传输时兼容性差的技术问题。
为实现上述目的，本申请提供一种基于联邦学习的数据传输优化方法，所述基于联邦学习的数据传输优化方法应用于第一设备，所述基于联邦学习的数据传输优化方法包括：
获取待传输数据，并将所述待传输数据转换为携带第一硬件设备信息的待传输比特流；
将所述待传输比特流发送至第二设备，以供所述第二设备基于所述第一硬件设备信息以及获取的第二硬件设备信息共同对应的数据转换方式，将所述待传输比特流转换为适配于所述第二硬件设备信息的目标格式数据，并拷贝至所述第二硬件设备信息对应的目标设备内存。
为实现上述目的，本申请提供一种基于联邦学习的数据传输优化方法，所述基于联邦学习的数据传输优化方法应用于第二设备，所述基于联邦学习的数据传输优化方法包括：
接收第一设备发送的待传输比特流，并对所述待传输比特流进行第一次反序列化，获得第一硬件设备信息和待转换比特流；
获取第二硬件设备信息，并基于所述第一硬件设备信息和所述第二硬件设备信息，将所述待转换比特流转换为适配于所述第二硬件设备信息的目标格式数据；
将所述目标格式数据拷贝至所述第二硬件设备信息对应的目标硬件加速设备执行计算任务。
为实现上述目的，本申请提供一种基于联邦学习的数据传输优化方法，所述基于联邦学习的数据传输优化方法应用于第一设备，所述基于联邦学习的数据传输优化方法包括：
接收第二设备发送的第二硬件设备信息，并获取待传输数据以及第一硬件设备信息；
基于所述第一硬件设备信息和所述第二硬件设备信息，将所述待传输数据转换为待传输比特流；
将所述待传输比特流发送至第二设备，以供第二设备将所述待传输比特流转换为适配于所述第二硬件设备信息的目标格式数据。
为实现上述目的，本申请提供一种基于联邦学习的数据传输优化方法，所述基于联邦学习的数据传输优化方法应用于第二设备，所述基于联邦学习的数据传输优化方法包括：
获取第二硬件设备信息，并将所述第二硬件设备信息发送至第一设备，以供所述第一设备基于待传输数据对应的第一硬件设备信息与第二硬件设备信息，将所述待传输数据转换为适配于所述第二硬件设备信息的待传输比特流；
接收所述待传输比特流，并将所述待传输比特流转换为目标格式数据；
将所述目标格式数据拷贝至所述第二硬件设备信息对应的目标硬件加速设备执行计算任务。
本申请还提供一种基于联邦学习的数据传输优化装置，所述基于联邦学习的数据传输优化装置为虚拟装置，且所述基于联邦学习的数据传输优化装置应用于第一设备，所述基于联邦学习的数据传输优化装置包括：
转换模块，用于获取待传输数据，并将所述待传输数据转换为携带第一硬件设备信息的待传输比特流；
发送模块，用于将所述待传输比特流发送至第二设备，以供所述第二设备基于所述第一硬件设备信息以及获取的第二硬件设备信息共同对应的数据转换方式，将所述待传输比特流转换为适配于所述第二硬件设备信息的目标格式数据，并拷贝至所述第二硬件设备信息对应的目标设备内存。
本申请还提供一种基于联邦学习的数据传输优化装置，所述基于联邦学习的数据传输优化装置为虚拟装置，且所述基于联邦学习的数据传输优化装置应用于第二设备，所述基于联邦学习的数据传输优化装置包括：
反序列化模块，用于接收第一设备发送的待传输比特流，并对所述待传输比特流进行第一次反序列化，获得第一硬件设备信息和待转换比特流；
转换模块，用于获取第二硬件设备信息，并基于所述第一硬件设备信息和所述第二硬件设备信息，将所述待转换比特流转换为适配于所述第二硬件设备信息的目标格式数据；
内存拷贝模块，用于将所述目标格式数据拷贝至所述第二硬件设备信息对应的目标硬件加速设备执行计算任务。
本申请还提供一种基于联邦学习的数据传输优化装置，所述基于联邦学习的数据传输优化装置为虚拟装置，且所述基于联邦学习的数据传输优化装置应用于第一设备，所述基于联邦学习的数据传输优化装置包括：
接收模块，用于接收第二设备发送的第二硬件设备信息，并获取待传输数据以及第一硬件设备信息；
转换模块，用于基于所述第一硬件设备信息和所述第二硬件设备信息，将所述待传输数据转换为待传输比特流；
发送模块，用于将所述待传输比特流发送至第二设备，以供第二设备将所述待传输比特流转换为适配于所述第二硬件设备信息的目标格式数据。
本申请还提供一种基于联邦学习的数据传输优化装置，所述基于联邦学习的数据传输优化装置为虚拟装置，且所述基于联邦学习的数据传输优化装置应用于第二设备，所述基于联邦学习的数据传输优化装置包括：
发送模块，用于获取第二硬件设备信息，并将所述第二硬件设备信息发送至第一设备，以供所述第一设备基于待传输数据对应的第一硬件设备信息与第二硬件设备信息，将所述待传输数据转换为适配于所述第二硬件设备信息的待传输比特流；
转换模块，用于接收所述待传输比特流，并将所述待传输比特流转换为目标格式数据；
内存拷贝模块，用于将所述目标格式数据拷贝至所述第二硬件设备信息对应的目标硬件加速设备执行计算任务。
本申请还提供一种基于联邦学习的数据传输优化设备，所述基于联邦学习的数据传输优化设备为实体设备，所述基于联邦学习的数据传输优化设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述基于联邦学习的数据传输优化方法的程序，所述基于联邦学习的数据传输优化方法的程序被处理器执行时可实现如上述的基于联邦学习的数据传输优化方法的步骤。
本申请还提供一种可读存储介质，所述可读存储介质上存储有实现基于联邦学习的数据传输优化方法的程序，所述基于联邦学习的数据传输优化方法的程序被处理器执行时实现如上述的基于联邦学习的数据传输优化方法的步骤。
本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的基于联邦学习的数据传输优化方法的步骤。
本申请提供了一种基于联邦学习的数据传输优化方法、设备及可读存储介质，相比于现有技术采用的由数据发送方的CPU设备直接发送至数据接收方的CPU设备执行计算任务的技术手段，本申请首先获取待传输数据，进而将所述待传输数据转换为携带第一硬件设备信息的待传输比特流，进而将所述待传输比特流发送至第二设备，其中，由于待传输比特流中携带第一硬件设备信息，进而所述第二设备即可基于所述第一硬件设备信息以及获取的第二硬件设备信息共同对应的数据转换方式，将所述待传输比特流转换为适配于所述第二硬件设备信息的目标格式数据，实现了在进行数据传输时，数据接收方根据数据发送方的硬件设备信息，智能决策如何将待传输比特流转换为适配于所述第二硬件设备信息对应的目标格式数据的目的，进而第二设备可直接将目标格式数据拷贝至所述第二硬件设备信息对应的硬件加速设备执行计算任务，实现了兼容各联邦参与方的不同类型硬件设备进行数据传输的目的，所以，克服了在联邦学习异构框架中，各参与方的不同类型硬件设备进行数据传输时的兼容性较差的技术缺陷，提升了联邦学习异构框架中不同类型硬件设备进行数据传输时的兼容性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请基于联邦学习的数据传输优化方法第一实施例的流程示意图；
图2为本申请基于联邦学习的数据传输优化方法第二实施例的流程示意图；
图3为本申请基于联邦学习的数据传输优化方法第三实施例的流程示意图；
图4为本申请基于联邦学习的数据传输优化方法第四实施例的流程示意图；
图5为本申请基于联邦学习的数据传输优化方法中第一设备和第二设备进行通信交互的示意图；
图6为本申请实施例中基于联邦学习的数据传输优化方法涉及的硬件运行环境的设备结构示意图。
本申请目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本申请实施例提供一种基于联邦学习的数据传输优化方法，在本申请基于联邦学习的数据传输优化方法的第一实施例中，所述基于联邦学习的数据传输优化方法应用于第一设备，参照图1，所述基于联邦学习的数据传输优化方法包括：
步骤S10，获取待传输数据，并将所述待传输数据转换为携带第一硬件设备信息的待传输比特流；
在本实施例中，需要说明的是，所述基于联邦学习的数据传输优化方法应用于联邦学习异构框架，其中，在联邦学习异构框架下的每一联邦学习参与方至少包括CPU设备、GPU设备以及FPGA设备中的一种，其中，数据通常存储于CPU设备，在GPU设备与FPGA设备执行并行计算任务时，需要将数据通过内存拷贝的方式拷贝到GPU显存和FPGA设备的内存。
本申请实施例中整个数据传输过程为首先由第一设备的硬件加速设备产生数据，进而将数据经内存拷贝至第一设备的CPU内存，进而由第一设备的CPU内存发送至第二设备的CPU内存，进而由第二设备的CPU内存经内存拷贝至第二设备的硬件加速设备的设备内存，进而完成数据传输过程，例如，假设所述第一设备的硬件加速设备为GPU设备，所述第二设备的硬件加速设备为FPGA设备，则数据传输过程可表示为由GPU显存至第一设备的CPU内存，再由第一设备的CPU内存至第二设备的CPU内存，最后由第二设备的CPU内存至FPGA设备的设备内存。
另外地，需要说明的时，所述待传输数据为存储在CPU内存的等待进行数据传输的数据，所述待传输数据由硬件设备执行计算任务后生成，其中，不同类型的硬件设备生成的待传输数据的数据格式通常不同，其中，所述数据格式包括内存存储模式和数据地址对齐模式等，例如，CPU设备产生的数据的内存存储模式通常为交换页内存模式，GPU设备产生的数据的内存存储模式通常为页锁定内存模式，FPGA设备产生的数据的数据地址对齐模型通常为特定字节对齐模式，例如4096字节等。
获取待传输数据，并将所述待传输数据转换为携带第一硬件设备信息的待传输比特流，具体地，在CPU内存中获取待传输数据，并确定产生所述待传输数据的数据产生硬件设备，并将所述数据产生硬件设备对应的设备标识作为第一硬件设备信息，进而将所述第一硬件设备信息转换为第一比特流，将所述待传输数据转换为第二比特流，进而将所述第一比特流和所述第二比特流进行拼接，获得携带第一硬件设备信息的待传输比特流，例如，假设所述第一硬件设备信息对应的第一比特流为0101，所述待传输数据对应的第二比特流为1010101010，则所述待传输比特流为01011010101010。
其中，所述将所述待传输数据转换为携带第一硬件设备信息的待传输比特流的步骤包括：
步骤S11，在预设应用层中对所述第一硬件设备信息进行序列化，获得第一序列化数据；
在本实施例中，需要说明的是，所述预设应用层为语言环境为上层编程语言的CPU设备的上层，其中，所述上层编程语言包括python语言以及java语言等，相对地，所述CPU设备的底层的语言环境为C语言。
在预设应用层中对所述第一硬件设备信息进行序列化，获得第一序列化数据，具体地，在预设应用层的上层编程语言的环境下，对所述第一硬件设备信息进行序列化，以将所述第一硬件设备信息转换为比特流，获得第一序列化数据。
步骤S12，对所述待传输数据进行第二次序列化，获得第二序列化数据；
在本实施例中，对所述待传输数据进行第二次序列化，获得第二序列化数据，具体地，在C语言环境下，对所述待传输数据进行第二次序列化，以将所述待传输数据转换为比特流，获得第二序列化数据。
步骤S13，将所述第一序列化数据和所述第二序列化数据进行拼接，获得所述携带第一硬件设备信息的待传输比特流。
在本实施例中，需要说明的是，所述第一序列化为第一硬件设备信息对应的第一比特流，所述第二序列化数据为待传输数据对应的第二比特流。
将所述第一序列化数据和所述第二序列化数据进行拼接，获得所述携带第一硬件设备信息的待传输比特流，具体地，将所述第一比特流与所述第二比特流进行拼接，获得所述携带第一硬件设备信息的待传输比特流。
步骤S20，将所述待传输比特流发送至第二设备，以供所述第二设备基于所述第一硬件设备信息以及获取的第二硬件设备信息共同对应的数据转换方式，将所述待传输比特流转换为适配于所述第二硬件设备信息的目标格式数据，并拷贝至所述第二硬件设备信息对应的目标设备内存。
在本实施例中，需要说明的是，所述第一设备和所述第二设备为联邦学习中需要进行数据传输的设备，所述第一设备和所述第二设备既可以为联邦学习的参与方，也可以为联邦学习的协调方，所述数据转换方式为基于所述第一硬件设备信息和所述第二硬件设备信息共同确定的数据格式转换方式，用于将适配于所述第一硬件设备信息的数据格式的数据对应的比特流转换为适配于所述第二硬件设备信息的数据格式的数据，例如，将适配于CPU的数据格式的数据对应的比特流转换为适配于GPU的数据格式的数据，以及将适配于CPU的数据格式的数据对应的比特流转换为适配于FPGA的数据格式的数据等。
将所述待传输比特流发送至第二设备，以供所述第二设备基于所述第一硬件设备信息以及获取的第二硬件设备信息共同对应的数据转换方式，将所述待传输比特流转换为适配于所述第二硬件设备信息的目标格式数据，并拷贝至所述第二硬件设备信息对应的目标设备内存，具体地，将所述待传输比特流传输至第二设备的CPU内存，进而第二设备首先在上层编程语言环境下，对所述待传输比特流进行反序列化，获得第一硬件设备信息和第二比特流，进而第二设备获取第二硬件设备信息，其中，所述第二硬件设备信息为第二设备中执行计算任务的目标硬件加速设备的设备标识，进而匹配所述第一硬件设备信息和所述第二硬件设备信息共同对应的目标反序列化函数，进而通过调用所述目标反序列化函数，将所述第二比特流转换为适配于所述第二硬件设备信息对应的目标硬件加速设备的数据格式的目标格式数据，以加快目标格式数据由CPU内存拷贝至目标硬件加速设备的设备内存的速度，进而将所述目标格式数据由CPU内存拷贝至所述目标硬件加速设备对应的设备内存中执行计算任务，其中，需要说明的是，所述反序列化函数为具备反序列化能力和数据格式转换能力的函数，用于将比特流转换为特定数据格式的数据，且不同的第一硬件设备信息和第二硬件设备信息的组合共同对应不同类型的反序列化函数，例如，假设若所述第一硬件设备信息为CPU设备的设备标识，第二硬件设备信息为GPU设备的设备标识，则CPU设备的设备标识与GPU设备的设备标识共同对应第一类型反序列化函数具备的数据格式转换能力为将数据的内存存储模式由交换页内存模式转换为页锁定内存模式，其中，需要说明的是，若内存存储模式为交换页内存模式，则需要进行2次内存拷贝才能将数据由于CPU内存拷贝至GPU显存，而若内存存储模式为页锁定内存模式，则只需进行一次内存拷贝，即可将数据由CPU内存拷贝至GPU显存，若所述第一硬件设备信息为CPU设备的设备标识，第二硬件设备信息为FPGA设备的设备标识，则CPU设备的设备标识与FPGA设备的设备标识共同对应第二类型反序列化函数具备的数据格式转换能力为将数据的数据地址对齐模式由8字节或者16字节改为特定字节数，例如4096字节等，以加快数据从CPU设备拷贝至FPGA设备的速度。
另外地，需要说明的是，本申请实施例中的数据优化方法在兼容了多方的不同类型的硬件设备之间的数据传输的同时，数据接收方基于硬件设备信息，可确定反序列化函数信息，进而基于反序列函数信息可智能选择对应的目标反序列化函数，进而实现了智能决策选择对应的反序列化函数的目的，进而基于目标反序列化函数，即可将数据发送方发送的比特流反序列化为适配于数据接收方的目标硬件加速设备的数据格式的目标格式数据，实现了在反序列化的同时，将第一设备发送的比特流直接转换为适配于目标硬件加速设备的数据格式的数据的目的，进而加快了将数据由CPU拷贝至目标硬件加速设备的设备内存的速度。
本申请实施例提供了一种基于联邦学习的数据传输优化方法，相比于现有技术采用的由数据发送方的CPU设备直接发送至数据接收方的CPU设备执行计算任务的技术手段，本申请实施例首先获取待传输数据，进而将所述待传输数据转换为携带第一硬件设备信息的待传输比特流，进而将所述待传输比特流发送至第二设备，其中，由于待传输比特流中携带第一硬件设备信息，进而所述第二设备即可基于所述第一硬件设备信息以及获取的第二硬件设备信息共同对应的数据转换方式，将所述待传输比特流转换为适配于所述第二硬件设备信息的目标格式数据，实现了在进行数据传输时，数据接收方根据数据发送方的硬件设备信息，智能决策如何将待传输比特流转换为适配于所述第二硬件设备信息对应的目标格式数据的目的，进而第二设备可直接将目标格式数据拷贝至所述第二硬件设备信息对应的硬件加速设备执行计算任务，实现了兼容各联邦参与方的不同类型硬件设备进行数据传输的目的，所以，克服了在联邦学习异构框架中，各参与方的不同类型硬件设备进行数据传输时的兼容性较差的技术缺陷，提升了联邦学习异构框架中不同类型硬件设备进行数据传输时的兼容性。
基于本申请第一实施例，参照图2，在本申请基于联邦学习的数据传输优化方法的另一实施例中，所述基于联邦学习的数据传输优化方法应用于第二设备，所述基于联邦学习的数据传输优化方法包括：
步骤A10，接收第一设备发送的待传输比特流，并对所述待传输比特流进行第一次反序列化，获得第一硬件设备信息和待转换比特流；
在本实施例中，需要说明的是，所述待传输比特流为第一硬件设备信息对应的第一比特流和待传输数据对应的第二比特流拼接而成，其中，所述第一比特流是在上层编程语言环境下对第一硬件设备信息进行序列化生成的，所述第二比特流是在C语言环境下对待传输数据进行序列化生成的，其中，第一设备中的生成待传输比特流的过程具体可参照步骤S11至步骤S13，在此不再赘述。
接收第一设备发送的待传输比特流，并对所述待传输比特流进行第一次反序列化，获得第一硬件设备信息和待转换比特流，具体地，接收第一设备发送的待传输比特流，并在上层编程语言环境下对所述待传输比特流进行第一次反序列化，获得第一硬件设备信息和待转换比特流，其中，所述待转换比特流即为第二比特流，而由于所述第一比特流是在上层编程语言环境下对第一硬件设备信息进行序列化生成的，所述第二比特流是在C语言环境下对待传输数据进行序列化生成的，进而在上层编程语言环境下进行反序列化，则将待传输比特流的第一比特流的部分转换为数据，也即为第一硬件设备信息，无法将第二比特流转换为数据。
步骤A20，获取第二硬件设备信息，并基于所述第一硬件设备信息和所述第二硬件设备信息，将所述待转换比特流转换为适配于所述第二硬件设备信息的目标格式数据；
在本实施例中，获取第二硬件设备信息，并基于所述第一硬件设备信息和所述第二硬件设备信息，将所述待转换比特流转换为适配于所述第二硬件设备信息的目标格式数据，具体地，获取第二硬件设备信息，其中，所述第二硬件设备信息为第二设备中执行计算任务的目标硬件加速设备的设备标识，进而匹配所述第一硬件设备信息和所述第二硬件设备信息共同对应的目标反序列化函数，进而通过调用所述目标反序列化函数，将所述待转换比特流转换为适配于所述第二硬件设备信息对应的目标硬件加速设备的数据格式的目标格式数据，以加快目标格式数据由CPU内存拷贝至目标硬件加速设备的设备内存的速度，进而将所述目标格式数据由CPU内存拷贝至所述目标硬件加速设备对应的设备内存中执行计算任务。
其中，所述基于所述第一硬件设备信息和所述第二硬件设备信息，将所述待转换比特流转换为适配于所述第二硬件设备信息的目标格式数据的步骤包括：
步骤A21，基于所述第一硬件设备信息和所述第二硬件设备信息，确定反序列化函数信息；
在本实施例中，基于所述第一硬件设备信息和所述第二硬件设备信息，确定反序列化函数信息，具体地，将所述第一硬件设备信息与所述第二硬件设备信息进行拼接，获得反序列化函数信息，例如，假设所述第一硬件设备信息为a，所述第二硬件设备信息为b，则所述反序列化函数信息为(a，b)。
步骤A22，通过调用所述反序列函数信息对应的目标反序列化函数，对所述待转换比特流进行第二次反序列化，获得所述目标格式数据。
在本实施例中，通过调用所述反序列函数信息对应的目标反序列化函数，对所述待转换比特流进行第二次反序列化，获得所述目标格式数据，具体地，基于所述反序列化函数信息，智能决策调用对应的目标反序列化函数，例如以所述反序列化函数信息为索引，通过查询所述反序列化函数信息对应的目标反序列化函数，智能调用目标反序列化函数等，进而依据所述目标反序列化函数，对所述待转换比特流进行第二次反序列化，以将所述待转换比特流转换为适配于所述第二硬件设备信息对应的目标硬件加速设备的数据格式的数据，获得目标格式数据，其中，需要说明的是，不同类型的反序列化函数转换出来的数据的数据格式不同，具体可参照步骤S20中的具体内容，在此不再赘述。
步骤A30，将所述目标格式数据拷贝至所述第二硬件设备信息对应的目标硬件加速设备执行计算任务。
在本实施例中，需要说明的是，所述目标硬件加速设备包括GPU设备和FPGA设备，且由于目标格式数据的数据格式已和目标硬件加速设备相适配，进而在进行内存拷贝时，可提升内存拷贝的速度，例如，当目标硬件加速设备为GPU设备时，则目标格式数据的内存存储模式为页锁定内存模式，相比于适配于CPU设备的数据格式的交换页内存模式，由CPU内存至GPU显存的内存拷贝效率更高，当目标硬件加速设备为FPGA设备时，则目标格式数据的数据地址对齐模式为特定字节数对齐，例如4096字节，相比于适配于CPU设备的数据格式的8字节或者16字节对齐，可直接将目标格式数据以更快的速度拷贝至FPGA设备的内存，所以，提升内存拷贝的效率。
另外地，需要说明的是，由于目标格式数据是通过反序列化直接生成的，进而实现了在反序列化时间接转换待传输数据的数据格式的目的，无需增加其他的计算量，减少了数据转换的过程，进而提升了数据传输的效率，例如，当目标硬件加速设备为GPU设备时，直接在反序列化是将数据反序列化为页锁定内存模式，当目标硬件加速设备为FPGA设备时，则将反序列化生成的数据直接反序列化为4096字节数据地址对齐的目标格式数据等，无需增加其他的数据计算或者内存拷贝过程，所以，提升了数据传输效率。
本申请实施例提供了一种基于联邦学习的数据传输优化方法，也即，接收第一设备发送的待传输比特流，并对所述待传输比特流进行第一次反序列化，获得第一硬件设备信息和待转换比特流，进而获取第二硬件设备信息，并基于所述第一硬件设备信息和所述第二硬件设备信息，将所述待转换比特流转换为适配于所述第二硬件设备信息的目标格式数据，进而将所述目标格式数据拷贝至所述第二硬件设备信息对应的目标硬件加速设备执行计算任务，进而实现了在兼容各通信站点的不同类型硬件设备的数据传输的同时，使得数据接收方可智能决策选择目标反序列化函数，进而依据目标反序列化函数，将待传输比特流转换适配于数据接收方的目标硬件加速设备的目标格式数据，进而使得目标格式数据可以更高的效率由CPU内存拷贝至目标硬件加速设备的内存，提升了数据拷贝效率，进而提升了数据传输效率。
基于本申请第一实施例和第二实施例，参照图3，在本申请基于联邦学习的数据传输优化方法的另一实施例中，所述基于联邦学习的数据传输优化方法应用于第一设备，所述基于联邦学习的数据传输优化方法包括：
步骤B10，接收第二设备发送的第二硬件设备信息，并获取待传输数据以及第一硬件设备信息；
在本实施例中，接收第二设备发送的第二硬件设备信息，并获取待传输数据以及第一硬件设备信息，具体地，向第二设备发送硬件设备信息获取请求，并接收第二设备响应于所述硬件设备信息获取请求发送的第二硬件设备信息，并获取待传输数据以及待传输数据对应的第一硬件设备信息，其中，所述待传输数据存储于CPU内存，所述第一硬件设备信息为第一设备中产生所述待传输数据的硬件设备的设备标识，所述第二硬件设备信息为第二设备中用于执行与待传输数据相关的计算任务的硬件设备的标识。
步骤B20，基于所述第一硬件设备信息和所述第二硬件设备信息，将所述待传输数据转换为待传输比特流；
在本实施例中，基于所述第一硬件设备信息和所述第二硬件设备信息，将所述待传输数据转换为待传输比特流，具体地，判断所述第一硬件设备信息和所述第二硬件设备信息是否一致，若一致，则直接将所述待传输数据转换为待传输比特流，若不一致，则将所述待传输数据的数据格式转换为适配于所述第二硬件设备信息对应的目标硬件加速设备的数据格式，获得目标格式数据，进而将所述目标格式数据转换为待传输比特流。
其中，所述基于所述第一硬件设备信息和所述第二硬件设备信息，将所述待传输数据转换为待传输比特流的步骤包括：
步骤B21，判断所述第一硬件设备信息和所述第二硬件设备信息是否一致；
步骤B22，若一致，则将所述待传输数据序列化为所述待传输比特流；
在本实施例中，具体地，判断所述第一硬件设备信息和所述第二硬件设备信息是否一致，若一致，则对所述待传输数据进行序列化，获得待传输比特流。
步骤B23，若不一致，则将所述待传输数据的数据格式转换为适配于所述第二硬件设备信息的目标数据格式，获得目标格式数据；
在本实施例中，需要说明的是，所述数据格式包括内存存储模式和数据地址对齐模式。
若不一致，则将所述待传输数据的数据格式转换为适配于所述第二硬件设备信息的目标数据格式，获得目标格式数据，具体地，若不一致，则将所述待传输数据的内存存储模式调整为适配于所述第二硬件设备信息对应的目标硬件设备的内存存储模式；和/或将所述待传输数据的数据地址对齐模式调整为适配于所述第二硬件设备信息对应的目标硬件设备的数据地址对齐模式，进而获得目标格式数据。
其中，所述将所述待传输数据的数据格式转换为适配于所述第二硬件设备信息的目标数据格式，获得目标格式数据的步骤包括：
步骤B231，若所述第二硬件设备信息为GPU设备信息，则将所述待传输数据的数据格式由交换页内存模式转换为页锁定内存模式，获得所述目标格式数据；
在本实施例中，若所述第二硬件设备信息为GPU设备信息，则将所述待传输数据的数据格式由交换页内存模式转换为页锁定内存模式，获得所述目标格式数据，具体地，若所述第二硬件设备信息为GPU设备信息，则将所述待传输数据的内存存储模式由交换页内存模式转换为页锁定内存模式，获得目标格式数据，其中，需要说明的是，由于第一硬件设备信息不为GPU设备信息，进而待传输数据的内存存储模式通常为交换页内存模式，而处于交换页内存模式的数据需要进行2次内存拷贝，才可将数据由CPU内存拷贝至GPU显存，而处于页锁定内存模式的数据只需进行1次内存拷贝即可将数据由CPU内存拷贝至GPU显存，进而提升了由CPU内存拷贝至GPU显存的内存拷贝速度，所以，提升了由非GPU设备向GPU设备进行数据传输的效率。
步骤B232，若所述第二硬件设备信息为FPGA设备信息，则将所述待传输数据的数据格式由当前数据地址对齐模式转换为预设目标数据地址对齐模式，获得所述目标格式数据。
在本实施例中，若所述第二硬件设备信息为FPGA设备信息，则将所述待传输数据的数据格式由当前数据地址对齐模式转换为预设目标数据地址对齐模式，获得所述目标格式数据，具体地，若所述第二硬件设备信息为FPGA设备信息，将所述待传输数据的当前数据地址对齐模式转换为适配于FPGA设备信息对应的FPGA设备的预设目标数据地址对齐模式，以提升数据由CPU内存拷贝至FPGA设备的设备内存的效率，获得目标格式数据，例如，由8字节或者16字节对齐转换为4096字节对齐等。
步骤B24，将所述目标格式数据序列化为所述待传输比特流。
在本实施例中，将所述目标格式数据序列化为所述待传输比特流，具体地，对所述目标格式数据进行序列化，以将所述目标格式数据转换为比特流，获得所述待传输比特流。
步骤B30，将所述待传输比特流发送至第二设备，以供第二设备将所述待传输比特流转换为适配于所述第二硬件设备信息的目标格式数据。
在本实施例中，将所述待传输比特流发送至第二设备，以供第二设备将所述待传输比特流转换为适配于所述第二硬件设备信息的目标格式数据，具体地，将所述待传输比特流发送至第二设备，进而第二设备对所述待传输比特流进行反序列化，以将所述待传输比特流转换为存储于CPU内存的数据，获得目标格式数据，其中，由于目标格式数据为第一设备基于第一硬件设备信息和第二硬件设备信息，对待传输数据进行数据格式转换得到的，所以，所述目标格式数据与第二设备中第二硬件设备信息对应的目标硬件加速设备相适配，可直接将目标格式数据由CPU内存拷贝至目标硬件加速设备的设备内存，进而实现了兼容各通信站点的不同类型的硬件设备之间进行数据传输的目的。
本申请实施例提供了一种数据传输方法，相比于现有技术采用的由数据发送方的CPU设备直接发送至数据接收方的CPU设备执行计算任务的技术手段，本申请实施例接收第二设备发送的第二硬件设备信息，并获取待传输数据以及第一硬件设备信息，进而基于所述第一硬件设备信息和所述第二硬件设备信息，将所述待传输数据转换为待传输比特流，进而将所述待传输比特流发送至第二设备，以供第二设备将所述待传输比特流转换为适配于所述第二硬件设备信息的目标格式数据，进而第二设备可直接将目标格式数据拷贝至所述第二硬件设备信息对应的硬件加速设备执行计算任务，实现了兼容各联邦参与方的不同类型硬件设备进行数据传输的目的，所以，克服了在联邦学习异构框架中，各参与方的不同类型硬件设备进行数据传输时的兼容性较差的技术缺陷，提升了联邦学习异构框架中不同类型硬件设备进行数据传输时的兼容性。
基于本申请第一实施例和第二实施例以及第三实施例，参照图4，在本申请基于联邦学习的数据传输优化方法的另一实施例中，所述基于联邦学习的数据传输优化方法应用于第二设备，所述基于联邦学习的数据传输优化方法包括：
步骤C10，获取第二硬件设备信息，并将所述第二硬件设备信息发送至第一设备，以供所述第一设备基于待传输数据对应的第一硬件设备信息与第二硬件设备信息，将所述待传输数据转换为适配于所述第二硬件设备信息的待传输比特流；
在本实施例中，具体地，获取第二硬件设备信息，并将所述第二硬件设备信息发送至第一设备，以供所述第一设备基于待传输数据对应的第一硬件设备信息与第二硬件设备信息，将所述待传输数据的数据格式转换为适配于第二硬件设备信息的目标格式数据，进而第一设备将所述目标格式数据序列化为待传输比特流，其中，第一设备生成待传输比特流的具体步骤可参照步骤B10至步骤B30中的具体内容，在此不再赘述。
步骤C20，接收所述待传输比特流，并将所述待传输比特流转换为目标格式数据；
在本实施例中，接收所述待传输比特流，并将所述待传输比特流转换为目标格式数据，具体地，接收所述待传输比特流，并对所述待传输比特流进行反序列化，获得所述目标格式数据。
步骤C30，将所述目标格式数据拷贝至所述第二硬件设备信息对应的目标硬件加速设备执行计算任务。
在本实施例中，将所述目标格式数据拷贝至所述第二硬件设备信息对应的目标硬件加速设备执行计算任务，具体地，将所述目标格式数据由CPU内存拷贝至所述第二硬件设备信息对应的目标硬件加速设备的设备内存执行计算任务。
另外地，需要说明的是，原先的由数据发送方的CPU设备直接发送至数据接收方的CPU设备执行计算任务的数据传输方案，无需考虑数据格式转换的问题，而本申请实施例中第一设备通过预先获取第二硬件设备信息和第一硬件设备信息，可有针对性的对待传输数据进行数据格式的转换，进而消除了不同硬件设备之间的不兼容，解决了不兼容性或者兼容性差的问题。
如图5所示为本申请实施例中第一设备和第二设备进行通信交互的示意图，其中，数据发送站点为所述第一设备，数据接收站点为所述第二设备，硬件加速设备信息为所述第二硬件设备信息，转换数据即为转换数据格式的过程，字节流为所述待传输比特流。
本申请实施例提供了一种基于联邦学习的数据传输优化方法，也即，首先获取第二硬件设备信息，并将所述第二硬件设备信息发送至第一设备，以供所述第一设备基于待传输数据对应的第一硬件设备信息与第二硬件设备信息，将所述待传输数据转换为适配于所述第二硬件设备信息的待传输比特流，进而接收所述待传输比特流，并将所述待传输比特流转换为目标格式数据，进而将所述目标格式数据拷贝至所述第二硬件设备信息对应的目标硬件加速设备执行计算任务，实现了兼容各通信站点的不同类型硬件设备进行数据传输的目的，避免了不同类型硬件设备进行数据传输时的不兼容情况，所以，提升了联邦学习异构框架中不同类型硬件设备进行数据传输时的兼容性。
参照图6，图6是本申请实施例方案涉及的硬件运行环境的设备结构示意图。
如图6所示，该基于联邦学习的数据传输优化设备可以包括：处理器1001，例如CPU，存储器1005，通信总线1002。其中，通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
可选地，该基于联邦学习的数据传输优化设备还可以包括矩形用户接口、网络接口、摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。矩形用户接口可以包括显示屏(Display)、输入子模块比如键盘(Keyboard)，可选矩形用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
本领域技术人员可以理解，图6中示出的基于联邦学习的数据传输优化设备结构并不构成对基于联邦学习的数据传输优化设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图6所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块以及基于联邦学习的数据传输优化程序。操作系统是管理和控制基于联邦学习的数据传输优化设备硬件和软件资源的程序，支持基于联邦学习的数据传输优化程序以及其它软件和/或，程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信，以及与基于联邦学习的数据传输优化系统中其它硬件和软件之间通信。
在图6所示的基于联邦学习的数据传输优化设备中，处理器1001用于执行存储器1005中存储的基于联邦学习的数据传输优化程序，实现上述任一项所述的基于联邦学习的数据传输优化方法的步骤。
本申请基于联邦学习的数据传输优化设备具体实施方式与上述基于联邦学习的数据传输优化方法各实施例基本相同，在此不再赘述。
本申请实施例还提供一种基于联邦学习的数据传输优化装置，所述基于联邦学习的数据传输优化装置应用于第一设备，所述基于联邦学习的数据传输优化装置包括：
转换模块，用于获取待传输数据，并将所述待传输数据转换为携带第一硬件设备信息的待传输比特流；
发送模块，用于将所述待传输比特流发送至第二设备，以供所述第二设备基于所述第一硬件设备信息以及获取的第二硬件设备信息共同对应的数据转换方式，将所述待传输比特流转换为适配于所述第二硬件设备信息的目标格式数据，并拷贝至所述第二硬件设备信息对应的目标设备内存。
可选地，所述转换模块还用于：
在预设应用层中对所述第一硬件设备信息进行序列化，获得第一序列化数据；
对所述待传输数据进行第二次序列化，获得第二序列化数据；
将所述第一序列化数据和所述第二序列化数据进行拼接，获得所述携带第一硬件设备信息的待传输比特流。
本申请基于联邦学习的数据传输优化装置的具体实施方式与上述基于联邦学习的数据传输优化方法各实施例基本相同，在此不再赘述。
本申请实施例还提供一种基于联邦学习的数据传输优化装置，所述基于联邦学习的数据传输优化装置应用于第二设备，所述基于联邦学习的数据传输优化装置包括：
反序列化模块，用于接收第一设备发送的待传输比特流，并对所述待传输比特流进行第一次反序列化，获得第一硬件设备信息和待转换比特流；
转换模块，用于获取第二硬件设备信息，并基于所述第一硬件设备信息和所述第二硬件设备信息，将所述待转换比特流转换为适配于所述第二硬件设备信息的目标格式数据；
内存拷贝模块，用于将所述目标格式数据拷贝至所述第二硬件设备信息对应的目标硬件加速设备执行计算任务。
可选地，所述转换模块还用于：
基于所述第一硬件设备信息和所述第二硬件设备信息，确定反序列化函数信息；
通过调用所述反序列函数信息对应的目标反序列化函数，对所述待转换比特流进行第二次反序列化，获得所述目标格式数据。
本申请基于联邦学习的数据传输优化装置的具体实施方式与上述基于联邦学习的数据传输优化方法各实施例基本相同，在此不再赘述。
本申请实施例还提供一种基于联邦学习的数据传输优化装置，所述基于联邦学习的数据传输优化装置应用于第一设备，所述基于联邦学习的数据传输优化装置包括：
接收模块，用于接收第二设备发送的第二硬件设备信息，并获取待传输数据以及第一硬件设备信息；
转换模块，用于基于所述第一硬件设备信息和所述第二硬件设备信息，将所述待传输数据转换为待传输比特流；
发送模块，用于将所述待传输比特流发送至第二设备，以供第二设备将所述待传输比特流转换为适配于所述第二硬件设备信息的目标格式数据。
可选地，所述转换模块还用于：
判断所述第一硬件设备信息和所述第二硬件设备信息是否一致；
若一致，则将所述待传输数据序列化为所述待传输比特流；
若不一致，则将所述待传输数据的数据格式转换为适配于所述第二硬件设备信息的目标数据格式，获得目标格式数据；
将所述目标格式数据序列化为所述待传输比特流。
可选地，所述转换模块还用于：
若所述第二硬件设备信息为GPU设备信息，则将所述待传输数据的数据格式由交换页内存模式转换为页锁定内存模式，获得所述目标格式数据；
若所述第二硬件设备信息为FPGA设备信息，则将所述待传输数据的数据格式由当前数据地址对齐模式转换为预设目标数据地址对齐模式，获得所述目标格式数据。
本申请基于联邦学习的数据传输优化装置的具体实施方式与上述基于联邦学习的数据传输优化方法各实施例基本相同，在此不再赘述。
本申请实施例还提供一种基于联邦学习的数据传输优化装置，所述基于联邦学习的数据传输优化装置应用于第二设备，所述基于联邦学习的数据传输优化装置包括：
发送模块，用于获取第二硬件设备信息，并将所述第二硬件设备信息发送至第一设备，以供所述第一设备基于待传输数据对应的第一硬件设备信息与第二硬件设备信息，将所述待传输数据转换为适配于所述第二硬件设备信息的待传输比特流；
转换模块，用于接收所述待传输比特流，并将所述待传输比特流转换为目标格式数据；
内存拷贝模块，用于将所述目标格式数据拷贝至所述第二硬件设备信息对应的目标硬件加速设备执行计算任务。
本申请基于联邦学习的数据传输优化装置的具体实施方式与上述基于联邦学习的数据传输优化方法各实施例基本相同，在此不再赘述。
本申请实施例提供了一种可读存储介质，且所述可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的基于联邦学习的数据传输优化方法的步骤。
本申请可读存储介质具体实施方式与上述基于联邦学习的数据传输优化方法各实施例基本相同，在此不再赘述。
本申请实施例提供了一种计算机程序产品，且所述计算机程序产品包括有一个或者一个以上计算机程序，所述一个或者一个以上计算机程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的基于联邦学习的数据传输优化方法的步骤。
本申请计算机程序产品具体实施方式与上述基于联邦学习的数据传输优化方法各实施例基本相同，在此不再赘述。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利处理范围内。

Claims (10)

1.一种基于联邦学习的数据传输优化方法，其特征在于，所述基于联邦学习的数据传输优化方法应用于第一设备，所述基于联邦学习的数据传输优化方法包括：
获取待传输数据，并将所述待传输数据转换为携带第一硬件设备信息的待传输比特流；
将所述待传输比特流发送至第二设备，以供所述第二设备基于所述第一硬件设备信息以及获取的第二硬件设备信息共同对应的数据转换方式，将所述待传输比特流转换为适配于所述第二硬件设备信息的目标格式数据，并拷贝至所述第二硬件设备信息对应的目标设备内存。
2.如权利要求1所述基于联邦学习的数据传输优化方法，其特征在于，所述将所述待传输数据转换为携带第一硬件设备信息的待传输比特流的步骤包括：
在预设应用层中对所述第一硬件设备信息进行序列化，获得第一序列化数据；
对所述待传输数据进行第二次序列化，获得第二序列化数据；
将所述第一序列化数据和所述第二序列化数据进行拼接，获得所述携带第一硬件设备信息的待传输比特流。
3.一种基于联邦学习的数据传输优化方法，其特征在于，所述基于联邦学习的数据传输优化方法应用于第二设备，所述基于联邦学习的数据传输优化方法包括：
接收第一设备发送的待传输比特流，并对所述待传输比特流进行第一次反序列化，获得第一硬件设备信息和待转换比特流；
获取第二硬件设备信息，并基于所述第一硬件设备信息和所述第二硬件设备信息，将所述待转换比特流转换为适配于所述第二硬件设备信息的目标格式数据；
将所述目标格式数据拷贝至所述第二硬件设备信息对应的目标硬件加速设备执行计算任务。
4.如权利要求3所述基于联邦学习的数据传输优化方法，其特征在于，所述基于所述第一硬件设备信息和所述第二硬件设备信息，将所述待转换比特流转换为适配于所述第二硬件设备信息的目标格式数据的步骤包括：
基于所述第一硬件设备信息和所述第二硬件设备信息，确定反序列化函数信息；
通过调用所述反序列函数信息对应的目标反序列化函数，对所述待转换比特流进行第二次反序列化，获得所述目标格式数据。
5.一种基于联邦学习的数据传输优化方法，其特征在于，所述基于联邦学习的数据传输优化方法应用于第一设备，所述基于联邦学习的数据传输优化方法包括：
接收第二设备发送的第二硬件设备信息，并获取待传输数据以及第一硬件设备信息；
基于所述第一硬件设备信息和所述第二硬件设备信息，将所述待传输数据转换为待传输比特流；
将所述待传输比特流发送至第二设备，以供第二设备将所述待传输比特流转换为适配于所述第二硬件设备信息的目标格式数据。
6.如权利要求5所述基于联邦学习的数据传输优化方法，其特征在于，所述基于所述第一硬件设备信息和所述第二硬件设备信息，将所述待传输数据转换为待传输比特流的步骤包括：
判断所述第一硬件设备信息和所述第二硬件设备信息是否一致；
若一致，则将所述待传输数据序列化为所述待传输比特流；
若不一致，则将所述待传输数据的数据格式转换为适配于所述第二硬件设备信息的目标数据格式，获得目标格式数据；
将所述目标格式数据序列化为所述待传输比特流。
7.如权利要求5所述基于联邦学习的数据传输优化方法，其特征在于，所述将所述待传输数据的数据格式转换为适配于所述第二硬件设备信息的目标数据格式，获得目标格式数据的步骤包括：
若所述第二硬件设备信息为GPU设备信息，则将所述待传输数据的数据格式由交换页内存模式转换为页锁定内存模式，获得所述目标格式数据；
若所述第二硬件设备信息为FPGA设备信息，则将所述待传输数据的数据格式由当前数据地址对齐模式转换为预设目标数据地址对齐模式，获得所述目标格式数据。
8.一种基于联邦学习的数据传输优化方法，其特征在于，所述基于联邦学习的数据传输优化方法应用于第二设备，所述基于联邦学习的数据传输优化方法包括：
获取第二硬件设备信息，并将所述第二硬件设备信息发送至第一设备，以供所述第一设备基于待传输数据对应的第一硬件设备信息与第二硬件设备信息，将所述待传输数据转换为适配于所述第二硬件设备信息的待传输比特流；
接收所述待传输比特流，并将所述待传输比特流转换为目标格式数据；
将所述目标格式数据拷贝至所述第二硬件设备信息对应的目标硬件加速设备执行计算任务。
9.一种基于联邦学习的数据传输优化设备，其特征在于，所述基于联邦学习的数据传输优化设备包括：存储器、处理器以及存储在存储器上的用于实现所述基于联邦学习的数据传输优化方法的程序，
所述存储器用于存储实现基于联邦学习的数据传输优化方法的程序；
所述处理器用于执行实现所述基于联邦学习的数据传输优化方法的程序，以实现如权利要求1至2或3至4或5至7或8中任一项所述基于联邦学习的数据传输优化方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有实现基于联邦学习的数据传输优化方法的程序，所述实现基于联邦学习的数据传输优化方法的程序被处理器执行以实现如权利要求1至2或3至4或5至7或8中任一项所述基于联邦学习的数据传输优化方法的步骤。
CN202110343403.6A 2021-03-30 2021-03-30 基于联邦学习的数据传输优化方法、设备及可读存储介质 Pending CN112948129A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110343403.6A CN112948129A (zh) 2021-03-30 2021-03-30 基于联邦学习的数据传输优化方法、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110343403.6A CN112948129A (zh) 2021-03-30 2021-03-30 基于联邦学习的数据传输优化方法、设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN112948129A true CN112948129A (zh) 2021-06-11

Family

ID=76231021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110343403.6A Pending CN112948129A (zh) 2021-03-30 2021-03-30 基于联邦学习的数据传输优化方法、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN112948129A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113973125A (zh) * 2021-10-26 2022-01-25 杭州博盾习言科技有限公司 联邦学习中的通信方法及装置、电子设备、存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102193787A (zh) * 2010-03-01 2011-09-21 深圳市金蝶中间件有限公司 一种序列化和反序列化的方法、装置及系统
US20180039446A1 (en) * 2015-04-23 2018-02-08 Huawei Technologies Co., Ltd. Data format conversion apparatus and method and buffer chip
CN110532208A (zh) * 2019-07-12 2019-12-03 优刻得科技股份有限公司 一种数据处理方法、接口转换结构及设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102193787A (zh) * 2010-03-01 2011-09-21 深圳市金蝶中间件有限公司 一种序列化和反序列化的方法、装置及系统
US20180039446A1 (en) * 2015-04-23 2018-02-08 Huawei Technologies Co., Ltd. Data format conversion apparatus and method and buffer chip
CN110532208A (zh) * 2019-07-12 2019-12-03 优刻得科技股份有限公司 一种数据处理方法、接口转换结构及设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113973125A (zh) * 2021-10-26 2022-01-25 杭州博盾习言科技有限公司 联邦学习中的通信方法及装置、电子设备、存储介质

Similar Documents

Publication Publication Date Title
US11457082B2 (en) Service processing method and apparatus of service-based architecture
US5175854A (en) Inter-applicataion interface system
US7433915B2 (en) System and method for controlling communication
CN109815025B (zh) 一种业务模型调用方法、装置及存储介质
CN110268751A (zh) 用于在接入网环境中选择接入和移动性管理功能的方法和系统
WO2019001074A1 (zh) 一种远程过程调用的方法、装置及计算机设备
CA2367800C (en) Communication architecture for distributed computing environment
US11916740B2 (en) K8S-based service deployment method and apparatus, device, and medium
CN114077508B (zh) 一种远程图像渲染方法、装置、电子设备以及介质
CN107332854B (zh) 一种报文序列化协商方法及服务提供设备
CN112948129A (zh) 基于联邦学习的数据传输优化方法、设备及可读存储介质
CN114201317B (zh) 数据传输方法、装置、存储介质及电子设备
CN109388388B (zh) 功能模块间的信息交互方法、装置、设备及存储介质
CN108810000B (zh) 一种生成序列化和反序列化api的方法及装置
EP3663912A1 (en) Acceleration processing method and device
CN112181681A (zh) 一种远程调用方法、装置、计算机设备及存储介质
CN112583822A (zh) 通信设备及通信方法
CN114679436B (zh) 一种会话管理方法、服务器及计算机可读存储介质
CN109582481B (zh) 调用结果的传输方法、装置、设备及存储介质
CN113242313B (zh) 数据同步方法、系统、装置、服务器及存储介质
CN112732457B (zh) 图像传输方法、装置、电子设备和计算机可读介质
CN115562887A (zh) 基于数据组包的核间数据通信方法、系统、设备及介质
CN109218371A (zh) 一种调用数据的方法和设备
CN109669793B (zh) 中间件进程内对象调用方法
CN111092916B (zh) 文件上传的方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination