CN115293318A - 分布式学习方法及装置 - Google Patents

Abstract

本申请提供一种分布式学习方法及装置，将无线通信与分布式学习结合，可以节省资源，并且可以提升无线环境下分布式学习的性能。该方法包括：第一节点采用第一数据模型对第一数据进行处理，获得第一中间数据，通过第一信道向第二节点发送第一中间数据。其中，第一信道是根据第二中间数据的误差信息、第一信道的信息和第一中间数据更新的，第二中间数据为第一中间数据通过第一信道传输至第二节点的结果，第一信道为第一节点与第二节点之间的信道。

Description

分布式学习方法及装置

技术领域

本申请涉及通信领域，尤其涉及一种分布式学习方法及装置。

背景技术

人工智能(artificial intelligence，AI)技术近年来在机器视觉、自然语言处理等领域取得重大进展，并且可应用于各种设备中，但是对设备的能力的要求也较高。以神经网络(neural networks，NN)模型为例。为了实现对NN模型进行训练和推理，设备需要具备强大的算力，对于某些设备来说是一大挑战。

为了降低对设备能力的要求，可以在NN模型的某层或某些层中间节点将NN模型分割，将获得的多个NN子模型部署在多个的设备上进行训练和推理。目前，需要对前向传播的中间层信息(张量或向量)和反向传播的中间层梯度信息进行信道编码等操作，并通过信道在设备间进行传输。这样，编码和解码的过程占用了大量的资源，导致资源浪费。此外，目前还没有技术方案能够支持提升分布式学习性能。

发明内容

本申请提供一种分布式学习方法及装置，将无线通信与分布式学习结合，可以节省资源，并且可以提升无线环境下分布式学习的性能。

为达到上述目的，本申请采用如下技术方案：

第一方面，提供一种分布式学习方法。该分布式学习方法可应用于第一节点，第一节点包括第一数据模型。该分布式学习方法可以包括：采用第一数据模型对第一数据进行处理，获得第一中间数据，通过第一信道向第二节点发送第一中间数据。其中，第一信道是根据第二中间数据的误差信息、第一信道的信息和第一中间数据更新的，第二中间数据为第一中间数据通过第一信道传输至第二节点的结果，第一信道为第一节点与第二节点之间的信道。

基于第一方面所述的分布式学习方法，将信道与数据模型相结合，第一节点与第二节点之间传输数据的第一信道作为数据模型的中间层，并根据第二中间数据的误差信息、第一信道的信息和第一中间数据优化信道，如此，对该第一信道进行训练，可以提高分布式学习的性能。此外，将无线传输直接为分布式学习服务，实现通信与计算一体化，可以降低处理复杂度，从而可节省资源。

在一种可能的设计方式中，第一方面所述的分布式学习方法，第一信道包括第二信道和第三信道，还可以包括：根据第二中间数据的误差信息、第三信道的信息和第一中间数据更新第二信道。

如此，将第一节点与第二节点之间的第一信道划分为第二信道和第三信道，第二信道可以为可控制部分或可控制环境，更新第一信道中的可控部分(即第二信道)，可以提高分布式学习的性能。

在一种可能的设计方式中，上述根据第二中间数据的误差信息、第三信道的信息和第一中间数据更新第二信道，包括：接收第二节点发送的第一信息，根据第一信息和第一中间数据更新第二信道。其中，第一信息是根据第二中间数据的误差信息和第三信道的信息确定的。

如此，通过根据第一信息和第一中间数据，更新第一信道中的可控部分(即第二信道)，以提高分布式学习的性能。

可选地，第一节点可以通过第四信道接收第二节点发送的第一信息。相应地，第二节点可以通过第四信道向第一节点发送第一信息。也就是说，反向训练过程中第一节点与第二节点之间的信道与前向训练过程中的信道可以不相同，例如频点不同或者传输机制不同。

示例性地，第一信息的传输可以在传统的数据/控制信道上传输，或者，可以在专用于NN训练的其他物理/逻辑信道上传输。传输过程可以包括稀疏化、量化、和/或熵编码等降低数据量的操作，或者，可以包括信道编码等降低传输差错的操作。

在一种可能的设计方式中，第一方面所述的分布式学习方法，还可以包括：通过第一信道向第二节点发送第一信号。其中，第一信号可用于确定第一信道的信息。

可选地，第一信号可以为导频信号，第一节点可以发送导频，并设置信道的可控部分的参数，以使第二节点进行信道估计，得到信道信息，从而可以更新信道或第一数据模型，提高分布式学习的性能。

在一种可能的设计方式中，上述根据第二中间数据的误差信息、第三信道的信息和第一中间数据更新第二信道，可以包括：通过第一信道接收来自第二节点的第三信号，根据第三信号，获得第一信息，根据第一信道和第一中间数据更新第二信道。其中，第三信号为第四信号经过第一信道传输至第一节点后的信号，第四信号包括第二中间数据的误差信息映射到空口资源上生成的信号，第一信息是根据第二中间数据的误差信息和第三信道的信息确定的。

如此，利用信号在空口资源的传播特性，通过空中计算，获得第一信息，从而根据第一信道和第一中间数据更新第二信道，可以提高分布式学习的性能，并且降低导频开销。

在一种可能的设计方式中，第一方面所述的分布式学习方法，还可以包括：通过第一信道向第二节点发送第五信号。其中，第五信号可以包括第三中间数据映射到空口资源上生成的信号，第三中间数据用于更新第一信道。

如此，基于信道互易性，利用信号在空口资源的传播特性，通过空中计算，以使第二节点获得第三中间数据和信道信息，避免信道估计，可以降低导频开销。

在一种可能的设计方式中，第一方面所述的分布式学习方法，还可以包括：根据第一中间数据的误差信息对第一数据模型进行更新，获得新的第一数据模型。如此，第一节点可以更新第一数据模型，提高分布式学习的性能。

在一种可能的设计方式中，第一方面所述的分布式学习方法，还可以包括：接收第二节点发送的第二信息。其中，第二信息用于获取第一中间数据的误差信息。如此，第一节点可以根据第一中间数据的误差信息更新第一数据模型，提高分布式学习的性能。

在一种可能的设计方式中，第二信息包括第一中间数据的误差信息。或者，第二信息包括第二中间数据的误差信息和第一信道的信息，第二中间数据的误差信息和第一信道的信息用于确定第一中间数据的误差信息。也就是说，第二信息可以是第二节点确定的。或者是，第二信息可以是通过空中计算获得的，可以节省资源。

在一种可能的设计方式中，第一方面所述的分布式学习方法，还可以包括：接收来自第二节点的第八信号，根据第八信号获得第一中间数据的误差信息。可选地，第八信号为第七信号经过信道传输至第一节点后的信号，第七信号可以包括第二中间数据的误差信息映射到空口资源上生成的信号。

如此，通过信号在空中的传播过程，实现第一数据模型中间层的梯度的空中计算，可以降低导频开销。

第二方面，提供一种分布式学习方法。该分布式学习方法可应用于第二节点，第二节点包括第二数据模型。该分布式学习方法可以包括：通过第一信道接收第二中间数据，采用第二数据模型对第二中间数据进行处理，获得输出数据。其中，第二中间数据为第一节点发送的第一中间数据通过第一信道传输至第二节点的结果，第一信道是根据第二中间数据的误差信息、第一信道的信息和第一中间数据更新的,第一信道为第一节点与第二节点之间的信道。

可选地，第二节点可以根据第二中间数据的误差信息、信道的信道信息和第一中间数据确定新的信道。

在一种可能的设计方式中，第二方面所述的分布式学习方法，第一信道包括第二信道和第三信道，还可以包括：向第一节点发送第二中间数据的误差信息和第三信道的信息。

在一种可能的设计方式中，上述向第一节点发送第二中间数据的误差信息和第三信道的信息，包括：向第一节点发送第一信息。其中，第一信息是根据第二中间数据的误差信息和第三信道的信息确定的。

在一种可能的设计方式中，第二方面所述的分布式学习方法，还可以包括：通过第一信道接收来自第一节点的第二信号，根据第二信号，获得第一信道的信息。其中，第二信号为第一信号通过第一信道传输至第二节点后的信号，第一信号用于确定第一信道的信息。

在一种可能的设计方式中，上述向第一节点发送第二中间数据的误差信息和第三信道的信息，包括：通过第一信道向第一节点发送第四信号。其中，第四信号包括第二中间数据的误差信息映射到空口资源上生成的信号。

在一种可能的设计方式中，第二方面所述的分布式学习方法，还可以包括：通过第一信道接收来自第一节点的第六信号。根据第六信号，获得第三信息。根据第三信息和第二中间数据的误差信息，更新第二信道。其中，第六信号为第五信号通过第一信道传输至第二节点后的信号，第五信号包括第三中间数据映射到空口资源上生成的信号，第三中间数据用于更新第一信道。第三信息是根据第三中间数据和第三信道的信息确定的。

在一种可能的设计方式中，第二方面所述的分布式学习方法，还可以包括：向第一节点发送第二信息。其中，第二信息用于获取第一中间数据的误差信息。

在一种可能的设计方式中，第二信息包括第一中间数据的误差信息。或者，第二信息包括第二中间数据的误差信息和第一信道的信息，第二中间数据的误差信息和第一信道的信息用于确定第一中间数据的误差信息。

在一种可能的设计方式中，第二方面所述的分布式学习方法，还可以包括：根据输出数据对第二数据模型进行更新，获得新的第二数据模型。

在一种可能的设计方式中，第二方面所述的分布式学习方法，还可以包括：向第一节点发送第七信号。可选地，第七信号可以包括第二中间数据的误差信息映射到空口资源上生成的信号。

第三方面，提供一种分布式学习装置，分布式学习装置包括第一数据模型，装置包括：处理模块和收发模块。

其中，处理模块，用于采用第一数据模型对第一数据进行处理，获得第一中间数据。收发模块，用于通过第一信道向第二节点发送第一中间数据。其中，第一信道是根据第二中间数据的误差信息、第一信道的信息和第一中间数据更新的，第二中间数据为第一中间数据通过第一信道传输至第二节点的结果，第一信道为分布式学习装置与第二节点之间的信道。

在一种可能的设计方式中，处理模块，还用于根据第二中间数据的误差信息、第三信道的信息和第一中间数据更新第二信道。

在一种可能的设计方式中，收发模块，还用于接收第二节点发送的第一信息。处理模块，还用于根据第一信息和第一中间数据更新第二信道。其中，第一信息是根据第二中间数据的误差信息和第三信道的信息确定的。

在一种可能的设计方式中，收发模块，还用于通过第一信道接收来自第二节点的第三信号。其中，第三信号为第四信号经过第一信道传输至分布式学习装置后的信号，第四信号包括第二中间数据的误差信息映射到空口资源上生成的信号。

处理模块，还用于根据第三信号，获得第一信息。其中，第一信息是根据第二中间数据的误差信息和第三信道的信息确定的。

处理模块，还用于根据第一信息和第一中间数据更新第二信道。

在一种可能的设计方式中，收发模块，还用于通过第一信道向第二节点发送第一信号。其中，第一信号可用于确定第一信道的信息。

在一种可能的设计方式中，收发模块，还用于通过第一信道向第二节点发送第五信号。其中，第五信号包括第三中间数据映射到空口资源上生成的信号，第三中间数据用于更新第一信道。

在一种可能的设计方式中，处理模块，还用于根据第一中间数据的误差信息对第一数据模型进行更新，获得新的第一数据模型。

在一种可能的设计方式中，收发模块，还用于接收第二节点发送的第二信息。其中，第二信息用于获取第一中间数据的误差信息。

在一种可能的设计方式中，第二信息包括第一中间数据的误差信息。或者，第二信息包括第二中间数据的误差信息和第一信道的信息，第二中间数据的误差信息和第一信道的信息用于确定第一中间数据的误差信息。。

需要说明的是，第三方面所述的收发模块可以包括接收模块和发送模块。其中，接收模块用于接收来自第二节点的数据和/或信令；发送模块用于向第二节点发送数据和/或信令。本申请对于收发模块的具体实现方式，不做具体限定。

可选地，第三方面所述的分布式学习装置还可以包括存储模块，该存储模块存储有程序或指令。当处理模块执行该程序或指令时，使得第三方面所述的分布式学习装置可以执行第一方面所述的方法。

需要说明的是，第三方面所述的分布式学习装置可以是第一节点，例也可以是可设置于第一节点的芯片(系统)或其他部件或组件，本申请对此不做限定。

此外，第三方面所述的分布式学习装置的技术效果可以参考第一方面中任一种可能的实现方式所述的分布式学习方法的技术效果，此处不再赘述。

第四方面，提供一种分布式学习装置，分布式学习装置包括第二数据模型，装置包括：处理模块和收发模块。其中，

收发模块，用于通过第一信道接收第二中间数据。其中，第二中间数据为第一节点发送的第一中间数据通过第一信道传输至分布式学习装置的结果，第一信道是根据第二中间数据的误差信息、第一信道的信息和第一中间数据更新的,第一信道为第一节点与分布式学习装置之间的信道。

处理模块，用于采用第二数据模型对第二中间数据进行处理，获得输出数据。

在一种可能的设计方式中，第一信道包括第二信道和第三信道。收发模块，还用于向第一节点发送第二中间数据的误差信息和第三信道的信息。

在一种可能的设计方式中，收发模块，还用于向第一节点发送第一信息。其中，第一信息是根据第二中间数据的误差信息和第三信道的信息确定的。

在一种可能的设计方式中，收发模块，还用于通过第一信道接收来自第一节点的第二信号；其中，第二信号为第一信号通过第一信道传输至第二节点后的信号，第一信号用于确定第一信道的信息。处理模块，还用于根据第二信号，获得第一信道的信息。

在一种可能的设计方式中，收发模块，还用于通过第一信道向第一节点发送第四信号。其中，第四信号包括第二中间数据的误差信息映射到空口资源上生成的信号。

在一种可能的设计方式中，收发模块，还用于通过第一信道接收来自第一节点的第六信号。其中，第六信号为第五信号通过第一信道传输至分布式学习装置后的信号，第五信号包括第三中间数据映射到空口资源上生成的信号，第三中间数据用于更新第一信道。

处理模块，还用于根据第六信号，获得第三信息。其中，第三信息是根据第三中间数据和第三信道的信息确定的。

处理模块，还用于根据第三信息和第二中间数据的误差信息，更新第二信道。

在一种可能的设计方式中，收发模块，还用于向第一节点发送第二信息。其中，第二信息用于获取第一中间数据的误差信息。

在一种可能的设计方式中，第二信息包括第一中间数据的误差信息。或者，第二信息包括第二中间数据的误差信息和第一信道的信息，第二中间数据的误差信息和第一信道的信息用于确定第一中间数据的误差信息。

在一种可能的设计方式中，处理模块，还用于根据输出数据对第二数据模型进行更新，获得新的第二数据模型。

需要说明的是，第四方面所述的收发模块可以包括接收模块和发送模块。其中，接收模块用于接收来自第一节点的数据和/或信令；发送模块用于向第一节点发送数据和/或信令。本申请对于收发模块的具体实现方式，不做具体限定。

可选地，第四方面所述的分布式学习装置还可以包括存储模块，该存储模块存储有程序或指令。当处理模块执行该程序或指令时，使得第四方面所述的分布式学习装置可以执行第二方面所述的方法。

需要说明的是，第四方面所述的分布式学习装置可以是第二节点，也可以是可设置于第二节点的芯片(系统)或其他部件或组件，本申请对此不做限定。

此外，第四方面所述的分布式学习装置的技术效果可以参考第一方面中任一种可能的实现方式所述的分布式学习方法的技术效果，此处不再赘述。

第五方面，提供一种分布式学习装置。该分布式学习装置包括：处理器，该处理器与存储器耦合，存储器用于存储计算机程序。

处理器用于执行存储器中存储的计算机程序，以使得该分布式学习装置执行如第一方面至第二方面中任一种可能的实现方式所述的分布式学习方法。

在一种可能的设计中，第五方面所述的分布式学习装置还可以包括收发器。该收发器可以为收发电路或输入/输出端口。所述收发器可以用于该分布式学习装置与其他设备通信。

需要说明的是，输入端口可用于实现第一方面至第二方面所涉及的接收功能，输出端口可用于实现第一方面至第二方面所涉及的发送功能。

在本申请中，第五方面所述的分布式学习装置可以为第一节点、或第二节点，或者设置于第一节点、或第二节点内部的芯片或芯片系统。

此外，第五方面所述的分布式学习装置的技术效果可以参考第一方面至第二方面中任一种实现方式所述的分布式学习方法的技术效果，此处不再赘述。

第六方面，提供一种通信系统。该通信系统包括第一节点和第二节点。

第七方面，提供了一种芯片系统，该芯片系统包括处理器和输入/输出端口。其中，处理器用于实现第一方面至第二方面所涉及的处理功能，输入/输出端口用于实现第一方面至第二方面所涉及的收发功能。具体地，输入端口可用于实现第一方面至第二方面所涉及的接收功能，输出端口可用于实现第一方面至第二方面所涉及的发送功能。

在一种可能的设计中，该芯片系统还包括存储器，该存储器用于存储实现第一方面至第二方面所涉及功能的程序指令和数据。

该芯片系统，可以由芯片构成，也可以包含芯片和其他分立器件。

第八方面，提供一种计算机可读存储介质，包括：计算机程序或指令；当该计算机程序或指令在计算机上运行时，使得第一方面至第二方面中任意一种可能的实现方式所述的分布式学习方法被执行。

第九方面，提供一种计算机程序产品，包括计算机程序或指令，当该计算机程序或指令在计算机上运行时，使得第一方面至第二方面中任意一种可能的实现方式所述的分布式学习方法被执行。

第十方面，提供一种计算机程序，当其在计算机上执行时，使得上述第一方面至第二方面中任意一种可能的实现方式所述的方法被执行。

附图说明

图1为本申请实施例提供的一种通信系统的架构示意图；

图2为本申请实施例提供的一种全连接神经网络的示意图；

图3为本申请实施例提供的一种梯度下降的示意图；

图4为本申请实施例提供的一种神经网络训练的示意图；

图5为本申请实施例提供的一种神经网络分割的示意图；

图6为本申请实施例提供的另一种神经网络分割的示意图；

图7为本申请实施例提供的又一种神经网络分割的示意图；

图8为本申请实施例提供的一种分布式学习方法的交互示意图；

图9为本申请实施例提供的一种分布式学习方法的应用示意图；

图10为本申请实施例提供的另一种分布式学习方法的应用示意图；

图11为本申请实施例提供的又一种分布式学习方法的应用示意图；

图12为本申请实施例提供的另一种分布式学习方法的交互示意图；

图13为本申请实施例提供的一种分布式学习装置的结构示意图；

图14为本申请实施例提供的另一种分布式学习装置的结构示意图。

具体实施方式

下面将结合附图，对本申请中的技术方案进行描述。

本申请实施例的技术方案可以应用于各种通信系统，例如无线保真(wirelessfidelity，WiFi)系统，车到任意物体(vehicle to everything，V2X)通信系统、设备间(device-to devie，D2D)通信系统、车联网通信系统、短距无线通信系统、卫星通信系统、窄带物联网系统(narrow band-internet of things，NB-IoT)、长期演进系统(long termevolution，LTE)、第五代(5th generation，5G)移动通信系统，如新空口(new radio，NR)系统，以及未来的通信系统，如第六代(6th generation，6G)移动通信系统等。本申请实施例的技术方案可以应用于如下应用场景中：增强移动宽带(enhanced mobile broadband，eMBB)、URLLC(ultra-reliable low-latency communication，URLLC)和增强型机器类通信(enhanced machine type communication，eMTC)。

本申请将围绕可包括多个设备、组件、模块等的系统来呈现各个方面、实施例或特征。应当理解和明白的是，各个系统可以包括另外的设备、组件、模块等，并且/或者可以并不包括结合附图讨论的所有设备、组件、模块等。此外，还可以使用这些方案的组合。

另外，在本申请实施例中，“示例地”、“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用示例的一词旨在以具体方式呈现概念。

本申请实施例描述的网络架构以及业务场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着网络架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

为便于理解本申请实施例，首先以图1中示出的通信系统为例详细说明适用于本申请实施例的通信系统。示例性地，图1为本申请实施例提供的分布式学习方法所适用的一种通信系统的架构示意图。

该通信系统包括第一节点和第二节点。其中，第一节点可以是终端设备，第二节点可以是网络设备。或者，第一节点可以是网络设备，第二节点可以是终端设备。或者，第一节点可以是终端设备，第二节点可以是终端设备。如图1所示，该通信系统包括终端设备，终端设备的数量可以是一个或多个。该通信系统还可以包括网络设备。

其中，上述网络设备为位于上述通信系统的网络侧，且具有无线收发功能的设备或可设置于该设备的芯片或芯片系统。该网络设备包括但不限于：无线保真(wirelessfidelity，WiFi)系统中的接入点(access point，AP)，如家庭网关、路由器、服务器、交换机、网桥等，演进型节点B(evolved Node B，eNB)、无线网络控制器(radio networkcontroller，RNC)、家庭基站(例如，home evolved NodeB，或home Node B，HNB)，无线中继节点、无线回传节点、传输点(transmission and reception point，TRP或者transmissionpoint，TP)等，还可以为5G，如，NR系统中的gNB，或，传输点(TRP或TP)，5G系统中的基站的一个或一组(包括多个天线面板)天线面板，或者，还可以为构成gNB或传输点的网络节点，如基带单元(BBU)，或，分布式单元(distributed unit，DU)、具有基站功能的路边单元(roadside unit，RSU)等。网络设备还可以是云无线接入网络(cloud radio access network，CRAN)场景下的无线控制器，或者未来演进的公用陆地移动网(public land mobilenetwork，PLMN)中的网络设备，或者，可穿戴设备或车载设备，还包括设备到设备(Device-to-Device，D2D)、车辆外联(vehicle-to-everything，V2X)、机器到机器(machine-to-machine，M2M)通信、物联网(Internet of Things)通信中承担基站功能的设备，等。

上述终端设备为接入上述通信系统，且具有无线收发功能的终端或可设置于该终端的芯片或芯片系统。该终端设备也可以称为用户设备(User Equipment，UE)、用户装置、接入终端、用户单元、用户站、移动站、移动台(mobile station，MS)、远方站、远程终端、移动设备、用户终端、终端、终端单元、终端站、终端装置、无线通信设备、用户代理或用户装置。例如，本申请的实施例中的终端设备可以是手机(mobile phone)、无线数据卡、个人数字助理(personal digital assistant，PDA)电脑、膝上型电脑(laptop computer)、平板电脑(Pad)、带无线收发功能的电脑、机器类型通信(machine type communication，MTC)终端、虚拟现实(virtual reality，VR)终端设备、增强现实(augmented reality，AR)终端设备、物联网(internet of things，IoT)终端设备、工业控制(industrial control)中的无线终端、无人驾驶(self driving)中的无线终端、远程医疗(remote medical)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端(例如游戏机、智能电视、智能音箱、智能冰箱和健身器材等)、车载终端、具有终端功能的RSU。接入终端可以是蜂窝电话(cellular phone)、无绳电话、会话启动协议(session initiationprotocol，SIP)电话、无线本地环路(wireless local loop，WLL)站、个人数字助理(personal digital assistant，PDA)、具有无线通信功能的手持设备(handset)、计算设备或连接到无线调制解调器的其它处理设备、可穿戴设备等。又例如，本申请实施例中的终端设备可以是智慧物流中的快递终端(例如可监控货物车辆位置的设备、可监控货物温湿度的设备等)、智慧农业中的无线终端(例如可收集禽畜的相关数据的可穿戴设备等)、智慧建筑中的无线终端(例如智慧电梯、消防监测设备、以及智能电表等)、智能医疗中的无线终端(例如可监测人或动物的生理状态的可穿戴设备)、智能交通中的无线终端(例如智能公交车、智能车辆、共享单车、充电桩监测设备、智能红绿灯、以及智能监控以及智能停车设备等)、智能零售中的无线终端(例如自动售货机、自助结账机、以及无人便利店等)。又例如，本申请的终端设备可以是作为一个或多个部件或者单元而内置于车辆的车载模块、车载模组、车载部件、车载芯片或者车载单元，车辆通过内置的所述车载模块、车载模组、车载部件、车载芯片或者车载单元可以实施本申请提供的功率控制参数确定方法。

需要说明的是，本申请实施例提供的分布式学习方法，可以适用于图1所示的任意两个节点之间，如终端设备之间、以及终端设备与网络设备之间，具体实现可以参考下述方法实施例，此处不再赘述。

应当指出的是，本申请实施例中的方案还可以应用于其他通信系统中，相应的名称也可以用其他通信系统中的对应功能的名称进行替代。

应理解，图1仅为便于理解而示例的简化示意图，该通信系统中还可以包括其他设备，图1中未予以画出。

另外，本领域普通技术人员可知，随着网络架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

为了使得本申请实施例更加清楚，以下对与本申请实施例相关的部分内容以及概念作统一介绍。

1、神经网络

神经网络是一个能够学习、总结归纳的算法网络，可以神经网络软件或硬件的形式被内置于一个计算节点中，如神经网络的训练程序、可执行脚本等。通常来说，以深度神经网络(deep neural networks，DNN)模型为例。一个DNN模型由多层神经元(算子)组成，每一层有多个输入和输出，输入或输出是一个多维数组，也称为张量(tensor)。每一层都有一个或多个加权数值，称为权重。某一层的输出结果，也称为特征值，等于该层输入和权值的相乘等数学运算的结果，通常涉及矩阵乘法运算。

全连接神经网络为神经网络的一种，全连接神经网络又称为多层感知机(multi-layer perceptron，MLP)，一个MLP包括一个输入层、一个输出层以及多个隐藏层(又称为中间层)，每层包括多个神经元。其中，相邻的两层神经元包括的神经元之间两两相连，如图2所示。

对于相邻的两层神经元，下一层神经元的输出h为所有与之相连的上一层神经元x的加权和并经过激活函数。用矩阵可以表示为如下公式：h＝f(w×x+b)。其中，w为权重矩阵，b为偏置向量，f()为激活函数。则神经网络的输出y可以递归表达为y＝f_t(w_t×f_t-1(…)+b_t)。其中，t为全连接神经网络包括的神经元的层数。

2、神经网络的训练

可以将神经网络理解为一个输入数据集合到输出数据集合的映射关系。通常，神经网络可以是随机初始化的，用已有的数据基于随机的w和随机的b获得该映射关系的过程可称为神经网络的训练。

示例性地，训练的方式包括采用损失函数(loss function)对神经网络的输出数据进行评价，获得并反向传播误差信息。如图3所示，通过梯度下降的方法可以迭代优化权重矩阵w和偏置向量b，损失函数的值达到最小时，可以获得最优的w和b。

示例性地，梯度下降的过程可以表达为公式(1)。

或者，

可以采用上述公式(1)优化参数(例如，权重w和偏置b)，上述公式(1)中，θ′为参数的优化后的值(也可称为更新值)，θ为参数优化之前的值，L为损失函数，η为学习率，可用于控制梯度下降的步长，数学符号←表示将右侧赋值给左侧。

结合图4，反向传播的过程可利用求偏导的链式法则，即前一层神经元(j层)参数的梯度可以由后一层神经元(i层)参数的梯度递推计算得到，如下述公式(2)。

上述公式(2)中，L为损失函数，w_ij为神经元j连接神经元i的权重，s_i为神经元i上的输入加权和，即s_i＝w_ij1×s_j1+w_ij2×s_j2+w_ij3×s_j3+w_ij4×s_j4，

为从j层的后一层(i层)传递至j层的梯度

可以称为中间层梯度，即可以将i层看作是中间层。

3、神经网络分割

神经网络分割：根据节点的算力和通信能力将神经网络在某个中间层分割成多个子神经网络，并分别部署在多个节点上。

结合图5，在中间层对数据模型进行分割后，获得第一数据模型和第二数据模型。在训练或推理的前向过程中，第一节点采用第一数据模型对输入数据进行处理，获得中间数据并通过信道传输给第二节点。然后，第二节点采用第二数据模型对中间数据进行处理，获得输出数据。在训练的反向过程中，第二节点根据输出数据确定第二数据模型的误差信息，更新第二数据模型的参数，并将第二数据模型的误差信息发送给第一节点。第一节点基于第二数据模型的误差信息确定第一数据模型的误差信息，更新第一数据模型的参数。

4、第一数据模型的参数、第二数据模型的参数、第一信道的参数、第一信道的信息

第一数据模型的参数：第一数据模型的参数θ₁可以为第一数据模型对应的权重和/或偏置。

第二数据模型的参数：第二数据模型的参数θ₂可以为第二数据模型对应的权重和/或偏置。

在本申请实施例中，第一信道可以包括可控部分，还可以包括不可控部分。其中，可控部分可以由可控环境构成，不可控部分可以包括两个节点间的不可控环境。或者，第一信道可以包括由可控部分影响的可训练信道，还可以包括由不可控部分构成的直连信道。

可控环境：通过在环境中部署可控单元，以实现对无线信道环境的调整。

示例性地，可控单元可以包括主动器件，如中继、分布式天线、有源智能反射面等。或者，可控单元可以包括被动器件，如无源智能反射面等。

结合图6或图7，第一信道可以包括第二信道，还可以包括第三信道。在本申请实施例中，将可控部分或由可控部分影响的可训练信道称为第二信道，将不可控部分或不可控部分构成的信道称为第三信道。

图6为本申请实施例提供的一种分布式学习方法的应用示意图。图7为本申请实施例提供的另一种分布式学习方法的应用示意图。如图6或图7所示，第一节点包括第一数据模型，第二节点包括第二数据模型，第一节点与第二节点之间通过第一信道进行通信。图7与图8的主要区别在于第一信道的显示形式不同。

以第一信道包括可控部分和不可控部分，或者，第一信道包括由可控部分影响的可训练信道和不可控部分构成的信道为例。结合图6和图7，第一节点和第二节点之间的第一信道可以表示为g₁×Φ×g₂+h，或者，

其中，g₁、g₂和h为不可控部分的相关信息或不可控部分构成的信道的相关信息，g₁为第一节点到可控部分(或称为可控环境、可控部分影响的可训练信道)的信道，g₂为第二节点到可控部分(或称为可控环境、可控部分影响的可训练信道)的信道，h为第一节点到第二节点的直连信道。N为第一信道(例如可控环境、或可控部分)作为中间层的维度，例如可控单元的数量。Φ属于可控部分的参数或由可控部分影响的可训练信道的参数，Φ可以为可控部分(或称为可控环境、可控部分影响的可训练信道)的响应。例如，Φ可以包括幅度和相位影响等。

示例性地，可控部分的响应Φ的第n个元素可以表达为公式(3)。

其中，β_n为响应的幅度，e为自然常数，e约等于2.71828，ψ_n为响应的相位，j为虚数单位，j²＝-1。

在本身申请实施例中，第一信道的参数可以包括如下一项或多项：g₁、g₂、h和Φ。第二信道的参数可以包括Φ。第一信道的信息可以包括根据g₁、g₂、h和Φ中的一项或多项获得的信息。第三信道的信息可以包括根据g₁、g₂、和h中的一项或多项获得的信息。

现有技术中，通信传输以面向无损传输为设计目标，为了保证信息无差错传输，在前向过程和反向过程中，第一节点与第二节点之间传输的信息需要进行信道编码，接收到信息后需要解码。

申请人研究发现，神经网络的过参数化(即参数的数量大于训练样本的数量)的特点和以随机梯度下降为代表的训练方法，使其具有很好的容忍差错的能力，因此在分布式学习的过程中，对信息进行无损传输的要求低，而编码和解码的过程占用了大量的资源，导致资源浪费，神经网络学习和通信解耦的设计会造成无线资源利用的冗余。另外，该方案并不能提高分布式学习的性能。

本申请提出，将信道与分布式学习结合，将信道作为神经网络的一部分，对信道以及神经网络进行联合训练，这样可以节省资源，并且可以提升分布式学习的性能。

本申请实施例提供的分布式学习方法可适用于多种波形系统，如单载波，离散傅里叶变换扩展正交频分复用(discrete fourier transfbrm spread OFDM，DFT-s-OFDM)系统，循环前缀正交频分复用(cyclic prefix OFDM，SC-OFDM)系统，正交时频空间(orthogonal time frequency space，OTFS)系统等。这些系统的无线信道响应可以建模为线性系统，这些系统主要区别是资源的定义不同，如单载波在时域定义符号，OTFS等可以认为是对符号做了进一步的线性变换。

本申请实施例提供的分布式学习方法适用于一个或多个天线的场景，神经元和天线之间的映射(即预编码)也是一个线性变换。

本申请实施例提供的分布式学习方法适用于单个AI任务、以及多任务或者多视角的场景。其中，多任务场景，即可能存在多个第二数据模型，用于多个推理任务；多个第二数据模型分别进行更新，第一数据模型和可控环境需要综合(如加权)多个第二数据模型的中间层误差信息进行更新。多视角场景，即可能存在多个第一数据模型，对不同视角的数据进行处理，用于后续的第二数据模型推理；可控环境的更新与多个第一数据模型中间层推理输出的传输方式相关，例如，采用正交/非正交多址接入时，多个第一数据模型可以分别进行更新。本申请实施例提供的分布式学习方法单个AI任务为例进行阐述。

本案技术方案可适用于多跳网络的场景，也就是将神经网络分割为三个或以上的情况。

下面将结合图8-图12对本申请实施例提供的分布式学习方法进行具体阐述。其中图9-图11为本申请实施例提供的分布式学习方法的应用示意图。将在说明图8和图12所示的方法时，作为示例说明图9-图11的内容。

示例性地，图8为本申请实施例提供的一种分布式学习方法的交互示意图。以OFDM系统为例进行阐述。该分布式学习方法可以适用于图1所示的任意两个节点之间的通信。

如图8所示，该分布式学习方法包括如下步骤：

S801，第一节点采用第一数据模型对第一数据进行处理，获得第一中间数据。

示例性地，第一节点包括第一数据模型，第一数据模型被内设置于第一节点中。

例如，第一数据模型可以为神经网络软件，第一数据模型可以以神经网络软件或硬件的形式被内置于第一节点中，如神经网络的训练程序、可执行脚本等。

可选地，第一数据可以为训练样本中的数据或推理时的数据。上述S801可用于训练过程或推理过程。

结合图6或图7，第一节点根据第一数据模型对第一数据x进行处理，输出第一中间数据z。

结合图9-图11中的步骤(a)，第一数据为x，第一节点采用参数为θ₁的第一数据模型对x进行处理，获得

其中，

为参数为θ₁的神经网络模型。

S802，第一节点通过第一信道向第二节点发送第一中间数据。相应地，第二节点通过第一信道接收来自第一节点的第二中间数据。

示例性地，第二中间数据为第一中间数据通过第一信道传输至第二节点的结果。

结合图6或图7，第一节点通过第一信道发送第一中间数据z，第一中间数据z经过第一信道后，输出第二中间数据c，第二节点接收第二中间数据c。

在一些实施例中，第二节点通过第一信道(例如g₂×Φ×g₁+h)接收来自第一节点的第一中间数据(例如，

)，获得第二中间数据

其中，k为噪声，其他符号的释义可参照上述对第一信道的参数的介绍，此处不再赘述。

结合图9-图11中的步骤(b)，第二节点通过第一信道(例如

)接收来自第一节点的第一中间数据(例如，

)，获得第二中间数据

其中，k为噪声，N为第一信道(例如信道的可控环境、或信道的可控部分、或可控部分影响的可训练信道)作为中间层的维度，其他符号的释义可参照上述对第一信道的参数的介绍，此处不再赘述。

示例性地，第一信道是根据第二中间数据的误差信息、第一信道的信息和第一中间数据更新的。

可选地，第二中间数据的误差信息可以包括第二中间数据的梯度或第二中间数据的梯度的归一化值。

可选地，第一信道的信息可以包括如下一项或多项：g₁、g₂、h和中。

关于更新第一信道的具体实现方式可参照下述图12所示的S1202a和S1202b，此处不再赘述。

在本申请实施例中，对第一节点与第二节点之间的信道(即第一信道)进行训练，将该信道作为数据模型的中间层(例如残差层)，参与训练、推理，可以在无线传输过程中实现DNN所需的如滤波或特征提取的功能，可以提高分布式学习的性能。此外，将无线传输直接为分布式学习服务，可以降低处理复杂度，从而可节省资源。

可选地，第一数据模型的参数的值为上一次训练后获得的值。第一信道的参数的值为上一次训练后获得的值。

也就是说，在前向训练过程或推理过程中，第一数据模型的参数的值可以为上一次训练后更新的值、或者为初始值(例如，未曾对第一数据模型进行训练)，第一信道的参数的值可以为上一次训练后更新的值、或者为初始值(例如，未曾对第一信道进行训练)。

在一些实施例中，上述S802中，第一节点通过第一信道向第二节点发送第一中间数据，可以包括：第一节点将第一中间数据调制成符号通过第一信道发送给第二节点。

例如，第一节点可以将第一中间数据映射到空口资源上发送给第二节点，如此，传输数据的过程中不需要信道编码和解码，可以节省资源。

示例性地，调制的符号的数量与数据模型的中间层的维度相同。

例如，符号的值与中间层的值之间可以满足如下公式：s＝z或者s＝W×z，即符号的值与中间层的值之间满足某种线性变换。其中，s为符号的值，z为中间层的值，W为线性变换矩阵。这可对应数据模型为复数数据模型的情况，即神经网络为复数神经网络。下面以s＝z为例进行说明。

结合图6或图7，数据模型的中间层的维度为4，则符号的数量也为4。

又示例性地，调制的符号的数量为数据模型的中间层的维度的二分之一。也就是说，两个神经元输出形成一个复数符号，或者，符号的值与中间层的值之间可以满足某种线性变换。

例如，符号的值与中间层的值之间可以满足如下公式：

其中，s_i为符号i的值，i₁和i₂表示中间层第i₁和i₂个元素，j为常数，j²＝-1。

在一些实施例中，上述S802中的第二节点通过第一信道接收来自第一节点的第二中间数据，可以包括：第二节点对接收的第二中间数据的符号进行维度匹配。

如此，第二节点在接收数据的过程中不需要解码，可以节省资源。

可选地，第二节点可以根据数据模型是否为复数数据模型进行维度匹配。

示例性地，解调的符号的数量与数据模型的中间层的维度相同。这对应数据模型为复数数据模型的情况。

又示例性地，将第二中间数据的一个复数符号展开成两个实数。这对应数据模型为实数数据模型的情况。

需要说明的是，第二节点根据数据模型是否为复数数据模型进行维度匹配的具体实现方式，与上述第一节点将第一中间数据调制成符号通过第一信道发送给第二节点对应的实现方式类似，此处不再赘述。

需要说明的是，上述第二节点对接收的第二中间数据的符号进行维度匹配，可以在第二节点的第二数据模型对第二中间数据进行处理之前执行，例如在S803之前执行。

S803，第二节点采用第二数据模型对第二中间数据进行处理，获得输出数据。

示例性地，第二节点包括第二数据模型，与第一数据模型类似，第二数据模型可被内设置于第二节点中。

例如，第二数据模型可以为神经网络软件，以神经网络软件或硬件的形式被内置于第二节点中，如神经网络的训练程序、可执行脚本等。

在一些实施例中，第二节点采用参数为θ₂的第二数据模型对第二中间数据

进行处理，获得输出数据

其中，

为参数为θ₂的神经网络模型，k为噪声，其他符号的释义可参照上述对第一信道的参数的介绍，此处不再赘述。

结合图9-图11中的步骤(c)，以第二节点的一个天线为例，第二节点采用参数为θ₂的第二数据模型对第二中间数据

进行处理，获得的输出数据可以为

其中，N为第一信道(例如信道的可控环境、或信道的可控部分、或可控部分影响的可训练信道)作为中间层的维度，N为大于0的整数。

在一些实施例中，第二节点的M个天线采用参数为θ₂的第二数据模型对第二中间数据

进行处理，获得的输出数据可以为

其中，N为信道(例如信道的可控环境、或信道的可控部分、或可控部分影响的可训练信道)作为中间层的维度，N为大于0的整数。M为第二节点包括的天线的数量，m为大于或等于1的整数。

可选地，第二节点的第二数据模型的参数θ₂的值可以为上一次训练后更新的值。

也就是说，在前向训练过程或推理过程中，第二数据模型的参数的值可以为上一次训练后更新的值、或者为初始值(例如，未曾对第二数据模型进行训练)。

使用上述分布式学习方法，将信道与数据模型相结合，第一节点与第二节点之间传输数据的第一信道作为数据模型的中间层，并对该第一信道进行训练，根据第二中间数据的误差信息、第一信道的信息和第一中间数据优化第一信道，可以提高分布式学习的性能。此外，将无线传输直接为分布式学习服务，实现通信与计算一体化，可以降低处理复杂度，从而可节省资源。

需要说明的是，上述S801-S803可以为前向训练过程或者推理过程。可选地，在推理过程中，第二节点可以将获得的输出数据反馈给第一节点。

可选地，第二节点可以根据输出结果确定损失函数。

示例性地，损失函数可以表示为如下公式：L＝error(y，y_label)。其中，y_label为第一数据x对应的标签，y为输出结果，error为损失函数，error与分布式DNN的任务相关，如对应分类任务，error可以是交叉熵；对应回归任务，error可以是均方误差。

在一种可能的设计方式中，本申请实施例提供的分布式学习方法，还可以包括反向训练过程，如图12中的(a)、图12中的(b)和图12中的(c)所示，包括S1201、S1202a、S1202b、S1203-S1207。图12中的(a)、图12中的(b)和图12中的(c)所示的分布式学习方法可以与图8所示的分布式学习方法结合使用。

S1201，第二节点根据输出数据对第二数据模型进行更新，获得新的第二数据模型。

在一些实施例中，上述S1201可以包括下述步骤一至步骤二。

步骤一，第二节点获得第二数据模型的参数的更新值。

可选地，第二节点可以采用第二数据模型的参数的误差信息，获得第二数据模型的参数的更新值。例如，误差信息可以包括梯度或梯度的归一化值。

示例性地，第二数据模型的参数的误差信息可以是第二节点根据第二中间数据和损失函数确定的。

结合图9-图11中的步骤(d)，以误差信息为梯度为例，第二节点可以根据第二中间数据(例如

和损失函数L，确定第二数据模型的参数θ₂的梯度为

则参数θ₂的更新值为

其中，L为损失函数，y为输出数据，η为学习率，θ₂′为参数θ₂的更新值，θ₂为第二数据模型的参数的当前值，例如，θ₂可以为上一次训练后获得的值。

步骤二，第二节点根据第二数据模型的参数的更新值，更新第二数据模型。

示例性地，第二节点可以采用θ₂′更新第二数据模型。例如，将第二数据模型的参数的值置为

S1202a和S1202b为第一信道的更新步骤。可选地，第一信道可以是第一节点(S1202a)或第二节点(S1202b)更新的。

S1202a，第一节点根据第二中间数据的误差信息、第一信道的信息和第一中间数据，获得新的第一信道。

可选地，第一信道包括第二信道和第三信道，上述S1202a，可以包括：第一节点可以根据第二中间数据的误差信息、第三信道的信息和第一中间数据更新所述第二信道。

S1202b，第二节点根据第二中间数据的误差信息、第一信道的信息和第一中间数据，获得新的第一信道。

可选地，第一信道包括第二信道和第三信道，上述S1202b，可以包括：第二节点可以根据第二中间数据的误差信息、第三信道的信息和第一中间数据更新所述第二信道。

可选地，第一信道可以是第一节点或第二节点更新的。

关于第一信道的信息的具体实现方式可参照上述结合图6和图7对第一信道的信息的介绍，此处不再赘述。

在一种可能的设计方式中，本申请实施例提供的分布式学习方法，还可以包括：第二节点向第一节点发送第二中间数据的误差信息和第三信道的信息。相应地，第一节点获取第二中间数据的误差信息和第三信道的信息。

在一些实施例中，上述第二节点向第一节点发送第二中间数据的误差信息和第三信道的信息，可以包括：图12中的(a)所示的S1204，第二节点向第一节点发送第一信息。相应地，上述第一节点获取第二中间数据的误差信息和第三信道的信息，可以包括：第一节点接收第二节点发送的第一信息。

可选地，第一信息可以是第二节点根据第二中间数据的误差信息和第三信道的信息确定的。

示例性地，结合图9-图11中的步骤(e)，第二节点根据输出数据y、损失函数和第二中间数据c，确定第二中间数据的误差信息为

示例性地，结合图9中的步骤(f)，假设第二中间数据的误差信息为

第三信道的信息为g_2，n×g_1，n，第二节点根据第二中间数据的误差信息和第三信道的信息确定的第一信息为

参照图9中的步骤(g)，第二节点向第一节点发送第一信息

可选地，第一节点可以通过第四信道接收第二节点发送的第一信息。相应地，第二节点可以通过第四信道向第一节点发送第一信息。

示例性地，第四信道可以为返向训练过程中第一节点与第二节点之间的信道。例如，第四信道可以为控制信道。

也就是说，反向训练过程中第一节点与第二节点之间的信道与前向训练过程中的信道可以不相同，例如频点不同或者传输机制不同。

可选地，反向训练过程中第一节点与第二节点之间的信道与前向训练过程中的信道可以相同。

示例性地，第一信息的传输可以在传统的数据/控制信道上传输，或者，可以在专用于DNN训练的其他物理/逻辑信道上传输。传输过程可以包括稀疏化、量化、和/或熵编码等降低数据量的操作，或者，可以包括信道编码等降低传输差错的操作。

可选地，第二节点可以向第一节点分别发送第二中间数据的误差信息和第三信道的信息。例如，第二节点向第一节点发送第二中间数据的误差信息，第二节点向第一节点发送第三信道的信息，不对先后顺序进行限定。相应地，第一节点接收来自第二节点的第二中间数据的误差信息，第一节点接收来自第二节点的第三信道的信息。

本申请实施例中，当反向训练过程中第一节点与第二节点之间的信道与前向训练过程中的信道不相同时，将前向过程中第一节点与第二节点之间的信道称为第一信道，将反向过程中第一节点与第二节点之间的信道称为第四信道。当反向训练过程中第一节点与第二节点之间的信道与前向训练过程中的信道相同时，将前向过程和反向过程中第一节点与第二节点之间的信道均称为第一信道。

在另一些实施例中，上述第二节点向第一节点发送第二中间数据的误差信息和第三信道的信息，可以包括：图12中的(b)所示的S1205，第二节点通过第一信道向第一节点发送第四信号。

相应地，S1205，第一节点通过第一信道接收来自第二节点的第三信号。

可选地，第四信号可以包括第二中间数据的误差信息映射到空口资源上生成的信号。

示例性地，第二节点发送包括第二中间数据的误差信息

的第四信号，并设置可控部分的参数φ。

例如，第二节点可以重复发送第四信号，并在每次发送第四信号时调整可控部分的参数φ。

示例性地，结合图10中的步骤(x)，第一次发送包括

的第四信号时，第二节点将φ₁至φ_N分别设置为[0，0，...，0]。然后，第二次至第N+1次发送第四信号时，依次调整φ₁至φ_N的值。例如，将φ₁至φ_N分别设置为

即将φ₁至φ_N中的一个参数设置为1，其他设置为0。例如，第二次发送第四信号时，将φ₁至φ_N分别设置为

即设置φ₁＝1、φ₂至φ_N均为0。类似地，第N+1次发送第四信号时，将φ₁至φ_N分别设置为

需要说明的是，本申请实施例不对调整可控部分的参数φ的顺序进行限定，上述仅为本申请为了便于描述，而撰写的示例，以第一节点能够根据第三信号获得第一中间数据的误差信息为准。

相应地，在另一些实施例中，上述第一节点获取第二中间数据的误差信息和第三信道的信息，可以包括：第一节点通过第一信道接收来自第二节点的第三信号，第一节点根据第三信号，获得第一信息。

可选地，第三信号为第四信号经过第一信道传输至第一节点后的信号。

示例性地，结合图10中的步骤(x)，第一节点接收的第三信号可以包括

或

可选地，第一信息可以是第一节点根据第二中间数据的误差信息和第三信道的信息确定的。

示例性地，结合图10中的步骤(x)，第一节点可以根据

和

获得第一信息

如此，基于信道互易性，利用信号在空口资源的传播特性，通过空中计算，获得第一信息(即第二中间数据的误差信息和第三信道的信息)，避免信道估计，可以降低导频开销。

在一种可能的设计方式中，本申请实施例提供的分布式学习方法，还可以还包括：图12中的(c)所示的S1206，第一节点通过第一信道向第二节点发送第五信号。相应地，第二节点通过第一信道接收来自第一节点的第六信号。

可选地，第五信号可以包括第三中间数据映射到空口资源上生成的信号，第三中间数据可用于更新第一信道。

示例性地，第三中间数据可以为第一节点对第一数据的处理结果。第一节点发送包括第三中间数据

的第五信号，并设置可控部分的参数φ。

例如，第一节点可以重复发送第五信号，并在每次发送第五信号时调整可控部分的参数φ。

示例性地，结合图11中的步骤(y)，第一次发送包括

的第五信号时，第一节点将φ₁至φ_N分别设置为[0，0，...，0]。然后，第二次至第N+1次发送第四信号时，依次调整φ₁至φ_N的值。例如，将φ₁至φ_N分别设置为

即将φ₁至φ_N中的一个参数设置为1，其他设置为0。例如，第二次发送第四信号时，将φ₁至φ_N分别设置为

即设置φ₁＝1、φ₂至φ_N均为0。类似地，第N+1次发送第四信号时，行φ₁至φ_N分别设置为

需要说明的是，本申请实施例不对调整可控部分的参数φ的顺序进行限定，上述仅为本申请为了便于描述，而撰写的示例。

可选地，第六信号可以为第五信号通过第一信道传输至第二节点后的信号。

可选地，第一节点可以根据第六信号，获得第三信息。

示例性地，第三信息可以是根据第三中间数据和第三信道的信息确定的。

示例性地，结合图11中的步骤(y)，第二节点接收的第六信号可以包括

或

第二节点可以根据

和

获得第三信息

如此，基于信道互易性，利用信号在空口资源的传播特性，通过空中计算，获得第三信道的信息和第三中间数据，避免信道估计，可以降低导频开销。

在一些实施例中，第一节点或第二节点可以根据第一信息和第一中间数据，获得新的第一信道。

下面结合实例1-示例4对更新第一信道(获得新的第一信道)进行具体阐述。

示例1，更新第一信道的方式可以包括下述步骤1.1至步骤1.3。

步骤1.1，第一节点根据第一信息和第一中间数据，确定第一信道的参数的误差信息。

可选地，第一信道的参数的误差信息可以包括第一信道的参数的梯度或第一信道的参数的梯度的归一化值。

示例性地，第一信道的参数可以为第一信道的可控部分的参数φ。关于可控部分的参数φ的具体实现方式可参照上述对第一信道的参数的阐述，此处不再赘述。

可选地，第一节点可以根据第一信息和第一中间数据，确定第二信道的参数的误差信息。

结合图9或图10中的步骤(h)，第一节点可以根据第一信息

和第一中间数据

确定第二信道的参数φ的梯度为

其中，符号*是取共轭操作。

步骤1.2，第一节点根据第二信道的参数的误差信息，确定第二信道的参数的更新值。

结合图9或图10中的步骤(i)，第一节点可以采用第二信道的参数φ的梯度

更新第二信道的参数，第二信道的参数的更新值φ′_n可以表示为如下公式

或者，φ′_n可以表示为如下公式

其中，φ′_n表示第二信道的参数的更新值，φ_n表示第二信道的参数的当前值，例如，φ_n可以为上一次训练后获得的值。

步骤1.3，第一节点根据第二信道的参数的更新值，更新第二信道。

结合图9或图10中的步骤(j)，第一节点可以采用

更新第二信道的参数φ_n，以及β_n和ψ_n，从而获得新的第一信道。

可选地，第一节点可用于调整第二信道的参数。

示例性地，第一节点具有调整第二信道的参数的功能，例如，第一节点包括控制器，该控制器可用于调整可控部分的参数。

在一些实施例中，第一节点执行上述步骤1.1后，可以执行下述步骤2.1，以使第二节点更新第一信道。

示例2，更新第一信道的方式可以包括上述步骤1.1、以及下述步骤2.1至步骤2.3。可以先执行步骤1.1，再执行步骤2.1值至步骤2.3。

步骤2.1，第一节点向第二节点发送第二信道的参数的误差信息。相应地，第二节点接收来自第一节点的第二信道的参数的误差信息。

关于第二信道的参数的误差信息的具体实现方式可参照上述步骤1.1，此处不再赘述。

结合图9中的步骤(k)，第一节点向第二节点发送

可选地，第一节点通过第四信道向第二节点发送第二信道的参数的误差信息。相应地，第二节点通过第四信道接收来自第一节点的第二信道的参数的误差信息。

步骤2.2，第二节点根据第二信道的参数的误差信息，确定第二信道的参数的更新值。

需要说明的是，步骤2.2的实现方式与上述步骤1.2类似，主要区别为将第一节点替换为第二节点，此处不再赘述。

步骤2.3，第二节点根据第二信道的参数的更新值，更新第二信道。

结合图9中的步骤(l)，第二节点可以采用

更新第二信道的参数φ_n，以及β_n和ψ_n，从而获得新的第一信道。

示例性地，第二节点具有调整第二信道的参数的功能，例如，第二节点包括控制器，该控制器可用于执行调整可控部分的参数。

如此，当第一节点不具有调整第二信道的参数的功能，第二节点具有调整第二信道的参数的功能时，第一节点可以将第二信道的参数的误差信息发送给第二节点，以使第二节点更新第一信道。

在一些实施例中，第一节点执行上述步骤1.2后，可以执行下述步骤3.1，不执行步骤1.3，以使第二节点更新第二信道。

示例3，更新第二信道的方式可以包括上述步骤1.1至步骤1.2、以及下述步骤3.1至步骤3.2。

步骤3.1，第一节点向第二节点发送第二信道的参数的更新值。相应地，第二节点接收来自第一节点的第二信道的参数的更新值。

结合图9中的步骤(k)，第一节点可以向第二节点发送第二信道的参数的更新值

步骤3.2，第二节点根据第二信道的参数的更新值，更新第二信道。

需要说明的是，步骤3.2的实现方式可参照上述步骤2.3，此处不再赘述。

示例性地，第二节点具有调整第二信道的参数的功能，例如，第二节点包括控制器，该控制器可用于执行调整可控部分的参数。

如此，当第一节点不具有调整第二信道的参数的功能，第二节点具有调整第二信道的参数的功能时，第一节点可以将第二信道的参数的更新值发送给第二节点，以使第二节点更新第一信道。

示例4，更新第一信道的方式可以包括下述步骤4.1至步骤4.3。

步骤4.1，第二节点根据第二中间数据的误差信息、第三信道的信息和第一中间数据，确定第二信道的参数的误差信息。

示例性地，第二节点可以根据第三信息和第二中间数据的误差信息，更新第二信道。

可选地，第二信道的参数的误差信息可以包括第二信道的参数的梯度或第二信道的参数的梯度的归一化的值。

示例性地，第二信道的参数可以为第一信道的可控部分的参数φ。关于可控部分的参数φ的具体实现方式可参照上述对第一信道的参数的阐述，此处不再赘述。

可选地，第二节点可以根据第二中间数据的误差信息、第三信道的信息和第一中间数据，确定第二信道的参数的误差信息。

示例性地，第二节点可以根据第三信息和第二中间数据的误差信息，确定第二信道的参数的误差信息。

结合图11中的步骤(u)，第二节点根据第三信息

和第二中间数据的误差信息

确定第二信道的参数φ的梯度为

步骤4.2，第二节点根据第二信道的参数的误差信息，确定第二信道的参数的更新值。

结合图11中的步骤(v)，第二节点可以采用第二信道的参数φ的梯度

更新第二信道的参数，第二信道的参数的更新值φ′_n可以表示为如下公式

或者，φ′_n可以表示为如下公式φ′_n←φ_n-

步骤4.3，第二节点根据第二信道的参数的更新值，更新第二信道。

结合图11中的步骤(w)，第二节点可以采用

更新第二信道的参数φ_n，以及β_n和ψ_n，从而获得新的第一信道。

示例性地，第二节点具有调整第二信道的参数的功能，例如，第二节点包括控制器，该控制器可用于执行调整可控部分的参数。

需要说明的是，上述示例1-示例4所记载的更新第一信道的方式还可以适用于第一节点和第二节点均具有调整信道的参数的功能的情况。

在一种可能的设计方式中，本申请实施例提供的分布式学习方法，还可以包括：第一节点通过第一信道向第二节点发送第一信号。相应地，第二节点通过第一信道接收来自第一节点的第二信号。

示例性地，第二信号为第一信号通过第一信道传输至第二节点后的信号。

可选地，第一信号可用于确定第三信道的信息。

示例性地，第一信号可以为导频信号，第一节点可以发送导频，并设置可控部分的参数φ。

例如，结合图9中的步骤(m)，第一节点向第二节点发送导频，第一节点将φ₁至φ_N分别设置为[0，0，...，0]；将φ₁至φ_N分别设置为

即将φ₁至φ_N中的一个参数设置为1，其他设置为0。例如，n＝1，将φ₁至φ_N分别设置为

即设置φ₁＝1、φ₂至φ_N均为0。

可选地，第二节点可以根据第二信号，获得第一信道的信息。

如此，第二节点可以进行信道估计，得到信道信息，可以更新信道或第一数据模型，提高分布式学习的性能。

示例性地，结合图9中的步骤(n)，假设第一节点将φ₁至φ_N分别设置为[0，0，...，0]，并向第二节点发送导频信号，基于信道的表达式

第二节点可以得到第一信道(例如，第三信道)的信息h。

第一节点将φ₁至φ_N分别设置为

即将φ₁至φ_N中的一个参数设置为1，其他设置为0，基于信道的表达式

第二节点可以得到第一信道(例如，第三信道)的信息为h+g_2，n×g_1，n。例如，n＝1，将φ₁至φ_N分别设置为

即φ₁＝1，φ₂至φ_N均为0，可以得到第一信道(例如，第三信道)的信息h+g_2，1×g_1，1。

基于得到的第一信道(例如，第三信道)的信息h和第一信道(例如，第三信道)的信息h+g_2，n×g_1，n，第二节点可以获得第一信道(例如，第三信道)的信息g_2，n×g_1，n。

示例性地，图9中的步骤(j)和图7，第一节点将φ₁至φ_N分别设置为上一次训练后获得的值，第二节点可以获得第一信道的信息

需要说明的是，上述N的取值可以等于实际的可控单元的数量，如分布式天线的数量或者智能反射面的阵子的数量。或者，N的取值可以小于实际的可控单元的数量。例如，对于超大规模天线或者智能反射面阵子，可以将多个可控单元作为一组进行控制，以降低开销。

需要说明的是，本申请实施例不限定步骤(m)至步骤(n)与第二节点向第一节点发送第一信息的先后顺序。例如，步骤(m)至步骤(n)可以在第二节点向第一节点发送第一信息之前执行，即第二节点可以在估计得到第一信道(如第三信道)的信息后，向第一节点发送第一信息，以更新第一信道。

S1203，第一节点根据第一中间数据的误差信息对第一数据模型进行更新，获得新的第一数据模型。

在一些实施例中，上述S1203，可以包括下述步骤三至步骤五。

步骤三，第一节点根据第一中间数据的误差信息，获得第一数据模型的参数的误差信息。

结合图9-图11中的步骤(o)，第一节点可以根据第一中间数据的误差信息

获得第一数据模型的参数θ₁的梯度为

步骤四，第一节点根据第一数据模型的参数的误差信息，获得第一数据模型的参数的更新值。

结合图9-图11中的步骤(o)，第一节点可以根据第一数据模型的参数的误差信息

获得第一数据模型的参数θ₁的更新值为

步骤五，第一节点根据第一数据模型的参数的更新值，更新第一数据模型。

结合图9-图11中的步骤(o)，第一节点可以采用θ₁′更新第一数据模型。例如，将第一数据模型的参数的值置为

在一种可能的设计方式中，本申请实施例提供的分布式学习方法，还可以包括：图12中的(a)所示的S1207，第二节点向第一节点发送第二信息。相应地，第一节点接收第二节点发送的第二信息。

可选地，第二信息可用于获取第一中间数据的误差信息。

在一些实施例中，第二信息可以包括第一中间数据的误差信息。例如，第二信息可以包括第一中间数据的误差信息

示例性地，结合图9中的步骤(p)，第二节点向第一节点发送第一中间数据的误差信息

可选地，第二节点可以通过第四信道向第一节点发送第二信息。相应地，第一节点通过第四信道接收第二节点发送的第二信息。也就是说，第二节点可以通过控制信道向第一节点发送第二信息。

在一些实施例中，在第二节点向第一节点发送第二信息之前，本申请实施例提供的分布式学习方法，还可以包括：第二节点可以根据第二中间数据的误差信息和第一信道的信息，获得第一中间数据的误差信息。

示例性地，结合图9中的步骤(q)，第二节点根据第二中间数据的误差信息

和第一信道的信息

确定第一中间数据的误差信息为

其中，

是第一信道的函数，对于线性复数信道：

符号*是取共轭操作。

也就是说，第二节点可以在获得第一中间数据的误差信息后，向第一节点发送包括第一中间数据的误差信息的第二信息，从而第一节点可以更新第一数据模型，提高分布式学习的性能。

在另一些实施例中，第二信息可以包括第二中间数据的误差信息和第一信道的信息，第二中间数据的误差信息和第一信道的信息可用于确定第一中间数据的误差信息。

也就是说，第二节点可以向第一节点发送第二中间数据的误差信息和第一信道的信息。相应地，第一节点接收第二节点发送的第二中间数据的误差信息和第一信道的信息。

在一种可能的设计方式中，本申请实施例提供的分布式学习方法，还可以包括：图12中的(b)或图12中的(c)所示的S1207，第二节点向第一节点发送第七信号。相应地，第一节点接收来自第二节点的第八信号，根据第八信号获得第一中间数据的误差信息。

可选地，第八信号为第七信号经过第一信道传输至第一节点后的信号，第七信号可以包括第二中间数据的误差信息映射到空口资源上生成的信号。

例如，第二节点可以发送第二中间数据的误差信息，并设置可控部分的参数。

示例性地，第二节点可以根据维度匹配，将第二中间数据的误差信息

形成调制符号并调制成波形发送，并调整可控部分的参数φ，实现节点1接收不同的空中计算结果。例如，结合图10-图11中的步骤(p)，第二节点发送第二中间数据的误差信息

的共轭

并将φ₁至φ_N分别设置为上一次训练后获得的值，第一节点可获得第二信息

第一节点获得第一中间数据的误差信息满足如下公式

这等价于

如此，通过信号在空中的传播过程，实现第一节点的神经网络中间层的梯度的空中计算，可以降低导频开销。

可选地，本申请实施例提供的通分布式学习方法，还可以包括：对第一数据模型的参数的误差信息、信道的参数的误差信息、第二数据模型的参数的误差信息进行归一化、限幅、稀疏化、和/或功率控制等处理，以降低发送波形的峰均比、提升信噪比等。

需要说明的是，本申请实施例不限定上述S1201-S1208之间的先后顺序，以能够实现反向训练为准。

使用上述分布式学习方法，对第一节点与第二节点之间的信道进行训练，将该信道作为数据模型的中间层(例如残差层)，对第一数据模型、信道和第二数据模型进行训练、参与推理，可以提高分布式学习的性能。此外，将无线传输直接为分布式学习服务，可以降低处理复杂度，从而可节省资源。

以上结合图8-图12详细说明了本申请实施例提供的分布式学习方法。以下结合图13-图14详细说明本申请实施例提供的分布式学习装置。

图13为可用于执行本申请实施例提供的分布式学习方法的一种分布式学习装置的结构示意图。分布式学习装置1300可以是第一节点或第二节点，也可以是应用于第一节点或第二节点中的芯片或者其他具有相应功能的部件。如图13所示，分布式学习装置1300可以包括处理器1301和收发器1303。还可以包括存储器1302。其中，处理器1301与存储器1302和收发器1303耦合，如可以通过通信总线连接，处理器1301也可以单独使用。

下面结合图13对分布式学习装置1300的各个构成部件进行具体的介绍：

处理器1301是分布式学习装置1300的控制中心，可以是一个处理器，也可以是多个处理元件的统称。

其中，处理器1301可以通过运行或执行存储在存储器1302内的软件程序，以及调用存储在存储器1302内的数据，执行分布式学习装置1300的各种功能。

在具体的实现中，作为一种实施例，处理器1301可以包括一个或多个CPU，例如图13中所示的CPU0和CPU1。

在具体实现中，作为一种实施例，分布式学习装置1300也可以包括多个处理器，例如图13中所示的处理器1301和处理器1304。这些处理器中的每一个可以是一个单核处理器(single-CPU)，也可以是一个多核处理器(multi-CPU)。这里的处理器可以指一个或多个通信设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。

存储器1302可以和处理器1301集成在一起，也可以独立存在，并通过分布式学习装置1300的输入/输出端口(图13中未示出)与处理器1301耦合，本申请实施例对此不作具体限定。

示例性地，输入端口可用于实现上述任一方法实施例中由第一节点或第二节点执行的接收功能，输出端口可用于实现上述任一方法实施例中由第一节点或第二节点执行的发送功能。

其中，所述存储器1302用于存储执行本申请方案的软件程序，并由处理器1301来控制执行。上述具体实现方式可以参考下述方法实施例，此处不再赘述。

收发器1303，用于与其他装置之间的通信。例如，分布式学习装置1300为第一节点时，收发器1303可以用于与第二节点通信。又例如，分布式学习装置1300为第二节点时，收发器1303可以用于与第一节点通信。此外，收发器1303可以包括接收器和发送器(图13中未单独示出)。其中，接收器用于实现接收功能，发送器用于实现发送功能。收发器1303可以和处理器1301集成在一起，也可以独立存在，并通过分布式学习装置1300的输入/输出端口(图13中未示出)与处理器1301耦合，本申请实施例对此不作具体限定。

需要说明的是，图13中示出的分布式学习装置1300的结构并不构成对该分布式学习装置的限定，实际的分布式学习装置可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

其中，上述步骤S801、S802、S1202a、S1203和S1206中第一节点的动作可以由图13所示的分布式学习装置1300中的处理器1301调用存储器1302中存储的应用程序代码以指令第一节点执行。

上述步骤S803、S1201、S1202b、S1204、S1205、S1207和S1208中第二节点的动作可以由图13所示的分布式学习装置1300中的处理器1301调用存储器1302中存储的应用程序代码以指令第二节点执行，本实施例对此不作任何限制。

图14为本申请实施例提供的另一种分布式学习装置的结构示意图。为了便于说明，图14仅示出了该分布式学习装置的主要部件。

该分布式学习装置1400包收发模块1401、和处理模块1402。该分布式学习装置1400可以是前述方法实施例中的第一节点或第二节点。收发模块1401，也可以称为收发单元，用以实现上述任一方法实施例中由第一节点、或第二节点执行的收发功能。

需要说明的是，收发模块1401可以包括接收模块和发送模块(图14中未示出)。其中，接收模块用于接收来自第一节点的数据和/或信令；发送模块用于向第一节点发送数据和/或信令。本申请对于收发模块的具体实现方式，不做具体限定。该收发模块可以由收发电路，收发机，收发器或者通信接口构成。

处理模块1402，可以用于实现上述任一方法实施例中由第一节点或第二节点执行的处理功能。该处理模块1402可以为处理器。

在本实施例中，该分布式学习装置1400以采用集成的方式划分各个功能模块的形式来呈现。这里的“模块”可以指特定ASIC，电路，执行一个或多个软件或固件程序的处理器和存储器，集成逻辑电路，和/或其他可以提供上述功能的器件。在一个实施例中，本领域的技术人员可以想到该分布式学习装置1400可以采用图13所示的分布式学习装置1300的形式。

比如，图13所示的分布式学习装置1300中的处理器1301可以通过调用存储器1302中存储的计算机执行指令，使得上述方法实施例中的分布式学习方法被执行。

具体的，图14中的收发模块1401和处理模块1402的功能/实现过程可以通过图13所示的分布式学习装置1300中的处理器1301调用存储器1302中存储的计算机执行指令来实现。或者，图14中的处理模块1402的功能/实现过程可以通过图13所示的分布式学习装置1300中的处理器1301调用存储器1302中存储的计算机执行指令来实现，图14中的接收模块1401和发送模块1402的功能/实现过程可以通过图13中所示的分布式学习装置1300中的收发器1303来实现。

由于本实施例提供的分布式学习装置1400可执行上述分布式学习方法，因此其所能获得的技术效果可参考上述方法实施例，在此不再赘述。

在一种可能的设计方案中，图14所示出的分布式学习装置1400可适用于图1所示出的通信系统中，执行图8和/或图12所示的分布式学习方法中的第一节点的功能。

处理模块1402，用于采用第一数据模型对第一数据进行处理，获得第一中间数据。

收发模块1401，用于通过第一信道向第二节点发送第一中间数据；其中，第一信道是根据第二中间数据的误差信息、第一信道的信息和第一中间数据更新的，第二中间数据为第一中间数据通过第一信道传输至第二节点的结果，第一信道为分布式学习装置与第二节点之间的信道。

可选的，分布式学习装置1400还可以包括存储模块(图14中未示出)，该存储模块存储有程序或指令。当处理模块1402执行该程序或指令时，使得分布式学习装置1400可以执行图3所示的分布式学习方法中的第一节点的功能。

需要说明的是，分布式学习装置1400可以是第一节点，也可以是可设置于第一节点的芯片(系统)或其他部件或组件，本申请对此不做限定。

此外，分布式学习装置1400的技术效果可以参考图8和图12所示的分布式学习方法的技术效果，此处不再赘述。

在另一种可能的设计方案中，图14所示出的分布式学习装置1400可适用于图1所示出的通信系统中，执行图8和/或图12所示的分布式学习方法中第二节点的功能。

收发模块1401，用于通过第一信道接收第二中间数据；其中，第二中间数据为第一节点发送的第一中间数据通过第一信道传输至分布式学习装置的结果，第一信道是根据第二中间数据的误差信息、第一信道的信息和第一中间数据更新的,第一信道为第一节点与分布式学习装置之间的信道。

处理模块1402，用于采用第二数据模型对第二中间数据进行处理，获得输出数据。

可选的，分布式学习装置1400还可以包括存储模块(图14中未示出)，该存储模块存储有程序或指令。当处理模块1402执行该程序或指令时，使得分布式学习装置1400可以执行图8和图12所示的分布式学习方法中第二节点的功能。

需要说明的是，分布式学习装置1400可以是第二节点，也可以是可设置于第二节点的芯片(系统)或其他部件或组件，本申请对此不做限定。

此外，分布式学习装置1400的技术效果可以参考图8和图12所示的分布式学习方法的技术效果，此处不再赘述。

本申请实施例提供一种通信系统。该通信系统包括：第一节点和第二节点。

其中，第一节点用于执行上述方法实施例中第一节点的动作，具体执行方法和过程可参照上述方法实施例，此处不再赘述。

第二节点用于执行上述方法实施例中第二节点的动作，具体执行方法和过程可参照上述方法实施例，此处不再赘述。

本申请实施例提供一种芯片系统，该芯片系统包括处理器和输入/输出端口。其中，处理器可用于实现本申请实施例提供的分布式学习方法所涉及的处理功能，输入/输出端口可用于本申请实施例提供的分布式学习方法所涉及的收发功能。

示例性地，输入端口可用于实现本申请实施例提供的分布式学习方法所涉及的接收功能，输出端口可用于实现本申请实施例提供的分布式学习方法所涉及的发送功能。

在一种可能的设计中，该芯片系统还包括存储器，该存储器用于存储实现本申请实施例提供的分布式学习方法所涉及功能的程序指令和数据。

该芯片系统，可以由芯片构成，也可以包含芯片和其他分立器件。

本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质包括计算机程序或指令，当计算机程序或指令在计算机上运行时，使得本申请实施例提供的分布式学习方法被执行。

本申请实施例提供一种计算机程序产品，该计算机程序产品包括：计算机程序或指令，当计算机程序或指令在计算机上运行时，使得本申请实施例提供的分布式学习方法被执行。

应理解，在本申请实施例中的处理器可以是中央处理单元(central processingunit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital signalprocessor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

还应理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器(random accessmemory，RAM)可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic random access memory，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，DRRAM)。

上述实施例，可以全部或部分地通过软件、硬件(如电路)、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质。半导体介质可以是固态硬盘。

应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A,B可以是单数或者复数。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系，但也可能表示的是一种“和/或”的关系，具体可参考前后文进行理解。

本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a,b,或c中的至少一项(个)，可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。

应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者第二节点等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (35)

1.一种分布式学习方法，其特征在于，应用于第一节点，所述第一节点包括第一数据模型，所述方法包括：

采用所述第一数据模型对第一数据进行处理，获得第一中间数据；

通过第一信道向第二节点发送所述第一中间数据；其中，所述第一信道是根据第二中间数据的误差信息、所述第一信道的信息和所述第一中间数据更新的，所述第二中间数据为所述第一中间数据通过所述第一信道传输至所述第二节点的结果，所述第一信道为所述第一节点与所述第二节点之间的信道。

2.根据权利要求1所述的分布式学习方法，其特征在于，所述第一信道包括第二信道和第三信道，所述方法还包括：

根据所述第二中间数据的误差信息、所述第三信道的信息和所述第一中间数据更新所述第二信道。

3.根据权利要求2所述的分布式学习方法，其特征在于，所述根据所述第二中间数据的误差信息、所述第三信道的信息和所述第一中间数据更新所述第二信道，包括：

接收所述第二节点发送的第一信息；其中，所述第一信息是根据所述第二中间数据的误差信息和所述第三信道的信息确定的；

根据所述第一信息和所述第一中间数据更新所述第二信道。

4.根据权利要求2所述的分布式学习方法，其特征在于，所述根据所述第二中间数据的误差信息、所述第三信道的信息和所述第一中间数据更新所述第二信道，包括：

通过所述第一信道接收来自所述第二节点的第三信号；其中，所述第三信号为第四信号经过所述第一信道传输至所述第一节点后的信号，所述第四信号包括所述第二中间数据的误差信息映射到空口资源上生成的信号；

根据所述第三信号，获得第一信息；其中，所述第一信息是根据所述第二中间数据的误差信息和所述第三信道的信息确定的；

根据所述第一信息和所述第一中间数据更新所述第二信道。

5.根据权利要求1-4中任一项所述的分布式学习方法，其特征在于，所述方法还包括：

通过所述第一信道向所述第二节点发送所述第五信号；其中，所述第五信号包括第三中间数据映射到空口资源上生成的信号，所述第三中间数据用于更新所述第一信道。

6.根据权利要求1-5中任一项所述的分布式学习方法，其特征在于，所述方法还包括：

根据所述第一中间数据的误差信息对所述第一数据模型进行更新，获得新的第一数据模型。

7.根据权利要求6所述的分布式学习方法，其特征在于，所述方法还包括：

接收所述第二节点发送的第二信息；其中，所述第二信息用于获取所述第一中间数据的误差信息。

8.根据权利要求7所述的分布式学习方法，其特征在于，所述第二信息包括所述第一中间数据的误差信息；或者，

所述第二信息包括所述第二中间数据的误差信息和所述第一信道的信息，所述第二中间数据的误差信息和所述第一信道的信息用于确定所述第一中间数据的误差信息。

9.一种分布式学习方法，其特征在于，应用于第二节点，所述第二节点包括第二数据模型，所述方法包括：

通过第一信道接收第二中间数据；其中，所述第二中间数据为第一节点发送的第一中间数据通过所述第一信道传输至所述第二节点的结果，所述第一信道是根据所述第二中间数据的误差信息、所述第一信道的信息和所述第一中间数据更新的,所述第一信道为所述第一节点与所述第二节点之间的信道；

采用所述第二数据模型对所述第二中间数据进行处理，获得输出数据。

10.根据权利要求9所述的方法，其特征在于，所述第一信道包括第二信道和第三信道，所述方法还包括：

向所述第一节点发送所述第二中间数据的误差信息和所述第三信道的信息。

11.根据权利要求10所述的分布式学习方法，其特征在于，所述向所述第一节点发送所述第二中间数据的误差信息和所述第三信道的信息，包括：

向所述第一节点发送第一信息；其中，所述第一信息是根据所述第二中间数据的误差信息和所述第三信道的信息确定的。

12.根据权利要求10所述的分布式学习方法，其特征在于，所述向所述第一节点发送所述第二中间数据的误差信息和所述第三信道的信息，包括：

通过所述第一信道向所述第一节点发送第四信号；其中，所述第四信号包括所述第二中间数据的误差信息映射到空口资源上生成的信号。

13.根据权利要求9-12中任一项所述的分布式学习方法，其特征在于，所述方法还包括：

通过所述第一信道接收来自所述第一节点的第六信号；其中，所述第六信号为第五信号通过所述第一信道传输至所述第二节点后的信号，所述第五信号包括所述第三中间数据映射到空口资源上生成的信号，所述第三中间数据用于更新所述第一信道；

根据所述第六信号，获得第三信息；其中，所述第三信息是根据所述第三中间数据和所述第三信道的信息确定的；

根据所述第三信息和所述第二中间数据的误差信息，更新所述第二信道。

14.根据权利要求9-13中任一项所述的分布式学习方法，其特征在于，所述方法还包括：

向所述第一节点发送第二信息；其中，所述第二信息用于获取所述第一中间数据的误差信息。

15.根据权利要求14所述的分布式学习方法，其特征在于，所述第二信息包括所述第一中间数据的误差信息；或者，

所述第二信息包括所述第二中间数据的误差信息和所述第一信道的信息，所述第二中间数据的误差信息和所述第一信道的信息用于确定所述第一中间数据的误差信息。

16.根据权利要求9-15中任一项所述的分布式学习方法，其特征在于，所述方法还包括：

根据所述输出数据对所述第二数据模型进行更新，获得新的第二数据模型。

17.一种分布式学习装置，其特征在于，所述分布式学习装置包括第一数据模型，所述装置包括：处理模块和收发模块；其中，

所述处理模块，用于采用所述第一数据模型对第一数据进行处理，获得第一中间数据；

所述收发模块，用于通过第一信道向第二节点发送所述第一中间数据；其中，所述第一信道是根据第二中间数据的误差信息、所述第一信道的信息和所述第一中间数据更新的，所述第二中间数据为所述第一中间数据通过所述第一信道传输至所述第二节点的结果，所述第一信道为所述分布式学习装置与所述第二节点之间的信道。

18.根据权利要求17所述的分布式学习装置，其特征在于，

所述处理模块，还用于根据所述第二中间数据的误差信息、所述第三信道的信息和所述第一中间数据更新所述第二信道。

19.根据权利要求18所述的分布式学习装置，其特征在于，

所述收发模块，还用于接收所述第二节点发送的第一信息；其中，所述第一信息是根据所述第二中间数据的误差信息和所述第三信道的信息确定的；

所述处理模块，还用于根据所述第一信息和所述第一中间数据更新所述第二信道。

20.根据权利要求18所述的分布式学习装置，其特征在于，

所述收发模块，还用于通过所述第一信道接收来自所述第二节点的第三信号；其中，所述第三信号为第四信号经过所述第一信道传输至所述分布式学习装置后的信号，所述第四信号包括所述第二中间数据的误差信息映射到空口资源上生成的信号；

所述处理模块，还用于根据所述第三信号，获得第一信息；其中，所述第一信息是根据所述第二中间数据的误差信息和所述第三信道的信息确定的；

所述处理模块，还用于根据所述第一信息和所述第一中间数据更新所述第二信道。

21.根据权利要求17-20中任一项所述的分布式学习装置，其特征在于，

所述收发模块，还用于通过所述第一信道向所述第二节点发送所述第五信号；其中，所述第五信号包括第三中间数据映射到空口资源上生成的信号，所述第三中间数据用于更新所述第一信道。

22.根据权利要求17-21中任一项所述的分布式学习装置，其特征在于，

所述处理模块，还用于根据所述第一中间数据的误差信息对所述第一数据模型进行更新，获得新的第一数据模型。

23.根据权利要求22所述的分布式学习装置，其特征在于，

所述收发模块，还用于接收所述第二节点发送的第二信息；其中，所述第二信息用于获取所述第一中间数据的误差信息。

24.根据权利要求23所述的分布式学习装置，其特征在于，所述第二信息包括所述第一中间数据的误差信息；或者，

所述第二信息包括所述第二中间数据的误差信息和所述第一信道的信息，所述第二中间数据的误差信息和所述第一信道的信息用于确定所述第一中间数据的误差信息。

25.一种分布式学习装置，其特征在于，所述分布式学习装置包括第二数据模型，所述装置包括：处理模块和收发模块；其中，

所述收发模块，用于通过第一信道接收第二中间数据；其中，所述第二中间数据为第一节点发送的第一中间数据通过所述第一信道传输至所述分布式学习装置的结果，所述第一信道是根据所述第二中间数据的误差信息、所述第一信道的信息和所述第一中间数据更新的,所述第一信道为所述第一节点与所述分布式学习装置之间的信道；

所述处理模块，用于采用所述第二数据模型对所述第二中间数据进行处理，获得输出数据。

26.根据权利要求25所述的装置，其特征在于，所述第一信道包括第二信道和第三信道；所述收发模块，还用于向所述第一节点发送所述第二中间数据的误差信息和所述第三信道的信息。

27.根据权利要求26所述的分布式学习装置，其特征在于，

所述收发模块，还用于向所述第一节点发送第一信息；其中，所述第一信息是根据所述第二中间数据的误差信息和所述第三信道的信息确定的。

28.根据权利要求26所述的分布式学习装置，其特征在于，

所述收发模块，还用于通过所述第一信道向所述第一节点发送第四信号；其中，所述第四信号包括所述第二中间数据的误差信息映射到空口资源上生成的信号。

29.根据权利要求25-28中任一项所述的分布式学习装置，其特征在于，

所述收发模块，还用于通过所述第一信道接收来自所述第一节点的第六信号；其中，所述第六信号为第五信号通过所述第一信道传输至所述分布式学习装置后的信号，所述第五信号包括所述第三中间数据映射到空口资源上生成的信号，所述第三中间数据用于更新所述第一信道；

所述处理模块，还用于根据所述第六信号，获得第三信息；其中，所述第三信息是根据所述第三中间数据和所述第三信道的信息确定的；

所述处理模块，还用于根据所述第三信息和所述第二中间数据的误差信息，更新所述第二信道。

30.根据权利要求25-29中任一项所述的分布式学习装置，其特征在于，

所述收发模块，还用于向所述第一节点发送第二信息；其中，所述第二信息用于获取所述第一中间数据的误差信息。

31.根据权利要求30所述的分布式学习装置，其特征在于，所述第二信息包括所述第一中间数据的误差信息；或者，

所述第二信息包括所述第二中间数据的误差信息和所述第一信道的信息，所述第二中间数据的误差信息和所述第一信道的信息用于确定所述第一中间数据的误差信息。

32.根据权利要求25-31中任一项所述的分布式学习装置，其特征在于，

所述处理模块，还用于根据所述输出数据对所述第二数据模型进行更新，获得新的第二数据模型。

33.一种分布式学习装置，其特征在于，所述分布式学习装置包括：处理器，所述处理器与存储器耦合；

所述存储器，用于存储计算机程序；

所述处理器，用于执行所述存储器中存储的所述计算机程序，以使得所述分布式学习装置执行如权利要求1-16中任一项所述的分布式学习方法。

34.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括计算机程序或指令，当所述计算机程序或指令在计算机上运行时，使得权利要求1-16中任一项所述的方法被执行。

35.一种计算机程序产品，其特征在于，所述计算机程序产品包括：计算机程序或指令，当所述计算机程序或指令在计算机上运行时，使得权利要求1-16中任一项所述的方法被执行。

Images