CN116965116A - 使用神经网络将蜂窝通信与传感器数据相结合的设备 - Google Patents

Abstract

一种方法包括接收信息块(128)作为到发射器神经网络(120)的输入，从一个或多个传感器接收传感器数据(130)作为到发射器神经网络的输入，在发射器神经网络处处理信息块和传感器数据以生成输出(132)，并且基于输出来控制RF收发器(118)以生成RF信号(134)用于无线传输。另一种方法包括从RF收发器(124)接收第一输出(136)作为到接收器神经网络(126)的第一输入，从一个或多个传感器接收一组传感器数据(138)作为到接收器神经网络的第二输入，在接收器神经网络处处理第一输入和第二输入以生成输出，并且处理输出以生成表示由数据发送设备传送的信息的信息块(140)。

Description

使用神经网络将蜂窝通信与传感器数据相结合的设备

发明背景

蜂窝网络中基站(BS)和用户设备(UE)之间的射频(RF)信令越来越依赖于极高频率载波频带(例如，6、60、100吉赫(GHz)或更高)的使用。在这样的频率下，RF信号特别容易受到由例如多径衰落、大气吸收、身体吸收、衍射或干扰引起的传输误差的影响。因此，在这些频率下有效RF信令的能力至少部分取决于UE和BS之间的传播路径是视距(LOS)或非视距(NLOS)的程度。UE和BS之间的传播路径的该LOS/NLOS方面可以帮助确定极高频信令的可接受衰减的情况。

发明内容

一个或多个计算机的系统能够被配置成凭借安装在系统上的软件、固件、硬件或它们的组合来执行特定的操作或动作，这些软件、固件、硬件或它们的组合在操作中引起或导致系统执行动作。一个或多个计算机程序能够被配置成凭借包括指令来执行特定的操作或动作，所述指令在由数据处理装置执行时使该装置执行动作。一个一般方面包括一种计算机实现的方法。该计算机实现的方法还包括接收第一信息块作为到数据发送设备的发射器神经网络的输入；接从数据发送设备的第一组一个或多个传感器接收第一组传感器数据作为到发射器神经网络的输入；在发射器神经网络处处理第一信息块和第一组传感器数据以生成第一输出；以及基于第一输出来控制数据发送设备的射频(RF)收发器以生成用于无线传输到数据接收设备的第一RF信号。该方面的其他实施例包括对应的计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序，每个被配置成执行所述方法的动作。

实施方式可以包括以下特征中的一项或多项。方法可以包括：基于数据发送设备的传感器能力来识别要由数据发送设备实现的神经网络架构配置；以及实现发射器神经网络的神经网络架构配置。方法可以包括：参与发射器神经网络的神经网络架构配置与数据接收设备的接收器神经网络的神经网络架构配置的联合训练。方法可以包括：从数据接收设备接收传感器配置的表示，该传感器配置从数据发送设备的多个传感器中识别第一组一个或多个传感器；基于传感器配置来选择性地激活第一组一个或多个传感器。方法可以包括：从数据接收设备接收要由在许可频谱中操作的第一组一个或多个传感器中的传感器利用的时间资源或频率资源的表示。方法可以包括：向数据接收设备发射要由在许可频谱中操作的数据接收设备的传感器利用的时间资源或频率资源的表示。方法可以包括：确定第一组一个或多个传感器中的至少一个传感器不可用；基于排除至少一个传感器不可用的的数据发送设备的传感器能力，在数据发送设备的发射器神经网络处实现神经网络架构配置；接收第二信息块作为数据发送设备的发射器神经网络的输入；从数据发送设备的第一组一个或多个传感器接收第二组传感器数据作为到发射器神经网络的输入；在发射器神经网络处处理第二信息块和第二组传感器数据以生成第二输出；以及基于第二输出来控制数据发送设备的RF收发器以生成用于无线传输到数据接收设备的第二RF信号。方法可以包括：将至少一个传感器不可用的指示从数据发送设备发射到数据接收设备。基于第一输出来控制数据发送设备的RF收发器可以包括基于第一输出来控制数据接收设备的调度决策或切换决策中的至少一个。基于第一输出来控制数据发送设备的RF收发器可以包括基于第一输出来控制RF收发器的波束管理操作。数据发送设备的发射器神经网络包括深度神经网络。第一组一个或多个传感器包括以下至少一个：对象检测传感器、定位传感器、图像传感器、温度传感器、定向传感器、用户界面传感器和姿势传感器。用户界面传感器可以包括触摸传感器、音频传感器和光传感器中的至少一个。数据发送设备可以包括蜂窝网络的基站(bs)并且数据接收设备可以包括蜂窝网络的用户设备(UE)。数据发送设备可以包括：多个传感器，其包括第一组一个或多个传感器；射频收发器；至少一个处理器，其耦合到射频收发器和多个传感器；以及存储指令集的非暂时性计算机可读介质，该指令集被配置成操纵至少一个处理器以执行根据任一前述权利要求所述的方法。方法可以包括：参与接收器神经网络的神经网络架构配置与数据发送设备的发射器神经网络的神经网络架构配置的联合训练。该方法可以包括：从数据发送设备接收传感器配置的表示，该传感器配置从数据接收设备的多个传感器中识别第一组一个或多个传感器；以及基于传感器配置来选择性地激活第一组一个或多个传感器。该方法可以包括：从数据发送设备接收要由在许可频谱中操作的第一组一个或多个传感器中的传感器利用的时间资源或频率资源的表示。方法可以包括：向数据发送设备发射要由在许可频谱中操作的数据发送设备的传感器利用的时间资源或频率资源的表示。方法可以包括：确定第一组一个或多个传感器中的至少一个传感器不可用；基于排除至少一个传感器不可用的的数据接收设备的传感器能力，在数据接收设备的接收器神经网络处实现神经网络架构配置；从数据接收设备的RF收发器接收第二输出作为到接收器神经网络的第三输入；从数据接收设备的第一组一个或多个传感器接收第二组传感器数据，作为到接收器神经网络的第四输入；在接收器神经网络处处理第三输入和第四输入以生成第三输出；以及在数据接收设备处处理第三输出以生成表示由数据发送设备传送的信息的第二信息块。方法可以包括：从数据接收设备向数据发送设备发射至少一个传感器不可用的指示。数据接收设备的接收器神经网络包括深度神经网络。第一组一个或多个传感器包括以下至少一个：对象检测传感器、定位传感器、图像传感器、用户界面传感器和姿势传感器。用户界面传感器可以包括触摸传感器、音频传感器和光传感器中的至少一个。数据发送设备可以包括蜂窝网络的基站(bs)并且数据接收设备可以包括蜂窝网络的用户设备(UE)。数据发送设备可以包括蜂窝网络的用户设备(UE)并且数据接收设备可以包括蜂窝网络的基站(bs)。数据发送设备可以包括蜂窝网络的用户设备(UE)并且数据接收设备可以包括蜂窝网络的基站(bs)。方法可以包括：向数据接收设备发送数据发送设备的传感器能力的指示；从数据接收设备接收基于数据发送设备的传感器能力的神经网络架构配置的表示；以及实现发射器神经网络的神经网络架构配置。方法可以包括：从数据接收设备接收数据接收设备的传感器能力的表示；基于数据接收设备的传感器能力来确定要由数据接收设备的接收器神经网络实现的神经网络架构配置；以及将神经网络架构配置的表示发射到数据接收设备。所描述的技术的实施方式可以包括硬件、方法或过程、或者在计算机可访问介质上的计算机软件。

一个一般方面包括一种计算机实现的方法。该计算机实现的方法还包括从数据接收设备的射频(RF)收发器接收第一输出作为到数据接收设备的接收器神经网络的第一输入；从数据接收设备的第一组一个或多个传感器接收第一组传感器数据，作为到接收器神经网络的第二输入；在接收器神经网络处处理第一输入和第二输入以生成第二输出；在数据接收设备处处理第二输出以生成表示由数据发送设备传送的信息的第一信息块。该方面的其他实施例包括对应的计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序，每个被配置为执行所述方法的动作。

附图说明

通过参考附图，本公开可以被更好地理解，并且其众多特征和优点对于本领域技术人员来说变得显而易见。在不同附图中使用相同的附图标记表示相似或相同的项目。

图1是示出根据一些实施例的采用基于神经网络的传感器和收发器融合方案的示例无线系统的图。

图2是示出根据一些实施例的实现基于神经网络的发射和接收处理路径的BS和UE的示例配置的图。

图3是示出根据一些实施例的采用用于在基于神经网络的传感器和收发器融合方案中使用的神经网络的机器学习模块的图。

图4是示出根据一些实施例的BS和UE的神经网络管理器的示例实施方式的图。

图5是示出根据一些实施例的用于联合训练基站和UE的神经网络的示例方法的流程图。

图6是示出根据一些实施例的用于使用提供传感器和收发器融合的联合训练的神经网络在BS与UE之间进行无线通信的示例方法的流程图。

图7是示出根据一些实施例的用于选择和配置提供传感器和收发器融合的联合训练的神经网络的示例方法的流程图。

图8是示出根据一些实施例的图7的方法的示例操作的图。

图9是示出根据一些实施例的如图8的示例中所描绘配置的BS与UE之间的示例基于传感器和收发器融合的无线通信过程的图。

具体实施方式

传统的无线通信系统采用具有复杂功能性的发射器和接收器处理路径。通常，处理路径中的每个处理块是彼此相对分离地设计、测试和实现的。后来，块的处理路径被整合并进一步进行测试和调整。如本文所述，通过使用神经网络(通常也称为人工神经网络)来代替处理路径的各个块的一些或全部，能够避免发射处理路径或接收处理路径的许多设计、测试和实施努力。在此方法中，基站和一个或多个无线连接的UE的发射处理路径和接收处理路径上的神经网络能够被联合训练以提供与对应路径中的一个或多个常规单独处理块类似的功能性。此外，这些神经网络能够在操作期间被动态地重新配置，例如通过修改系数、层大小和连接、内核大小和其他参数配置以适应不断改变的操作条件。

这种基于神经网络的方法特别适合使用高度依赖于RF信号传播环境的射频(RF)信号进行通信的两个设备的发射和接收过程路径，诸如在采用毫米波(mmWave)和太赫兹(THz)射频信号协议的蜂窝网络中。在这样的实施方式中，RF信号传播环境能够包括吸收、散射或以其他方式干扰相关频率处的RF信令的对象的存在、移动或缺失、发射设备的天线阵列相对于对象和接收设备的定向、通信设备之间的距离、存在其他RF干扰源等。由于许多RF信号传播环境可以在由传感器生成的数据中以某种形式被检测或表示，因此系统可以处理来自某些传感器的传感器数据集以识别RF信号传播环境的相关参数，并且然后采用其他过程配置设备的RF前端以调整RF前端的一个或多个方面以考虑RF信号传播环境。例如，常规系统可以采用其中第一设备使用合适的测距算法来确定第二设备的相对距离和相对位置的波束成形过程，并且然后配置天线阵列在特定波束方向上和以由合适的波束管理算法决定的特定功率来发射RF信令。然而，这种波束管理方法的设计、测试和实现都很复杂，并且通常不容易适应新类别的操作环境。

如以下参考图1至9所示，联合训练的神经网络用于将来自设备的可用传感器的传感器数据与设备的无线电收发器的数字数据操作进行融合以改进设备的RF信令性能。在一些实施例中，基站(BS)和用户设备(UE)各自采用发射器(TX)处理模块和接收器(RX)处理模块，其中BS的TX处理模块与UE的RX处理模块进行操作通信，并且UE的TX处理模块与BS的RX处理模块进行操作通信。每个处理模块实现至少一个神经网络，诸如深度神经网络(DNN)(即具有至少一个隐藏层的神经网络)，并且BS和UE的TX和RX处理模块的神经网络使用一组或多组训练数据进行联合训练，以便除了各种其他传输/接收功能性——诸如编码和解码、调制和解调等——之外，还提供传感器和收发器融合功能性。

作为该传感器和收发器融合功能性的一般概述，在至少一个实施例中，发送设备(例如，出于该概述目的的BS)的TX处理模块接收传出信息块(即，一组信息比特，诸如通信块或传输块)和来自发送设备的一个或多个传感器的传感器数据作为输入。信息块包括提供给发送设备的RF收发器的数字输入，该数字输入被供应用于预处理和模数转换以及然后RF传输。根据这些通信和传感器输入，TX处理模块的神经网络生成第一输出以用于在发送设备的RF前端处进行处理，以生成用于到接收设备(例如，针对该概述目的的UE)的无线通信传输。因此，第一输出被提供给发送设备的RF前端，而RF前端将第一输出进行处理并转换为模拟信号(即，基带信号)，并且然后用适当的载波频率调制该模拟信号以生成带通信号或其他RF信号以用于由发送设备向接收设备进行RF传输。

在接收设备处，RF前端将接收到的RF信号转换为数字信号，该数字信号与来自接收设备的一个或多个传感器的传感器数据一起被提供作为到接收设备的RX处理模块的输入。根据这些输入，RX处理模块的神经网络生成代表由发送设备发射的信息块的输出。然后，该输出可以由接收设备的一个或多个组件进行处理以获得信息块的表示以供进一步处理。

在这种方法下，发送设备和接收设备的DNN或其他神经网络实际上用于将传感器数据与传出/传入信息块融合，使得所得的输出的处理和传输/接收适应由发送和接收设备的传感器检测到的RF信号传播环境。作为一个示例，BS可以采用一个或多个对象检测传感器，诸如雷达传感器或激光雷达传感器，并且因此通过将雷达/激光雷达传感器数据与传出信息块融合，TX处理模块的经过训练的神经网络可以自适应地配置BS的RF前端，以考虑在雷达/激光雷达传感器数据中表示的任何检测到的对象，并且这些对象表示LOS传播路径的潜在干扰。该适配能够包括例如适配由RF发射器所采用的波束成形、适配发射功率、确定和实现某些切换决策或调度决策等。类似地，在该示例中，UE同样可以采用附加的雷达/激光雷达传感器，并且将来自这些传感器的数据与来自BS的输入信号融合，以便处理UE的RF前端的输出以自动适应，或者以其他方式考虑UE检测到的对象的存在，这些对象是在LOS路径中潜在的阻塞源。作为另一示例，BS可以采用相机或其他成像传感器，并且来自该成像传感器的传感器数据可以表示BS和UE之间的LOS路径被例如建筑物、用户的身体或用户的服装阻塞，并且作为输入到BS的TX处理模块的该传感器数据的结果，TX处理模块可以调整针对UE的调度或切换决策。作为表示被阻塞的LOS路径的传感器数据的结果，BS可以指示UE切换到更适合处理被阻塞的LOS路径的频带、不同的天线配置或不同的无线接入技术(RAT)。

为了促进这一过程，BS或蜂窝网络中的另一个组件提供一个或多个DNN架构配置的初始联合训练，每个架构配置代表传感器和其他参数的对应组合。为了说明，BS和UE可以联合训练用于由BS和UE采用的第一传感器子集的一组DNN架构配置、用于第二传感器子集的第二组DNN架构配置，等等。为此，在至少一个实施例中，接收设备(例如，UE)被配置成将其传感器能力发射到发射设备(例如，BS)，使得发射设备可以定制联合DNN训练中的任一个或两个以用于接收设备。此外，当接收设备使用被实现的DNN架构配置进行操作时，接收设备能够定期地(或响应于另一个触发)发送在其DNN中实现的当前梯度，使得发射设备能够利用这些梯度在线更新在发射侧和接收侧这两者上的联合传感器/收发器DNN。尽管上面给出的扩展示例描述了BS发射设备和UE接收设备(例如，蜂窝下行链路)，但是该方法可以与UE发射设备和BS接收设备(例如，蜂窝上行链路)、对等通信(例如，蜂窝侧链路)和其他网络拓扑一起使用。

图1示出了根据一些实施例的采用基于神经网络的传感器和收发器融合方案的示例无线通信网络100的下行链路(DL)和上行链路(UL)操作。如图所示，无线通信网络100是蜂窝网络，其包括耦合到一个或多个广域网(WAN)104或诸如互联网的其他分组数据网络(PDN)的核心网络102。每个BS108支持使用由一种或多种通信协议或标准指定的一种或多种适用的RAT经由射频(RF)信令与诸如UE 110的一个或多个UE进行无线通信。这样，BS108作为UE 110与由核心网络102和其他网络提供的各种网络和服务——诸如分组交换(PS)数据服务、电路交换(CS)服务等——之间的无线接口进行操作。传统上，从BS108到UE 110的信令通信被称为“下行链路”或“DL”，而从UE 110到BS108的信令通信被称为“上行链路”或“UL”。

BS108能够采用多种RAT中的任何一种，诸如作为通用移动电信系统(UMTS)RAT(也称为“3G”)的节点B(或基站收发器站(BTS))操作、作为第三代合作伙伴项目(3GPP)长期演进(LTE)RAT的增强型节点B(eNodeB)操作、作为3GPP第五代(5G)新无线电(NR)RAT的5G节点B(“gNB”)操作等。UE 110进而能够实现可操作以经由合适的RAT与BS108通信的多种电子设备中的任何一种，包括例如移动蜂窝电话、启用蜂窝的平板计算机或膝上型计算机、台式计算机、启用蜂窝的视频游戏系统、服务器、启用蜂窝的电器、启用蜂窝的汽车通信系统、启用蜂窝的智能手表或其他可穿戴设备等。

在BS108和UE 110之间形成的空中接口上的信息通信采用表示控制平面信令和用户数据平面信令这两者的RF信号的形式。然而，由于通常采用相对高的频率和相对紧的定时余量，RF信令容易受到衰减和干扰的影响，特别是在存在干扰LOS传播路径的形体、建筑物和其他对象的情况下。具有损害BS108和UE 110之间的RF信令的潜在性的条件(以及缺失这样的条件)可以从由BS108和UE 110中的一个或两个传感器生成的当前传感器数据组中检测到或以其他方式表示在该当前传感器数据组中。例如，诸如雷达、激光雷达或成像器(例如，成像相机)的对象检测传感器可以生成反映在BS108和UE 110之间的LOS传播路径中干扰对象的存在或缺失的传感器数据。类似地，诸如来自全球定位系统(GPS)传感器或基于相机的视觉里程计传感器系统的定位数据对BS108或UE 110相对于另一个的位置和/或运动进行定位，并且因此可以代表当前RF信号传播环境。作为另一示例，光传感器、图像传感器或触摸传感器可以提供指示UE 110相对于用户身体的姿势的传感器数据，并且因此充当对UE 110的可能的当前RF信号传播环境的指示。

因此，在一些实施例中，BS108和UE 110这两者实现集成一个或多个神经网络(NN)的发射器(TX)和接收器(RX)处理路径，所述一个或多个神经网络被训练或以其他方式被配置成使用来自对于对应组件是本地的一组一个或多个传感器的传感器数据以及以传出信息块(在TX处理路径处)或传入RF信号(在RX处理路径处)形式的输入信息以生成所得的输出，该所得的输出被提供以用于到数据接收设备的RF传输(当处理正在由TX处理路径执行时)或者被进一步处理为传入信息块的表示(当处理正在由RX处理路径执行时)。在此方法下，由一个或多个神经网络将输入传感器数据与旨在由RF收发器(即，由RF前端)处理的输入信息进行融合允许一个或多个神经网络考虑对应的RF信号将被发射或接收的当前的RF信号传播环境，并且因此被提供用于改进的TX或RX性能。

为了说明，在BS108和UE 110之间，存在用于从UE 110到BS108的RF传输的上行链路(UL)传输路径112和用于从BS108到UE 110的RF传输的下行链路(DL)传输路径114。这些传输路径112、114中的任一个或两者可以采用本文描述的基于神经网络的传感器和收发器融合方案。这样，在UL传输路径112的场境中，UE 110充当数据发送设备并且BS108充当数据接收设备，而在DL传输路径114的场境中，BS108充当数据接收设备并且UE 110充当数据接收设备。

对于UL传输路径112，UE 110采用具有RF前端118的UL TX处理路径116以及具有耦合到RF前端118的输入的输出的UL DNN 120(或其他神经网络)。RF前端118包括一个或多个天线阵列、为所采用的对应RAT(例如，第三代合作伙伴计划(3GPP)、第五代新无线电(5GNR))配置的一个或多个调制解调器、一个或多个模数转换器(ADC)、一个或多个数模转换器(DAC)等。UL DNN 120执行传统上由基带发射处理器执行的功能，其包括数字信号处理以及附加功能。相反，对于UL传输路径112，BS108采用具有RF前端124的UL RX处理路径122以及具有耦合到RF前端124的输出的输入的UL DNN 126(或其他神经网络)。与RF前端118一样，RF前端124包括一个或多个天线阵列、一个或多个调制解调器、一个或多个ADC、一个或多个DAC等。同时，UL DNN 126执行传统上由基带接收处理器执行的功能，其包括数字信号处理以及附加功能。

在操作中，表示要被发射的一组信息比特的传出上行链路信息块128(本文中被识别为“传出UL块128”)由UE 110的CPU或其他处理器(未示出)或其他组件提供到UL DNN 120的输入。并发地，来自UE 110的一组一个或多个传感器(见图2)的一组当前传感器数据130被提供作为到UL DNN 120的输入。UL DNN 120——其是单独或与BS108的UL DNN 126联合训练的——实现一个或多个DNN或其他神经网络以处理这两个输入以生成对应的输出132，该输出132被提供到RF前端118的对应输入。在至少一个实施例中，输出132包括表示由RF前端118使用的信息的数字比特序列或其他数字比特组以生成一个或多个对应的RF信号134以用于到BS108的传输。该信息能够包括在传出UL块128中存在的信息的表示、用于控制RF前端118的某些方面的控制信息，诸如用于控制波束成形操作、调度/切换过程、或资源分配方案等。为了说明，传感器数据130可以反映UE 110和BS108之间的LOS路径中的一个或多个干扰对象的存在，并且因此UL DNN 120，作为先前训练或配置的结果，当处理传感器数据130与传出UL块128的信息时，生成输出132以包括使RF前端118利用波束管理来形成传输波束的控制信息，该传输波束针对在UE 110和BS 108之间传输的一个或多个RF信号134采用反射的、或NLOS传播路径。UL DNN 120被训练或以其他方式配置来进一步进行的处理能够包括例如对表示传出UL块128的信息的初始模拟信号进行调制，对所得的调制信号进行编码、以及针对由RF前端118进行RF转换准备所得的输出132的其他处理。

在BS108处，RF前端124接收一个或多个RF信号134并且预处理一个或多个RF信号134以生成提供给UL RX路径122的UL DNN 126的输入136。该预处理能够包括例如功率放大、带通信令到基带信令的转换、初始模数转换等。并发地，来自BS108的一组一个或多个传感器(或可用于BS108)的一组当前传感器数据138被输入到UL DNN 126。被单独训练或与UE110的UL DNN 120联合训练的UL DNN126实现一个或多个DNN或其他神经网络来处理这两个输入以生成以传入上行链路信息块140(本文中被称为“传入UL块140”)形式的对应输出，其包括表示在传出UL块128中反映的信息的重构的比特序列或其他比特组。也就是说，UL DNN126利用如传感器数据138中表示的上行链路RF传播环境的表示来指导其输入136的处理以生成传入UL块140。例如，来自雷达或激光雷达的传感器数据可以反映在BS108和UE 110之间的LOS路径中一个或多个障碍物的存在，并且在假设作为输入136的基础的一个或多个RF信号134由UE 110经由NLOS传播路径发射到BS108的情况下，实际上导致UL DNN 126处理输入136。传入UL块140然后可以被提供给BS108的CPU或其他处理器或其他组件以用于进一步处理或向上游传输。此外，在一些实施例中，由UL DNN 126提供的输出能够包括用于RF前端124的反馈控制信令以用于处理传入的一个或多个RF信号134。例如，传感器数据138可以反映在用于RF信号134的波束路径中存在一棵树，并且因此UL DNN 126可以被训练以使用该信息来生成控制信号，该控制信号指导RF前端124增加其接收器灵敏度、激活附加天线阵列等，以补偿由障碍物呈现的衰减。

以类似的方式处理下行链路传输，但是BS108作为数据发送设备并且UE 110作为数据接收设备。BS108采用具有RF前端144的DL TX处理路径142和具有耦合到RF前端144的输入的输出的DL DNN 146(或其他神经网络)。反过来，UE 110采用具有RF前端150的DL RX处理路径148和具有耦合到RF前端150的输出的输入的DL DNN 152(或其他神经网络)。注意，BS108的RF前端144和RF前端124可以是相同的RF前端或不同的RF前端，并且UE 110的RF前端118和RF前端150可以是相同的RF前端或不同的RF前端。

与上述上行链路传输操作一样，但在相反的流方向上，传出下行链路信息块154(本文中被识别为“传出DL块154”)表示到DL DNN 146的输入的要由BS108的CPU或其他处理器(未示出)或其他组件发射的一组信息比特。并发地，来自BS108的一组一个或多个传感器(见图2)的当前传感器数据156被提供作为到DL DNN 146的输入。DL DNN 146——其是单独或与UE 110的DL DNN 152联合训练的——实现一个或多个DNN或其他神经网络以处理这两个输入以生成对应的输出158，该输出158被提供到RF前端144的对应输入。与上述类似地，输出158能够包括表示由RF前端144使用的信息的数字比特序列或其他数字比特组以生成一个或多个对应的RF信号160以用于到UE 110的传输。该信息能够包括在传出UL块128中存在的信息的表示、用于控制RF前端118的某些方面的控制信息，诸如用于控制波束成形操作或资源分配方案等。

在UE 110处，RF前端150接收一个或多个RF信号160并且预处理一个或多个RF信号160以生成提供给DL RX路径148的DL DNN 152的输入162。并发地，来自UE 110的一组一个或多个传感器的当前传感器数据164被输入到DL DNN 126。被单独训练或与BS108的DL DNN146联合训练的——DL DNN 152实现一个或多个DNN或其他神经网络来处理这两个输入以生成以传入下行链路信息块166(本文中被称为“传入DL块166”)形式的对应输出，其包括表示在传出DL块154中反映的信息的重构的比特序列或其他比特组。也就是说，DL DNN 152利用如传感器数据164中表示的下行链路RF传播环境的表示来指导其输入162的处理以生成传入DL块166。如相对于UL DNN 126类似地指出的，由DL DNN 152提供的输出进一步能够包括用于RF前端150的反馈控制信令，以在RF前端150接收一个或多个RF信号160时控制RF前端150的操作的一些方面，诸如改变接收器灵敏度、改变哪些天线阵列处于活动状态，修改正在采用的波束等。

如由系统100所示，在至少一些实施例中，TX和RX处理路径116、122、142、148不是将TX和RX处理路径实现为需要单独设计、测试和实施方式工作的分离和复杂的功能块，而是采用一个或多个DNN或其他神经网络代替这些单独块中的一些或全部，每个DNN或其他神经网络提供对应处理路径的至少一个传统上分离的块的至少一部分的功能性。为了说明，TX处理路径中的一个或多个DNN能够提供常规TX路径的编码级和调制级的等效功能性。类似地，RX处理路径中的一个或多个DNN或其他神经网络能够执行例如解调级和解码级的功能。此外，如上所述以及本文更详细地描述的，这些神经网络能够进一步并入传感器数据作为输入，使得由神经网络实现的处理和RF前端控制能够考虑关于如由当前传感器数据反映的当前RF信号传播环境的信息。此外，如下所述，这些神经网络能够通过重新训练被重新配置，相对于在常规实施方式中发现的更具体且不太灵活的组件，这为RF信号传播环境的改变提供了更大的灵活性和适应性。

图2示出了根据一些实施例的UE 110和BS108的示例硬件配置。注意，所描绘的硬件配置表示与本文描述的基于神经网络的传感器和收发器融合过程最直接相关的处理组件和通信组件，并且省略了众所周知的在这样的电子设备——诸如显示器、非传感器外设、电源等——中频繁实现的某些组件。

在所描绘的配置中，UE 110包括一个或多个天线阵列202，其中每个天线阵列202具有一个或多个天线203，并且进一步包括RF前端204(表示图1的RF前端118和150中的一个或两个)、一个或多个处理器206、以及一个或多个非暂时性计算机可读介质208。RF前端204实际上作为物理(PHY)收发器接口来操作以传导和处理一个或多个处理器206和天线阵列202之间的信令以便于促进各种类型的无线通信。天线203能够包括被配置成彼此类似或不同的多个天线的阵列，并且能够被调谐到与对应的RAT相关联的一个或多个频带。一个或多个处理器206能够包括例如一个或多个中央处理单元(CPU)、图形处理单元(GPU)、人工智能(AI)加速器或其他专用集成电路(ASIC)等。为了说明，处理器206能够包括由UE 110用来施行操作系统和各种用户级软件应用的应用处理器(AP)，以及由调制解调器使用的一个或多个处理器或RF前端204的基带处理器。计算机可读介质208能够包括由电子设备使用的多种介质中的任一种以存储数据和/或可执行指令，诸如随机存取存储器(RAM)、只读存储器(ROM)、缓存、闪存存储器、固态驱动器(SSD)或其他大容量存储设备等。为了便于说明和简洁，考虑到频繁使用系统存储器或其他存储器来存储由处理器210施行的数据和指令，计算机可读介质208在本文中被称为“存储器208”，但是应当理解除非另有说明，对“存储器208”的引用会同样应用于其他类型的存储介质。

在至少一个实施例中，UE 110进一步包括多个传感器，在本文中被称为传感器组210，其中至少一些传感器被用在本文描述的基于神经网络的传感器和收发器融合方案中。一般而言，传感器组210的传感器包括感测UE 110的环境的某些方面或用户对UE 110的使用的那些传感器，其具有感测至少有一些影响的参数的潜在性，或者是UE 110相对于BS108的反射、RF传播路径、或者UE 110相对于BS108的RF传输/接收性能。传感器组210的传感器能够包括用于对象检测的一个或多个传感器212，诸如雷达传感器、激光雷达传感器、成像传感器、基于结构光的深度传感器等。传感器组210还能够包括用于确定UE 110的位置或姿势的一个或多个传感器214，诸如卫星定位传感器诸如GPS传感器、全球导航卫星系统(GNSS)传感器、内部测量单元(IMU)传感器、视觉里程计传感器、陀螺仪、倾斜传感器或其他倾斜计、基于超宽带(UWB)的传感器等。传感器组210的传感器类型的其他示例能够包括成像传感器216，诸如用于由用户捕获图像的相机、用于面部检测的相机、用于立体观测或视觉里程计的相机、用于检测接近UE 110的特征的对象的光传感器等。传感器组210进一步能够包括用户界面(UI)传感器218，诸如触摸屏、用户可操纵的输入/输出设备(例如，“按钮”或键盘)、或其他触摸/接触传感器、麦克风或其他话音传感器、热传感器(诸如用于检测与用户的接近度)等。

UE 110的一个或多个存储器208用于存储一组或多组可执行软件指令和相关联的数据，所述指令和数据操纵UE 110的一个或多个处理器206和其他组件来执行本文描述的并归因于UE 110的各种功能。可执行软件指令集包括例如操作系统(OS)和各种驱动器(未示出)、各种软件应用(未示出)、以及实现UE 110的一个或多个神经网络——诸如下文详细描述的在TX和RX处理路径中采用的神经网络——的UE神经网络管理器220。存储在一个或多个存储器208中的数据包括例如UE设备数据222和一个或多个神经网络架构配置224。UE设备数据222表示例如用户数据、多媒体数据、波束成形码本、软件应用配置信息等。UE设备数据222进一步能够包括关于传感器组210的一个或多个传感器的传感器能力信息，其包括特定传感器或传感器类型的存在或缺失，以及对于存在的那些传感器，其对应能力的一个或多个表示，诸如激光雷达或雷达传感器的范围和分辨率、成像相机的图像分辨率和颜色深度等。

一个或多个神经网络架构配置224包括一个或多个数据结构，包含表示由UE神经网络管理器220用来形成UE 110的对应神经网络的对应架构和/或参数配置的数据和其他信息。神经网络架构配置224中包括的信息包括例如指定以下的参数：全连接层神经网络架构、卷积层神经网络架构、循环神经网络层、连接的隐藏神经网络层数量、输入层架构、输出层架构、由神经网络使用的节点数量、由神经网络使用的系数(例如权重和偏差)、内核参数、由神经网络使用的滤波器数量、由神经网络使用的步幅/池化配置、每个神经网络层的激活函数、神经网络层之间的互连、要跳过的神经网络层等等。因此，神经网络架构配置224包括能够用于创建定义和/或形成DNN的NN编队配置(例如，一个或多个NN编队配置元素的组合)的NN编队配置元素(例如，架构和/或参数配置)的任何组合。

在至少一个实施例中，存储在至少一个存储器208中的一组可执行软件指令进一步实现传感器管理模块226和RF资源管理模块228。传感器管理模块226被配置为控制传感器组206的传感器的操作，所述操作包括基于要采用的特定DNN架构配置224来选择性地激活或停用传感器以及配置激活的传感器的某些参数，诸如例如适合在传感器和收发器融合方案中使用的范围设置。此外，在一些实施例中，传感器管理模块226对来自传感器组210的一个或多个激活的传感器的传感器数据进行过滤或格式化操作中的一个操作或两个操作。例如，GPS传感器可以以一种频率提供传感器读数，但是要采用的DNN架构配置224可能已经在较低频率下在GPS传感器数据上被训练，在这种情况下，传感器管理模块226可以操作以过滤GPS传感器输出，使得所得的GPS传感器数据以更低的频率被提供。在一些实施例中，传感器组210中的一个或多个传感器可能需要许可频带中的时间或频率资源以便按预期操作，诸如在许可频率中发射RF信令的雷达传感器。如下所述，在一些实例中，BS108的DNN可以被配置为将资源分配给在UE 110处的这样的传感器，在这种情况下，RF资源管理模块228操作以识别这样的资源分配并且根据识别的资源分配来控制受影响的传感器的操作。

转向BS108的硬件配置，要注意的是，虽然所示的图表示BS108作为单个网络节点(例如，5G NR节点B或“gNB”)的实施方式，但是BS108的功能性和因此硬件组件代替地可以跨多个网络节点或设备分布，并且可以以执行本文描述的功能的方式分布。与UE 110一样，BS108包括一个或多个天线232的至少一个阵列230、RF前端234(表示图1的RF前端124、144中的一个或两个)、以及一个或多个处理器236以及一个或多个非暂时性计算机可读存储介质238(与UE 110的存储器208一样，为了简洁，计算机可读介质238在本文中被称为“存储器238”)。BS108进一步包括具有一个或多个传感器的传感器组240，所述一个或多个传感器提供可以用于本文描述的基于NN的传感器和收发器融合方案的传感器数据。与UE 110的传感器组210一样，BS108的传感器组240能够包括：例如对象检测传感器和成像传感器，并且在BS108是移动的实例中(例如当在车辆或无人机中实现时)，一个或多个用于检测位置或姿势的传感器。这些组件以与上面参考UE 110的对应组件描述的类似方式操作。

BS108的一个或多个存储器238存储一组或多组可执行软件指令和关联数据，所述指令和数据操纵BS108的一个或多个处理器236和其他组件以执行本文描述的并归因于BS108的各种功能。可执行软件指令集包括例如操作系统(OS)和各种驱动器(未示出)、各种软件应用(未示出)、BS管理器242和BS神经网络管理器244。BS管理器242将RF前端234配置为与UE 110通信，以及与核心网络——诸如核心网络102——通信。BS神经网络管理器244为BS108实现一个或多个神经网络，诸如在本文描述的TX和RX处理路径中采用的神经网络。

存储在BS108的一个或多个存储器238中的数据包括例如BS数据246和一个或多个神经网络架构配置248。BS数据246表示例如网络调度数据、无线电资源管理数据、波束成形码本、软件应用配置信息等。一个或多个神经网络架构配置248包括一个或多个据结构，其包含表示由BS神经网络管理器244用于形成BS108的对应神经网络的对应架构和/或参数配置的数据和其他信息。类似于UE 110的神经网络架构配置224，被包括在神经网络架构配置248中的信息包括例如指定以下的参数：全连接层神经网络架构、卷积层神经网络架构、循环神经网络层、连接的隐藏神经网络层数量、输入层架构、输出层架构、由神经网络使用的节点数量、由神经网络使用的系数、内核参数、由神经网络使用的滤波器数量、由神经网络使用的步幅/池化配置、每个神经网络层的激活函数、神经网络层之间的互连、要跳过的神经网络层等等。因此，神经网络架构配置248包括能够用于创建定义和/或形成DNN或其他神经网络的NN编队配置的NN编队配置元素的任何组合。

在至少一个实施例中，存储在存储器232中的软件进一步包括训练模块250、传感器管理模块252和RF资源管理模块254中的一个或多个。训练模块250使用一组或多组输入数据来操作以训练在BS108或UE 110处实现的一个或多个神经网络。该训练能够出于各种目的而执行，诸如单独地或结合来自本地传感器组的传感器的当前传感器数据来处理通过无线通信系统传输的通信。训练能够包括在离线时(即，在不主动地参与处理通信时)和/或在线时(即，在主动地参与处理通信时)训练神经网络。此外，训练可以是单独的或分离的，使得每个神经网络在其自己的数据集上单独训练，而不会将结果传送到或以其他方式影响在传输路径相对端的DNN训练，或者训练可以是联合训练，使得UL处理路径中的神经网络在相同或互补的数据集上联合训练，而DL处理路径中的神经网络同样在相同或互补的数据集上联合训练。与UE 110的传感器管理模块226一样，BS108的传感器管理模块252操作以基于例如要由BS108的神经网络采用的特定神经网络架构配置248来选择性地激活或停用传感器组240的传感器，控制激活的传感器的参数或其他操作特性，过滤或以其他方式格式化传感器数据以便与所实现的神经网络兼容，等等。RF资源管理模块254操作以将时间和频率资源分配给BS108的传感器，并且在一些实例中分配给在许可频带中操作的UE 110的传感器。

在一些实施例中，BS108进一步包括基站间接口256，诸如Xn或X2接口，BS管理器242将其配置为在其他BS之间交换用户平面、控制平面和其他信息，并且管理BS108与UE110的通信。BS108进一步能够包括核心网络接口258，BS管理器242将其配置为与核心网络功能和/或实体交换用户平面、控制平面和其他信息。

图3示出了根据一些实施例的用于实现神经网络的示例机器学习(ML)模块300。如本文所述，BS108和UE 110中的一个或两个在TX处理路径或RX处理路径中的一个或两个中实现一个或多个DNN或其他神经网络以用于处理传入和传出无线通信。因此，ML模块300示出了用于实现这些神经网络中的一个或多个的示例模块。

在所描绘的示例中，ML模块300实现至少一个深度神经网络(DNN)302，其具有被组织成三层或更多层的连接节点组(例如，神经元和/或感知器)。层之间的节点可以以多种方式配置，诸如：部分连接的配置，其中第一层中的节点的第一子集与第二层中的节点的第二子集连接；全连接的配置，其中第一层中的每个节点连接到第二层中的每个节点，等等。神经元处理输入数据以产生连续的输出值，诸如0到1之间的任何实数。在一些情况下，输出值指示输入数据与所期望类别的接近程度。感知器对输入数据执行线性分类，诸如二元分类。节点，无论是神经元还是感知器，都能够使用各种算法来基于自适应学习生成输出信息。使用DNN 302，ML模块300执行各种不同类型的分析，包括单线性回归、多元线性回归、逻辑回归、逐步回归、二元分类、多类分类、多元自适应回归样条、局部估计散点图平滑等等。

在一些实施方式中，ML模块300基于监督学习来自适应地学习。在监督学习中，ML模块300接收各种类型的输入数据作为训练数据。ML模块300处理训练数据以学习如何将输入映射到期望的输出。作为一个示例，ML模块300接收信号的数字样本作为输入数据并且学习如何将信号样本映射到反映信号内嵌入的信息的二进制数据。作为另一个示例，ML模块300接收二进制数据作为输入数据，并且学习如何将二进制数据映射到信号的数字样本，其中二进制数据被嵌入在信号内。更进一步，作为另一示例并且如下文更详细描述的，ML模块300接收传感器数据作为输入数据以及传出信息块，并且学习如何生成输出，该输出包括被转换成RF前端的一个或多个RF信号的基带信号的表示，以及控制用于传输一个或多个RF信号的RF前端的各种参数(例如，经由波束成形控制)，或者相反，接收传感器数据作为输入数据以及从一个或多个传入RF信号生成的RF前端的输出，并且学习如何使用这些输入来生成表示一个或多个传入RF信号的信息的传入信息块。

在训练过程期间，ML模块300使用标记的或已知的数据作为到DNN 302的输入。DNN302使用节点来分析输入并且生成对应的输出。ML模块300将对应的输出与真实数据进行比较并且调整由节点实现的算法以改进输出数据的准确性。随后，DNN 302将适应的算法应用于未标记的输入数据以生成对应的输出数据。ML模块300使用统计分析和自适应学习中的一个或两个来将输入映射到输出。例如，ML模块300使用从训练数据学习的特性来将未知输入与统计上可能在阈值范围或值内的输出相关联。这允许ML模块300接收复杂输入并且识别对应的输出。一些实施方式在无线通信系统上传输的通信的特性上训练ML模块300(例如，时间/频率交织、时间/频率解交织、卷积编码、卷积解码、功率电平、信道均衡、符号间干扰、正交幅度调制/解调、频分复用/解复用、传输信道特性)。这允许经过训练的ML模块300接收信号样本作为输入，诸如在UE处接收的下行链路信号的样本，并且从下行链路信号恢复信息，诸如嵌入在下行链路信号中的二进制数据。

在所描绘的示例中，DNN 302包括输入层304、输出层306以及定位于输入层304和输出层306之间的一个或多个隐藏层308。每一层具有任意数量的节点，其中层之间的节点数量可以相同也可以不同。即，输入层304能够具有与输出层306相同数量和/或不同数量的节点，输出层306能够具有与一个或多个隐藏层308相同数量和/或不同数量的节点等等。

节点310对应于输入层304中包括的几个节点之一，其中这些节点执行单独的、独立的计算。如进一步描述的，节点接收输入数据并使用一种或多种算法处理输入数据以产生输出数据。通常，算法包括基于自适应学习而改变的权重和/或系数。因此，权重和/或系数反映了由神经网络学到的信息。在一些情况下，每个节点能够确定是否将处理后的输入数据传递到一个或多个下一个节点。为了说明，在处理输入数据之后，节点310能够确定是否将处理后的输入数据传递到隐藏层308的节点312和节点314中的一个或两个。可替选地或附加地，节点310基于层连接架构将处理后的输入数据传递到节点。该过程能够贯穿多个层重复，直到DNN 302使用输出层306的节点(例如，节点316)生成输出。

神经网络还能够采用各种架构来确定连接神经网络内的哪些节点、如何在神经网络中推进和/或保留数据、使用什么权重和系数来处理输入数据、如何处理数据处理等。这些各种因素共同描述了神经网络架构配置，诸如上面简要描述的神经网络架构配置218、238和318。为了说明，循环神经网络——诸如长短期记忆(LSTM)神经网络——在节点连接之间形成循环以保留来自输入数据序列的先前部分的信息。然后，循环神经网络将保留的信息用于输入数据序列的后续部分。作为另一个示例，前馈神经网络将信息传递到前向连接，而不形成循环来保留信息。虽然在节点连接的场境中进行了描述，但是应当理解，神经网络架构配置能够包括影响DNN 302或其他神经网络如何处理输入数据的各种参数配置。

神经网络的神经网络架构配置能够通过各种架构和/或参数配置来表征。为了说明，考虑其中DNN 302实现卷积神经网络(CNN)的示例。一般来说，卷积神经网络对应于一种DNN，其中各层使用卷积运算来处理数据以过滤输入数据。因此，CNN架构配置能够由例如池化参数、内核参数、权重、和/或层参数来表征。

池化参数与指定卷积神经网络内减少输入数据维度的池化层的参数。为了说明，池化层能够将第一层的节点的输出组合成第二层的节点输入。可替选地或附加地，池化参数指定在数据层中如何以及在何处处理神经网络池化数据。例如，指示“最大池化”的池化参数将神经网络配置为通过从第一层的节点生成的数据分组中选择最大值来进行池化，并且使用该最大值作为到第二层的单个节点的输入。指示“平均池化”的池化参数将神经网络配置为从第一层的节点生成的数据分组来生成平均值，并且使用该平均值作为到第二层的单个节点的输入。

内核参数指示在处理输入数据时使用的滤波器大小(例如，宽度和高度)。可替选地或附加地，内核参数指定在过滤和处理输入数据时使用的内核方法的类型。例如，支持向量机与使用回归分析来识别和/或分类数据的内核方法相对应。其他类型的内核方法包括高斯过程、典型相关分析、谱聚类方法等。因此，内核参数能够指示要在神经网络中应用的滤波器大小和/或内核方法的类型。

权重参数指定由节点内的算法使用的权重和偏差对输入数据进行分类。在一些实施方式中，权重和偏差是学习的参数配置，诸如从训练数据生成的参数配置。

层参数指定层连接和/或层类型，诸如指示将第一层(例如，输出层306)中的每个节点连接到第二层(例如，隐藏层308)中的每个节点的全连接层类型、指示第一层中的哪些节点与第二层断开连接的部分连接的层类型、指示在神经网络内激活哪些滤波器和/或层的激活层类型等等。可替选地或附加地，层参数指定节点层的类型，诸如归一化层类型、卷积层类型、池化层类型等。

虽然在池化参数、内核参数、权重参数和层参数的场境中进行了描述，但是应当理解，能够使用其他参数配置来形成与本文提供的指导一致的DNN。因此，神经网络架构配置能够包括能够应用于DNN的任何合适类型的配置参数，其影响DNN如何处理输入数据以生成输出数据。

在一些实施例中，ML模块300的配置基于当前操作环境。为了说明，考虑经过训练以从信号的数字样本生成二进制数据的ML模块。RF信号传播环境经常会修改穿过物理环境的信号的特性。RF信号传播环境经常发生变化，这会影响环境如何修改信号。例如，第一RF信号传播环境以第一方式修改信号，而第二RF信号传播环境以与第一方式不同的方式修改信号。这些差异影响由ML模块300生成的输出结果的准确性。例如，被配置为处理在第一RF信号传播环境中传输的通信的DNN 302可能在处理在第二RF信号传播环境中传输的通信时生成误差或以其他方式限制性能。实现DNN 302的组件的传感器组中的某些传感器可以提供表示当前RF信号传播环境的一个或多个方面的传感器数据。上述示例能够包括用于确定LOS传播路径内干扰对象的存在或缺失的激光雷达、雷达或其他对象检测传感器、用于确定用户身体相对于组件的存在和/或位置的UI传感器等。然而，应当理解，可用的特定传感器能力可以取决于特定UE 110或特定BS108。例如，一个BS108可以具有激光雷达或雷达能力，并且因此具有检测附近对象的能力，而另一个BS108可能缺乏激光雷达和雷达能力。作为另一示例，智能手表(UE 110的一个实施例)可以具有光传感器，其可以用于感测智能手表是否被用户的袖子或其他衣服覆盖，而蜂窝电话(UE 110的另一实施例)可能缺乏这个能力。因此，在一些实施例中，为ML模块300实现的特定配置可以至少部分地取决于实现ML模块300的设备的特定传感器配置。

因此，在一些实施例中，实现ML模块300的设备针对不同的RF信号传播环境或配置——包括针对不同的激活传感器配置——生成和存储不同的神经网络架构配置。例如，设备可以具有当成像相机可在设备处使用时使用的一个或多个神经网络架构配置，以及当成像相机不可用时使用的不同组的一个或多个神经网络架构配置。为了说明，当正在向ML模块300提供传感器数据的传感器配置包括成像相机时，ML模块300可以采用CNN配置，因为CNN通常特别适合计算机视觉应用，并且当传感器配置中不包含成像相机时采用非CNN配置。

为此，BS108或核心网络102中的一个或两个能够使用UE神经网络管理器220、BS神经网络管理器244和训练模块250的任何组合来训练ML模块300。训练能够在没有主动通信交换正在发生时离线发生，或者在主动通信交换期间在线发生。例如，BS108或核心网络102能够算术地生成训练数据、访问存储训练数据的文件、获得真实世界的通信数据等。BS108或核心网络102然后提取并存储各种学习的神经网络架构配置用于后续使用。一些实施方式存储每个神经网络架构配置的输入特性，由此输入特性描述与相应的神经网络架构配置相对应的RF信号传播环境的各种属性，包括激活传感器的特定子集及其对应的参数配置。在实施方式中，神经网络管理器通过将当前RF信号传播环境和当前操作环境与输入特性相匹配来选择神经网络架构配置，其中当前操作环境包括那些激活的、或者可用的并且能够使用适当的参数来激活以参与传感器和收发器融合操作的传感器的指示。

如所指出的，处于无线通信中的网络设备——诸如UE 110和BS 108——能够被配置为在每个联网设备处使用一个或多个DNN来处理无线通信交换，其中每个DNN替代传统上通过一个或多个硬编码或固定设计块实现的一个或多个功能(例如，上行链路处理、下行链路处理、上行链路编码处理、下行链路解码处理等)。此外，每个DNN能够进一步合并来自联网设备的传感器组中的一个或多个传感器的当前传感器数据，以实际上修改或以其他方式调整其操作以考虑传感器数据中反映的当前RF信号传播环境。为此，图4示出了在UE 110和BS 108处用于DNN实施方式的示例操作环境400。在所描绘的示例中，UE 110的UE神经网络管理器220实现下行链路(DL)接收器(RX)处理模块402和上行链路(UL)发射器处理模块404。类似地，BS神经网络管理器244实现DL TX处理模块406和UL RX处理模块408。处理模块402、404、406和408中的每一个经由对应ML模块的实施方式实现一个或多个DNN，诸如上面参考图3的ML模块300的一个或多个DNN 302描述的。

BS108的DL TX处理模块406和DL RX处理模块402互操作以支持作为数据发送设备的BS108与作为数据接收设备的UE 110之间的DL无线通信路径410，而UE 110的UL TX处理模块404和BS108的UL RX处理模块408互操作以支持作为数据发送设备的UE 110和作为数据接收设备的BS108之间的UL无线通信路径412。如此，DL TX处理模块406的一个或多个DNN被训练以接收DL数据和DL控制平面信息作为以传出信息块414形式的输入，从传感器组240接收传感器数据，并且生成对应的输出以用于经由BS108的RF模拟级作为RF信号进行传输。DL RX处理模块402的一个或多个DNN相反地被训练以接收由RF模拟级从所发射的RF信号中提取的输出作为输入连同来自传感器组210的传感器数据，并且生成作为传入信息块416的恢复的DL数据和DL控制平面信息作为输出以用于在UE 110处进一步处理。以类似的方式，UL TX处理模块404的一个或多个DNN被训练以接收以传出信息块418形式的UL数据和UL控制平面信息作为输入以及来自传感器组210的传感器数据，并且生成对应的输出以用于经由UE 110的RF模拟级作为RF信号进行传输。UL RX处理模块408的一个或多个DNN相反地被训练以接收由RF模拟级从所发射的RF信号中提取的输出作为输入，并且生成以传入信息块420的形式的恢复的UL用户平面数据和UL控制平面信息作为输出以用于在BS108处进一步处理。

使用DNN或其他神经网络、结合到DNN的传感器数据的输入、以及DNN对于传感器数据的训练来实现BS108和UE 110中的每一个的发射器处理路径和接收器处理路径的某些功能相对于传统的每块设计和文本方法，提供了设计灵活性并且促进高效更新，同时还允许BS 108和UE 110快速调整其传出和传入传输的处理以适应在BS108和UE 110之间共享的当前RF信号传播环境。然而，在DNN能够被部署和投入操作之前，它们通常被训练或以其他方式被配置成针对给定的一组一个或多个输入提供合适的输出。为此，图5示出了根据一些实施例的用于开发一个或多个联合训练的DNN架构配置作为用于在不同操作环境的BS108和UE 110处的实施方式的选项的示例方法500。注意，参考图5描述的操作次序仅用于说明性目的，并且可以执行不同次序的操作，并且进一步可以省略一个或多个操作或者在所说明的方法中包括一个或多个附加操作。进一步注意，虽然图5示出了使用一个或多个测试BS和一个或多个测试UE的离线训练方法，可以针对使用处于激活操作中的一个或多个BS和UE的在线训练来实现类似的方法。

在至少一个实施例中，BS108和UE 110中的任一个或两个可以具有传感器能力的多种组合中的任一种。例如，有时UE光传感器和电容式触摸传感器将打开，而在其他时间UE将关闭其光传感器和电容式触摸传感器以节省电力。作为另一示例，一些UE 110可以具有基于卫星的定位传感器，而其他UE 110可能没有。同样，一个BS108可以具有雷达或激光雷达能力，但没有相机能力，而另一个BS108可以具有相机能力，但没有雷达或激光雷达能力。因为在BS108和UE 110处实现的DNN利用传感器数据来指示它们的操作，所以应当理解，在许多实例中，在这些联网设备之一处实现的特定DNN配置是基于可用于将传感器数据提供为输入的特定传感器；也就是说，所实现的特定DNN配置反映了当前向DNN提供输入的传感器的类型和组合。

因此，方法500在框502处以对一个或多个测试UE和一个或多个测试BS的传感器能力进行确定来被发起，其可以包括UE 110和/或BS108或者可以利用除了UE 110和/或BS108之外的UE和/或BS。下面，假设测试BS的训练模块250正在管理联合训练，并且因此测试BS的传感器能力对于训练模块250是已知的(例如，经由存储此信息的数据库或其他本地存储的数据结构)。然而，因为测试BS可能不具有任何给定UE的能力的先验知识，所以测试UE向测试BS提供在测试中的UE的传感器能力的指示，诸如在测试UE处可用的传感器类型的指示、这些传感器的各种参数的指示(例如，成像相机的成像分辨率和图片数据格式、基于卫星的位置传感器的卫星定位类型和格式等)等。例如，测试UE能够提供传感器能力的这种指示作为通常由UE响应于由BS至少根据4G LTE和5G NR规范发射的UECapabilityEnquiry RRC消息而提供的UECapabilityInformation无线电资源控制(RRC)消息的一部分。可替选地，测试UE能够将传感器能力的指示提供作为分离的侧信道或控制信道通信。此外，在一些实施例中，测试UE的传感器能力可以被存储在测试BS可用的本地或远程数据库中，并且因此测试BS能够基于UE的某种形式的标识符来查询该数据库，诸如与被测UE相关联的国际移动用户身份(IMSI)值。

在测试BS和测试UE的传感器能力被识别的情况下，在框504处，训练模块250选择特定传感器配置来训练测试BS和测试UE的DNN。在一些实施例中，训练模块250可以尝试训练可用传感器的每个排列。然而，在非测试BS和非测试UE具有相对大数量和种类的合适传感器的实施方式中，这种努力可能是不切实际的。因此，在其他实施例中，训练模块250仅从一组有限的、代表性的潜在传感器和传感器配置中进行选择。为了说明，来自同一公司制造的不同激光雷达模块的激光雷达信息可能相对一致，并且因此如果例如BS108可以实现来自该制造商的多个激光雷达传感器中的任何一个，则训练模块250可以选择从正在被训练的传感器配置中消除若干激光雷达传感器。仍然在其他实施例中，可以存在训练模块250能够选择用于训练的一组定义的传感器配置，并且训练模块250因此从该定义的组中选择传感器配置(并且避免选择依赖于相关联设备通常不支持的传感器能力的传感器配置)。

在选择了传感器配置的情况下，在框506处，训练模块250基于所选择的传感器配置来识别用于联合训练DNN的一组或多组训练数据。也就是说，一组或多组训练数据包括或表示可以由所选择的传感器配置的可比较传感器生成的传感器数据，并且因此适合于训练DNN以利用由在所选择的传感器配置中表示的特定传感器提供的传感器数据来操作。训练数据进一步能够包括与训练期间信令的传输或接收涉及的相关联度量，诸如块误差率(BER)、信号噪声比(SNR)、信号与干扰加噪声比(SINR)等。

在获得一个或多个训练组的情况下，在框508处，训练模块250发起在测试BS处的DNN与在测试UE处的DNN的联合训练。这种联合训练通常涉及使用初始值初始化各种DNN的偏置权重和系数，这些初始值通常是伪随机选择的，然后在第一设备(例如，测试BS)的TX处理模块处输入一组训练数据(例如，表示已知的用户平面数据和控制平面信息，以及来自所选择的传感器配置中的传感器的已知传感器数据)，无线发射所得的输出作为到第二设备(例如，测试UE)的RX模块的传输，在第二设备的RX处理模块处处理该传输，确定实际结果输出和预期结果输出之间的误差，并且将该误差反向传播贯穿第一设备的TX处理模块和第二设备的RX处理模块这两者的DNN中，并且对下一组输入数据重复该过程。重复这种过程，直到已经执行了一定次数的训练迭代或已经达到某个最小误差率。在第二设备的TX处理模块和第一设备的RX处理模块之间执行相同的过程。

作为测试BS和测试UE的DNN的联合(或单独)训练的结果，每个神经网络具有特定的神经网络架构配置，或者在所实现的神经网络是DNN的实例中的DNN架构配置，其特征在于对应DNN的架构和参数，诸如隐藏层的数量、每层的节点数量、每层之间的连接、在每个节点处实现的权重、系数和其他偏差值等。因此，当完成针对所选择的传感器配置的测试BS和测试UE的DNN的联合或单独训练时，在框510处，经过训练的DNN配置中的一些或全部被分发给BS108和UE 110，并且BS108和UE 110各自将其对应DNN的所得的DNN配置存储为针对所选择的传感器配置的BS108的DNN架构配置以及针对所选择的传感器配置的UE 110的DNN架构配置。在至少一个实施例中，能够通过提取在联合训练结束处对应DNN的架构和参数——诸如隐藏层的数量、节点的数量、连接、系数、权重和其他偏差值等——来生成DNN架构配置。

在还有一个或多个其他传感器配置需要训练的情况下，则方法500返回框504以选择要联合训练的下一个传感器配置，并且框504至510的子过程的另一次迭代是针对由训练模块250选择的下一个传感器配置进行重复。否则，如果BS108和UE 110的DNN已经针对所有预期传感器配置进行了联合训练，则方法500完成并且系统100能够转变为使用经过训练的DNN——如以下参考图7至9所述——来支持BS 108和UE 110之间的RF信令。

如上所述，联合训练过程能够使用离线测试BS和UE(即，当没有控制信息或用户平面数据的主动通信正在发生时)或者当测试BS和UE的处理模块在线时(即，当控制信息或用户平面数据的主动通信正在发生时)来被执行。此外，在一些实施例中，在一些实例中，能够训练或重新训练DNN的子集，同时将其他DNN维持为静态，而不是联合训练所有DNN。为了说明，BS神经网络管理器244可以检测到诸如UE DL TX处理模块406的特定处理模块由于例如UE 110附近存在未检测到的干扰源而正在低效或不正确地操作，并且因此，BS神经网络管理器244可以调度UE DL TX处理模块406的DNN的单独重新训练，同时将其他处理模块402、404、408的其他DNN维持在它们当前的配置中。

此外，应当理解，尽管可能存在支持大量传感器配置的多种UE，但是许多不同的UE可以支持相同或相似的传感器配置。因此，在代表性测试UE的联合训练之后，测试UE能够向BS108发射针对给定传感器的该测试UE的经过训练的DNN架构配置的表示，而不是必须针对正在试图与BS108通信的每个UE 110来重复联合训练，而BS108能够存储DNN架构配置并且随后将其发射到支持相同或相似传感器配置的其他UE 110用于在该UE 110的DNN中的实施方式。

此外，应当理解，当对应的设备使用DNN进行操作时，DNN架构配置常常会随着时间而改变。在UE 110的DNN的情况下，UE神经网络管理器220能够被配置成发射UE 110的一个或多个DNN的更新的架构配置的表示，诸如通过响应于触发，将更新梯度和相关信息提供给BS108。这种触发可以是周期性定时器的期满、来自BS110的查询、改变幅度已经超过指定阈值的确定等。BS108然后可以将这些接收到的DNN更新合并到对应的DNN架构配置中，并且因此具有可用于分发给其他UE 110的更新的DNN架构配置。

图6示出了根据一些实施例的用于发起BS108和UE 110使用经过训练的DNN来进行DL和UL无线传输的示例方法600。如上所说明，因为具有特定DNN架构配置的DNN的操作假定特定传感器配置，所以方法600在框602发起，其中UE 110向BS108提供其传感器能力的表示，如参考框502所述。

在框602处，BS神经网络管理器244基于BS108的传感器能力或由UE 110通告的传感器能力中的一个或两个来选择相应的DNN架构配置(例如，经过训练的DNN架构配置248)以用于在BS108的每个DNN处的实施方式。例如，如果BS108具有可供使用的雷达传感器，并且UE 110具有可供使用的成像相机和GPS传感器，则BS108可以为其已经针对这种传感器配置进行训练的TX和RX DNN来选择DNN架构配置。尽管在一些实施例中，在选择DNN架构配置时考虑了BS108和UE 110这两者的传感器能力，但在其他实施例中，DNN架构配置的选择仅限于实现DNN架构配置的设备的传感器配置。例如，针对BS108的给定传感器配置的DNN的单独或联合训练可以完全独立于UE 110所使用的传感器，并且因此UE 110的特定传感器能力可以不影响针对BS108的DNN的DNN架构配置的选择，并且反之亦然。

框604进一步包括基于传感器能力针对UE 110选择适当的DNN架构配置。在一些实施例中，BS神经网络管理器244选择要由UE 110的DNN采用的DNN架构配置，并且向UE 110发射所选择的DNN架构配置的指示符，或者发射表示所选择的DNN架构配置本身的数据以用于实施方式。例如，在其中UE 110的DNN已经以取决于在BS108处采用的特定传感器配置的方式被训练的实施方式中，则对于BS108更实际的是使用其当前传感器配置的知识以针对UE110选择适当的DNN架构实施方式，而不是向UE 110供应BS108的传感器配置的一些指示。在其他实施例中，UE 110的UE神经网络管理器220基于不取决于来自BS108的指示的UE 110的当前传感器配置来选择DNN架构配置以实现。例如，可用于UE 110的实施方式的DNN架构配置可以不取决于BS108的特定传感器配置，或者UE 110可以诸如通过假设默认传感器配置或通过基于数据库从与BS108相关联的标识符、或其他源获得BS108的传感器配置，来分离地获得关于BS108的传感器配置的信息。

简要地转向图7，根据一些实施例示出了框604的过程的示例实施方式。对于这种实施方式，假设BS108相对于UE 110的DNN配置和传感器配置来控制UE 110的某些操作方面，诸如针对传感器融合方案以在UE 110处采用的传感器组210中的那些传感器的选择以及要在UE 110的DNN处实现的DNN配置架构。因此，在框702处，BS神经网络管理器244基于由UE 110通告的传感器能力，并且在一些实施例中，基于UE 110的基于兼容的传感器能力训练的先前训练的DNN架构配置，来选择要实现的传感器配置。BS108然后经由控制信道或其他通信路径向UE 110发射所选择的传感器配置的指示。

在框704处，UE 110接收所选择的传感器配置的指示，并且然后选择性地激活或停用传感器组210的传感器以实现所指示的传感器配置。注意，未被包括在传感器配置中的传感器的停用不需要出于所有目的而停用传感器，而仅仅是为了从该传感器提供传感器数据130、164作为到对应DNN的输入的目的而使传感器被有效地停用。这能够通过传感器的实际断电或其他停用来实现。然而，传感器可能仍用于其他操作，并且因此传感器管理模块226代替地能够被配置成防止来自该传感器的任何传感器数据被输入到UE 110的DNN，而代替完全地停用传感器。为了说明，UE的成像相机可以不用于提供要与在UE 110的DNN处的输入通信信息融合的传感器输入，但是此时可以采用它来捕获周围环境的视频。因此，传感器管理模块226可以操作以从被馈送到UE 110的DNN的输入的传感器数据中过滤掉由成像相机捕获的视频内容。

在框706处，BS神经网络管理器244确定要在所选择的传感器配置中激活的UE 110的传感器组210中的任何传感器是否是在许可频带中操作的传感器，这通常要求传感器被分配时间资源或频率资源中一个或两个(诸如特定信道频率或频谱的分配)以便以限制对其他传输的影响的方式进行操作。如果传感器配置包括UE 110的一个或多个这样的传感器，则在框708处，BS108的RF资源管理模块254操作以将适当的资源分配给需要这样的分配的UE 110的一个或多个传感器，并且将针对所识别的传感器所分配的资源的表示发射给UE110。在框710处，UE 110的RF资源管理模块228接收所指示的资源分配并且相应地配置传感器组210中受影响的传感器210。为了说明，UE 110的雷达传感器可配置为在许可或轻度许可的频谱内的多种频率中的任何频率下操作，并且因此BS108可以为雷达传感器选择特定操作频率以减少雷达信令干扰UE 110附近的其他设备的机会。

应当理解，在一些实例中，UE 110可能无法实现由BS108规定的传感器配置，无论是在初始配置处还是由于随着操作进展情况中的改变。例如，在向BS108通告传感器能力和开始传感器配置过程之间的时间中，由UE 110通告为可用的传感器中的一个可能已经变得不可用，诸如因为传感器正在被用于另一过程，以某一方式使其并发地不适合在传感器和收发器融合方案中使用，因为UE 110缺乏足够的剩余电池电量以使得不建议传感器的操作等。因此，如框712所示，当BS 108向UE 110发送UE 110实际上不能支持的传感器配置时，无论是最初还是稍后在继续操作期间，UE 110能够操作以向BS108发射未应答(NACK)消息或其他无法实现指定的传感器配置的指示。作为响应，BS108能够选择不包括受影响的传感器的不同的传感器配置。同样地，如果UE 110已经接收并且实现了指定的传感器配置，但是传感器组210的环境改变使得传感器配置的一个或多个传感器受到影响，则框712还表示UE110用信号通知当前的传感器配置不再可用的过程，并且因此触发BS108停止继续使用当前的DNN并且重新开始方法600的过程，以选择避免使用不可用的传感器的新的传感器配置并且选择和实现适当的与新选择的传感器配置兼容的DNN架构配置。

返回到图6，在针对BS108和UE 110中的每个DNN选择DNN架构配置的情况下，在框606处，BS神经网络管理器244根据为BS108选择的所选择的DNN架构配置来配置BS108的DNN，并且UE神经网络管理器220根据为UE 110选择的所选择的DNN架构配置来配置UE 110的DNN。在DNN被发起之后，在框608处，BS108和UE 110能够进行利用发起的DNN的UL和DL传输。

当使用关于BS108和UE 110之间的RF信号传播环境的传感器数据时，由BS108和UE110的经过训练的DNN提供的传感器和收发器融合方案促进了BS108和UE 110之间的有效RF通信，其能够允许DNN更有效地控制用于传送传出信息和传入信息的通信方案。这通过以下示例来说明。

在一个示例中，BS108的DL TX处理模块406的一个或多个DNN在训练集上进行训练，该训练集包括与BS108的传感器组240中采用的雷达传感器等效的测试BS雷达传感器生成的传感器数据。因此，在操作时，来自BS108的雷达传感器的传感器数据被供应给DNN。在例如来自雷达传感器的传感器数据指示在BS108和UE 110之间的LOS路径中存在干扰对象的实例中，这种情况可能导致DL TX处理模块406的一个或多个DNN实际上重建或以其他方式识别BS108与UE 110之间的主要NLOS传播路径并且生成包括控制信令的输出，该控制信令指示BS108的RF前端234采用BS108的天线阵列230的5G NR毫米波(mmWave)波束成形配置，以便指引传输波束用于传送表示被并发地输入到DL TX处理模块406的DNN并且由DL TX处理模块406的DNN处理的DL信息块的RF信号。

作为另一示例，UE 110的UL TX处理模块404的一个或多个DNN当前可以实现在来自GNSS传感器的传感器数据上训练的DNN架构配置。当UE 110的传感器组210的等效GNSS传感器提供表示UE 110的位置、速度和方位的传感器数据时，输入到UL TX处理模块404的DNN的这种传感器数据实际上可以由DNN与传出信息块并发处理以形成包括控制信令的输出，该控制信令使得UE 110的RF前端204补偿由于UE 110的移动而引起的多普勒频移，以及协商调度和与BS108进行切换决策，以便例如从使用基于THz的RAT切换到使用4G LTE RAT，用于将表示传出信息块的所得的RF信令传送到BS108。

作为进一步基于调度/切换的示例，UE 110的UL TX处理模块404的一个或多个DNN当前可以实现在传感器上训练的DNN架构配置，所述DNN架构配置可以指示例如是否有去往和来自UE 110的毫米波信令被阻挡，诸如经由检测到干扰对象的存在的成像器或雷达。当来自传感器组210的传感器数据提供表示这种阻塞的传感器数据时，输入到UL TX处理模块404的DNN的这种传感器数据实际上可以由DNN与传出信息块并发处理以形成包括控制信令的输出，该控制信令使得UE 110的RF前端204在未被检测到的干扰对象阻挡的较低频带上调度所得的传输。

作为又一示例，UE 110的UL TX处理模块404的一个或多个DNN当前可以实现在来自相机的传感器数据和来自IMU的传感器数据上训练的DNN架构配置。当UE 110的传感器组210的等效相机和等效陀螺仪提供表示密叶分支被插入在UE 110和BS108的当前激活的天线阵列203之间的LOS路径中的传感器数据时，输入到UL TX处理模块404的DNN的这种传感器数据实际上可以由DNN与传出信息块并发处理以形成包括控制信令的输出，以使得UE110的RF前端204或者增加当前活动天线阵列203的发射功率以尝试克服可能由分支呈现的衰减，或者切换到使用在UE 110和BS108之间呈现合适的NLOS路径的不同天线阵列203。同样的，在这个示例中，BS108采用在UL RX处理模块408中的一个或多个DNN实现在来自相机的传感器数据上训练的DNN架构配置，使得来自同样指示在LOS路径中存在叶状分支的BS108的相机的传感器数据实际上导致在UL RX处理模块408中的一个或多个DNN生成作为其输出控制信令的一部分，以导致BS108的RF前端234进行提高接收器灵敏度或者切换到另一个天线阵列230中的一个或两个以补偿由叶状分支引起的预期干扰。

作为附加示例，UE 110可以被实现为具有相机的智能手表，并且UL TX处理模块404的一个或多个DNN实现使用来自等效相机的训练传感器数据训练的DNN架构配置。当用户的外套袖子正在覆盖智能手表时，这在由相机提供的传感器数据中表示，并且实际上能够使得UL TX处理模块404的一个或多个DNN生成包括控制信令的输出以指引UE 110的RF前端204或者增加发射功率以试图克服由覆盖的外套袖子引起的可能的信号干扰，或者协商切换到较低频谱中的信令，以便减轻外套袖子的RF吸收。

作为进一步的示例，UE 110可以被实现为具有电容式触摸屏的智能手机或平板计算机，并且UL TX处理模块404的一个或多个DNN实现使用来自等效触摸屏的训练传感器数据训练的DNN架构配置。当UE 110的触摸屏提供指示用户与触摸屏接触的传感器数据时，这指示用户正在位于面向触摸屏的高似然性。因此，来自触摸屏的指示当前用户接触的传感器数据实际上能够向UL TX处理模块404的一个或多个DNN通知UE 110相对于用户的可能定向，并且因此使得这些一个或多个DNN生成包括控制信令的输出以指引UE 110的RF前端204控制波束成形，以便利用不与用户的身体相交的波束方向，并且因此避免以其他方式会由用户相对于UE 110的位置引起的RF干扰。

现在转向图8和图9，根据至少一个实施例示出了描绘根据基于神经网络的传感器和收发器融合方案的BS108和UE 110的配置和操作的示例的事务图。图8示出了用于实现根据BS108和UE 110的所选择的传感器配置训练的特定DNN架构配置的BS108和UE 110的初始配置的事务图800。该过程在框802处被发起，其中由UE 110将其当前传感器能力的表示发射到BS108，作为例如通常由UE响应于来自BS的UECapabilitiesEnquiry RRC消息而提供的UECapabilitiesInformation RRC消息的一部分。

在框804处，BS108的BS神经网络管理器244考虑UE 110和BS108的所通告的传感器能力以确定要由UE 110实现的传感器配置，并且提供这个所选择的传感器配置的表示用于到UE 110的传输。在其他实施例中，不是为UE 110选择特定的传感器配置，而是BS108可以假设要实现由UE 110通告的所有传感器，或者可以存在能够适应不同传感器组合的可用的DNN架构配置，并且因此不需要为UE 110选择和指示特定的传感器配置。然而，对于下文，假设选择特定的传感器配置并且将其发射到UE 110。作为响应，UE 110的传感器管理模块226评估所建议的传感器配置并且取决于UE 110是否能够实现所建议的传感器配置来以ACK或NACK消息进行回复。为了说明，在一些实例中，选择包含在传感器配置中的传感器当前可能以与其在传感器和收发器融合方案中的预期用途不兼容的方式使用，或者在UE 110处情况已经改变，使得UE 110不再能够将特定的传感器维持在激活状态，诸如当电池电量低于特定阈值或用户已经手动停用传感器时。在这种实例中，可以从UE 110向BS108发射NACK，这进而触发BS108基于这个信息来选择不同的传感器配置。然而，出于这个示例的目的，假设所建议的传感器配置已经被UE 110接受，并且因此在框806处ACK消息被发射回BS108以应答所提出的传感器配置的接收。

在所建议的传感器配置被接受的情况下，在框808处，传感器管理模块226配置UE110的传感器组210以实现所建议的传感器配置。这能够包括激活在传感器配置中包括的那些传感器并且停用其余的传感器或实现过滤器，以便仅将来自传感器配置中包括的那些传感器的传感器数据提供为到对应DNN的输入。在一些实施例中，BS108还可以具有用于向BS108的RX和TX处理模块提供传感器数据的对应传感器配置，在这种情况下，在框810处，BS108的传感器管理模块252实现BS108的传感器配置，诸如通过实现一个或多个过滤器以仅将来自被包括在BS传感器配置中的传感器组240的传感器的传感器数据提供给BS108的TX和RX模块。

在这个示例中，被包括在UE传感器配置中的一个或多个传感器在许可频带中操作，并且因此在框812处，BS108的RF资源管理模块254确定资源分配配置，该资源分配配置包括将时间资源或频率资源中的一个或两个分配给每个这样的传感器，并且将资源分配配置的表示发射给UE 110。UE 110的RF资源管理模块228评估这个资源分配配置以确定其是否能够被实现用于传感器组210的对应传感器，并且在框814处，UE 110取决于是否能够实现所建议的资源分配配置来发送ACK消息或NACK消息。为了下文的目的，假设能够实现资源分配配置，并且因此发送ACK消息。因此，在框816处，UE 110的传感器管理模块226配置传感器组210的受影响的传感器以实现在资源分配配置中指示的时间/频率资源。

在框818处，BS108选择要由BS108和UE 110的DNN实现的DNN架构配置。在所示示例中，BS108基于先前选择用于实施方式的传感器配置来做出这个选择，使得BS108选择已经被训练或以其他方式被配置为与由对应传感器配置的传感器提供的传感器数据类型兼容的那些DNN架构配置。然而，在其他实施例中，BS108代替地可以首先选择要采用的DNN架构配置，并且然后基于所选择的DNN架构配置为BS108和UE 110中的一个或两个来选择兼容的传感器配置。然后，BS108向UE 110发射针对在UE 110的DL RX处理模块402和UL TX处理模块404处实现的每个DNN所选择的DNN架构配置的表示。这个表示能够包括，例如，与本地存储在UE 110处的或者UE 110可从BS108或另一实体获得的与每个DNN架构配置相关联的对应唯一标识符。在其他实施例中，UE 110被配置成独立于BS108来选择其自己的DNN架构配置。在任一方法中，在框820处，UE神经网络管理器220将DL RX处理模块402和UL TX处理模块404配置为针对UE 110实现所识别的DNN架构配置。同样，在框822处，BS神经网络管理器244配置DL TX处理模块406和UL RX处理模块408以实现BS108的所识别的DNN架构配置。

在配置了DNN的情况下，BS108和UE 110准备好开始基于传感器融合的、DNN促进的通信。图9示出了描绘如从图8的事务图800配置的BS108和UE 110之间的示例DL传输和示例UL传输的事务图900。在框902处，BS108的处理器或其他组件生成要以DL信息块的形式被传送到UE 110的信息，该DL信息块具有比特序列或其他比特结构的形式，其被提供作为到DLTX处理模块406的一个或多个DNN的输入。并发地，在框904处，来自在BS传感器配置中包括的BS108的传感器组240的传感器的传感器数据被提供作为到DL TX处理模块406的一个或多个DNN的输入。这些DNN根据其配置的DNN架构配置来处理这两个输入以生成输出作为DLRF传输906，该输出包括要由BS108的RF前端234转换为RF信令的信息比特，并且可以进一步包括用于控制RF前端234的操作的控制信令，诸如用于实现特定的波束管理配置、控制各种RF传输参数——诸如传输功率或频带、控制所采用的特定RAT以生成对应的RF信令等的控制信令。

在UE 110处，在框908处，被包括在UE传感器配置中的传感器组210的传感器提供当前传感器数据作为到RX处理模块402的一个或多个DNN的输入。并发地，UE 110的RF前端204接收表示DL传输的RF信号，并且将RF信号转换为一个或多个输出(例如，基带信号)，这些输出被提供作为到RX处理模块402的一个或多个DNN的输入。然后，RX处理模块402的一个或多个DNN处理这个输入以及传感器数据输入，以在框910处生成输出，该输出能够包括表示在BS108处生成的DL信息块的信息的DL信息块。此外，在一些实施例中，这个输出能够包括用于在RF前端204操作以接收RF信号时控制RF前端204的控制信息，诸如用于控制波束成形配置、接收灵敏度等的控制信令。然后，所生成的下行链路信息块被提供给UE 110的处理器或其他组件以用于进一步处理。

对于上行链路过程，在框912处，UE 110的处理器或其他组件生成要以UL信息块的形式传送到BS108的信息，该UL信息块具有比特序列或其他比特结构的形式，其被提供为到UE 110的UL TX处理模块404的一个或多个DNN的输入。并发地，在框914处，来自被包括在UE传感器配置中的UE的传感器组210的传感器的传感器数据被提供作为到UL TX处理模块404的一个或多个DNN的输入。这些DNN根据其配置的DNN架构配置来处理这两个输入以生成包括要由UE 110的RF前端204转换为RF信令的信息比特的输出作为UL RF传输916，并且进一步可以包括控制信令以控制RF前端204的操作。

在BS108处，在框918处，被包括在BS传感器配置中的传感器组240的传感器提供当前传感器数据作为到UL RX处理模块408的一个或多个DNN的输入。并发地，在框920处，BS108的RF前端234接收表示UL RF传输916的RF信号并且将RF信号转换为一个或多个输出，这些输出被提供为到UL RX处理模块408的一个或多个DNN的输入。然后，UL RX处理模块408的一个或多个DNN处理这个输入以及传感器数据输入，以在框920处生成输出，该输出能够包括表示在UE 110处生成的UL信息块的信息的UL信息块。此外，在一些实施例中，这个输出能够包括用于在RF前端234操作以接收RF信号时控制RF前端234的控制信息。然后，所生成的UL信息块被提供给BS108的处理器或其他组件以用于进一步处理。

在一些实施例中，上述技术的某些方面可以由施行软件的处理系统的一个或多个处理器来实现。软件包括存储在或以其他方式有形地体现在非暂时性计算机可读存储介质上的一组或多组可执行指令。软件能够包括指令和某些数据，所述指令和某些数据在由一个或多个处理器执行时操纵一个或多个处理器以执行上述技术的一个或多个方面。非暂时性计算机可读存储介质能够包括例如磁盘或光盘存储设备、诸如闪存的固态存储设备、缓存、随机存取存储器(RAM)或其他一个或多个非易失性存储设备等。存储在非暂时性计算机可读存储介质上的可执行指令可以是源代码、汇编语言代码、目标代码、或由一个或多个处理器解释或以其他方式可执行的另一指令格式。

计算机可读存储介质可以包括在使用期间可由计算机系统访问以向计算机系统提供指令和/或数据的任何存储介质或存储介质的组合。这样的存储介质可以包括但不限于光学介质(例如，光盘(CD)、数字多功能盘(DVD)、蓝光盘)、磁介质(例如，软盘、磁带或磁硬盘驱动器)、易失性存储器(例如，随机存取存储器(RAM)或缓存)、非易失性存储器(例如，只读存储器(ROM)或闪存)、或基于微机电系统(MEMS)的存储介质。计算机可读存储介质可以被嵌入在计算系统中(例如，系统RAM或ROM)、固定地附接到计算系统(例如，磁性硬盘驱动器)、可拆卸地附接到计算系统(例如，光盘或基于通用串行总线(USB)的闪存)，或者经由有线或无线网络(例如，网络可访问存储(NAS))耦合到计算机系统。

请注意，并非一般描述中上述的所有活动或元素都是必需的，特定活动或设备的一部分可能不是必需的，并且除了所描述的那些还可以执行一个或多个进一步的活动，或者包括一个或多个进一步的元素。此外，列出活动的次序不一定是它们执行的次序。此外，已经参考具体实施例描述了这些概念。然而，本领域普通技术人员应当理解，在不脱离所附权利要求中阐述的本公开的范围的情况下，可以做出各种修改和改变。因此，说明书和附图应当被认为是说明性的而不是限制性的，并且所有这样的修改旨在被包括在本公开的范围内。

上面已经结合具体实施例描述了益处、其他优点以及问题的解决方案。然而，益处、优点、问题的解决方案以及可能导致任何益处、优点或解决方案出现或变得更加明显的任何特征不应被解释为任一个或所有权利要求的关键的、所需的或必要的特征。此外，上面公开的特定实施例仅是说明性的，因为所公开的主题可以以对于受益于本文的教导的本领域技术人员显而易见的不同但等效的方式进行修改和实践。除了所附权利要求中描述的之外，不旨在限制本文所示的构造或设计的细节。因此，显而易见的是，上面公开的特定实施例可以被改变或修改，并且所有这样的变化被认为在所公开的主题的范围内。因此，本文所寻求的保护如所附权利要求中所阐述。

Claims (20)

1.一种在数据发送设备(110)中的计算机实现的方法，包括：

接收第一信息块(128)作为到所述数据发送设备的发射器神经网络(120)的输入，所述第一信息块表示要被发射到数据接收设备(108)的一组信息比特；

从所述数据发送设备的第一组一个或多个传感器中接收第一组传感器数据(138)作为到所述发射器神经网络的输入；

在所述发射器神经网络处处理所述第一信息块和所述第一组传感器数据以生成第一输出(132)；以及

基于所述第一输出控制所述数据发送设备以生成用于无线传输到所述数据接收设备的第一RF信号(134)。

2.根据权利要求1所述的方法，进一步包括以下中的一个：

基于所述数据发送设备或所述数据接收设备中的至少一个的传感器能力来识别要由所述数据发送设备实现的神经网络架构配置(224)，并且实现所述发射器神经网络的所述神经网络架构配置；或者

将所述数据发送设备的传感器能力的指示(802)发射到所述数据接收设备，从所述数据接收设备接收基于所述数据发送设备的所述传感器能力的神经网络架构配置的表示(804)，并且实现所述发射器神经网络的所述神经网络架构配置。

3.根据权利要求1所述的方法，进一步包括：

从所述数据接收设备接收所述数据接收设备的传感器能力的表示；

基于所述数据接收设备的所述传感器能力来确定要由所述数据接收设备的接收器神经网络(126)实现的神经网络架构配置(248)；以及

将所述神经网络架构配置的表示发射到所述数据接收设备。

4.根据任一项前述权利要求所述的方法，进一步包括：

参与所述发射器神经网络的所述神经网络架构配置与所述数据接收设备的接收器神经网络的神经网络架构配置的联合训练。

5.根据任一项前述权利要求所述的方法，进一步包括：

从所述数据接收设备接收传感器配置的表示，所述传感器配置从所述数据发送设备的多个传感器中识别所述第一组一个或多个传感器；以及

基于所述传感器配置来选择性地激活所述第一组一个或多个传感器。

6.根据任一项前述权利要求所述的方法，进一步包括以下中的至少一个：

从所述数据接收设备接收要由在许可频谱中操作的所述第一组一个或多个传感器中的传感器利用的时间资源或频率资源的表示(812)；或者

向所述数据接收设备发射要由在许可频谱中操作的所述数据接收设备的传感器利用的时间资源或频率资源的表示。

7.根据任一项前述权利要求所述的方法，进一步包括：

确定所述第一组(210)一个或多个传感器中的至少一个传感器不可用；

基于排除不可用的所述至少一个传感器的所述数据发送设备的传感器能力，在所述数据发送设备的所述发射器神经网络处实现神经网络架构配置(224)；

接收第二信息块作为到所述数据发送设备的所述发射器神经网络的输入；

从所述数据发送设备的所述第一组一个或多个传感器接收第二组传感器数据作为到所述发射器神经网络的输入；

在所述发射器神经网络处处理所述第二信息块和所述第二组传感器数据以生成第二输出；以及

基于所述第二输出来控制所述数据发送设备的RF收发器以生成用于无线传输到所述数据接收设备的第二RF信号。

8.根据任一项前述权利要求所述的方法，其中，基于所述第一输出来控制所述数据发送设备包括控制以下至少一项：调度决策；基于所述第一输出的所述数据接收设备的切换决策；或者基于所述第一输出的所述RF收发器的波束管理操作。

9.一种在数据接收设备(110)中的计算机实现的方法，包括：

从所述数据接收设备的射频(RF)收发器(150)接收第一输出(162)作为到所述数据接收设备的接收器神经网络(152)的第一输入；

从所述数据接收设备的第一组一个或多个传感器接收第一组传感器数据(164)，作为到所述接收器神经网络的第二输入；

在所述接收器神经网络处处理所述第一输入和所述第二输入以生成第二输出；以及

在所述数据接收设备处处理所述第二输出以生成表示由数据发送设备传送的信息的第一信息块(166)。

10.根据权利要求9所述的方法，进一步包括以下中的一个：

基于所述数据接收设备的传感器能力来识别将由所述数据接收设备实现的神经网络架构配置(224)并且实现所述接收器神经网络的所述神经网络架构配置；或者

将所述数据接收设备的传感器能力的指示(802)发射到所述数据发送设备，从所述数据发送设备接收基于所述数据接收设备的所述传感器能力的神经网络架构配置的表示(804)，并且实现所述接收器神经网络的所述神经网络架构配置。

11.根据权利要求9所述的方法，进一步包括：

从所述数据发送设备接收所述数据发送设备的传感器能力的表示(802)；

基于所述数据发送设备的所述传感器能力来确定要由所述数据发送设备的发射器神经网络(146)实现的神经网络架构配置；以及

将所述神经网络架构配置的表示发射到所述数据发送设备。

12.根据权利要求9至11中任一项所述的方法，进一步包括：

参与所述接收器神经网络的所述神经网络架构配置与所述数据发送设备的发射器神经网络(146)的神经网络架构配置的联合训练。

13.根据权利要求9至12中任一项所述的方法，进一步包括：

从所述数据发送设备接收传感器配置的表示，所述传感器配置从所述数据接收设备的多个传感器中识别所述第一组一个或多个传感器；以及

基于所述传感器配置选择性地激活所述第一组一个或多个传感器。

14.根据权利要求9至13中任一项所述的方法，进一步包括以下中的一个：

从所述数据发送设备接收要由在许可频谱中操作的所述第一组一个或多个传感器中的传感器利用的时间资源或频率资源的表示(812)；或者

向所述数据发送设备发射要由在许可频谱中操作的所述数据发送设备的传感器利用的时间资源或频率资源的表示。

15.根据权利要求9至14中任一项所述的方法，进一步包括：

确定所述第一组一个或多个传感器中的至少一个传感器不可用；

基于排除不可用的所述至少一个传感器的所述数据接收设备的传感器能力，在所述数据接收设备的所述接收器神经网络处实现神经网络架构配置；

从所述数据接收设备的所述RF收发器接收第二输出作为到所述接收器神经网络的第三输入；

从所述数据接收设备的所述第一组一个或多个传感器接收第二组传感器数据，作为到所述接收器神经网络的第四输入；

在所述接收器神经网络处处理所述第三输入和所述第四输入以生成第三输出；以及

在所述数据接收设备处处理所述第三输出以生成表示由所述数据发送设备传送的信息的第二信息块。

16.根据权利要求1至15中任一项所述的方法，其中，所述第一组一个或多个传感器包括以下中的至少一个：对象检测传感器、定位传感器、图像传感器、用户界面传感器和姿势传感器。

17.根据权利要求16所述的方法，其中，所述用户界面传感器包括触摸传感器、音频传感器和光传感器中的至少一个。

18.根据权利要求1至17中任一项所述的方法，其中：

所述数据发送设备包括蜂窝网络的基站(BS)，并且所述数据接收设备包括所述蜂窝网络的用户设备(UE)；或者

所述数据发送设备包括蜂窝网络的UE，并且所述数据接收设备包括所述蜂窝网络的BS。

19.一种数据接收设备(108、110)，包括：

多个传感器(240、210)，所述多个传感器包括第一组一个或多个传感器；

射频收发器(234、204)；

至少一个处理器(236、206)，所述至少一个处理器被耦合到所述射频收发器和所述多个传感器；以及

一种存储指令集的非暂时性计算机可读介质(238、208)，所述指令集被配置成操纵所述至少一个处理器以执行根据权利要求9至18中任一项所述的方法。

20.一种数据发送设备(108、110)，包括：

多个传感器(240、210)，所述多个传感器包括第一组一个或多个传感器；

射频收发器(234、204)；

至少一个处理器(236、206)，所述至少一个处理器被耦合到所述射频收发器和所述多个传感器；以及

一种存储指令集的非暂时性计算机可读介质(238、208)，所述指令集被配置成操纵所述至少一个处理器以执行根据权利要求1至8中任一项所述的方法。