CN118523858A - 模型性能监控方法及装置 - Google Patents

Abstract

本申请实施例提供一种模型性能监控方法及装置，属于通信技术领域；该方法包括：测量网络侧在多个第一波束集合的波束上发送的参考信号；获得所述多个第一波束集合分别对应的波束测量结果；其中，所述多个第一波束集合分别对应的波束测量结果用于获得所述模型的性能监控结果，可以节省空口资源、基站的能耗和终端的能耗。

Description

模型性能监控方法及装置

技术领域

本申请涉及通信技术领域，尤其涉及一种模型性能监控方法及装置。

背景技术

相关技术中，为了解决新无线(New Radio，NR)下行波束管理场景中资源消耗较大的问题，使用人工智能(Artificial Intelligence/Machine Learning，AI/ML)技术进行波束管理，主要是预测基站和终端之间的最优下行波束；为了使基于AI/ML的波束管理可以根据通信情况的变化更新波束管理算法，需要对AI/ML模型进行性能监控；而相关技术中对AI/ML模型进行性能监控的方法对空口资源、基站的能耗和终端的能耗消耗较大。

发明内容

本申请实施例提供一种模型性能监控方法及装置，用以节省基站和终端的能耗。

第一方面，本申请实施例提供一种模型性能监控方法，包括：

测量网络侧在多个第一波束集合的波束上发送的参考信号；

获得所述多个第一波束集合分别对应的波束测量结果；

其中，所述多个第一波束集合分别对应的波束测量结果用于获得所述模型的性能监控结果。

可选地，根据本申请一个实施例的模型性能监控方法，在测量网络侧在多个第一波束集合的波束上发送的参考信号之后，所述方法还包括：

在确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集的情况下，基于所述多个第一波束集合分别对应的波束测量结果，确定所述第二波束集合的波束测量结果；

基于所述第二波束集合的波束测量结果对模型的性能进行监控，获得性能监控结果。

可选地，根据本申请一个实施例的模型性能监控方法，在测量网络侧在多个第一波束集合的波束上发送的参考信号之后，所述方法还包括：

在确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集的情况下，基于所述多个第一波束集合分别对应的波束测量结果，确定所述第二波束集合的波束测量结果；

将所述第二波束集合的波束测量结果与所述模型的输出结果发送给网络侧。

可选地，根据本申请一个实施例的模型性能监控方法，所述方法还包括：

获取所述多个第一波束集合中各波束分别对应的波束标识；

所述确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集，包括：

基于所述多个第一波束集合中各波束分别对应的波束标识，与波束预测集合中各波束分别对应的波束标识，确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集；

其中，所述波束预测集合中各波束分别对应的波束标识由网络侧配置得到或基于预定义确定。

可选地，根据本申请一个实施例的模型性能监控方法，所述测量网络侧在多个第一波束集合的波束上发送的参考信号，包括：

接收网络侧基于预设图样集合发送的多个第一波束集合；

所述方法还包括：获取所述多个第一波束集合分别对应的图样标识，其中，所述预设图样集合中每一个图样分别对应一个波束集合；

所述确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集，包括：

在基于所述多个第一波束集合分别对应的图样标识，确定接收到所述预设图样集合中各图样分别对应的波束集合的情况下，确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集；

其中，所述预设图样集合中各图样的图样标识由网络侧配置得到或基于预定义确定。

可选地，根据本申请一个实施例的模型性能监控方法，所述测量网络侧在多个第一波束集合的波束上发送的参考信号，包括：

接收网络侧基于预设图样集合发送的多个第一波束集合；

所述方法还包括：获取所述多个第一波束集合中所有波束分别对应的波束标识，其中，所述预设图样集合中每一个图样分别对应一个波束集合；

所述确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集，包括：

在基于所述多个第一波束集合中各波束分别对应的波束标识，确定接收到所述预设图样集合中各图样分别对应的波束集合的情况下，确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集；

其中，所述预设图样集合所包括的波束的波束标识由网络侧配置得到或基于预定义确定。

可选地，根据本申请一个实施例的模型性能监控方法，所述方法还包括：

获取所述多个第一波束集合分别对应的波束集合标识；

所述确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集，包括：

在基于所述多个第一波束集合分别对应的波束集合标识，确定接收到预设波束集合中所有波束集合的情况下，确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集；

其中，所述多个第一波束集合分别对应的波束集合标识由网络侧配置得到或基于预定义确定。

可选地，根据本申请一个实施例的模型性能监控方法，所述测量网络侧在多个第一波束集合的波束上发送的参考信号之后，所述方法还包括：

确定接收到的多个第一波束集合的数量；

所述确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集，包括：

在确定接收到的多个第一波束集合的数量满足预设数量的情况下，确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集；

其中，所述预设数量由网络侧配置得到或基于预定义确定。

可选地，根据本申请一个实施例的模型性能监控方法，所述性能监控结果包括以下一项或多项：

所述模型对最优波束预测的准确率；

所述模型对多个最优波束预测的准确率；

所述模型对预测得到的最优波束的RSRP进行预测的误差值；

所述模型对预测得到的最优波束的CIR进行预测的误差值；

所述模型对预测得到的最优波束的PDP进行预测的误差值；

所述模型对预测得到的最优波束的RSRQ进行预测的误差值；

所述模型对预测得到的最优波束的SINR进行预测的误差值；

所述模型对最优波束的RSRP进行预测的误差值；

所述模型对最优波束的CIR进行预测的误差值；

所述模型对最优波束的PDP进行预测的误差值；

所述模型对最优波束的RSRQ进行预测的误差值；

所述模型对最优波束的SINR进行预测的误差值；

所述模型对预测得到的最优波束的系统性能进行预测的预测结果。

可选地，根据本申请一个实施例的模型性能监控方法，所述方法还包括以下一项或多项：

在所述性能监控结果和/或所述性能监控结果的平均值处于预设上限和预设下限之间的情况下，确定所述模型可用，否则，确定所述模型不可用；

或者，在所述性能监控结果和/或所述性能监控结果的平均值处于第一门限和第二门限之间的情况下，确定所述模型可用，否则，确定所述模型不可用，其中，所述第一门限小于或等于预设上限，所述第二门限大于或等于预设下限，所述第一门限大于或等于第二门限。

可选地，根据本申请一个实施例的模型性能监控方法，所述方法还包括以下一项或多项：

在所述性能监控结果和/或所述性能监控结果的平均值大于或等于第三门限的情况下，确定所述模型可用；

在所述性能监控结果和/或所述性能监控结果的平均值小于或等于第四门限的情况下，确定所述模型不可用；

在所述性能监控结果和/或所述性能监控结果的平均值小于第三门限，且大于第四门限的情况下，开始监控所述模型的备用模型或备用方法；

其中，所述第三门限大于第四门限。

第二方面，本申请实施例提供一种模型性能监控方法，包括：

在模型的性能监控结果和/或所述性能监控结果的平均值小于第三门限，且大于第四门限的情况下，开始监控所述模型的备用模型或备用方法；

其中，所述第三门限大于第四门限。

第三方面，本申请实施例提供一种模型性能监控方法，包括：

发送多个第一波束集合；

基于所述多个第一波束集合的波束测量结果，获得模型的性能监控结果。

可选地，根据本申请一个实施例的模型性能监控方法，所述基于所述多个第一波束集合的波束测量结果，获得模型的性能监控结果之前，所述方法还包括：

获得第二波束集合的波束测量结果；

其中，第二波束集合由多个第一波束集合所组成，所述第二波束集合与用于波束预测的波束预测集合相同，或所述第二波束集合是所述波束预测集合的子集。

可选地，根据本申请一个实施例的模型性能监控方法，所述获得第二波束集合的波束测量结果，包括：

接收终端发送的所述第二波束集合的波束测量结果。

可选地，根据本申请一个实施例的模型性能监控方法，所述获得第二波束集合的波束测量结果，包括：

接收终端发送的多个第一波束集合分别对应的波束测量结果；

基于所述多个第一波束集合分别对应的波束测量结果，确定所述第二波束集合的波束测量结果。

可选地，根据本申请一个实施例的模型性能监控方法，所述方法还包括：

发送所述多个第一波束集合中各波束分别对应的波束标识。

可选地，根据本申请一个实施例的模型性能监控方法，所述方法还包括：

向终端发送波束预测集合中各波束分别对应的波束标识。

可选地，根据本申请一个实施例的模型性能监控方法，所述发送多个第一波束集合，包括：

基于预设图样集合发送所述多个第一波束集合；

所述方法还包括：

发送所述多个第一波束集合分别对应的图样标识，其中，所述预设图样集合中每一个图样分别对应一个波束集合。

可选地，根据本申请一个实施例的模型性能监控方法，所述方法还包括：

向终端发送预设图样集合中各图样的图样标识。

可选地，根据本申请一个实施例的模型性能监控方法，所述发送多个第一波束集合，包括：

基于预设图样集合发送所述多个第一波束集合；

所述方法还包括：

发送所述多个第一波束集合中各波束分别对应的波束标识，其中，所述预设图样集合中每一个图样分别对应一个波束集合。

可选地，根据本申请一个实施例的模型性能监控方法，所述方法还包括：

向终端发送所述预设图样集合所包括的波束的波束标识。

可选地，根据本申请一个实施例的模型性能监控方法，所述发送多个第一波束集合，包括：

发送多个第一波束集合；

所述方法还包括：发送所述多个第一波束集合分别对应的波束集合标识。

可选地，根据本申请一个实施例的模型性能监控方法，所述方法还包括：

向终端发送预设波束集合。

可选地，根据本申请一个实施例的模型性能监控方法，所述方法还包括：

向终端发送预设数量。

可选地，根据本申请一个实施例的模型性能监控方法，所述性能监控结果包括以下一项或多项：

所述模型对最优波束预测的准确率；

所述模型对多个最优波束预测的准确率；

所述模型对预测得到的最优波束的RSRP进行预测的误差值；

所述模型对预测得到的最优波束的CIR进行预测的误差值；

所述模型对预测得到的最优波束的PDP进行预测的误差值；

所述模型对预测得到的最优波束的RSRQ进行预测的误差值；

所述模型对预测得到的最优波束的SINR进行预测的误差值；

所述模型对最优波束的RSRP进行预测的误差值；

所述模型对最优波束的CIR进行预测的误差值；

所述模型对最优波束的PDP进行预测的误差值；

所述模型对最优波束的RSRQ进行预测的误差值；

所述模型对最优波束的SINR进行预测的误差值；

所述模型对预测得到的最优波束的系统性能进行预测的预测结果。

可选地，根据本申请一个实施例的模型性能监控方法，所述方法还包括以下一项或多项：

在所述性能监控结果和/或所述性能监控结果的平均值处于预设上限和预设下限之间的情况下，确定所述模型可用，否则，确定所述模型不可用；

或者，在所述性能监控结果和/或所述性能监控结果的平均值处于第一门限和第二门限之间的情况下，确定所述模型可用，否则，确定所述模型不可用，其中，所述第一门限小于或等于预设上限，所述第二门限大于或等于预设下限，所述第一门限大于或等于第二门限。

可选地，根据本申请一个实施例的模型性能监控方法，所述方法还包括以下一项或多项：

在所述性能监控结果和/或所述性能监控结果的平均值大于或等于第三门限的情况下，确定所述模型可用；

在所述性能监控结果和/或所述性能监控结果的平均值小于或等于第四门限的情况下，确定所述模型不可用；

在所述性能监控结果和/或所述性能监控结果的平均值小于第三门限，且大于第四门限的情况下，开始监控所述模型的备用模型或备用方法；

其中，所述第三门限大于第四门限。

第四方面，本申请实施例提供一种模型性能监控方法，包括：

在模型的性能监控结果和/或所述性能监控结果的平均值小于第三门限，且大于第四门限的情况下，开始监控所述模型的备用模型；

其中，所述第三门限大于第四门限。

第五方面，本申请实施例还提供一种终端，包括存储器，收发机，处理器，其中：

存储器，用于存储计算机程序；收发机，用于在所述处理器的控制下收发数据；处理器，用于读取所述存储器中的计算机程序并执行以下操作：

测量网络侧在多个第一波束集合的波束上发送的参考信号；

获得所述多个第一波束集合分别对应的波束测量结果；

其中，所述多个第一波束集合分别对应的波束测量结果用于获得所述模型的性能监控结果。第六方面，本申请实施例还提供一种终端，包括存储器，收发机，处理器，其中：

存储器，用于存储计算机程序；收发机，用于在所述处理器的控制下收发数据；处理器，用于读取所述存储器中的计算机程序并执行以下操作：

在模型的性能监控结果和/或所述性能监控结果的平均值小于第三门限，且大于第四门限的情况下，开始监控所述模型的备用模型；

其中，所述第三门限大于第四门限。

第七方面，本申请实施例还提供一种网络侧设备，包括存储器，收发机，处理器，其中：

存储器，用于存储计算机程序；收发机，用于在所述处理器的控制下收发数据；处理器，用于读取所述存储器中的计算机程序并执行以下操作：

发送多个第一波束集合；

基于所述多个第一波束集合的波束测量结果，获得模型的性能监控结果。

第八方面，本申请实施例还提供一种网络侧设备，包括存储器，收发机，处理器，其中：

存储器，用于存储计算机程序；收发机，用于在所述处理器的控制下收发数据；处理器，用于读取所述存储器中的计算机程序并执行以下操作：

在模型的性能监控结果和/或所述性能监控结果的平均值小于第三门限，且大于第四门限的情况下，开始监控所述模型的备用模型；

其中，所述第三门限大于第四门限。

第九方面，本申请实施例还提供一种模型性能监控装置，包括：

测量模块，用于测量网络侧在第一波束集合的波束上发送的参考信号；

获取模块，用于获得所述多个第一波束集合分别对应的波束测量结果；

其中，所述多个第一波束集合分别对应的波束测量结果用于获得所述模型的性能监控结果。第十方面，本申请实施例还提供一种模型性能监控装置，包括：

第一确定模块，用于在模型的性能监控结果和/或所述性能监控结果的平均值小于第三门限，且大于第四门限的情况下，开始监控所述模型的备用模型或备用方法；

其中，所述第三门限大于第四门限。

第十一方面，本申请实施例还提供一种模型性能监控装置，包括：

发送模块，用于发送多个第一波束集合；

监控模块，用于基于所述多个第一波束集合的波束测量结果，获得模型的性能监控结果。

第十二方面，本申请实施例还提供一种模型性能监控装置，包括：

第二确定模块，用于在模型的性能监控结果和/或所述性能监控结果的平均值小于第三门限，且大于第四门限的情况下，开始监控所述模型的备用模型或备用方法；

其中，所述第三门限大于第四门限。

第十三方面，本申请实施例还提供一种处理器可读存储介质，所述处理器可读存储介质存储有计算机程序，所述计算机程序用于使所述处理器执行如上第一方面所述的模型性能监控方法的步骤。

第十四方面，本申请实施例还提供一种处理器可读存储介质，所述处理器可读存储介质存储有计算机程序，所述计算机程序用于使所述处理器执行如上第二方面所述的模型性能监控方法的步骤。

第十五方面，本申请实施例还提供一种处理器可读存储介质，所述处理器可读存储介质存储有计算机程序，所述计算机程序用于使所述处理器执行如上第三方面所述的模型性能监控方法的步骤。

第十六方面，本申请实施例还提供一种处理器可读存储介质，所述处理器可读存储介质存储有计算机程序，所述计算机程序用于使所述处理器执行如上第四方面所述的模型性能监控方法的步骤。

本申请实施例提供的模型性能监控方法及装置，通过接收网络侧发送的多个第一波束集合，在多个第一波束集合组合成波束预测集合或近似波束预测集合的第二波束集合的情况下，通过基于多个第一波束集合分别对应的波束测量结果，确定波束预测集合或近似波束预测集合的第二波束集合的波束测量结果，使用该波束测量结果对模型的性能进行监控，可以节省空口资源、基站的能耗和终端的能耗。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是下行波束空域预测流程示意图之一；

图2是下行波束空域预测流程示意图之二；

图3是下行波束时域预测流程示意图；

图4是本申请实施例提供的模型性能监控方法的流程示意图之一；

图5是本申请实施例提供的模型性能监控方法的流程示意图之二；

图6是本申请实施例提供的模型性能监控方法的流程示意图之三；

图7是本申请实施例提供的模型性能监控方法的流程示意图之四；

图8是本申请实施例提供的一种终端的结构示意图之一；

图9是本申请实施例提供的一种终端的结构示意图之二；

图10是本申请实施例提供的一种网络侧设备的结构示意图之一；

图11是本申请实施例提供的一种网络侧设备的结构示意图之二；

图12是本申请实施例提供的模型性能监控装置的结构示意图之一；

图13是本申请实施例提供的模型性能监控装置的结构示意图之二；

图14是本申请实施例提供的模型性能监控装置的结构示意图之三；

图15是本申请实施例提供的模型性能监控装置的结构示意图之四。

具体实施方式

本申请实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

本申请实施例中术语“多个”是指两个或两个以上，其它量词与之类似。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供了模型性能监控方法及装置，用以在对模型进行性能监控的同时节省空口资源、基站的能耗和终端的能耗。

其中，方法和装置是基于同一申请构思的，由于方法和装置解决问题的原理相似，因此装置和方法的实施可以相互参见，重复之处不再赘述。

本申请实施例提供的技术方案可以适用于多种系统，尤其是5G系统。例如适用的系统可以是全球移动通讯(global system of mobile communication，GSM)系统、码分多址(code division multiple access，CDMA)系统、宽带码分多址(Wideband CodeDivision Multiple Access，WCDMA)通用分组无线业务(general packet radio service，GPRS)系统、长期演进(long term evolution，LTE)系统、LTE频分双工(frequencydivision duplex，FDD)系统、LTE时分双工(time division duplex，TDD)系统、高级长期演进(long term evolution advanced，LTE-A)系统、通用移动系统(universal mobiletelecommunication system，UMTS)、全球互联微波接入(worldwide interoperabilityfor microwave access，WiMAX)系统、5G新空口(New Radio,NR)系统等。这多种系统中均包括终端设备和网络设备。系统中还可以包括核心网部分，例如演进的分组系统(EvlovedPacket System,EPS)、5G系统(5GS)等。

首先对以下内容进行介绍：

在NR下行波束管理场景中，相关技术需要基站循环在不同方向发送输出波束(Transmit波束，Tx波束)，终端(User Equipment，UE)使用接收波束(Receive波束，Rx波束)接收Tx波束，并测量所有Tx波束上发送的信道状况信息参考信号(Channel StateInformation Reference Signal，CSI-RS)/同步信号块(Synchronization Signal Block，SSB)信号，选出接收性能，比如参考信号接收功率(Reference Signal Received Power，RSRP)最好的波束(best波束)，用于后续基站使用该下行波束给UE传输信息。

相关技术中，CSI-RS/SSB需要在所有Tx波束上发送，资源消耗较大，同时，UE需要使用所有的Rx波束分别测量所有Tx波束上发送的CSI-RS/SSB信号，因此，UE实现较为复杂，并且测量开销较大。可以使用人工智能(AI/ML)技术，基于AI的波束管理主要是预测基站和UE之间的最优下行波束，例如基于对子集中下行波束的测量(第一波束集合波束)预测整体集合的下行波束(波束预测集合波束)中的最优波束；或者基于对过去集合中波束(第一波束集合波束)的测量结果预测未来波束集合中(波束预测集合波束)的最优波束，从而节省参考信号(Reference Signal，RS)发送资源、UE测量开销和UE测量时延。

由于AI算法基于数据训练获得。无线通信系统复杂多变，无法保证基于AI的波束管理总是具有较好的性能。如果基于AI的波束管理算法不适用于当前的信道条件，但终端或基站依然基于该算法进行波束预测，将导致基站获得错误的最优波束信息，影响下行传输的性能。为了解决这个问题，需要考虑AI/ML模型的性能监控问题。以用于模型的激活、去激活、选择、切换、回退和更新等，从而使得可以根据情况的变化更新波束管理算法。

如上所述，利用AI技术进行波束管理，主要目的是节省基站发送波束的数目以及UE测量波束的数目，或者预测未来波束信息，从而节省空口资源和基站和UE的能耗。但是为了进行模型监控，仍然需要发送波束预测集合中的波束，从而获得实际的最优波束与预测的最优波束的性能比较，所以空口资源和基站和UE的能耗并没有节省。

相关技术中，基于AI的波束预测有两个子用例，包括：下行波束的空域预测和下行波束的时域预测。

下行波束的空域预测，即用第一波束集合波束集合中的测量结果预测波束预测集合波束集合中的最优波束。其中第一波束集合和波束预测集合集合中的波束需要在同一频率范围内。

这里第一波束集合中的下行波束用于波束测量，测量结果被用于模型的输入；波束预测集合集合中的波束用于波束预测，即模型预测的输出是波束预测集合集合中最优的波束，或者最优的N个波束，或者是波束预测集合集合中波束的测量结果，例如RSRP。

对于下行波束的空域预测，波束预测集合和第一波束集合的关系有以下两种：

1、波束预测集合和第一波束集合是不同的(即第一波束集合不是波束预测集合的子集)；

图1是下行波束空域预测流程示意图之一，如图1所示，波束预测集合和第一波束集合是不同的，波束预测集合是CSI-RS的波束集合，第一波束集合是SSB的波束集合，利用宽波束的测量预测窄波束的最优波束，其中AI模型可以部署在UE侧也可以部署在gNB侧。

2、第一波束集合是波束预测集合的子集(波束预测集合和第一波束集合不同)；

图2是下行波束空域预测流程示意图之二，如图2所示，第一波束集合是波束预测集合的子集，波束预测集合有32个波束，第一波束集合有8个波束，测量少量的波束，就能预测更多波束的集合中的最优波束，从而可以减少基站发送参考信号所需要的资源以及UE的测量，其中AI模型可以部署在UE侧也可以部署在gNB侧。

每次训练或推理时，第一波束集合的波束在波束预测集合中的pattern可以是固定的，即每次训练和推理使用的pattern是一样的，或者随机的，即每次训练或推理使用不同的随机的pattern。

下行波束的时域预测，即用过去的第一波束集合波束集合中的测量结果预测未来波束预测集合波束集合中的最优波束。

图3是下行波束时域预测流程示意图，如图3所示，第一波束集合和波束预测集合集合中的波束需要在同一频率范围内。其中，可以测量过去N+1(t0,t1,…tN)个最近的测量实例中的波束集合，预测未来X(X>＝1)个时间实例的最优波束，其中AI模型可以部署在UE侧也可以部署在gNB侧。

对于下行波束的时域预测，波束预测集合和第一波束集合的关系有以下三种：

1、波束预测集合和第一波束集合是不同的(即第一波束集合不是波束预测集合的子集)，例如，波束预测集合是CSI-RS的波束集合，第一波束集合是SSB的波束集合，利用宽波束的测量预测窄波束的最优波束。

2、第一波束集合是波束预测集合的子集(波束预测集合和第一波束集合不同)，例如，波束预测集合有32个波束，第一波束集合有8个波束，测量少量的波束，就能预测更多波束的集合中的最优波束，从而可以减少UE的测量或上报。

3、第一波束集合和波束预测集合是相同的，例如，波束预测集合有32个波束，第一波束集合也是同样的32个波束。这种场景，UE测量或上报量会很大，无法实现，但是这个场景主要可以用于研究单纯时域预测的性能，因此，该场景还是有仿真和研究的价值的。

每次训练或推理时，第一波束集合的波束在波束预测集合中的pattern可以是固定的，即每次训练和推理使用的pattern是一样的，或者随机的，即每次训练或推理使用不同的随机的pattern。

对于下行波束的空域预测和下行波束的时域预测，可以预测的波束种类包括：

1、下行Tx波束预测；

2、下行Rx波束预测；

3、下行波束pair预测(一个波束pair包括一个下行Tx波束和其对应的下行Rx波束)。

图4是本申请实施例提供的模型性能监控方法的流程示意图之一，如图4所示，本申请实施例提供一种模型性能监控方法，其执行主体可以为终端，比如手机。该方法包括：

步骤400，测量网络侧在多个第一波束集合的波束上发送的参考信号；

可选地，第一波束集合可以是网络侧发送的下行波束中多个下行波束组成的集合。

可选地，第一波束集合可以是一部分波束预测集合中的波束组成的集合。

可选地，参考信号可以是CSI-RS，或SSB，或其他可以让终端测量得到波束测量结果的参考信号。

步骤410，获得所述多个第一波束集合分别对应的波束测量结果；

其中，所述多个第一波束集合分别对应的波束测量结果用于获得所述模型的性能监控结果。

相比相关技术中对波束预测集合中的所有波束进行测量，本申请实施例中分别对多次接收到的第一波束集合的波束上发送的参考信号进行测量后进行性能监控，可以有效节省空口资源和基站和UE的能耗。

可选地，所述多个第一波束集合所组成的第二波束集合的波束测量结果用于对所述模型的性能进行监控，获得性能监控结果；

可选地，第二波束集合与波束预测集合相同，或第二波束集合是波束预测集合的子集；所述多个第一波束集合分别对应的波束测量结果用于确定第二波束集合的波束测量结果。

可选地，多个第一波束集合能组成与波束预测集合相同或十分相似的第二波束集合的情况，可以是多个第一波束集合中的所有波束组成的集合与第二波束集合的相似度超过相似度门限。

可选地，若多个第一波束集合中的所有波束与波束预测集合中的所有波束相同，则多个第一波束集合能组成波束预测集合。

可选地，若多个第一波束集合中的所有波束与波束预测集合中的所有波束相似度超过相似度门限，但不完全相同，则多个第一波束集合能组成与波束预测集合相同或十分相似的第二波束集合。

可选地，相似度门限可以由网络侧配置，或由协议预定义。

可选地，终端可以基于多个第一波束集合分别对应的波束测量结果，比如多个第一波数集合分别对应的最优波束，确定多个第一波束集合包含的所有波束中的最优波束，把该最优波束作为多个第一波束集合组成的第二波束集合的最优波束，即波束测量结果。

可选地，终端可以测量网络侧在多个第一波束集合的波束上发送的参考信号，从而获得多个第一波束集合分别对应的波束测量结果。

可选地，波束测量结果可以是对应第一波束集合中每个波束的RSRP，或其他可以反映波束性能的参数。

可选地，终端获得多个第一波束集合分别对应的波束测量结果后，可以基于波束测量结果确定多个第一波束集合中分别对应的最优波束。

可选地，终端可以基于第一波束集合中每个波束的RSRP，把RSRP最高的波束作为第一波束集合中的最优波束。

比如，终端通过测量得到第一波束集合A中，波束a的RSRP值最高，则终端可以把波束a作为第一波束集合A中的最优波束。

可选地，第二波束集合可以与波束预测集合相同；

可选地，第二波束集合可以是波束预测集合的子集；

可选地，第二波束集合可以是波束预测集合的所有子集中与波束预测集合非常相似或接近的子集。

可选地，波束预测集合可以为SetA；

可选地，第一波束集合可以为SetB；

可选地，第二波束集合可以包括多个SetB；

可选地，第二波束集合可以为SetA或近似SetA的子集。

可选地，终端可以接收多次第一波束集合，在接收第N次第一波束集合后，终端可以把接收的N个第一波束集合组成第二波束集合，其中第二波束集合与波束预测集合之间的相似度大于相似度门限。

比如，相似度门限为90％，终端可以在接收第5次第一波束集合后，确定已接收的5次第一波束集合中包含的波束和波束预测集合中包含的波束的相似度为95％，则终端可以把5次第一波束集合组成第二波束集合。

又例如，终端已接收的2次第一波束集合中分别包含的波束为{1,2,3}和{3,4,5}，即第二波束集合中包含的波束为{1,2,3,4,5}，波束预测集合中包含的波束为{1,2,3,4,5,6}，则第二波束集合为接近波束预测集合的子集。

可选地，第一波束集合的测量结果可以用于作为所述模型的输入，获得波束预测结果。

可选地，模型可以部署在终端，也可以部署在网络侧。

本申请实施例提供的模型性能最优波束监控方法，通过接收网络侧发送的多个第一波束集合，在多个第一波束集合组合成波束预测集合或近似波束预测集合的第二波束集合的情况下，通过基于多个第一波束集合分别对应的波束测量结果，确定波束预测集合或近似波束预测集合的第二波束集合的波束测量结果，使用该波束测量结果对模型的性能进行监控，可以节省空口资源、基站的能耗和终端的能耗。

可选地，在测量网络侧在多个第一波束集合的波束上发送的参考信号之后，所述方法还包括：

在确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集的情况下，基于所述多个第一波束集合分别对应的波束测量结果，确定所述第二波束集合的波束测量结果；

基于所述第二波束集合的波束测量结果对模型的性能进行监控，获得性能监控结果。

可选地，确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集，可以包括确定接收到的多个第一波束集合能组成与波束预测集合相同或十分相似的第二波束集合。

可选地，终端可以基于多个第一波束集合分别对应的波束测量结果，比如RSRP，确定波束预测集合或所述第二波束集合的波束测量结果。

比如，终端可以测量得到第一波束集合B中的RSRP最高的波束为波束b，第一波束集合C中的RSRP最高的波束为波束c，其中波束c的RSRP比波束b高，则终端可以确定由第一波束集合B和第一波束集合C组成的第二波束集合A中RSRP最高的波束为波束c。

可选地，在模型部署在终端的情况下，终端可以把第一波数集合的测量结果输入模型，得到输出结果。

可选地，终端可以基于多个第一波束集合组成的第二波束集合的波束测量结果，比如RSRP，与模型的输出结果进行对比，获得性能监控结果。

可选地，性能监控结果可以包括模型对最优波束预测的准确率，或模型对多个最优波束预测的准确率，或其他可以反映模型性能的参数。

可选地，在测量网络侧在多个第一波束集合的波束上发送的参考信号之后，所述方法还包括：

在确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集的情况下，基于所述多个第一波束集合分别对应的波束测量结果，确定所述第二波束集合的波束测量结果；

将所述第二波束集合的波束测量结果与所述模型的输出结果发送给网络侧。

可选地，在模型部署在终端的情况下，终端可以基于所述多个第一波束集合分别对应的波束测量结果，确定所述第二波束集合的波束测量结果；终端可以把第一波束集合的测量结果输入模型，得到输出结果，然后终端可以将第二波束集合的波束测量结果与模型的输出结果发送给网络侧，网络侧可以对波束测量结果和模型的输出结果进行性能比较，从而监控模型是否可用。

可选地，所述方法还包括：

获取所述多个第一波束集合中各波束分别对应的波束标识；

所述确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集，包括：

基于所述多个第一波束集合中各波束分别对应的波束标识，与波束预测集合中各波束分别对应的波束标识，确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集；

其中，所述波束预测集合中各波束分别对应的波束标识由网络侧配置得到或基于预定义确定。

可选地，终端可以接收网络侧配置的波束预测集合中各波束分别对应的波束标识，然后接收网络侧发送的多个第一波束集合，以及多个第一波束集合中各波束分别对应的波束标识，终端可以判断是否接收到了波束预测集合中的所有波束或接近波束预测集合的波束。

可选地，终端接收多个第一波束集合后，若多个第一波束集合包含的所有波束中，存在M个波束的波束标识与波束预测集合中M个波束的波束标识一一对应，且波束预测集合中M个波束的占比大于第一门限值，则终端可以确定接收到的多个第一波束集合能组成与波束预测集合相同或十分相似的第二波束集合。

可选地，第一门限值可以由网络侧配置，或协议预定义。

比如，网络侧可以配置第一门限值为90％，波束预测集合A中存在11个波束，终端可以先接收网络侧发送的波束预测集合中11个波束分别对应的波束标识，然后接收网络侧发送的第一波束集合，以及第一波束集合中各波束分别对应的波束标识，终端接收3次第一波束集合中各波束分别对应的波束标识后，确定3次第一波束集合中的所有波束中，有10个波束的波束标识与波束预测集合A中的10个波束的波束标识一一对应，则终端可以接收到的3个第一波束集合能组成与波束预测集合相同或十分相似的第二波束集合。

可选地，网络侧可以将波束预测集合中所有波束的波束标识配置给终端，网络侧向终端发送第一波束集合，并在发送的第一波束集合中携带各波束分别对应的波束标识。则终端可以判断，在接收N次第一波束集合之后，确定接收到的多个第一波束集合能组成与波束预测集合相同或十分相似的第二波束集合。终端可以利用N次测量第一波束集合的测量结果，得到组合成的第二波束集合中的最优波束或该集合中波束的测量结果，和AI模型输出的预测最优波束或预测的测量结果进行性能比较，从而监控模型是否可用。

可选地，所述测量网络侧在多个第一波束集合的波束上发送的参考信号，包括：

接收网络侧基于预设图样集合发送的多个第一波束集合；

所述方法还包括：获取所述多个第一波束集合分别对应的图样标识，其中，所述预设图样集合中每一个图样分别对应一个波束集合；

所述确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集，包括：

在基于所述多个第一波束集合分别对应的图样标识，确定接收到所述预设图样集合中各图样分别对应的波束集合的情况下，确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集；

其中，所述预设图样集合中各图样的图样标识由网络侧配置得到或基于预定义确定。

可选地，终端可以接收网络侧发送的预设图样集合中所有图样分别对应的图样标识，然后接收网络侧发送的多个第一波束集合，以及多个第一波束集合分别对应的图样标识。

可选地，终端接收多个第一波束集合以及多个第一波束集合分别对应的图样标识后，可以判断是否接收到了预设图样集合中的所有图样，若接收到了预设图样集合中的所有图样，则终端可以确定接收到的多个第一波束集合能组成与波束预测集合相同或十分相似的第二波束集合。

比如，预设图样集合中包括10个图样，网络侧可以配置10个图样分别对应的图样标识，并发送给终端，终端接收3个第一波束集合以及多个第一波束集合分别对应的图样标识后，若3个第一波束集合包含的所有图样标识等于预设图样集合中10个图样分别对应的图样标识，则终端可以确定接收到的多个第一波束集合能组成与波束预测集合相同或十分相似的第二波束集合。

可选地，网络侧可以按照预设图样集合发送多个第一波束集合，以及所述多个第一波束集合分别对应的图样标识，预设图样集合可以是第一波束集合的波束在波束预测集合中的图样。网络侧可以将预设图样集合中各图样的图样标识告知终端，当终端接收到预设图样集合中所有图样之后，即可以认为接收到了波束预测集合或近似波束预测集合的第二波束集合。终端可以利用测量的集合中不同第一波束集合测量结果，得到组合成的波束预测集合或近似波束预测集合的第二波束集合中的最优波束或该集合中波束的测量结果，和AI模型输出的预测最优波束或预测的测量结果进行性能比较，从而监控模型是否可用。

可选地，所述测量网络侧在多个第一波束集合的波束上发送的参考信号，包括：

接收网络侧基于预设图样集合发送的多个第一波束集合；

所述方法还包括：获取所述多个第一波束集合中所有波束分别对应的波束标识，其中，所述预设图样集合中每一个图样分别对应一个波束集合；

所述确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集，包括：

在基于所述多个第一波束集合中各波束分别对应的波束标识，确定接收到所述预设图样集合中各图样分别对应的波束集合的情况下，确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集；

其中，所述预设图样集合所包括的波束的波束标识由网络侧配置得到或基于预定义确定。

可选地，终端可以接收网络侧发送的预设图样集合中包括的所有波束的波束标识，然后接收网络侧发送的多个第一波束集合，以及多个第一波束集合中各波束分别对应的波束标识。

可选地，终端接收多个第一波束集合以及多个第一波束集合中各波束分别对应的波束标识后，若多个第一波束集合包含的所有波束中，存在R个波束的波束标识与预设图样集合中R个波束的波束标识一一对应，且预设图样集合中R个波束的占比大于第二门限值，则终端可以确定接收到的多个第一波束集合能组成与波束预测集合相同或十分相似的第二波束集合。

可选地，第二门限值可以由网络侧配置，或协议预定义。

比如，网络侧可以配置第二门限值为90％，预设图样集合A中存在11个波束，终端可以先接收网络侧发送的预设图样集合中11个波束分别对应的波束标识，然后接收网络侧发送的第一波束集合，以及第一波束集合中各波束分别对应的波束标识，终端接收3次第一波束集合中各波束分别对应的波束标识后，确定3次第一波束集合中的所有波束中，有10个波束的波束标识与预设图样集合A中的10个波束的波束表示一一对应，则终端可以接收到的3个第一波束集合能组成与波束预测集合相同或十分相似的第二波束集合。

可选地，网络侧可以按照预设图样集合发送多个第一波束集合，以及多个第一波束集合分别对应的波束标识，预设图样集合可以是第一波束集合的波束在波束预测集合中的波束。网络侧可以将预设图样集合中所有波束的波束标识告知终端，当终端接收到预设图样集合中所有波束之后，即可以认为接收到了波束预测集合或近似波束预测集合的第二波束集合。终端可以利用测量的集合中不同第一波束集合测量结果，得到组合成的波束预测集合或近似波束预测集合的第二波束集合中的最优波束或该集合中波束的测量结果，和AI模型输出的预测最优波束或预测的测量结果进行性能比较，从而监控模型是否可用。

可选地，所述方法还包括：

获取所述多个第一波束集合分别对应的波束集合标识；

所述确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集，包括：

在基于所述多个第一波束集合分别对应的波束集合标识，确定接收到预设波束集合中所有波束集合的情况下，确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集；

其中，所述多个第一波束集合分别对应的波束集合标识由网络侧配置得到或基于预定义确定。

可选地，终端可以接收网络侧发送的第一波束集合分别对应的波束集合标识，然后接收网络侧发送的多个第一波束集合，以及多个第一波束集合分别对应的波束集合标识。

可选地，终端可以接收多个第一波束集合以及多个第一波束集合分别对应的波束集合标识后，若接收到了所有网络侧发送的第一波束集合分别对应的波束集合标识，则终端可以确定接收到的多个第一波束集合能组成与波束预测集合相同或十分相似的第二波束集合。

比如，网络侧可以配置10个第一波束集合分别对应的波束集合标识，并发送给终端，终端接收10个第一波束集合以及10个第一波束集合分别对应的波束集合标识后，若10个第一波束集合分别对应的波束集合标识就是网络侧配置并发送的10个第一波束集合分别对应的波束集合标识，则终端可以确定接收到的多个第一波束集合能组成与波束预测集合相同或十分相似的第二波束集合。

可选地，网络侧可以将发送第一波束集合的波束集合标识集合配置给终端，并在每次发送第一波束集合时，告知终端此次发送的第一波束集合的波束集合标识，当终端接收到集合中所有第一波束集合之后，即可以认为接收到了波束预测集合或近似波束预测集合的第二波束集合。终端可以利用测量的集合中不同第一波束集合测量结果，得到组合成的波束预测集合或近似波束预测集合的第二波束集合中的最优波束或该集合中波束的测量结果，和AI模型输出的预测最优波束或预测的测量结果进行性能比较，从而监控模型是否可用。

可选地，所述测量网络侧在多个第一波束集合的波束上发送的参考信号之后，所述方法还包括：

确定接收到的多个第一波束集合的数量；

所述确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集，包括：

在确定接收到的多个第一波束集合的数量满足预设数量的情况下，确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集；

其中，所述预设数量由网络侧配置得到或基于预定义确定。

可选地，终端可以在接收网络侧发送的多个第一波束集合后，确定接收到的多个第一波束集合的数量。

可选地，终端确定接收到的多个第一波束集合的数量后，若确定接收到的多个第一波束集合的数量满足预设数量，则终端可以确定接收到的多个第一波束集合能组成与波束预测集合相同或十分相似的第二波束集合。

比如，网络侧可以配置预设数量为10，则终端可以在接收到第10个第一波束集合的情况下，确定接收到的10个第一波束集合能组成与波束预测集合相同或十分相似的第二波束集合。

可选地，网络侧可以将接收第一波束集合的次数P配置给终端，当终端接收到M次第一波束集合之后，即可以认为接收到了波束预测集合或近似波束预测集合的第二波束集合。终端可以利用测量的集合中不同第一波束集合测量结果，得到组合成的波束预测集合或近似波束预测集合的第二波束集合中的最优波束或该集合中波束的测量结果，和AI模型输出的预测最优波束或预测的测量结果进行性能比较，从而监控模型是否可用。

可选地，所述性能监控结果包括以下一项或多项：

所述模型对最优波束预测的准确率；

所述模型对多个最优波束预测的准确率；

所述模型对预测得到的最优波束的RSRP进行预测的误差值；

所述模型对预测得到的最优波束的CIR进行预测的误差值；

所述模型对预测得到的最优波束的PDP进行预测的误差值；

所述模型对预测得到的最优波束的RSRQ进行预测的误差值；

所述模型对预测得到的最优波束的SINR进行预测的误差值；

所述模型对最优波束的RSRP进行预测的误差值；

所述模型对最优波束的CIR进行预测的误差值；

所述模型对最优波束的PDP进行预测的误差值；

所述模型对最优波束的RSRQ进行预测的误差值；

所述模型对最优波束的SINR进行预测的误差值；

所述模型对预测得到的最优波束的系统性能进行预测的预测结果。

可选地，模型对最优波束预测的准确率可以是模型预测的最优波束与实际测量波束预测集合的最优波束的准确率。

比如，模型可以进行10次最优波束预测，若其中9次预测的最优波束与实际测量波束预测集合的最优波束相同，则模型对最优波束预测的准确率为90％。

可选地，模型对多个最优波束预测的准确率可以是实际测量多个第一波束集合组成的第二波束集合中的最优波束在模型预测的最好的多个波束中的准确度。

可选地，模型对预测得到的最优波束的RSRP进行预测的误差值可以是模型预测最优波束的预测RSRP与该波束实际测量的RSRP之间的误差值。

比如，模型可以预测最优波束的预测RSRP为-85dBm，若该波束实际测量的RSRP为-86dBm，则模型对预测得到的最优波束的RSRP进行预测的误差值为1dBm。

可选地，模型对预测得到的最优波束的信道冲击响应(Channel ImpulseResponse，CIR)进行预测的误差值可以是模型预测最优波束的预测CIR与该波束实际测量的CIR之间的误差值。

比如，模型可以预测最优波束的预测CIR为30Mbit/s，若该波束实际测量的CIR为29Mbit/s，则模型对预测得到的最优波束的CIR进行预测的误差值为1Mbit/s。

可选地，模型对预测得到的最优波束的功率时延扩展(Power Delay Profile，PDP)进行预测的误差值可以是模型预测最优波束的预测PDP与该波束实际测量的PDP之间的误差值。

可选地，模型对预测得到的最优波束的参考信号接收质量(Reference SignalReceived Quality，RSRQ)进行预测的误差值可以是模型预测最优波束的预测RSRQ与该波束实际测量的RSRQ之间的误差值。

比如，模型可以预测最优波束的预测RSRQ为-4dB，若该波束实际测量的RSRQ为-5dB，则模型对预测得到的最优波束的RSRQ进行预测的误差值为1dB。

可选地，模型对预测得到的最优波束的信干噪比(Signal to Interference andNoise Ratio，SINR)进行预测的误差值可以是模型预测最优波束的预测SINR与该波束实际测量的SINR之间的误差值。

比如，模型可以预测最优波束的预测SINR为30dB，若该波束实际测量的SINR为20dB，则模型对预测得到的最优波束的RSRQ进行预测的误差值为10dB。

可选地，模型对最优波束的RSRP进行预测的误差值可以是模型预测最优波束的预测RSRP与实际测量第一波束集合组成的第二波束集合中的最优波束的RSRP之间的误差值，或模型预测的最优波束的实际测量RSRP与实际测量波束预测集合中的最优波束的RSRP之间的误差值。

可选地，模型对最优波束的CIR进行预测的误差值可以是模型预测最优波束的预测CIR与实际测量第一波束集合组成的第二波束集合中的最优波束的CIR之间的误差值，或模型预测的最优波束的实际测量CIR与实际测量波束预测集合中的最优波束的CIR之间的误差值。

可选地，模型对最优波束的PDP进行预测的误差值可以是模型预测最优波束的预测PDP与实际测量第一波束集合组成的第二波束集合中的最优波束的PDP之间的误差值，或模型预测的最优波束的实际测量PDP与实际测量波束预测集合中的最优波束的PDP之间的误差值。

可选地，模型对最优波束的RSRQ进行预测的误差值可以是模型预测最优波束的预测RSRQ与实际测量第一波束集合组成的第二波束集合中的最优波束的RSRQ之间的误差值，或模型预测的最优波束的实际测量RSRQ与实际测量波束预测集合中的最优波束的RSRQ之间的误差值。

可选地，模型对最优波束的SINR进行预测的误差值可以是模型预测最优波束的预测SINR与实际测量第一波束集合组成的第二波束集合中的最优波束的SINR之间的误差值，或模型预测的最优波束的实际测量SINR与实际测量波束预测集合中的最优波束的SINR之间的误差值。

可选地，模型对预测得到的最优波束的系统性能进行预测的预测结果可以包括以下一项或多项：吞吐量、假设误块率BLER(hypothetical Block Error Rate，hypotheticalBLER)、BLER、否定确认/肯定确认(Negative Acknowledgement/Acknowledgement，NACK/ACK)。

可选地，所述模型性能监控方法还包括以下一项或多项：

在所述性能监控结果和/或所述性能监控结果的平均值处于预设上限和预设下限之间的情况下，确定所述模型可用，否则，确定所述模型不可用；

或者，在所述性能监控结果和/或所述性能监控结果的平均值处于第一门限和第二门限之间的情况下，确定所述模型可用，否则，确定所述模型不可用，其中，所述第一门限小于或等于预设上限，所述第二门限大于或等于预设下限，所述第一门限大于或等于第二门限。

可选地，终端可以使用实际测量波束预测集合中的最优波束计算得到预设上限。

比如，模型对最优波束预测的准确率预设上限可以是：实际测量波束预测集合中的最优波束与实际测量波束预测集合中的最优波束的准确度，即准确度为100％。

比如，模型对预测得到的最优波束的系统性能进行预测的预测结果的预设上限，可以是实际测量波束预测集合中的最优波束的系统性能。

可选地，终端可以使用实际测量第一波束集合中的最优波束计算得到预设下限。

比如，模型对最优波束预测的准确率预设下限可以是：实际测量第一波束集合中的最优波束与实际测量波束预测集合中的最优波束的准确度，比如20％。

比如，模型对预测得到的最优波束的系统性能进行预测的预测结果的预设上限，可以是实际测量第一波束集合中的最优波束的系统性能。

可选地，终端可以在性能监控结果和/或性能监控结果的平均值处于预设上限和预设下限之间的情况下，确定模型可用，否则，确定模型不可用。

比如，模型对最优波束的RSRP进行预测的误差值的预设上限为0dBm，预设下限为10dBm，若进行多次模型性能监控，得到模型对最优波束的RSRP进行预测的误差值的平均值为5dBm，则终端可以确定模型可用；若进行多次模型性能监控，得到模型对最优波束的RSRP进行预测的误差值的平均值为11dBm，则终端可以确定模型不可用。

可选地，终端可以在性能监控结果和/或性能监控结果的平均值处于第一门限和第二门限之间的情况下，确定模型可用，否则，确定模型不可用。

比如，在模型对最优波束预测的准确率的预设上限为100％，预设下限为20％的情况下，终端可以设置第一门限为80％，第二门限为40％，若性能监控结果为60％，则终端可以确定模型可用；若性能监控结果为30％，则终端可以确定模型不可用。

可选地，所述模型性能监控方法还包括以下一项或多项：

在所述性能监控结果和/或所述性能监控结果的平均值大于或等于第三门限的情况下，确定所述模型可用；

在所述性能监控结果和/或所述性能监控结果的平均值小于或等于第四门限的情况下，确定所述模型不可用；

在所述性能监控结果和/或所述性能监控结果的平均值小于第三门限，且大于第四门限的情况下，开始监控所述模型的备用模型或备用方法；

其中，所述第三门限大于第四门限。

可选地，终端可以针对模型的预设上限配置第三门限，第三门限值比预设上限要低，如果性能监控结果和/或所述性能监控结果的平均值大于该门限，则认为模型可用。

比如，模型对最优波束预测的准确率的预设上限为100％，则终端可以配置模型对最优波束预测的准确率的第三门限为80％，若模型对最优波束预测的准确率为90％，则终端可以确定模型可用。

可选地，终端可以针对模型的预设下限配置第四门限，第四门限值比预设下限要高，如果性能监控结果和/或所述性能监控结果的平均值小于该门限，则认为模型不可用。

比如，模型对最优波束预测的准确率的预设下限为20％，则终端可以配置模型对最优波束预测的准确率的第四门限为30％，若模型对最优波束预测的准确率为25％，则终端可以确定模型不可用。

可选地，终端可以针对模型的预设上限配置第三门限，第三门限值比预设上限要低；终端可以针对模型的预设下限配置第四门限，第四门限值比预设下限要高，且第三门限大于第四门限；如果模型的性能监控结果和/或性能监控结果的平均值大于第三门限，则可以认为模型可用，并且比较稳定；如果模型的性能监控结果和/或性能监控结果的平均值小于第四门限，则认为模型不可用；模型的性能监控结果和/或性能监控结果的平均值小于第三门限，并且大于第四门限，则认为模型可用，但并不稳定，需要启动其他备用模型的性能监控，以便当模型的性能监控结果小于第四门限时及时进行模型切换。

比如，模型对最优波束预测的准确率的预设上限为100％，预设下限为20％，则终端可以配置模型对最优波束预测的准确率的第三门限为80％，第四门限为40％，若模型对最优波束预测的准确率为90％，则终端可以确定模型可用，并且比较稳定；若模型对最优波束预测的准确率为30％，则终端可以确定模型不可用；若模型对最优波束预测的准确率为60％，则终端可以确定模型可用，但并不稳定，需要启动其他备用模型的性能监控，以便当模型对最优波束预测的准确率小于20％时及时进行模型切换。

图5是本申请实施例提供的模型性能监控方法的流程示意图之二，如图5所示，本申请实施例提供一种模型性能监控方法，其执行主体可以为终端，比如手机。该方法包括：

步骤500，在模型的性能监控结果和/或所述性能监控结果的平均值小于第三门限，且大于第四门限的情况下，开始监控所述模型的备用模型或备用方法；

其中，所述第三门限大于第四门限。

可选地，终端可以针对模型的预设上限配置第三门限，第三门限值比预设上限要低；终端可以针对模型的预设下限配置第四门限，第四门限值比预设下限要高，且第三门限大于第四门限；如果模型的性能监控结果和/或性能监控结果的平均值大于第三门限，则可以认为模型可用，并且比较稳定；如果模型的性能监控结果和/或性能监控结果的平均值小于第四门限，则认为模型不可用；模型的性能监控结果和/或性能监控结果的平均值小于第三门限，并且大于第四门限，则认为模型可用，但并不稳定，需要启动其他备用模型的性能监控，以便当模型的性能监控结果小于第四门限时及时进行模型切换。

比如，模型对最优波束预测的准确率的预设上限为100％，预设下限为20％，则终端可以配置模型对最优波束预测的准确率的第三门限为80％，第四门限为40％，若模型对最优波束预测的准确率为90％，则终端可以确定模型可用，并且比较稳定；若模型对最优波束预测的准确率为30％，则终端可以确定模型不可用；若模型对最优波束预测的准确率为60％，则终端可以确定模型可用，但并不稳定，需要启动其他备用模型的性能监控，以便当模型的性能小于1时及时进行模型切换。

本申请实施例提供的模型性能监控方法，通过设置第三门限和第四门限，在性能监控结果和/或性能监控结果的平均值小于第三门限，且大于第四门限的情况下，可以判断模型不稳定，并监控模型的备用模型或备用方法，可以在该模型不可用的情况下及时进行模型切换，保证波束管理的正常运行。

可选地，备用方法可以是其他不使用模型的波束管理方法。

在本申请的一个实施例中，以终端为UE为例，波束预测集合中的波束标识集合为{1,2,3,…,32}，具体步骤如下：

步骤一：网络侧向UE发送第一配置信息，其中，第一配置信息包括：波束预测集合或近似波束预测集合中的波束标识，即配置波束预测集合或近似波束预测集合的波束标识＝{1,2,3,…,32}；

步骤二：网络侧向UE在第一波束集合中的波束上发送参考信号，并在该发送波束上携带第一波束集合中的波束标识(此波束标识为第一波束集合的波束在波束预测集合中的标识)；

其中，网络侧可以在波束预测集合中按照一定规律选择波束发送第一波束集合或者随机选择波束发送第一波束集合，例如网络侧发送第一波束集合1＝{1,2,3,4,5,6,7,8},第一波束集合2＝{9,10,11,12,13,14,15,16}，第一波束集合3＝{17,18,19,20,21,22,23,24}，第一波束集合4＝{25,26,27,28,29,30,31,32}；

携带波束标识，可以是在每个波束上发送参考信号中携带波束标识信息，或者在配置参考信号的消息中携带波束标识信息；

步骤三：UE接收到N个第一波束集合，测量第一波束集合波束上发送的参考信号，得到N次不同第一波束集合的波束测量结果；

步骤四：UE将N个第一波束集合，组合成第二波束集合；

UE根据网络侧配置的波束预测集合的波束标识，以及发送第一波束集合时携带的波束标识，组合成第二波束集合；例如，如步骤二中所述，UE在接收到4个第一波束集合(第一波束集合1,第一波束集合2，第一波束集合3和第一波束集合4)之后，可以组合成第二波束集合；

步骤五：UE得到组合成的第二波束集合中的最优波束或该集合中的波束测量结果；

其中，UE将N次测量的不同第一波束集合的波束测量结果组合成第二波束集合中的波束测量结果，UE可以根据第一波束集合的波束标识，其为第一波束集合的波束在波束预测集合中的标识，对应得到波束预测集合中的波束测量结果；

UE可以根据组合成的第二波束集合的测量结果，得到该集合中的最优波束，例如测量结果中最大值的波束为最优波束；

步骤六：UE将第二波束集合中的最优波束或该集合中的波束测量结果，和模型输出的预测最优波束或预测的测量结果进行性能比较，从而确定监控模型是否可用。

在本申请的一个实施例中，以终端为UE为例，具体步骤如下：

步骤一：网络侧向UE发送第一配置信息；

其中，第一配置信息包括：第一波束集合的波束图样集合；

网络侧配置第一波束集合的预设图样集合，包括如下方式：

方式1：网络侧将预设图样集合中每个图样包含的波束标识告知UE，网络侧在发送第一波束集合的波束时需要携带波束标识；

方式2：网络侧将预设图样集合中的图样标识告知UE，并在每次发送第一波束集合的波束时，告知UE此次发送第一波束集合的图样标识。

例如，网络侧配置UE其发送的第一波束集合的预设图样集合为第一波束集合1＝{1,2,3,4,5,6,7,8},第一波束集合2＝{9,10,11,12,13,14,15,16}，第一波束集合3＝{17,18,19,20,21,22,23,24}，第一波束集合4＝{25,26,27,28,29,30,31,32}；

对于方式1：网络侧需要将第一波束集合1、第一波束集合2、第一波束集合3、第一波束集合4中包含的具体波束标识，即1,2，…，32告知UE；

对于方式2：网络侧只需要将第一波束集合1、第一波束集合2、第一波束集合3、第一波束集合4中包含的图样标识告知UE，例如只需要告知图样标识＝1,2,3,4；

步骤二：网络侧向UE在第一波束集合中的波束上发送参考信号，并在该发送波束上携带第一波束集合中的波束标识(此波束标识为第一配置信息中的波束图样中的波束标识)或者图样标识；

网络侧可以在波束预测集合中按照一定规律在波束图样集合中选择波束集合发送第一波束集合，例如网络侧可以按顺序循环发送第一波束集合1、第一波束集合2、第一波束集合3、第一波束集合4，或者按顺序循环发送第一波束集合4、第一波束集合3、第一波束集合2、第一波束集合1；

携带波束标识，可以是在每个波束上发送参考信号中携带波束标识信息，或者在配置参考信号的消息中携带波束标识信息；

携带图样标识，可以是在每个波束上发送参考信号中携带图样标识信息，或者在配置参考信号的消息中携带图样标识信息；

步骤三：UE接收到N个第一波束集合，测量第一波束集合波束上发送的参考信号，得到N次不同第一波束集合的波束测量结果

步骤四：UE将N个第一波束集合，组合成第二波束集合；

UE根据网络侧配置的第一波束集合的波束图样集合，以及发送第一波束集合时携带的波束标识或图样标识，组合成第二波束集合。

例如，如步骤二中所述，UE在接收到第一波束集合的波束图样集合，即4个第一波束集合(第一波束集合1,第一波束集合2，第一波束集合3和第一波束集合4)之后，可以组合成第二波束集合。

这里需要说明的是，UE不需要知道波束预测集合的集合，UE只要接收到第一波束集合的波束图样集合中的全部波束集合就可以组合成第二波束集合，不需要按顺序接收，例如UE先后接收到第一波束集合3、第一波束集合4、第一波束集合1、第一波束集合2，也是可以组合成第二波束集合。

步骤五：UE得到组合成的第二波束集合中的最优波束或该集合中的波束测量结果；

UE将N次测量的不同第一波束集合的波束测量结果组合成波束预测集合或近似波束预测集合的子集中波束的测量结果，UE可以根据第一波束集合的波束标识，其为第一波束集合的波束在波束预测集合中的标识，对应得到波束预测集合中波束的测量结果。

UE可以根据组合成的波束预测集合或近似波束预测集合的子集中的波束测量结果，得到该集合中的最优波束，例如测量结果中最大值的波束为最优波束。

步骤六：UE将第二波束集合中的最优波束或该集合中波束的测量结果，和模型输出的预测最优波束或预测的测量结果进行性能比较，从而监控模型是否可用。

在本申请的一个实施例中，以终端为UE为例，具体步骤如下：

步骤一：网络侧向UE发送第一配置信息；

其中，第一配置信息包括：第一波束集合的标识集合；

例如网络侧告知UE其发送的第一波束集合的标识集合为{第一波束集合1，第一波束集合2，第一波束集合3，第一波束集合4}；

步骤二：网络侧向UE在第一波束集合中的波束上发送参考信号，并在告知该第一波束集合的标识(此标识为第一波束集合的标识集合中的标识)；

网络侧可以在波束预测集合中按照一定规律在第一波束集合的标识集合中选择波束集合发送第一波束集合，例如网络侧可以按顺序循环发送第一波束集合1、第一波束集合2、第一波束集合3、第一波束集合4，或者按顺序循环发送第一波束集合4、第一波束集合3、第一波束集合2、第一波束集合1。

网络侧告知UE该第一波束集合的标识的方法，可以是在每个波束上发送参考信号中携带第一波束集合的标识信息，或者在配置参考信号的消息中携带第一波束集合的标识信息。

步骤三：UE接收到N个第一波束集合，测量第一波束集合波束上发送的参考信号，得到N次不同第一波束集合的波束测量结果；

步骤四：UE将N个第一波束集合，组合成第二波束集合；

UE根据网络侧配置的第一波束集合的标识集合，以及发送第一波束集合时携带的第一波束集合的标识，组合成第二波束集合。

例如，如步骤二中所述，UE在接收到第一波束集合波束集合的标识集合，即4个第一波束集合(第一波束集合1,第一波束集合2，第一波束集合3和第一波束集合4)之后，可以组合成第二波束集合。

这里需要说明的是，UE不需要知道波束预测集合的集合，UE只要接收到第一波束集合的标识集合中的全部波束集合就可以组合成第二波束集合，不需要按顺序接收，例如UE先后接收到第一波束集合3、第一波束集合4、第一波束集合1、第一波束集合2，也是可以组合成第二波束集合。

步骤五：UE得到组合成的第二波束集合中的最优波束或该集合中波束的测量结果；

UE将N次测量的不同第一波束集合的波束测量结果组合成波束预测集合或近似波束预测集合的子集中的波束测量结果，UE可以根据第一波束集合的波束标识，其为第一波束集合的波束在波束预测集合中的ID，对应得到波束预测集合中的波束测量结果。

UE可以根据组合成的波束预测集合或近似波束预测集合的子集中的波束测量结果，得到该集合中的最优波束，例如测量结果中最大值的波束为最优波束。

步骤六：UE将第二波束集合中的最优波束或该集合中的波束测量结果，和模型输出的预测最优波束或预测的测量结果进行性能比较，从而监控模型是否可用。

在本申请的一个实施例中，以终端为UE为例，具体步骤如下：

步骤一：网络侧向UE发送第一配置信息；

其中，第一配置信息包括：第一波束集合的发送次数N。

例如网络侧告知UE其发送的第一波束集合的次数为N＝4次。

步骤二：网络侧向UE在第一波束集合中的波束上发送参考信号；

网络侧可以在波束预测集合中按照一定规律在第一波束集合的标识集合中选择波束集合发送第一波束集合，例如网络侧可以按顺序循环发送第一波束集合1、第一波束集合2、第一波束集合3、第一波束集合4，或者按顺序循环发送第一波束集合4、第一波束集合3、第一波束集合2、第一波束集合1。

步骤三：UE接收到N个第一波束集合，测量第一波束集合波束上发送的参考信号，得到N次不同第一波束集合的波束测量结果；

步骤四：UE将N个第一波束集合，组合成第二波束集合；

UE根据网络侧配置的第一波束集合的发送次数N，组合成第二波束集合。

例如，如步骤二中所述，UE在接收到N次第一波束集合，即4个第一波束集合之后，可以组合成第二波束集合。

这里需要说明的是，UE不需要知道波束预测集合的集合，UE只要接收到4次第一波束集合就可以组合成第二波束集合，需要网络侧按照顺序发送，UE连续接收4个第一波束集合，就可以组合成第二波束集合。

步骤五：UE得到组合成的第二波束集合中的最优波束或该集合中的波束测量结果；

UE将N次测量的不同第一波束集合的波束测量结果组合成波束预测集合或近似波束预测集合的子集中的波束测量结果，UE可以根据第一波束集合的波束标识，其为第一波束集合的波束在波束预测集合中的标识，对应得到波束预测集合中的波束测量结果。

UE可以根据组合成的波束预测集合或近似波束预测集合的子集中波束的测量结果，得到该集合中的最优波束，例如测量结果中最大值的波束为最优波束。

步骤六：UE将第二波束集合中的最优波束或该集合中波束的测量结果，和模型输出的预测最优波束或预测的测量结果进行性能比较，从而监控模型是否可用。

本申请实施例涉及的终端设备，可以是指向用户提供语音和/或数据连通性的设备，具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备等。在不同的系统中，终端设备的名称可能也不相同，例如在5G系统中，终端设备可以称为用户设备(User Equipment，UE)。无线终端设备可以经无线接入网(Radio Access Network,RAN)与一个或多个核心网(Core Network,CN)进行通信，无线终端设备可以是移动终端设备，如移动电话(或称为“蜂窝”电话)和具有移动终端设备的计算机，例如，可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置，它们与无线接入网交换语言和/或数据。例如，个人通信业务(Personal Communication Service，PCS)电话、无绳电话、会话发起协议(Session Initiated Protocol，SIP)话机、无线本地环路(Wireless Local Loop，WLL)站、个人数字助理(Personal Digital Assistant，PDA)等设备。无线终端设备也可以称为系统、订户单元(subscriber unit)、订户站(subscriber station)，移动站(mobilestation)、移动台(mobile)、远程站(remote station)、接入点(access point)、远程终端设备(remote terminal)、接入终端设备(access terminal)、用户终端设备(userterminal)、用户代理(user agent)、用户装置(user device)，本申请实施例中并不限定。

图6是本申请实施例提供的模型性能监控方法的流程示意图之三，如图6所示，本申请实施例提供一种模型性能监控方法，其执行主体可以为网络侧设备，比如基站。该方法包括：

步骤600，发送多个第一波束集合；

可选地，多个第一波束集合中可以包含参考信号。

可选地，网络侧可以向终端发送多个第一波束集合，终端接收到多个第一波束集合后，可以测量多个第一波束集合的波束上的参考信号。

步骤610，基于所述多个第一波束集合的波束测量结果，获得模型的性能监控结果。

可选地，网络侧可以基于终端发送的第二波束集合的波束测量结果，对所述模型的性能进行监控，获得性能监控结果。

本申请实施例提供的模型性能监控方法，通过向终端发送多个第一波束集合，在多个第一波束集合组合成波束预测集合或近似波束预测集合的第二波束集合的情况下，通过基于多个第一波束集合分别对应的波束测量结果，确定波束预测集合或近似波束预测集合的第二波束集合的波束测量结果，使用该波束测量结果对模型的性能进行监控，可以节省空口资源、基站的能耗和终端的能耗。

可选地，所述基于所述多个第一波束集合的波束测量结果，获得模型的性能监控结果之前，所述方法还包括：

获得第二波束集合的波束测量结果；

其中，第二波束集合由多个第一波束集合所组成，所述第二波束集合与用于波束预测的波束预测集合相同，或所述第二波束集合是所述波束预测集合的子集。

可选地，所述获得第二波束集合的波束测量结果，包括：

接收终端发送的所述第二波束集合的波束测量结果。

可选地，网络侧可以接收第二波束集合的波束测量结果，然后基于终端发送的第二波束集合的波束测量结果，对所述模型的性能进行监控，获得性能监控结果。

可选地，终端可以基于多个第一波束集合分别对应的波束测量结果确定第二波束集合的波束测量结果，然后终端可以向网络侧发送第二波束集合的波束测量结果。

可选地，所述获得第二波束集合的波束测量结果，包括：

接收终端发送的多个第一波束集合分别对应的波束测量结果；

基于所述多个第一波束集合分别对应的波束测量结果，确定所述第二波束集合的波束测量结果。

可选地，网络侧可以向终端发送多个第一波束集合，终端可以对多个第一波束集合进行测量，得到多个第一波束集合分别对应的波束测量结果，然后终端可以向网络侧发送多个第一波束集合分别对应的波束测量结果。

可选地，网络侧可以接收终端发送的多个第一波束集合分别对应的波束测量结果，然后基于多个第一波束集合分别对应的波束测量结果，确定第二波束集合的波束测量结果。

可选地，网络侧可以根据多个第一波束集合分别对应的波束测量结果和多个第一波束集合的图样，计算出第二波束集合中的最优波束或波束测量结果，用于监控模型性能。

可选地，网络侧在确定第二波束集合的波束测量结果后，可以对模型的性能进行监控，获得性能监控结果。

可选地，所述方法还包括：

发送所述多个第一波束集合中各波束分别对应的波束标识。

可选地，网络侧可以向终端发送多个第一波束集合，以及所述多个第一波束集合中各波束分别对应的波束标识，帮助终端确定接收到的多个第一波束集合能组成所述第二波束集合。

可选地，所述方法还包括：

向终端发送波束预测集合中各波束分别对应的波束标识。

可选地，网络侧可以在向终端发送多个第一波束集合，以及所述多个第一波束集合中各波束分别对应的波束标识之前，配置波束预测集合中各波束分别对应的波束标识，并发送给终端，帮助终端确定接收到的多个第一波束集合能组成所述第二波束集合。

可选地，所述发送多个第一波束集合，包括：

基于预设图样集合发送所述多个第一波束集合；

所述方法还包括：

发送所述多个第一波束集合分别对应的图样标识，其中，所述预设图样集合中每一个图样分别对应一个波束集合。

可选地，网络侧可以基于预设图样集合向终端发送多个第一波束集合，以及多个第一波束集合分别对应的图样标识，其中，预设图样集合中每一个图样分别对应一个波束集合，帮助终端确定接收到的多个第一波束集合能组成所述第二波束集合。

可选地，所述方法还包括：

向终端发送预设图样集合中各图样的图样标识。

可选地，网络侧可以在基于预设图样集合向终端发送多个第一波束集合，以及多个第一波束集合分别对应的图样标识之前，配置预设图样集合中各图样的图样标识，并发送给终端，帮助终端确定接收到的多个第一波束集合能组成所述第二波束集合。

可选地，所述发送多个第一波束集合，包括：

基于预设图样集合发送所述多个第一波束集合；

所述方法还包括：

发送所述多个第一波束集合中各波束分别对应的波束标识，其中，所述预设图样集合中每一个图样分别对应一个波束集合。

可选地，网络侧可以基于预设图样集合向终端发送多个第一波束集合，以及多个第一波束集合中各波束分别对应的波束标识，其中，预设图样集合中每一个图样分别对应一个波束集合，帮助终端确定接收到的多个第一波束集合能组成所述第二波束集合。

可选地，所述方法还包括：

向终端发送所述预设图样集合所包括的波束的波束标识。

可选地，网络侧可以在基于预设图样集合向终端发送多个第一波束集合，以及多个第一波束集合中各波束分别对应的波束标识之前，配置预设图样集合所包括的波束的波束标识，并发送给终端，帮助终端确定接收到的多个第一波束集合能组成所述第二波束集合。

可选地，所述发送多个第一波束集合，包括：

发送多个第一波束集合；

所述方法还包括：发送所述多个第一波束集合分别对应的波束集合标识。

可选地，网络侧可以向终端发送多个第一波束集合，以及多个第一波束集合分别对应的波束集合标识，帮助终端确定接收到的多个第一波束集合能组成所述第二波束集合。

可选地，所述模型性能监控方法还包括：

向终端发送预设波束集合。

可选地，网络侧可以在向终端发送多个第一波束集合，以及多个第一波束集合分别对应的波束集合标识之前，向终端发送预设波束集合，帮助终端确定接收到的多个第一波束集合能组成所述第二波束集合。

可选地，所述模型性能监控方法还包括：

向终端发送预设数量。

可选地，网络侧可以配置预设数量，然后向终端发送预设数量，帮助终端确定接收到的多个第一波束集合能组成所述第二波束集合。

可选地，所述性能监控结果包括以下一项或多项：

所述模型对最优波束预测的准确率；

所述模型对多个最优波束预测的准确率；

所述模型对预测得到的最优波束的RSRP进行预测的误差值；

所述模型对预测得到的最优波束的CIR进行预测的误差值；

所述模型对预测得到的最优波束的PDP进行预测的误差值；

所述模型对预测得到的最优波束的RSRQ进行预测的误差值；

所述模型对预测得到的最优波束的SINR进行预测的误差值；

所述模型对最优波束的RSRP进行预测的误差值；

所述模型对最优波束的CIR进行预测的误差值；

所述模型对最优波束的PDP进行预测的误差值；

所述模型对最优波束的RSRQ进行预测的误差值；

所述模型对最优波束的SINR进行预测的误差值；

所述模型对预测得到的最优波束的系统性能进行预测的预测结果。

可选地，模型对最优波束预测的准确率可以是模型预测的最优波束与实际测量波束预测集合的最优波束的准确率，例如多次模型预测取平均值。

比如，模型可以进行10次最优波束预测，若其中9次预测的最优波束与实际测量波束预测集合的最优波束相同，则模型对最优波束预测的准确率为90％。

可选地，模型对多个最优波束预测的准确率可以是实际测量多个第一波束集合组成的第二波束集合中的最优波束在模型预测的最好的多个波束中的准确度。

可选地，模型对预测得到的最优波束的RSRP进行预测的误差值可以是模型预测最优波束的预测RSRP与该波束实际测量的RSRP之间的误差值。

比如，模型可以预测最优波束的预测RSRP为-85dBm，若该波束实际测量的RSRP为-86dBm，则模型对预测得到的最优波束的RSRP进行预测的误差值为1dBm。

可选地，模型对预测得到的最优波束的CIR进行预测的误差值可以是模型预测最优波束的预测CIR与该波束实际测量的CIR之间的误差值。

比如，模型可以预测最优波束的预测CIR为30Mbit/s，若该波束实际测量的CIR为29Mbit/s，则模型对预测得到的最优波束的CIR进行预测的误差值为1Mbit/s。

可选地，模型对预测得到的最优波束的PDP进行预测的误差值可以是模型预测最优波束的预测PDP与该波束实际测量的PDP之间的误差值。

可选地，模型对预测得到的最优波束的RSRQ进行预测的误差值可以是模型预测最优波束的预测RSRQ与该波束实际测量的RSRQ之间的误差值。

比如，模型可以预测最优波束的预测RSRQ为-4dB，若该波束实际测量的RSRQ为-5dB，则模型对预测得到的最优波束的RSRQ进行预测的误差值为1dB。

可选地，模型对预测得到的SINR进行预测的误差值可以是模型预测最优波束的预测SINR与该波束实际测量的SINR之间的误差值。

比如，模型可以预测最优波束的预测SINR为30dB，若该波束实际测量的SINR为20dB，则模型对预测得到的最优波束的RSRQ进行预测的误差值为10dB。

可选地，模型对最优波束的RSRP进行预测的误差值可以是模型预测最优波束的预测RSRP与实际测量第一波束集合组成的第二波束集合中的最优波束的RSRP之间的误差值，或模型预测的最优波束的实际测量RSRP与实际测量波束预测集合中的最优波束的RSRP之间的误差值。

可选地，模型对最优波束的CIR进行预测的误差值可以是模型预测最优波束的预测CIR与实际测量第一波束集合组成的第二波束集合中的最优波束的CIR之间的误差值，或模型预测的最优波束的实际测量CIR与实际测量波束预测集合中的最优波束的CIR之间的误差值。

可选地，模型对最优波束的PDP进行预测的误差值可以是模型预测最优波束的预测PDP与实际测量第一波束集合组成的第二波束集合中的最优波束的PDP之间的误差值，或模型预测的最优波束的实际测量PDP与实际测量波束预测集合中的最优波束的PDP之间的误差值。

可选地，模型对最优波束的RSRQ进行预测的误差值可以是模型预测最优波束的预测RSRQ与实际测量第一波束集合组成的第二波束集合中的最优波束的RSRQ之间的误差值，或模型预测的最优波束的实际测量RSRQ与实际测量波束预测集合中的最优波束的RSRQ之间的误差值。

可选地，模型对最优波束的SINR进行预测的误差值可以是模型预测最优波束的预测SINR与实际测量第一波束集合组成的第二波束集合中的最优波束的SINR之间的误差值，或模型预测的最优波束的实际测量SINR与实际测量波束预测集合中的最优波束的SINR之间的误差值。

可选地，模型对预测得到的最优波束的系统性能进行预测的预测结果可以包括以下一项或多项：吞吐量、假设误块率BLER(hypothetical Block Error Rate，hypotheticalBLER)、BLER、否定确认/肯定确认(Negative Acknowledgement/Acknowledgement，NACK/ACK)。

可选地，所述模型性能监控方法还包括以下一项或多项：

在所述性能监控结果和/或所述性能监控结果的平均值处于预设上限和预设下限之间的情况下，确定所述模型可用，否则，确定所述模型不可用；

或者，在所述性能监控结果和/或所述性能监控结果的平均值处于第一门限和第二门限之间的情况下，确定所述模型可用，否则，确定所述模型不可用，其中，所述第一门限小于或等于预设上限，所述第二门限大于或等于预设下限，所述第一门限大于或等于第二门限。

可选地，网络侧可以使用实际测量波束预测集合中的最优波束计算得到预设上限。

比如，模型对最优波束预测的准确率预设上限可以是：实际测量波束预测集合中的最优波束与实际测量波束预测集合中的最优波束的准确度，即准确度为100％。

比如，模型对预测得到的最优波束的系统性能进行预测的预测结果的预设上限，可以是实际测量波束预测集合中的最优波束的系统性能。

可选地，网络侧可以使用实际测量第一波束集合中的最优波束计算得到预设下限。

比如，模型对最优波束预测的准确率预设下限可以是：实际测量第一波束集合中的最优波束与实际测量波束预测集合中的最优波束的准确度，比如20％。

比如，模型对预测得到的最优波束的系统性能进行预测的预测结果的预设上限，可以是实际测量第一波束集合中的最优波束的系统性能。

可选地，网络侧可以在性能监控结果和/或性能监控结果的平均值处于预设上限和预设下限之间的情况下，确定模型可用，否则，确定模型不可用。

比如，模型对最优波束的RSRP进行预测的误差值的预设上限为0dBm，预设下限为10dBm，若进行多次模型性能监控，得到模型对最优波束的RSRP进行预测的误差值的平均值为5dBm，则终端可以确定模型可用；若进行多次模型性能监控，得到模型对最优波束的RSRP进行预测的误差值的平均值为11dBm，则网络侧可以确定模型不可用。

可选地，网络侧可以在性能监控结果和/或性能监控结果的平均值处于第一门限和第二门限之间的情况下，确定模型可用，否则，确定模型不可用。

比如，在模型对最优波束预测的准确率的预设上限为100％，预设下限为20％的情况下，网络侧可以设置第一门限为80％，第二门限为40％，若性能监控结果为60％，则终端可以确定模型可用；若性能监控结果为30％，则网络侧可以确定模型不可用。

可选地，所述模型性能监控方法还包括以下一项或多项：

在所述性能监控结果和/或所述性能监控结果的平均值大于或等于第三门限的情况下，确定所述模型可用；

在所述性能监控结果和/或所述性能监控结果的平均值小于或等于第四门限的情况下，确定所述模型不可用；

在所述性能监控结果和/或所述性能监控结果的平均值小于第三门限，且大于第四门限的情况下，开始监控所述模型的备用模型或备用方法；

其中，所述第三门限大于第四门限。

可选地，终端可以针对模型的预设上限配置第三门限，第三门限值比预设上限要低，如果性能监控结果和/或所述性能监控结果的平均值大于该门限，则认为模型可用。

比如，模型对最优波束预测的准确率的预设上限为100％，则网络侧可以配置模型对最优波束预测的准确率的第三门限为80％，若模型对最优波束预测的准确率为90％，则网络侧可以确定模型可用。

可选地，网络侧可以针对模型的预设下限配置第四门限，第四门限值比预设下限要高，如果性能监控结果和/或所述性能监控结果的平均值小于该门限，则认为模型不可用。

比如，模型对最优波束预测的准确率的预设下限为20％，则网络侧可以配置模型对最优波束预测的准确率的第四门限为30％，若模型对最优波束预测的准确率为25％，则网络侧可以确定模型不可用。

可选地，终端可以针对模型的预设上限配置第三门限，第三门限值比预设上限要低；终端可以针对模型的预设下限配置第四门限，第四门限值比预设下限要高，且第三门限大于第四门限；如果模型的性能监控结果和/或性能监控结果的平均值大于第三门限，则可以认为模型可用，并且比较稳定；如果模型的性能监控结果和/或性能监控结果的平均值小于第四门限，则认为模型不可用；模型的性能监控结果和/或性能监控结果的平均值小于第三门限，并且大于第四门限，则认为模型可用，但并不稳定，需要启动其他备用模型的性能监控，以便当模型的性能监控结果小于第四门限时及时进行模型切换。

比如，模型对最优波束预测的准确率的预设上限为100％，预设下限为20％，则终端可以配置模型对最优波束预测的准确率的第三门限为80％，第四门限为40％，若模型对最优波束预测的准确率为90％，则终端可以确定模型可用，并且比较稳定；若模型对最优波束预测的准确率为30％，则终端可以确定模型不可用；若模型对最优波束预测的准确率为60％，则终端可以确定模型可用，但并不稳定，需要启动其他备用模型的性能监控，以便当模型的性能小于1时及时进行模型切换。

图7是本申请实施例提供的模型性能监控方法的流程示意图之四，如图7所示，本申请实施例提供一种模型性能监控方法，其执行主体可以为网络侧设备，比如基站。该方法包括：

步骤700，在模型的性能监控结果和/或所述性能监控结果的平均值小于第三门限，且大于第四门限的情况下，开始监控所述模型的备用模型或备用方法；

其中，所述第三门限大于第四门限。

可选地，网络侧可以针对模型的预设上限配置第三门限，第三门限值比预设上限要低；网络侧可以针对模型的预设下限配置第四门限，第四门限值比预设下限要高，且第三门限大于第四门限；如果模型的性能监控结果和/或性能监控结果的平均值大于第三门限，则可以认为模型可用，并且比较稳定；如果模型的性能监控结果和/或性能监控结果的平均值小于第四门限，则认为模型不可用；模型的性能监控结果和/或性能监控结果的平均值小于第三门限，并且大于第四门限，则认为模型可用，但并不稳定，需要启动其他备用模型的性能监控，以便当模型的性能监控结果小于第四门限时及时进行模型切换。

比如，模型对最优波束预测的准确率的预设上限为100％，预设下限为20％，则网络侧可以配置模型对最优波束预测的准确率的第三门限为80％，第四门限为40％，若模型对最优波束预测的准确率为90％，则网络侧可以确定模型可用，并且比较稳定；若模型对最优波束预测的准确率为30％，则网络侧可以确定模型不可用；若模型对最优波束预测的准确率为60％，则网络侧可以确定模型可用，但并不稳定，需要启动其他备用模型的性能监控，以便当模型的性能小于1时及时进行模型切换。

本申请实施例提供的模型性能监控方法，通过设置第三门限和第四门限，在性能监控结果和/或性能监控结果的平均值小于第三门限，且大于第四门限的情况下，可以判断模型不稳定，并监控模型的备用模型或备用方法，可以在该模型不可用的情况下及时进行模型切换，保证波束管理的正常运行。

可选地，备用方法可以是其他不使用模型的波束管理方法。

本申请实施例涉及的网络侧设备，可以是基站，该基站可以包括多个为终端提供服务的小区。根据具体应用场合不同，基站又可以称为接入点，或者可以是接入网中在空中接口上通过一个或多个扇区与无线终端设备通信的设备，或者其它名称。网络设备可用于将收到的空中帧与网际协议(Internet Protocol，IP)分组进行相互更换，作为无线终端设备与接入网的其余部分之间的路由器，其中接入网的其余部分可包括网际协议(IP)通信网络。网络设备还可协调对空中接口的属性管理。例如，本申请实施例涉及的网络设备可以是全球移动通信系统(Global System for Mobile communications，GSM)或码分多址接入(Code Division Multiple Access，CDMA)中的网络设备(Base Transceiver Station，BTS)，也可以是带宽码分多址接入(Wide-band Code Division Multiple Access，WCDMA)中的网络设备(NodeB)，还可以是长期演进(long term evolution，LTE)系统中的演进型网络设备(evolutional Node B，eNB或e-NodeB)、5G网络架构(next generation system)中的5G基站(gNB)，也可以是家庭演进基站(Home evolved Node B，HeNB)、中继节点(relaynode)、家庭基站(femto)、微微基站(pico)等，本申请实施例中并不限定。在一些网络结构中，网络设备可以包括集中单元(centralized unit，CU)节点和分布单元(distributedunit，DU)节点，集中单元和分布单元也可以地理上分开布置。

网络设备与终端设备之间可以各自使用一或多根天线进行多输入多输出(MultiInput Multi Output,MIMO)传输，MIMO传输可以是单用户MIMO(Single User MIMO,SU-MIMO)或多用户MIMO(Multiple User MIMO,MU-MIMO)。根据根天线组合的形态和数量，MIMO传输可以是2D-MIMO、3D-MIMO、FD-MIMO或massive-MIMO，也可以是分集传输或预编码传输或波束赋形传输等。

图8是本申请实施例提供的一种终端的结构示意图之一，如图8所示，所述终端包括存储器820，收发机800，处理器810，其中：

存储器820，用于存储计算机程序；收发机800，用于在所述处理器810的控制下收发数据；处理器810，用于读取所述存储器820中的计算机程序并执行以下操作：

测量网络侧在多个第一波束集合的波束上发送的参考信号；

获得所述多个第一波束集合分别对应的波束测量结果；

其中，所述多个第一波束集合分别对应的波束测量结果用于获得所述模型的性能监控结果。具体地，收发机800，用于在处理器810的控制下接收和发送数据。

其中，在图8中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器810代表的一个或多个处理器和存储器820代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机800可以是多个元件，即包括发送机和接收机，提供用于在传输介质上与各种其他装置通信的单元，这些传输介质包括无线信道、有线信道、光缆等传输介质。针对不同的用户设备，用户接口830还可以是能够外接内接需要设备的接口，连接的设备包括但不限于小键盘、显示器、扬声器、麦克风、操纵杆等。

处理器810负责管理总线架构和通常的处理，存储器820可以存储处理器810在执行操作时所使用的数据。

可选地，处理器810可以是中央处理器(Central Processing Unit,CPU)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或复杂可编程逻辑器件(Complex Programmable LogicDevice，CPLD)，处理器也可以采用多核架构。

处理器通过调用存储器存储的计算机程序，用于按照获得的可执行指令执行本申请实施例提供的任一所述方法。处理器与存储器也可以物理上分开布置。

可选地，在测量网络侧在多个第一波束集合的波束上发送的参考信号之后，处理器810用于：

在确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集的情况下，基于所述多个第一波束集合分别对应的波束测量结果，确定所述第二波束集合的波束测量结果；

基于所述第二波束集合的波束测量结果对模型的性能进行监控，获得性能监控结果。

可选地，在测量网络侧在多个第一波束集合的波束上发送的参考信号之后，处理器810用于：

在确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集的情况下，基于所述多个第一波束集合分别对应的波束测量结果，确定所述第二波束集合的波束测量结果；

将所述第二波束集合的波束测量结果与所述模型的输出结果发送给网络侧。

可选地，处理器810用于：

获取所述多个第一波束集合中各波束分别对应的波束标识；

所述确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集，包括：

基于所述多个第一波束集合中各波束分别对应的波束标识，与波束预测集合中各波束分别对应的波束标识，确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集；

其中，所述波束预测集合中各波束分别对应的波束标识由网络侧配置得到或基于预定义确定。

可选地，处理器810用于：

接收网络侧基于预设图样集合发送的多个第一波束集合；

所述方法还包括：获取所述多个第一波束集合分别对应的图样标识，其中，所述预设图样集合中每一个图样分别对应一个波束集合；

所述确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集，包括：

在基于所述多个第一波束集合分别对应的图样标识，确定接收到所述预设图样集合中各图样分别对应的波束集合的情况下，确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集；

其中，所述预设图样集合中各图样的图样标识由网络侧配置得到或基于预定义确定。

可选地，处理器810用于：

接收网络侧基于预设图样集合发送的多个第一波束集合；

所述方法还包括：获取所述多个第一波束集合中所有波束分别对应的波束标识，其中，所述预设图样集合中每一个图样分别对应一个波束集合；

所述确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集，包括：

在基于所述多个第一波束集合中各波束分别对应的波束标识，确定接收到所述预设图样集合中各图样分别对应的波束集合的情况下，确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集；

其中，所述预设图样集合所包括的波束的波束标识由网络侧配置得到或基于预定义确定。

可选地，处理器810用于：

获取所述多个第一波束集合分别对应的波束集合标识；

所述确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集，包括：

在基于所述多个第一波束集合分别对应的波束集合标识，确定接收到预设波束集合中所有波束集合的情况下，确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集；

其中，所述多个第一波束集合分别对应的波束集合标识由网络侧配置得到或基于预定义确定。

可选地，所述测量网络侧在多个第一波束集合的波束上发送的参考信号之后，处理器810用于：

确定接收到的多个第一波束集合的数量；

所述确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集，包括：

在确定接收到的多个第一波束集合的数量满足预设数量的情况下，确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集；

其中，所述预设数量由网络侧配置得到或基于预定义确定。

可选地，所述性能监控结果包括以下一项或多项：

所述模型对最优波束预测的准确率；

所述模型对多个最优波束预测的准确率；

所述模型对预测得到的最优波束的RSRP进行预测的误差值；

所述模型对预测得到的最优波束的CIR进行预测的误差值；

所述模型对预测得到的最优波束的PDP进行预测的误差值；

所述模型对预测得到的最优波束的RSRQ进行预测的误差值；

所述模型对预测得到的最优波束的SINR进行预测的误差值；

所述模型对最优波束的RSRP进行预测的误差值；

所述模型对最优波束的CIR进行预测的误差值；

所述模型对最优波束的PDP进行预测的误差值；

所述模型对最优波束的RSRQ进行预测的误差值；

所述模型对最优波束的SINR进行预测的误差值；

所述模型对预测得到的最优波束的系统性能进行预测的预测结果。

可选地，处理器810用于以下一项或多项：

在所述性能监控结果和/或所述性能监控结果的平均值处于预设上限和预设下限之间的情况下，确定所述模型可用，否则，确定所述模型不可用；

或者，在所述性能监控结果和/或所述性能监控结果的平均值处于第一门限和第二门限之间的情况下，确定所述模型可用，否则，确定所述模型不可用，其中，所述第一门限小于或等于预设上限，所述第二门限大于或等于预设下限，所述第一门限大于或等于第二门限。

可选地，处理器810用于以下一项或多项：

在所述性能监控结果和/或所述性能监控结果的平均值大于或等于第三门限的情况下，确定所述模型可用；

在所述性能监控结果和/或所述性能监控结果的平均值小于或等于第四门限的情况下，确定所述模型不可用；

在所述性能监控结果和/或所述性能监控结果的平均值小于第三门限，且大于第四门限的情况下，开始监控所述模型的备用模型或备用方法；

其中，所述第三门限大于第四门限。

在此需要说明的是，本申请实施例提供的上述终端，能够实现上述执行主体为终端的方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。

图9是本申请实施例提供的一种终端的结构示意图之二，如图9所示，所述终端包括存储器920，收发机900，处理器910，其中：

存储器920，用于存储计算机程序；收发机900，用于在所述处理器910的控制下收发数据；处理器910，用于读取所述存储器920中的计算机程序并执行以下操作：

在模型的性能监控结果和/或所述性能监控结果的平均值小于第三门限，且大于第四门限的情况下，开始监控所述模型的备用模型或备用方法；

其中，所述第三门限大于第四门限。

具体地，收发机900，用于在处理器910的控制下接收和发送数据。

其中，在图9中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器910代表的一个或多个处理器和存储器920代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机900可以是多个元件，即包括发送机和接收机，提供用于在传输介质上与各种其他装置通信的单元，这些传输介质包括无线信道、有线信道、光缆等传输介质。针对不同的用户设备，用户接口930还可以是能够外接内接需要设备的接口，连接的设备包括但不限于小键盘、显示器、扬声器、麦克风、操纵杆等。

处理器910负责管理总线架构和通常的处理，存储器920可以存储处理器910在执行操作时所使用的数据。

可选地，处理器910可以是中央处理器(Central Processing Unit,CPU)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或复杂可编程逻辑器件(Complex Programmable LogicDevice，CPLD)，处理器也可以采用多核架构。

处理器通过调用存储器存储的计算机程序，用于按照获得的可执行指令执行本申请实施例提供的任一所述方法。处理器与存储器也可以物理上分开布置。

在此需要说明的是，本申请实施例提供的上述终端，能够实现上述执行主体为终端的方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。

图10是本申请实施例提供的一种网络侧设备的结构示意图之一，如图10所示，所述网络侧设备包括存储器1020，收发机1000，处理器1010，其中：

存储器1020，用于存储计算机程序；收发机1000，用于在所述处理器1010的控制下收发数据；处理器1010，用于读取所述存储器1020中的计算机程序并执行以下操作：

发送多个第一波束集合；

基于所述多个第一波束集合的波束测量结果，获得模型的性能监控结果。

具体地，收发机1000，用于在处理器1010的控制下接收和发送数据。

其中，在图10中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器1010代表的一个或多个处理器和存储器1020代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机1000可以是多个元件，即包括发送机和接收机，提供用于在传输介质上与各种其他装置通信的单元，这些传输介质包括无线信道、有线信道、光缆等传输介质。处理器1010负责管理总线架构和通常的处理，存储器1020可以存储处理器1010在执行操作时所使用的数据。

可选地，处理器1010可以是中央处理器(Central Processing Unit,CPU)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或复杂可编程逻辑器件(Complex Programmable LogicDevice，CPLD)，处理器也可以采用多核架构。

处理器通过调用存储器存储的计算机程序，用于按照获得的可执行指令执行本申请实施例提供的任一所述方法。处理器与存储器也可以物理上分开布置。

可选地，所述基于所述多个第一波束集合的波束测量结果，获得模型的性能监控结果之前，处理器1010用于以下一项或多项：

获得第二波束集合的波束测量结果；

其中，第二波束集合由多个第一波束集合所组成，所述第二波束集合与用于波束预测的波束预测集合相同，或所述第二波束集合是所述波束预测集合的子集。

可选地，处理器1010用于：

接收终端发送的所述第二波束集合的波束测量结果。

可选地，处理器1010用于：

接收终端发送的多个第一波束集合分别对应的波束测量结果；

基于所述多个第一波束集合分别对应的波束测量结果，确定所述第二波束集合的波束测量结果。

可选地，处理器1010用于：

发送所述多个第一波束集合中各波束分别对应的波束标识。

可选地，处理器1010用于：

向终端发送波束预测集合中各波束分别对应的波束标识。

可选地，处理器1010用于：

基于预设图样集合发送所述多个第一波束集合；

处理器1010用于：

发送所述多个第一波束集合分别对应的图样标识，其中，所述预设图样集合中每一个图样分别对应一个波束集合。

可选地，处理器1010用于：

向终端发送预设图样集合中各图样的图样标识。

可选地，处理器1010用于：

基于预设图样集合发送所述多个第一波束集合；

处理器1010用于：

发送所述多个第一波束集合中各波束分别对应的波束标识，其中，所述预设图样集合中每一个图样分别对应一个波束集合。

可选地，处理器1010用于：

向终端发送所述预设图样集合所包括的波束的波束标识。

可选地，处理器1010用于：

发送多个第一波束集合；

处理器1010用于：发送所述多个第一波束集合分别对应的波束集合标识。

可选地，处理器1010用于：

向终端发送预设波束集合。

可选地，处理器1010用于：

向终端发送预设数量。

可选地，所述性能监控结果包括以下一项或多项：

所述模型对最优波束预测的准确率；

所述模型对多个最优波束预测的准确率；

所述模型对预测得到的最优波束的RSRP进行预测的误差值；

所述模型对预测得到的最优波束的CIR进行预测的误差值；

所述模型对预测得到的最优波束的PDP进行预测的误差值；

所述模型对预测得到的最优波束的RSRQ进行预测的误差值；

所述模型对预测得到的最优波束的SINR进行预测的误差值；

所述模型对最优波束的RSRP进行预测的误差值；

所述模型对最优波束的CIR进行预测的误差值；

所述模型对最优波束的PDP进行预测的误差值；

所述模型对最优波束的RSRQ进行预测的误差值；

所述模型对最优波束的SINR进行预测的误差值；

所述模型对预测得到的最优波束的系统性能进行预测的预测结果。

可选地，处理器1010用于以下一项或多项：

在所述性能监控结果和/或所述性能监控结果的平均值处于预设上限和预设下限之间的情况下，确定所述模型可用，否则，确定所述模型不可用；

或者，在所述性能监控结果和/或所述性能监控结果的平均值处于第一门限和第二门限之间的情况下，确定所述模型可用，否则，确定所述模型不可用，其中，所述第一门限小于或等于预设上限，所述第二门限大于或等于预设下限，所述第一门限大于或等于第二门限。

可选地，处理器1010用于以下一项或多项：

在所述性能监控结果和/或所述性能监控结果的平均值大于或等于第三门限的情况下，确定所述模型可用；

在所述性能监控结果和/或所述性能监控结果的平均值小于或等于第四门限的情况下，确定所述模型不可用；

在所述性能监控结果和/或所述性能监控结果的平均值小于第三门限，且大于第四门限的情况下，开始监控所述模型的备用模型或备用方法；

其中，所述第三门限大于第四门限。

在此需要说明的是，本申请实施例提供的上述网络侧设备，能够实现上述执行主体为网络侧设备的方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。

图11是本申请实施例提供的一种网络侧设备的结构示意图之二，如图11所示，所述网络侧设备包括存储器1120，收发机1100，处理器1110，其中：

存储器1120，用于存储计算机程序；收发机1100，用于在所述处理器1110的控制下收发数据；处理器1110，用于读取所述存储器1120中的计算机程序并执行以下操作：

在模型的性能监控结果和/或所述性能监控结果的平均值小于第三门限，且大于第四门限的情况下，开始监控所述模型的备用模型或备用方法；

其中，所述第三门限大于第四门限。

其中，在图11中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器1110代表的一个或多个处理器和存储器1120代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机1100可以是多个元件，即包括发送机和接收机，提供用于在传输介质上与各种其他装置通信的单元，这些传输介质包括无线信道、有线信道、光缆等传输介质。处理器1110负责管理总线架构和通常的处理，存储器1120可以存储处理器1110在执行操作时所使用的数据。

可选地，处理器1110可以是中央处理器(Central Processing Unit,CPU)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或复杂可编程逻辑器件(Complex Programmable LogicDevice，CPLD)，处理器也可以采用多核架构。

处理器通过调用存储器存储的计算机程序，用于按照获得的可执行指令执行本申请实施例提供的任一所述方法。处理器与存储器也可以物理上分开布置。

在此需要说明的是，本申请实施例提供的上述网络侧设备，能够实现上述执行主体为网络侧设备的方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。

图12是本申请实施例提供的模型性能监控装置的结构示意图之一，如图12所示，该模型性能监控装置1200包括：

测量模块1210，用于测量网络侧在多个第一波束集合的波束上发送的参考信号；

获取模块1220，用于获得所述多个第一波束集合分别对应的波束测量结果；

其中，所述多个第一波束集合分别对应的波束测量结果用于获得所述模型的性能监控结果。

可选地，所述模型性能监控装置1200还包括：

第三确定模块，在测量网络侧在多个第一波束集合的波束上发送的参考信号之后，在确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集的情况下，基于所述多个第一波束集合分别对应的波束测量结果，确定所述第二波束集合的波束测量结果；

第二监控模块，用于基于所述第二波束集合的波束测量结果对模型的性能进行监控，获得性能监控结果。

可选地，所述模型性能监控装置1200还包括：

第四确定模块，用于在测量网络侧在多个第一波束集合的波束上发送的参考信号之后，在确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集的情况下，基于所述多个第一波束集合分别对应的波束测量结果，确定所述第二波束集合的波束测量结果；

第二发送模块，用于将所述第二波束集合的波束测量结果与所述模型的输出结果发送给网络侧。

可选地，所述测量模块1210用于：

获取所述多个第一波束集合中各波束分别对应的波束标识；

所述第三确定模块或第四确定模块用于：

基于所述多个第一波束集合中各波束分别对应的波束标识，与波束预测集合中各波束分别对应的波束标识，确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集；

其中，所述波束预测集合中各波束分别对应的波束标识由网络侧配置得到或基于预定义确定。

可选地，所述测量模块1210用于：

接收网络侧基于预设图样集合发送的多个第一波束集合；

获取所述多个第一波束集合分别对应的图样标识，其中，所述预设图样集合中每一个图样分别对应一个波束集合；

所述第三确定模块或第四确定模块用于：在基于所述多个第一波束集合分别对应的图样标识，确定接收到所述预设图样集合中各图样分别对应的波束集合的情况下，确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集；

其中，所述预设图样集合中各图样的图样标识由网络侧配置得到或基于预定义确定。

可选地，所述测量模块1210用于：

接收网络侧基于预设图样集合发送的多个第一波束集合；

获取所述多个第一波束集合中所有波束分别对应的波束标识，其中，所述预设图样集合中每一个图样分别对应一个波束集合；

所述第三确定模块或第四确定模块用于：在基于所述多个第一波束集合中各波束分别对应的波束标识，确定接收到所述预设图样集合中各图样分别对应的波束集合的情况下，确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集；

其中，所述预设图样集合所包括的波束的波束标识由网络侧配置得到或基于预定义确定。

可选地，所述测量模块1210用于：

获取所述多个第一波束集合分别对应的波束集合标识；

所述第三确定模块或第四确定模块用于：在基于所述多个第一波束集合分别对应的波束集合标识，确定接收到预设波束集合中所有波束集合的情况下，确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集；

其中，所述多个第一波束集合分别对应的波束集合标识由网络侧配置得到或基于预定义确定。

可选地，所述模型性能监控装置1200还包括：

第五确定模块，用于确定接收到的多个第一波束集合的数量；

所述第三确定模块或第四确定模块用于：在确定接收到的多个第一波束集合的数量满足预设数量的情况下，确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集；

其中，所述预设数量由网络侧配置得到或基于预定义确定。

可选地，所述获取模块1220用于获取以下一项或多项：

所述模型对最优波束预测的准确率；

所述模型对多个最优波束预测的准确率；

所述模型对预测得到的最优波束的RSRP进行预测的误差值；

所述模型对预测得到的最优波束的CIR进行预测的误差值；

所述模型对预测得到的最优波束的PDP进行预测的误差值；

所述模型对预测得到的最优波束的RSRQ进行预测的误差值；

所述模型对预测得到的最优波束的SINR进行预测的误差值；

所述模型对最优波束的RSRP进行预测的误差值；

所述模型对最优波束的CIR进行预测的误差值；

所述模型对最优波束的PDP进行预测的误差值；

所述模型对最优波束的RSRQ进行预测的误差值；

所述模型对最优波束的SINR进行预测的误差值；

所述模型对预测得到的最优波束的系统性能进行预测的预测结果。

可选地，所述模型性能监控装置1200还包括以下一项或多项：

第七确定模块，用于在所述性能监控结果和/或所述性能监控结果的平均值处于预设上限和预设下限之间的情况下，确定所述模型可用，否则，确定所述模型不可用；

第八确定模块，用于在所述性能监控结果和/或所述性能监控结果的平均值处于第一门限和第二门限之间的情况下，确定所述模型可用，否则，确定所述模型不可用，其中，所述第一门限小于或等于预设上限，所述第二门限大于或等于预设下限，所述第一门限大于或等于第二门限。

可选地，所述模型性能监控装置1200还包括以下一项或多项：

第九确定模块，用于在所述性能监控结果和/或所述性能监控结果的平均值大于或等于第三门限的情况下，确定所述模型可用；

第十确定模块，用于在所述性能监控结果和/或所述性能监控结果的平均值小于或等于第四门限的情况下，确定所述模型不可用；

第十一确定模块，用于在所述性能监控结果和/或所述性能监控结果的平均值小于第三门限，且大于第四门限的情况下，开始监控所述模型的备用模型或备用方法；

其中，所述第三门限大于第四门限。

在此需要说明的是，本申请实施例提供的上述装置，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。

图13是本申请实施例提供的模型性能监控装置的结构示意图之二，如图13所示，该模型性能监控装置1300包括：

确定模块1310，用于在模型的性能监控结果和/或所述性能监控结果的平均值小于第三门限，且大于第四门限的情况下，开始监控所述模型的备用模型或备用方法；

其中，所述第三门限大于第四门限。

在此需要说明的是，本申请实施例提供的上述装置，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。

图14是本申请实施例提供的模型性能监控装置的结构示意图之三，如图14所示，该模型性能监控装置1400包括：

发送模块1410，用于发送多个第一波束集合；

监控模块1420，用于基于所述多个第一波束集合的波束测量结果，获得模型的性能监控结果。

可选地，所述模型性能监控装置1400还包括：

第二获取模块，用于获得第二波束集合的波束测量结果；

其中，第二波束集合由多个第一波束集合所组成，所述第二波束集合与用于波束预测的波束预测集合相同，或所述第二波束集合是所述波束预测集合的子集。

可选地，所述第二获取模块用于：

接收终端发送的所述第二波束集合的波束测量结果。

可选地，所述第二获取模块用于：

接收终端发送的多个第一波束集合分别对应的波束测量结果；

基于所述多个第一波束集合分别对应的波束测量结果，确定所述第二波束集合的波束测量结果。

可选地，所述发送模块1410用于：

发送所述多个第一波束集合，以及所述多个第一波束集合中各波束分别对应的波束标识。

可选地，所述模型性能监控装置1400还包括：

第三发送模块，用于向终端发送波束预测集合中各波束分别对应的波束标识。

可选地，所述发送模块1410用于：

基于预设图样集合发送所述多个第一波束集合；

发送所述多个第一波束集合分别对应的图样标识，其中，所述预设图样集合中每一个图样分别对应一个波束集合。

可选地，所述模型性能监控装置1400还包括：

第四发送模块，用于向终端发送预设图样集合中各图样的图样标识。

可选地，所述发送模块1410用于：

基于预设图样集合发送所述多个第一波束集合；

发送所述多个第一波束集合中各波束分别对应的波束标识，其中，所述预设图样集合中每一个图样分别对应一个波束集合。

可选地，所述模型性能监控装置1400还包括：

第五发送模块，用于向终端发送所述预设图样集合所包括的波束的波束标识。

可选地，所述发送模块1410用于：

发送多个第一波束集合；

发送所述多个第一波束集合分别对应的波束集合标识。

可选地，所述模型性能监控装置1400还包括：

第六发送模块，用于向终端发送预设波束集合。

可选地，所述模型性能监控装置1400还包括：

第七发送模块，用于向终端发送预设数量。

可选地，所述监控模块1420用于获取以下一项或多项：

所述模型对最优波束预测的准确率；

所述模型对多个最优波束预测的准确率；

所述模型对预测得到的最优波束的RSRP进行预测的误差值；

所述模型对预测得到的最优波束的CIR进行预测的误差值；

所述模型对预测得到的最优波束的PDP进行预测的误差值；

所述模型对预测得到的最优波束的RSRQ进行预测的误差值；

所述模型对预测得到的最优波束的SINR进行预测的误差值；

所述模型对最优波束的RSRP进行预测的误差值；

所述模型对最优波束的CIR进行预测的误差值；

所述模型对最优波束的PDP进行预测的误差值；

所述模型对最优波束的RSRQ进行预测的误差值；

所述模型对最优波束的SINR进行预测的误差值；

所述模型对预测得到的最优波束的系统性能进行预测的预测结果。

可选地，所述模型性能监控装置1400还包括以下一项或多项：

第十二确定模块，用于在所述性能监控结果和/或所述性能监控结果的平均值处于预设上限和预设下限之间的情况下，确定所述模型可用，否则，确定所述模型不可用；

第十三确定模块，用于在所述性能监控结果和/或所述性能监控结果的平均值处于第一门限和第二门限之间的情况下，确定所述模型可用，否则，确定所述模型不可用，其中，所述第一门限小于或等于预设上限，所述第二门限大于或等于预设下限，所述第一门限大于或等于第二门限。

可选地，所述模型性能监控装置1400还包括以下一项或多项：

第十四确定模块，用于在所述性能监控结果和/或所述性能监控结果的平均值大于或等于第三门限的情况下，确定所述模型可用；

第十五确定模块，用于在所述性能监控结果和/或所述性能监控结果的平均值小于或等于第四门限的情况下，确定所述模型不可用；

第十六确定模块，用于在所述性能监控结果和/或所述性能监控结果的平均值小于第三门限，且大于第四门限的情况下，开始监控所述模型的备用模型或备用方法；

其中，所述第三门限大于第四门限。

在此需要说明的是，本申请实施例提供的上述装置，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。

图15是本申请实施例提供的模型性能监控装置的结构示意图之四，如图15所示，该模型性能监控装置1500包括：

第二确定模块1510，用于在模型的性能监控结果和/或所述性能监控结果的平均值小于第三门限，且大于第四门限的情况下，开始监控所述模型的备用模型；

其中，所述第三门限大于第四门限。

在此需要说明的是，本申请实施例提供的上述装置，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。

需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本申请实施例还提供一种处理器可读存储介质，所述处理器可读存储介质存储有计算机程序，所述计算机程序用于使所述处理器执行上述各实施例提供的方法。

所述处理器可读存储介质可以是处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD))等。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机可执行指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机可执行指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些处理器可执行指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的处理器可读存储器中，使得存储在该处理器可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些处理器可执行指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (38)

1.一种模型性能监控方法，其特征在于，应用于终端，所述方法包括：

测量网络侧在多个第一波束集合的波束上发送的参考信号；

获得所述多个第一波束集合分别对应的波束测量结果；

其中，所述多个第一波束集合分别对应的波束测量结果用于获得所述模型的性能监控结果。

2.根据权利要求1所述的模型性能监控方法，其特征在于，在测量网络侧在多个第一波束集合的波束上发送的参考信号之后，所述方法还包括：

在确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集的情况下，基于所述多个第一波束集合分别对应的波束测量结果，确定所述第二波束集合的波束测量结果；

基于所述第二波束集合的波束测量结果对模型的性能进行监控，获得性能监控结果。

3.根据权利要求1所述的模型性能监控方法，其特征在于，在测量网络侧在多个第一波束集合的波束上发送的参考信号之后，所述方法还包括：

在确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集的情况下，基于所述多个第一波束集合分别对应的波束测量结果，确定所述第二波束集合的波束测量结果；

将所述第二波束集合的波束测量结果与所述模型的输出结果发送给网络侧。

4.根据权利要求2或3所述的模型性能监控方法，其特征在于，所述方法还包括：

获取所述多个第一波束集合中各波束分别对应的波束标识；

所述确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集，包括：

基于所述多个第一波束集合中各波束分别对应的波束标识，与波束预测集合中各波束分别对应的波束标识，确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集；

其中，所述波束预测集合中各波束分别对应的波束标识由网络侧配置得到或基于预定义确定。

5.根据权利要求2或3所述的模型性能监控方法，其特征在于，所述测量网络侧在多个第一波束集合的波束上发送的参考信号，包括：

接收网络侧基于预设图样集合发送的多个第一波束集合；

所述方法还包括：获取所述多个第一波束集合分别对应的图样标识，其中，所述预设图样集合中每一个图样分别对应一个波束集合；

所述确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集，包括：

在基于所述多个第一波束集合分别对应的图样标识，确定接收到所述预设图样集合中各图样分别对应的波束集合的情况下，确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集；

其中，所述预设图样集合中各图样的图样标识由网络侧配置得到或基于预定义确定。

6.根据权利要求2或3所述的模型性能监控方法，其特征在于，所述测量网络侧在多个第一波束集合的波束上发送的参考信号，包括：

接收网络侧基于预设图样集合发送的多个第一波束集合；

所述方法还包括：获取所述多个第一波束集合中所有波束分别对应的波束标识，其中，所述预设图样集合中每一个图样分别对应一个波束集合；

所述确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集，包括：

在基于所述多个第一波束集合中各波束分别对应的波束标识，确定接收到所述预设图样集合中各图样分别对应的波束集合的情况下，确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集；

其中，所述预设图样集合所包括的波束的波束标识由网络侧配置得到或基于预定义确定。

7.根据权利要求2或3所述的模型性能监控方法，其特征在于，所述方法还包括：

获取所述多个第一波束集合分别对应的波束集合标识；

所述确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集，包括：

在基于所述多个第一波束集合分别对应的波束集合标识，确定接收到预设波束集合中所有波束集合的情况下，确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集；

其中，所述多个第一波束集合分别对应的波束集合标识由网络侧配置得到或基于预定义确定。

8.根据权利要求2或3所述的模型性能监控方法，其特征在于，所述测量网络侧在多个第一波束集合的波束上发送的参考信号之后，所述方法还包括：

确定接收到的多个第一波束集合的数量；

所述确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集，包括：

在确定接收到的多个第一波束集合的数量满足预设数量的情况下，确定接收到的多个第一波束集合所组成的第二波束集合与用于波束预测的波束预测集合相同，或确定接收到的多个第一波束集合所组成的第二波束集合是所述波束预测集合的子集；

其中，所述预设数量由网络侧配置得到或基于预定义确定。

9.根据权利要求1-8任一项所述的模型性能监控方法，其特征在于，所述性能监控结果包括以下一项或多项：

所述模型对最优波束预测的准确率；

所述模型对多个最优波束预测的准确率；

所述模型对预测得到的最优波束的RSRP进行预测的误差值；

所述模型对预测得到的最优波束的CIR进行预测的误差值；

所述模型对预测得到的最优波束的PDP进行预测的误差值；

所述模型对预测得到的最优波束的RSRQ进行预测的误差值；

所述模型对预测得到的最优波束的SINR进行预测的误差值；

所述模型对最优波束的RSRP进行预测的误差值；

所述模型对最优波束的CIR进行预测的误差值；

所述模型对最优波束的PDP进行预测的误差值；

所述模型对最优波束的RSRQ进行预测的误差值；

所述模型对最优波束的SINR进行预测的误差值；

所述模型对预测得到的最优波束的系统性能进行预测的预测结果。

10.根据权利要求1-8任一项所述的模型性能监控方法，其特征在于，所述方法还包括以下一项或多项：

在所述性能监控结果和/或所述性能监控结果的平均值处于预设上限和预设下限之间的情况下，确定所述模型可用，否则，确定所述模型不可用；

或者，在所述性能监控结果和/或所述性能监控结果的平均值处于第一门限和第二门限之间的情况下，确定所述模型可用，否则，确定所述模型不可用，其中，所述第一门限小于或等于预设上限，所述第二门限大于或等于预设下限，所述第一门限大于或等于第二门限。

11.根据权利要求1-8任一项所述的模型性能监控方法，其特征在于，所述方法还包括以下一项或多项：

在所述性能监控结果和/或所述性能监控结果的平均值大于或等于第三门限的情况下，确定所述模型可用；

在所述性能监控结果和/或所述性能监控结果的平均值小于或等于第四门限的情况下，确定所述模型不可用；

在所述性能监控结果和/或所述性能监控结果的平均值小于第三门限，且大于第四门限的情况下，开始监控所述模型的备用模型或备用方法；

其中，所述第三门限大于第四门限。

12.一种模型性能监控方法，其特征在于，应用于终端，所述方法包括：

在模型的性能监控结果和/或所述性能监控结果的平均值小于第三门限，且大于第四门限的情况下，开始监控所述模型的备用模型或备用方法；

其中，所述第三门限大于第四门限。

13.一种模型性能监控方法，其特征在于，应用于网络侧，所述方法包括：

发送多个第一波束集合；

基于所述多个第一波束集合的波束测量结果，获得模型的性能监控结果。

14.根据权利要求13所述的模型性能监控方法，其特征在于，所述基于所述多个第一波束集合的波束测量结果，获得模型的性能监控结果之前，所述方法还包括：

获得第二波束集合的波束测量结果；

其中，第二波束集合由多个第一波束集合所组成，所述第二波束集合与用于波束预测的波束预测集合相同，或所述第二波束集合是所述波束预测集合的子集。

15.根据权利要求14所述的模型性能监控方法，其特征在于，所述获得第二波束集合的波束测量结果，包括：

接收终端发送的所述第二波束集合的波束测量结果。

16.根据权利要求14所述的模型性能监控方法，其特征在于，所述获得第二波束集合的波束测量结果，包括：

接收终端发送的多个第一波束集合分别对应的波束测量结果；

基于所述多个第一波束集合分别对应的波束测量结果，确定所述第二波束集合的波束测量结果。

17.根据权利要求13-16任一项所述的模型性能监控方法，其特征在于，所述方法还包括：

发送所述多个第一波束集合中各波束分别对应的波束标识。

18.根据权利要求17所述的模型性能监控方法，其特征在于，所述方法还包括：

向终端发送波束预测集合中各波束分别对应的波束标识。

19.根据权利要求13-16任一项所述的模型性能监控方法，其特征在于，所述发送多个第一波束集合，包括：

基于预设图样集合发送所述多个第一波束集合；

所述方法还包括：

发送所述多个第一波束集合分别对应的图样标识，其中，所述预设图样集合中每一个图样分别对应一个波束集合。

20.根据权利要求19所述的模型性能监控方法，其特征在于，所述方法还包括：

向终端发送预设图样集合中各图样的图样标识。

21.根据权利要求13-16任一项所述的模型性能监控方法，其特征在于，所述发送多个第一波束集合，包括：

基于预设图样集合发送所述多个第一波束集合；

所述方法还包括：

发送所述多个第一波束集合中各波束分别对应的波束标识，其中，所述预设图样集合中每一个图样分别对应一个波束集合。

22.根据权利要求21所述的模型性能监控方法，其特征在于，所述方法还包括：

向终端发送所述预设图样集合所包括的波束的波束标识。

23.根据权利要求13-16任一项所述的模型性能监控方法，其特征在于，所述发送多个第一波束集合，包括：

发送多个第一波束集合；

所述方法还包括：发送所述多个第一波束集合分别对应的波束集合标识。

24.根据权利要求23所述的模型性能监控方法，其特征在于，所述方法还包括：

向终端发送预设波束集合。

25.根据权利要求13-16任一项所述的模型性能监控方法，其特征在于，所述方法还包括：

向终端发送预设数量。

26.根据权利要求13-25任一项所述的模型性能监控方法，其特征在于，所述性能监控结果包括以下一项或多项：

所述模型对最优波束预测的准确率；

所述模型对多个最优波束预测的准确率；

所述模型对预测得到的最优波束的RSRP进行预测的误差值；

所述模型对预测得到的最优波束的CIR进行预测的误差值；

所述模型对预测得到的最优波束的PDP进行预测的误差值；

所述模型对预测得到的最优波束的RSRQ进行预测的误差值；

所述模型对预测得到的最优波束的SINR进行预测的误差值；

所述模型对最优波束的RSRP进行预测的误差值；

所述模型对最优波束的CIR进行预测的误差值；

所述模型对最优波束的PDP进行预测的误差值；

所述模型对最优波束的RSRQ进行预测的误差值；

所述模型对最优波束的SINR进行预测的误差值；

所述模型对预测得到的最优波束的系统性能进行预测的预测结果。

27.根据权利要求13-25任一项所述的模型性能监控方法，其特征在于，所述方法还包括以下一项或多项：

在所述性能监控结果和/或所述性能监控结果的平均值处于预设上限和预设下限之间的情况下，确定所述模型可用，否则，确定所述模型不可用；

或者，在所述性能监控结果和/或所述性能监控结果的平均值处于第一门限和第二门限之间的情况下，确定所述模型可用，否则，确定所述模型不可用，其中，所述第一门限小于或等于预设上限，所述第二门限大于或等于预设下限，所述第一门限大于或等于第二门限。

28.根据权利要求13-25任一项所述的模型性能监控方法，其特征在于，所述方法还包括以下一项或多项：

在所述性能监控结果和/或所述性能监控结果的平均值大于或等于第三门限的情况下，确定所述模型可用；

在所述性能监控结果和/或所述性能监控结果的平均值小于或等于第四门限的情况下，确定所述模型不可用；

在所述性能监控结果和/或所述性能监控结果的平均值小于第三门限，且大于第四门限的情况下，开始监控所述模型的备用模型或备用方法；

其中，所述第三门限大于第四门限。

29.一种模型性能监控方法，其特征在于，应用于网络侧，所述方法包括：

在模型的性能监控结果和/或所述性能监控结果的平均值小于第三门限，且大于第四门限的情况下，开始监控所述模型的备用模型或备用方法；

其中，所述第三门限大于第四门限。

30.一种终端，其特征在于，包括存储器，收发机，处理器：

存储器，用于存储计算机程序；收发机，用于在所述处理器的控制下收发数据；处理器，用于读取所述存储器中的计算机程序并执行以下操作：

测量网络侧在多个第一波束集合的波束上发送的参考信号；

获得所述多个第一波束集合分别对应的波束测量结果；

其中，所述多个第一波束集合分别对应的波束测量结果用于获得所述模型的性能监控结果。

31.一种终端，其特征在于，包括存储器，收发机，处理器：

存储器，用于存储计算机程序；收发机，用于在所述处理器的控制下收发数据；处理器，用于读取所述存储器中的计算机程序并执行以下操作：

在模型的性能监控结果和/或所述性能监控结果的平均值小于第三门限，且大于第四门限的情况下，开始监控所述模型的备用模型或备用方法；

其中，所述第三门限大于第四门限。

32.一种网络侧设备，其特征在于，包括存储器，收发机，处理器：

存储器，用于存储计算机程序；收发机，用于在所述处理器的控制下收发数据；处理器，用于读取所述存储器中的计算机程序并执行以下操作：

发送多个第一波束集合；

基于所述多个第一波束集合的波束测量结果，获得模型的性能监控结果。

33.一种网络侧设备，其特征在于，包括存储器，收发机，处理器：

存储器，用于存储计算机程序；收发机，用于在所述处理器的控制下收发数据；处理器，用于读取所述存储器中的计算机程序并执行以下操作：

在模型的性能监控结果和/或所述性能监控结果的平均值小于第三门限，且大于第四门限的情况下，开始监控所述模型的备用模型；

其中，所述第三门限大于第四门限。

34.一种模型性能监控装置，其特征在于，包括：

测量模块，用于测量网络侧在第一波束集合的波束上发送的参考信号；

获取模块，用于获得所述多个第一波束集合分别对应的波束测量结果；

其中，所述多个第一波束集合分别对应的波束测量结果用于获得所述模型的性能监控结果。

35.一种模型性能监控装置，其特征在于，包括：

第一确定模块，用于在模型的性能监控结果和/或所述性能监控结果的平均值小于第三门限，且大于第四门限的情况下，开始监控所述模型的备用模型；

其中，所述第三门限大于第四门限。

36.一种模型性能监控装置，其特征在于，包括：

发送模块，用于发送多个第一波束集合；

监控模块，用于基于所述多个第一波束集合的波束测量结果，获得模型的性能监控结果。

37.一种模型性能监控装置，其特征在于，包括：

第二确定模块，用于在模型的性能监控结果和/或所述性能监控结果的平均值小于第三门限，且大于第四门限的情况下，开始监控所述模型的备用模型；

其中，所述第三门限大于第四门限。

38.一种处理器可读存储介质，其特征在于，所述处理器可读存储介质存储有计算机程序，所述计算机程序用于使所述处理器执行权利要求1至29任一项所述的方法。