CN116933874A

CN116933874A - 验证方法、装置及设备

Info

Publication number: CN116933874A
Application number: CN202210351259.5A
Authority: CN
Inventors: 周通; 孙鹏; 宋二浩
Original assignee: Vivo Mobile Communication Co Ltd
Current assignee: Vivo Mobile Communication Co Ltd
Priority date: 2022-04-02
Filing date: 2022-04-02
Publication date: 2023-10-24
Also published as: WO2023186090A1

Abstract

本申请公开了一种验证方法、装置及设备，属于通信技术领域，本申请实施例的验证方法包括：第一设备获取对人工智能AI模型的推理结果的验证需求和触发条件，并基于所述验证需求确定所述推理结果对应的验证结果，所述验证需求用于指示对所述推理结果输出的至少一个维度的数据进行验证的需求；在所述验证结果满足所述触发条件的情况下，向第二设备发送目标信息，所述目标信息用于指示所述验证结果。

Description

验证方法、装置及设备

技术领域

本申请属于通信技术领域，具体涉及一种验证方法、装置及设备。

背景技术

无线移动通信结合人工智能(Artificial Intelligence，AI)能够较好地提高通信质量，例如，物理层的基于AI信道质量压缩、基于AI的波束管理、基于AI的定位。以波束管理为例，在毫米波无线通信中，通信收发端(例如，基站和终端)都配置了多个模拟波束，对于同一个终端，在不同的发送和接收模拟波束测量到信道质量是变化的。如何快速并准确地从所有可能的收发模拟波束组合中选择出信道质量最高的收发波束组，是影响传输质量的关键。在引入AI神经网络模型后，终端可以基于AI神经网络模型有效地预测信道质量最高的收发模拟波束，并上报给网络侧，从而能够获得较好的传输质量。

AI神经网络模型需要进行学习训练，训练后的AI神经网络模型才能用于推理预测。目前，AI神经网络模型采用仿真数据进行训练，训练后的AI神经网络模型直接部署在推理设备上使用。然而，由于通信环境的复杂性，采用仿真数据训练的AI神经网络模型可能会不适应推理设备所在的通信环境，会导致推理预测的效果较差。

发明内容

本申请实施例提供一种验证方法、装置及设备，能够解决采用仿真数据训练的AI神经网络模型可能会不适应推理设备所在的通信环境，会导致推理预测的效果较差的问题。

第一方面，提供了一种验证方法，包括：

第一设备获取对人工智能AI模型的推理结果的验证需求和触发条件，并基于所述验证需求确定所述推理结果对应的验证结果，所述验证需求用于指示对所述推理结果输出的至少一个维度的数据进行验证的需求；

在所述验证结果满足所述触发条件的情况下，向第二设备发送目标信息，所述目标信息用于指示所述验证结果。

第二方面，提供了一种验证方法，包括：

在人工智能AI模型的推理结果对应的验证结果满足触发条件的情况下，第二设备接收第一设备发送的目标信息，所述目标信息用于指示所述验证结果；

其中，所述验证结果基于对所述推理结果的验证需求确定，所述验证需求用于指示对所述推理结果输出的至少一个维度的数据进行验证的需求。

第三方面，提供了一种验证装置，第一设备包括所述验证装置，包括：

确定模块，用于获取对人工智能AI模型的推理结果的验证需求和触发条件，并基于所述验证需求确定所述推理结果对应的验证结果，所述验证需求用于指示对所述推理结果输出的至少一个维度的数据进行验证的需求；

发送模块，用于在所述验证结果满足所述触发条件的情况下，向第二设备发送目标信息，所述目标信息用于指示所述验证结果。

第四方面，提供了一种验证装置，第二设备包括所述验证装置，包括：

接收模块，用于在人工智能AI模型的推理结果对应的验证结果满足触发条件的情况下，第二设备接收第一设备发送的目标信息，所述目标信息用于指示所述验证结果；

第五方面，提供了一种第一设备，该第一设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第六方面，提供了一种第一设备，包括处理器及通信接口，其中，所述处理器用于获取对人工智能AI模型的推理结果的验证需求和触发条件，并基于所述验证需求确定所述推理结果对应的验证结果，所述验证需求用于指示对所述推理结果输出的至少一个维度的数据进行验证的需求；所述通信接口用于在所述验证结果满足所述触发条件的情况下，向第二设备发送目标信息，所述目标信息用于指示所述验证结果。

第七方面，提供了一种第二设备，该第二设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第二方面所述的方法的步骤。

第八方面，提供了一种第二设备，包括处理器及通信接口，其中，所述通信接口用于在人工智能AI模型的推理结果对应的验证结果满足触发条件的情况下，接收第一设备发送的目标信息，所述目标信息用于指示所述验证结果；其中，所述验证结果基于对所述推理结果的验证需求确定，所述验证需求用于指示对所述推理结果输出的至少一个维度的数据进行验证的需求。

第九方面，提供了一种验证系统，包括：第一设备及第二设备，所述第一设备可用于执行如第一方面所述的验证方法的步骤，所述第二设备可用于执行如第二方面所述的验证方法的步骤。

第十方面，提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤，或者实现如第二方面所述的方法的步骤。

第十一方面，提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法，或实现如第二方面所述的方法。

第十二方面，提供了一种计算机程序/程序产品，所述计算机程序/程序产品被存储在存储介质中，所述计算机程序/程序产品被至少一个处理器执行以实现如第一方面所述的信息反馈方法的步骤，或者，所述计算机程序/程序产品被至少一个处理器执行以实现如第二方面所述的信息反馈方法的步骤。

本申请实施例中，第一设备获取对人工智能AI模型的推理结果的验证需求和触发条件，并基于所述验证需求确定所述推理结果对应的验证结果，所述验证需求用于指示对所述推理结果输出的至少一个维度的数据进行验证的需求；在所述验证结果满足所述触发条件的情况下，向第二设备发送目标信息，所述目标信息用于指示所述验证结果。这样，通过第一设备对AI模型输出的至少一个维度的数据进行验证，并在验证结果满足触发条件时上报第二设备，能够实现在推理设备上对AI模型进行验证，从而能够提高AI模型的推理预测效果。

附图说明

图1是本申请实施例可应用的一种无线通信系统的框图；

图2是本申请实施例提供的一种验证方法的流程图之一；

图3是本申请实施例提供的一种验证方法的流程图之二；

图4是本申请实施例提供的一种验证装置的结构图之一；

图5是本申请实施例提供的一种验证装置的结构图之二；

图6是本申请实施例提供的一种通信设备的结构图；

图7是本申请实施例提供的一种终端的结构示意图；

图8是本申请实施例提供的一种网络侧设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”所区别的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/” 一般表示前后关联对象是一种“或”的关系。

值得指出的是，本申请实施例所描述的技术不限于长期演进型(Long TermEvolution， LTE)/LTE的演进(LTE-Advanced，LTE-A)系统，还可用于其他无线通信系统，诸如码分多址(Code Division Multiple Access，CDMA)、时分多址(Time DivisionMultiple Access， TDMA)、频分多址(Frequency Division Multiple Access，FDMA)、正交频分多址(Orthogonal Frequency Division Multiple Access，OFDMA)、单载波频分多址(Single-carrier Frequency Division Multiple Access，SC-FDMA)和其他系统。本申请实施例中的术语“系统”和“网络”常被可互换地使用，所描述的技术既可用于以上提及的系统和无线电技术，也可用于其他系统和无线电技术。以下描述出于示例目的描述了新空口(New Radio，NR)系统，并且在以下大部分描述中使用NR术语，但是这些技术也可应用于NR系统应用以外的应用，如第6代(6^th Generation，6G)通信系统。

图1示出本申请实施例可应用的一种无线通信系统的框图。无线通信系统包括终端11 和网络侧设备12。其中，终端11可以是手机、平板电脑(Tablet Personal Computer)、膝上型电脑(Laptop Computer)或称为笔记本电脑、个人数字助理(Personal DigitalAssistant， PDA)、掌上电脑、上网本、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、移动上网装置(Mobile Internet Device，MID)、增强现实(augmentedreality，AR)/虚拟现实 (virtual reality，VR)设备、机器人、可穿戴式设备(WearableDevice)、车载设备(VUE)、行人终端(PUE)、智能家居(具有无线通信功能的家居设备，如冰箱、电视、洗衣机或者家具等)、游戏机、个人计算机(personal computer，PC)、柜员机或者自助机等终端侧设备，可穿戴式设备包括：智能手表、智能手环、智能耳机、智能眼镜、智能首饰(智能手镯、智能手链、智能戒指、智能项链、智能脚镯、智能脚链等)、智能腕带、智能服装等。需要说明的是，在本申请实施例并不限定终端11的具体类型。网络侧设备12可以包括接入网设备或核心网设备，其中，接入网设备12也可以称为无线接入网设备、无线接入网(Radio Access Network,RAN)、无线接入网功能或无线接入网单元。接入网设备12可以包括基站、 WLAN接入点或WiFi节点等，基站可被称为节点B、演进节点B(eNB)、接入点、基收发机站(Base Transceiver Station，BTS)、无线电基站、无线电收发机、基本服务集(Basic Service Set，BSS)、扩展服务集(Extended Service Set，ESS)、家用B节点、家用演进型B节点、发送接收点(Transmitting Receiving Point，TRP)或所述领域中其他某个合适的术语，只要达到相同的技术效果，所述基站不限于特定技术词汇，需要说明的是，在本申请实施例中仅以NR系统中的基站为例进行介绍，并不限定基站的具体类型。核心网设备可以包含但不限于如下至少一项：核心网节点、核心网功能、移动管理实体(MobilityManagement Entity， MME)、接入移动管理功能(Access and Mobility ManagementFunction，AMF)、会话管理功能(Session Management Function，SMF)、用户平面功能(User Plane Function，UPF)、策略控制功能(Policy Control Function，PCF)、策略与计费规则功能单元(Policy and Charging Rules Function，PCRF)、边缘应用服务发现功能(Edge Application Server Discovery Function， EASDF)、统一数据管理(Unified DataManagement，UDM)，统一数据仓储(Unified Data Repository，UDR)、归属用户服务器(HomeSubscriber Server，HSS)、集中式网络配置 (Centralized network configuration，CNC)、网络存储功能(Network Repository Function， NRF)，网络开放功能(NetworkExposure Function，NEF)、本地NEF(Local NEF，或L-NEF)、绑定支持功能(BindingSupport Function，BSF)、应用功能(Application Function，AF)等。需要说明的是，在本申请实施例中仅以NR系统中的核心网设备为例进行介绍，并不限定核心网设备的具体类型。

下面结合附图，通过一些实施例及其应用场景对本申请实施例提供的验证方法、装置及设备进行详细地说明。

参见图2，图2是本申请实施例提供的一种验证方法的流程图，如图2所示，验证方法包括以下步骤：

步骤101、第一设备获取对人工智能AI模型的推理结果的验证需求和触发条件，并基于所述验证需求确定所述推理结果对应的验证结果，所述验证需求用于指示对所述推理结果输出的至少一个维度的数据进行验证的需求。

其中，所述推理结果可以为第一设备采用AI模型进行推理得到的结果。触发条件可以用于表征向第二设备上报目标信息的条件。触发条件可以包括验证指标、最小验证个数等。验证结果可以为对所述推理结果进行验证得到的结果。示例地，验证结果可以用误差、准确率、或精确率等表征。该验证结果可以通过推理结果与标签数据计算获得，以验证结果包括误差为例，验证结果可以为标签数据与推理结果的差值。

一种实施方式中，验证需求可以包括验证对象，其中，验证对象用于指示待验证的对象，验证对象可以包括如下至少一项：

AI模型推理输出的维度；AI模型推理输出的维度个数及维度顺序；AI模型推理输出的每个维度内的数据的目标排序方式；AI模型推理输出的每个维度内的数据的最大个数；AI 模型推理输出的每个维度内的数据间隔。

一种实施方式中，验证需求还可以包括验证方法，其中，验证方法用于指示对所述推理结果输出的至少一个维度的数据进行验证的方式，验证方法可以包括如下至少一项：AI 模型标签数据指示；AI模型标签时延指示；AI模型的输出数据处理指示；验证时长；验证样本个数；验证指标计算方式。

步骤102、在所述验证结果满足所述触发条件的情况下，向第二设备发送目标信息，所述目标信息用于指示所述验证结果。

其中，所述验证需求可以用于验证AI模型的推理有效性，和/或可以验证AI模型是否推理失效。通过第一设备实现验证需求，获得验证结果，并向第二设备上报指示验证结果的目标信息。从而第二设备能够通过目标信息确定AI模型的推理有效性，和/或AI模型是否推理失效。

一种实施方式中，所述目标信息可以包括AI模型的推理结果，和/或，满足验证指标的数据个数。

需要说明的是，通过在所述验证结果满足所述触发条件的情况下，向第二设备发送目标信息，实现基于事件触发的验证情况上报，能够解决AI模型部署后的验证和监视问题。

需要说明的是，第一设备可以作为AI模型推理端，在AI模型推理端接收触发条件，对推理结果进行观察并计算验证结果，在验证结果满足触发条件后上报验证或监视信息。本申请实施例能够在AI模型推理端对多维预测结果的有效性进行验证、监测和上报，可以利用AI预测多维信道质量，又可以避免模型推理多维结果不稳定造成的网络性能恶化。

另外，第一设备可以为终端，或者基站，或者核心网网元(例如，网络数据分析功能(Network Data Analytics Function，NWDAF))等。第二设备可以为基站，或者自组织网络(Self-Organized Networks，SON)，或者网管系统(Operation Administration andMaintenance， OAM)，或者核心网网元(例如，NWDAF))等。

可选地，所述触发条件包括如下至少一项：

验证指标；

最小验证个数。

其中，验证指标可以用于指示AI模型推理的每个维度的指标门限。最小验证个数可以用于指示AI模型推理的每个维度所需验证通过的最小个数，示例地，AI模型推理的某个维度上的最小验证个数可以为该维度上的数据的总个数，则在该维度上的数据均满足验证指标的情况下，才能触发目标信息的上报。

另外，在所述验证需求用于验证AI模型的推理有效性的情况下，所述验证指标为验证推理有效性的指标；在所述验证需求用于验证AI模型是否推理失效的情况下，所述验证指标为验证推理是否失效的指标。

该实施方式中，通过验证指标可以确定目标信息上报的指标门限，通过最小验证个数可以确定目标信息上报所需验证通过的最小个数，从而第一设备在满足验证指标和/或最小验证个数的情况下，才能触发目标信息上报。

可选地，所述验证指标包括如下至少一项：

AI模型推理的每个维度的指标门限值；

AI模型推理的每个维度的指标门限向量；

AI模型推理的多个维度的综合指标门限。

其中，在验证指标包括AI模型推理的每个维度的指标门限值的情况下，在同一个维度上不同值的指标门限相同。在验证指标包括AI模型推理的每个维度的指标门限向量的情况下，在同一个维度上不同值的指标门限可以相同或者可以不同。指标门限值可以用一个数值表征，指标门限向量可以用一维向量表征。示例地，某个维度包括10个数据，验证指标计算方式为误差，若验证指标包括该维度的一个指标门限值，则将该10个数据的误差分别与该指标门限值进行比较，判断是否满足验证指标；若验证指标包括每个维度的指标门限向量，该指标门限向量为包含10个元素的一维向量，则将该10个数据的误差分别与该10 个元素进行比较，判断是否满足验证指标。

另外，AI模型推理的多个维度的综合指标门限可以包括如下至少一项：

一维综合指标门限；

多维综合指标门限。

其中，一维综合指标门限可以通过将AI模型推理的多个维度的指标门限向量，按照维度顺序经过多次克罗内克积获得。多维综合指标门限可以是将AI模型推理的多个维度的指标门限向量按照多维数组的方式构成的数组。

需要说明的是，第一设备可以根据验证指标确定AI模型推理的多个维度的综合指标门限。根据验证指标确定AI模型推理的多个维度的综合指标门限的方式可以包括至少一项：

验证指标中直接包含AI模型推理的多个维度的综合指标门限；

验证指标中包含AI模型推理的每个维度的指标门限向量，根据该每个维度的指标门限向量确定AI模型推理的多个维度的综合指标门限；

验证指标中包含AI模型推理的每个维度的指标门限值，根据该每个维度的指标门限值确定AI模型推理的多个维度的综合指标门限。

一种实施方式中，根据该每个维度的指标门限值确定AI模型推理的多个维度的综合指标门限，可以是，将各维度的指标门限值按照该维度最大数据个数复制扩展成一个向量，得到每个维度的指标门限向量，根据该每个维度的指标门限向量确定AI模型推理的多个维度的综合指标门限。示例地，某个维度的指标门限值为0.8，该维度最大数据个数为3，则该维度的指标门限向量为(0.8，0.8，0.8)。

一种实施方式中，根据该每个维度的指标门限向量确定AI模型推理的多个维度的综合指标门限的方式可以包括如下至少一项：

将各个维度的指标门限向量按照维度顺序进行多次克罗内克积获得一维的综合指标门限，将该一维的综合指标门限作为AI模型推理的多个维度的综合指标门限；

将各个维度的指标门限向量按照维度顺序构建多维数组，将该多维数组作为AI模型推理的多个维度的综合指标门限。

其中，将各个维度的指标门限向量按照维度顺序构建多维数组，可以是，构建多维数组，该多维数组的每个元素的下标顺序与维度顺序一致，针对每个元素，读取维度的下标值，通过下标值索引到对应维度的指标门限向量中的指标门限值，将各维度的指标门限值相乘得到该元素的值。以两个维度的指标门限向量a及b为例，向量a为(a1，a2)，向量 b为(b1，b2)，构建的多维数组c为2行2列的数组，多维数组c包括四个元素c11，c12， c21，c22。c11为a1与b1的乘积，c12为a1与b2的乘积，c21为a2与b1的乘积，c22为 a2与b2的乘积。

一种实施方式中，所述验证指标还可以包括满足验证指标的方式指示，满足验证指标的方式指示可以包括如下任意一项：

小于等于某项验证指标为满足该项验证指标；

大于某项验证指标为满足该项验证指标。

小于某项验证指标为满足该项验证指标；

大于等于某项验证指标为满足该项验证指标。

示例地，在所述验证需求用于验证AI模型的推理有效性的情况下：

在验证指标计算方式为误差、误差平均值、平均绝对百分误差、绝对平均误差、均方根误差中的任意一项的情况下，小于等于某项验证指标为满足该项验证指标；

在验证指标计算方式为相关性、准确率、精确率、召回率中的任意一项的情况下，大于某项验证指标为满足该项验证指标。

示例地，在所述验证需求用于验证AI模型是否推理失效的情况下：

在验证指标计算方式为误差、误差平均值、平均绝对百分误差、绝对平均误差、均方根误差中的任意一项的情况下，大于等于某项验证指标为满足该项验证指标；

在验证指标计算方式为相关性、准确率、精确率、召回率中的任意一项的情况下，小于某项验证指标为满足该项验证指标。

该实施方式中，通过AI模型推理的每个维度的指标门限值、AI模型推理的每个维度的指标门限向量、AI模型推理的多个维度的综合指标门限中的至少一项，可以对推理结果输出的至少一个维度的数据进行验证。

可选地，所述第一设备获取对AI模型的推理结果的验证需求和触发条件，包括：

第一设备接收第三设备发送的对AI模型的推理结果的验证需求和触发条件。

其中，第三设备可以与第二设备为同一个设备，或者第三设备可以与第二设备不为同一个设备。第一设备可以用于AI模型推理和推理结果上报，第二设备可以用于AI模型推理事件接收，第三设备可以用于验证需求和触发条件发送。

另外，第三设备可以为基站，或者自组织网络(Self-Organized Networks，SON)，或者网管系统(Operation Administration and Maintenance，OAM)，或者核心网网元(例如， NWDAF))等。

该实施方式中，第一设备从第三设备接收验证需求和触发条件，从而能够通过第三设备下发验证任务。

可选地，所述验证需求用于验证如下至少一项：

AI模型的推理有效性；

AI模型是否推理失效。

需要说明的是，对于基于仿真数据或者基于部分区域数据训练得到的AI模型，例如，将场景A下训练的AI模型用在场景B下，可能会导致AI模型的推理效果较差。若不基于本小区数据进行验证而直接使用，可能会引起小区的网络性能的急剧恶化。通过向第一设备发送验证需求以验证AI模型的推理有效性，能够利用第一设备的实际网络环境对AI模型进行验证，从而能够提高AI模型在第一设备上推理的推理效果。

另外，随着小区内用户移动及数据流量变化等情况，初次验证通过的AI模型并不能保证一直是有效的。由于通信环境复杂性和时变性，在一个时间段训练的AI模型，在另一个时间段推理，可能会导致AI模型的推理效果较差。例如，针对上午8点早高峰训练得到的 AI模型，在中午12点较为空闲的场景下的适用性可能较差。通过向第一设备发送验证需求以验证AI模型是否推理失效，能够对AI模型的推理有效性进行验证，从而能够保障AI模型在第一设备上推理的推理效果。

可选地，所述验证需求包括如下至少一项：

AI模型推理输出的维度；

AI模型推理输出的维度个数及维度顺序；

AI模型推理输出的每个维度内的数据的目标排序方式；

AI模型推理输出的每个维度内的数据的最大个数；

AI模型推理输出的每个维度内的数据间隔。

其中，AI模型推理输出的每个维度内的数据的目标排序方式可以包括如下至少一项：

按照距离当前时间的时长大小从小到大排序；

按照信道质量从大到小排序；

按照数据的标识ID从小到大排序。

示例地，以验证需求包括AI模型推理输出的维度：时间维度为例，第一设备可以对推理结果中的时间维度的数据进行验证，得到验证结果，从而第一设备能够按照第三设备下发的维度对推理结果进行验证。以验证需求包括AI模型推理输出的维度个数及维度顺序为例，第一设备可以按照验证需求中的AI模型推理输出的维度个数及维度顺序对推理结果进行验证，从而第一设备能够按照第三设备下发的维度个数及维度顺序对推理结果进行验证，并判断验证结果是否满足触发条件。以验证需求包括AI模型推理输出的每个维度内的数据的目标排序方式为例，第一设备可以按照验证需求中的该目标排序方式依次判断每个维度内的数据是否满足指标门限值，并依据满足指标门限值的数据个数判断是否达到上报目标信息的触发条件。以验证需求包括AI模型推理输出的每个维度内的数据的最大个数为例，第一设备可以按照验证需求中的每个维度内的数据的最大个数对推理结果进行验证，从而第一设备能够按照第三设备下发的该最大个数确定验证推理结果的数据个数。以验证需求包括AI模型推理输出的每个维度内的数据间隔为例，第一设备可以按照验证需求中的该数据间隔确定推理结果中待验证的数据，从而第一设备能够按照第三设备下发的每个维度内的数据间隔对推理结果进行验证，并判断验证结果是否满足触发条件。

该实施方式中，通过AI模型推理输出的维度、AI模型推理输出的维度个数及维度顺序、 AI模型推理输出的每个维度内的数据的目标排序方式、AI模型推理输出的每个维度内的数据的最大个数、AI模型推理输出的每个维度内的数据间隔中的一项或多项可以确定需要验证的对象。示例地，以验证需求包括AI模型推理输出的维度：时间维度为例，第一设备需要对时间维度的数据进行验证。

可选地，所述AI模型推理输出的维度包括如下至少一项：

时间维度；

频率维度；

小区维度；

波束维度；

时延维度；

多普勒维度。

可选地，所述验证需求包括如下至少一项：

AI模型标签数据指示；

AI模型标签时延指示；

AI模型的输出数据处理指示；

验证时长；

验证样本个数；

验证指标计算方式。

其中，AI模型标签数据指示可以用于指示AI模型的标签数据。AI模型标签时延指示可以用于指示获取AI模型标签数据的时延。通过AI模型标签数据指示和/或AI模型标签时延指示可以获取AI模型的标签数据。AI模型的输出数据处理指示可以用于指示对AI模型的输出数据的处理方式，AI模型的输出数据处理指示可以指示如下至少一项：滤波方法；缩放方法。

另外，验证时长可以用于指示AI模型验证的时间长度，示例地，验证时长可以为2小时，或者可以为8:00-10:00之间的数据。验证样本个数可以用于指示AI模型验证的样本个数，示例地，验证样本个数可以为1000个，则第一设备需要对1000个样本进行验证。验证指标计算方式可以用于指示验证指标的计算方式。

一种实施方式中，验证指标计算方式可以包括如下至少一项：

误差(Error)；

误差平均值(Bias)；

平均绝对百分误差(Mean Absolute Percentage Error，MAPE)；

绝对平均误差(Mean Absolute Error，MAE)；

均方根误差(Root Mean Squared Error，RMSE)；

相关性；

准确率；

精确率；

召回率。

可选地，所述AI模型标签数据指示用于指示如下至少一项：

波束信道的参考信号接收功率(Reference Signal Received Power，RSRP)；

波束信道的参考信号接收质量(Reference Signal Received Quality，RSRQ)；

波束信道的信号与干扰加噪声比(Signal-to-noise and interference ratio，SINR)；

小区信道的RSRP；

小区信道的RSRQ；

小区信道的SINR；

小区信道的接收信号强度指示(Received Signal Strength Indication，RSSI)；

小区信道冲激响应；

预编码矩阵指示(Precoding matrix indicator，PMI)；

秩指示(Rank indicator，RI)；

信道质量指示(Channel quality indicator，CQI)。

可选地，所述目标信息包括如下至少一项：

AI模型推理的每个维度的实测通过验证个数；

AI模型推理的每个维度内的数据按目标排序方式的排序结果；

AI模型推理的多个维度的综合推理结果；

AI模型推理的每个维度的指标门限；

AI模型推理的多个维度的综合指标门限；

AI模型推理的多个维度的验证结果；

AI模型标签数据指示；

AI模型标签时延指示；

AI模型的输出数据处理指示；

验证时长；

验证样本个数；

验证指标计算方式；

失效标识；

有效标识；

最小验证个数。

其中，在所述验证需求用于验证AI模型是否推理失效的情况下，若验证结果满足所述触发条件，则目标信息可以携带失效标识，该失效标识用于表征AI模型推理失效。

另外，在所述验证需求用于验证AI模型的推理有效性的情况下，若验证结果满足所述触发条件，则目标信息可以携带有效标识，该有效标识用于表征AI模型推理准确。

另外，AI模型推理的多个维度的综合推理结果可以采用如下至少一种方式表示：

按照维度顺序和各维度上满足触发条件的数据个数依次排列获得；

按照维度顺序和各维度上最大的数据个数构成数据结构，赋值为推理结果，不满足验证条件的元素为值赋值为无效值。

可选地，所述AI模型标签时延用于指示如下至少一项：

推理结束与获得标签数据之间的时延；

接收AI模型输入数据与获得标签数据之间的时延。

其中，所述推理结束与获得标签数据之间的时延，可以是，第一设备推理结束与第一设备获得标签数据之间的时延。所述接收AI模型输入数据与获得标签数据之间的时延，可以是，第一设备接收AI模型输入数据与第一设备获得标签数据之间的时延。

可选地，所述触发条件包括AI模型推理的多个维度的综合指标门限，所述基于所述验证需求确定所述推理结果对应的验证结果，包括：

基于所述验证需求对所述推理结果进行验证，得到多个维度的验证结果，所述验证结果与所述综合指标门限的数据结构相同。

其中，所述验证结果与所述综合指标门限的数据结构相同，示例地，综合指标门限的数据结构为3行3列的数组，则验证结果也为3行3列的数组。通过相同的数据结构，便于将验证结果与综合指标门限进行比较。

可选地，所述触发条件还包括最小验证个数，在所述验证结果满足所述触发条件的情况下，向第二设备发送目标信息，包括：

基于所述多个维度的验证结果与所述综合指标门限，确定AI模型推理的每个维度的实测通过验证个数；

在所述实测通过验证个数大于或等于所述最小验证个数的情况下，向第二设备发送所述实测通过验证个数。

其中，所述最小验证个数可以包括每个维度的最小验证个数，可以在各维度的实测通过验证个数大于或等于各维度的最小验证个数的情况下，向第二设备发送各维度的实测通过验证个数；在各维度的实测通过验证个数小于各维度的最小验证个数的情况下，不满足触发条件，不向第二设备发送各维度的实测通过验证个数。

一种实施方式中，基于所述多个维度的验证结果与所述综合指标门限，确定AI模型推理的每个维度的实测通过验证个数可以包括如下过程：

(1)根据每个维度的最小验证个数产生最小验证集合，判断多个维度的验证结果中最小验证集合内的值是否都大于等于综合指标门限中对应的指标门限值，若是，则初始化各维度实测通过验证个数为各维度的最小验证个数；否则退出计算。

(2)初始化当前测试维度为维度顺序的第一个维度，即第一维度；

(3)确定验证结果查验元素位置：

当前测试维度的查验元素的位置标识＝当前测试维度的实测通过验证个数+1；

其他维度的查验元素的位置标识＝对应维度的实测通过验证个数对应的所有位置。

(4)检查验证结果的查验元素的值是否大于等于综合指标门限中对应的值，若是，则将当前维度的实测通过验证个数加1；否则，结束计算。

(5)判断当前测试维度的实测通过验证个数是否达到本维度的元素个数的最大值，若是，则按照维度顺序将当前测试维度赋值为下一个维度；否则，继续执行(3)。

该实施方式中，在所述实测通过验证个数大于或等于所述最小验证个数的情况下，向第二设备发送所述实测通过验证个数，实测通过验证个数越多，则表征AI模型推理的有效性越高，这样，第二设备能够通过实测通过验证个数确定AI模型推理的有效性。

可选地，在所述验证结果满足所述触发条件的情况下，向第二设备发送目标信息，包括：

在所述多个维度中存在目标维度的情况下，向第二设备发送目标信息，其中，所述目标维度的验证结果与所述目标维度对应的综合指标门限满足预设条件。

其中，所述目标维度的验证结果与所述目标维度对应的综合指标门限满足预设条件，可以是，所述目标维度的验证结果满足所述目标维度对应的综合指标门限。在满足验证指标的方式指示小于等于某项验证指标为满足该项验证指标的情况下，目标维度的验证结果小于等于目标维度对应的综合指标门限时，认为是目标维度的验证结果满足所述目标维度对应的综合指标门限。在满足验证指标的方式指示大于某项验证指标为满足该项验证指标的情况下，目标维度的验证结果大于目标维度对应的综合指标门限时，认为是目标维度的验证结果满足所述目标维度对应的综合指标门限。

另外，可以在所述验证需求用于验证AI模型是否推理失效的情况下：在所述多个维度中存在目标维度的情况下，向第二设备发送目标信息，其中，所述目标维度的验证结果与所述目标维度对应的综合指标门限满足预设条件。从而能够在存在至少一个维度的数据满足推理失效条件的情况下，触发推理失效的上报。

以下通过两个具体的实施例对本申请实施例的验证方法进行说明：

实施例1：

第一设备基于验证需求进行数据收集，并对收集的数据进行验证，得到验证结果。在验证结果满足触发条件的情况下，向第二设备发送目标信息。

其中，进行数据收集的过程可以如下：

(1)将预处理过的输入数据送入AI模型得到推理结果；

(2)根据验证需求中的AI模型标签数据指示和AI模型标签时延指示得到标签数据；

(3)将推理结果和标签数据作为一组样本记录下来；

(4)根据验证需求中的验证时长或验证样本个数结束数据收集过程。

其中，对收集的数据进行验证得到验证结果的过程可以如下：

(1)根据验证需求中AI模型的输出数据处理指示的滤波方法对推理结果和标签数据分别进行滤波；

(2)根据验证需求中的验证指标计算方式，对收集的数据进行计算，得到验证结果。

实施例2：

第一设备获取对人工智能AI模型的推理结果的验证需求和触发条件，并基于所述验证需求确定所述推理结果对应的验证结果，所述验证需求用于指示对所述推理结果输出的至少一个维度的数据进行验证的需求。

其中，所述至少一个维度可以为两个维度。该两个维度为第一维度和第二维度，第一维度为时间维度，第二维度为波束(Beam)维度。验证需求包括AI模型推理输出的每个维度内的数据的目标排序方式，第一维度对应的目标排序方式为距离当前时间的时长大小从小到大排序，第二维度对应的目标排序方式为按照信道质量从大到小排序。第一维度的最小上报个数为2，第二维度的最小上报个数为2。

验证结果可以为多个维度的验证结果，如表1所示：

表1

	Beam1	Beam2	Beam3	Beam4
					T1	0.95	0.94	0.93	0.6
T2	0.94	0.9	0.8	0.8
					T3	0.92	0.9	0.6	0.6

其中，T1至T3表征时间维度，Beam1至Beam4表征波束维度。

触发条件可以包括多个维度的综合指标门限，该综合指标门限如表2所示：

表2

	Beam1	Beam2	Beam3	Beam4
					T1	0.9	0.9	0.9	0.9
T2	0.9	0.9	0.9	0.9
					T3	0.9	0.9	0.9	0.9

第一设备可以基于多个维度的验证结果与综合指标门限，确定AI模型推理的每个维度的实测通过验证个数。示例地，确定AI模型推理的每个维度的实测通过验证个数的过程可以如下：

(1)根据各维度最小验证个数产生最小验证集合，判断多个维度的验证结果中最小验证集合内的值是否都大于等于综合指标门限中对应的指标门限值，若是，则初始化各维度实测通过验证个数为各维度最小验证个数；否则退出计算。

针对表1和表2，检查第一维度上的T1、T2和第二维度上的beam1、beam2对应的验证结果是否大于等于对应的综合指标门限，即判断验证结果(T1，beam1)是否大于等于综合指标门限(T1，beam1)，验证结果(T2，beam1)是否大于等于综合指标门限(T2，beam1)，验证结果(T1，beam2)是否大于等于综合指标门限(T1，beam2)，验证结果(T2，beam2) 是否大于等于综合指标门限(T2，beam2)。从表1和表2可看成，第一维度上的T1、T2 和第二维度上的beam1、beam2对应的验证结果大于等于对应的综合指标门限，定义第一维度的实测通过验证个数为2，第二维度的实测通过验证个数为2。

(2)：初始化当前测试维度为第一维度；

(3)：确定验证结果查验元素位置：

当前测试维度的查验元素的位置标识＝当前测试的实测通过验证个数+1，即第一维度的查验元素为T3；

其他维度为对应维度实测通过验证个数对应的所有元素位置。

这里，第二维度的查验元素的位置标识＝第二维度的实测通过验证个数对应的所有元素，即第二维度的查验元素为beam1、beam2。

从第一维度时间，开始往外扩展，确定查验元素为验证结果(T3，beam1)和(T3，beam2)。

(4)：检查验证结果的查验元素的值是否大于等于综合指标门限中对应的值，若是，则将第一维度的实测通过验证个数加1；否则，结束计算。

针对验证结果(T3，beam1)和(T3，beam2)，检查到验证结果(T3，beam1)大于综合指标门限(T3，beam1)，验证结果(T3，beam2)大于综合指标门限(T3，beam2)，此时，将第一维度的实测通过验证个数+1。

(5)：若判断当前维度的实测通过验证个数到达本维度的元素个数的最大值，则按照维度顺序将当前测试维度赋值为下一个维度。即，将当前测试维度赋值为第二维度波束维度。再次执行步骤(3)：

确定验证结果查验元素位置：

当前测试维度的查验元素的位置标识＝当前测试的实测通过验证个数+1，即第二维度的查验元素为beam3；

其他维度为本维度实测通过验证个数对应的所有元素位置。

这里，第一维度的查验元素的位置标识＝第一维度的实测通过验证个数对应的所有元素，即第一维度的查验元素为T1、T2、T3。

从第二维度波束，开始往外扩展，确定查验元素为验证结果(T1，beam3)、(T2，beam3) 和(T3，beam3)。

(6)：检查验证结果的查验元素的值是否大于等于综合指标门限中对应的值，若是，则将第一维度的实测通过验证个数加1；否则，结束计算。

针对验证结果(T1，beam3)、(T2，beam3)和(T3，beam3)，检查到验证结果(T1，beam3)大于综合指标门限(T1，beam3)，但验证结果(T2，beam3)小于综合指标门限(T2，beam3)、验证结果(T3，beam3)小于综合指标门限(T3，beam3)，此时，结束计算。

可以确定，第一维度的实测通过验证个数为3，第二维度的实测通过验证个数为2。

参见图3，图3是本申请实施例提供的一种验证方法的流程图，如图3所示，验证方法包括以下步骤：

步骤201、在人工智能AI模型的推理结果对应的验证结果满足触发条件的情况下，第二设备接收第一设备发送的目标信息，所述目标信息用于指示所述验证结果；

需要说明的是，本实施例作为与图2所示的实施例中对应的第二设备的实施方式，其具体的实施方式可以参见图2所示的实施例的相关说明，以为避免重复说明，本实施例不再赘述。本申请实施例能够提高AI模型的推理预测效果。

本申请实施例提供的验证方法，执行主体可以为验证装置。本申请实施例中以验证装置执行验证方法为例，说明本申请实施例提供的验证装置。

请参见图4，图4是本申请实施例提供的一种验证装置的结构图，第一设备包括所述验证装置，如图4所示，验证装置300包括：

确定模块301，用于获取对人工智能AI模型的推理结果的验证需求和触发条件，并基于所述验证需求确定所述推理结果对应的验证结果，所述验证需求用于指示对所述推理结果输出的至少一个维度的数据进行验证的需求；

发送模块302，用于在所述验证结果满足所述触发条件的情况下，向第二设备发送目标信息，所述目标信息用于指示所述验证结果。

可选地，所述触发条件包括如下至少一项：

验证指标；

最小验证个数。

可选地，所述验证指标包括如下至少一项：

AI模型推理的每个维度的指标门限值；

AI模型推理的每个维度的指标门限向量；

AI模型推理的多个维度的综合指标门限。

可选地，所述确定模块具体用于：

接收第三设备发送的对AI模型的推理结果的验证需求和触发条件；

基于所述验证需求确定所述推理结果对应的验证结果。

可选地，所述验证需求用于验证如下至少一项：

AI模型的推理有效性；

AI模型是否推理失效。

可选地，所述验证需求包括如下至少一项：

AI模型推理输出的维度；

AI模型推理输出的维度个数及维度顺序；

AI模型推理输出的每个维度内的数据的目标排序方式；

AI模型推理输出的每个维度内的数据的最大个数；

AI模型推理输出的每个维度内的数据间隔。

可选地，所述AI模型推理输出的维度包括如下至少一项：

时间维度；

频率维度；

小区维度；

波束维度；

时延维度；

多普勒维度。

可选地，所述验证需求包括如下至少一项：

AI模型标签数据指示；

AI模型标签时延指示；

AI模型的输出数据处理指示；

验证时长；

验证样本个数；

验证指标计算方式。

可选地，所述AI模型标签数据指示用于指示如下至少一项：波束信道的参考信号接收功率RSRP；

波束信道的参考信号接收质量RSRQ；

波束信道的信号与干扰加噪声比SINR；

小区信道的RSRP；

小区信道的RSRQ；

小区信道的SINR；

小区信道的接收信号强度指示RSSI；

小区信道冲激响应；

预编码矩阵指示PMI；

秩指示RI；

信道质量指示CQI。

可选地，所述目标信息包括如下至少一项：

AI模型推理的每个维度的实测通过验证个数；

AI模型推理的每个维度内的数据按目标排序方式的排序结果； AI模型推理的多个维度的综合推理结果；

AI模型推理的每个维度的指标门限；

AI模型推理的多个维度的综合指标门限；

AI模型推理的多个维度的验证结果；

AI模型标签数据指示；

AI模型标签时延指示；

AI模型的输出数据处理指示；

验证时长；

验证样本个数；

验证指标计算方式；

失效标识；

有效标识；

最小验证个数。

可选地，所述AI模型标签时延用于指示如下至少一项：

推理结束与获得标签数据之间的时延；

接收AI模型输入数据与获得标签数据之间的时延。

可选地，所述触发条件包括AI模型推理的多个维度的综合指标门限，所述确定模块具体用于：

获取对人工智能AI模型的推理结果的验证需求和触发条件；

可选地，所述触发条件还包括最小验证个数，所述发送模块具体用于：

可选地，所述发送模块具体用于：

本申请实施例中的验证装置，通过第一设备对AI模型输出的至少一个维度的数据进行验证，并在验证结果满足触发条件时上报第二设备，能够实现在推理设备上对AI模型进行验证，从而能够提高AI模型的推理预测效果。

本申请实施例中的验证装置可以是电子设备，例如具有操作系统的电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，终端可以包括但不限于上述所列举的终端11的类型，其他设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)等，本申请实施例不作具体限定。

本申请实施例提供的验证装置能够实现图2的方法实施例实现的各个过程，并达到相同的技术效果，为避免重复，这里不再赘述。

请参见图5，图5是本申请实施例提供的一种验证装置的结构图，第二设备包括所述验证装置，如图5所示，验证装置400包括：

接收模块401，用于在人工智能AI模型的推理结果对应的验证结果满足触发条件的情况下，第二设备接收第一设备发送的目标信息，所述目标信息用于指示所述验证结果；

本申请实施例中的验证装置，能够提高AI模型的推理预测效果。

本申请实施例提供的验证装置能够实现图3的方法实施例实现的各个过程，并达到相同的技术效果，为避免重复，这里不再赘述。

可选地，如图6所示，本申请实施例还提供一种通信设备500，包括处理器501和存储器502，存储器502上存储有可在所述处理器501上运行的程序或指令，例如，该通信设备500为第一设备时，该程序或指令被处理器501执行时实现上述应用于第一设备的验证方法实施例的各个步骤，且能达到相同的技术效果。该通信设备500为第二设备时，该程序或指令被处理器501执行时实现上述应用于第二设备的验证方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。

本申请实施例还提供一种终端，所述终端可以为第一设备，包括处理器和通信接口，处理器用于：获取对人工智能AI模型的推理结果的验证需求和触发条件，并基于所述验证需求确定所述推理结果对应的验证结果，所述验证需求用于指示对所述推理结果输出的至少一个维度的数据进行验证的需求；通信接口用于：在所述验证结果满足所述触发条件的情况下，向第二设备发送目标信息，所述目标信息用于指示所述验证结果。该终端实施例与上述第一设备侧方法实施例对应，上述方法实施例的各个实施过程和实现方式均可适用于该终端实施例中，且能达到相同的技术效果。具体地，图7为实现本申请实施例的一种终端的硬件结构示意图。

该终端600包括但不限于：射频单元601、网络模块602、音频输出单元603、输入单元604、传感器605、显示单元606、用户输入单元607、接口单元608、存储器609以及处理器610等中的至少部分部件。

本领域技术人员可以理解，终端600还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器610逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图7中示出的终端结构并不构成对终端的限定，终端可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

应理解的是，本申请实施例中，输入单元604可以包括图形处理单元(GraphicsProcessing Unit，GPU)6041和麦克风6042，图形处理器6041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元606可包括显示面板6061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板6061。用户输入单元607包括触控面板6071以及其他输入设备6072中的至少一种。触控面板6 071，也称为触摸屏。触控面板6071可包括触摸检测装置和触摸控制器两个部分。其他输入设备6072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

本申请实施例中，射频单元601接收来自网络侧设备的下行数据后，可以传输给处理器610进行处理；另外，射频单元601可以向网络侧设备发送上行数据。通常，射频单元601包括但不限于天线、放大器、收发信机、耦合器、低噪声放大器、双工器等。

存储器609可用于存储软件程序或指令以及各种数据。存储器609可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器609可以包括易失性存储器或非易失性存储器，或者，存储器609可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(StaticRAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器609包括但不限于这些和任意其它适合类型的存储器。

处理器610可包括一个或多个处理单元；可选的，处理器610集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器610中。

其中，所述终端可以为第一设备：

处理器610用于：获取对人工智能AI模型的推理结果的验证需求和触发条件，并基于所述验证需求确定所述推理结果对应的验证结果，所述验证需求用于指示对所述推理结果输出的至少一个维度的数据进行验证的需求；

射频单元601用于：在所述验证结果满足所述触发条件的情况下，向第二设备发送目标信息，所述目标信息用于指示所述验证结果。

可选地，所述触发条件包括如下至少一项：

验证指标；

最小验证个数。

可选地，所述验证指标包括如下至少一项：

AI模型推理的每个维度的指标门限值；

AI模型推理的每个维度的指标门限向量；

AI模型推理的多个维度的综合指标门限。

可选地，射频单元601还用于：

接收第三设备发送的对AI模型的推理结果的验证需求和触发条件。可选地，所述验证需求用于验证如下至少一项：

AI模型的推理有效性；

AI模型是否推理失效。

可选地，所述验证需求包括如下至少一项：

AI模型推理输出的维度；

AI模型推理输出的维度个数及维度顺序；

AI模型推理输出的每个维度内的数据的目标排序方式；

AI模型推理输出的每个维度内的数据的最大个数；

AI模型推理输出的每个维度内的数据间隔。

可选地，所述AI模型推理输出的维度包括如下至少一项：

时间维度；

频率维度；

小区维度；

波束维度；

时延维度；

多普勒维度。

可选地，所述验证需求包括如下至少一项：

AI模型标签数据指示；

AI模型标签时延指示；

AI模型的输出数据处理指示；

验证时长；

验证样本个数；

验证指标计算方式。

可选地，所述AI模型标签数据指示用于指示如下至少一项：

波束信道的参考信号接收功率RSRP；

波束信道的参考信号接收质量RSRQ；

波束信道的信号与干扰加噪声比SINR；

小区信道的RSRP；

小区信道的RSRQ；

小区信道的SINR；

小区信道的接收信号强度指示RSSI；

小区信道冲激响应；

预编码矩阵指示PMI；

秩指示RI；

信道质量指示CQI。

可选地，所述目标信息包括如下至少一项：

AI模型推理的每个维度的实测通过验证个数；

AI模型推理的多个维度的综合推理结果；

AI模型推理的每个维度的指标门限；

AI模型推理的多个维度的综合指标门限；

AI模型推理的多个维度的验证结果；

AI模型标签数据指示；

AI模型标签时延指示；

AI模型的输出数据处理指示；

验证时长；

验证样本个数；

验证指标计算方式；

失效标识；

有效标识；

最小验证个数。

可选地，所述AI模型标签时延用于指示如下至少一项：

推理结束与获得标签数据之间的时延；

接收AI模型输入数据与获得标签数据之间的时延。

可选地，所述触发条件包括AI模型推理的多个维度的综合指标门限，处理器610还用于：

可选地，所述触发条件还包括最小验证个数，处理器610还用于：基于所述多个维度的验证结果与所述综合指标门限，确定AI模型推理的每个维度的实测通过验证个数；

射频单元601还用于：在所述实测通过验证个数大于或等于所述最小验证个数的情况下，向第二设备发送所述实测通过验证个数。

可选地，射频单元601还用于：在所述多个维度中存在目标维度的情况下，向第二设备发送目标信息，其中，所述目标维度的验证结果与所述目标维度对应的综合指标门限满足预设条件。

本申请实施例还提供一种网络侧设备，包括处理器和通信接口，处理器用于：获取对人工智能AI模型的推理结果的验证需求和触发条件，并基于所述验证需求确定所述推理结果对应的验证结果，所述验证需求用于指示对所述推理结果输出的至少一个维度的数据进行验证的需求；通信接口用于：在所述验证结果满足所述触发条件的情况下，向第二设备发送目标信息，所述目标信息用于指示所述验证结果。或者，所述通信接口用于：在人工智能AI模型的推理结果对应的验证结果满足触发条件的情况下，接收第一设备发送的目标信息，所述目标信息用于指示所述验证结果；其中，所述验证结果基于对所述推理结果的验证需求确定，所述验证需求用于指示对所述推理结果输出的至少一个维度的数据进行验证的需求。该网络侧设备实施例与上述第一设备侧的方法实施例或者第二设备侧的方法实施例对应，上述方法实施例的各个实施过程和实现方式均可适用于该网络侧设备实施例中，且能达到相同的技术效果。

具体地，本申请实施例还提供了一种网络侧设备。如图8所示，该网络侧设备700包括：天线701、射频装置702、基带装置703、处理器704和存储器705。天线701与射频装置702连接。在上行方向上，射频装置702通过天线701接收信息，将接收的信息发送给基带装置703进行处理。在下行方向上，基带装置703对要发送的信息进行处理，并发送给射频装置702，射频装置702对收到的信息进行处理后经过天线701发送出去。

以上实施例中网络侧设备执行的方法可以在基带装置703中实现，该基带装置703包括基带处理器。

基带装置703例如可以包括至少一个基带板，该基带板上设置有多个芯片，其中一个芯片例如为基带处理器，通过总线接口与存储器705连接，以调用存储器705中的程序，执行以上方法实施例中所示的网络设备操作。

该网络侧设备还可以包括网络接口706，该接口例如为通用公共无线接口(commonpublic radio interface，CPRI)。

具体地，本发明实施例的网络侧设备700还包括：存储在存储器705上并可在处理器 704上运行的指令或程序，处理器704调用存储器705中的指令或程序执行图4或图5所示各模块执行的方法，并达到相同的技术效果，为避免重复，故不在此赘述。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述验证方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的终端中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述验证方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片，系统芯片，芯片系统或片上系统芯片等。

本申请实施例另提供了一种计算机程序/程序产品，所述计算机程序/程序产品被存储在存储介质中，所述计算机程序/程序产品被至少一个处理器执行以实现上述验证方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本申请实施例还提供了一种验证系统，包括：第一设备及第二设备，所述第一设备可用于执行如上所述第一设备侧的验证方法的步骤，所述第二设备可用于执行如上所述第二设备侧的验证方法的步骤。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质 (如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims

1.一种验证方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述触发条件包括如下至少一项：

验证指标；

最小验证个数。

3.根据权利要求2所述的方法，其特征在于，所述验证指标包括如下至少一项：

AI模型推理的每个维度的指标门限值；

AI模型推理的每个维度的指标门限向量；

AI模型推理的多个维度的综合指标门限。

4.根据权利要求1所述的方法，其特征在于，所述第一设备获取对AI模型的推理结果的验证需求和触发条件，包括：

5.根据权利要求1所述的方法，其特征在于，所述验证需求用于验证如下至少一项：

AI模型的推理有效性；

AI模型是否推理失效。

6.根据权利要求1所述的方法，其特征在于，所述验证需求包括如下至少一项：

AI模型推理输出的维度；

AI模型推理输出的维度个数及维度顺序；

AI模型推理输出的每个维度内的数据的目标排序方式；

AI模型推理输出的每个维度内的数据的最大个数；

AI模型推理输出的每个维度内的数据间隔。

7.根据权利要求6所述的方法，其特征在于，所述AI模型推理输出的维度包括如下至少一项：

时间维度；

频率维度；

小区维度；

波束维度；

时延维度；

多普勒维度。

8.根据权利要求1所述的方法，其特征在于，所述验证需求包括如下至少一项：

AI模型标签数据指示；

AI模型标签时延指示；

AI模型的输出数据处理指示；

验证时长；

验证样本个数；

验证指标计算方式。

9.根据权利要求6所述的方法，其特征在于，所述AI模型标签数据指示用于指示如下至少一项：

波束信道的参考信号接收功率RSRP；

波束信道的参考信号接收质量RSRQ；

波束信道的信号与干扰加噪声比SINR；

小区信道的RSRP；

小区信道的RSRQ；

小区信道的SINR；

小区信道的接收信号强度指示RSSI；

小区信道冲激响应；

预编码矩阵指示PMI；

秩指示RI；

信道质量指示CQI。

10.根据权利要求1所述的方法，其特征在于，所述目标信息包括如下至少一项：

AI模型推理的每个维度的实测通过验证个数；

AI模型推理的多个维度的综合推理结果；

AI模型推理的每个维度的指标门限；

AI模型推理的多个维度的综合指标门限；

AI模型推理的多个维度的验证结果；

AI模型标签数据指示；

AI模型标签时延指示；

AI模型的输出数据处理指示；

验证时长；

验证样本个数；

验证指标计算方式；

失效标识；

有效标识；

最小验证个数。

11.根据权利要求10所述的方法，其特征在于，所述AI模型标签时延用于指示如下至少一项：

推理结束与获得标签数据之间的时延；

接收AI模型输入数据与获得标签数据之间的时延。

12.根据权利要求1所述的方法，其特征在于，所述触发条件包括AI模型推理的多个维度的综合指标门限，所述基于所述验证需求确定所述推理结果对应的验证结果，包括：

13.根据权利要求12所述的方法，其特征在于，所述触发条件还包括最小验证个数，在所述验证结果满足所述触发条件的情况下，向第二设备发送目标信息，包括：

14.根据权利要求12所述的方法，其特征在于，在所述验证结果满足所述触发条件的情况下，向第二设备发送目标信息，包括：

15.一种验证方法，其特征在于，包括：

16.一种验证装置，第一设备包括所述验证装置，其特征在于，包括：

17.一种验证装置，第二设备包括所述验证装置，其特征在于，包括：

18.一种第一设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至14任一项所述的验证方法的步骤。

19.一种第二设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求15所述的验证方法的步骤。

20.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至14任一项所述的验证方法的步骤，或者实现如权利要求15所述的验证方法的步骤。