CN115827337A - 一种模型测试方法及装置 - Google Patents

一种模型测试方法及装置 Download PDF

Info

Publication number
CN115827337A
CN115827337A CN202111061622.1A CN202111061622A CN115827337A CN 115827337 A CN115827337 A CN 115827337A CN 202111061622 A CN202111061622 A CN 202111061622A CN 115827337 A CN115827337 A CN 115827337A
Authority
CN
China
Prior art keywords
model
test
terminal
information
indicating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111061622.1A
Other languages
English (en)
Inventor
柴晓萌
吴艺群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202111061622.1A priority Critical patent/CN115827337A/zh
Priority to PCT/CN2022/117999 priority patent/WO2023036280A1/zh
Priority to EP22866741.6A priority patent/EP4386620A1/en
Publication of CN115827337A publication Critical patent/CN115827337A/zh
Priority to US18/598,612 priority patent/US20240211810A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

一种模型测试方法及装置，该方法包括：终端接收来自网络设备的第一信息；终端根据第一信息，确定至少一个测试集；根据所述至少一个测试集，对AI模型进行测试，得到测试结果；终端将该所述AI模型的测试结果通知网络设备。采用本申请的方法及装置，网络设备可以对终端内部署的AI模型进行测试。

Description

一种模型测试方法及装置
技术领域
本申请涉及通信技术领域，尤其涉及一种模型测试方法及装置。
背景技术
在无线通信网络中，例如在移动通信网络中，网络支持的业务越来越多样，因此需要满足的需求越来越多样。例如，网络需要能够支持超高速率、超低时延、和/或超大连接。该特点使得网络规划、网络配置、和/或资源调度越来越复杂。此外，由于网络的功能越来越强大，例如支持的频谱越来越高、支持高阶多入多出(multiple input multiple output，MIMO)技术、支持波束赋形、和/或支持波束管理等新技术，使得网络节能成为了热门研究课题。这些新需求、新场景和新特性给网络规划、运维和高效运营带来了前所未有的挑战。为了迎接该挑战，可以将人工智能技术引入无线通信网络中，从而实现网络智能化。基于此，如何在网络中有效地实现人工智能是一个值得研究的问题。
发明内容
本申请提供一种模型测试方法及装置，网络设备测试终端内部署的AI模型，达到网络设备对终端部署的AI模型评估和管控的目的。
第一方面，提供一种模型测试方法，该方法的执行主体为终端，还可以为配置于终端中的部件(处理器、芯片或其它)，或者可以为软件模块等，包括：接收来自网络设备的第一信息，所述第一信息用于确定至少一个测试集；根据所述至少一个测试集，对AI模型进行测试，得到测试结果；向网络设备发送第二信息，所述第二信息用于指示所述AI模型的测试结果。
通过上述方法，终端根据网络设备发送的第一信息，确定至少一个测试集；采用该至少一个测试集对AI模型进行测试，得到测试结果，且终端向网络设备反馈该AI模型的测试结果，从而使得网络设备可以对终端内部署的AI模型进行测试，实现网络设备对终端使用的AI模型评估和管控。
在一种设计中，所述第一信息包括所述至少一个测试集的指示信息；或者，所述第一信息包括参考信号，所述方法包括根据所述参考信号，确定所述至少一个测试集。
通过上述方法，终端可以根据至少一个测试集的指示信息或参考信号等，确定至少一个测试集。尤其当终端设备根据参考信号，确定至少一个测试集的情况下，可能网络设备无需单独向终端设备发送测试集，终端借助参考信号，即可确定测试集等，减少了信令开销。
在一种设计中，所述第二信息用于指示以下至少一项：参与测试的AI模型；每个AI模型对应的测试结果；或者每个测试结果对应的测试集。
在一种设计中，关于AI模型是否满性能要求，可以由网络设备评判。例如，网络设备可以根据终端上报的测试结果，确定参与测试的AI模型是否满足要求；后续，网络设备可以根据参与测试的AI模型是否满足要求等，向终端发送第一指示信息。
可选的，在该设计中，所述测试结果包括第一测试结果，所述第一测试结果用于指示所述AI模型在所述至少一个测试集下的输出；或者，所述第一测试结果用于指示根据所述至少一个测试集对所述AI模型测试时，得到的所述AI模型的性能指标。
可选的，在该设计中，所述第一指示信息用于指示参与测试的AI模型中每个AI模型满足或不满足性能要求，或者指示参与测试的AI模型中满足性能要求的AI模型，或者指示参与测试的AI模型中不满足性能要求的AI模型，或者指示终端后续使用的AI模型，或者指示所述终端使用非AI方式执行对应操作。
通过上述方法，终端向网络设备上报测试结果，网络设备根据测试结果，确定参与性能测试的AI模型是否满足性能要求，且根据该AI模型的性能信息，发送第一指示信息。在该设计中，一方面由网络设备评判AI模型的性能，可以方便网络设备对终端内的AI模型进行统一管理和调度，另一方面，终端直接向网络设备上报测试结果，而无需作其它评断的操作，可能会降低终端的功耗。
在另一种设计中，具体由终端对自己部署的AI模型进行评判。在该设计中，网络设备可能需要将对AI模型的性能要求，指示给终端。例如，终端可以接收来自所述网络设备的第二指示信息，该第二指示信息用于指示所述AI模型的性能要求。或者，由协议约定AI模型的性能要求。终端可以对AI模型进行测试，根据对AI模型的性能要求，确定测试结果，该测试结果称为第二测试结果，所述第二测试结果用于指示参与测试的AI模型中每个AI模型满足或不满足性能要求；或者指示参与测试的AI模型中满足性能要求的AI模型，或者指示参与测试的AI模型中不满足性能要求的AI模型，或者指示终端后续使用的AI模型，或者指示所述终端使用非AI方式执行后续操作。
通过上述方法，由终端直接对AI模型的性能进行评判，且将评判结果，即上述第二测试结果上报给网络设备，节省了网络设备的操作过程。
在一种设计中，还包括：向网络设备发送请求信息，所述请求信息用于请求所述第一信息，或者用于请求对所述AI模型进行测试。可选的，所述请求信息包括参与测试的AI模型的输入格式的指示信息。
通过上述方法，终端通过请求信息将参与测试AI模型的输入格式通知网络设备，网络设备可以根据该AI模型的输入格式，为终端配置与该格式相匹配的测试数据。后续终端可以利用配置的测试数据进行模型测试，无需对训练数据再进行格式转换，降低终端功耗。
第二方面，提供一种模型测试方法，该方法为上述第一方面对应的网络设备，有益效果可参见上述第一方面，不再赘述。该方法的执行主体为网络设备，还可以为配置于网络设备中的部件(处理器、芯片或其它)，或者可以为软件模块等，包括：向终端发送第一信息，所述第一信息用于确定至少一个测试集；接收来自所述终端的第二信息，所述第二信息用于指示AI模型的测试结果，所述测试结果对应于所述至少一个测试集。
关于所述第一信息、第二信息和测试结果的描述可参考第一方面，不再赘述。
在一种设计中，还包括：接收来自所述终端的请求信息，所述请求信息用于请求所述第一信息，或者用于请求对所述AI模型进行测试。可选的，所述请求信息中包括参与测试的AI模型的输入格式的指示信息。
第三方面，提供一种装置，有益效果可参见第一方面的记载，该装置可以是终端，或者配置于终端中的装置，或者能够和终端匹配使用的装置。一种设计中，该装置包括执行第一方面中所描述的方法/操作/步骤/动作一一对应的单元，该单元可以是硬件电路，也可是软件，也可以是硬件电路结合软件实现。
示例性地，该装置可以包括处理单元和通信单元，且处理单元和通信单元可以执行上述第一方面任一种设计示例中的相应功能，具体的：
通信单元，用于接收来自网络设备的第一信息，所述第一信息用于指示至少一个测试集；
处理单元，用于根据所述至少一个测试集，对AI模型进行测试，得到测试结果；
通信单元，还用于向网络设备发送第二信息，第二信息用于指示所述AI模型的测试结果。上述处理单元和通信单元的具体执行过程可以参考第一方面，这里不再赘述。
示例性地，所述装置包括存储器，用于实现上述第一方面描述的方法。所述装置还可以包括存储器，用于存储指令和/或数据。所述存储器与所述处理器耦合，所述处理器执行所述存储器中存储的程序指令时，可以实现上述第一方面描述的方法。所述装置还可以包括通信接口，所述通信接口用于该装置和其它设备进行通信。示例性地，通信接口可以是收发器、电路、总线、模块、管脚或其它类型的通信接口，其它设备可以为网络设备等。在一种可能的设计中，该装置包括：
存储器，用于存储程序指令；
通信接口，用于从网络设备接收第一信息，第一信息用于指示至少一个测试集；以及向网络设备发送第二信息，该第二信息用于指示所述AI模型的测试结果。
处理器，用于根据所述至少一个测试集，对人工智能AI模型进行测试，得到测试结果。
关于通信接口与处理器的具体执行过程，可参见上述第一方面的记载，不再赘述。
第四方面，提供一种装置，有益效果可参见第二方面的记载，该装置可以是网络设备，或者配置于网络设备中的装置，或者能够和网络设备匹配使用的装置。一种设计中，该装置包括执行第二方面中所描述的方法/操作/步骤/动作一一对应的单元，该单元可以是硬件电路，也可是软件，也可以是硬件电路结合软件实现。
示例性地，该装置可以包括处理单元和通信单元，且处理单元和通信单元可以执行上述第二方面任一种设计示例中的相应功能，具体的：
处理单元，用于确定至少一个测试集；
通信单元，用于向终端发送第一信息，所述第一信息用于确定至少一个测试集；以及，接收来自所述终端的第二信息，所述第二信息用于指示AI模型的测试结果，所述测试结果对应于所述至少一个测试集。
上述处理单元和通信单元的具体执行过程可以参考第二方面，这里不再赘述。
示例性地，所述装置包括存储器，用于实现上述第二方面描述的方法。所述装置还可以包括存储器，用于存储指令和/或数据。所述存储器与所述处理器耦合，所述处理器执行所述存储器中存储的程序指令时，可以实现上述第二方面描述的方法。所述装置还可以包括通信接口，所述通信接口用于该装置和其它设备进行通信。示例性地，通信接口可以是收发器、电路、总线、模块、管脚或其它类型的通信接口，其它设备可以为终端等。在一种可能的设计中，该装置包括：
存储器，用于存储程序指令；
处理器，用于确定至少一个测试集；
通信接口，用于向终端发送第一信息，所述第一信息用于确定至少一个测试集；以及，接收来自所述终端的第二信息，所述第二信息用于指示AI模型的测试结果，所述测试结果对应于所述至少一个测试集。
关于通信接口与处理器的具体执行过程，可参见上述第二方面的记载，不再赘述。
第五方面，本申请还提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行第一方面或第二方面任一方面的方法。
第六方面，本申请还提供一种芯片系统，该芯片系统包括处理器，还可以包括存储器，用于实现第一方面或第二方面任一方面的方法。该芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。
第七方面，本申请还提供一种计算机程序产品，包括指令，当其在计算机上运行时，使得计算机执行第一方面或第二方面任一方面的方法。
第八方面，本申请还提供一种系统，该系统中包括第三方面的装置，和第四方面的装置。
附图说明
图1为本申请提供的通信系统的示意图；
图2a为本申请提供的神经元的示意图；
图2b为本申请提供的神经网络的示意图；
图2c为本申请提供的AI模型的示意图；
图3a和图3b为本申请提供的网络架构示意图；
图4为本申请提供的机器学习的示意图；
图5至图8为本申请提供的模型测试的流程图；
图9和图10为本申请提供的通信装置的示意图。
具体实施方式
图1是本申请能够应用的通信系统1000的架构示意图。如图1所示，该通信系统包括无线接入网100和核心网200，可选的，通信系统1000还可以包括互联网300。其中，无线接入网100可以包括至少一个接入网设备(如图1中的110a和110b)，还可以包括至少一个终端(如图1中的120a-120j)。终端通过无线的方式与接入网设备相连，接入网设备通过无线或有线方式与核心网连接。核心网设备与接入网设备可以是独立的不同的物理设备，或者可以是将核心网设备的功能与接入网设备的逻辑功能集成在同一个物理设备上，或者可以是一个物理设备上集成了部分核心网设备的功能和部分的接入网设备的功能。终端和终端之间以及接入网设备和接入网设备之间可以通过有线或无线的方式相互连接。图1只是示意图，该通信系统中还可以包括其它网络设备，如还可以包括无线中继设备和无线回传设备等，在图1中未画出。
接入网设备可以是基站(base station)、演进型基站(evolved NodeB，eNodeB)、发送接收点(transmission reception point，TRP)、第五代(5th generation，5G)移动通信系统中的下一代基站(next generation NodeB，gNB)、开放无线接入网(open radioaccess network，O-RAN)中的接入网设备、第六代(6th generation，6G)移动通信系统中的下一代基站、未来移动通信系统中的基站或无线保真(wireless fidelity，WiFi)系统中的接入节点等；或者可以是完成基站部分功能的模块或单元，例如，可以是集中式单元(central unit，CU)、分布式单元(distributed unit，DU)、集中单元控制面(CU controlplane，CU-CP)模块、或集中单元用户面(CU user plane，CU-UP)模块。接入网设备可以是宏基站(如图1中的110a)，也可以是微基站或室内站(如图1中的110b)，还可以是中继节点或施主节点等。本申请中对接入网设备所采用的具体技术和具体设备形态不做限定。
在本申请中，用于实现接入网设备的功能的装置可以是接入网设备；也可以是能够支持接入网设备实现该功能的装置，例如芯片系统、硬件电路、软件模块、或硬件电路加软件模块，该装置可以被安装在接入网设备中或可以与接入网设备匹配使用。在本申请中，芯片系统可以由芯片构成，也可以包括芯片和其他分立器件。为了便于描述，下文以用于实现接入网设备的功能的装置是接入网设备，接入网设备为基站为例，描述本申请提供的技术方案。
(1)协议层结构。
接入网设备和终端之间的通信遵循一定的协议层结构。该协议层结构可以包括控制面协议层结构和用户面协议层结构。例如，控制面协议层结构可以包括无线资源控制(radio resource control，RRC)层、分组数据汇聚层协议(packet data convergenceprotocol，PDCP)层、无线链路控制(radio link control，RLC)层、媒体接入控制(mediaaccess control，MAC)层和物理层等协议层的功能。例如，用户面协议层结构可以包括PDCP层、RLC层、MAC层和物理层等协议层的功能，在一种可能的实现中，PDCP层之上还可以包括业务数据适配协议(service data adaptation protocol，SDAP)层。
可选的，接入网设备和终端之间的协议层结构还可以包括人工智能(artificialintelligence，AI)层，用于传输AI功能相关的数据。
(2)集中单元(central unit，CU)和分布单元(distributed unit，DU)。
接入设备可以包括CU和DU。多个DU可以由一个CU集中控制。作为示例，CU和DU之间的接口可以称为F1接口。其中，控制面(control panel，CP)接口可以为F1-C，用户面(userpanel，UP)接口可以为F1-U。本申请不限制各接口的具体名称。CU和DU可以根据无线网络的协议层划分：比如，PDCP层及以上协议层的功能设置在CU，PDCP层以下协议层(例如RLC层和MAC层等)的功能设置在DU；又比如，PDCP层以上协议层的功能设置在CU，PDCP层及以下协议层的功能设置在DU，不予限制。
上述对CU和DU的处理功能按照协议层的划分仅仅是一种举例，也可以按照其他的方式进行划分。例如可以将CU或者DU划分为具有更多协议层的功能，又例如将CU或DU还可以划分为具有协议层的部分处理功能。在一种设计中，将RLC层的部分功能和RLC层以上的协议层的功能设置在CU，将RLC层的剩余功能和RLC层以下的协议层的功能设置在DU。在另一种设计中，还可以按照业务类型或者其他系统需求对CU或者DU的功能进行划分，例如按时延划分，将处理时间需要满足时延要求的功能设置在DU，不需要满足该时延要求的功能设置在CU。在另一种设计中，CU也可以具有核心网的一个或多个功能。示例性的，CU可以设置在网络侧方便集中管理。在另一种设计中，将DU的无线单元(radio unit，RU)拉远设置。可选的，RU可以具有射频功能。
可选的，DU和RU可以在物理层(physical layer，PHY)进行划分。例如，DU可以实现PHY层中的高层功能，RU可以实现PHY层中的低层功能。其中，用于发送时，PHY层的功能可以包括以下至少一项：添加循环冗余校验(cyclic redundancy check，CRC)码、信道编码、速率匹配、加扰、调制、层映射、预编码、资源映射、物理天线映射、或射频发送功能。用于接收时，PHY层的功能可以包括以下至少一项：CRC校验、信道解码、解速率匹配、解扰、解调、解层映射、信道检测、资源解映射、物理天线解映射、或射频接收功能。其中，PHY层中的高层功能可以包括PHY层的一部分功能，例如该部分功能更加靠近MAC层，PHY层中的低层功能可以包括PHY层的另一部分功能，例如该部分功能更加靠近射频功能。例如，PHY层中的高层功能可以包括添加CRC码、信道编码、速率匹配、加扰、调制、和层映射，PHY层中的低层功能可以包括预编码、资源映射、物理天线映射、和射频发送功能；或者，PHY层中的高层功能可以包括添加CRC码、信道编码、速率匹配、加扰、调制、层映射和预编码，PHY层中的低层功能可以包括资源映射、物理天线映射、和射频发送功能。例如，PHY层中的高层功能可以包括CRC校验、信道解码、解速率匹配、解码、解调、和解层映射，PHY层中的低层功能可以包括信道检测、资源解映射、物理天线解映射、和射频接收功能；或者，PHY层中的高层功能可以包括CRC校验、信道解码、解速率匹配、解码、解调、解层映射、和信道检测，PHY层中的低层功能可以包括资源解映射、物理天线解映射、和射频接收功能。
示例性的，CU的功能可以由一个实体来实现，或者也可以由不同的实体来实现。例如，可以对CU的功能进行进一步划分，即将控制面和用户面分离并通过不同实体来实现，分别为控制面CU实体(即CU-CP实体)和用户面CU实体(即CU-UP实体)。该CU-CP实体和CU-UP实体可以与DU相耦合，共同完成接入网设备的功能。
可选的，上述DU、CU、CU-CP、CU-UP和RU中的任一个可以是软件模块、硬件结构、或者软件模块+硬件结构，不予限制。其中，不同实体的存在形式可以是不同的，不予限制。例如DU、CU、CU-CP、CU-UP是软件模块，RU是硬件结构。这些模块及其执行的方法也在本公开的保护范围内。
一种可能的实现中，接入网设备包括CU-CP、CU-UP、DU和RU。例如，本申请的执行主体包括DU，或者包括DU和RU，或者包括CU-CP、DU和RU，或者包括CU-UP、DU和RU，不予限制。各模块所执行的方法也在本申请的保护范围内。
终端也可以称为终端设备、用户设备(user equipment，UE)、移动台、移动终端等。终端可以广泛应用于各种场景中的通信，例如包括但不限于以下至少一个场景：设备到设备(device-to-device，D2D)、车物(vehicle to everything，V2X)、机器类通信(machine-type communication，MTC)、物联网(internet of things，IOT)、虚拟现实、增强现实、工业控制、自动驾驶、远程医疗、智能电网、智能家具、智能办公、智能穿戴、智能交通、或智慧城市等。终端可以是手机、平板电脑、带无线收发功能的电脑、可穿戴设备、车辆、无人机、直升机、飞机、轮船、机器人、机械臂、或智能家居设备等。本申请对终端所采用的具体技术和具体设备形态不做限定。
在本申请中，用于实现终端的功能的装置可以是终端；也可以是能够支持终端实现该功能的装置，例如芯片系统、硬件电路、软件模块、或硬件电路加软件模块，该装置可以被安装在终端中或可以与终端匹配使用。为了便于描述，下文以用于实现终端的功能的装置是终端为例，描述本申请提供的技术方案。
基站和终端可以是固定位置的，也可以是可移动的。基站和/或终端可以部署在陆地上，包括室内或室外、手持或车载；也可以部署在水面上；还可以部署在空中的飞机、气球和人造卫星上。本申请对基站和终端的应用场景不做限定。基站和终端可以部署在相同的场景或不同的场景，例如，基站和终端同时部署在陆地上；或者，基站部署在陆地上，终端部署在水面上等，不再一一举例。
基站和终端的角色可以是相对的，例如，图1中的直升机或无人机120i可以被配置成移动基站，对于那些通过120i接入到无线接入网100的终端120j来说，终端120i是基站；但对于基站110a来说，120i是终端，即110a与120i之间是通过无线空口协议进行通信的。110a与120i之间也可以是通过基站与基站之间的接口协议进行通信的，此时，相对于110a来说，120i也是基站。因此，基站和终端都可以统一称为通信装置，图1中的110a和110b可以称为具有基站功能的通信装置，图1中的120a-120j可以称为具有终端功能的通信装置。
基站和终端之间、基站和基站之间、终端和终端之间可以通过授权频谱进行通信，也可以通过免授权频谱进行通信，也可以同时通过授权频谱和免授权频谱进行通信；可以通过6千兆赫(gigahertz，GHz)以下的频谱进行通信，也可以通过6GHz以上的频谱进行通信，还可以同时使用6GHz以下的频谱和6GHz以上的频谱进行通信。本申请对无线通信所使用的频谱资源不做限定。
在本申请中，基站向终端发送下行信号或下行信息，下行信息承载在下行信道上；终端向基站发送上行信号或上行信息，上行信息承载在上行信道上。终端为了与基站进行通信，可以与基站控制的小区建立无线连接。与终端建立了无线连接的小区称为该终端的服务小区。当终端与该服务小区进行通信的时候，可能会受到来自邻区的信号的干扰。
在本申请中，可以在前述图1所示的通信系统中引入独立的网元(如称为AI网元、或AI节点等)来实现AI相关的操作，AI网元可以和通信系统中的接入网设备之间直接连接，或者可以通过第三方网元和接入网设备实现间接连接，其中，第三方网元可以是认证管理功能(authentication management function，AMF)网元、或用户面功能(user planefunction，UPF)网元等核心网网元；或者，可以在通信系统中的其他网元内配置AI功能、AI模块或AI实体来实现AI相关的操作，例如该其他网元可以是接入网设备(如gNB)、核心网设备、或网管(operation,administration and maintenance，OAM)等，在这种情况下，执行AI相关的操作的网元为内置AI功能的网元。本申请以AI功能内置在其他网元内部为例进行说明。
本申请中，OAM用于操作、管理和/或维护核心网设备，和/或，用于操作、管理和/或维护接入网设备。
本申请中，AI模型是实现AI功能的具体方法，AI模型表征了模型的输入和输出之间的映射关系。AI模型可以是神经网络或者其他机器学习模型。其中，AI模型可以简称为模型。AI相关的操作可以包括以下至少一项：数据收集、模型训练、模型信息发布、模型推断(模型推理)、或推理结果发布等。
以神经网络为例，神经网络是机器学习技术的一种具体实现形式。根据通用近似定理，神经网络在理论上可以逼近任意连续函数，从而使得神经网络具备学习任意映射的能力。传统的通信系统需要借助丰富的专家知识来设计通信模块，而基于神经网络的深度学习通信系统可以从大量的数据集中自动发现隐含的模式结构，建立数据之间的映射关系，获得优于传统建模方法的性能。
神经网络的思想来源于大脑组织的神经元结构。每个神经元都对其输入值做加权求和运算，将加权求和结果通过一个激活函数产生输出。如图2a所示，为神经元结构示意图。假设神经元的输入为x＝[x0,x1,…,xn],与各输入对应的权值分别为w＝[w,w1,…,wn],加权求和的偏置为b。激活函数的形式可以多样化，假设一个神经元的激活函数为：y＝f(z)＝max(0,z)，则该神经元的输出为：
Figure BDA0003256823060000081
Figure BDA0003256823060000082
再例如一个神经元的激活函数为：y＝f(z)＝z，则该神经元的输出为：
Figure BDA0003256823060000083
Figure BDA0003256823060000084
b可以为小数、整数(包括0、正整数或负整数等)、或复数等各种可能的取值。神经网络中不同神经元的激活函数可以相同或不同。
神经网络一般包括多层结构，每层可包括一个或多个神经元。增加神经网络的深度和/或宽度可以提高该神经网络的表达能力，为复杂系统提供更强大的信息提取和抽象建模能力。其中，神经网络的深度可以指神经网络包括的层数，每层包括的神经元个数可以称为该层的宽度。如图2b所示，为神经网络的层关系示意图。一种实现中，神经网络包括输入层和输出层。神经网络的输入层将接收到的输入经过神经元处理后，将结果传递给输出层，由输出层得到神经网络的输出结果。另一种实现中，神经网络包括输入层、隐藏层和输出层。神经网络的输入层将接收到的输入经过神经元处理后，将结果传递给中间的隐藏层，隐藏层再将计算结果传递给输出层或者相邻的隐藏层，最后由输出层得到神经网络的输出结果。一个神经网络可以包括一层或多层依次连接的隐藏层，不予限制。神经网络的训练过程中，可以定义损失函数。损失函数描述了神经网络的输出值和理想目标值之间的差距或差异，本申请不限制损失函数的具体形式。神经网络的训练过程就是通过调整神经网络参数，如神经网络的层数、宽度、神经元的权值、和/或神经元的激活函数中的参数等，使得损失函数的值小于阈值门限值或者满足目标需求的过程。
如图2c所示为AI的一种应用框架的示意图。数据源(data source)用于存储训练数据和推理数据。模型训练节点(model trainning host)通过对数据源提供的训练数据(training data)进行分析或训练，得到AI模型，且将AI模型部署在模型推理节点(modelinference host)中。可选的，模型训练节点还可以对已部署在模型推理节点的AI模型进行更新。模型推理节点还可以向模型训练节点反馈已部署模型的相关信息，以使得模型训练节点对已部署的AI模型进行优化或更新等。
其中，AI模型表征了模型的输入和输出之间的映射关系。通过模型训练节点学习得到AI模型，相当于由模型训练节点利用训练数据学习得到模型的输入和输出之间的映射关系。模型推理节点使用AI模型，基于数据源提供的推理数据进行推理，得到推理结果。该方法还可以描述为：模型推理节点将推理数据输入到AI模型，通过AI模型得到输出，该输出即为推理结果。该推理结果可以指示：由执行对象使用(执行)的配置参数、和/或由执行对象执行的操作。推理结果可以由执行(actor)实体统一规划，并发送给一个或多个执行对象(例如，网络实体)去执行。
图3a和图3b为本申请提供的网络架构示意图，核心网设备、接入网设备、终端或OAM等中的至少一个设备可以部署有AI模型，利用该AI模型实现相应的功能。在本申请中，不同节点中部署的AI模型相同或不同，模型不同包括以下至少一项不同：模型的结构参数不同，例如，模型的层数和/或权值等不同；模型的输入参数不同；或模型的输出参数不同等。其中，模型的输入参数和/或模型的输出参数不同还可以描述为模型的功能不同。与上述图3a不同的是，在图3b中，将接入网设备的功能拆分为CU和DU。可选的，CU中可以部署有一个或多个AI模型。和/或，DU中可以部署有一个或多个AI模型。可选的，还可以进一步将图3b中的CU拆分为CU-CP和CU-UP。可选的，CU-CP中可以部署有一个或多个AI模型。和/或，CU-UP中可以部署有一个或多个AI模型。可选的，图3a或图3b中，接入网设备的OAM和核心网设备的OAM可以分开独立部署。
在传统的机器学习领域，模型训练和模型测试通常是由一个设备完成的，不需要另外一个设备进行管控。但是在无线网络中，存在多个设备，且通常情况下，一个设备(例如基站、核心网设备或OAM等)需要对另一个设备(例如基站或终端等)进行管控。例如，在终端使用AI模型处理与网络侧设备相关的操作时，网络侧设备需要对终端所使用的AI模型的性能进行评估，判断终端是否可以使用该AI模型与网络侧设备进行通信。尤其是在终端使用的AI模型需要与网络侧设备的某些操作，或者AI模型配合使用时。如果网络侧设备对终端使用的AI模型完全不进行评估和管控，则可能导致双方无法正常通信，甚至影响其它终端的通信。而在目前的无线网络中，还没有针对AI模型的测试方法，以达到对使用的AI模型进行评估和管控的目的。
在本申请提供的模型测试方法中，第一设备可对第二设备中部署的AI模型进行测试。本申请，对第一设备和第二设备不作限定。比如，第一设备为接入网设备，第二设备为终端，接入网设备可以对终端中的AI模型进行测试。或者，第一接入网设备为OAM，第二设备为终端，OAM可以对终端中的AI模型进行测试。或者，第一接入网设备为核心网设备，第二设备为终端，核心网设备可以对终端中的AI模型进行测试。或者，第一设备为核心网设备，第二设备为接入网设备，核心网设备可以对接入网设备中部署的AI模型进行测试。在后续模型测度方法的具体描述中，是以第一设备为接入网设备，第二设备为终端，基站对终端中部署的AI模型进行测试为例描述的。当第一设备和第二设备无法直接通信时，可以由第三设备辅助他们二者进行通信。例如，第一设备为核心网设备或OAM，第二设备为终端，则第一设备可以通过第三设备(例如接入网设备)的转发向第二设备发送信号或信息，第二设备也可以通过第三设备的转发向第一设备发送信号或信息。其中，该转发可以是透传或者对转发的信号或信息加工(例如增加包头、分段或级联等)后转发。
在一种设计中，如图4所示，机器学习的过程包括：
1、对样本集合进行划分，得到训练集、验证集和测试集。
示例的，划分方法包括留出法、交叉验证法或自助法等。其中，留出法是指将样本集划分为多个互斥的集合，该多个互斥的集合称为训练集、验证集和测试集。交叉验证法是指尝试利用不同的训练集、验证集和测试集划分对AI模型做多组不同的训练、验证和测试等，来应对单次测试结果过于片面以及训练数据不同等问题。自助法是指对样本集合进行n次有放回抽样得到n个样本，然后把抽到的n个样本作为训练集，其中n为正整数。在一种实现中，可以在训练集中随机划分出一部分作为验证集，剩余的部分作为训练集。由于是有放回抽样，抽到的n个样本中大概率会出现部分样本重复，同时整个样本集合中存在一部分样本一次也没被抽到，这部分一次也没有抽到的样本作为测试集。应当指出，上述训练集、验证集和测试集可以来自一个样本集合，或者可以来自不同的样本集合等，例如，训练集和验证集来自一个样本集合，测试集来自另一个样本集合等。
其中，训练集、验证集和测试集可以两两之间没有交集。但是，本申请不排除两两之间有交集的情况。训练集是训练样本的集合，每个训练样本是模型训练过程中的一次输入。验证集是验证样本的集合，每个验证样本是模型验证过程中的一次输入。测试集是测试样本的集合，每个测试样本是模型测试过程中的一次输入。
2、利用训练集进行模型训练，得到AI模型，该过程可称为模型训练。
模型训练是机器学习中重要的部分之一，机器学习的本质是从训练样本中学习它的某些特征，从而使得在该训练集的训练下，AI模型的输出与理想目标值之间的差异尽可能小。通常情况下，即使采用相同的网络结构，使用不同的训练集训练出的AI模型的权重和/或输出可能不相同。因此，训练集的构成与选取，在某种程度上决定了AI模型的性能。
3、利用验证集对AI模型验证，该过程可称为模型验证。
模型验证，通常发生在模型训练过程中。例如，模型每经过一次或多次迭代(EPOCH)的训练，可以用验证集对当前模型进行验证，来监测模型训练的状态，例如验证是否欠拟合、过拟合或已经收敛等，决定是否结束训练。可选的，在模型验证过程中，还可以调整模型的超参数，所述超参数可以指模型的以下至少一项参数：神经网络的层数、神经元的个数、激活函数、或损失函数等。
4、利用测试集对AI模型测试，该过程可称为模型测试。
在模型训练完成后，可利用测试集对训练好的AI模型进行测试。例如，评估AI模型的泛化能力，判断AI模型性能是否满足要求，或决定AI模型是否可用等。
在目前的无线网络中，还没有可用的AI模型测试流程，以达到第一设备(如基站)对第二设备(如终端)使用的AI模型评估和管控的目的。在本申请中，提供一种模型测试方法，在该方法中，基站可以对终端使用的AI模型进行测试，以达到基站对终端使用的AI模型进行评估和管控的目的。如图5所示，提供一种模型测试方法的流程，至少包括：
步骤500：终端向基站发送请求信息，该请求信息用于请求对AI模型进行测试，或者用于请求下述步骤501中的第一信息。
在步骤500之前，终端获取了参与测试的至少一个AI模型。该参与测试的AI模型可以是终端自己训练获得的，或者基站发送给终端的，或者终端从其它节点下载的等，不作限定。
具体的，终端可以在获取上述参与测试的至少一个AI模型后，或者终端做好测试准备，可以进行模型测试后，可以向基站发送步骤500中的请求信息。
在一种设计中，上述请求信息中可以包括参与测试的AI模型的输入格式的指示信息。基站可以根据参与测试的AI模型的输入格式，确定测试集中测试样本的格式。例如，基站根据上述AI模型的输入格式，对测试集中测试样本的格式进行转换，转换后的测试样本的格式，满足上述AI模型输入格式的要求。或者，基站可以根据参与测试的AI模型的输入格式，在多个测试集中，选择满足要求的测试集等。例如，存在多个测试集，不同测试集中测试样本的格式可以不同。基站可以在多个测试集中，选择所包括测试样本的格式满足上述AI模型的输入格式要求的测试集。
或者，对上述请求消息中是否包括参与测试的AI模型的输入格式的指示信息，不作限定，即上述请求消息中可以包括参与测试的AI模型的输入格式的指示信息，或者不包括参与测试的AI模型的输入格式的指示信息。基站可以向终端发送包括任意格式测试样本的测试集的指示信息，终端将测试集中的测试样本转换成满足参与测试的AI模型输入格式的测试样本。或者，测试样本的格式可以是预定义的，参与测试的AI模型在生成时就是按照该预定义的格式进行设计或训练的等。基站向终端发送的测试集中所包括测试样本的格式，一定是满足参与测试的AI模型的输入格式的。
可选的，AI模型的输入格式可以包括AI模型的输入数据的类型，和/或输入数据的维度等。输入数据的类型指输入数据所描述的内容。例如，输入数据的类型可以是无线信道、信道特征、接收信号、或者接收信号功率等。输入数据的维度指输入数据的具体表达形式。例如，输入数据的维度可以是时域、频域、空域、波束域、时延域等维度中的一种或多种。输入数据的维度还包括在每个维度的尺寸。例如，输入数据在时域维度的尺寸为2，在频域维度的尺寸为72，则输入数据为一个2*72的矩阵。输入数据的维度还包括在每个维度的单位。例如，在时域维度的单位可以是时隙或正交频分复用(orthogonal frequencydivision multiplexing，OFDM)符号等，在频域维度的单位可以是子载波或者资源块(resource block，RB)等。
步骤501：基站向终端发送第一信息，该第一信息用于确定至少一个测试集。
例如，基站可以在接收到终端发送的请求信息后的T1个时间单元内，向终端发送第一信息。
在一种设计中，第一信息中包括至少一个测试集的指示信息。例如，基站将至少一个测试集发送给终端。该测试集可以是基站生成的，或者来自其它设备的，例如，该测试集是来自核心网设备、OAM、远程智能通信、无线智能控制器、AI节点或其它设备等。或者，基站向终端发送至少一个测试集的指示信息，用于指示终端在预定义的多个测试集中，选择至少一个测试集进行测试。该预定义的多个测试集可以存储在终端内(例如由协议约定的)，或者存储在第三方节点内，该第三方节点可称为测试数据管理节点。可选的，第一信息中还可以包括第三方节点或者测试数据的网络地址信息。可选的，出于安全考虑，上述第三方节点可能不能任意被访问，第一信息中还可以包括访问第三方节点的授权信息，该第三方节点的授权信息可称为测试集访问授权信息。
在另一种设计中，第一信息包括参考信号，终端根据所述参考信号，确定所述至少一个测试集。或者，第一信息包括参考信号的配置信息，终端根据所述参考信号的配置信息，接收参考信号，并根据所接收的参考信号，确定所述至少一个测试集。例如，基站给终端配置一个参考信号图样，并通知终端该图样的参考信号用于终端在线获取无线信道相关的测试集。终端在检测到该图样的参考信号时，对该参考信号进行信道估计，获取无线信道相关的测试集等。在该设计中，由于获取的测试集是无线信道相关的测试集，利用该测试集，能对无线信道相关的AI模型进行测试。或者，第一信息包括在预定义的下行信道发送的下行数据信号。例如，基站为终端配置一个下行信道，该下行信道是预定义的或者是终端已知的，基站通知终端该下行信道用于在线获取测试集。则终端在该下行信道中接收下行数据信号，并根据该下行数据信号，确定至少一个测试集。
步骤502：终端根据至少一个测试集，对AI模型进行测试，得到测试结果。
在本申请中，AI模型是利用AI的方式，实现某种功能的模型，例如预测终端的运动轨迹，或预测网络负载等。对AI模型的名称不作限定。例如，AI模型可以简称为模型，还可以称为第一模型、或神经网络模型等。AI模型表征了模型的输入和输出之间的映射关系。如图2c所示，通过模型训练节点学习得到AI模型，相当于由模型训练节点利用训练数据学习得到模型的输入和输出之间的映射关系。模型推理节点使用AI模型，基于数据源提供的推理数据进行推理，得到推理结果。在本申请中，所有包含可训练的参数的模型均可称为AI模型，深度神经网络为一种典型的AI模型。具体的，深度神经网络包括多层感知机(multi-layer perceptron，MLP)、卷积神经网络(convolutional neural networks，CNN)和递归神经网络(recurrent neural network，RNN)等。
在本申请中，参与测试的AI模型的数量为一个或多个。终端在获取到上述至少一个测试集后，使用该测试集对一个或多个AI模型进行测试。在一种实现方式中，每个AI模型对应的测试集相同。例如，针对每个参与测试的AI模型，终端利用基站指示的至少一个测试集中的每个测试集均对该AI模型测试一次。例如，参与测试的AI模型的数量为N个，上述至少一个测试集中包括M个测试集，所述N和M均为整数。上述N个AI模型中的每一个AI模型，均对应M个测试集，即利用M个测试集分别对每一个AI模型进行测试。将M个测试集中的任一个测试集，输入到N个AI模型中的任一个AI模型，均可以得到一个测试结果，M个测试集分别输入到N个AI模型可以得到M*N个测试结果。或者，在另一种实现方式中，每个AI模型对应的测试集并不相同。举例来说，3个AI模型，分别称为第一AI模型、第二AI模型和第三AI模型。3个测试集，分别称为测试集1至测试集3。第一AI模型可以利用测试集1进行测试，第二AI模型可以利用测试集2进行测试，第三AI模型可以利用测试集3进行测试。则基站可以额外通知终端，每个测试集对应测试的AI模型。例如，在上述步骤501中的第一信息中将上述测试集与AI模型的对应关系，通知终端等。在该实现中，终端可以预先将参与测试的AI模型通知基站，例如，在上述步骤500中的请求信息中携带参与测试的AI模型的指示信息，以使基站可以为参与测试的AI模型分配相同或不同的测试集等。或者，在又一种实现方式中，参与测试的AI模型中的一部分AI模型对应的测试集相同，剩余一部分AI模型对应的测试集不同。比如，参与测试的AI模型包括3个，分别为第一AI模型、第二AI模型和第三AI模型。至少一个测试集中包括5个测试集，分别称为测试集1至测试集5。第一AI模型与第二AI模型对应的测试集相同，第一AI模型或第二AI模型对应于测试集1至测试集5。第三AI模型对应的测试集为测试集4和测试集5，第三AI模型对应的测试集与第一AI模型或第二AI模型对应的测试集不同。在该实现方式中，基站可能也需要将上述AI模型与测试集的对应关系，通知终端。或者，在另一种实现方式中，参与测度的AI模型中不同AI模型对应的测试集部分相同(存在交集)，但不完全相同。基站也需要将AI模型与测试集的对应关系通知终端。比如，第一AI模型对应的测试集为1和2，第二AI模型对应的测试集为2和3。第一AI模型对应的测试集与第二AI模型对应的测试集，部分相同，两者存在相同的测试集2。
步骤503：终端向基站发送第二信息，该第二信息用于指示所述AI模型的测试结果。
可选的，终端在接收到上述步骤501中的第一信息后，在T2个时间单元内向基站反馈第二信息。终端反馈第二信息时所使用的上行资源可以是基站发送第一信息时指示或配置的，即上述步骤501中的第一信息中还可以包括第二信息对应的上行资源的指示或配置信息。或者，反馈第二信息所使用的上行资源也可以通过其它方式指示或配置给终端，或者，反馈第二信息所使用的上行资源也可以是预定义或预配置的等，不作限定。
在一种设计中，第二信息用于指示以下至少一项：
1、参与测试的AI模型。参与测试的AI模型可以是一个或多个AI模型。比如，该第二信息中可以包括参与测试的AI模型的编号或标识等。在本申请中，上述第二信息中也可以不指示参与测试的AI模型。比如，在终端向基站发送请求消息时，即把上述参与测试的AI模型指示给基站，终端在完成AI模型的测试，向基站上报测试结果时，即便该表示测试结果的第二信息不中再携带参与测试的AI模型的指示信息，基站可以获得终端当前上报的测试结果即为之前请求测试的AI模型的测试结果。
2、每个AI模型对应的测试结果。针对参与测试的AI模型，每个AI模型可以对应一个或多个测试结果。例如，在基站指示多个测试集时，每个测试集对AI模型进行测试，都可以得到一个测试结果。终端可以将上述多个测试集对应的多个测试结果，都通知基站。或者，终端可以在上述多个测试结果中，筛选部分测试结果，通知基站。或者，终端可以对上述多个测试结果进行综合处理，得到一个综合的测试结果，通知基站。
3、每个测试结果对应的测试集。如前步骤502中的所述，不同参与测试的AI模型对应的测试集可以相同或不同，在终端向基站上报测试结果时，可能需要将该测试结果对应的测试集，即该测试结果具体是在哪些测试集下产生的，通知基站。
上述图5所示的测试流程，可以由终端发起。例如，在终端准备好至少一个AI模型时发起，或者是在终端准备使用AI模型时发起。例如，终端欲使用第一AI模型预测终端的运动轨迹，该第一AI模型可以是终端自己训练的，或者从其它节点下载的等，不作限定。终端在使用上述第一AI模型之前，可以发起上述图5所示的测试流程，向基站发送步骤501中的请求信息，请求基站对第一AI模型进行测试。在基站对第一AI模型的测试通过后，终端利用第一AI模型预测运动轨迹。可以理解的是，当由终端发起上述图5所示的测试流程时，上述步骤500是执行的。或者上述图5所示的测试流程，也可以由基站发起。例如，基站在想要了解终端的某个AI模型当前性能的时候发起，或者基站可以在准备让终端使用某个AI模型时发起，或者针对之前已经测试过的AI模型，经过一段时间后，比如，环境发生了变化，基站想知道这个AI模型当前的性能，也可以指示终端重新测试一下这个AI模型。此时，基站可以向终端发送待测试AI模型的指示信息。例如，该待测试AI模型的指示信息可以与测试集携带于同一个信息中，即上述步骤501中的第一信息还可以指示终端待测试的AI模型。或者，基站可以单独向终端发送一个信息，单独用于指示终端对内部部署的某个AI模型进行测试等。或者，基站按照某种时域的图样对某个AI模型执行测试，该时域图样指示了执行模型测试的时域资源。该时域图样指示的时域资源可以是周期地或者非周期地，不予限制。该时域图样可以是协议约定的或者由基站预先配置给终端的。可以理解的是，在基站发起上述图5所示的测试流程时，上述步骤500可以不再执行，基站可以直接向终端发送上述步骤501中的第一信息。
通过上述方法，基站向终端发送用于确定至少一个测试集的第一信息，终端利用基站指示的测试集，对AI模型进行测试，确定测试结果，将测试结果通知基站，从而达到基站对终端使用的AI模型掌握和管理的目的。
在上述图5所示的流程中，是以基站对AI模型进行测试为例描述的。在一种实现中，可以由除基站外的其它设备，对AI模型执行测试。该其它设备可以包括，核心网设备、OAM、远程智能通信、无线智能控制器、或AI节点等。而基站具体起转发信息的作用。例如，以核心网设备对终端中部署的AI模型进行测试为例。如图6所示，提供一种模型测试方法的流程，至少包括以下步骤：
步骤600：终端向核心网设备发送请求消息，该请求消息用于请求核心网设备对AI模型进行测试，或者请求第一信息等。
具体的，基站可以先接收该请求信息，再将该请求信息转发给核心网设备。与上述图5所示的流程相似，该步骤500是可选的。
步骤601：核心网设备向终端发送第一信息，该第一信息用于确定至少一个测试集。
具体的，基站可以先接收核心网设备发送的第一信息，再将该第一信息转发给终端。
步骤602：终端根据至少一个测试集，对AI模型进行测试，得到第一测试结果。
步骤603：终端向核心网设备发送第二信息，该第二信息用于指示所述AI模型的测试结果。
具体的，基站可以先接收该第二信息，再将该第二信息转发给核心网设备。
在本申请中，关于如何确定每个参与测试的AI模型是否满足性能要求，本申请提供以下两种方案：第一种方案，终端向基站上报第一测试结果，第一测试结果可用于指示AI模型的输出，或者指示根据AI模型的输出，所确定的性能指标等。基站根据该第一测试结果，确定参与测试的AI模型是否满足性能要求等，具体可参见下述图7所示的流程。第二种方案，基站预先将AI模型的性能要求通知终端，终端在对AI模型进行测试时，获得上述第一测试结果中的性能指标，终端自己根据每个AI模型的性能指标以及基站通知的性能要求，确定每个AI模型是否满足性能要求，且告知基站，将终端告知基站的每个AI模型是否满足性能要求等信息称为第二测试结果，具体可参见下述图8所示的流程。
在本申请中，在终端对AI模型测试，获得第一测试结果，且将该第一测试结果通知基站时，可以由基站判断该AI模型是否满足要求，且基站将该AI模型的测试结论通知终端。如图7所示，提供一种模型测试方法的流程，至少包括以下步骤：
步骤700：终端向基站发送请求信息，该请求信息用于请求对AI模型进行测试，或者用于请求下述步骤701中的第一信息。
与图5所示的步骤500相似，该步骤700并非一定需要执行，可以选择性执行。
步骤701：基站向终端发送第一信息，该第一信息用于确定至少一个测试集。
步骤702：终端根据至少一个测试集，对AI模型进行测试，得到第一测试结果。
例如，终端可以将参与测试的AI模型在每个测试集下的输出，作为第一测试结果反馈给基站，此时所述第一测试结果用于指示所述AI模型在所述至少一个测试集下的输出。或者，终端可以根据AI模型在测试集下的输出，确定AI模型的性能指标，将该AI模型的性能指标作为AI模型的第一测试结果反馈给基站。此时，所述第一测试结果用于指示根据所述至少一个测试集，对所述AI模型测试时，得到的所述AI模型的性能指标。关于终端根据AI模型在测试集下的输出，确定AI模型的性能指标的具体方式，可以是预定义的，或者基站配置的等，不作限定。举例来说，所述AI模型的性能指标可以包括最小均方误差(meansquare error，MSE)、正则化最小均方误差(normalized mean square error，NMSE)、或者误块率(block error rate，BLER)等。比如，终端可以根据AI模型在测试集下的输出与该测试集对应的标签，该标签可以认为测试集对应的正确输出，计算MSE或NMSE等。可选的，在该设计中，上述步骤701中的第一信息还指示每一个测试集对应的标签。
步骤703：终端向基站发送第二信息，该第二信息用于指示所述AI模型的第一测试结果。
其中，基站在接收到终端发送的第二信息时，可根据所述第二信息所指示的第一测试结果，确定参与测试的每个AI模型是否满足性能要求。在一种设计中，如果终端反馈的第一测试结果用于指示AI模型在测试集下的输出。则在监督学习的情况下，基站对比AI模型的输出与对应的标签(即准确输出)，确定两者之间的误差；根据两者之间的误差，确定参与测试的AI模型是否满足性能要求。例如，若两者之间的误差低于一定门限，则认为参与测试的AI模型满足性能要求，否则认为参与测试的AI模型不满足性能要求。在非监督学习或强化学习的情况下，不存在AI模型的输出对应的标签，则基站根据AI模型的输出，确定AI模型的性能指标，根据AI模型的性能指示，确定AI模型是否满足性能要求等。例如，当AI模型的输出是波束赋型向量或预编码矩阵时，基站可以计算使用该波束赋形向量或预编码矩阵时对应的信干噪比(signal to interference and noise ratio，SINR)或吞吐量；如果SINR或吞吐量高于某一门限，则认为参与测试的AI模型满足性能要求，否则认为参与测试的AI模型不满足性能要求。以AI模型的输出为预编码矩阵，计算预编码矩阵对应的SINR为例，基站反馈的第一测试结果为预编码矩阵W，基站计算使用功率P和预编码矩阵W发送的信号经过信道H后，在接收端的接收功率。结合接收端的接收功率以及噪声功率，计算SINR。
在另一种设计中，如果终端反馈的第一测试结果用于指示根据所述至少一个测试集，对所述AI模型测试时，得到的所述AI模型的性能指标，则基站可以根据该AI模型的性能指示，确定该AI模型是否满足性能要求。例如，终端反馈的性能指标为NMSE，则当NMSE小于某一门限时，则基站认为参与测试的AI模型满足性能要求，否则认为参与测试的AI模型不满足性能要求。
在多个测试集的情况下，针对每个参与测试的AI模型，基站可以综合考虑该AI模型在多个测试集下的第一测试结果，判断该AI模型是否满足性能要求。例如，针对一个AI模型，在多个测试集下都满足性能要求才算该AI模型满足性能要求。或者，在超过一半的测试集下满足性能要求才算该AI模型满足性能要求，或者该AI模型在多个测试集下的性能的平均或者加权平均满足性能要求，才算该AI模型满足性能要求等。
步骤704：基站向终端发送第一指示信息，该第一指示信息可以是一个指示信息，或多个指示信息等，不作限定。例如，当第一指示信息用于指示参与测试的AI模型满足或不满足性能要求时，可以通过一个指示信息，指示上述参与测试的AI模型中每一个AI模型是否满足性能要求，例如通过下述位图的方式。或者，针对每个参与测试的AI模型，基站可均发送一个指示信息，用于指示对应的AI模型是否满足性能要求等。
可选的，基站在收到上述步骤703中的第二信息时，可以在T3个时间单元内向终端发送第一指示信息。
在一种设计中，所述第一指示信息用于所述AI模型的测试结论。例如，该第一指示信息可以指示参与测试的AI模型中的每一个AI模型满足或不满足性能要求。例如，终端中有5个AI模型参与测试，基站根据终端上报的上述5个AI模型的第一测试结果，发现其中3个AI模型满足性能要求，2个AI模型不满足性能要求。则基站可以将上述3个AI模型满足要求，上述2个AI模型不满足要求，通知终端。例如，可通过一个5比特的位图(bitmap)，该5比特中的每一比特位对应于一个AI模型。若某一个AI模型满足性能要求，则在位图中，该AI模型对应的比特位用1表示，否则用0表示。其中，1和0的含义可以进行互换，不予限制。
或者，第一指示信息用于指示参与测试的AI模型中满足性能要求的AI模型。此时，可能需要基站与终端预先约定，或协议规定等，基站向终端反馈满足性能要求的AI模型。在该设计中，基站可以将参与测试的5个AI模型中，满足性能要求的3个AI模型通知终端。例如，可以将上述3个AI模型的编号或标识通知给终端。终端在获取上述3个AI模型的指示信息时，可以默认该3个AI模型是符合性能要求的，参与测试的剩余2个AI模型是不符合性能要求的。
或者，第一指示信息可用于指示能与测试的AI模型中不满足性能要求的AI模型。此时，可能需要基站与终端预先约定，或协议规定，基站向终端反馈不满足性能要求的AI模型。在该设计中，基站可以将参与测试的5个AI模型中，不满足性能要求的2个AI模型通知终端。终端在获取上述2个AI模型的指示信息时，可默认该2个AI模型是不满足性能要求的，参与测试的剩余3个AI模型是满足性能要求的。
可选的，后续终端可以使用满足性能要求的3个AI模型执行具体的操作，例如，预测终端的运动轨迹，或预测网络负载等。后续不满足性能要求的2个AI模型可能不再允许继续使用。应当指出，上述满足性能要求的3个AI模型可以分别实现不同的功能。例如，上述3个AI模型可分别用于终端的轨迹预测、网络负载预测，和终端的移动速度预测等。或者，上述3个AI模型可以实现相同的功能。例如，上述3个AI模型可均用于预测终端的运动轨迹。则终端可以在上述3个AI模型中，再选择一个AI模型，执行具体的运动轨迹预测的操作。关于终端基于何种原则，在上述3个功能相同的AI模型中，选择一个具体的AI模型执行具体的操作，不作限定。
在另一种设计中，第一指示信息用于指示终端后续使用的AI模型、或参与测试的AI模型中的可用AI模型，或者指示终端使用非AI方式执行后续操作。例如，基站根据终端上报的第一测试结果，确定满足性能要求的AI模型为多个，且该多个AI模型实现的功能相同。则基站可以在上述多个AI模型中，选择一个AI模型，指示给终端。终端直接利用该AI模型执行后续操作。举例来说，终端测试5个AI模型，该5个AI模型均用于预测终端的运动轨迹，则终端可以将上述5个AI模型的第一测试结果，通知基站。基站根据上述5个AI模型的第一测试结果，确定该5个AI模型是否满足性能要求。在满足性能要求的AI模型中，选择一个AI模型通知终端，指示终端利用该AI模型执行后续的运动轨迹预测。或者，基站发现测试的AI模型均不满足性能要求，则基站可以指示终端使用非AI方式执行对应操作。
在本申请中，终端在收到第一指示信息时，可以根据第一指示信息，执行后续操作。例如，当第一指示信息用于指示参与测试的AI模型都不满足性能要求，或者指示终端采用非AI方式执行对应操作时，终端采用非AI方式，执行对应操作。例如，在信道估计场景，终端可以使用最小二乘(least square，LS)法或者线性最小均方差(linear minimum meansquare error，LMMSE)法等非AI方式，执行信道估计。在该设计中，基站可以指示终端使用非AI方式执行对应操作，而关于终端具体采用哪种非AI方式，并不限定。在另一种设计中，当参与测试的AI模型都不满足性能要求时，终端可以结合具体的应用场景，指示终端使用一种特定的非AI方式，执行后续作。此时上述第一指示信息用于指示一个特定的非AI方式。例如，在信道状态信息(channel state information，CSI)反馈场景中，基站指示终端使用R16类型2码本，则终端使用R16类型2码本进行CSI反馈。其中，R16类型2码本是第三代合作伙伴计划(3rd generation partnership project，3GPP)协议中用于CSI反馈的码本之一，终端可以使用R16类型2码本将下行信道或下行信道的特征向量表示成预编码矩阵指示(precoding matrix index，PMI)，且将该PMI反馈给基站。基站可以基站相同的码本，将PMI恢复为下行信道或下行信道的特征向量。
或者，当第一指示信息用于指示该终端后续应该使用的AI模型时，则终端可以使用该AI模型执行对应操作。例如，基站向终端指示一个AI模型索引，则终端使用该索引对应的AI模型执行对应操作。或者，当第一指示信息用于指示参与测试的AI模型中每一个AI模型是否满足性能要求，或者哪些AI模型满足性能要求，或者哪些AI模型不满足性能要求时，若参与测试的AI模型中存在至少一个满足性能要求的AI模型时，则终端可以使用任意一个满足性能要求的AI模型执行对应操作。
通过上述方法，基站向终端发送用于确定至少一个测试集的第一信息，终端根据测试集对AI模型进行测试，得到第一测试结果，且终端向基站发送用于指示第一测试结果的第二信息；基站根据第一测试结果，确定参与测试的AI模型是否满足性能要求，且通知终端，从而使得基站可以对终端使用的AI模型进行评估和管控。
在本申请中，基站向终端发送对AI模型的性能要求，终端根据基站通知的AI模型的性能要求和通过测试获得的AI模型的性能指标，确定参与测试的AI模型是否满足性能要求。如图8所示，提供一种模型测试方法的流程，至少包括：
步骤800：终端向基站发送请求消息，该请求信息用于请求对AI模型进行测试，或者用于请求下述步骤801中的第一信息。
与图5所示的步骤500相似，该步骤800并非一定需要执行，可以选择性执行。
步骤801：基站向终端发送第一信息，该第一信息用于确定至少一个测试集。
步骤802：基站向终端发送第二指示信息，该第二指示信息用于指示AI模型的性能要求。
在一种设计中，该性能要求是与测试集相关的。例如，该性能要求可以为测试集对应的性能要求，该性能要求还可称为性能指标或性能门限等，可以用于确定参与测试的AI模型是否满足性能要求。例如，上述性能要求可以为MSE门限、NMSE门限、BLER门限或SINR门限等。
在多个测试集下，可以针对每个测试集都配置一个性能要求，每个测试集对应的性能要求可以相同，或者不同。此时，上述第二指示信息还用于指示终端在多个测试集下，如何确定AI模型是否满足性能要求。例如，针对一个参与测试的AI模型，在多个测试集下，该AI模型的性能指标均满足性能要求，才认为该AI模型满足性能要求，或者得在超过一半的测试集下满足性能要求，才认为该AI模型满足性能要求。或者，在多个测试集下，也可以配置一个综合性能要求，参与测试的AI模型的综合性能满足要求，则认为该AI模型满足性能要求。此时，上述第二指示信息具体用于指示对AI模型的综合性能要求。该综合性能要求为AI模型在多个测试集下性能的平均、或加权平均等。在加权平均的情况下，上述第二指示信息中指示的综合性能要求时，还可以包括不同测试集的权重等。
应当指出，上述步骤801和步骤802可以在同一个消息中发送，或者在不同的消息中发送。若在不同的消息中发送，对上述步骤801和步骤802的先后顺序不作限定。
步骤802是可选的，在图8中用虚线表示，例如该性能要求为协议约定的，或者由终端自行确定时，可以不需要执行步骤802。
步骤803：终端根据至少一个测试集和对AI模型的性能要求，确定第二测试结果。
例如，终端可以根据至少一个测试集，对AI模型进行测试，得到该AI模型的性能指标。具体过程，可参见上述图4中的说明。根据AI模型的性能指标，以及对AI模型的性能要求，确定第二测试结果。例如，若AI模型的性能指标，超出上述性能要求，则认为该AI模型满足性能要求；否则认为AI模型不满足性能要求。所述第二测试结果具体用于指示：参与测试的AI模型中的每个AI模型满足或不满足性能要求；或者，参与测试的AI模型中满足性能要求的AI模型，或者，参与测试的AI模型中不满足性能要求的AI模型；或者指示终端后续使用的AI模型，或者，指示终端使用非AI方式执行后续操作等。关于该第二测试结果的具体生成过程，可参见上述图4所示流程中的第一指示信息。与上述图4所示流程不同的是，在上述图4的流程中，终端向基站上报第一测试结果，基站根据上报的第一测试结果，确定第一指示信息。而在该图8所示的流程中，终端根据性能要求，以及对AI模型测试获得的性能指标，直接得到AI模型的第二测试结果。
举例来说，终端通过上述步骤801中的第一信息，确定3个测试集，分别称为测试集1、测试集2和测试集3。终端通过上述步骤802中的第二指示信息，确定3个性能要求，分别称为对应于测试集1的性能要求1，对应于测试集2的性能要求2，和对应于测试集3的性能要求3。针对一个参与测试的AI模型，则终端根据测试集1，对AI模型进行测试，得到该AI模型的第一性能指标；根据性能要求1和该AI模型的第一性能指标作对比，确定该AI模型是否满足性能要求。例如，当该AI模型的第一性能指标，超过性能要求1的要求时，则认为该AI模型满足性能要求，否则认为该AI模型不满足性能要求。同理，利用测试集2和性能指标2，以及，测试集3和性能指标3，同样可得到AI模型是否满足性能要求的结果。终端综合该AI模型在3个测试集中的结果，确定该AI模型是否满足性能要求。例如，如前述步骤802所述，上述步骤802中的第二指示信息还可以指示终端在多个测试集下，如何确定该AI模型是否满足性能要求等。例如，AI模型在每个测试集中均满足要求时，才认为该AI模型满足性能要求，或者AI模型在一半测试集下满足性能要求时，才认为该AI模型满足性能要求等。
步骤804：终端向基站发送第二信息，该第二信息用于指示所述AI模型的第二测试结果。
通过上述方法，基站向终端发送用于确定至少一个测试集的第一信息，以及性能要求信息。终端根据至少一个测试集，对AI模型进行测试，AI模型的测试结果；根据该AI模型的性能指标以及性能要求，确定该AI模型是否满足要求等信息，且通知基站，实现基站对终端使用的AI模型的管控和评估。
应当指出，在本申请中，请求信息、第一信息、第二信息、第一请求信息或第二请求信息等可以指示至少一项信息。可以理解的是，上述第一信息、第二信息、第一请求信息或第二请求信息等可以显示指示相应的信息。例如，第一信息可以显示指示至少一个测试集，该显示指示的方式可以是直接携带对应的信息。例如，第一信息可以直接携带至少一个测试集。或者，可以携带对应信息的标识，例如，第一信息中可以携带至少一个测试集的标识信息。或者，上述请求信息、第一信息、第二信息、第一请求信息或第二请求信息中可以隐示指示相应的信息。例如，上述第一信息可以隐示指示至少一个测试集，该隐示指示可以通过加扰、参考信号序列、资源位置等方式中的一种或多种隐示指示。例如，基站可以为终端配置多个测试集，基站可以通过对用于模型训练的至少一个测试集采用特定方式加扰，指示终端采用特定方式加扰的至少一个测试集进行模型训练等。
可以理解的是，为了实现上述方法中的功能，基站和终端包括了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本申请描述的各示例的单元及方法步骤，本申请能够以硬件或硬件和计算机软件相结合的形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用场景和设计约束条件。
图9和图10为本申请提供的可能的通信装置的结构示意图。这些通信装置可以用于实现上述方法中终端或基站的功能，因此也能实现上述方法所具备的有益效果。在本申请中，该通信装置可以是如图1所示的终端120a-120j中的一个，也可以是如图1所示的基站110a或110b，还可以是应用于终端或基站的模块(如芯片)。
如图9所示，通信装置900包括处理单元910和收发单元920。通信装置900用于实现上述图5、图7或图8中所示的方法中终端或基站的功能。
当通信装置900用于实现图5、图7或图8所示的方法中终端的功能时：收发单元920用于接收来自基站中的第一信息；处理单元910用于根据至少一个测试集，对AI模型进行测试，得到测试结果。
当通信装置900用于实现图5、图7或图8所示的方法中基站的功能时：处理单元910用于确定第一信息；收发单元920用于向终端发送第一信息，以及接收来自终端的第二信息。
有关上述处理单元910和收发单元920更详细的描述可以直接参考图5、图7或图8所示的方法中相关描述直接得到，这里不加赘述。
如图10所示，通信装置1000包括处理器1010和接口电路1020。处理器1010和接口电路1020之间相互耦合。可以理解的是，接口电路1020可以为收发器或输入输出接口。可选的，通信装置1000还可以包括存储器1030，用于存储处理器1010执行的指令或存储处理器1010运行指令所需要的输入数据或存储处理器1010运行指令后产生的数据。
当通信装置1000用于实现上述方法时，处理器1010用于实现上述处理单元910的功能，接口电路1020用于实现上述收发单元920的功能。
当上述通信装置为应用于终端的芯片时，该终端芯片实现上述方法中终端的功能。该终端芯片从终端中的其它模块(如射频模块或天线)接收信息，该信息是基站发送给终端的；或者，该终端芯片向终端中的其它模块(如射频模块或天线)发送信息，该信息是终端发送给基站的。
当上述通信装置为应用于基站的模块时，该基站模块实现上述方法中基站的功能。该基站模块从基站中的其它模块(如射频模块或天线)接收信息，该信息是终端发送给基站的；或者，该基站模块向基站中的其它模块(如射频模块或天线)发送信息，该信息是基站发送给终端的。这里的基站模块可以是基站的基带芯片，也可以是DU或其他模块，这里的DU可以是开放式无线接入网(open radio access network，O-RAN)架构下的DU。
可以理解的是，本申请中的处理器可以是中央处理单元(central processingunit，CPU)，还可以是其它通用处理器、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(field programmable gate array，FPGA)或者其它可编程逻辑器件、晶体管逻辑器件，硬件部件或者其任意组合。通用处理器可以是微处理器，也可以是任何常规的处理器。
本申请中的存储器可以是随机存取存储器、闪存、只读存储器、可编程只读存储器、可擦除可编程只读存储器、电可擦除可编程只读存储器、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质。
一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于基站或终端中。当然，处理器和存储介质也可以作为分立组件存在于基站或终端中。
本申请中的方法可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令时，全部或部分地执行本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、网络设备、用户设备、核心网设备、OAM或者其它可编程装置。所述计算机程序或指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机程序或指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，例如，软盘、硬盘、磁带；也可以是光介质，例如，数字视频光盘；还可以是半导体介质，例如，固态硬盘。该计算机可读存储介质可以是易失性或非易失性存储介质，或可包括易失性和非易失性两种类型的存储介质。
在本申请中，如果没有特殊说明以及逻辑冲突，不同的实施例之间的术语和/或描述具有一致性、且可以相互引用，不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。
本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。在本申请的文字描述中，字符“/”，一般表示前后关联对象是一种“或”的关系；在本申请的公式中，字符“/”，表示前后关联对象是一种“相除”的关系。“包括A，B或C中的至少一个”可以表示：包括A；包括B；包括C；包括A和B；包括A和C；包括B和C；包括A、B和C。
可以理解的是，在本申请中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本申请的范围。上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定。

Claims (25)

1.一种模型测试方法，其特征在于，包括：
接收来自网络设备的第一信息，所述第一信息用于确定至少一个测试集；
根据所述至少一个测试集，对人工智能AI模型进行测试，得到测试结果；
向网络设备发送第二信息，所述第二信息用于指示所述AI模型的测试结果。
2.如权利要求1所述的方法，其特征在于，
所述第一信息包括所述至少一个测试集的指示信息；或者，
所述第一信息包括参考信号，所述方法还包括：根据所述参考信号，确定所述至少一个测试集。
3.如权利要求1或2所述的方法，其特征在于，所述第二信息用于指示以下至少一项：
参与测试的AI模型；
每个AI模型对应的测试结果；
或者每个测试结果对应的测试集。
4.如权利要求1至3中任一项所述的方法，其特征在于，所述测试结果包括第一测试结果，所述第一测试结果用于指示所述AI模型在所述至少一个测试集下的输出；或者，所述第一测试结果用于指示根据所述至少一个测试集对所述AI模型测试时，得到的所述AI模型的性能指标。
5.如权利要求4所述的方法，其特征在于，还包括：
接收来自所述网络设备的第一指示信息，所述第一指示信息用于指示参与测试的AI模型中每个AI模型满足或不满足性能要求，或者指示参与测试的AI模型中满足性能要求的AI模型，或者指示参与测试的AI模型中不满足性能要求的AI模型，或者指示终端后续使用的AI模型，或者指示所述终端使用非AI方式执行对应操作。
6.如权利要求1至3中任一项所述的方法，其特征在于，所述测试结果包括第二测试结果，所述第二测试结果用于指示参与测试的AI模型中每个AI模型满足或不满足性能要求；或者指示参与测试的AI模型中满足性能要求的AI模型，或者指示参与测试的AI模型中不满足性能要求的AI模型，或者指示终端后续使用的AI模型，或者指示所述终端使用非AI方式执行后续操作。
7.如权利要求6所述的方法，其特征在于，还包括：
接收来自所述网络设备的第二指示信息，该第二指示信息用于指示所述AI模型的性能要求。
8.如权利要求1至7中任一项所述的方法，其特征在于，还包括：
向网络设备发送请求信息，所述请求信息用于请求所述第一信息，或者用于请求对所述AI模型进行测试。
9.如权利要求8所述的方法，其特征在于，所述请求信息包括参与测试的AI模型的输入格式的指示信息。
10.一种模型测试方法，其特征在于，包括：
向终端发送第一信息，所述第一信息用于确定至少一个测试集；
接收来自所述终端的第二信息，所述第二信息用于指示人工智能AI模型的测试结果，所述测试结果对应于所述至少一个测试集。
11.如权利要求10所述的方法，其特征在于，所述第一信息包括至少一个测试集的指示信息；或者，所述第一信息包括参考信号。
12.如权利要求10或11所述的方法，其特征在于，所述第二信息用于指示以下至少一项：
参与测试的AI模型；
每个AI模型对应的测试结果；
或者每个测试结果对应的测试集。
13.如权利要求10至12中任一项所述的方法，其特征在于，所述测试结果包括第一测试结果，所述第一测试结果用于指示所述AI模型在所述至少一个测试集下的输出；或者，所述第一测试结果用于指示根据所述至少一个测试集对所述AI模型测试时，得到的所述AI模型的性能指标。
14.如权利要求13所述的方法，其特征在于，还包括：
根据所述第一测试结果，确定第一指示信息；
向终端发送所述第一指示信息，所述第一指示信息用于指示参与测试的AI模型中每个AI模型满足或不满足性能要求，或者指示参与测试的AI模型中满足性能要求的AI模型，或者指示参与测试的AI模型中不满足性能要求的AI模型，或者指示终端后续使用的AI模型，或者指示所述终端使用非AI方式执行对应操作。
15.如权利要求10至12中任一项所述的方法，其特征在于，所述测试结果包括第二测试结果，所述第二测试结果用于指示参与测试的AI模型中每个AI模型满足或不满足性能要求；或者指示参与测试的AI模型中满足性能要求的AI模型，或者指示参与测试的AI模型中不满足性能要求的AI模型，或者指示终端后续使用的AI模型，或者指示所述终端使用非AI方式执行后续操作。
16.如权利要求15所述的方法，其特征在于，还包括：
向终端发送第二指示信息，该第二指示信息用于指示所述AI模型的性能要求。
17.如权利要求10至16中任一项所述的方法，其特征在于，还包括：
接收来自所述终端的请求信息，所述请求信息用于请求所述第一信息，或者用于请求对所述AI模型进行测试。
18.如权利要求17所述的方法，其特征在于，所述请求信息中包括参与测试的AI模型的输入格式的指示信息。
19.一种通信装置，其特征在于，包括用于实现权利要求1至9中任一项所述方法的单元。
20.一种通信装置，其特征在于，包括处理器和存储器，所述处理器和存储器耦合，所述处理器用于实现权利要求1至9中任一项所述的方法。
21.一种通信装置，其特征在于，包括用于实现权利要求10至18中任一项所述方法的单元。
22.一种通信装置，其特征在于，包括处理器和存储器，所述处理器和存储器耦合，所述处理器用于实现权利要求10至18中任一项所述的方法。
23.一种通信系统，其特征在于，包括权利要求19或20所述的通信装置，和权利要求21或22所述的通信装置。
24.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，使得计算机执行权利要求1至9中任一项所述的方法，或者权利要求10至18中任一项所述的方法。
25.一种计算机程序产品，其特征在于，包括指令，当所述指令在计算机上运行时，使得计算机执行权利要求1至9中任一项所述的方法，或者权利要求10至18中任一项所述的方法。
CN202111061622.1A 2021-09-10 2021-09-10 一种模型测试方法及装置 Pending CN115827337A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202111061622.1A CN115827337A (zh) 2021-09-10 2021-09-10 一种模型测试方法及装置
PCT/CN2022/117999 WO2023036280A1 (zh) 2021-09-10 2022-09-09 一种模型测试方法及装置
EP22866741.6A EP4386620A1 (en) 2021-09-10 2022-09-09 Model test method and apparatus
US18/598,612 US20240211810A1 (en) 2021-09-10 2024-03-07 Model test method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111061622.1A CN115827337A (zh) 2021-09-10 2021-09-10 一种模型测试方法及装置

Publications (1)

Publication Number Publication Date
CN115827337A true CN115827337A (zh) 2023-03-21

Family

ID=85507189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111061622.1A Pending CN115827337A (zh) 2021-09-10 2021-09-10 一种模型测试方法及装置

Country Status (4)

Country Link
US (1) US20240211810A1 (zh)
EP (1) EP4386620A1 (zh)
CN (1) CN115827337A (zh)
WO (1) WO2023036280A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018018572A1 (zh) * 2016-07-29 2018-02-01 华为技术有限公司 样本数据采集方法、装置及系统
CN109873728B (zh) * 2017-12-01 2022-03-08 腾讯科技（深圳）有限公司 一种终端测试方法、装置和存储介质
CN109634843B (zh) * 2018-10-31 2021-09-21 中国科学院软件研究所 一种面向ai芯片平台的分布式自动化软件测试方法及平台
EP3798934A1 (en) * 2019-09-27 2021-03-31 Siemens Healthcare GmbH Method and system for scalable and decentralized incremental machine learning which protects data privacy
CN111476349A (zh) * 2020-03-19 2020-07-31 平安国际智慧城市科技股份有限公司 一种模型测试方法及服务器
CN111340242B (zh) * 2020-05-15 2020-08-04 支付宝(杭州)信息技术有限公司 保护隐私的模型联合训练方法及装置
CN112306829B (zh) * 2020-10-12 2023-05-09 成都安易迅科技有限公司 性能信息的确定方法及装置、存储介质、终端

Also Published As

Publication number Publication date
US20240211810A1 (en) 2024-06-27
EP4386620A1 (en) 2024-06-19
WO2023036280A1 (zh) 2023-03-16

Similar Documents

Publication Publication Date Title
CN113661727A (zh) 用于无线网络的无线电接入网(ran)节点的神经网络的配置
US20240211770A1 (en) Communication method and apparatus
WO2023143267A1 (zh) 一种模型配置方法及装置
EP4432711A1 (en) Artificial intelligence (ai) model training method and apparatus in wireless network
WO2024164641A1 (zh) 一种csi发送和接收方法及装置
KR20240117116A (ko) 통신 방법 및 통신 장치
KR20240116893A (ko) 무선 통신 시스템에서 통신을 수행하는 방법 및 장치
CN117693021A (zh) 一种波束管理方法
CN115827337A (zh) 一种模型测试方法及装置
WO2024169745A1 (zh) 一种通信方法、装置及系统
US20240313841A1 (en) Calibration method and apparatus
WO2023093777A1 (zh) 一种通信方法及装置
WO2023168589A1 (en) Machine learning models for predictive resource management
WO2024109682A9 (zh) 一种用于定位的方法及装置
WO2024179263A1 (zh) 一种通信方法及装置
WO2024004194A1 (ja) 端末、無線通信方法及び基地局
WO2024027424A1 (zh) 一种数据质量度量方法及装置
WO2024106380A1 (ja) 端末、無線通信方法及び基地局
WO2024106379A1 (ja) 端末、無線通信方法及び基地局
WO2024007248A1 (en) Layer 1 report enhancement for base station aided beam pair prediction
CN118075802A (zh) 一种智能测量方法及装置
KR20240134018A (ko) 모델 구성 방법 및 장치
WO2023147208A1 (en) Interference distribution compression and reconstruction
KR20240099312A (ko) 무선 통신 시스템에서 상향링크 또는 하향링크 송수신을 수행하는 방법 및 장치
CN116419382A (zh) 一种上行预编码方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination