CN117076916A - 模型选择方法、装置及网络侧设备 - Google Patents

Abstract

本申请公开了一种模型选择方法、装置及网络侧设备，属于通信技术领域。本申请实施例的模型选择方法包括：第一网元记录N个候选模型的模型信息，N个候选模型适用于第一分析标识对应的数据分析任务；第一网元从第二网元接收第一模型请求消息；在N个候选模型中的M个候选模型的模型信息与第一模型请求消息对应的模型信息匹配的情况下，第一网元向第二网元发送M个候选模型中的P个候选模型的模型信息；其中，N、M和P均为正整数，且N≥M≥P。

Description

模型选择方法、装置及网络侧设备

技术领域

本申请属于通信技术领域，具体涉及一种模型选择方法、装置及网络侧设备。

背景技术

在通信网络中，一些网元(例如，网络数据分析功能(Network Data AnalyticsFunction，NWDAF)等)可以进行智能化数据分析，并生成一些任务的数据分析结果。该数据分析结果可以辅助网内外设备进行策略决策，从而可以提升设备的策略决策的智能化程度。

其中，NWDAF中的模型训练逻辑功能(Model Training Logical Function，MTLF)可以基于训练数据，进行人工智能(artificial intelligence，AI)/机器语言(machinelanguage，ML)模型训练，从而获取适用于某AI数据分析任务的模型。NWDAF中的分析逻辑功能(Analytics Logical Function，AnLF)可以基于AI/ML模型和推理输入数据，进行模型推理，获得某具体AI数据分析任务的数据分析结果(也可以称为推理结果(analytics))。从而，网内的策略控制功能实体(Policy Control Function，PCF)可以基于该数据分析结果，智能化地执行相应的策略。比如根据用户业务行为分析结果制定智能的用户驻留策略，提升用户的业务体验。或者，接入和移动性管理实体(Access and Mobility ManagementFunction，AMF)基于该数据分析结果，智能化地执行移动性管理操作，比如根据用户的移动轨迹分析结果智能寻呼用户，提升寻呼可达率。

然而，在上述过程中，网内外设备是否能够根据数据分析结果做出正确的策略决策的前提是基于正确的数据分析结果。假如数据分析结果的准确度较低，那么错误信息可能会被提供给网内外设备参考，从而导致网内外设备做出错误的策略决策或执行不合适的操作。因此，如何保证AI/ML模型的数据分析性能(例如准确度)成为一个亟待解决的问题。

发明内容

本申请实施例提供一种模型选择方法、装置及网络侧设备，能够解决现有的AI/ML模型的数据分析性能较差的问题。

第一方面，提供了一种模型选择方法，该方法包括：第一网元记录N个候选模型的模型信息，N个候选模型适用于第一分析标识对应的数据分析任务；第一网元从第二网元接收第一模型请求消息；在N个候选模型中的M个候选模型的模型信息与第一模型请求消息对应的模型信息匹配的情况下，第一网元向第二网元发送M个候选模型中的P个候选模型的模型信息；其中，N、M和P均为正整数，且N≥M≥P。

第二方面，提供了一种模型选择装置，包括：记录模块，用于记录N个候选模型的模型信息，N个候选模型适用于第一分析标识对应的数据分析任务；第一接收模块，用于从第二网元接收第一模型请求消息；第一发送模块，用于在N个候选模型中的M个候选模型的模型信息与第一模型请求消息对应的模型信息匹配的情况下，向第二网元发送M个候选模型中的P个候选模型的模型信息；其中，N、M和P均为正整数，且N≥M≥P。

第三方面，提供了一种网络侧设备，该网络侧设备包括处理器和存储器，存储器存储可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第一方面的方法的步骤。

第四方面，提供了一种网络侧设备，包括处理器及通信接口，其中，处理器用于记录N个候选模型的模型信息，N个候选模型适用于第一分析标识对应的数据分析任务，通信接口用于从第二网元接收第一模型请求消息，并在N个候选模型中的M个候选模型的模型信息与第一模型请求消息对应的模型信息匹配的情况下，向第二网元发送M个候选模型中的P个候选模型的模型信息；其中，N、M和P均为正整数，且N≥M≥P。

第五方面，提供了一种可读存储介质，可读存储介质上存储程序或指令，程序或指令被处理器执行时实现如第一方面的模型选择方法的步骤

第六方面，提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现如第一方面的模型选择方法。

第七方面，提供了一种计算机程序/程序产品，计算机程序/程序产品被存储在存储介质中，计算机程序/程序产品被至少一个处理器执行以实现如第一方面的模型选择方法的步骤。

在本申请实施例中，第一网元可以记录N个候选模型的模型信息，N个候选模型适用于第一分析标识对应的数据分析任务；并从第二网元接收第一模型请求消息；以及在N个候选模型中的M个候选模型的模型信息与第一模型请求消息对应的模型信息匹配的情况下，第一网元向第二网元发送M个候选模型中的P个候选模型的模型信息；其中，N、M和P均为正整数，且N≥M≥P。通过该方案，由于第一网元可以记录适用于一种数据分析任务的候选模型的模型信息，因此在第一网元接收到第一模型请求消息之后，可以确定记录的候选模型的模型信息是否与第一模型请求消息对应的模型信息匹配，从而确定符合第一模型请求消息的最佳模型或符合性能要求的模型。如此可以保证模型在进行数据分析的性能。

附图说明

图1是本申请实施例提供的无线通信系统的框图；

图2是本申请实施例提供的模型选择方法的流程图示意图；

图3是本申请实施例提供的模型选择方法的应用流程示意图之一；

图4是本申请实施例提供的模型选择方法的应用流程示意图之二；

图5是本申请实施例提供的模型选择装置的结构示意图；

图6是本申请实施例提供的网络侧设备的结构示意图；

图7是本申请实施例提供的网络侧设备的硬件示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”所区别的对象通常为一类，并不限定对象的个数，例如第一模型可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”一般表示前后关联对象是一种“或”的关系。

值得指出的是，本申请实施例所描述的技术不限于长期演进型(Long TermEvolution，LTE)/LTE的演进(LTE-Advanced，LTE-A)系统，还可用于其他无线通信系统，诸如码分多址(Code Division Multiple Access，CDMA)、时分多址(Time DivisionMultiple Access，TDMA)、频分多址(Frequency Division Multiple Access，FDMA)、正交频分多址(Orthogonal Frequency Division Multiple Access，OFDMA)、单载波频分多址(Single-carrier Frequency Division Multiple Access，SC-FDMA)和其他系统。本申请实施例中的术语“系统”和“网络”常被可互换地使用，所描述的技术既可用于以上提及的系统和无线电技术，也可用于其他系统和无线电技术。以下描述出于示例目的描述了5G系统，并且在以下大部分描述中使用5G术语，但是这些技术也可应用于5G系统应用以外的应用，如第6代(6th Generation，6G)通信系统。

图1示出本申请实施例可应用的一种无线通信系统的框图。无线通信系统包括终端11和网络侧设备12。其中，终端也可以称为用户设备(user equipment，UE)，终端11可以是手机、平板电脑(Tablet Personal Computer)、膝上型电脑(Laptop Computer)或称为笔记本电脑、个人数字助理(Personal Digital Assistant，PDA)、掌上电脑、上网本、超级移动个人计算机(ultra-mobile personal computer，UMPC)、移动上网装置(MobileInternet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、机器人、可穿戴式设备(Wearable Device)、车载设备(VUE)、行人终端(PUE)、智能家居(具有无线通信功能的家居设备，如冰箱、电视、洗衣机或者家具等)、游戏机、个人计算机(personal computer，PC)、柜员机或者自助机等终端侧设备，可穿戴式设备包括：智能手表、智能手环、智能耳机、智能眼镜、智能首饰(智能手镯、智能手链、智能戒指、智能项链、智能脚镯、智能脚链等)、智能腕带、智能服装等。需要说明的是，在本申请实施例并不限定终端11的具体类型。网络侧设备12可以包括接入网设备或核心网设备，其中，接入网设备12也可以称为无线接入网设备、无线接入网(Radio Access Network,RAN)、无线接入网功能或无线接入网单元。接入网设备12可以包括基站、WLAN接入点或WiFi节点等，基站可被称为节点B、演进节点B(eNB)、接入点、基收发机站(Base Transceiver Station，BTS)、无线电基站、无线电收发机、基本服务集(Basic Service Set，BSS)、扩展服务集(Extended ServiceSet，ESS)、家用B节点、家用演进型B节点、发送接收点(Transmitting Receiving Point，TRP)或所述领域中其他某个合适的术语，只要达到相同的技术效果，所述基站不限于特定技术词汇，需要说明的是，在本申请实施例中仅以NR系统中的基站为例进行介绍，并不限定基站的具体类型。核心网设备可以包含但不限于如下至少一项：核心网节点、核心网功能、数据网络分析功能(Network Data Analytics Function，NWDAF)、分析数据存储功能(analytics data storage function，ADRF)、移动管理实体(Mobility ManagementEntity，MME)、接入移动管理功能(Access and Mobility Management Function，AMF)、会话管理功能(Session Management Function，SMF)、用户平面功能(User Plane Function，UPF)、策略控制功能(Policy Control Function，PCF)、策略与计费规则功能单元(Policyand Charging Rules Function，PCRF)、边缘应用服务发现功能(Edge ApplicationServer Discovery Function，EASDF)、统一数据管理(Unified Data Management，UDM)，统一数据仓储(Unified Data Repository，UDR)、归属用户服务器(Home SubscriberServer，HSS)、集中式网络配置(Centralized network configuration，CNC)、网络存储功能(Network Repository Function，NRF)，网络开放功能(Network Exposure Function，NEF)、本地NEF(Local NEF，或L-NEF)、绑定支持功能(Binding Support Function，BSF)、应用功能(Application Function，AF)等。需要说明的是，在本申请实施例中仅以5G系统中的核心网设备为例进行介绍，并不限定核心网设备的具体类型。

本申请实施例中，MTLF和AnLF可以分别作为独立的网元，或者作为NWDAF内部的逻辑功能模块。MTLF和AnLF可以部署在同一个NWDAF中，或者独立部署在不同的NWDAF中，又或者部署在NWDAF之外。

下面结合附图，通过一些实施例及其应用场景对本申请实施例提供的模型选择方法进行详细地说明。

如图2所示，本申请实施例提供一种模型选择方法，该方法包括下述的步骤201-步骤203。

步骤201、第一网元记录N个候选模型的模型信息。

其中，上述N个候选模型可以适用于第一分析标识(analytic ID)对应的数据分析任务。数据分析任务也可以称为推理任务。

需要说明的是，分析标识(analytic ID)可以用于标识一种数据分析任务，其本身是一种类型，也即分析标识可以用于指示一种数据分析任务类型。可以理解，上述第一分析标识对应的数据分析任务可以为第一分析标识所标识的数据分析任务。

示例性地，假设analytic ID为UE移动性(mobility)，那么该analytic ID标识的数据分析任务为预测UE的移动轨迹；假设analytic ID为UE通信(communication)，那么该analytic ID标识的数据分析任务为预测UE的通信性能和行为。

可选地，本申请实施例中，上述第一网元可以包括MTLF或分析数据存储功能(analytics data storage function，ADRF)。

在一些实施例中，MTLF记录的N个候选模型的模型信息可以为MTLF自身确定的模型信息，ADRF记录的N个候选模型的模型信息可以为从MTLF获取的模型信息。

可选地，本申请实施例中，上述N个候选模型可以为多个不同的模型，也可以为一个模型经过多次训练或重新训练后得到的不同模型。具体可以根据实际使用需求确定，本申请实施例不作限定。

可选地，本申请实施例中，候选模型的模型信息可以包括以下至少一项。

a.候选模型的模型标识(model identifier，model ID)，候选模型的标识用于唯一的标识候选模型。

b.候选模型的模型文件信息，候选模型的模型文件信息中可以保存候选模型的网络结构、权重参数、输入输出数据等任意与候选模型相关的信息。

c.候选模型的下载地址信息，候选模型的下载地址信息用于指示候选模型的模型文件的存储地址，即该下载地址信息用于指示候选模型的模型文件的下载地址，比如当候选模型存储在ADRF中时，该下载地址信息可以为ADRF的地址信息。

d.候选模型的分析标识，候选模型的分析标识用于标识候选模型所适用的数据分析任务。例如第一分析标识。

e.候选模型的使用范围(usage scope)信息，该使用范围信息可以指示以下至少一项：使用区域范围、使用时间范围、使用对象范围。

其中，使用对象可以包括一个UE，或多个UE，或者任何UE。具体可以根据实际使用需求确定，本申请实施例不作限定。其中，UE可以通过UE ID、UE地址信息，UE group ID等进行标识。

f.候选模型的模型性能信息。

本申请实施例中，模型性能信息可以用于表征模型的输出结果(即预测值或统计值)与真实值之间相同一致或匹配的程度。其中，匹配是指预测值(或统计值)与真实值之间的偏差在预设范围内。

在一种方式中，匹配程度可以通过一次或多次的比较结果获取，例如，通过多次比较预测值和真实值，获取匹配程度；在另一种方式中，匹配程度可以为预测值和真实值一致或匹配的次数与预测总次数的比值。

可选地，本申请实施例中，模型性能信息指示的性能包括模型准确度(accuracy)、模型平均绝对误差(mean absolute error，MAE)中的至少一项。当然，实际实现时，模型性能信息还可以包括其它能够反映模型的性能的信息，具体根据实际使用需求确定。

需要说明的是，模型性能信息指示的性能可以通过数值、等级，百分比等任意可能的形式表示。例如，当模型性能指示信息指示的性能包括模型准确度时，该模型准确度可以通过准确数值表示。

本申请实施例中，由于候选模型的模型信息可以反映候选模型在实际使用过程中的性能表现以及其对应的使用范围，因此其它网元(例如本申请实施例中的第二网元)请求模型时，第一网元可以根据这些信息确定与其所发送的模型请求消息(例如本申请实施例中的第一模型请求消息)匹配的最佳模型。比如，在模型信息包括使用范围信息的情况下，第一网元可以针对不同的使用范围提供不同的模型，从而可以提升模型在网络中进行数据分析的性能。在模型信息包括模型性能信息的情况下，第一网元可以根据所请求的模型性能要求，选择符合条件的模型，从而可以提升模型在网络中进行数据分析的性能。

需要说明的是，上述实际使用过程可以包括实际使用与在网络中进行数据推理(或数据分析)的过程。

步骤202、第一网元从第二网元接收第一模型请求消息。

可选的，本申请实施例中，第二网元可以包括AnLF或MTLF。

本申请实施例中，第一网元为MTLF，第二网元为AnLF；或者，第一网元为ADRF，第二网元为AnLF或MTLF；又或者，第一网元为MTLF1，第二网元为MTLF2。其中，MTLF 1和MTLF 2可以为不同的MTLF。

需要说明的是，本申请实施例是以第一网元为MTLF，第二网元为AnLF为例进行示例性描述的。

可选地，本申请实施例中，上述第一模型请求消息可以包括以下至少一项。

A.第二分析标识，第二分析标识可以用于标识请求的模型所适用的数据分析任务。例如第二分析标识为UE移动性(mobility)，那么请求的模型所使用的数据分析任务为：预测用户移动轨迹。

B.模型过滤信息，模型过滤信息可以用于指示请求的模型需要满足的条件。例如感兴趣区域(area of interest，AOI)、单一网络切片选择辅助信息(single networkslice selection assistance information，S-NSSAI)、数据网络名(data network name，DNN)等。

C.模型对象信息，模型对象信息可以用于指示请求的模型的训练对象。其中，该训练对象可以为一个UE，多个UE或任意UE。

D.模型上报信息，模型上报信息可以包括请求的模型的上报方式、适用时间或上报时间中的至少一项。其中，模型上报方式可以包括周期性上报或条件上报。当然，实际实现时，模型上报信息还可以包括其它任意可能的信息，本申请实施例不做具体限定。

E.模型性能要求信息，模型性能要求信息可以用于指示请求的模型需要满足的性能，例如模型需要达到的最低准确度、最大MAE等。

步骤203、在N个候选模型中的M个候选模型的模型信息与第一模型请求消息对应的模型信息匹配的情况下，第一网元向第二网元发送M个候选模型中的P个候选模型的模型信息。

其中，N、M和P均为正整数，且N≥M≥P。

可以理解，上述P个候选模型可以为M个候选模型，也可以为M个候选模型中的部分候选模型。

本申请实施例中，在第一网元接收到上述第一模型请求消息之后，第一网元可以从上述N个候选模型中确定模型信息与第一模型请求消息对应的模型信息匹配的候选模型，比如上述M个候选模型。在该M个候选模型确定之后，第一网元可以将该M个候选模型中的部分模型或全部模型(即上述P个候选模型)的模型信息发送给第二网元。从而使得第二网元可以基于该P个候选模型进行第一分析标识对应的数据分析任务，得到相应的数据分析结果。

可选地，本申请实施例中，上述M个候选模型的模型信息与第一模型请求消息对应的模型信息匹配可以包括以下至少一项。

(1)第一分析标识与第二分析标识相同。可以理解，在第一分析标识与第二分析标识相同的情况下，第一分析标识对应的数据分析任务与第二分析标识对应的数据分析任务相同。

(2)M个候选模型的模型使用范围信息中包含的使用区域范围与上述第一模型请求消息中包含的模型过滤信息匹配。例如，M个候选模型的模型使用范围信息中包含的S-NSSAI，感兴趣区域，DNN与上述模型过滤信息中的S-NSSAI，感兴趣区域或DNN相同，或者M个候选模型的模型使用范围信息中包含的S-NSSAI，感兴趣区域或DNN包含上述模型过滤信息中的S-NSSAI，感兴趣区域或DNN。其中，M个候选模型的模型使用范围信息可以包括多个DNN，即该模型使用范围信息可以对应一个DNN列表(list)，那么模型过滤信息中的中的DNN可以为该DNN list中的DNN。

(3)M个候选模型的模型使用范围信息中包含的使用对象范围与上述第一模型请求消息中包含的模型对象信息匹配。例如，M个候选模型的模型使用范围信息中包含的使用对象范围可以包括多个对象(例如多个UE)，即该使用对象范围可以对应一个对象list，那么该模型对象信息指示的对象可以为该对象list中的对象。

(4)M个候选模型的模型使用范围信息中包含的使用时间范围与上述第一模型请求消息中包含的模型上报信息匹配。例如，该M个候选模型的模型使用范围信息中包含的使用时间范围与上述模型上报信息对应的模型的适用时间相同，或上述模型上报信息对应的模型的适用时间包含于该使用时间范围之内等。

(5)M个候选模型的模型性能信息满足上述第一模型请求消息中包含的模型性能要求信息指示的性能。例如，该M个候选模型的模型性能信息对应的模型的性能高于上述模型性能要求信息指示的性能。

可选地，本申请实施例中，在第一网元为MTLF，第二网元为AnLF的情况下，AnLF与MTLF通过Nnwdaf_MLModelProvision_Subscribe和Nnwdaf_MLModelProvision_Notify请求并获取模型信息；或者AnLF与MTLF通过Nnwdaf_MLModelInfo_Request消息和Nnwdaf_MLModelInfo_Response消息请求并获取模型信息。

可选地，在第一网元为ADRF，第二网元为AnLF的情况下，AnLF与ADRF通过Nadrf_DataManagement_RetrievalRequest消息和Nadrf_DataManagement_RetrievalResponse消息请求并获取模型信息；或AnLF与ADRF通过Nadrf_DataManagement_RetrievalSubscribe和Nadrf_DataManagement_RetrievalNotify请求并获取模型信息。

本申请实施例中，由于第一网元可以记录适用于一种数据分析任务的候选模型的模型信息，因此在第一网元接收到第一模型请求消息之后，可以确定记录的候选模型的模型信息是否与第二网元发送的第一模型请求消息对应的模型信息匹配，从而确定符合第一模型请求消息的最佳模型或符合性能要求的模型。如此可以保证模型在进行数据分析的性能。

可选地在上述步骤201之前，本申请实施例提供的模型选择方法还可以包括下述的步骤204。

步骤204、第一网元根据K个模型的模型性能信息，从K个模型中确定满足预设条件的N个候选模型。

其中，上述K个模型可以适用于上述第一分析标识对应的数据分析任务，K为正整数。上述预设条件可以包括以下任意一项：

模型性能信息指示的性能为上述K个模型中最高的；

模型性能信息指示的性能高于第一预设性能。

需要说明的是，模型性能信息指示的性能可以通过数值、等级，百分比等任意可能的形式表示。例如，当模型性能指示信息指示的性能包括模型准确度时，该模型准确度可以通过准确数值表示。可以理解，上述第一预设性能也可以为一个数值、等级或者百分比。

可选地，本申请实施例中，上述K个模型可以包括适用于第一分析标识对应的数据分析任务的多个候选模型，或者，该K个模型可以包括根据第一分析标识对应的数据分析任务进行多次训练之后得到的多个模型。

可选地，本申请实施例中，在上述K个模型包括根据第一分析标识对应的数据分析任务进行多次训练之后得到的多个模型的情况下，本申请实施例提供的模型选择方法还可以包括下述的步骤205和步骤206。

步骤205、在第一网元向第四网元发送的第一模型的性能低于第二预设性能的情况下，第一网元根据第一模型的使用范围信息，对第一模型进行重新训练或进行模型重选，得到第二模型。

其中，上述第二模型为K个模型中的模型。上述第四网元可以为AnLF，例如第四网元可以为AnLF 1。

可选地，本申请实施例中，上述第四网元可以与第二网元相同。也就是说，获取第一模型的模型请求消息与上述第一模型请求消息为同一个网元发送的，例如均为ANLF1发送的。例如，在ANLF1因故障丢失最佳模型后，可以向MTLF或ADRF发送模型请求消息，以重新获取最佳模型。

可选地，本申请实施例中，上述第一模型的使用范围信息可以为从第四网元获取的。

本申请实施例中，上述第一网元根据第一模型的使用范围信息，对第一模型进行重新训练是指：针对第一模型的使用范围，对第一模型重新进行模型训练。具体地，以第一网元为MTLF为例，第四网元为AnLF 1为例，MTLF采集第一模型的使用范围所对应的标签数据作为训练数据集，并基于该训练数据集重新训练模型。该训练数据集中的训练数据可以包括从数据提供者(data provider)获取的标签数据，MTLF从AnLF 1获取的标签数据。可以理解，MTLF使用的训练数据中包含标签数据。

基于上述对第一模型进行重新训练，第一网元可以根据第一模型在现网中的性能表现，更新迭代该第一模型，并记录每次模型的性能表现，寻找并记录对应于第一模型的使用范围信息的最佳模型或最合适模型。后续，当其它网元(例如上述第四网元或第五网元)请求获取模型时，第一网元以可根据其所请求的模型的使用范围提供最佳模型或最合适模型。

上述模型重选是指：在第一网元向第四网元发送第一模型的模型信息之后，针对该第四网元的模型请求消息(例如本申请实施例中的第二模型请求消息)，存在多个候选模型(包括已经发送的第一模型)可供选择的情况下，若第一模型的性能低于第二预设性能，第一网元可以从该多个候选模型中重新选择另一个候选模型(例如第二模型)发送给第四网元。

基于上述模型重选，第一网元可以获取并记录上述多个模型在实际使用过程中的性能表现以及其对应的使用范围。后续，当其它网元(例如与第四网元或第五网元)请求获取模型时，第一网元以可根据其所请求的模型的使用范围提供最佳模型或最合适模型。

步骤206、第一网元向第四网元或第五网元发送第二模型的模型信息。

可选地，本申请实施例中，上述第五网元可以为AnLF。可以理解，第五网元与上述第四网元为不同的AnLF，例如第四网元为AnLF 1，第五网元为AnLF 2。

可选地，本申请实施例中，上述第一网元向第四网元发送第二模型的模型信息可以包括两种可能的实现方式：一种方式，在第一网元得到第二模型之后，第一网元主动向第四网元推送第二模型的模型信息；另一种方式，在第一网元得到第二模型之后，第一网元接收到第四网元的再次发送模型请求消息(例如第三模型请求消息)，第一网元可以向第四网元发送该第二模型的模型信息。可选地，该第三模型请求消息对应的请求的模型使用范围与第二模型的使用范围相同。

本申请实施例中，若上述第二模型为对第一模型重新训练得到的模型，并且所述第二模型更新取代了第一模型，则该第二模型的模型标识与第一模型的模型标识(如modelID1)相同；若第二模型为进行模型重选得到的模型，或者第二模型为基于对第一模型重新训练得到的新模型(并未取代第一模型)，则第二模型的模型标识对应新的模型标识(如model ID2)，该新的模型标识可以与第一模型的模型标识不同。

可选地，本申请实施例提供的模型选择方法还可以包括下述的步骤207。

步骤207、第一网元向第四网元或第五网元发送第二模型的使用范围信息。

其中，第二模型的使用范围信息指示的使用范围与第一模型的使用范围信息指示的使用范围相同，或者第二模型的使用范围信息指示的使用范围根据第一模型的使用范围信息指示的使用范围确定。

需要说明的是，上述第二模型的使用范围信息根据第一模型的使用范围信息确定可以理解为：第二模型的使用范围信息指示的使用范围包含第一模型的使用范围信息指示的使用范围，或者第二模型的使用范围信息指示的使用范围与第一模型的使用范围信息指示的使用范围存在交集。其中，该使用范围可以包括使用时间范围、使用对象范围以及使用区域范围中的至少一项。

本申请实施例中，在第一网元向第四网元发送上述第二模型的情况下，第一网元可以向第四网元发送第二模型的使用范围信息；在第一网元向第五网元发送第二模型的情况下，第一网元可以向第五网元发送第二模型的使用范围信息。

本申请实施例中，在第一网元获取到第一模型的模型性能信息之后，第一模型可以根据该第一模型的模型性能信息，确定第一模型的性能是否低于上述第二预设性能，从而可以确定是否对第一模型进行重新训练。基于此，本申请实施例提供的模型选择方法还可以包括下述的步骤208、步骤209或步骤210中的任意一项。

步骤208、第一网元计算第一模型的模型性能信息。

其中，上述第一模型的模型性能信息用于指示第一模型的性能。

以第一网元为MTLF为例，由MTLF根据第一模型的使用范围信息，获取对应的验证数据集(其中，包括标签数据、ground truth等)，并基于该验证数据集和自身执行第一模型的数据分析输出结果，计算第一模型的输出结果性能，例如计算第一模型的输出结果准确度，从而得到第一模型的模型性能信息。

可选地，本申请实施例中，基于上述步骤208，第一网元可以记录第一模型的使用范围信息。其中，该使用范围信息指示的是使用第一模型进行数据任务分析或者模型性能测算的范围，包括第一模型的使用区域范围，第一模型的使用时间范围，第一模型的使用对象范围等。

步骤209、第一网元从第四网元接收第一模型的模型性能信息。

以第四网元为AnLF为例，由AnLF根据第一模型的使用范围信息，获取对应的验证数据集(其中包括标签数据、ground truth等)，并基于该验证数据集和第一模型的数据分析输出结果集，计算第一模型的输出结果性能，例如计算第一模型的输出结果准确度，从而得到第一模型的模型性能信息，并将该第一模型的模型性能信息发送给第一网元，例如MTLF。

可选地，本申请实施例中，基于上述步骤209，第四网元可以向第一网元发送第一模型的使用范围信息，从而第一网元可以从第四网元接收第一模型的使用范围信息。其中，对于第一模型的使用范围信息具体可以参见上述实施例中的相关描述，为避免重复，此处不再赘述。

可选地，本申请实施例中，第四网元可以包括多个网元。基于此，该多个网元可以共同使用相同的第一模型，并在相同或存在交集的使用范围内使用该第一模型。且该多个网元可以分别上报第一模型的模型性能信息，例如第一模型的输出结果准确度(即模型准确度)。

步骤210、第一网元从数据分析消费者接收第一模型的模型性能信息。

可选地，本申请实施例中，上述数据分析消费者可以为PCF，AMF等其它任意可能的数据分析消费者。具体可以根据实际使用需求确定，本申请实施例不作限定。

本申请实施例中，由数据分析消费者根据从第四网元(例如AnLF)获取的第一模型的数据分析结果，以及该模型数据分析结果被数据分析消费者使用的范围，获取对应的验证数据集(其中包括标签数据、ground truth等)，并基于该验证数据集和该第一模型的数据分析结果，计算第一模型的输出结果性能，例如第一模型的输出结果准确度，从而可以得到该第一模型的模型性能信息，并将该第一模型的模型性能信息发送给第一网元，例如MTLF。其中，数据分析消费者可以直接将该第一模型的模型性能信息发送给第一网元，也可以通过第四网元将该第一模型的模型性能信息发送给第一网元。

可选地，本申请实施例中，上述数据分析消费者可以为多个，即多个使用上述数据分析结果的数据分析消费者。该多个数据分析消费者可以共同计算并上报上述第一模型的模型性能信息，例如第一模型的输出结果准确度(即模型准确度)。

可选地，本申请实施例中，基于上述步骤210，数据分析消费者可以向第一网元发送第一模型的使用范围信息，从而第一网元可以从数据分析消费者接收第一模型的使用范围信息。其中，数据分析消费者可以直接将该第一模型的使用范围信息发送给第一网元，也可以通过第四网元将该第一模型的使用范围信息发送给第一网元。对于第一模型的使用范围信息具体可以参见上述实施例中的相关描述，为避免重复，此处不再赘述。

需要说明的是，本申请实施例中，对于上述K个模型包括适用于上述第一分析标识对应的数据分析任务的多个候选模型的场景，第一网元可以通过上述步骤208、步骤209或步骤210的方式，获取该多个候选模型的模型性能信息。

可选地，本申请实施例中，在上述步骤205之前，本申请实施例提供的模型选择方法还可以包括下述的步骤211和步骤212。

步骤211、第一网元接收第四网元的第二模型请求消息。

步骤212、第一网元根据第二模型请求消息，向第四网元发送第一模型的模型信息。

其中，上述第一模型可以包括一个模型或多个模型。对于第二模型请求消息的描述具体可以参见上述实施例中对第一模型请求消息的详细描述，此处不再赘述。

可选地，本申请实施例中，在上述第一模型包括多个模型的情况下，在上述步骤212之前，本申请实施例提供的模型选择方法还可以包括下述的步骤213或步骤214。

步骤213、第一网元确定第四网元是否支持获取多个模型。

步骤214、第一网元确定第四网元的模型使用能力。

本申请实施例中，如果存在与第二模型请消息对应的模型信息匹配的多个模型，那么第一网元可以确定第四网元是否支持获取多个模型或者确定第四网元的模型使用能力，以确定第四网元是否支持使用多个模型，如果第四网元可以支持使用多个模型，那么第一网元将该多个模型的模型信息均发送给第四网元，否则第一网元仅向第四网元发送该多个模型中的一个模型，即第一网元不同时将该多个模型的模型信息发送给第四网元。

可选地，本申请实施例中，上述第一网元为ADRF的情况下，本申请实施例提供的模型选择方法还可以包括下述的步骤215。

步骤215、第一网元从第三网元获取N个候选模型的模型信息。

本申请实施例中，上述第三网元可以为MTLF。如此，在ADRF记录上述N个候选模型的模型信息之前，ADRF可以先从MTLF获取该N个候选模型的模型信息。

可以理解，在第一网元为MTLF的情况下，MTLF可以先自身获取上述N个候选模型的模型信息，再记录该N个候选模型的模型信息。

可选地，本申请实施例中，在上述步骤201(第一网元记录N个候选模型的模型信息)之前，本申请实施例提供的模型选择方法还可以包括下述的步骤216。

步骤216、第一网元获取N个候选模型中每个候选模型的使用范围信息和/或模型性能信息。

本申请实施例中，在第一网元记录上述N个候选模型的模型信息之前，第一网元先获取该N个候选模型中的每个候选模型的使用范围信息和/或模型性能信息，从而可以对应记录该N个候选模型的模型信息。

可以理解，在该方式中，第一网元不对该N个候选模型进行筛选，仅记录该N个候选模型对应的信息(包括使用范围信息、模型性能信息等)。之后接收到其它网元发送的模型请求消息后，可以根据这些信息，选择合适的模型发送给该网元。

可选地，本申请实施例中，上述步骤216具体可以通过下述的步骤216a、步骤216b或步骤216c实现。

步骤216a、第一网元确定N个候选模型中每个候选模型的使用范围信息和/或计算N个候选模型中每个候选模型的模型性能信息。

步骤216b、第一网元从第七网元接收N个候选模型中每个候选模型的使用范围信息和/或模型性能信息。

其中，上述第七网元可以包括一个网元或多个网元。第七网元可以为AnLF。

可选地，该第七网元可以与上述实施例中的第二网元相同，也可以不同。具体可以根据实际使用需求确定，本申请实施例不作限定。

步骤216c、第一网元从数据分析消费者接收N个候选模型中每个候选模型的使用范围信息和/或模型性能信息。

需要说明的是，对于第一网元获取N个候选模型中每个候选模型的使用范围信息和/或模型性能信息的相关描述，具体可以参见上述实施例中第一网元获取第一模型的使用范围信息和/或模型性能信息的详细描述，为避免重复，此处不再赘述。

可选地，本申请实施例中，在上述第一网元为MTLF的情况下，在上述步骤201(第一网元记录N个候选模型的模型信息)之后，本申请实施例提供的模型选择方法还可以包括下述的步骤217。

步骤217、第一网元将N个候选模型的模型信息存储至第六网元。

其中，上述第六网元可以包括ADRF或统一数据存储库(unified datarepository，UDR)。

可选地，本申请实施例中，基于上述步骤217，上述步骤203具体可以通过下述的步骤203a实现。

步骤203a、第一网元向第二网元发送第一信息，该第一信息用于指示P个候选模型的模型信息存储在第六网元中。

其中，上述第一信息可以包括第六网元的标识信息、全限定域名(fullyqualified domain name，FQDN)、地址信息中的至少一项。当然，该第一信息还可以包括第六网元对应的其它信息，具体可以根据实际使用需求确定，本申请实施例不作限定。

可以理解，第六网元的标识信息、FQDN、或地址信息中的至少一项可以作为P个候选模型的下载地址信息，以使第二网元可以根据第六网元的标识信息、FQDN、或地址信息中的至少一项，下载该P个候选模型的模型信息。

本申请实施例中，在MTLF将上述N个候选模型的模型信息存储至第六网元之后，如果第二网元向第一网元发送上述第一模型请求消息，那么在该N个候选模型中的M个候选模型的模型信息与该第一模型请求消息对应的模型信息匹配的情况下，第一网元可以向第二网元发送上述第一信息。从而在第二网元接收到该第一信息之后，第二网元可以从该第六网元下载上述P个候选模型的模型信息。

可选地，本申请实施例中，在第一网元将上述N个候选模型的模型信息存储至第六网元之后，第八网元可以直接向第六网元发送模型请求消息，以从第六网元获取模型的模型信息。其中，该第八网元可以被配置为从第六网元获取模型的模型信息，该第八网元可以为AnLF，例如AnLF 3。

下面再结合附图，对本申请实施例提供的模型选择方法进行示例性地说明。

实施例一

如图3所示，在步骤1a中，AnLF1可以向MTLF发送模型请求消息(例如请求(request)1)，该模型请求消息可以包括分析标识(analytic ID)，模型过滤信息(modelfilter information 1)等。

在步骤1b中，MTLF可以向AnLF1提供ML模型(例如适用于AI任务1的模型)的模型信息，该模型信息可以为初始模型(initial model)，模型标识为model ID1。

在步骤2中，MTLF/AnLF 1/数据分析消费者对步骤1b中的ML模型进行性能测算/评估(analytics performance evaluation)。其中，记录模型的模型标识、模型适用的数据分析任务、模型使用范围。如果是AnLF 1/数据分析消费者对该模型进行性能测算，那么向MTLF上报该模型性能信息，并上报该模型的使用范围信息。

在步骤3中，如果上述ML模型的性能低于预设性能，MTLF根据上述模型使用范围重新选择或重新训练一个新的ML模型。该新的ML模型可以为一个不同于初始模型的模型，或者是初始模型更新后的模型。

在步骤4a中(可选地)，AnLF 1向MTLF发送模型请求消息(例如request 2)。

在步骤4b中，MTLF向AnLF 1发送该新的ML模型的模型信息。该模型信息可以包括模型标识，模型使用范围(model usage scope)。如果该新的ML模型为一个不同于初始模型的模型，那么模型标识可以为model ID2；如果是初始模型更新后的模型，那么模型标识可以为model ID1。

在步骤5中，MTLF/AnLF 1/数据分析消费者对步骤4b中的新的ML模型进行性能测算/评估。具体可以参见上述步骤2中的描述。

在步骤6中，MTLF根据上述步骤2-5所获取的多个模型对应的模型性能信息，确定目标模型。该目标模型可以为该多个模型中性能最高的/最好的，或者目标模型可以为性能该多个模型中高于/优于预设性能的。目标模型可以为一个或多个。

在步骤7中，AnLF2向MTLF发送模型请求消息(例如request 3)，用于请求analyticID对应的模型，该analytic ID可以与步骤1a中的analytic ID相同。该模型请求消息包括模型过滤信息(例如model filter information 2)等。

在步骤8中，MTLF判断步骤7中的模型请求消息对应的模型信息是否与目标模型的模型信息匹配，如果匹配，执行下述的步骤9。

在步骤9中，MTLF将目标模型的模型信息发送给AnLF2。

实施例二

仍然结合图3，与实施例一不同的是，在步骤1b中，若针对AnLF1发送的模型请求消息，MTLF存在满足要求的多个候选模型，则MTLF可同时下发该多个候选模型给AnLF1。可选地，下发模型之前，MTLF需要先确定AnLF支持多个模型获取或使用能力，若不支持，则MTLF并不同时发送多个候选模型给AnLF。

步骤2中，可利用实施例一的步骤2类似地方法，对该多个候选模型进行性能测算。

实施例三

如图4所示，与实施例一、实施例二不同的是，在步骤6b中，MTLF将获取的目标模型的模型信息存储到数据库或统一数据平台(如ADRF，UDR等)上。

在步骤7中，AnLF2是向数据库或统一数据平台发送模型获取请求消息。

在步骤8中，数据库或统一数据平台判断步骤7中的模型请求消息对应的模型信息是否与目标模型的模型信息匹配，如果匹配，执行下述的步骤9。

其中，上述步骤8的匹配方法可以与实施例一中的步骤8的匹配方法类似。

在步骤9中，数据库或统一数据平台将目标模型的模型信息发送给AnLF2。

需要说明的是，实施例二和实施例三中未描述的步骤，可以参考实施例一中的相关描述，为避免重复，此处不予赘述。

实施例四

步骤1-6与上述实施例一中的步骤1-6相同。

在步骤6a中，MTLF将目标模型(即本申请实施例中的候选模型)的模型信息存储至ADRF中，并记录对应的ADRF信息(例如ADRF的标识信息、ADRF的地址信息等)。

步骤7-8与上述实施例一中的步骤7-8相同。

在步骤9中，MTLF将匹配的目标模型存储的ADRF信息发送给AnLF2，从而AnLF2可以从ADRF获取目标模型的模型信息。

本申请实施例提供的模型选择方法，执行主体可以为模型选择装置。本申请实施例中以模型选择装置执行模型选择方法为例，说明本申请实施例提供的模型选择装置。

如图5所示，本申请实施例提供一种模型选择装置300，该模型选择装置300包括记录模块301、第一接收模块302和第一发送模块303。记录模块301，用于记录N个候选模型的模型信息，N个候选模型适用于第一分析标识对应的数据分析任务；第一接收模块302，用于从第二网元接收第一模型请求消息；第一发送模块303，用于在N个候选模型中的M个候选模型的模型信息与第一模型请求消息对应的模型信息匹配的情况下，向第二网元发送M个候选模型中的P个候选模型的模型信息；其中，N、M和P均为正整数，且N≥M≥P。

可选地，本申请实施例中，模型选择装置还包括：确定模块，用于根据K个模型的模型性能信息，从K个模型中确定满足预设条件的N个候选模型，K个模型适用于第一分析标识对应的数据分析任务，K为正整数；其中，预设条件包括以下任意一项：模型性能信息指示的性能为K个模型中最高的；模型性能信息指示的性能高于第一预设性能。

可选地，本申请实施例中，模型选择装置还包括：第一获取模块，用于从第三网元获取N个候选模型的模型信息。

可选地，本申请实施例中，候选模型的模型信息包括以下至少一项：

候选模型的模型标识；

候选模型的模型文件信息；

候选模型的下载地址信息，下载地址信息用于指示候选模型的模型文件的存储地址；

候选模型的分析标识，分析标识用于标识候选模型所适用的数据分析任务；

候选模型的使用范围信息；

候选模型的模型性能信息。

可选地，本申请实施例中，使用范围信息指示以下至少一项：

使用区域范围；

使用时间范围；

使用对象范围。

可选地，本申请实施例中，模型性能信息指示的性能包括模型准确度、模型平均绝对误差中的至少一项。

可选地，本申请实施例中，模型选择装置还包括：第二获取模块，用于获取N个候选模型中每个候选模型的使用范围信息和/或模型性能信息。

可选地，本申请实施例中，第二获取模块，具体用于确定每个候选模型的使用范围信息和/或计算每个候选模型的模型性能信息；或者，第二获取模块，具体用于从第七网元接收每个候选模型的使用范围信息和/或模型性能信息；或者，第二获取模块，具体用于从数据分析消费者接收每个候选模型的使用范围信息和/或模型性能信息。

可选地，本申请实施例中，第一模型请求消息包括以下至少一项：

第二分析标识，第二分析标识用于标识请求的模型所适用的数据分析任务；

模型过滤信息，模型过滤信息用于指示请求的模型需要满足的条件；

模型对象信息，模型对象信息用于指示请求的模型的训练对象；

模型上报信息，模型上报信息包括请求的模型的上报方式、适用时间或上报时间中的至少一项；

模型性能要求信息，模型性能要求信息用于指示请求的模型需要满足的性能。

可选地，本申请实施例中，M个候选模型的模型信息与第一模型请求消息对应的模型信息匹配包括以下至少一项：

第一分析标识与第二分析标识相同；

M个候选模型的模型使用范围信息中包含的使用区域范围与模型过滤信息匹配；

M个候选模型的模型使用范围信息中包含的使用对象范围与模型对象信息匹配；

M个候选模型的模型使用范围信息中包含的使用时间范围与模型上报信息匹配；

M个候选模型的模型性能信息满足模型性能要求信息指示的性能。

可选地，本申请实施例中，K个模型包括适用于第一分析标识对应的数据分析任务的多个候选模型，或者K个模型包括根据第一分析标识对应的数据分析任务进行多次训练之后得到的多个模型。

可选地，本申请实施例中，在K个模型包括根据第一分析标识对应的数据分析任务进行多次训练之后得到的多个模型的情况下，模型选择装置还包括：执行模块，用于在发送模块向第四网元发送的第一模型的性能低于第二预设性能的情况下，根据第一模型的使用范围信息，对第一模型进行重新训练或进行模型重选，得到第二模型，第二模型为K个模型中的模型；第二发送模块，用于向第四网元或第五网元发送第二模型的模型信息。

可选地，本申请实施例中，模型选择装置还包括：第三发送模块，用于向第四网元或第五网元发送第二模型的使用范围信息；其中，第二模型的使用范围信息指示的使用范围与第一模型的使用范围信息指示的使用范围相同，或者第二模型的使用范围信息指示的使用范围根据第一模型的使用范围信息指示的使用范围确定。

可选地，本申请实施例中，模型选择装置还包括：计算模块，用于计算第一模型的模型性能信息；或者，第二接收模块，还用于从第四网元接收第一模型的模型性能信息；或者，第三接收模块，还用于从数据分析消费者接收第一模型的模型性能信息；其中，第一模型的模型性能信息用于指示第一模型的性能。

可选地，本申请实施例中，模型选择装置还包括：存储模块，用于将N个候选模型的模型信息存储至第六网元。

可选地，本申请实施例中，第一发送模块，具体用于向第二网元发送第一信息，第一信息用于指示P个候选模型的模型信息存储在所述第六网元中。其中，该第一信息包括第六网元的标识信息、FQDN、地址信息中的至少一项。

可选地，本申请实施例中，第六网元包括ADRF或UDR。

可选地，本申请实施例中，第二网元包括AnLF或MTLF。

本申请实施例提供的模型选择装置，由于模型选择装置可以记录适用于一种数据分析任务的候选模型的模型信息，因此模型选择装置在接收到第一模型请求消息之后，可以确定记录的候选模型的模型信息是否与第一模型请求消息对应的模型信息匹配，从而确定符合第一模型请求消息的最佳模型或符合性能要求的模型。如此可以保证模型在进行数据分析的性能。

本申请实施例中的模型选择装置可以是网络侧设备，例如具有操作系统的网络侧设备，也可以是网络侧设备中的部件，例如集成电路或芯片。该网络侧设备可以为NWDAF、MTLF、AnLF、ARDF等，本申请实施例不作具体限定。

本申请实施例提供的模型选择装置能够实现上述模型选择方法的实施例实现的各个过程，并达到相同的技术效果，为避免重复，这里不再赘述。

可选地，如图6所示，本申请实施例还提供一种网络侧设备400，包括处理器401和存储器402，存储器402上存储有可在处理器401上运行的程序或指令，例如，该网络侧设备400为网络侧设备时，该程序或指令被处理器401执行时实现上述模型选择方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。

具体地，本申请实施例还提供了一种网络侧设备。如图7所示，该网络侧设备500包括：处理器501、网络接口502和存储器503。其中，网络接口502例如为通用公共无线接口(common public radio interface，CPRI)。

具体地，本发明实施例的网络侧设备500还包括：存储在存储器503上并可在处理器501上运行的指令或程序，处理器501调用存储器503中的指令或程序执行图6所示各模块执行的方法，并达到相同的技术效果，为避免重复，故不在此赘述。

本申请实施例还提供一种可读存储介质，可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述模型选择方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，处理器为上述实施例中的终端中的处理器。可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例另提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现上述模型选择方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片，系统芯片，芯片系统或片上系统芯片等。

本申请实施例另提供了一种计算机程序/程序产品，计算机程序/程序产品被存储在存储介质中，计算机程序/程序产品被至少一个处理器执行以实现上述模型选择方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络侧设备等)执行本申请各个实施例的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (39)

1.一种模型选择方法，其特征在于，包括：

第一网元记录N个候选模型的模型信息，所述N个候选模型适用于第一分析标识对应的数据分析任务；

所述第一网元从第二网元接收第一模型请求消息；

在所述N个候选模型中的M个候选模型的模型信息与所述第一模型请求消息对应的模型信息匹配的情况下，所述第一网元向所述第二网元发送所述M个候选模型中的P个候选模型的模型信息；

其中，N、M和P均为正整数，且N≥M≥P。

2.根据权利要求1所述的方法，其特征在于，所述第一网元记录N个候选模型的模型信息之前，所述方法还包括：

所述第一网元根据K个模型的模型性能信息，从所述K个模型中确定满足预设条件的所述N个候选模型，所述K个模型适用于所述第一分析标识对应的数据分析任务，K为正整数；

其中，所述预设条件包括以下任意一项：

模型性能信息指示的性能为所述K个模型中最高的；

模型性能信息指示的性能高于第一预设性能。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

所述第一网元从第三网元获取所述N个候选模型的模型信息。

4.根据权利要求1至3任一项所述的方法，其特征在于，候选模型的模型信息包括以下至少一项：

候选模型的模型标识；

候选模型的模型文件信息；

候选模型的下载地址信息，所述下载地址信息用于指示候选模型的模型文件的存储地址；

候选模型的分析标识，所述分析标识用于标识候选模型所适用的数据分析任务；

候选模型的使用范围信息；

候选模型的模型性能信息。

5.根据权利要求4所述的方法，其特征在于，所述使用范围信息指示以下至少一项：

使用区域范围；

使用时间范围；

使用对象范围。

6.根据权利要求2或4所述的方法，其特征在于，模型性能信息指示的性能包括模型准确度、模型平均绝对误差中的至少一项。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述第一网元记录N个候选模型的模型信息之前，所述方法还包括：

所述第一网元获取所述N个候选模型中每个候选模型的使用范围信息和/或模型性能信息。

8.根据权利要求7所述的方法，其特征在于，所述第一网元获取所述N个候选模型中每个候选模型的使用范围信息和/或模型性能信息，包括：

所述第一网元确定所述每个候选模型的使用范围信息和/或计算所述每个候选模型的模型性能信息；

所述第一网元从第七网元接收所述每个候选模型的使用范围信息和/或模型性能信息；

所述第一网元从数据分析消费者接收所述每个候选模型的使用范围信息和/或模型性能信息。

9.根据权利要求1至8任一项所述的方法，其特征在于，所述第一模型请求消息包括以下至少一项：

第二分析标识，所述第二分析标识用于标识请求的模型所适用的数据分析任务；

模型过滤信息，所述模型过滤信息用于指示请求的模型需要满足的条件；

模型对象信息，所述模型对象信息用于指示请求的模型的训练对象；

模型上报信息，所述模型上报信息包括请求的模型的上报方式、适用时间或上报时间中的至少一项；

模型性能要求信息，所述模型性能要求信息用于指示请求的模型需要满足的性能。

10.根据权利要求9所述的方法，其特征在于，所述M个候选模型的模型信息与所述第一模型请求消息对应的模型信息匹配包括以下至少一项：

所述第一分析标识与所述第二分析标识相同；

所述M个候选模型的模型使用范围信息中包含的使用区域范围与所述模型过滤信息匹配；

所述M个候选模型的模型使用范围信息中包含的使用对象范围与所述模型对象信息匹配；

所述M个候选模型的模型使用范围信息中包含的使用时间范围与所述模型上报信息匹配；

所述M个候选模型的模型性能信息满足所述模型性能要求信息指示的性能。

11.根据权利要求2至10任一项所述的方法，其特征在于，所述K个模型包括适用于所述第一分析标识对应的数据分析任务的多个候选模型，或者所述K个模型包括根据所述第一分析标识对应的数据分析任务进行多次训练之后得到的多个模型。

12.根据权利要求11所述的方法，其特征在于，在所述K个模型包括根据所述第一分析标识对应的数据分析任务进行多次训练之后得到的多个模型的情况下，所述方法还包括：

在所述第一网元向第四网元发送的第一模型的性能低于第二预设性能的情况下，所述第一网元根据所述第一模型的使用范围信息，对所述第一模型进行重新训练或进行模型重选，得到第二模型，所述第二模型为所述K个模型中的模型；

所述第一网元向所述第四网元或第五网元发送所述第二模型的模型信息。

13.根据权利要求12所述的方法，其特征在于，所述方法还包括：

所述第一网元向所述第四网元或所述第五网元发送所述第二模型的使用范围信息；

其中，所述第二模型的使用范围信息指示的使用范围与所述第一模型的使用范围信息指示的使用范围相同，或者所述第二模型的使用范围信息指示的使用范围根据所述第一模型的使用范围信息指示的使用范围确定。

14.根据权利要求12所述的方法，其特征在于，所述方法还包括以下任意一项：

所述第一网元计算所述第一模型的模型性能信息；

所述第一网元从所述第四网元接收所述第一模型的模型性能信息；

所述第一网元从数据分析消费者接收所述第一模型的模型性能信息；

其中，所述第一模型的模型性能信息用于指示所述第一模型的性能。

15.根据权利要求1至14任一项所述的方法，其特征在于，所述第一网元记录N个候选模型的模型信息之后，所述方法还包括：

所述第一网元将所述N个候选模型的模型信息存储至第六网元。

16.根据权利要求15所述的方法，其特征在于，所述第一网元向所述第二网元发送所述M个候选模型中的P个候选模型的模型信息，包括：

所述第一网元向所述第二网元发送第一信息，所述第一信息用于指示所述P个候选模型的模型信息存储在所述第六网元中；

其中，所述第一信息包括所述第六网元的标识信息、全限定域名FQDN、地址信息中的至少一项。

17.根据权利要求15或16所述的方法，其特征在于，所述第六网元包括分析数据存储功能ADRF或统一数据存储库UDR。

18.根据权利要求1至16任一项所述的方法，其特征在于，所述第一网元包括模型训练逻辑功能MTLF或分析数据存储功能ADRF。

19.根据权利要求1所述的方法，其特征在于，所述第二网元包括分析逻辑功能AnLF或MTLF。

20.一种模型选择装置，其特征在于，包括：

记录模块，用于记录N个候选模型的模型信息，所述N个候选模型适用于第一分析标识对应的数据分析任务；

第一接收模块，用于从第二网元接收第一模型请求消息；

第一发送模块，用于在所述N个候选模型中的M个候选模型的模型信息与所述第一模型请求消息对应的模型信息匹配的情况下，向所述第二网元发送所述M个候选模型中的P个候选模型的模型信息；

其中，N、M和P均为正整数，且N≥M≥P。

21.根据权利要求20所述的装置，其特征在于，所述装置还包括：

确定模块，用于根据K个模型的模型性能信息，从所述K个模型中确定满足预设条件的所述N个候选模型，所述K个模型适用于所述第一分析标识对应的数据分析任务，K为正整数；

其中，所述预设条件包括以下任意一项：

模型性能信息指示的性能为所述K个模型中最高的；

模型性能信息指示的性能高于第一预设性能。

22.根据权利要求20或21所述的装置，其特征在于，所述装置还包括：

第一获取模块，用于从第三网元获取所述N个候选模型的模型信息。

23.根据权利要求20至22任一项所述的装置，其特征在于，候选模型的模型信息包括以下至少一项：

候选模型的模型标识；

候选模型的模型文件信息；

候选模型的下载地址信息，所述下载地址信息用于指示候选模型的模型文件的存储地址；

候选模型的分析标识，所述分析标识用于标识候选模型所适用的数据分析任务；

候选模型的使用范围信息；

候选模型的模型性能信息。

24.根据权利要求23所述的装置，其特征在于，所述使用范围信息指示以下至少一项：

使用区域范围；

使用时间范围；

使用对象范围。

25.根据权利要求21或23所述的装置，其特征在于，模型性能信息指示的性能包括模型准确度、模型平均绝对误差中的至少一项。

26.根据权利要求20至25任一项所述的装置，其特征在于，所述装置还包括：

第二获取模块，用于获取所述N个候选模型中每个候选模型的使用范围信息和/或模型性能信息。

27.根据权利要求26所述的装置，其特征在于，所述第二获取模块，具体用于确定所述每个候选模型的使用范围信息和/或计算所述每个候选模型的模型性能信息；或者

所述第二获取模块，具体用于从第七网元接收所述每个候选模型的使用范围信息和/或模型性能信息；或者

所述第二获取模块，具体用于从数据分析消费者接收所述每个候选模型的使用范围信息和/或模型性能信息。

28.根据权利要求20至27任一项所述的装置，其特征在于，所述第一模型请求消息包括以下至少一项：

第二分析标识，所述第二分析标识用于标识请求的模型所适用的数据分析任务；

模型过滤信息，所述模型过滤信息用于指示请求的模型需要满足的条件；

模型对象信息，所述模型对象信息用于指示请求的模型的训练对象；

模型上报信息，所述模型上报信息包括请求的模型的上报方式、适用时间或上报时间中的至少一项；

模型性能要求信息，所述模型性能要求信息用于指示请求的模型需要满足的性能。

29.根据权利要求28所述的装置，其特征在于，所述M个候选模型的模型信息与所述第一模型请求消息对应的模型信息匹配包括以下至少一项：

所述第一分析标识与所述第二分析标识相同；

所述M个候选模型的模型使用范围信息中包含的使用区域范围与所述模型过滤信息匹配；

所述M个候选模型的模型使用范围信息中包含的使用对象范围与所述模型对象信息匹配；

所述M个候选模型的模型使用范围信息中包含的使用时间范围与所述模型上报信息匹配；

所述M个候选模型的模型性能信息满足所述模型性能要求信息指示的性能。

30.根据权利要求21至29任一项所述的装置，其特征在于，所述K个模型包括适用于所述第一分析标识对应的数据分析任务的多个候选模型，或者所述K个模型包括根据所述第一分析标识对应的数据分析任务进行多次训练之后得到的多个模型。

31.根据权利要求30所述的装置，其特征在于，在所述K个模型包括根据所述第一分析标识对应的数据分析任务进行多次训练之后得到的多个模型的情况下，所述装置还包括：

执行模块，用于在所述发送模块向第四网元发送的第一模型的性能低于第二预设性能的情况下，根据所述第一模型的使用范围信息，对所述第一模型进行重新训练或进行模型重选，得到第二模型，所述第二模型为所述K个模型中的模型；

第二发送模块，用于向所述第四网元或第五网元发送所述第二模型的模型信息。

32.根据权利要求31所述的装置，其特征在于，所述装置还包括：

第三发送模块，用于向所述第四网元或所述第五网元发送所述第二模型的使用范围信息；

其中，所述第二模型的使用范围信息指示的使用范围与所述第一模型的使用范围信息指示含的使用范围相同，或者所述第二模型的使用范围信息指示的使用范围根据所述第一模型的使用范围信息指示的使用范围确定。

33.根据权利要求31所述的装置，其特征在于，所述装置还包括：

计算模块，用于计算所述第一模型的模型性能信息；或者

第二接收模块，用于从所述第四网元接收所述第一模型的模型性能信息；或者

第三接收模块，用于从数据分析消费者接收所述第一模型的模型性能信息；

其中，所述第一模型的模型性能信息用于指示所述第一模型的性能。

34.根据权利要求20至33任一项所述的装置，其特征在于，所述装置还包括：

存储模块，用于将所述N个候选模型的模型信息存储至第六网元。

35.根据权利要求34所述的装置，其特征在于，所述第一发送模块，具体用于向所述第二网元发送第一信息，所述第一信息用于指示所述P个候选模型的模型信息存储在所述第六网元中；

其中，所述第一信息包括所述第六网元的标识信息、全限定域名FQDN、地址信息中的至少一项。

36.根据权利要求34或35所述的装置，其特征在于，所述第六网元包括分析数据存储功能ADRF或统一数据存储库UDR。

37.根据权利要求20所述的装置，其特征在于，所述第二网元包括分析逻辑功能AnLF或模型训练逻辑功能MTLF。

38.一种网络侧设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至19任一项所述的模型选择方法的步骤。

39.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-19任一项所述的模型选择方法的步骤。