CN116776986A - 模型的准确度确定方法、装置及网络侧设备 - Google Patents

模型的准确度确定方法、装置及网络侧设备 Download PDF

Info

Publication number
CN116776986A
CN116776986A CN202210225777.2A CN202210225777A CN116776986A CN 116776986 A CN116776986 A CN 116776986A CN 202210225777 A CN202210225777 A CN 202210225777A CN 116776986 A CN116776986 A CN 116776986A
Authority
CN
China
Prior art keywords
model
network element
accuracy
information
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210225777.2A
Other languages
English (en)
Inventor
程思涵
崇卫微
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202210225777.2A priority Critical patent/CN116776986A/zh
Priority to PCT/CN2023/080030 priority patent/WO2023169404A1/zh
Publication of CN116776986A publication Critical patent/CN116776986A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/043—Distributed expert systems; Blackboards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/04—Arrangements for maintaining operational condition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本申请公开了一种模型的准确度确定方法、装置及网络侧设备，属于移动通信领域，本申请实施例的模型的准确度确定方法包括：第一网元确定所述第一模型的第一准确度，所述第一准确度用于指示所述第一模型对所述任务的推理结果的准确程度；在所述第一网元确定所述第一准确度达到预设条件的情况下，向第二网元发送第一信息，所述第一信息用于指示所述第一模型的准确度不满足准确度需求或下降。

Description

模型的准确度确定方法、装置及网络侧设备
技术领域
本申请属于移动通信技术领域，具体涉及一种模型的准确度确定方法、装置及网络侧设备。
背景技术
在通信网络中，引入了一些网元用于进行智能化数据分析，并生成一些任务的数据分析结果(analytics)(或称之为推理数据结果)，该数据分析结果可以辅助网内外设备进行策略决策，目的在于利用人工智能(Artificial Intelligence，AI)方法提升设备策略决策的智能化程度。
网络数据分析功能(Network Data Analytics Function，NWDAF)可以基于训练数据进行AI或机器学习(Machine Learning，ML)模型训练,获取适用于某AI任务对应的模型。基于AI/ML模型对某AI任务的推理输入数据进行推理，获得某具体AI任务对应的推理结果数据。策略控制功能实体(Policy Control Function，PCF)基于推理结果数据执行智能的策略控制和计费(Policy Control and Charging，PCC)，例如根据用户业务行为的推理结果数据制定智能的用户驻留策略，提升用户的业务体验；或者，接入和移动管理功能(Access and Mobility Management Function，AMF)基于某AI任务的推理结果数据执行智能化的移动性管理操作，例如根据用户的移动轨迹的推理结果数据智能寻呼用户，提升寻呼可达率。
网内外设备根据AI数据分析结果做成正确的、优化的策略决策，前提是需要基于正确的数据分析结果的。倘若，数据分析结果的准确率比较低，其作为错误信息被提供给网内外设备参考，则最终会做成的错误的策略决策或执行不合适的操作。因此保证数据分析结果的准确度是必须的。
虽然模型在训练阶段的准确度(Accuracy in Training，AiT)满足了该模型的准确度需求，无法确定该模型在投入实际使用推理的准确度(Accuracy in Use，AiU)同样能达到的准确度需求，可能因为数据分布不同、模型泛化能力不足等原因而存在差距，导致该模型得到的推理结果数据的准确度比较低，在被提供给网内外设备参考时，容易做出错误的策略决策或执行不合适的操作。
发明内容
本申请实施例提供一种模型的准确度确定方法、装置及网络侧设备，能够解决模型得到的推理结果数据的准确度比较低的问题。
第一方面，提供了一种模型的准确度确定方法，应用于第一网元，该方法包括：
第一网元确定所述第一模型的第一准确度，所述第一准确度用于指示所述第一模型对所述任务的推理结果的准确程度；
在所述第一网元确定所述第一准确度达到预设条件的情况下，向第二网元发送第一信息，所述第一信息用于指示所述第一模型的准确度不满足准确度需求或下降；
其中，所述第一网元为提供所述第一模型的网元，所述第二网元为对所述任务进行推理的网元。
第二方面，提供了一种模型的准确度确定装置，包括：
执行模块，用于确定所述第一模型的第一准确度，所述第一准确度用于指示所述第一模型对所述任务的推理结果的准确程度；
传输模块，用于在确定所述第一准确度达到预设条件的情况下，向第二网元发送第一信息，所述第一信息用于指示所述第一模型的准确度不满足准确度需求或下降；
其中，所述模型的准确度确定装置为提供所述第一模型的网元，所述第二网元为对所述任务进行推理的网元。
第三方面，提供了一种模型的准确度确定方法，应用于第二网元，该方法包括：
第二网元基于第一模型对任务进行推理，并向第一网元发送第二信息，所述第二信息用于指示所述第一模型已被用于对任务进行推理；
所述第二网元从所述第一网元接收第一信息，所述第一信息用于指示所述第一模型的准确度不满足准确度需求或下降。
第四方面，提供了一种模型的准确度确定装置，包括：
推理模块，用于基于第一模型对任务进行推理，并向第一网元发送第二信息，所述第二信息用于指示所述第一模型已被用于对任务进行推理；
收发模块，用于从所述第一网元接收第一信息，所述第一信息用于指示所述第一模型的准确度不满足准确度需求或下降。
第五方面，提供了一种模型的准确度确定方法，应用于第三网元，该方法包括：
第三网元向第二网元发送任务请求信息，所述任务请求信息用于请求对任务进行推理；
所述第三网元从所述第二网元接收第四信息，所述第四信息用于指示第一模型的准确度不满足准确度需求或下降；
其中，所述第一模型为由第一网元提供用于对所述任务进行推理的模型，所述第一模型的准确度不满足准确度需求或下降由所述第一网元确定。
第六方面，提供了一种模型的准确度确定装置，包括：
发送模块，用于向第二网元发送任务请求信息，所述任务请求信息用于请求对任务进行推理；
接收模块，用于从所述第二网元接收第四信息，所述第四信息用于指示第一模型的准确度不满足准确度需求或下降；
其中，所述第一模型为由第一网元提供用于对所述任务进行推理的模型，所述第一模型的准确度不满足准确度需求或下降由所述第一网元确定。
第七方面，提供了一种网络侧设备，该网络侧设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第八方面，提供了一种模型的准确度确定系统，包括：网络侧设备，所述网络侧设备包括第一网元、第二网元和第三网元，所述第一网元可用于执行如上所述的模型的准确度确定方法的步骤，所述第二网元可用于执行如上所述的模型的准确度确定方法的步骤，所述第三网元可用于执行如上所述的模型的准确度确定方法的步骤。
第九方面，提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤，或者实现如第三方面所述的方法的步骤，或者实现如第五方面所述的方法的步骤。
第十方面，提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法，或实现如第三方面所述的方法，或实现如第五方面所述的方法的步骤。
第十一方面，提供了一种计算机程序/程序产品，所述计算机程序/程序产品被存储在存储介质中，所述计算机程序/程序产品被至少一个处理器执行以实现如第一方面所述的方法，或实现如第三方面所述的方法，或实现如第五方面所述的方法的步骤。
在本申请实施例中，通过第一网元确定所述第一模型的第一准确度，所述第一准确度用于指示所述第一模型对所述任务的推理结果的准确程度；在所述第一网元确定所述第一准确度达到预设条件的情况下，向第二网元发送第一信息，所述第一信息用于指示所述第一模型的准确度不满足准确度需求或下降，从而能够对模型在实际应用过程中的准确度进行监控，并在准确度下降时，及时采取相应的措施，防止做出错误的策略决策或执行不合适的操作。
附图说明
图1是本申请实施例可应用的一种无线通信系统的结构示意图；
图2是本申请实施例提供的模型的准确度确定方法的一种流程示意图；
图3是本申请实施例提供的模型的准确度确定方法的另一种流程示意图；
图4是本申请实施例提供的模型的准确度确定方法的另一种流程示意图；
图5是本申请实施例提供的模型的准确度确定方法的另一种流程示意图；
图6是本申请实施例提供的模型的准确度确定装置的一种结构示意图；
图7是本申请实施例提供的模型的准确度确定方法的另一种流程示意图；
图8是本申请实施例提供的模型的准确度确定装置的另一种结构示意图；
图9是本申请实施例提供的模型的准确度确定方法的另一种流程示意图；
图10是本申请实施例提供的模型的准确度确定装置的另一种结构示意图
图11是本申请实施例提供的一种通信设备结构示意图；
图12为实现本申请实施例的一种网络侧设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”所区别的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”一般表示前后关联对象是一种“或”的关系。
值得指出的是，本申请实施例所描述的技术不限于长期演进型(Long TermEvolution，LTE)/LTE的演进(LTE-Advanced，LTE-A)系统，还可用于其他无线通信系统，诸如码分多址(Code Division Multiple Access，CDMA)、时分多址(Time DivisionMultiple Access，TDMA)、频分多址(Frequency Division Multiple Access，FDMA)、正交频分多址(Orthogonal Frequency Division Multiple Access，OFDMA)、单载波频分多址(Single-carrier Frequency Division Multiple Access，SC-FDMA)和其他系统。本申请实施例中的术语“系统”和“网络”常被可互换地使用，所描述的技术既可用于以上提及的系统和无线电技术，也可用于其他系统和无线电技术。以下描述出于示例目的描述了5G系统，并且在以下大部分描述中使用5G术语，但是这些技术也可应用于5G系统应用以外的应用，如第6代(6th Generation，6G)通信系统。
图1示出本申请实施例可应用的一种无线通信系统的框图。无线通信系统包括终端11和网络侧设备12。其中，终端11可以是手机、平板电脑(Tablet Personal Computer)、膝上型电脑(Laptop Computer)或称为笔记本电脑、个人数字助理(Personal DigitalAssistant，PDA)、掌上电脑、上网本、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、移动上网装置(Mobile Internet Device，MID)、增强现实(augmentedreality，AR)/虚拟现实(virtual reality，VR)设备、机器人、可穿戴式设备(WearableDevice)、车载设备(VUE)、行人终端(PUE)、智能家居(具有无线通信功能的家居设备，如冰箱、电视、洗衣机或者家具等)、游戏机、个人计算机(personal computer，PC)、柜员机或者自助机等终端侧设备，可穿戴式设备包括：智能手表、智能手环、智能耳机、智能眼镜、智能首饰(智能手镯、智能手链、智能戒指、智能项链、智能脚镯、智能脚链等)、智能腕带、智能服装等。需要说明的是，在本申请实施例并不限定终端11的具体类型。网络侧设备12可以包括接入网设备或核心网设备，其中，接入网设备12也可以称为无线接入网设备、无线接入网(Radio Access Network,RAN)、无线接入网功能或无线接入网单元。接入网设备12可以包括基站、WLAN接入点或WiFi节点等，基站可被称为节点B、演进节点B(eNB)、接入点、基收发机站(Base Transceiver Station，BTS)、无线电基站、无线电收发机、基本服务集(BasicService Set，BSS)、扩展服务集(Extended Service Set，ESS)、家用B节点、家用演进型B节点、发送接收点(Transmitting Receiving Point，TRP)或所述领域中其他某个合适的术语，只要达到相同的技术效果，所述基站不限于特定技术词汇，需要说明的是，在本申请实施例中仅以5G系统中的基站为例进行介绍，并不限定基站的具体类型。核心网设备可以包含但不限于如下至少一项：核心网节点、核心网功能、移动管理实体(Mobility ManagementEntity，MME)、接入移动管理功能(Access and Mobility Management Function，AMF)、会话管理功能(Session Management Function，SMF)、用户平面功能(User Plane Function，UPF)、策略控制功能(Policy Control Function，PCF)、策略与计费规则功能单元(Policyand Charging Rules Function，PCRF)、边缘应用服务发现功能(Edge ApplicationServer Discovery Function，EASDF)、统一数据管理(Unified Data Management，UDM)，统一数据仓储(Unified Data Repository，UDR)、归属用户服务器(Home SubscriberServer，HSS)、集中式网络配置(Centralized network configuration，CNC)、网络存储功能(Network Repository Function，NRF)，网络开放功能(Network Exposure Function，NEF)、本地NEF(Local NEF，或L-NEF)、绑定支持功能(Binding Support Function，BSF)、应用功能(Application Function，AF)等。需要说明的是，在本申请实施例中仅以5G系统中的核心网设备为例进行介绍，并不限定核心网设备的具体类型。
下面结合附图，通过一些实施例及其应用场景对本申请实施例提供的模型的准确度确定方法、装置及网络侧设备进行详细地说明。
如图2所示，所述本申请实施例提供了一种模型的准确度确定方法，该方法的执行主体包括第一网元，所述第一网元包括模型训练功能网元，换言之，该方法可以由安装在第一网元的软件或硬件来执行。所述方法的包括以下步骤。
S210、第一网元确定所述第一模型的第一准确度，所述第一准确度用于指示所述第一模型对所述任务的推理结果的准确程度；其中，所述第一网元为提供所述第一模型的网元。
在一种实施方式中，所述第一网元可以为同时具有模型推理功能和模型训练功能的网元，例如所述第一网元为NWDAF，所述NWDAF可以包括分析逻辑功能网元(AnalyticsLogical Function，AnLF)和模型训练逻辑网元(Model Training Logical Function，MTLF)。
在另一种实施方式中，第一网元包括模型训练功能网元，所述第二网元包括模型推理功能的网元，例如所述第一网元为MTLF，所述第二网元为AnLF。
若以NWDAF为第一网元，则下述实施例中的第二网元与第一网元为同一网元，即所述MTLF和AnLF合并为NWDAF。
应理解的是，所述第一模型可以根据实际的需要进行构建和训练，例如AI/ML模型。由MTLF采集训练数据，并基于所述训练数据进行模型训练。在训练完成后，MTLF将训练后的第一模型的信息发送至AnLF。
AnLF在确定触发的任务后，基于所述第一模型对所述任务进行推理，得到推理结果数据。
应理解的是，所述任务是数据分析任务，用于指示一种任务类型而非单次任务，在触发所述任务后，AnLF可以根据所述任务的标识信息(Analytics ID)等，确定与所述任务对应的第一模型，然后基于对应的第一模型对所述任务进行推理，得到推理结果数据。例如，若所述任务的Analytics ID＝UE mobility，用于预测终端(也称为用户设备(UserEquipment，UE))的移动轨迹，则AnLF可基于与UE mobiltiy对应的第一模型对任务进行推理，得到的推理结果数据为预测的终端位置(UE location)信息。
AnLF可以基于第一模型对任务进行一次或多次推理，以得到多个推理结果数据，或包括多个输出结果值的推理结果数据。
应理解的是，所述AnLF对任务进行推理的执行可以由第三网元发送任务请求消息来触发，所述第三网元为触发所述任务的网元，所述第三网元包括消费者网元(consumerNetwork Function，cosumer NF)，所述consumer NF可以是5G网元，应用功能(ApplicationFunction，AF)或终端等；或者，所述任务也可以是由AnLF主动触发，例如，通过设置一个验证测量阶段，在所述验证测量阶段中由AnLF主动模拟触发任务，用于测量所述第一模型的准确度。
为了简便起见，在下面的实施例中均以MTLF为第一网元，AnLF为第二网元，consumer NF为第三网元为例进行举例说明。
在确定所述第一网元被用于对任务进行推理的情况下，MTLF计算推理过程中所述第一模型对应的第一准确度，所述第一准确度为AiU，计算第一准确度的方式可以多种多样，本申请实施例仅给出了其中的一种具体实施方式。所述步骤S210包括：
所述第一网元获取所述任务的第一数据；
所述第一网元根据所述第一数据，计算所述第一模型的第一准确度；
其中，所述第一数据包括以下至少一项：
所述任务对应的推理输入数据；
所述任务对应的推理结果数据；
所述任务对应的标签数据。
具体可以通过比较推理结果数据与对应的标签数据，来确定推理结果数据中正确结果的次数，将正确结果次数除以总次数作为所述第一准确度，公式表示如下：
第一准确度＝正确结果次数÷总次数
其中，所述正确结果可以表示推理结果数据与标签数据一致，或者，推理结果数据与标签结果数据之间的差距在允许范围内。
所述第一准确度的表现形式可以多种多样，不限于具体的百分比数值，例如90％，还可以是分类表达形式，例如高、中、低等，或者归一化后的数据，例如0.9。
在一种实施方式中，所述第一网元获取所述任务的第一数据包括：
所述第一网元确定所述第一数据的来源设备；
所述第一网元从所述来源设备获取所述第一数据。
其中，所述标签数据的来源设备可以由MTLF根据所述第一模型和任务的相关信息确定的。
S220、在所述第一网元确定所述第一准确度达到预设条件的情况下，向第二网元发送第一信息，所述第一信息用于指示所述第一模型的准确度不满足准确度需求或下降；
其中，所述第二网元为对所述任务进行推理的网元。
MTLF根据第一准确度是否达到预设条件来判断所述第一模型的准确度是否满足准确度需求或出现下降。所述预设条件可以包括所述第一准确度小于预设阈值或下降幅度达到一定的程度，
MTLF在确定所述第一模型的准确度不满足准确度需求或下降时，则向AnLF发送第一信息，用于告知所述AnLF所述第一模型的准确度不满足准确度需求或下降，从而使AnLF根据所述第一信息执行相应地的操作。例如，可以向consumer NF发送指示所述第一模型的准确度不满足准确度需求或下降的信息。
由上述实施例所述的技术方案可见，本申请实施例通过第一网元确定所述第一模型的第一准确度，所述第一准确度用于指示所述第一模型对所述任务的推理结果的准确程度；在所述第一网元确定所述第一准确度达到预设条件的情况下，向第二网元发送第一信息，所述第一信息用于指示所述第一模型的准确度不满足准确度需求或下降，从而能够对模型在实际应用过程中的准确度进行监控，并在准确度下降时，及时采取相应的措施，防止做出错误的策略决策或执行不合适的操作。
基于上述实施例，进一步地，如图3所示，所述模型的准确度确定方法包括以下步骤。
所述第一模型由MTLF预先进行训练并提供给所述AnLF，所述MTLF对所述第一模型进行的训练过程可以包括步骤A1-A2。
步骤A1.MTLF从训练数据来源设备采集训练数据。
步骤A2.MTLF基于所述训练数据对第一模型进行训练。
在一种实施方式中，在MTLF在完成对所述第一模型的训练后，所述MTLF可以执行步骤A4，将训练后的第一模型的信息发送到AnLF。所述第一模型的信息具体可以通过Nnwdaf_MLModelProvision_Notify或Nnwdaf_MLModelInfo_Response消息发送。
在一种实施方式中，在步骤A4前，所述方法还可以包括:
步骤A3.AnLF向MTLF发送请求模型的消息。
在一种实施方式中，在步骤A2所述第一模型的训练阶段或者训练后的测试阶段中，MTLF需要评估所述第一模型的准确度，计算所述第一模型的第二准确度，即AiT。所述第二准确度可以采用与第一准确度相同的计算公式获取。具体地，MTLF可以设置一个验证数据集用于评估所述第一模型的第二准确度，该验证数据集中包括用于所述第一模型的输入数据和对应的标签数据，MTLF将输入数据输入训练后的第一模型得到输出数据，再比较输出数据与标签数据是否一致，进而根据上述公式计算得到所述第一模型的第二准确度。
相应地，在一种实施方式中，在步骤A4向AnLF发送所述第一模型的信息时，MTLF还可以同时发送所述第一模型的第二准确度，或者通过独立的消息向AnLF发送所述第一模型的第二准确度。
在一种实施方式中，若所述任务由AnLF主动触发，则AnLF可以在触发任务后执行步骤A6。
步骤A6.AnLF基于接收到的第一模型对任务进行推理，得到推理结果数据。
在另一种实施方式中，若所述任务由consumer NF触发，则在步骤A6之前，所述方法还包括步骤A5。
步骤A5.consumer NF向AnLF发送任务请求消息，所述任务请求消息包含所述任务的描述信息，用于触发AnLF基于与所述任务对应的第一模型执行对所述任务的推理。所述任务请求消息的消息具体可以通过Nnwdaf_AnalyticsSubscription_Subscribe或Nnwdaf_AnalyticsInfo_Request消息发送。
所述任务的描述信息可以多种多样，可以包括所述任务的标识信息、所述任务的限定条件信息(Analytics Filter Information)，所述任务的对象信息(AnalyticsTarget)等。通过所述任务的描述信息可以确定所述任务所涉及的对象和范围等。
步骤A6中用于对任务进行推理的推理输入数据可以从推理输入数据的来源设备获取，具体可以根据步骤A5中接收到的任务请求消息确定可获取所述任务对应的推理输入数据的来源设备，并向所述推理输入数据的来源设备发送推理输入数据的请求消息以获取所述推理输入数据，基于第一模型对所述推理输入数据进行推理，得到推理结果数据。所述推理输入数据的请求消息具体可以通过Nnwdaf_AnalyticsSubscription_Subscribe或Nnwdaf_AnalyticsInfo_Request消息发送。
例如，AnLF基于与analytics ID＝UE mobility对应的第一模型，对与所述任务对应的推理输入数据，例如UE ID、时间、UE当前业务状态等数值，进行推理，得到推理结果数据为UE location的输出数据。
在一种实施方式中，所述步骤A5可以位于步骤A3之前，即所述AnLF先从consumerNF接收所述任务请求消息，再根据所述任务请求消息确定与任务对应的第一模型，进而向提供所述第一模型的MTLF发送模型请求。
所述任务对应的第一模型，可以通过任务请求消息中的analytics ID指示的任务类型，来确定所述任务需要使用的第一模型；或者，可以通过analytics ID与第一模型的映射关系确定；其中，可用模型的标识信息(model ID)来表示第一模型，例如model 1。
在另一种实施方式中，所述步骤A1-A4可以均位于步骤A5之后，即MTLF在接收AnLF发送的请求模型的消息后，再对与所述任务对应的第一模型进行训练，并将训练后的第一模型的消息发送给AnLF。
在一种实施方式中，在所述任务由第三网元通过任务请求消息触发的情况下，在步骤A6之后，所述方法还包括：
步骤A7.AnLF将经过推理得到的推理结果数据发送给consumer NF，通过所述推理结果数据可用于告知consumer NF与analytics ID对应的第一模型通过推理得到的统计或预测值，用于辅助consumer NF执行相应的策略决策。所述推理结果数据具体可以通过Nnwdaf_AnalyticsSubscription_Notify或Nnwdaf_AnalyticsInfo_Response消息发送。
在步骤S210之前，所述方法还包括：
步骤A8.所述第一网元从第二网元接收第二信息，所述第二信息用于指示所述第一模型已被用于对任务进行推理，即AnLF在基于第一模型对任务进行推理后，AnLF向MTLF发送第二信息。
所述第二信息包括以下至少一项：
所述第一模型的标识信息，例如Model ID，用于指定具体被使用的第一模型；
所述任务的标识信息，例如Analytics ID，用于找到与Analytics ID对应的第一模型；
所述任务的限定条件信息，用于限定所述任务执行的范围，包括时间范围、区域范围等；
所述任务的对象信息，用于指示所述任务针对的对象，所述任务的对象可以为某个终端(也称为用户设备(User Equipment，UE))时，例如目标终端(Target UE)；或者，也可以为某个网元实例(Network Function instance，NF instance)。
所述任务对应的推理输入数据；
所述任务对应的推理结果数据。
在一种实施方式中，所述步骤S210包括步骤A9-A11。
步骤A9.MTLF确定所述第一数据的来源设备。
在一种实施方式中，所述提供所述第一数据的来源设备由以下至少一项信息确定：
所述第一模型的标识信息(Model ID)，例如model 1；
所述任务的标识信息；
所述任务的限定条件信息；
所述任务的对象信息。
在一种实施方式中，MTLF可以根据上述信息确定以下信息的至少一项：
所述任务对应的第一模型；所述第一模型的输入数据的类型信息；
所述第一模型的输出数据的类型信息；
第一来源设备的信息，所述第一来源设备为所述任务对应的推理输入数据的来源设备；
第二来源设备的信息，所述第二来源设备为所述任务对应的标签数据的来源设备。
其中，所述任务对应的第一模型可以通过任务请求消息中的analytics ID指示的任务类型，来确定所述任务需要使用的第一模型；或者，可以通过analytics ID与第一模型的映射关系确定。
所述第一模型的输入数据的类型信息也可以称为metadata信息，具体可以包括与输入数据对应的终端标识(UE ID)、时间和终端当前业务状态等。
所述第一模型的输出数据的类型信息包括数据类型(data type)，例如用于指示UE location的跟踪区域(Tracking Area，TA)或小区(cell)。
所述第一来源设备，具体可以由AnLF根据所述任务请求消息中的analyticsfilter information和analytics target等信息确定所述任务涉及的对象和范围，再根据对象和范围以及metadata信息，确定可获取所述任务对应的推理输入数据的网元作为所述任务对应的推理输入数据的来源设备。
所述第二来源设备，具体可以由AnLF根据所述第一模型的输出数据的类型信息确定可提供所述输出数据的网元设备类型(NF type)，再根据所述任务的限定条件信息和对象信息等确定该网元设备类型对应的具体网元实例(instance)，并将该网元实例作为标签数据的来源设备。例如，根据与任务UE mobility对应的第一模型的输出数据的数据类型＝UE location，AnLF确定可以由网元设备类型AMF type提供UE location的数据，AnLF再根据任务的限定条件信息AOI等、以及所述任务的对象UE1，从统一数据管理实体(UnifiedData Management，UDM)或网络存储功能(Network Repository Function，NRF)查询对应的AMF instance是AMF 1，从而AnLF将AMF 1作为标签数据的来源设备，并后续从AMF1中获取UE location的标签数据。
步骤A10.MTLF获取所述第一数据。
在一种实施方式中，所述MTLF可以从第一数据的来源设备获取所述第一数据，具体可以包括：
所述第一网元从第一来源设备获取所述任务对应的推理输入数据，即MTLF通过向第一来源设备发送推理输入数据的请求消息，来采集所述推理输入数据。
所述第一网元从第二来源设备获取所述任务对应的标签数据，即MTLF通过向第二来源设备发送标签数据的请求消息，来采集所述标签数据。所述标签数据的请求消息中可以携带所述标签数据的类型信息、标签数据对应的对象信息、时间信息(例如时间戳、时间段)等，用于向所述标签数据的来源设备确定反馈哪些标签数据。
所述标签数据的请求消息中的标签数据的类型信息、标签数据对应的对象信息、时间信息等，可以分别由MTLF根据所述第一模型的输出数据的类型信息、所述任务的对象信息、和所述任务的限定条件信息等确定。具体地MTLF根据所述第一模型的输出数据的类型信息确定需要获取的标签数据的类型信息；MTLF根据所述任务的对象信息确定需要获取的标签数据的对象信息；若MTLF根据所述任务的限定条件信息确定所述任务的推理过程是针对过去某一时间所做的统计计算或未来某一时间所做的预测，则MTLF还需要获取所述过去某一时间或未来某一时间对应的标签数据。
例如，MTLF向AMF或位置管理功能(Location Management Function，LMF)发送标签数据的请求消息，其中携带标签数据对应的数据类型＝UE location，对象信息＝UE 1和时间信息＝某一具体时间段，用于请求AMF/LMF反馈UE1在某一具体时间段内的UElocation的数据。
应理解的是，若步骤A6中，AnLF通过执行一次或多次推理过程获得了多个推理结果数据，则MTLF对应需要获取与所述多个推理结果数据对应的多个标签数据。
在另一种实施方式中，所述第一数据的全部或部分数据也可以由所述第二消息携带，例如，所述第二消息可以包括所述任务的推理输入数据和/或推理结果数据。
步骤A11.根据所述推理结果数据和标签数据，计算所述第一模型的第一准确度。
在一种实施方式中，如图3所示，所述步骤S220包括步骤A12-A13。
步骤A12.AnLF确定所述第一准确度是否满足预设条件，并且在所述第一准确度满足AnLF的情况下执行步骤A13。
所述预设条件可以根据实际的需要进行设定，在一种实施方式中，所述预设条件包括以下条件至少之一：
所述第一准确度低于第一阈值；
所述第一准确度低于第二准确度；
所述第一准确度低于第二准确度，且与所述第二准确度的差值大于第二阈值。
步骤A13.MTLF向AnLF发送第一信息，所述第一信息用于通知AnLF所述第一模型的准确度不满足准确度需求或下降。
在一种实施方式中，所述第一信息包括以下至少一项的信息：
所述任务的描述信息的全部或部分信息，用于指示使用所述第一模型进行推理的任务，具体可以包括：Analytics ID、Analytics filter information、analytics target等；
所述第一模型的准确度不满足准确度需求或下降的指示信息；
所述第一准确度；
第一推荐操作信息，用于向AnLF推荐后续执行的操作；
第一等待时间信息，所述第一等待时间信息用于指示对所述第一模型进行重新训练所需要的时间。
在一种实施方式中，所述第一推荐操作信息包括以下至少一项：
继续使用所述第一模型，即指示AnLF可以继续使用所述第一模型对任务进行推理；
停止使用所述第一模型，即指示AnLF停止使用所述第一模型；
重新获取所述任务对应的模型，即指示AnLF重新发起模型请求，以重新获取可用于对所述任务进行推理的模型。通过向所述MTLF或者其它MTLF重新发起模型请求，AnLF可以获取重新训练后的第一模型或者获取可用于对所述任务进行推理的第二模型。
步骤A14.AnLF在接收到所述MTLF的第一信息后，可以向consumer NF发送第四信息，所述第四信息用于指示所述第一模型的准确度不满足准确度需求或下降。
在一种实施方式中，所述第四信息包括以下至少一项的信息：
所述任务的描述信息的全部或部分信息；
所述第一模型的准确度不满足准确度需求或下降的指示信息；
所述第一准确度，所述第一准确度用于指示所述第一模型对所述任务的推理结果的准确程度；
第二推荐操作信息；
第二等待时间信息，所述第二等待时间信息用于指示所述第二网元恢复对所述任务进行推理所需要的时间，具体可以为所述AnLF获取重新训练后的第一模型所需要等待的时间，或者，所述AnLF获取可用于执行所述任务的第二模型所需要等待的时间。
在一种实施方式中，所述第二推荐操作信息包括以下至少一种操作：
继续使用所述任务对应的推理结果数据，即指示所述consumer NF可以继续使用已经获取的推理结果数据；
停止使用所述任务对应的推理结果数据，即指示所述consumer NF停止使用已经获取的推理结果数据；
重新触发所述任务以获取新的推理结果数据，即指示所述consumer NF重新所述发送任务请求消息。
步骤A15.在接收到所述第四信息后，consumer NF可以根据所述第四信息执行以下至少一种操作：
继续使用所述任务对应的推理结果数据，该操作可以在所述第一准确度的下降幅度较少，未超过预设幅度阈值，例如第二阈值的情况下执行；在一种实施方式中，若继续使用所述任务对应的推理结果数据，则可以适当减少所述推理结果数据对进行策略决策的权重。
停止使用所述任务对应的推理结果数据，该操作可以在所述第一准确度的下降幅度较大，已超过预设幅度阈值的情况下执行；
向所述第二网元重发所述任务请求信息，用于重新请求所述第二网元对所述任务进行推理；
向第五网元重发所述任务请求信息，用于请求所述第五网元对所述任务进行推理；其中，所述第五网元包括模型推理功能网元，即consumer NF可以向其它AnLF发送任务请求消息。
由上述实施例所述的技术方案可见，本申请实施例通过第一网元确定所述第一模型的第一准确度，所述第一准确度用于指示所述第一模型对所述任务的推理结果的准确程度；在所述第一网元确定所述第一准确度达到预设条件的情况下，向第二网元发送第一信息，所述第一信息用于指示所述第一模型的准确度不满足准确度需求或下降，从而能够对模型在实际应用过程中的准确度进行监控，并在准确度下降时，及时采取相应的措施，防止做出错误的策略决策或执行不合适的操作。
基于上述实施例，进一步地，如图4所示，在所述第一网元确定所述第一准确度达到预设条件的情况下，所述方法还包括：
步骤A16.所述第一网元对所述第一模型进行重新训练，具体的训练过程与步骤A2训练过程其本相同基本相同，具体的区别在于训练数据。
在一种实施方式中，对所述第一模型进行重新训练的训练数据包括所述任务的第一数据；
其中，所述第一数据包括以下至少一项：
所述任务对应的推理输入数据；
所述任务对应的推理结果数据；
所述任务对应的标签数据。
步骤A17.在对所述第一模型进行重新训练之后，所述第一网元向所述第二网元发送第三信息，所述第三信息包括重新训练后的第一模型的信息，用于指示所述第一模型的描述信息，具体可以以模型文件或模型本身等形式。
在一种实施方式中，所述第三信息还包括以下至少一项：
所述重新训练后的第一模型的适用条件信息，所述适用条件信息可以包括所述第一模型针对的时间范围、区域范围和对象范围等；
所述重新训练后的第一模型的第三准确度，即重新训练后的第一模型的AiT，所述第三准确度用于指示所述重新训练后的第一模型在训练阶段或测试阶段所呈现的模型输出结果的准确程度。
步骤A18.AnLF基于重新训练后的第一模型对所述任务进行推理，得到所述任务新的推理结果数据，并发送给cosumer NF。此时，进行推理的任务可以为根据步骤A5中consumer NF发送的任务请求消息触发的任务，也可以为步骤A15中consumer NF根据第四信息重新发送任务请求消息而触发的任务。
所述新的推理结果数据中可以携带所述任务的标识信息，例如Analytics ID，用于向所述consumer NF指示具体对应的任务。
由上述实施例所述的技术方案可见，本申请实施例在所述第一准确度达到预设条件的情况下，所述第一网元对所述第一模型进行重新训练，并将重新训练后的第一模型的信息发送给第二网元，从而能够在模型的准确度下降时，及时采取相应的措施予以调整，快速恢复对任务进行推理的准确性，防止做出错误的策略决策或执行不合适的操作。
基于上述实施例，进一步地，如图5所示，在所述第一准确度达到预设条件的情况下，所述方法还包括：
步骤B16.所述第二网元从第四网元请求获取第二模型，所述第二模型为由所述第四网元提供的用于所述任务的模型，具体过程可以参考步骤A4-A5。其中，所述第四网元包括模型训练功能网元，即所述第四网元可以为除所述第三网元外的其它MTLF。
步骤B18.所述第二网元基于所述第二模型对所述任务进行推理，得到所述任务新的推理结果数据，并将新的结果数据发送给所述consumer NF。此时，进行推理的任务可以为根据步骤A3中consumer NF发送的任务请求消息触发的任务，也可以为步骤A14中consumer NF根据第一信息重新发送任务请求消息而触发的任务。
所述新的推理结果数据中可以携带所述任务的标识信息，例如Analytics ID，用于向所述consumer NF指示具体对应的任务。
由上述实施例所述的技术方案可见，本申请实施例在所述第一准确度达到预设条件的情况下，所述第二网元通过从第四网元获取第二模型对任务进行推理得到新的推理结果数据，从而能够在模型的准确度下降时，及时采取相应的措施予以调整，快速恢复对任务进行推理的准确性，防止做出错误的策略决策或执行不合适的操作。
本申请实施例提供的模型的准确度确定方法，执行主体可以为模型的准确度确定装置。本申请实施例中以模型的准确度确定装置执行模型的准确度确定方法为例，说明本申请实施例提供的模型的准确度确定装置。
如图6所示，所述模型的准确度确定装置包括：执行模块601和传输模块602。
所述执行模块601用于确定所述第一模型的第一准确度，所述第一准确度用于指示所述第一模型对所述任务的推理结果的准确程度；所述传输模块602用于在确定所述第一准确度达到预设条件的情况下，向第二网元发送第一信息，所述第一信息用于指示所述第一模型的准确度不满足准确度需求或下降；
其中，所述模型的准确度确定装置为提供所述第一模型的网元，所述第二网元为对所述任务进行推理的网元。
进一步地，所述传输模块602用于获取所述任务的第一数据；
所述执行模块601用于根据所述第一数据，计算所述第一模型的第一准确度；
其中，所述第一数据包括以下至少一项：
所述任务对应的推理输入数据；
所述任务对应的推理结果数据；
所述任务对应的标签数据。
进一步地，所述传输模块602用于：
确定所述第一数据的来源设备；
从所述来源设备获取所述第一数据。
进一步地，所述模型的准确度确定装置包括模型训练功能网元。
进一步地，所述第二网元包括模型推理功能网元。
由上述实施例所述的技术方案可见，本申请实施例通过确定所述第一模型的第一准确度；在确定所述第一准确度达到预设条件的情况下，向第二网元发送第一信息，所述第一信息用于指示所述第一模型的准确度不满足准确度需求或下降，从而能够对模型在实际应用过程中的准确度进行监控，并在准确度下降时，及时采取相应的措施，防止做出错误的策略决策或执行不合适的操作。
基于上述实施例，进一步法，所述传输模块还用于从第二网元接收第二信息，所述第二信息用于指示所述第一模型已被用于对任务进行推理。
进一步地，所述第二信息包括以下至少一项：
所述第一模型的标识信息；
所述任务的标识信息；
所述任务的限定条件信息；
所述任务的对象信息；
所述任务对应的推理输入数据；
所述任务对应的推理结果数据。
进一步地，所述提供所述第一数据的来源设备由以下至少一项信息确定：
所述第一模型的标识信息；
所述任务的标识信息；
所述任务的限定条件信息；
所述任务的对象信息。
进一步地，所述传输模块用于执行以下至少一项：
从第一来源设备获取所述任务对应的推理输入数据，所述第一来源设备为所述任务对应的推理输入数据的来源设备；
从第二来源设备获取所述任务对应的标签数据，所述第二来源设备为所述任务对应的标签数据的来源设备。
进一步地，所述预设条件包括以下条件至少之一：
所述第一准确度低于第一阈值；
所述第一准确度低于第二准确度；
所述第一准确度低于第二准确度，且与所述第二准确度的差值大于第二阈值；
其中，所述第二准确度用于指示所述第一模型在训练阶段或测试阶段所呈现的模型输出结果的准确程度。
进一步地，所述第一信息包括以下至少一项的信息：
所述任务的描述信息的全部或部分信息；
所述第一模型的准确度不满足准确度需求或下降的指示信息；
所述第一准确度；
第一推荐操作信息；
第一等待时间信息，所述第一等待时间信息用于指示对所述第一模型进行重新训练所需要的时间。
进一步地，所述第一推荐操作信息包括以下至少一种操作：
继续使用所述第一模型；
停止使用所述第一模型；
重新获取所述任务对应的模型。
由上述实施例所述的技术方案可见，本申请实施例通过确定所述第一模型的第一准确度；在确定所述第一准确度达到预设条件的情况下，向第二网元发送第一信息，所述第一信息用于指示所述第一模型的准确度不满足准确度需求或下降，从而能够对模型在实际应用过程中的准确度进行监控，并在准确度下降时，及时采取相应的措施，防止做出错误的策略决策或执行不合适的操作。
基于上述实施例，进一步地，在确定所述第一准确度达到预设条件的情况下，所述执行模块还用于所述第一网元对所述第一模型进行重新训练。
进一步地，对所述第一模型进行重新训练的训练数据包括所述任务的第一数据；
其中，所述第一数据包括以下至少一项：
所述任务对应的推理输入数据；
所述任务对应的推理结果数据；
所述任务对应的标签数据。
进一步地，在对所述第一模型进行重新训练之后，所述传输模块还用于向所述第二网元发送第三信息，所述第三信息包括重新训练后的第一模型的信息。
进一步地，所述第三信息还包括以下至少一项：
所述重新训练后的第一模型的适用条件信息；
所述重新训练后的第一模型的第三准确度，所述第三准确度用于指示所述重新训练后的第一模型在训练阶段或测试阶段所呈现的模型输出结果的准确程度。
由上述实施例所述的技术方案可见，本申请实施例在所述第一准确度达到预设条件的情况下，对所述第一模型进行重新训练，并将重新训练后的第一模型的信息发送给第二网元，从而能够在模型的准确度下降时，及时采取相应的措施予以调整，快速恢复对任务进行推理的准确性，防止做出错误的策略决策或执行不合适的操作。
本申请实施例中的模型的准确度确定装置可以是电子设备，例如具有操作系统的电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，终端可以包括但不限于上述所列举的终端11的类型，其他设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)等，本申请实施例不作具体限定。
本申请实施例提供的模型的准确度确定装置能够实现图2至图5的方法实施例实现的各个过程，并达到相同的技术效果，为避免重复，这里不再赘述。
如图7所示，所述本申请实施例提供了一种模型的准确度确定方法，该方法的执行主体包括第二网元，所述第二网元包括模型推理功能网元，换言之，该方法可以由安装在第二网元的软件或硬件来执行。所述方法的包括以下步骤。
S710、第二网元基于第一模型对任务进行推理，并向第一网元发送第二信息，所述第二信息用于指示所述第一模型已被用于对任务进行推理。
S720、所述第二网元从所述第一网元接收第一信息，所述第一信息用于指示所述第一模型的准确度不满足准确度需求或下降。
进一步地，所述第一网元包括模型训练功能网元。
进一步地，所述第二网元包括模型推理功能网元。
进一步地，在从所述第一网元接收第一信息之后，所述方法还包括：
所述第二网元向第三网元发送第四信息，所述第四信息用于指示所述第一模型的准确度不满足准确度需求或下降。
进一步地，所述第三网元包括消费者网元。
进一步地，所述第二信息包括以下至少一项：
所述第一模型的标识信息；
所述任务的标识信息；
所述任务的限定条件信息；
所述任务的对象信息；
所述任务对应的推理输入数据；
所述任务对应的推理结果数据。
进一步地，所述第一信息包括以下至少一项的信息：
所述任务的描述信息的全部或部分信息；
所述第一模型的准确度不满足准确度需求或下降的指示信息；
第一准确度，所述第一准确度用于指示所述第一模型对所述任务的推理结果的准确程度；
第一推荐操作信息；
第一等待时间信息，所述第一等待时间信息用于指示对所述第一模型进行重新训练所需要的时间。
进一步地，所述第一推荐操作信息包括以下至少一项：
继续使用所述第一模型；
停止使用所述第一模型；
重新获取所述任务对应的模型。
进一步地，所述第四信息包括以下至少一项的信息：
所述任务的描述信息的全部或部分信息；
所述第一模型的准确度不满足准确度需求或下降的指示信息；
第一准确度，所述第一准确度用于指示所述第一模型对所述任务的推理结果的准确程度；
第二推荐操作信息；
第二等待时间信息，所述第二等待时间信息用于指示所述第二网元恢复对所述任务进行推理所需要的时间。
进一步地，所述第二推荐操作信息包括以下至少一种操作：
继续使用所述任务对应的推理结果数据；
停止使用所述任务对应的推理结果数据；
重新触发所述任务以获取新的推理结果数据。
步骤S710-S720可以实现如图2、图3所示的方法实施例，并得到相同的技术效果，重复部分此处不再赘述。
由上述实施例所述的技术方案可见，本申请实施例通过第二网元基于第一模型对任务进行推理，并向第一网元发送第二信息，所述第二信息用于指示所述第一模型已被用于对任务进行推理；所述第二网元从所述第一网元接收第一信息，所述第一信息用于指示所述第一模型的准确度不满足准确度需求或下降，从而能够对模型在实际应用过程中的准确度进行监控，并在准确度下降时，及时采取相应的措施，防止做出错误的策略决策或执行不合适的操作。
基于上述实施例，进一步地，在从所述第一网元接收第一信息之后，所述方法还包括：
所述第二网元从所述第一网元接收第三信息，所述第三信息包括重新训练后的第一模型的信息。
进一步地，所述第三信息还包括以下至少一项：
所述重新训练后的第一模型的适用条件信息；
所述重新训练后的第一模型的第三准确度，所述第三准确度用于指示所述重新训练后的第一模型在训练阶段或测试阶段所呈现的模型输出结果的准确程度。
本申请实施例可以实现如图4所示的方法实施像型，并得到相同的技术效果，重复部分此处不再赘述。
由上述实施例所述的技术方案可见，本申请实施例在所述第一准确度达到预设条件的情况下，所述第一网元对所述第一模型进行重新训练，并将重新训练后的第一模型的信息发送给第二网元，从而能够在模型的准确度下降时，及时采取相应的措施予以调整，快速恢复对任务进行推理的准确性，防止做出错误的策略决策或执行不合适的操作。
基于上述实施例，进一步地，在从所述第一网元接收第一信息之后，所述方法还包括：
所述第二网元向第四网元请求获取第二模型，所述第二模型为由所述第四网元提供的用于所述任务的模型；
基于所述第二模型对所述任务进行推理，得到所述任务新的推理结果数据。
进一步地，所述第四网元包括模型训练功能网元。
本申请实施例可以实现如图5所示的方法实施像型，并得到相同的技术效果，重复部分此处不再赘述。
由上述实施例所述的技术方案可见，本申请实施例在所述第一准确度达到预设条件的情况下，所述第二网元通过从第四网元获取第二模型对任务进行推理得到新的推理结果数据，从而能够在模型的准确度下降时，及时采取相应的措施予以调整，快速恢复对任务进行推理的准确性，防止做出错误的策略决策或执行不合适的操作。
本申请实施例提供的模型的准确度确定方法，执行主体可以为模型的准确度确定装置。本申请实施例中以模型的准确度确定装置执行模型的准确度确定方法为例，说明本申请实施例提供的模型的准确度确定装置。
如图8所示，所述模型的准确度确定装置包括：推理模块801和收发模块802。
所述推理模块801用于基于第一模型对任务进行推理，并向第一网元发送第二信息，所述第二信息用于指示所述第一模型已被用于对任务进行推理；所述收发模块802用于从所述第一网元接收第一信息，所述第一信息用于指示所述第一模型的准确度不满足准确度需求或下降。
进一步地，所述第一网元包括模型训练功能网元。
进一步地，所述模型的准确度确定装置包括模型推理功能网元。
进一步地，在从所述第一网元接收第一信息之后，收发模块802还用于向第三网元发送第四信息，所述第四信息用于指示所述第一模型的准确度不满足准确度需求或下降。
进一步地，所述第三网元包括消费者网元。
进一步地，所述第二信息包括以下至少一项：
所述第一模型的标识信息；
所述任务的标识信息；
所述任务的限定条件信息；
所述任务的对象信息；
所述任务对应的推理输入数据；
所述任务对应的推理结果数据。
进一步地，所述第一信息包括以下至少一项的信息：
所述任务的描述信息的全部或部分信息；
所述第一模型的准确度不满足准确度需求或下降的指示信息；
第一准确度，所述第一准确度用于指示所述第一模型对所述任务的推理结果的准确程度；
第一推荐操作信息；
第一等待时间信息，所述第一等待时间信息用于指示对所述第一模型进行重新训练所需要的时间。
进一步地，所述第一推荐操作信息包括以下至少一项：
继续使用所述第一模型；
停止使用所述第一模型；
重新获取所述任务对应的模型。
进一步地，所述第四信息包括以下至少一项的信息：
所述任务的描述信息的全部或部分信息；
所述第一模型的准确度不满足准确度需求或下降的指示信息；
第一准确度，所述第一准确度用于指示所述第一模型对所述任务的推理结果的准确程度；
第二推荐操作信息；
第二等待时间信息，所述第二等待时间信息用于指示所述模型的准确度确定装置恢复对所述任务进行推理所需要的时间。
进一步地，所述第二推荐操作信息包括以下至少一种操作：
继续使用所述任务对应的推理结果数据；
停止使用所述任务对应的推理结果数据；
重新触发所述任务以获取新的推理结果数据。
由上述实施例所述的技术方案可见，本申请实施例通过基于第一模型对任务进行推理，并向第一网元发送第二信息，所述第二信息用于指示所述第一模型已被用于对任务进行推理；从所述第一网元接收第一信息，所述第一信息用于指示所述第一模型的准确度不满足准确度需求或下降，从而能够对模型在实际应用过程中的准确度进行监控，并在准确度下降时，及时采取相应的措施，防止做出错误的策略决策或执行不合适的操作。
基于上述实施例，进一步地，在从所述第一网元接收第一信息之后，所述收发模块还用于从所述第一网元接收第三信息，所述第三信息包括重新训练后的第一模型的信息。
进一步地，所述第三信息还包括以下至少一项：
所述重新训练后的第一模型的适用条件信息；
所述重新训练后的第一模型的第三准确度，所述第三准确度用于指示所述重新训练后的第一模型在训练阶段或测试阶段所呈现的模型输出结果的准确程度。
由上述实施例所述的技术方案可见，本申请实施例在所述第一准确度达到预设条件的情况下，所述第一网元对所述第一模型进行重新训练，并反馈重新训练后的第一模型的信息，从而能够在模型的准确度下降时，及时采取相应的措施予以调整，快速恢复对任务进行推理的准确性，防止做出错误的策略决策或执行不合适的操作。
基于上述实施例，进一步地，在从所述第一网元接收第一信息之后，收发模块还用于：
向第四网元请求获取第二模型，所述第二模型为由所述第四网元提供的用于所述任务的模型；
基于所述第二模型对所述任务进行推理，得到所述任务新的推理结果数据。
进一步地，所述第四网元包括模型训练功能网元。
由上述实施例所述的技术方案可见，本申请实施例在所述第一准确度达到预设条件的情况下，通过从第四网元获取第二模型对任务进行推理得到新的推理结果数据，从而能够在模型的准确度下降时，及时采取相应的措施予以调整，快速恢复对任务进行推理的准确性，防止做出错误的策略决策或执行不合适的操作。
本申请实施例中的模型的准确度确定装置可以是电子设备，例如具有操作系统的电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，终端可以包括但不限于上述所列举的终端11的类型，其他设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)等，本申请实施例不作具体限定。
本申请实施例提供的模型的准确度确定装置能够实现图7的方法实施例实现的各个过程，并达到相同的技术效果，为避免重复，这里不再赘述。
如图9所示，所述本申请实施例提供了一种模型的准确度确定方法，该方法的执行主体包括第三网元，所述第三网元包括消费者网元，换言之，该方法可以由安装在第三网元的软件或硬件来执行。所述方法的包括以下步骤。
S910、第三网元向第二网元发送任务请求信息，所述任务请求信息用于请求对任务进行推理；
S920、所述第三网元从所述第二网元接收第四信息，所述第四信息用于指示第一模型的准确度不满足准确度需求或下降；
其中，所述第一模型为由第一网元提供用于对所述任务进行推理的模型，所述第一模型的准确度不满足准确度需求或下降由所述第一网元确定。
进一步地，在从所述第二网元接收第四信息之后，所述方法还包括：
第三网元根据所述第四信息执行以下至少一种操作：
继续使用所述任务对应的推理结果数据；
停止使用所述任务对应的推理结果数据；
向所述第二网元重发所述任务请求信息，用于重新请求所述第二网元对所述任务进行推理；
向第五网元重发所述任务请求信息，用于请求所述第五网元对所述任务进行推理。
进一步地，所述第四信息包括以下至少一项的信息：
所述任务的描述信息的部分或全部信息；
所述第一模型的准确度不满足准确度需求或下降的指示信息；
第一准确度，所述第一准确度用于指示所述第一模型对所述任务的推理结果的准确程度；
第二推荐操作信息；
第二等待时间信息，所述第二等待时间信息用于指示所述第一网元恢复对所述任务进行推理所需要的时间。
进一步地，所述第二推荐操作信息包括以下至少一种操作：
继续使用所述任务对应的推理结果数据；
停止使用所述任务对应的推理结果数据；
重新触发所述任务以获取新的推理结果数据。
进一步地，所述第一网元包括模型训练功能网元。
进一步地，所述第二网元包括模型推理功能网元。
进一步地，所述第三网元包括消费者网元。
进一步地，所述第五网元包括模型推理功能网元。
步骤S910-S920可以实现如图2、图3所示的方法实施例，并得到相同的技术效果，重复部分此处不再赘述。
由上述实施例所述的技术方案可见，本申请实施例通过第三网元向第二网元发送任务请求信息，所述任务请求信息用于请求对任务进行推理；所述第三网元从所述第二网元接收第四信息，所述第四信息用于指示第一模型的准确度不满足准确度需求或下降，从而能够对模型在实际应用过程中的准确度进行监控，并在准确度下降时，及时采取相应的措施，防止做出错误的策略决策或执行不合适的操作。
本申请实施例提供的模型的准确度确定方法，执行主体可以为模型的准确度确定装置。本申请实施例中以模型的准确度确定装置执行模型的准确度确定方法为例，说明本申请实施例提供的模型的准确度确定装置。
如图10所示，所述模型的准确度确定装置包括：发送模块1001和接收模块1002。
所述发送模块1001用于向第二网元发送任务请求信息，所述任务请求信息用于请求对任务进行推理；所述接收模块1002用于从所述第二网元接收第四信息，所述第四信息用于指示第一模型的准确度不满足准确度需求或下降；
其中，所述第一模型为由第一网元提供用于对所述任务进行推理的模型，所述第一模型的准确度不满足准确度需求或下降由所述第一网元确定。
进一步地，在从所述第二网元接收第四信息之后，所述接收模块1002还用于根据所述第四信息执行以下至少一种操作：
继续使用所述任务对应的推理结果数据；
停止使用所述任务对应的推理结果数据；
向所述第二网元重发所述任务请求信息，用于重新请求所述第二网元对所述任务进行推理；
向第五网元重发所述任务请求信息，用于请求所述第五网元对所述任务进行推理。
进一步地，所述第四信息包括以下至少一项的信息：
所述任务的描述信息的部分或全部信息；
所述第一模型的准确度不满足准确度需求或下降的指示信息；
第一准确度，所述第一准确度用于指示所述第一模型对所述任务的推理结果的准确程度；
第二推荐操作信息；
第二等待时间信息，所述第二等待时间信息用于指示所述第一网元恢复对所述任务进行推理所需要的时间。
进一步地，所述第二推荐操作信息包括以下至少一种操作：
继续使用所述任务对应的推理结果数据；
停止使用所述任务对应的推理结果数据；
重新触发所述任务以获取新的推理结果数据。
进一步地，所述第一网元包括模型训练功能网元。
进一步地，所述第二网元包括模型推理功能网元。
进一步地，所述模型的准确度确定装置包括消费者网元。
进一步地，所述第五网元包括模型推理功能网元。
由上述实施例所述的技术方案可见，本申请实施例通过向第二网元发送任务请求信息，所述任务请求信息用于请求对任务进行推理；从所述第二网元接收第四信息，所述第四信息用于指示第一模型的准确度不满足准确度需求或下降，从而能够对模型在实际应用过程中的准确度进行监控，并在准确度下降时，及时采取相应的措施，防止做出错误的策略决策或执行不合适的操作。
本申请实施例中的模型的准确度确定装置可以是电子设备，例如具有操作系统的电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，终端可以包括但不限于上述所列举的终端11的类型，其他设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)等，本申请实施例不作具体限定。
本申请实施例提供的模型的准确度确定装置能够实现图9的方法实施例实现的各个过程，并达到相同的技术效果，为避免重复，这里不再赘述。
可选的，如图11所示，本申请实施例还提供一种通信设备1100，包括处理器1101和存储器1102，存储器1102上存储有可在所述处理器1101上运行的程序或指令，例如，该通信设备1100为终端时，该程序或指令被处理器1101执行时实现上述模型的准确度确定方法实施例的各个步骤，且能达到相同的技术效果。该通信设备1100为网络侧设备时，该程序或指令被处理器1101执行时实现上述模型的准确度确定方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
具体地，本申请实施例还提供了一种网络侧设备。如图12所示，该网络侧设备1200包括：处理器1201、网络接口1202和存储器1203。其中，网络接口1202例如为通用公共无线接口(common public radio interface，CPRI)。
具体地，本发明实施例的网络侧设备1200还包括：存储在存储器1203上并可在处理器1201上运行的指令或程序，处理器1201调用存储器1203中的指令或程序执行图6、图8和图10所示各模块执行的方法，并达到相同的技术效果，为避免重复，故不在此赘述。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述模型的准确度确定方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的终端中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述模型的准确度确定方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片，系统芯片，芯片系统或片上系统芯片等。
本申请实施例另提供了一种计算机程序/程序产品，所述计算机程序/程序产品被存储在存储介质中，所述计算机程序/程序产品被至少一个处理器执行以实现上述模型的准确度确定方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本申请实施例还提供了一种模型的准确度确定系统，包括：网络侧设备，所述网络侧设备包括第一网元、第二网元和第三网元，所述第一网元可用于执行如上所述的模型的准确度确定方法的步骤，所述第二网元可用于执行如上所述的模型的准确度确定方法的步骤，所述第三网元可用于执行如上所述的模型的准确度确定方法的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (43)

1.一种模型的准确度确定方法，其特征在于，包括：
第一网元确定第一模型的第一准确度，所述第一准确度用于指示所述第一模型对任务的推理结果的准确程度；
在所述第一网元确定所述第一准确度达到预设条件的情况下，向第二网元发送第一信息，所述第一信息用于指示所述第一模型的准确度不满足准确度需求或下降；
其中，所述第一网元为提供所述第一模型的网元，所述第二网元为对所述任务进行推理的网元。
2.根据权利要求1所述的方法，其特征在于，在所述第一网元确定所述第一模型的第一准确度之前，所述方法还包括：
所述第一网元从第二网元接收第二信息，所述第二信息用于指示所述第一模型已被用于对任务进行推理。
3.根据权利要求2所述的方法，其特征在于，所述第二信息包括以下至少一项：
所述第一模型的标识信息；
所述任务的标识信息；
所述任务的限定条件信息；
所述任务的对象信息；
所述任务对应的推理输入数据；
所述任务对应的推理结果数据。
4.根据权利要求1所述的方法，其特征在于，所述第一网元确定所述第一模型的第一准确度包括：
所述第一网元获取所述任务的第一数据；
所述第一网元根据所述第一数据，计算所述第一模型的第一准确度；
其中，所述第一数据包括以下至少一项：
所述任务对应的推理输入数据；
所述任务对应的推理结果数据；
所述任务对应的标签数据。
5.根据权利要求4所述的方法，其特征在于，所述第一网元获取所述任务的第一数据包括：
所述第一网元确定所述第一数据的来源设备；
所述第一网元从所述来源设备获取所述第一数据。
6.根据权利要求5所述的方法，其特征在于，所述提供所述第一数据的来源设备由以下至少一项信息确定：
所述第一模型的标识信息；
所述任务的标识信息；
所述任务的限定条件信息；
所述任务的对象信息。
7.根据权利要求6所述的方法，其特征在于，所述第一网元从所述来源设备获取所述第一数据，包括执行以下至少一项：
所述第一网元从第一来源设备获取所述任务对应的推理输入数据，所述第一来源设备为所述任务对应的推理输入数据的来源设备；
所述第一网元从第二来源设备获取所述任务对应的标签数据，所述第二来源设备为所述任务对应的标签数据的来源设备。
8.根据权利要求1所述的方法，其特征在于，所述预设条件包括以下条件至少之一：
所述第一准确度低于第一阈值；
所述第一准确度低于第二准确度；
所述第一准确度低于第二准确度，且与所述第二准确度的差值大于第二阈值；
其中，所述第二准确度用于指示所述第一模型在训练阶段或测试阶段所呈现的模型输出结果的准确程度。
9.根据权利要求1所述的方法，其特征在于，所述第一信息包括以下至少一项的信息：
所述任务的描述信息的全部或部分信息；
所述第一模型的准确度不满足准确度需求或下降的指示信息；
所述第一准确度；
第一推荐操作信息；
第一等待时间信息，所述第一等待时间信息用于指示对所述第一模型进行重新训练所需要的时间。
10.根据权利要求9所述的方法，其特征在于，所述第一推荐操作信息包括以下至少一种操作：
继续使用所述第一模型；
停止使用所述第一模型；
重新获取所述任务对应的模型。
11.根据权利要求1所述的方法，其特征在于，在所述第一网元确定所述第一准确度达到预设条件的情况下，所述方法还包括：
所述第一网元对所述第一模型进行重新训练。
12.根据权利要求11所述的方法，其特征在于，对所述第一模型进行重新训练的训练数据包括所述任务的第一数据；
其中，所述第一数据包括以下至少一项：
所述任务对应的推理输入数据；
所述任务对应的推理结果数据；
所述任务对应的标签数据。
13.根据权利要求11或12所述的方法，其特征在于，在对所述第一模型进行重新训练之后，所述方法还包括：
所述第一网元向所述第二网元发送第三信息，所述第三信息包括重新训练后的第一模型的信息。
14.根据权利要求13所述的方法，其特征在于，所述第三信息还包括以下至少一项：
所述重新训练后的第一模型的适用条件信息；
所述重新训练后的第一模型的第三准确度，所述第三准确度用于指示所述重新训练后的第一模型在训练阶段或测试阶段所呈现的模型输出结果的准确程度。
15.根据权利要求1所述的方法，其特征在于，所述第一网元包括模型训练功能网元。
16.根据权利要求1所述的方法，其特征在于，所述第二网元包括模型推理功能网元。
17.一种模型的准确度确定装置，其特征在于，包括：
执行模块，用于确定第一模型的第一准确度，所述第一准确度用于指示所述第一模型对任务的推理结果的准确程度；
传输模块，用于在确定所述第一准确度达到预设条件的情况下，向第二网元发送第一信息，所述第一信息用于指示所述第一模型的准确度不满足准确度需求或下降；
其中，所述模型的准确度确定装置为提供所述第一模型的网元，所述第二网元为对所述任务进行推理的网元。
18.一种模型的准确度确定方法，其特征在于，包括：
第二网元基于第一模型对任务进行推理，并向第一网元发送第二信息，所述第二信息用于指示所述第一模型已被用于对任务进行推理；
所述第二网元从所述第一网元接收第一信息，所述第一信息用于指示所述第一模型的准确度不满足准确度需求或下降。
19.根据权利要求18所述的方法，其特征在于，在从所述第一网元接收第一信息之后，所述方法还包括：
所述第二网元向第三网元发送第四信息，所述第四信息用于指示所述第一模型的准确度不满足准确度需求或下降。
20.根据权利要求18所述的方法，其特征在于，所述第二信息包括以下至少一项：
所述第一模型的标识信息；
所述任务的标识信息；
所述任务的限定条件信息；
所述任务的对象信息；
所述任务对应的推理输入数据；
所述任务对应的推理结果数据。
21.根据权利要求18所述的方法，其特征在于，所述第一信息包括以下至少一项的信息：
所述任务的描述信息的全部或部分信息；
所述第一模型的准确度不满足准确度需求或下降的指示信息；
第一准确度，所述第一准确度用于指示所述第一模型对所述任务的推理结果的准确程度；
第一推荐操作信息；
第一等待时间信息，所述第一等待时间信息用于指示对所述第一模型进行重新训练所需要的时间。
22.根据权利要求21所述的方法，其特征在于，所述第一推荐操作信息包括以下至少一项：
继续使用所述第一模型；
停止使用所述第一模型；
重新获取所述任务对应的模型。
23.根据权利要求19所述的方法，其特征在于，所述第四信息包括以下至少一项的信息：
所述任务的描述信息的全部或部分信息；
所述第一模型的准确度不满足准确度需求或下降的指示信息；
第一准确度，所述第一准确度用于指示所述第一模型对所述任务的推理结果的准确程度；
第二推荐操作信息；
第二等待时间信息，所述第二等待时间信息用于指示所述第二网元恢复对所述任务进行推理所需要的时间。
24.根据权利要求23所述的方法，其特征在于，所述第二推荐操作信息包括以下至少一种操作：
继续使用所述任务对应的推理结果数据；
停止使用所述任务对应的推理结果数据；
重新触发所述任务以获取新的推理结果数据。
25.根据权利要求18所述的方法，其特征在于，在从所述第一网元接收第一信息之后，所述方法还包括：
所述第二网元从所述第一网元接收第三信息，所述第三信息包括重新训练后的第一模型的信息。
26.根据权利要求25所述的方法，其特征在于，所述第三信息还包括以下至少一项：
所述重新训练后的第一模型的适用条件信息；
所述重新训练后的第一模型的第三准确度，所述第三准确度用于指示所述重新训练后的第一模型在训练阶段或测试阶段所呈现的模型输出结果的准确程度。
27.根据权利要求18所述的方法，其特征在于，在从所述第一网元接收第一信息之后，所述方法还包括：
所述第二网元向第四网元请求获取第二模型，所述第二模型为由所述第四网元提供的用于所述任务的模型；
基于所述第二模型对所述任务进行推理，得到所述任务新的推理结果数据。
28.根据权利要求18所述的方法，其特征在于，所述第一网元包括模型训练功能网元。
29.根据权利要求18所述的方法，其特征在于，所述第二网元包括模型推理功能网元。
30.根据权利要求19所述的方法，其特征在于，所述第三网元包括消费者网元。
31.根据权利要求27所述的方法，其特征在于，所述第四网元包括模型训练功能网元。
32.一种模型的准确度确定装置，其特征在于，包括：
推理模块，用于基于第一模型对任务进行推理，并向第一网元发送第二信息，所述第二信息用于指示所述第一模型已被用于对任务进行推理；
收发模块，用于从所述第一网元接收第一信息，所述第一信息用于指示所述第一模型的准确度不满足准确度需求或下降。
33.一种模型的准确度确定方法，其特征在于，包括：
第三网元向第二网元发送任务请求信息，所述任务请求信息用于请求对任务进行推理；
所述第三网元从所述第二网元接收第四信息，所述第四信息用于指示第一模型的准确度不满足准确度需求或下降；
其中，所述第一模型为由第一网元提供用于对所述任务进行推理的模型，所述第一模型的准确度不满足准确度需求或下降由所述第一网元确定。
34.根据权利要求33所述的方法，其特征在于，在从所述第二网元接收第四信息之后，所述方法还包括：
第三网元根据所述第四信息执行以下至少一种操作：
继续使用所述任务对应的推理结果数据；
停止使用所述任务对应的推理结果数据；
向所述第二网元重发所述任务请求信息，用于重新请求所述第二网元对所述任务进行推理；
向第五网元重发所述任务请求信息，用于请求所述第五网元对所述任务进行推理。
35.根据权利要求33所述的方法，其特征在于，所述第四信息包括以下至少一项的信息：
所述任务的描述信息的部分或全部信息；
所述第一模型的准确度不满足准确度需求或下降的指示信息；
第一准确度，所述第一准确度用于指示所述第一模型对所述任务的推理结果的准确程度；
第二推荐操作信息；
第二等待时间信息，所述第二等待时间信息用于指示所述第一网元恢复对所述任务进行推理所需要的时间。
36.根据权利要求35所述的方法，其特征在于，所述第二推荐操作信息包括以下至少一种操作：
继续使用所述任务对应的推理结果数据；
停止使用所述任务对应的推理结果数据；
重新触发所述任务以获取新的推理结果数据。
37.根据权利要求33所述的方法，其特征在于，所述第一网元包括模型训练功能网元。
38.根据权利要求33所述的方法，其特征在于，所述第二网元包括模型推理功能网元。
39.根据权利要求33所述的方法，其特征在于，所述第三网元包括消费者网元。
40.根据权利要求34所述的方法，其特征在于，所述第五网元包括模型推理功能网元。
41.一种模型的准确度确定装置，其特征在于，包括：
发送模块，用于向第二网元发送任务请求信息，所述任务请求信息用于请求对任务进行推理；
接收模块，用于从所述第二网元接收第四信息，所述第四信息用于指示第一模型的准确度不满足准确度需求或下降；
其中，所述第一模型为由第一网元提供用于对所述任务进行推理的模型，所述第一模型的准确度不满足准确度需求或下降由所述第一网元确定。
42.一种网络侧设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至16任一项所述的模型的准确度确定方法，或者实现如权利要求18至31任一项所述的模型的准确度确定方法，或者实现如权利要求33至41任一项所述的模型的准确度确定方法的步骤。
43.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至16任一项所述的模型的准确度确定方法，或者实现如权利要求18至31任一项所述的模型的准确度确定方法，或者实现如权利要求33至41任一项所述的模型的准确度确定方法的步骤。
CN202210225777.2A 2022-03-07 2022-03-07 模型的准确度确定方法、装置及网络侧设备 Pending CN116776986A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210225777.2A CN116776986A (zh) 2022-03-07 2022-03-07 模型的准确度确定方法、装置及网络侧设备
PCT/CN2023/080030 WO2023169404A1 (zh) 2022-03-07 2023-03-07 模型的准确度确定方法、装置及网络侧设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210225777.2A CN116776986A (zh) 2022-03-07 2022-03-07 模型的准确度确定方法、装置及网络侧设备

Publications (1)

Publication Number Publication Date
CN116776986A true CN116776986A (zh) 2023-09-19

Family

ID=87937261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210225777.2A Pending CN116776986A (zh) 2022-03-07 2022-03-07 模型的准确度确定方法、装置及网络侧设备

Country Status (2)

Country Link
CN (1) CN116776986A (zh)
WO (1) WO2023169404A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200272899A1 (en) * 2019-02-22 2020-08-27 Ubotica Technologies Limited Systems and Methods for Deploying and Updating Neural Networks at the Edge of a Network
CN111629319B (zh) * 2019-02-28 2022-05-31 中国移动通信有限公司研究院 一种位置预测方法及设备
US11562245B2 (en) * 2019-09-27 2023-01-24 Sap Se Neural network model generation and distribution with client feedback
CN111783978A (zh) * 2020-06-16 2020-10-16 长沙理工大学 一种用于评估神经网络线性回归模型预测准确度的方法
CN113408634B (zh) * 2021-06-29 2022-07-05 深圳市商汤科技有限公司 模型推荐方法及装置、设备、计算机存储介质
CN113837383B (zh) * 2021-10-18 2023-06-23 中国联合网络通信集团有限公司 模型训练方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2023169404A1 (zh) 2023-09-14

Similar Documents

Publication Publication Date Title
US11985025B2 (en) Network system fault resolution via a machine learning model
US20220335337A1 (en) Providing producer node machine learning based assistance
CN116776986A (zh) 模型的准确度确定方法、装置及网络侧设备
CN116776987A (zh) 模型的准确度确定方法、装置及网络侧设备
CN116776989A (zh) 模型的准确度确定方法、装置及网络侧设备
CN116776985A (zh) 模型的准确度确定方法、装置及网络侧设备
WO2023169402A1 (zh) 模型的准确度确定方法、装置及网络侧设备
CN116776988A (zh) 通信网络中的数据处理方法及网络侧设备
WO2023213288A1 (zh) 模型获取方法及通信设备
CN117914720A (zh) 模型监督处理方法、装置、网络侧设备及可读存储介质
WO2024078380A1 (zh) 模型监督处理方法、装置、网络侧设备及可读存储介质
US20240152820A1 (en) Adaptive learning in distribution shift for ran ai/ml models
WO2023213246A1 (zh) 模型选择方法、装置及网络侧设备
CN117910589A (zh) 模型请求方法、装置、通信设备及可读存储介质
CN117792909A (zh) 信息获取方法、装置、网络侧设备及存储介质
WO2024099187A1 (zh) Ai模型策略确定方法、装置、第一设备及第二设备
EP4319082A1 (en) Method, apparatus and computer program
CN117914719A (zh) 模型监督处理方法、装置、网络侧设备及可读存储介质
CN118214750A (zh) Ai算力上报方法、终端及网络侧设备
CN117062098A (zh) 模型获取方法及通信设备
CN117641309A (zh) 用户意愿验证方法、装置及网络侧设备
CN116419209A (zh) 数据处理的方法、装置及通信设备
CN116828587A (zh) 网元注册方法、模型请求方法、装置、网元、通信系统及存储介质
CN117411793A (zh) 联邦学习方法、装置、通信设备及可读存储介质
CN117501777A (zh) 人工智能模型的确定方法及装置、通信设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination