CN115589599A - 传输信息的方法和装置 - Google Patents

Abstract

本申请提供了一种传输信息的方法和装置，该传输信息的方法包括：第一网络设备向第二网络设备发送反馈信息的第一类型，第一类型包括以下一项或多项：模型评估指标，操作指示信息，和网络性能指标，模型评估指标用于指示模型的性能，操作指示信息用于指示根据模型的分析结果执行的操作，网络性能指标用于指示根据模型的分析结果获得的网络指标，第一类型用于请求反馈信息；第一网络设备从第二网络设备接收反馈信息；第一网络设备根据反馈信息确定模型的性能。本申请提供的传输信息的方法，能够使得第一网络设备根据自身需要和第二网络设备的能力配置反馈信息的类型，提高了反馈的灵活性。

Description

传输信息的方法和装置

技术领域

本申请涉及通信领域，更具体地，涉及一种传输信息的方法和装置。

背景技术

管理数据分析(Management Data Analytics，MDA)服务可以对网络、服务事件及状态相关的数据(例如，性能测量数据、最小化路测(Minimization of Drive Tests，MDT)、告警数据、配置数据、网络分析数据等)进行处理和分析，并提供分析报告。管理数据分析服务的提供者(MDAS producer)的功能主要包括机器学习(Machine Learning，ML)模型训练(ML model training)和管理数据分析(Management data analysis)两部分。由于ML模型和实际网络的复杂性，模型性能(例如，精度)会随着时间推移逐渐下降。而MDAS(Management Data Analytics Service，管理数据分析服务)分析结果是基于ML模型生成的，因此在MDAS提供分析服务的过程中，需要对分析结果进行及时地验证，以保证数据分析的效果。在MDA处理流程中，管理数据分析服务的消费者(MDAS consumer)收到分析报告后可以对分析报告进行验证，并提供反馈数据给MDAS producer。

然而，现有技术中MDAS consumer仅针对分析报告中的模型输出进行验证，MDASconsumer获取模型的真实输出值，反馈数据为修正后的模型输出，即真实输出值。但是，实际中存在模型输出对应为推荐建议，MDAS consumer无法反馈模型真实输出值的场景，或模型输出对应为预测值，但真实输出值包含多个数据的情况，全部反馈会造成资源的浪费，或模型的真实输出值存在于第三方设备，MDAS consumer无法获得模型的真实输出值的情况。例如：在某些场景下，模型的真实输出值包括多个数据，全部反馈会造成资源浪费。再例如：在节能场景下，MDAS producer提供的是为满足某一目标下的最优节能策略建议，MDASconsumer无法获得实际最优的节能策略，因此无法反馈模型的真实输出值。再例如：在切换优化场景下，MDAS consumer可以是源基站(gNodeB，gNB)。在标准切换流程中，源gNB只能基于无线信号质量选择切换的目标gNB，无法预知用户设备(User Equipment，UE)切换到某个目标gNB后的实际体验质量(Quality of Experience，QoE)，即真实输出值。这些场景下使用现有技术的方案会导致MDAS consumer无法反馈模型的真实输出值或反馈机制不够灵活造成资源浪费，影响数据分析效果。

发明内容

本申请提供一种传输信息的方法和装置，提供了一种灵活的反馈机制，使得第二网络设备能够根据第一网络设备发送的反馈信息的第一类型，确定反馈信息，进一步的，向第一网络设备发送反馈信息，第一网络设备能够根据反馈信息确定模型的性能好坏，进一步的，若模型性能较差，则调整数据分析的策略，保证数据分析的效果。

第一方面，提供了一种传输信息的方法。第一网络设备向第二网络设备发送反馈信息的第一类型，第一类型包括以下一项或多项：模型评估指标，操作指示信息，和网络性能指标，模型评估指标用于指示模型的性能，操作指示信息用于指示根据模型的分析结果执行的操作，网络性能指标用于指示根据模型的分析结果获得的网络指标，第一类型用于请求反馈信息；第一网络设备从第二网络设备接收反馈信息；第一网络设备根据反馈信息确定所述模型的性能。

该模型评估指标可能是根据模型的预测值和模型的真实值获得，例如，模型的预测值和真实值的差值，或，模型的预测值和真实值的差值的平均值等。该操作指示信息可能是第二网络设备根据模型的预测值或第一网络设备给出的推荐建议所执行的操作，可以包括具体操作信息或时间戳等。该网络性能指标可能是第二网络设备根据模型的预测值或第一网络设备给出的推荐建议执行操作以后得到的某些网络的性能指标。

根据本申请提供的通信方法，通过第一网络设备向第二网络设备发送反馈信息的第一类型，能够灵活地配置第二网络设备向第一网络设备发送的反馈信息的类型，使得第一网络设备能够根据自身需要和第二网络设备的反馈能力获取反馈信息，根据反馈信息确定模型性能的好坏，在某些场景下，还可以节省传输资源。

结合第一方面，在第一方面的某些实现方式中，第一网络设备接收反馈信息之后，根据反馈信息从第三网络设备接收模型的真实值或其他数据，例如网络性能指标等，进一步的，第一网络设备可以根据模型的真实值或其他数据以及反馈信息确定模型的性能。该实现方式使得第一网络设备可以根据反馈信息，向第三网络设备获取更多的数据，给模型的评估提供更多的数据支撑，提高模型的评估效果。

结合第一方面，在第一方面的某些实现方式中，第一网络设备从第二网络设备接收第一指示信息，第一指示信息用于指示第二网络设备支持的反馈信息的第二类型，即第二网络设备的反馈能力。第一网络设备接收第一指示信息，并根据第一指示信息指示的第二类型确定反馈信息的第一类型。该实现方式使得第一网络设备可以根据第二网络设备能够支持的反馈信息的类型进行第一类型的配置，避免出现配置错误而造成资源浪费等。

该第一指示信息可以在第一网络设备发送反馈信息的第一类型之前发送，也可以在第一网络设备发送反馈信息的第一类型之后，第二网络设备发现第一类型超出自身的反馈能力后发送。

该第二类型也可以是默认，不需要第一指示信息的指示。

第二方面，提供了一种传输信息的方法，第二网络设备从第一网络设备接收反馈信息的第一类型，第一类型包括以下一项或多项：模型评估指标，操作指示信息，和网络性能指标，模型评估指标用于指示模型的性能，操作指示信息用于指示根据模型的分析结果执行的操作，网络性能指标用于指示根据模型的分析结果获得的网络指标，第一类型用于请求反馈信息；第二网络设备根据反馈信息的第一类型向第一网络设备发送反馈信息。

该模型评估指标可能是根据模型的预测值和模型的真实值获得，例如，模型的预测值和真实值的差值，或，模型的预测值和真实值的差值的平均值等。该操作指示信息可能是第二网络设备根据模型的预测值或第一网络设备给出的推荐建议所执行的操作，可以包括具体操作信息或时间戳等。该网络性能指标可能是第二网络设备根据模型的预测值或第一网络设备给出的推荐建议执行操作以后得到的某些网络的性能指标。

根据本申请提供的通信方法，通过第二网络设备从第一网络设备接收反馈信息的第一类型，能够灵活地配置第二网络设备向第一网络设备发送的反馈信息的类型，使得第一网络设备能够根据自身需要获取反馈信息，进一步的，根据反馈信息确定模型性能的好坏，在某些场景下，还可以节省传输资源。

结合第二方面，在第二方面的某些实现方式中，第二网络设备自身无法生成第一类型对应的反馈信息，第二网络设备从第四网络设备接收反馈信息，并将反馈信息发送给第一网络设备。

结合第二方面，在第二方面的某些实现方式中，第二网络设备生成第一类型对应的反馈信息，并将反馈信息发送给第一网络设备。

结合第二方面，在第二方面的某些实现方式中，第二网络设备从第五网络设备接收模型的真实值，根据模型的真实值和第一类型生成反馈信息，将反馈信息发送给第一网络设备。

结合第二方面，在第二方面的某些实现方式中，第二网络设备向第一网络设备发送第一指示信息，该第一指示信息用于指示第二网络设备支持的反馈信息的第二类型，使第一网络设备能够根据该第二类型确定反馈信息的第一类型。该实现方式使得第一网络设备可以根据第二网络设备能够支持的反馈信息的类型进行第一类型的配置，避免配置错误而造成资源浪费或第二网络设备无法反馈等问题。

该第一指示信息可以在第一网络设备发送反馈信息的第一类型之前发送，也可以在第一网络设备发送反馈信息的第一类型之后第二网络设备发现第一类型超出自身的反馈能力后发送。

该第二类型也可以是默认的，不需要第一指示信息的指示。

第三方面，提供了一种通信装置，包括用于执行上述第一方面及其实现方式中的通信方法的各步骤的单元。

在一种设计中，该通信装置为通信芯片，该通信芯片可以包括用于发送信息或数据的输入电路或接口，以及用于接收信息或数据的输出电路或接口。

在另一种设计中，所述通信装置为通信设备(例如，第一网络设备等)，通信芯片可以包括用于发送信息的发射机，以及用于接收信息或数据的接收机。

第四方面，提供了一种通信装置，包括用于执行上述第二方面及其实现方式中的通信方法的各步骤的单元。

在一种设计中，该通信装置为通信芯片，该通信芯片可以包括用于发送信息或数据的输入电路或接口，以及用于接收信息或数据的输出电路或接口。

在另一种设计中，所述通信装置为通信设备(例如，第二网络设备等)，通信芯片可以包括用于发送信息的发射机，以及用于接收信息或数据的接收机。

第五方面，提供了一种通信设备，包括，处理器，存储器，该存储器用于存储计算机程序，该处理器用于从存储器中调用并运行该计算机程序，使得该通信设备执行上述第一方面或第二方面及其各实现方式中的通信方法。

可选地，所述处理器为一个或多个，所述存储器为一个或多个。

可选地，所述存储器可以与所述处理器集成在一起，或者所述存储器与处理器分离设置。

可选的，该通信设备还包括，发射机(发射器)和接收机(接收器)。

第六方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序(也可以称为代码，或指令)，当所述计算机程序被运行时，使得计算机执行上述第一方面或第二方面及其各实现方式中的通信方法。

第七方面，提供了一种计算机可读介质，所述计算机可读介质存储有计算机程序(也可以称为代码，或指令)当其在计算机上运行时，使得计算机执行上述第一方面或第二方面及其各实现方式中的通信方法。

第八方面，提供了一种通信系统，该系统包括：至少一个第三方面中任一项所述的装置和第四方面中任一项所述的装置。

第九方面，提供了一种芯片系统，包括存储器和处理器，该存储器用于存储计算机程序，该处理器用于从存储器中调用并运行该计算机程序，使得安装有该芯片系统的通信设备执行上述第一方面或第二方面及其各实现方式中的通信方法。

其中，该芯片系统可以包括用于发送信息或数据的输入电路或者接口，以及用于接收信息或数据的输出电路或者接口。

附图说明

图1是管理数据分析服务的验证和反馈机制流程图。

图2是本申请实施例的应用场景。

图3是本申请提供的数据分析效果反馈方法的一例的示意图。

图4是本申请提供的数据分析效果反馈方法的又一例的示意图。

图5是本申请提供的数据分析效果反馈方法的另一例的示意图。

图6是本申请提供的数据分析效果反馈方法的再一例的示意图。

图7是本申请实施例的通信装置的一例的示意图。

图8是本申请实施例的通信装置的又一例的示意图。

具体实施方式

下面将结合附图，对本申请中的技术方案进行描述。

本申请实施例的技术方案可以应用于各种通信系统，例如：全球移动通讯(GlobalSystem of Mobile communication，GSM)系统、码分多址(Code Division MultipleAccess，CDMA)系统、宽带码分多址(Wideband Code Division Multiple Access，WCDMA)系统、通用分组无线业务(General Packet Radio Service，GPRS)、长期演进(Long TermEvolution，LTE)系统、LTE频分双工(Frequency Division Duplex，FDD)系统、LTE时分双工(Time Division Duplex，TDD)、通用移动通信系统(Universal MobileTelecommunication System，UMTS)、全球互联微波接入(Worldwide Interoperabilityfor Microwave Access，WiMAX)通信系统、第五代(5th Generation，5G)系统或新无线(NewRadio，NR)等。

本申请实施例中的网络设备可以是全球移动通讯(Global System of Mobilecommunication，GSM)系统或码分多址(Code Division Multiple Access，CDMA)中的基站(Base Transceiver Station，BTS)，也可以是宽带码分多址(Wideband Code DivisionMultiple Access，WCDMA)系统中的基站(NodeB，NB)，还可以是LTE系统中的演进型基站(Evolutional NodeB，eNB或eNodeB)，还可以是云无线接入网络(Cloud Radio AccessNetwork，CRAN)场景下的无线控制器，或者该网络设备可以为中继站、接入点、车载设备、可穿戴设备以及未来5G网络中的网络设备或者未来演进的PLMN网络中的网络设备等，本申请实施例并不限定。

本申请实施例中的网元或模块可以包括：

MDAS：管理数据分析服务，可提供特定类型的管理数据分析报告。

MDA：管理数据分析，提供管理数据分析服务的逻辑实体，具有模型训练和管理数据分析功能。

模型训练模块：MDA的内部功能模块，可利用训练数据进行模型训练，生成可用的模型。

管理数据分析模块：MDA的内部功能模块，可利用AI/ML技术对管理数据(例如,性能测量数据、最小化路测、告警数据、配置数据、网络分析数据等)进行分析，并生成分析报告。

MDAS producer：管理数据分析服务的提供者，可以对外提供MDAS。

MDAS consumer：管理数据分析服务的消费者，可以调用MDAS。

图1是现有技术中管理数据分析服务的验证和反馈机制的流程图。如图1所示，MDAS验证和反馈机制的步骤如下：

第一步：分析配置。

MDAS producer向MDAS consumer发送第一配置消息，该第一配置信息包含分析标识analytics ID，用于指示MDAS producer可提供的分析类型。如果可提供多种类型的分析，则包含分析标识列表。analytics ID是分析标识，每个analytics ID唯一标识一种类型的分析，可选的取值如：handover optimization(切换优化)、coverage issue analysis(覆盖问题分析)，MDA assisted energy saving(MDA辅助节能)等。

第二步：分析报告请求与响应。

MDAS consumer向MDAS producer发送分析报告请求消息，用于请求某种指定的分析报告。消息内容包括分析标识analytics ID，可选的，还包括：分析区域area、上报方式report method、上报周期period。MDAS producer向MDAS consumer返回响应消息，包含分析标识analytics ID，表示已经收到请求。

第三步：分析报告通知。

MDAS producer收到分析报告请求后进行数据分析，准备好分析报告，向MDASconsumer发送分析报告通知，消息内容包括分析标识analytics ID、分析生成的时间timestamp of analytics、分析的有效时间段valid period、分析结果的置信度confidence level、具体的分析结果analytics results，其中分析结果为模型的输出，如某种预测的值predicted value、推荐建议recommendation。

第四、五步：分析报告验证及反馈。

MDAS consumer收到MDAS producer提供的分析报告后自行对分析结果analyticsresults进行验证，如果验证发现模型真实输出与分析报告中包含的模型输出不符，则向MDAS producer发送反馈通知，包含验证的分析标识analytics ID及修正后的数据rectified data。例如：告警分析场景下(analytics ID＝alarm incident analysis)，分析报告中包含告警源信息，如果MDAS consumer(例如,故障监控管理服务(faultsupervision MnS))发现真实的告警源与分析报告提供的告警源不符，则向MDAS producer提供反馈，反馈的修正数据rectified data为真实的告警源信息。

第六步：模型再训练。

MDAS producer收到MDAS consumer的反馈后可以利用反馈数据进行模型再训练，提高模型性能，进而提高数据分析结果的准确性。

图2是本申请实施例的系统架构图。如图所示，MDAS producer是提供管理数据分析服务的设备，MDA是承载管理数据分析功能的逻辑实体，MDAS consumer可以是任意可调用MDAS的设备。实际部署中，承担MDAS producer和MDAS consumer角色的设备有多种可能，本申请实施例中，部署架构可以为以下6种场景中的一种或者多种：

1.MDAS producer是网元管理系统(Element Management System，EMS)，MDASconsumer是网络管理系统(Network Management System，NMS)；

2.MDAS producer是NMS/EMS，MDAS consumer是gNB；

3.MDAS producer是NMS/EMS，MDAS consumer是网络数据分析功能(Network DataAnalytics Function，NWDAF)；

4.MDAS producer是NMS/EMS，MDAS consumer是人工操作者；

5.MDAS producer是NMS/EMS，MDAS consumer是第三方的网络服务优化工具；

6.MDAS producer和MDAS consumer都是NMS，或者，MDAS producer和MDASconsumer都是EMS。

如图2所示，图中的方框表示逻辑功能或逻辑实体，图中的弧形加圆圈是服务化架构的常用表示方式，连接服务的提供者和消费者，圆圈一侧表示服务的提供者，弧形一侧表示服务的消费者。如图2的(a)所示，MDA是承载管理数据分析功能的逻辑实体，包括MDAF和MDAS Producer两部分，MDAS Producer是服务接口提供者，MDAF是MDA的内部处理功能，包含数据分析功能和模型训练功能。如图2的(b)所示，MDAS Producer是服务的提供者，MDA等价于图2的(a)中的MDAF，是MDAS Producer的内部处理功能，包含数据分析功能和模型训练功能。

图3是本申请提供的数据分析效果反馈方法的一例，如图所示，该方法300包括：

S301，第一网络设备向第二网络设备发送反馈信息的第一类型。

具体的，该第一类型包括以下类型的一项或者多项：模型评估指标，操作指示信息，网络性能指标。

其中，模型评估指标用于评估模型的性能，具体的，模型评估指标是可以用于评估模型性能好坏的指标，常用的评估指标包括：精确率、准确率、错误率、召回率、均方误差、均方根误差、均方根对数误差、平均绝对误差等。该第一网络设备可以根据反馈的模型评估指标确定模型性能好坏，对性能差的模型进行调整。模型评估指标可以通过第一网络设备给出的模型的预测值和第二网络设备得到的模型的真实值获得。

作为示例而非限定，在某些场景下，第一网络设备要求第二网络设备反馈模型评估指标，第二网络设备自身可以得出模型的真实值，进一步的，第二网络设备可以根据模型预测值与模型真实值得出第一指标值作为模型评估指标的取值进行反馈。

作为示例而非限定，在某些场景下，第一网络设备要求第二网络设备反馈模型评估指标，第二网络设备自身无法得出模型的真实值，第二网络设备可以向第五网络设备请求获得模型的真实值，进一步的，第二网络设备根据请求得到的模型真实值和第一网络设备给出的预测值得出第一指标值作为模型评估指标的取值进行反馈。

需要说明的是，该第一指标值可以为根据模型的预测值和模型的至少一个真实值经过计算得出，可以为模型的精确率、准确率、错误率、召回率、均方误差、均方根误差、均方根对数误差、平均绝对误差等。在某些场景下，例如存在多个真实值时，通过反馈模型评估指标，可以节省部分反馈资源。

其中，操作指示信息用于描述该第二网络设备收到分析报告后根据第一网络设备的推荐建议或根据第一网络设备的预测值所采取的具体动作，包含具体采取的动作以及采取动作的时间戳等。

在某些实施例中，第一网络设备可以根据第二网络设备反馈的操作指示信息，向第三网络设备收集相关数据或第二网络设备执行推荐建议的动作后模型的真实值，用于确定模型的性能，进而对性能差的模型进行调整。需要说明的是，该相关数据可以为执行推荐建议的动作后对应的网络性能指标。

作为示例而非限定，第一网络设备可以根据第二网络设备反馈的操作指示信息，向第三网络设备收集执行推荐建议的动作后模型的真实值。在切换优化场景中，第二网络设备可以为源基站，第二网络设备可以向第一网络设备请求切换优化的分析报告，借助MDAS辅助进行切换判决，切换优化的分析报告包含推荐建议的动作，还可能包括执行动作后的预测值，即预测的QoE，换句话说为UE切换到某个目标gNB后预计可以达到的QoE，源gNB可以参考分析报告中的预测结果选择最适合的目标gNB执行切换，此时第一网络设备要求第二网络设备反馈操作指示信息，第二网络设备可能返回采取的切换动作以及采取动作的时间戳。可选的，第一网络设备可以根据第二网络设备反馈的操作指示信息，向第三网络设备(可以为目标基站)获取真实的QoE，然后根据反馈信息和模型的真实值进行模型性能的评估。

作为示例而非限定，在节能优化场景中，第一网络设备向第二网络设备提供的分析报告中包含节能建议，具体的，包含的建议可能有：建议进入节能模式的小区(recommended NR Cell to enter ES state)、建议转移进入节能模式的小区负载的候选小区(recommended candidate cells with precedence for taking over the trafficof the ES-Cell)、节能模式打开/关闭的时间(a time period,during which ES is ornot allowed)，该场景下分析报告中给出的是推荐建议，第二网络设备执行了推荐建议对应的动作之后，向第一网络设备反馈操作指示信息，第一网络设备接收该操作指示信息，可以向第三网络设备获取执行了该动作以后的网络性能指标，然后根据反馈信息和网络性能指标进行模型的评估。

其中，网络性能指标为第一网络设备定义的可以描述网络性能的指标，例如：标准定义的关键性能指标(Key Performance Indicator，KPI)，自定义的优化目标函数。第二网络设备可以根据第一网络设备提供的模型的预测值或提供的推荐建议执行动作，执行动作以后得到一些网络性能指标，进一步的，向第一网络设备发送反馈信息，该反馈信息可以为网络性能指标对应的数据，第一网络设备根据反馈的网络性能指标确定是否达到期望的网络性能，确定模型的性能，对性能差的模型进行调整。

在某些可能的实现方式中，网络性能指标可以为执行了推荐建议动作之后获得的网络性能指标，应理解，该推荐建议动作可以与操作指示信息相对应。例如，第一网络设备可以请求第二网络设备反馈操作指示信息，则第二网络设备反馈的操作指示信息的内容为根据推荐建议执行的动作，然后第一网络设备可以根据操作指示信息向第三网络设备获取执行了推荐建议动作以后得到的网络性能指标，进行模型的评估。第一网络设备也可以请求第二网络设备直接反馈网络性能指标，由第二网络设备执行推荐建议动作后，向第四网络设备获取网络性能指标并作为反馈信息反馈给第一网络设备。具体示例可参见操作指示信息中的相关描述。

需要说明的是，该反馈信息的第一类型可以通过feedbackInfo信令进行配置，不同场景下，feedbackInfo可选的取值不同，具体的，feedbackInfo的取值指示第二网络设备向第一网络设备发送的反馈信息的第一类型，进一步的，该取值可以确定该类型下需要的反馈信息的具体内容，作为示例而非限定，切换优化场景，feedbackInfo＝actionTakenindication，表示需要第二网络设备反馈最终确定的目标gNB标识以及切换的时间点；节能场景，feedbackInfo＝actionTaken indication，表示需要第二网络设备反馈最终采取的节能动作，即开启/关闭节能特性的小区标识以及时间点；节能场景，feedbackInfo＝能量效率(Energy Efficiency，EE)，表示需要第二网络设备反馈采取指定节能动作后能量效率KPI的取值。一种可能的EE KPI定义方式为：EE＝网络总吞吐量/网络总能耗。

需要说明的是，该反馈信息的第一类型可以作为单独的消息在发送分析报告通知之前单独发送，也可以包括在分析报告通知中。

在某些实施例中，可以默认第一网络设备已知第二网络设备支持的反馈信息的第二类型，即第一网络设备已知第二网络设备的能够反馈的反馈信息的类型，进一步的，第一网络设备根据第二类型确定反馈信息的第一类型，即第一网络设备根据第二网络设备的反馈能力指示第二网络设备反馈哪种类型的信息。

在某些实施例中，第一网络设备不知道第二网络设备支持的反馈信息的第二类型，第二网络设备可以向第一网络设备发送第一指示信息，第一指示信息指示第二网络设备支持的反馈信息的第二类型，即第二网络设备进行反馈能力上报，进一步的，第一网络设备根据第一指示信息确定反馈信息的第一类型。可选的，该第一指示信息可以为第二网络设备在第一网络设备发送反馈信息的第一类型之前向第一网络设备发送的，提前指示第二网络设备的上报能力。可选的，该第一指示信息可以为第一网络设备向第二网络设备发送反馈信息的第一类型之后向第一网络设备发送的，具体的，第二网络设备接收反馈信息的第一类型，发现自身无法上报第一类型对应的反馈信息，进一步的，向第一网络设备发送第一指示信息，进行反馈能力上报。

需要说明的是，该第一指示信息指示第二网络设备能够反馈的针对某种特定的分析类型的反馈信息的类型，可选的，该第一指示信息包含分析标识，进一步的，包含与该分析标识对应的能够反馈的反馈信息的类型。

需要说明的是，在该步骤S301之前，第一网络设备向第二网络设备发送第一配置信息。具体可参见方法400中的相关描述。

需要说明的是，在第一网络设备向第二网络设备发送第一配置信息之后，第二网络设备向第一网络设备发送分析报告请求消息，该分析报告请求消息用于请求某种指定的分析类型的分析报告，可选的，第一网络设备接收第二网络设备的分析报告请求消息后，进一步的，向第二网络设备发送响应消息，该响应消息表示第一网络设备已经收到分析报告请求消息。作为示例而非限定，该响应消息可以包括分析标识，该分析标识与上述分析报告请求消息中的分析标识相对应。需要说明的是，第一网络设备收到上述分析报告请求消息，进一步的，根据分析报告请求消息进行数据分析，准备好分析报告，向第二终端设备发送分析报告通知，该分析报告通知中可以包括但不限于：分析标识(analytics ID)、分析生成的时间(timestamp of analytics)、分析的有效时间段(valid period)、分析结果的置信度(confidence level)、具体的分析结果(analytics results)。可选的，分析结果包括模型的输出，如某种预测的值(predicted value)、推荐建议(recommendation)。

需要说明的是，反馈信息的第一类型可以包括在分析报告中发送，也可以在发送分析报告之前作为单独的一条消息发送。该反馈信息的第一类型在分析报告通知之前单独发送，更进一步的，在第二网络设备向第一网络设备发送分析报告请求消息之前，由第一网络设备单独发送给第二网络设备，不包含在分析报告通知中，针对同一种分析报告类型，只需要发送一次反馈信息的第一类型，无需在每次的分析报告通知中重复携带相同的反馈信息的第一类型，可以节省部分传输开销。

需要说明的是，该反馈信息的第一类型可能是第一网络设备结合以下因素中的至少一项确定的：分析类型，该分析类型为上述分析报告请求消息中要求的类型，

默认的或第二网络设备发送的第一指示信息中指示的第二网络设备能够反馈的反馈信息的第二类型。

作为示例而非限定，在节能场景下，feedbackInfo取值可以是actionTakenindication或EE KPI，但如果第二网络设备发送的第一指示信息中指示第二网络设备能够反馈的反馈信息的类型只包括actionTaken indication，则在该场景下feedbackInfo只能配置为actionTaken indication。

S302，第二网络设备接收反馈信息的第一类型。

S303，第二网络设备根据反馈信息的第一类型向第一网络设备发送反馈信息。

可选的，该反馈信息可以为第二网络设备根据反馈信息的第一类型自己确定的。例如，第二网络设备可以输出模型的真实值，而第一类型指示反馈模型输出预测值与模型真实值的差值的平均值作为模型评估指标的取值进行反馈，则第二网络设备可以根据第一类型获得平均值进行反馈。

或者，可选的，该反馈信息也可以为第二网络设备向第四网络设备获取的，例如，第一网络设备要求的反馈信息的第一类型为网络性能指标，则第二网络设备可以向第四网络设备发送第一类型，从第四网络设备处获取网络性能指标。也可以为第二网络设备从第五网络设备获取模型的真实值后根据模型的真实值与分析报告中的模型的预测值确定的，具体的，第二网络设备向第五网络设备发送反馈信息的第一类型，进一步的，从第五网络设备接收模型的真实值。具体示例可见步骤S301中的相关描述。

S304，第一网络设备接收第二网络设备发送的反馈信息。

S305，第一网络设备根据反馈信息确定模型的性能。

可选的，第一网络设备接收第二网络设备发送的反馈信息之后，根据反馈信息的内容，向第三网络设备发送第一请求信息，该第一请求信息表示向第三网络设备请求获取模型的真实值或其他数据，需要说明的是，该其他数据可以为步骤S301中相关示例所述的操作指示信息对应网络性能指标。需要说明的是，第一网络设备需要确定性能的模型，为前述第一网络设备训练得到的模型。第三网络设备接收第一请求信息，进一步，根据第一请求信息将模型的真实值或其他数据发送给第一网络设备。该第三网络设备可以是能够提供数据的第三方设备，作为示例而非限定，该第三网络设备可以为：应用功能(ApplicationFunction，AF)，网络数据分析功能(Network Data Analytics Function，NWDAF)，基站等。例如，在切换优化场景下，步骤S301中feedbackInfo＝actionTaken indication，第二网络设备的反馈信息为最终确定的目标基站标识以及切换的时间点，第一网络设备根据需要向第三网络设备发送第一请求信息，进一步请求终端设备切换到实际的目标基站后的真实体验质量(Quality of Experience，QoE)，该场景下，第三网络设备是可以提供QoE信息的第三方设备，该第三网络设备可以是目标基站或AF等。

在某些实施例中，第一网络设备根据反馈信息确定模型性能，或根据反馈信息和模型真实值确定模型性能，或根据反馈信息和网络性能指标确定模型性能，进一步的，根据模型的性能调整数据分析策略。需要说明的是，该模型真实值或网络性能指标是第一网络设备接收反馈信息之后，向第三方设备获取的。

作为示例而非限定，该第一网络设备可能从以下至少一种方面调整数据分析策略：

利用反馈信息进行模型再训练，

如果有其他可用模型则用其他模型进行数据分析，例如，精度更高的模型，

收集新的训练数据，从头训练新模型，可选的，重新进行数据预处理或特征选择等。

可选的，模型再训练或重新训练新模型所需时间较长，可能导致该模型暂时无法使用，在一种可能的实现方式中，第一网络设备向第二网络设备发送第二配置信息，第二配置信息中包含分析标识。例如，该第二配置信息指示该分析标识对应的分析类型暂时不可用。

该实施例提供了一种数据分析效果的灵活的反馈方法，第二网络设备可以基于第一网络设备的配置，向第一网络设备反馈第一网络设备需要的类型的反馈信息，提高了反馈的灵活性，在某些场景下，还可以节省传输资源。相应的，第一网络设备可以基于反馈信息进行模型的性能判断，进一步的，若模型性能较差，则调整数据分析的策略，保证数据的分析效果。

图4是本申请实施例提供的数据分析效果反馈方法的又一例的示意图。如图4所示，该方法400包括：

S401，第一网络设备向第二网络设备发送第一配置信息。

具体的，该第一配置信息中包括分析标识(analytics ID)，该分析标识用于指示第二网络设备第一网络设备可以提供的分析类型。可选的，如果第一网络设备可以提供多种类型的分析，则可能包含分析标识列表。每个analytics ID下的分析类型的取值唯一标识一种类型的分析，作为示例而非限定，该取值可以为：切换优化(handoveroptimization)、覆盖问题分析(coverage issue analysis)、MDA辅助节能(MDA assistedenergy saving)等。

S402，第二网络设备向第一网络设备发送第一指示信息，该第一指示信息用于指示第二网络设备支持的反馈信息的第二类型。

应理解，该步骤S402是可选的，该第二类型可以为第一网络设备默认的。

具体的，该第一指示信息可以指示针对某种特定的分析类型自身支持反馈信息的第二类型。该第一指示信息中可以包括analytics ID、以及与该analytics ID相对应的支持的反馈信息的第二类型，支持的反馈信息的第二类型可以用availableFeedbackInfo表示。第二网络设备支持的反馈信息的类型包括但不限于：

模型评估指标：可以用于评价模型性能的指标，具体描述可见方法300。

操作指示信息：指示第二网络设备收到分析报告后采取的动作信息，具体描述可见方法300。

网络性能指标：可以用于描述网络性能的指标，具体描述可见方法300。

S403，第一网络设备向第二网络设备发送反馈信息的第一类型。

具体的，该消息的内容可以包括分析标识analytics ID和该标识的分析类型对应的反馈信息的第一类型feedbackInfo。feedbackInfo可选的取值包括但不限于：模型评估指标、操作指示信息、网络性能指标等。

需要说明的是，第一网络设备向第二网络设备发送反馈信息的第一类型，可以在该步骤S403中作为一条单独的信息进行发送，也可以在步骤S405中包括在分析报告通知消息中。在某些实施例中，第一网络设备向第二网络设备发送的反馈信息的第一类型作为一条单独的信息提前发送，使得该信息和分析报告通知解耦，针对同一种分析类型，只需要配置一次反馈信息的第一类型即可，无需在每次的分析报告通知中重复携带该信息，可以节省部分传输资源的开销。

需要说明的是，若在步骤S403之前没有步骤S402，第一网络设备也没有默认第二类型，则第一网络设备可能将第一类型配置错误，第一网络设备向第二网络设备发送的反馈信息的第一类型可能为第二网络设备不支持的反馈信息的类型。可选的，第二网络设备在第一网络设备配置了不支持的第一类型以后，向第一网络设备发送反馈修改通知，用于指示第二网络设备支持的反馈信息的第二类型，第一网络设备根据反馈修改通知重新确定反馈信息的第一类型，并向第二网络设备重新发送该消息。需要说明的是，该第一次发送的反馈信息的第一类型消息和重新发送的反馈信息的第一类型消息可能为同一条消息。需要说明的是，该反馈修改通知中可能包括不支持的反馈信息的类型(unavaliableInfo)，以及不支持的原因(reason)，还可能包括自身能够支持的反馈信息的类型(avaliableInfo)，该unavaliableInfo和avaliableInfo的取值包括但不限于：模型评估指标、操作指示信息、网络性能指标等。需要说明的是，该反馈修改通知和前述第一指示信息可以为一条消息。

S404，第二网络设备向第一网络设备发送分析报告请求。

具体的，第二网络设备可以请求某种特定分析类型的分析报告，该消息的内容包括analytics ID，可选的，该消息还可能包括以下一项或多项：分析区域(area)、上报方式(area)、上报周期(area)等。

可选的，第一网络设备接收分析报告请求，向第二网络设备发送响应消息，该响应消息可以包括analytics ID，用以表示第一网络设备已经收到该请求。

S405，第一网络设备向第二网络设备发送分析报告通知。

需要说明的是，步骤S403中的反馈信息的第一类型消息，可以包括在该分析报告通知中，而不是作为一条单独的消息发送。

具体的，第一网络设备收到步骤S404的分析报告请求后，根据第二网络设备的请求，进行数据分析，准备好分析报告，进一步的，向第二网络设备发送分析报告通知，该分析报告通知中包括分析标识analytics ID、分析生成的时间timestamp of analytics、分析的有效时间段valid period、分析结果的置信度confidence level、具体的分析结果analytics results等，当反馈信息的第一类型包括在该分析报告通知中时，该消息中还包括反馈信息的第一类型feedbackInfo，以及对应的值。

S406，第二网络设备根据反馈信息的第一类型确定反馈信息。

可选的，第二网络设备自身可以得出模型的真实值，并对数据进行处理，确定反馈信息，具体示例可以参见方法300中的相关描述。

可选的，第二网络设备可以向第四网络设备发送反馈信息的第一类型，从第四网络设备接收反馈信息，具体示例可以参见方法300中的相关描述。

可选的，第二网络设备可以向第五网络设备发送请求信息，从第五网络设备处获取模型的真实值，并根据真实值和反馈信息的第一类型确定反馈信息。具体示例可以参见方法300中的相关描述。

S407，第二网络设备向第一网络设备发送反馈信息。

S408，第一网络设备向第三网络设备发送请求信息。

需要说明的是，该步骤为可选的。

具体的，第一网络设备接收反馈信息后，需要更多的数据进行模型性能的评估，可以向第三网络设备发送请求信息，请求获取更多的其他数据或模型的真实值。作为示例而非限定，在切换场景中，第二网络设备返回的反馈信息对应的第一类型为操作指示信息，则第二网络设备的反馈信息可能包括执行的动作、以及执行动作的时间戳，则第一网络设备收到反馈信息后，可以向第三网络设备(目标基站)获取UE真实的QoE来进行模型性能的评估。作为示例而非限定，在节能场景中，第二网络设备返回的反馈信息对应的第一类型为操作指示信息，第二网络设备的反馈信息可能包括采取的节能动作，则第一网络设备收到反馈信息以后，可以向第三网络设备获取其他数据，例如，采取节能动作以后的网络性能指标等，用来进行模型的评估。

相应的，第一网络设备接收真实值或其他性能数据。

S409，第一网络设备评估模型的性能。

具体的，第一网络设备根据反馈信息评估模型的性能，或第一网络设备根据步骤S408接收的其他数据或模型的真实值和反馈信息评估模型的性能。

可选的，第一网络设备可以对性能较差的模型进行调整，调整的方式包括但不限于以下几项：

对模型进行再训练；

调用其他可以用于数据分析的模型，例如，可以选择精度更高的模型；

收集新的数据，从头训练新模型，可选的，可以重新进行数据预处理、特征选择等。

S410，第一网络设备向第二网络设备发送第二配置信息。

具体的，当模型再训练或重新训练需要的时间太长，导致该模型暂时无法使用，第一网络设备可以向第二网络设备发送第二配置信息，指示某种特定的分析类型暂时无法提供，该信息可以包括分析标识analytics ID。需要说明的是，该步骤是可选的。

该实施例提供了一种数据分析效果的灵活的反馈方法，第二网络设备可以基于第一网络设备的配置，向第一网络设备反馈第一网络设备需要的类型的反馈信息，提高了反馈的灵活性，在某些场景下，还可以节省传输资源，第一网络设备可以基于反馈信息进行模型的性能判断，并进一步的，若模型性能较差，则调整数据分析的策略，保证数据的分析效果。

如图5是本申请提供的数据分析效果反馈方法的又一例，如图所示，该方法500包括：

S501，第一网络设备向第二网络设备发送第一请求信息，第一请求信息指示第二网络设备向第一网络设备反馈模型的真实值。

需要说明的是，该步骤是可选的，也可以为第二网络设备默认向第一网络设备发送模型的真实值。

需要说明的是，该第一请求信息可以包括在分析报告通知中，也可以作为一条消息单独发送。该步骤前的相关步骤以及关于该配置信息的具体配置方法与方法300类似，可参见方法300中的相关描述。

S502，第二网络设备接收第一请求信息。

在该方法实施例中，第二网络设备本身不能输出模型的真实值，故向第三网络设备请求模型的真实值，作为示例而非限定，在切换优化场景下，第二网络设备为源基站，源基站本身无法获取UE切换以后的QoE信息，故第二网络设备向第三网络设备即目标基站请求获取UE切换后的QoE，并作为反馈信息发送给第一网络设备。

需要说明的是，该方法实施例中，新增了接口以便第二网络设备向第三网络设备获取模型的真实值。

S503，第二网络设备从其他网络设备获取模型的真实值。

S504，第二网络设备向第一网络设备发送反馈信息。

第二网络设备将模型的真实值作为反馈信息发送给第一网络设备。

S505，第一网络设备接收模型的真实值，根据模型的真实值对模型的性能进行评估。

该方法实施例中，通过新增网络接口，在第二网络设备自身无法得到模型真实值的情况下，可以向其他网络设备获取模型的真实值，从而作为反馈信息反馈给第一网络设备，使第一网络设备根据模型的真实值确定模型的性能，进一步的，对性能较差的模型进行进一步训练，保证数据分析效果。

如图6是本申请提供的数据分析效果反馈方法的再一例，如图所示，该方法600包括：

S601，第一网络设备向第二网络设备发送第一配置信息。

该步骤与方法400中的步骤S401类似，具体可参见步骤S401中的相关描述。

S602，第二网络设备向第一网络设备发送第一指示信息，该第一指示信息用于指示第二网络设备支持反馈模型的真实值。

需要说明的是，该步骤是可选的，第二网络设备可以反馈模型的真实值也可以为第一网络设备默认的。

S603，第一网络设备向第二网络设备发送第一请求信息。

具体的，该第一请求信息请求第二网络设备反馈模型的真实值。需要说明的是，该步骤为可选的，第二网络设备可以默认向第一网络设备反馈模型的真实值。

需要说明的是，第一网络设备向第二网络设备发送第一请求信息，可以在该步骤S602中作为一条单独的信息进行发送，也可以在步骤S604中包括在分析报告通知消息中。在某些实施例中，第一网络设备向第二网络设备发送的第一请求信息作为一条单独的信息提前发送，使得该信息和分析报告通知解耦，针对同一种分析类型，只需要发送一次，无需在每次的分析报告通知中重复携带该信息，可以节省部分传输资源的开销。

关于该消息的具体网络信令和内容可以参见步骤S403中的相关描述。

S604，第二网络设备向第一网络设备发送分析报告请求。

该步骤可参见步骤S404中的相关描述。

S605，第一网络设备向第二网络设备发送分析报告通知。

需要说明的是，步骤S602中的第一请求信息，可以包括在该分析报告通知中，而不是作为一条单独的消息发送。

关于该步骤的具体描述可以参见步骤S405的相关描述。

S606，第二网络设备向其他网络设备获取模型的真实值。

具体的，第二网络设备根据第一请求信息，通过新增的网络接口，向其他网络设备获取模型的真实值。

S607，第二网络设备向第一网络设备发送反馈信息。

S608，第一网络设备根据模型的真实值获取其他性能数据。

需要说明的是，可能第一网络设备仅根据模型的真实值无法对模型性能进行评估，第一网络设备根据需要获取其他性能数据，进一步的，根据真实值和性能数据对模型进行评估。

需要说明的是，该步骤为可选的。

S609，第一网络设备评估模型的性能。

该步骤与方法400中的步骤S409类似，可参见S409的相关描述。

S610，第一网络设备向第二网络设备发送第二配置信息。该步骤与方法400中的步骤S410类似，可参见S410的相关描述。

图7是本申请实施例的通信装置700示意图，该通信装置700中的各个单元可以通过软件来实现。

在一些实施例中，该通信装置700可以是上文方法实施例300中的第一网络设备，也可以是用于实现上文方法实施例中第一网络设备的功能的芯片。应理解，该通信装置700可以对应于本申请实施例的方法300中的第一网络设备对应的步骤。该通信装置700包括：

收发单元710，用于向第二网络设备发送反馈信息的第一类型。

处理单元720，用于根据反馈信息确定模型的性能。

具体的，该第一类型包括以下类型的一项或者多项：模型评估指标，操作指示信息，网络性能指标。

其中，模型评估指标用于评估模型的性能，具体的，模型评估指标是可以用于评估模型性能好坏的指标，常用的评估指标包括：精确率、准确率、错误率、召回率、均方误差、均方根误差、均方根对数误差、平均绝对误差等。该处理单元720可以根据反馈的模型评估指标确定模型性能好坏，对性能差的模型进行调整。模型评估指标可以通过该处理单元720给出的模型的预测值和第二网络设备得到的模型的真实值获得。

作为示例而非限定，在某些场景下，处理单元720要求第二网络设备反馈模型评估指标，第二网络设备自身可以得出模型的真实值，进一步的，第二网络设备可以根据模型预测值与模型真实值得出第一指标值作为模型评估指标的取值进行反馈。

作为示例而非限定，在某些场景下，处理单元720要求第二网络设备反馈模型评估指标，第二网络设备自身无法得出模型的真实值，第二网络设备可以向第五网络设备请求获得模型的真实值，进一步的，第二网络设备根据请求得到的模型真实值和处理单元720给出的预测值得出第一指标值作为模型评估指标的取值进行反馈。

需要说明的是，该第一指标值可以为根据模型的预测值和模型的至少一个真实值经过计算得出，可以为模型的精确率、准确率、错误率、召回率、均方误差、均方根误差、均方根对数误差、平均绝对误差等。在某些场景下，例如存在多个真实值时，通过反馈模型评估指标，可以节省部分反馈资源。

其中，操作指示信息用于描述该第二网络设备收到分析报告后根据处理单元720的推荐建议或根据处理单元720的预测值所采取的具体动作，包含具体采取的动作以及采取动作的时间戳等。

在某些实施例中，处理单元720可以根据第二网络设备反馈的操作指示信息，向第三网络设备收集相关数据或第二网络设备执行推荐建议的动作后模型的真实值，用于确定模型的性能，进而对性能差的模型进行调整。需要说明的是，该相关数据可以为执行推荐建议的动作后对应的网络性能指标。

作为示例而非限定，处理单元720可以根据第二网络设备反馈的操作指示信息，向第三网络设备收集执行推荐建议的动作后模型的真实值。在切换优化场景中，第二网络设备可以为源基站，第二网络设备可以向处理单元720请求切换优化的分析报告，借助MDAS辅助进行切换判决，切换优化的分析报告包含推荐建议的动作，还可能包括执行动作后的预测值，即预测的QoE，换句话说为UE切换到某个目标gNB后预计可以达到的QoE，源gNB可以参考分析报告中的预测结果选择最适合的目标gNB执行切换，此时处理单元720要求第二网络设备反馈操作指示信息，第二网络设备可能返回采取的切换动作以及采取动作的时间戳。可选的，处理单元720可以根据第二网络设备反馈的操作指示信息，向第三网络设备(可以为目标基站)获取真实的QoE，然后根据反馈信息和模型的真实值进行模型性能的评估。

作为示例而非限定，在节能优化场景中，处理单元720向第二网络设备提供的分析报告中包含节能建议，具体的，包含的建议可能有：建议进入节能模式的小区(recommendedNR Cell to enter ES state)、建议转移进入节能模式的小区负载的候选小区(recommended candidate cells with precedence for taking over the traffic ofthe ES-Cell)、节能模式打开/关闭的时间(a time period,during which ES is or notallowed)，该场景下分析报告中给出的是推荐建议，第二网络设备执行了推荐建议对应的动作之后，向收发单元710反馈操作指示信息，收发单元710接收该操作指示信息，可以向第三网络设备获取执行了该动作以后的网络性能指标，然后根据反馈信息和网络性能指标进行模型的评估。

其中，网络性能指标为处理单元720定义的可以描述网络性能的指标，例如：标准定义的关键性能指标(Key Performance Indicator，KPI)，自定义的优化目标函数。第二网络设备可以根据处理单元720提供的模型的预测值或提供的推荐建议执行动作，执行动作以后得到一些网络性能指标，进一步的，向收发单元710发送反馈信息，该反馈信息可以为网络性能指标对应的数据，处理单元720根据反馈的网络性能指标确定是否达到期望的网络性能，确定模型的性能，对性能差的模型进行调整。

在某些可能的实现方式中，网络性能指标可以为执行了推荐建议动作之后获得的网络性能指标，应理解，该推荐建议动作可以与操作指示信息相对应。例如，处理单元720可以请求第二网络设备反馈操作指示信息，则第二网络设备反馈的操作指示信息的内容为根据推荐建议执行的动作，然后处理单元720可以根据操作指示信息向第三网络设备获取执行了推荐建议动作以后得到的网络性能指标，进行模型的评估。处理单元720也可以请求第二网络设备直接反馈网络性能指标，由第二网络设备执行推荐建议动作后，向第四网络设备获取网络性能指标并作为反馈信息反馈给收发单元710。具体示例可参见操作指示信息中的相关描述。

需要说明的是，该反馈信息的第一类型可以通过feedbackInfo信令进行配置，不同场景下，feedbackInfo可选的取值不同，具体的，feedbackInfo的取值指示第二网络设备向收发单元710发送的反馈信息的第一类型，进一步的，该取值可以确定该类型下需要的反馈信息的具体内容，作为示例而非限定，切换优化场景，feedbackInfo＝actionTakenindication，表示需要第二网络设备反馈最终确定的目标gNB标识以及切换的时间点；节能场景，feedbackInfo＝actionTaken indication，表示需要第二网络设备反馈最终采取的节能动作，即开启/关闭节能特性的小区标识以及时间点；节能场景，feedbackInfo＝能量效率(Energy Efficiency，EE)，表示需要第二网络设备反馈采取指定节能动作后能量效率KPI的取值。一种可能的EE KPI定义方式为：EE＝网络总吞吐量/网络总能耗。

需要说明的是，该反馈信息的第一类型可以作为单独的消息在发送分析报告通知之前单独发送，也可以包括在分析报告通知中。

在某些实施例中，可以默认处理单元720已知第二网络设备支持的反馈信息的第二类型，即处理单元720已知第二网络设备的能够反馈的反馈信息的类型，进一步的，处理单元720根据第二类型确定反馈信息的第一类型，即处理单元720根据第二网络设备的反馈能力指示第二网络设备反馈哪种类型的信息。

在某些实施例中，处理单元720不知道第二网络设备支持的反馈信息的第二类型，第二网络设备可以向收发单元710发送第一指示信息，第一指示信息指示第二网络设备支持的反馈信息的第二类型，即第二网络设备进行反馈能力上报，进一步的，处理单元720根据第一指示信息确定反馈信息的第一类型。可选的，该第一指示信息可以为第二网络设备在收发单元710发送反馈信息的第一类型之前向收发单元710发送的，提前指示第二网络设备的上报能力。可选的，该第一指示信息可以为收发单元710向第二网络设备发送反馈信息的第一类型之后向收发单元710发送的，具体的，第二网络设备接收反馈信息的第一类型，发现自身无法上报第一类型对应的反馈信息，进一步的，向收发单元710发送第一指示信息，进行反馈能力上报。

需要说明的是，该第一指示信息指示第二网络设备能够反馈的针对某种特定的分析类型的反馈信息的类型，可选的，该第一指示信息包含分析标识，进一步的，包含与该分析标识对应的能够反馈的反馈信息的类型。

需要说明的是，在该步骤之前，收发单元710向第二网络设备发送第一配置信息。

需要说明的是，在收发单元710向第二网络设备发送第一配置信息之后，第二网络设备向收发单元710发送分析报告请求消息，该分析报告请求消息用于请求某种指定的分析类型的分析报告，可选的，收发单元710接收第二网络设备的分析报告请求消息后，进一步的，向第二网络设备发送响应消息，该响应消息表示收发单元710已经收到分析报告请求消息。作为示例而非限定，该响应消息可以包括分析标识，该分析标识与上述分析报告请求消息中的分析标识相对应。需要说明的是，收发单元710收到上述分析报告请求消息，进一步的，根据分析报告请求消息进行数据分析，准备好分析报告，向第二终端设备发送分析报告通知，该分析报告通知中可以包括但不限于：分析标识(analytics ID)、分析生成的时间(timestamp of analytics)、分析的有效时间段(valid period)、分析结果的置信度(confidence level)、具体的分析结果(analytics results)。可选的，分析结果包括模型的输出，如某种预测的值(predicted value)、推荐建议(recommendation)。

需要说明的是，反馈信息的第一类型可以包括在分析报告中发送，也可以在发送分析报告之前作为单独的一条消息发送。该反馈信息的第一类型在分析报告通知之前单独发送，更进一步的，在第二网络设备向收发单元710发送分析报告请求消息之前，由收发单元710单独发送给第二网络设备，不包含在分析报告通知中，针对同一种分析报告类型，只需要发送一次反馈信息的第一类型，无需在每次的分析报告通知中重复携带相同的反馈信息的第一类型，可以节省部分传输开销。

需要说明的是，该反馈信息的第一类型可能是处理单元720结合以下因素中的至少一项确定的：

分析类型，该分析类型为上述分析报告请求消息中要求的类型，

默认的或第二网络设备发送的第一指示信息中指示的第二网络设备能够反馈的反馈信息的第二类型。

作为示例而非限定，在节能场景下，feedbackInfo取值可以是actionTakenindication或EE KPI，但如果第二网络设备发送的第一指示信息中指示第二网络设备能够反馈的反馈信息的类型只包括actionTaken indication，则在该场景下feedbackInfo只能配置为actionTaken indication。

所述收发单元710还用于接收第二网络设备发送的反馈信息。

所述处理单元720还用于根据反馈信息确定模型的性能。

可选的，收发单元710接收第二网络设备发送的反馈信息之后，根据反馈信息的内容，向第三网络设备发送第一请求信息，该第一请求信息表示向第三网络设备请求获取模型的真实值或其他数据，需要说明的是，该其他数据可以为步骤S301中相关示例所述的操作指示信息对应网络性能指标。需要说明的是，处理单元720需要确定性能的模型，为前述处理单元720训练得到的模型。第三网络设备接收第一请求信息，进一步，根据第一请求信息将模型的真实值或其他数据发送给收发单元710。该第三网络设备可以是能够提供数据的第三方设备，作为示例而非限定，该第三网络设备可以为：应用功能(ApplicationFunction，AF)，网络数据分析功能(Network Data Analytics Function，NWDAF)，基站等。例如，在切换优化场景下，步骤S301中feedbackInfo＝actionTaken indication，第二网络设备的反馈信息为最终确定的目标基站标识以及切换的时间点，处理单元720根据需要向第三网络设备发送第一请求信息，进一步请求终端设备切换到实际的目标基站后的真实体验质量(Quality of Experience，QoE)，该场景下，第三网络设备是可以提供QoE信息的第三方设备，该第三网络设备可以是目标基站或AF等。

在某些实施例中，处理单元720根据反馈信息确定模型性能，或根据反馈信息和模型真实值确定模型性能，或根据反馈信息和网络性能指标确定模型性能，进一步的，根据模型的性能调整数据分析策略。需要说明的是，该模型真实值或网络性能指标是收发单元710接收反馈信息之后，向第三方设备获取的。

作为示例而非限定，该处理单元720可能从以下至少一种方面调整数据分析策略：

利用反馈信息进行模型再训练，

如果有其他可用模型则用其他模型进行数据分析，例如，精度更高的模型，

收集新的训练数据，从头训练新模型，可选的，重新进行数据预处理或特征选择等。

可选的，模型再训练或重新训练新模型所需时间较长，可能导致该模型暂时无法使用，在一种可能的实现方式中，收发单元710向第二网络设备发送第二配置信息，该第二配置信息中包含分析标识，该配置信息指示该分析标识对应的分析类型暂时不可用。

在一些实施例中，该通信装置700可以是上文方法实施例400中的第一网络设备，也可以是用于实现上文方法实施例中第一网络设备的功能的芯片。应理解，该通信装置700可以对应于本申请实施例的方法400中的第一网络设备对应的步骤。该通信装置700包括:

收发单元710：用于向第二网络设备发送第一配置信息。

处理单元720：用于根据反馈信息确定模型的性能。

具体的，该第一配置信息中包括分析标识(analytics ID)，该分析标识用于指示第二网络设备处理单元720可以提供的分析类型。可选的，如果处理单元720可以提供多种类型的分析，则可能包含分析标识列表。每个analytics ID下的分析类型的取值唯一标识一种类型的分析，作为示例而非限定，该取值可以为：切换优化(handover optimization)、覆盖问题分析(coverage issue analysis)、MDA辅助节能(MDA assisted energy saving)等。

所述收发单元710还用于接收第一指示信息，该第一指示信息用于指示第二网络设备支持的反馈信息的类型。

应理解，该步骤是可选的，该第二类型可以为处理单元720默认的。

具体的，该第一指示信息可以指示针对某种特定的分析类型自身支持反馈信息的第二类型。该第一指示信息中可以包括analytics ID、以及与该analytics ID相对应的支持的反馈信息的第二类型，支持的反馈信息的第二类型可以用availableFeedbackInfo表示。第二网络设备支持的反馈信息的类型包括但不限于：

模型评估指标：可以用于评价模型性能的指标，具体描述可见方法300对应的装置。

操作指示信息：指示第二网络设备收到分析报告后采取的动作信息，具体描述可见方法300对应的装置。

网络性能指标：可以用于描述网络性能的指标，具体描述可见方法300对应的装置。

该收发单元710还用于向第二网络设备发送反馈信息的第一类型。

具体的，该消息的内容可以包括分析标识analytics ID和该标识的分析类型对应的反馈信息的第一类型feedbackInfo。feedbackInfo可选的取值包括但不限于：模型评估指标、操作指示信息、网络性能指标等。

需要说明的是，收发单元710向第二网络设备发送反馈信息的第一类型，可以作为一条单独的信息进行发送，也可以包括在分析报告通知消息中。在某些实施例中，收发单元710向第二网络设备发送的反馈信息的第一类型作为一条单独的信息提前发送，使得该信息和分析报告通知解耦，针对同一种分析类型，只需要配置一次反馈信息的第一类型即可，无需在每次的分析报告通知中重复携带该信息，可以节省部分传输资源的开销。

需要说明的是，处理单元720没有默认第二类型，收发单元710也没有收到第一指示信息，则第一网络设备可能将第一类型配置错误，收发单元710向第二网络设备发送的反馈信息的第一类型可能为第二网络设备不支持的反馈信息的类型。可选的，第二网络设备在处理单元720配置了不支持的第一类型以后，向收发单元710发送反馈修改通知，用于指示第二网络设备支持的反馈信息的第二类型，处理单元720根据反馈修改通知重新确定反馈信息的第一类型，并向第二网络设备重新发送该消息。需要说明的是，该第一次发送的反馈信息的第一类型消息和重新发送的反馈信息的第一类型消息可能为同一条消息。需要说明的是，该反馈修改通知中可能包括不支持的反馈信息的类型(unavaliableInfo)，以及不支持的原因(reason)，还可能包括自身能够支持的反馈信息的类型(avaliableInfo)，该unavaliableInfo和avaliableInfo的取值包括但不限于：模型评估指标、操作指示信息、网络性能指标等。需要说明的是，该反馈修改通知和前述第一指示信息可以为一条消息。

所述收发单元710还用于接收第二网络设备发送的分析报告请求。

具体的，第二网络设备可以请求某种特定分析类型的分析报告，该消息的内容包括analytics ID，可选的，该消息还可能包括以下一项或多项：分析区域(area)、上报方式(area)、上报周期(area)等。

可选的，收发单元710接收分析报告请求，向第二网络设备发送响应消息，该响应消息可以包括analytics ID，用以表示已经收到该请求。

所述收发单元710还用于向第二网络设备发送分析报告通知。

需要说明的是，反馈信息的第一类型消息，可以包括在该分析报告通知中，而不是作为一条单独的消息发送。

具体的，收发单元710收到分析报告请求后，根据第二网络设备的请求，进行数据分析，准备好分析报告，进一步的，向第二网络设备发送分析报告通知，该分析报告通知中包括分析标识analytics ID、分析生成的时间timestamp of analytics、分析的有效时间段valid period、分析结果的置信度confidence level、具体的分析结果analyticsresults等，当反馈信息的第一类型包括在该分析报告通知中时，该消息中还包括反馈信息的第一类型feedbackInfo，以及对应的值。

所述收发单元710还用于接收反馈信息。

所述收发单元710还用于向第三网络设备发送请求信息。

具体的，收发单元710接收反馈信息后，需要更多的数据进行模型性能的评估，可以向第三网络设备发送请求信息，请求获取更多的其他数据或模型的真实值。作为示例而非限定，在切换场景中，第二网络设备返回的反馈信息对应的第一类型为操作指示信息，则第二网络设备的反馈信息可能包括执行的动作、以及执行动作的时间戳，则收发单元710收到反馈信息后，可以向第三网络设备(目标基站)获取UE真实的QoE来进行模型性能的评估。作为示例而非限定，在节能场景中，第二网络设备返回的反馈信息对应的第一类型为操作指示信息，第二网络设备的反馈信息可能包括采取的节能动作，则收发单元710收到反馈信息以后，可以向第三网络设备获取其他数据，例如，采取节能动作以后的网络性能指标等，用来进行模型的评估。

相应的，收发单元710接收真实值或其他性能数据。

所述处理单元720用于评估模型的性能。

具体的，处理单元720根据反馈信息评估模型的性能，或处理单元720根据接收的其他数据或模型的真实值和反馈信息评估模型的性能。

可选的，处理单元720可以对性能较差的模型进行调整，调整的方式包括但不限于以下几项：

对模型进行再训练；

调用其他可以用于数据分析的模型，例如，可以选择精度更高的模型；

收集新的数据，从头训练新模型，可选的，可以重新进行数据预处理、特征选择等。

所述收发单元710还用于发送第二配置信息。

具体的，当模型再训练或重新训练需要的时间太长，导致该模型暂时无法使用，处理单元710可以向第二网络设备发送第二配置信息，指示某种特定的分析类型暂时无法提供，该信息可以包括分析标识analytics ID。

在一些实施例中，该通信装置700可以是上文方法实施例500中的第一网络设备，也可以是用于实现上文方法实施例中第一网络设备的功能的芯片。应理解，该通信装置700可以对应于本申请实施例的方法500中的第一网络设备对应的步骤。该通信装置700包括：

收发单元710：用于向第二网络设备发送第一请求信息。

处理单元720：用于根据模型的真实值对模型的性能进行评估。

第一请求信息指示第二网络设备向收发单元710备反馈模型的真实值。

需要说明的是，该步骤是可选的，也可以为第二网络设备默认向收发单元710发送模型的真实值。

需要说明的是，该第一请求信息可以包括在分析报告通知中，也可以作为一条消息单独发送。该步骤前的相关步骤以及关于该配置信息的具体配置与方法300对应的相关装置类似，可参见方法300对应的装置的相关描述。

该收发单元710还用于接收第二网络设备发送的反馈信息。

该反馈信息是模型的真实值。

在一些实施例中，该通信装置700可以是上文方法实施例600中的第一网络设备，也可以是用于实现上文方法实施例中第一网络设备的功能的芯片。应理解，该通信装置700可以对应于本申请实施例的方法600中的第一网络设备对应的步骤。该通信装置700包括：

收发单元710：用于向第二网络设备发送第一配置信息。

处理单元720：用于根据反馈信息确定模型的性能。

该收发单元710还用于接收第二网络设备发送的第一指示信息，该第一指示信息用于指示第二网络设备支持反馈模型的真实值。需要说明的是，第二网络设备可以反馈模型的真实值也可以为第一网络设备默认的。

该收发单元710还用于向第二网络设备发送第一请求信息。

具体的，该第一请求信息请求第二网络设备反馈模型的真实值。需要说明的是，该步骤为可选的，第二网络设备可以默认向收发单元710反馈模型的真实值。

需要说明的是，收发单元710向第二网络设备发送第一请求信息，可以作为一条单独的信息进行发送，也可以包括在分析报告通知消息中。在某些实施例中，收发单元710向第二网络设备发送的第一请求信息作为一条单独的信息提前发送，使得该信息和分析报告通知解耦，针对同一种分析类型，只需要发送一次，无需在每次的分析报告通知中重复携带该信息，可以节省部分传输资源的开销。

关于该消息的具体网络信令和内容可以参见方法400对应的装置中的相关描述。

该收发单元710还用于接收第二网络设备发送的分析报告通知。

该收发单元710还用于接收反馈信息。

该处理单元720还用于根据模型的真实值获取其他性能数据。

需要说明的是，可能处理单元720仅根据模型的真实值无法对模型性能进行评估，第一网络设备根据需要获取其他性能数据，进一步的，根据真实值和性能数据对模型进行评估。

该处理单元720还用于确定第二配置信息。

该收发单元710还用于向第二网络设备发送第二配置信息。

在一些实施例中，该通信装置700可以是上文方法实施例300中的第二网络设备，也可以是用于实现上文方法实施例中第二网络设备的功能的芯片。应理解，该通信装置700可以对应于本申请实施例的方法300中的第二网络设备对应的步骤。该通信装置700包括：

收发单元710：用于从第一网络设备接收反馈信息的第一类型。

处理单元720：用于根据反馈信息的第一类型确定反馈信息。

具体的，该第一类型包括以下类型的一项或者多项：模型评估指标，操作指示信息，网络性能指标。

其中，模型评估指标用于评估模型的性能，具体的，模型评估指标是可以用于评估模型性能好坏的指标，常用的评估指标包括：精确率、准确率、错误率、召回率、均方误差、均方根误差、均方根对数误差、平均绝对误差等。第一网络设备可以根据反馈的模型评估指标确定模型性能好坏，对性能差的模型进行调整。模型评估指标可以通过第一网络设备给出的模型的预测值和处理单元720得到的模型的真实值获得。

作为示例而非限定，在某些场景下，第一网络设备要求处理单元720反馈模型评估指标，处理单元720自身可以得出模型的真实值，进一步的，处理单元720可以根据模型预测值与模型真实值得出第一指标值作为模型评估指标的取值进行反馈。

作为示例而非限定，在某些场景下，第一网络设备要求处理单元720反馈模型评估指标，处理单元720自身无法得出模型的真实值，收发单元710可以向第五网络设备请求获得模型的真实值，进一步的，处理单元720根据请求得到的模型真实值和第一网络设备给出的预测值得出第一指标值作为模型评估指标的取值进行反馈。

需要说明的是，该第一指标值可以为根据模型的预测值和模型的至少一个真实值经过计算得出，可以为模型的精确率、准确率、错误率、召回率、均方误差、均方根误差、均方根对数误差、平均绝对误差等。在某些场景下，例如存在多个真实值时，通过反馈模型评估指标，可以节省部分反馈资源。

其中，操作指示信息用于描述该收发单元710收到分析报告后根据第一网络设备的推荐建议或根据第一网络设备的预测值所采取的具体动作，包含具体采取的动作以及采取动作的时间戳等。

在某些实施例中，第一网络设备可以根据收发单元710反馈的操作指示信息，向第三网络设备收集相关数据或处理单元720执行推荐建议的动作后模型的真实值，用于确定模型的性能，进而对性能差的模型进行调整。需要说明的是，该相关数据可以为执行推荐建议的动作后对应的网络性能指标。

作为示例而非限定，第一网络设备可以根据收发单元710反馈的操作指示信息，向第三网络设备收集执行推荐建议的动作后模型的真实值。在切换优化场景中，该装置可以为源基站，收发单元710可以向第一网络设备请求切换优化的分析报告，借助MDAS辅助进行切换判决，切换优化的分析报告包含推荐建议的动作，还可能包括执行动作后的预测值，即预测的QoE，换句话说为UE切换到某个目标gNB后预计可以达到的QoE，源gNB可以参考分析报告中的预测结果选择最适合的目标gNB执行切换，此时第一网络设备要求收发单元710反馈操作指示信息，收发单元710可能返回采取的切换动作以及采取动作的时间戳。可选的，第一网络设备可以根据收发单元710反馈的操作指示信息，向第三网络设备(可以为目标基站)获取真实的QoE，然后根据反馈信息和模型的真实值进行模型性能的评估。

作为示例而非限定，在节能优化场景中，第一网络设备向处理单元720提供的分析报告中包含节能建议，具体的，包含的建议可能有：建议进入节能模式的小区(recommendedNR Cell to enter ES state)、建议转移进入节能模式的小区负载的候选小区(recommended candidate cells with precedence for taking over the traffic ofthe ES-Cell)、节能模式打开/关闭的时间(a time period,during which ES is or notallowed)，该场景下分析报告中给出的是推荐建议，处理单元720执行了推荐建议对应的动作之后，向第一网络设备反馈操作指示信息，第一网络设备接收该操作指示信息，可以向第三网络设备获取执行了该动作以后的网络性能指标，然后根据反馈信息和网络性能指标进行模型的评估。

其中，网络性能指标为第一网络设备定义的可以描述网络性能的指标，例如：标准定义的关键性能指标(Key Performance Indicator，KPI)，自定义的优化目标函数。处理单元720可以根据第一网络设备提供的模型的预测值或提供的推荐建议执行动作，执行动作以后得到一些网络性能指标，进一步的，向第一网络设备发送反馈信息，该反馈信息可以为网络性能指标对应的数据，第一网络设备根据反馈的网络性能指标确定是否达到期望的网络性能，确定模型的性能，对性能差的模型进行调整。

在某些可能的实现方式中，网络性能指标可以为执行了推荐建议动作之后获得的网络性能指标，应理解，该推荐建议动作可以与操作指示信息相对应。例如，第一网络设备可以请求收发单元710反馈操作指示信息，则收发单元710反馈的操作指示信息的内容为根据推荐建议执行的动作，然后第一网络设备可以根据操作指示信息向第三网络设备获取执行了推荐建议动作以后得到的网络性能指标，进行模型的评估。第一网络设备也可以请求收发单元710直接反馈网络性能指标，由处理单元720执行推荐建议动作后，向第四网络设备获取网络性能指标并作为反馈信息反馈给第一网络设备。具体示例可参见操作指示信息中的相关描述。

需要说明的是，该反馈信息的第一类型可以通过feedbackInfo信令进行配置，不同场景下，feedbackInfo可选的取值不同，具体的，feedbackInfo的取值指示收发单元710向第一网络设备发送的反馈信息的第一类型，进一步的，该取值可以确定该类型下需要的反馈信息的具体内容，作为示例而非限定，切换优化场景，feedbackInfo＝actionTakenindication，表示需要收发单元710反馈最终确定的目标gNB标识以及切换的时间点；节能场景，feedbackInfo＝actionTaken indication，表示需要收发单元710反馈最终采取的节能动作，即开启/关闭节能特性的小区标识以及时间点；节能场景，feedbackInfo＝能量效率(Energy Efficiency，EE)，表示需要收发单元710反馈采取指定节能动作后能量效率KPI的取值。一种可能的EE KPI定义方式为：EE＝网络总吞吐量/网络总能耗。

需要说明的是，该反馈信息的第一类型可以作为单独的消息在发送分析报告通知之前单独发送，也可以包括在分析报告通知中。

在某些实施例中，可以默认第一网络设备已知该设备支持的反馈信息的第二类型，即第一网络设备已知处理单元720的能够反馈的反馈信息的类型，进一步的，第一网络设备根据第二类型确定反馈信息的第一类型，即第一网络设备根据处理单元720的反馈能力指示第二网络设备反馈哪种类型的信息。

在某些实施例中，第一网络设备不知道处理单元720支持的反馈信息的第二类型，收发单元710可以向第一网络设备发送第一指示信息，第一指示信息指示处理单元720支持的反馈信息的第二类型，即收发单元710进行反馈能力上报，进一步的，第一网络设备根据第一指示信息确定反馈信息的第一类型。可选的，该第一指示信息可以为收发单元710在第一网络设备发送反馈信息的第一类型之前向第一网络设备发送的，提前指示收发单元710的上报能力。可选的，该第一指示信息可以为第一网络设备向收发单元710发送反馈信息的第一类型之后向第一网络设备发送的，具体的，收发单元710接收反馈信息的第一类型，发现自身无法上报第一类型对应的反馈信息，进一步的，向第一网络设备发送第一指示信息，进行反馈能力上报。

需要说明的是，该第一指示信息指示处理单元720能够反馈的针对某种特定的分析类型的反馈信息的类型，可选的，该第一指示信息包含分析标识，进一步的，包含与该分析标识对应的能够反馈的反馈信息的类型。

需要说明的是，在该步骤之前，第一网络设备向收发单元710发送第一配置信息。

需要说明的是，在第一网络设备向收发单元710发送第一配置信息之后，收发单元710向第一网络设备发送分析报告请求消息，该分析报告请求消息用于请求某种指定的分析类型的分析报告，可选的，第一网络设备接收收发单元710的分析报告请求消息后，进一步的，向收发单元710发送响应消息，该响应消息表示第一网络设备已经收到分析报告请求消息。作为示例而非限定，该响应消息可以包括分析标识，该分析标识与上述分析报告请求消息中的分析标识相对应。需要说明的是，第一网络设备收到上述分析报告请求消息，进一步的，根据分析报告请求消息进行数据分析，准备好分析报告，向收发单元710发送分析报告通知，该分析报告通知中可以包括但不限于：分析标识(analytics ID)、分析生成的时间(timestamp of analytics)、分析的有效时间段(valid period)、分析结果的置信度(confidence level)、具体的分析结果(analytics results)。可选的，分析结果包括模型的输出，如某种预测的值(predicted value)、推荐建议(recommendation)。

需要说明的是，反馈信息的第一类型可以包括在分析报告中发送，也可以在发送分析报告之前作为单独的一条消息发送。该反馈信息的第一类型在分析报告通知之前单独发送，更进一步的，在收发单元710向第一网络设备发送分析报告请求消息之前，由第一网络设备单独发送给收发单元710，不包含在分析报告通知中，针对同一种分析报告类型，只需要发送一次反馈信息的第一类型，无需在每次的分析报告通知中重复携带相同的反馈信息的第一类型，可以节省部分传输开销。

需要说明的是，该反馈信息的第一类型可能是第一网络设备结合以下因素中的至少一项确定的：

分析类型，该分析类型为上述分析报告请求消息中要求的类型，

默认的或收发单元710发送的第一指示信息中指示的处理单元720能够反馈的反馈信息的第二类型。

作为示例而非限定，在节能场景下，feedbackInfo取值可以是actionTakenindication或EE KPI，但如果收发单元710发送的第一指示信息中指示处理单元720能够反馈的反馈信息的类型只包括actionTaken indication，则在该场景下feedbackInfo只能配置为actionTaken indication。

收发单元710还用于接收反馈信息的第一类型。

处理单元720还用于根据反馈信息的第一类型向第一网络设备发送反馈信息。

可选的，该反馈信息可以为处理单元720根据反馈信息的第一类型自己确定的。例如，处理单元720可以输出模型的真实值，而第一类型指示反馈模型输出预测值与模型真实值的差值的平均值作为模型评估指标的取值进行反馈，则处理单元720可以根据第一类型获得平均值进行反馈。

或者，可选的，该反馈信息也可以为收发单元710向第四网络设备获取的，例如，第一网络设备要求的反馈信息的第一类型为网络性能指标，则收发单元710可以向第四网络设备发送第一类型，从第四网络设备处获取网络性能指标。也可以为收发单元710从第五网络设备获取模型的真实值后根据模型的真实值与分析报告中的模型的预测值确定的，具体的，收发单元710向第五网络设备发送反馈信息的第一类型，进一步的，从第五网络设备接收模型的真实值。

所述收发单元710还用于向第一网络设备发送反馈信息。

在一些实施例中，该通信装置700可以是上文方法实施例400中的第二网络设备，也可以是用于实现上文方法实施例中第二网络设备的功能的芯片。应理解，该通信装置700可以对应于本申请实施例的方法400中的第二网络设备对应的步骤。该通信装置700包括：

收发单元710：用于从第一网络设备接收第一配置信息。

处理单元720：用于向第一网络设备发送第一指示信息。

具体的，该第一配置信息中包括分析标识(analytics ID)，该分析标识用于指示处理单元720第一网络设备可以提供的分析类型。可选的，如果第一网络设备可以提供多种类型的分析，则可能包含分析标识列表。每个analytics ID下的分析类型的取值唯一标识一种类型的分析，作为示例而非限定，该取值可以为：切换优化(handover optimization)、覆盖问题分析(coverage issue analysis)、MDA辅助节能(MDA assisted energy saving)等。

该第一指示信息用于指示第二网络设备支持的反馈信息的第二类型。该第二类型可以为第一网络设备默认的。

具体的，该第一指示信息可以指示针对某种特定的分析类型自身支持反馈信息的第二类型。该第一指示信息中可以包括analytics ID、以及与该analytics ID相对应的支持的反馈信息的第二类型，支持的反馈信息的第二类型可以用availableFeedbackInfo表示。处理单元720支持的反馈信息的类型包括但不限于：

模型评估指标：可以用于评价模型性能的指标，具体描述可见方法300对应的装置。

操作指示信息：指示收发单元710收到分析报告后采取的动作信息，具体描述可见方法300对应的装置。

网络性能指标：可以用于描述网络性能的指标，具体描述可见方法300对应的装置。

该收发单元还用于接收第一网络设备发送的反馈信息的第一类型。

具体的，该消息的内容可以包括分析标识analytics ID和该标识的分析类型对应的反馈信息的第一类型feedbackInfo。feedbackInfo可选的取值包括但不限于：模型评估指标、操作指示信息、网络性能指标等。

需要说明的是，第一网络设备向收发单元710发送反馈信息的第一类型，可以作为一条单独的信息进行发送，也可以包括在分析报告通知消息中。在某些实施例中，第一网络设备向收发单元710发送的反馈信息的第一类型作为一条单独的信息提前发送，使得该信息和分析报告通知解耦，针对同一种分析类型，只需要配置一次反馈信息的第一类型即可，无需在每次的分析报告通知中重复携带该信息，可以节省部分传输资源的开销。

需要说明的是，若第一网络设备也没有默认第二类型，则第一网络设备可能将第一类型配置错误，第一网络设备向收发单元710发送的反馈信息的第一类型可能为处理单元720不支持的反馈信息的类型。可选的，收发单元710在第一网络设备配置了不支持的第一类型以后，向第一网络设备发送反馈修改通知，用于指示处理单元720支持的反馈信息的第二类型，第一网络设备根据反馈修改通知重新确定反馈信息的第一类型，并向收发单元710重新发送该消息。需要说明的是，该第一次发送的反馈信息的第一类型消息和重新发送的反馈信息的第一类型消息可能为同一条消息。需要说明的是，该反馈修改通知中可能包括不支持的反馈信息的类型(unavaliableInfo)，以及不支持的原因(reason)，还可能包括自身能够支持的反馈信息的类型(avaliableInfo)，该unavaliableInfo和avaliableInfo的取值包括但不限于：模型评估指标、操作指示信息、网络性能指标等。需要说明的是，该反馈修改通知和前述第一指示信息可以为一条消息。

该收发单元710还用于向第一网络设备发送分析报告请求。

具体的，收发单元710可以请求某种特定分析类型的分析报告，该消息的内容包括analytics ID，可选的，该消息还可能包括以下一项或多项：分析区域(area)、上报方式(area)、上报周期(area)等。

可选的，第一网络设备接收分析报告请求，向收发单元710发送响应消息，该响应消息可以包括analytics ID，用以表示第一网络设备已经收到该请求。

收发单元710还用于接收第一网络设备发送的分析报告通知。

需要说明的是，反馈信息的第一类型消息，可以包括在该分析报告通知中，而不是作为一条单独的消息发送。

具体的，第一网络设备收到分析报告请求后，根据处理单元720的请求，进行数据分析，准备好分析报告，进一步的，向收发单元710发送分析报告通知，该分析报告通知中包括分析标识analytics ID、分析生成的时间timestamp of analytics、分析的有效时间段valid period、分析结果的置信度confidence level、具体的分析结果analytics results等，当反馈信息的第一类型包括在该分析报告通知中时，该消息中还包括反馈信息的第一类型feedbackInfo，以及对应的值。

该处理单元720还用于根据反馈信息的第一类型确定反馈信息。

可选的，处理单元720自身可以得出模型的真实值，并对数据进行处理，确定反馈信息，具体示例可以参见方法300中的装置。

可选的，收发单元710可以向第四网络设备发送反馈信息的第一类型，从第四网络设备接收反馈信息，具体示例可以参见方法300中的装置。

可选的，收发单元710可以向第五网络设备发送请求信息，从第五网络设备处获取模型的真实值，并根据真实值和反馈信息的第一类型确定反馈信息。具体示例可以参见方法300中的装置。

在一些实施例中，该通信装置700可以是上文方法实施例500中的第二网络设备，也可以是用于实现上文方法实施例中第二网络设备的功能的芯片。应理解，该通信装置700可以对应于本申请实施例的方法500中的第二网络设备对应的步骤。该通信装置700包括：

收发单元710：接收第一网络设备发送的第一请求信息。

处理单元720本身不能输出模型的真实值，故向第三网络设备请求模型的真实值，作为示例而非限定，在切换优化场景下，该设备为源基站，源基站本身无法获取UE切换以后的QoE信息，故收发单元710向第三网络设备即目标基站请求获取UE切换后的QoE，并作为反馈信息发送给第一网络设备。

该收发单元710还用于从其他网络设备接收模型的真实值。

该收发单元710还用于向第一网络设备发送反馈信息。

在一些实施例中，该通信装置700可以是上文方法实施例600中的第二网络设备，也可以是用于实现上文方法实施例中第二网络设备的功能的芯片。应理解，该通信装置700可以对应于本申请实施例的方法600中的第二网络设备对应的步骤。该通信装置700包括：

收发单元710：用于从第一网络设备接收第一配置信息。

该收发单元710还用于向第一网络设备发送第一指示信息，该第一指示信息用于指示第二网络设备支持反馈模型的真实值。

该收发单元710还用于接收第一网络设备发送的第一请求信息，该第一请求信息请求收发单元710反馈模型的真实值。需要说明的是，收发单元710可以默认向第一网络设备反馈模型的真实值。

需要说明的是，第一网络设备向收发单元710发送第一请求信息，可以作为一条单独的信息进行发送，也可以包括在分析报告通知消息中。在某些实施例中，第一网络设备向收发单元710发送的第一请求信息作为一条单独的信息提前发送，使得该信息和分析报告通知解耦，针对同一种分析类型，只需要发送一次，无需在每次的分析报告通知中重复携带该信息，可以节省部分传输资源的开销。

该收发单元710还用于向第一网络设备发送分析报告请求。

该收发单元710还用于从第一网络设备接收分析报告通知。

该收发单元710还用于从其他网络设备模型的真实值。

该收发单元710还用于向第一网络设备发送反馈信息。

需要说明的是，该反馈信息是模型的真实值。

图8是本申请实施例的通信装置800的示意图，该通信装置800包括：收发器810、处理器820和存储器830。该存储器830，用于存储指令。该处理器820与存储器830耦合，用于执行存储器中存储的指令，以执行上述本申请实施例提供的方法。

具体的，该通信装置800中的收发器810可以对应于通信装置700中的收发单元710，该通信装置800中的处理器820可以对应于通信装置700中的处理单元720。

应理解，上述存储器830和处理器820可以合成一个处理装置，处理器820用于执行存储器830中存储的程序代码来实现上述功能。具体实现时，该存储器830也可以集成在处理器820中，或者独立于处理器820。

应理解，各收发器处理器执行上述相应步骤的具体过程在上述方法实施例中已经详细说明，为了简洁，在此不再赘述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (19)

1.一种传输信息的方法，其特征在于，包括：

第一网络设备向第二网络设备发送反馈信息的第一类型，所述第一类型包括以下一项或多项：模型评估指标，操作指示信息，和网络性能指标，所述模型评估指标用于指示模型的性能，所述操作指示信息用于指示根据所述模型的分析结果执行的操作，所述网络性能指标用于指示根据所述模型的分析结果获得的网络指标，所述第一类型用于请求所述反馈信息；

所述第一网络设备从所述第二网络设备接收所述反馈信息；

所述第一网络设备根据所述反馈信息确定所述模型的性能。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

所述第一网络设备从第三网络设备接收所述模型的真实值或所述网络性能指标；

其中，所述第一网络设备根据所述反馈信息确定所述模型的性能，包括：

所述第一网络设备根据所述模型的真实值或所述网络性能指标和所述反馈信息确定所述模型的性能。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

所述第一网络设备从所述第二网络设备接收第一指示信息，所述第一指示信息指示所述第二网络设备支持的所述反馈信息的第二类型；

所述第一网络设备根据所述第一指示信息确定所述第一类型。

4.一种传输信息的方法，其特征在于，包括：

第二网络设备从第一网络设备接收反馈信息的第一类型，所述第一类型包括以下一项或多项：模型评估指标，操作指示信息，和网络性能指标，所述模型评估指标用于指示模型的性能，所述操作指示信息用于指示根据所述模型的分析结果执行的操作，所述网络性能指标用于指示根据所述模型的分析结果获得的网络指标，所述第一类型用于请求所述反馈信息；

所述第二网络设备根据所述反馈信息的第一类型向所述第一网络设备发送所述反馈信息。

5.根据权利要求4所述的方法，其特征在于，所述第二网络设备根据所述反馈信息的第一类型向所述第一网络设备发送所述反馈信息，包括：

所述第二网络设备根据所述反馈信息的第一类型确定所述反馈信息；

所述第二网络设备向所述第一网络设备发送所述反馈信息。

6.根据权利要求4所述的方法，其特征在于，所述第二网络设备根据所述反馈信息的第一类型向所述第一网络设备发送所述反馈信息，包括：

所述第二网络设备从第四网络设备接收所述反馈信息；

所述第二网络设备向所述第一网络设备发送所述反馈信息。

7.根据权利要求4所述的方法，其特征在于，所述第二网络设备根据所述反馈信息的第一类型确定所述反馈信息，包括：

所述第二网络设备从第五网络设备接收所述模型的真实值；

所述第二网络设备根据所述第一类型和所述模型的真实值确定所述反馈信息；

所述第二网络设备向所述第一网络设备发送所述反馈信息。

8.根据权利要求4至7中任一项所述的方法，其特征在于，所述方法还包括：

所述第二网络设备向所述第一网络设备发送第一指示信息，所述第一指示信息指示所述第二网络设备支持的所述反馈信息的第二类型。

9.一种通信装置，其特征在于，包括：

收发单元，用于向第二网络设备发送反馈信息的第一类型，所述第一类型包括以下一项或多项：模型评估指标，操作指示信息，和网络性能指标，所述模型评估指标用于指示模型的性能，所述操作指示信息用于指示根据所述模型的分析结果执行的操作，所述网络性能指标用于指示根据所述模型的分析结果获得的网络指标，所述第一类型用于请求所述反馈信息；

所述收发单元还用于从所述第二网络设备接收所述反馈信息；

处理单元，用于根据所述反馈信息确定所述模型的性能。

10.根据权利要求9所述的装置，其特征在于，所述收发单元还用于：

从第三网络设备接收所述模型的真实值或所述网络性能指标；

其中，所述处理单元用于根据所述反馈信息确定所述模型的性能，包括：

所述处理单元根据所述模型的真实值或所述网络性能指标和所述反馈信息确定所述模型的性能。

11.根据权利要求9或10所述的装置，其特征在于，所述收发单元还用于：

从所述第二网络设备接收第一指示信息，所述第一指示信息指示所述第二网络设备支持的所述反馈信息的第二类型；

所述处理单元还用于根据所述第一指示信息确定所述第一类型。

12.一种通信装置，其特征在于，包括：

收发单元，用于从第一网络设备接收反馈信息的第一类型，所述第一类型包括以下一项或多项：模型评估指标，操作指示信息，和网络性能指标，所述模型评估指标用于指示模型的性能，所述操作指示信息用于指示根据所述模型的分析结果执行的操作，所述网络性能指标用于指示根据所述模型的分析结果获得的网络指标，所述第一类型用于请求所述反馈信息；

所述收发单元还用于向所述第一网络设备发送所述反馈信息；

所述收发单元还用于根据所述反馈信息的第一类型向所述第一网络设备发送所述反馈信息。

13.根据权利要求12所述的装置，其特征在于，所述收发单元根据所述反馈信息的第一类型向所述第一网络设备发送所述反馈信息，包括：

处理单元根据所述反馈信息的第一类型确定所述反馈信息；

所述收发单元向所述第一网络设备发送所述反馈信息。

14.根据权利要求12所述的装置，其特征在于，所述处理单元根据所述反馈信息的第一类型向所述第一网络设备发送所述反馈信息，所述收发单元从第四网络设备接收所述反馈信息

所述收发单元向所述第一网络设备发送所述反馈信息。

15.根据权利要求12所述的装置，其特征在于，所述处理单元根据所述反馈信息的第一类型确定所述反馈信息，包括：

所述收发单元从第五网络设备接收所述模型的真实值；

所述处理单元根据所述第一类型和所述模型的真实值确定所述反馈信息；

所述收发单元向所述第一网络设备发送所述反馈信息。

16.根据权利要求12至15任一项中所述的装置，其特征在于，所述收发单元还用于：

向所述第一网络设备发送第一指示信息，所述第一指示信息指示所述通信装置支持的所述反馈信息的第二类型。

17.一种通信系统，其特征在于，包括权利要求9-11任一所述的通信装置和权利要求12-16任一所述的通信装置。

18.一种计算机可读存储介质，其特征在于，所述计算机可读介质上存储有计算机指令，当所述计算机指令在计算机上运行时，使得所述计算机执行如权利要求1至8中任意一项所述的通信方法。

19.一种芯片，其特征在于，包括处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机介质，以执行如权利要求1-8中任一项所述的方法。

Images