CN116846763A - 模型监控的交互方法和系统、通信装置 - Google Patents

Abstract

本申请提供一种模型监控的交互方法和系统、通信装置。本申请中，借助模型管理实体与模型监控采集实体之间的协商交互或者模型管理实体的决策，可以灵活确定AI/ML模型的监控方案，还使得网络侧能够全面掌握AI/ML模型的监控条件以及为监控AI/ML模型的可分配资源，有利于提升AI/ML模型的监控效果。

Description

模型监控的交互方法和系统、通信装置

技术领域

本申请涉及通信技术领域，尤其涉及一种模型监控的交互方法和系统、通信装置。

背景技术

在通信网络中，通信设备，如基站、终端设备，或者网络侧设备等，可以部署和运行人工智能(artificial intelligence，AI)/机器学习(machine learning，ML)模型，来支持如定位、波束管理、信道质量(channel state information，CSI)反馈等服务。

在AI/ML模型运行时，需要对AI/ML模型进行监控，来确保AI/ML模型当前运行是否正常。如果AI/ML模型的输出误触在预设范围内，那么AI/ML模型当前运行正常。否则，AI/ML模型当前运行异常。在AI/ML模型当前运行异常时，可以及时通知通信设备进行模型的如关闭、切换、升级，或者回退等监控决策。

因此，如何监控AI/ML模型是现亟需研究的重点。

发明内容

本申请提供一种模型监控的交互方法和系统、通信装置，借助模型管理实体与模型监控采集实体之间的协商交互或者模型管理实体的决策，可以灵活确定AI/ML模型的监控方案，还使得网络侧能够全面掌握AI/ML模型的监控条件以及为监控AI/ML模型的可分配资源，有利于提升AI/ML模型的监控效果，确保能够采用AI/ML模型提供对应的服务。

第一方面，本申请提供一种模型监控的交互方法，该方法包括：

模型管理实体获得第一信息，第一信息用于指示第一模型的监控条件，第一模型部署在第一模型运行实体中，第一模型用于提供第一服务；

模型管理实体向模型监控采集实体发送第二信息，第二信息用于指示一个或多个监控方案，监控方案用于获得第一模型的运行情况，第二信息与第一信息相关；

模型管理实体接收模型监控采集实体发送的第三信息，第三信息用于指示一个或多个监控方案中的唯一的监控方案，第三信息与第二信息相关；

模型管理实体向模型监控决策实体发送第四信息，第四信息用于指示第一模型的一组监控使用资源，第四信息与第一信息相关。

通过第一方面提供的方法，模型管理实体获得第一信息，能够借助第一信息指示模型运行实体上部署的第一模型的监控条件。模型管理实体根据第一信息向模型监控采集实体发送第二信息。模型监控采集实体根据第二信息可以从一个或多个监控方案中确定唯一的监控方案。模型监控采集实体向模型管理实体发送第三信息，能够借助第三信息指示唯一的监控方案。模型管理实体根据第一信息向模型监控决策实体发送第四信息，能够借助第四信息指示第一模型的一组监控使用资源，使得唯一的监控方案能够使用第一模型的一组监控使用资源来监控第一模型的运行情况。从而，借助模型管理实体与模型监控采集实体之间的协商交互，可以灵活确定AI/ML模型的监控方案，还使得网络侧能够全面掌握AI/ML模型的监控条件以及为监控AI/ML模型的可分配资源，有利于监控AI/ML模型的运行情况，达到更佳的监控效果。

在一种可能的设计中，模型管理实体获得第一信息，包括：

模型管理实体向一个或多个模型运行实体发送第一请求，第一请求用于请求模型运行实体中部署的模型的监控条件对应的信息，模型运行实体中部署的模型用于提供第一服务，一个或多个模型运行实体中至少包括第一模型运行实体；

模型管理实体接收第一模型运行实体发送的第一信息。

在一种可能的设计中，模型管理实体获得第一信息，包括：

模型管理实体从预存的第二信息集中获得第一信息，第二信息集中包括一个或多个模型运行实体中部署的模型的监控条件对应的信息，模型运行实体中部署的模型用于提供第一服务，一个或多个模型运行实体中至少包括第一模型运行实体。

在一种可能的设计中，模型管理实体获得第一信息，包括：

模型管理实体向其他网络侧实体或第三方网络设备发送第二请求，第二请求用于请求第一信息，其他网络侧实体或第三方网络设备中存储有第一信息；

模型管理实体接收其他网络侧实体或第三方网络设备发送的第一信息。

在一种可能的设计中，该方法还包括：

模型管理实体根据第一信息和第二信息，确定第四信息；

或者，模型管理实体根据第一信息和第三信息，确定第四信息。

第二方面，本申请提供一种模型监控的交互方法，该方法包括：

模型管理实体接收第一模型运行实体发送的第一请求，第一请求用于请求对第一模型进行监控，第一请求中携带有第一信息，第一信息用于指示第一模型的监控条件，第一模型部署在第一模型运行实体中，第一模型用于提供第一服务；

模型管理实体向模型监控采集实体发送第二信息，第二信息用于指示唯一的监控方案，监控方案用于获得第一模型的运行情况，第二信息与第一信息相关；

模型管理实体向第一模型运行实体发送第一响应，第一响应用于应答第一请求；

模型管理实体向模型监控决策实体发送第四信息，第四信息用于指示第一模型的一组监控使用资源，第四信息与第一信息和第二信息相关。

通过第二方面提供的方法，模型运行实体向模型管理实体发送第一请求，第一请求中携带有第一信息，能够借助第一信息指示第一模型的监控条件以及借助第一请求需要对第一模型进行监控。模型管理实体根据第一信息向模型监控采集实体发送第二信息。模型监控采集实体根据第二信息可以确定唯一的监控方案。模型管理实体根据第一信息和第二信息向模型监控决策实体发送第四信息，能够借助第四信息指示第一模型的一组监控使用资源，使得唯一的监控方案能够使用第一模型的一组监控使用资源来监控第一模型的运行情况。从而，借助模型管理实体的决策，可以灵活确定AI/ML模型的监控方案，还使得网络侧能够全面掌握AI/ML模型的监控条件以及为监控AI/ML模型的可分配资源，有利于监控AI/ML模型的运行情况，达到更佳的监控效果。

在一种可能的设计中，该方法还包括：

模型管理实体向第一模型运行实体发送第二信息。

在上述第一方面至第二方面中的任意一个方面及该方面任一种可能的设计中，该方法还包括：

模型管理实体根据模型管理实体的可使用资源以及第一信息，确定第二信息。

在上述第一方面至第二方面中的任意一个方面及该方面任一种可能的设计中，该方法还包括：

模型管理实体根据模型管理实体的可使用资源、模型监控决策实体的可使用资源以及第一信息，确定第二信息，第二信息还用于指示第一模型的一组监控使用资源。

在上述第一方面至第二方面中的任意一个方面及该方面任一种可能的设计中，该方法还包括：

模型管理实体向模型监控决策实体发送第三请求，第三请求用于请求模型监控决策实体配置第一模型的一组监控使用资源；

模型管理实体接收模型监控决策实体发送的第三响应，第三响应用于指示模型监控决策实体所配置的第一模型的一组或多组监控使用资源；

模型管理实体根据第三响应确定第一模型的一组监控使用资源。

第三方面，本申请提供一种模型监控的交互方法，该方法包括：

模型监控采集实体接收模型管理实体发送的第二信息，第二信息用于指示一个或多个监控方案，监控方案用于监控第一模型的运行情况，第二信息与第一信息相关，第一信息为模型管理实体获得的，第一信息用于指示第一模型的监控条件，第一模型部署在第一模型运行实体中，第一模型用于提供第一服务；

模型监控采集实体向模型管理实体发送第三信息，第三信息用于指示一个或多个监控方案中的唯一的监控方案，第三信息与第二信息相关。

上述第三方面以及上述第三方面的各可能的设计中所提供的方法，其有益效果可以参见上述第一方面和第一方面的各可能的实施方式所带来的有益效果，在此不再赘述。

在一种可能的设计中，该方法还包括：

模型监控采集实体在唯一的监控方案启动后，根据第三信息对第一模型进行监控，并获得第一模型的监控测量数据，监控测量数据用于表示第一模型的运行情况；

模型监控采集实体向模型监控决策实体发送监控测量数据，监控测量数据用于模型监控决策实体生成第一模型的监控决策。

第四方面，本申请提供一种模型监控的交互方法，该方法包括：

第一模型运行实体向模型管理实体发送第一请求，第一请求用于请求对第一模型进行监控，第一请求中携带有第一信息，第一信息用于指示第一模型的监控条件，第一模型部署在第一模型运行实体中，第一模型用于提供第一服务；

第一模型运行实体接收模型管理实体发送的第一响应，第一响应用于应答第一请求。

在一种可能的设计中，该方法还包括：

第一模型运行实体接收模型管理实体发送的第二信息，第二信息用于指示唯一的监控方案，监控方案用于获得第一模型的运行情况，第二信息与第一信息相关。

上述第四方面以及上述第四方面的各可能的设计中所提供的方法，其有益效果可以参见上述第二方面和第二方面的各可能的实施方式所带来的有益效果，在此不再赘述。

第五方面，本申请提供一种模型监控的交互方法，该方法包括：

模型监控采集实体接收模型管理实体发送的第二信息，第二信息用于指示唯一的监控方案，监控方案用于监控第一模型的运行情况，第二信息与第一信息相关，第一信息携带在第一请求中，第一请求是第一模型运行实体向模型管理实体发送的，第一请求用于请求对第一模型进行监控，第一信息用于指示第一模型的监控条件，第一模型部署在第一模型运行实体中，第一模型用于提供第一服务。

上述第五方面以及上述第五方面的各可能的设计中所提供的方法，其有益效果可以参见上述第二方面和第二方面的各可能的实施方式所带来的有益效果，在此不再赘述。

在一种可能的设计中，该方法还包括：

模型监控采集实体在唯一的监控方案启动后，根据第二信息对第一模型进行监控，并获得第一模型的监控测量数据，监控测量数据用于表示第一模型的运行情况；

模型监控采集实体向模型监控决策实体发送监控测量数据，监控测量数据用于模型监控决策实体生成第一模型的监控决策。

第六方面，本申请提供一种模型监控的交互方法，该方法包括：

模型监控决策实体接收模型管理实体发送的第四信息，第四信息用于指示第一模型的一组监控使用资源，第四信息与第一信息相关，第一信息用于指示第一模型的监控条件，第一模型部署在第一模型运行实体中，第一模型用于提供第一服务。

上述第六方面以及上述第六方面的各可能的设计中所提供的方法，其有益效果可以参见上述第一方面和第一方面的各可能的实施方式所带来的有益效果，在此不再赘述。

在一种可能的设计中，第四信息是模型管理实体根据第一信息和第二信息确定的；或者，第四信息是模型管理实体根据第一信息和第三信息确定的；

第二信息与第一信息相关，第二信息用于指示一个或多个监控方案，监控方案用于获得第一模型的运行情况，第三信息与第二信息相关，第三信息用于指示一个或多个监控方案中的唯一的监控方案。

在一种可能的设计中，该方法还包括：

模型监控决策实体接收模型监控采集实体发送的监控测量数据，监控测量数据是模型监控采集实体在唯一的监控方案启动后，根据第三信息对第一模型进行监控并获得的，监控测量数据用于表示第一模型的运行情况；

模型监控决策实体根据监控测量数据生成第一模型的监控决策。

第七方面，本申请提供一种模型监控的交互方法，该方法包括：

模型监控决策实体接收模型管理实体发送的第四信息，第四信息用于指示第一模型的一组监控使用资源，第四信息与第一信息和第二信息相关，第一信息用于指示第一模型的监控条件，第一模型部署在第一模型运行实体中，第一模型用于提供第一服务，第二信息与第一信息相关，第二信息用于指示唯一的监控方案，监控方案用于获得第一模型的运行情况，第一信息携带在第一请求中，第一请求是第一模型运行实体向模型管理实体发送的，第一请求用于请求对第一模型进行监控。

上述第七方面以及上述第七方面的各可能的设计中所提供的方法，其有益效果可以参见上述第二方面和第二方面的各可能的实施方式所带来的有益效果，在此不再赘述。

在一种可能的设计中，该方法还包括：

模型监控决策实体接收模型监控采集实体发送的监控测量数据，监控测量数据是模型监控采集实体在唯一的监控方案启动后，根据第二信息对第一模型进行监控并获得的，监控测量数据用于表示第一模型的运行情况；

模型监控决策实体根据监控测量数据生成第一模型的监控决策。

在上述第六方面至第七方面中的任意一个方面及该方面任一种可能的设计中，该方法还包括：

模型监控决策实体接收模型管理实体发送的第三请求，第三请求用于请求模型监控决策实体配置第一模型的一组监控使用资源；

模型监控决策实体向模型管理实体发送第三响应，第三响应用于指示模型监控决策实体所配置的第一模型的一组或多组监控使用资源，第三响应用于模型管理实体确定第一模型的一组监控使用资源。在上述第一方面至第七方面中的任意一个方面及该方面任一种可能的设计中，模型运行实体或模型监控采集实体为终端设备或者网络设备；模型管理实体或模型监控决策实体为核心网设备中的网络侧实体，或者第三方网络设备。

在上述第一方面至第七方面中的任意一个方面及该方面任一种可能的设计中，第一信息包括如下中的至少一项：

第一模型支持的监控类型，监控类型包括：第一模型的输入数据的数据格式、第一模型的输出数据的数据格式或者第一模型的外部环境的参数中的至少一项；

或者，监控第一模型的模型监控决策实体的类型；

或者，第一模型支持的监控方案的性能指标。

在上述第一方面至第七方面中的任意一个方面及该方面任一种可能的设计中，第二信息包括如下中的至少一项：

第一信息；

或者，第一模型支持的监控方案的标识；

或者，监控第一模型的模型监控决策实体的地址；

或者，监控第一模型的模型监控决策实体的辅助信息；或者，第一模型支持的监控方案的有效期信息；

或者，第二信息的有效应答时间信息；

或者，第一模型支持的监控方案的优先级或推荐度。

在上述第一方面、第三方面和第六方面中的任意一个方面及该方面任一种可能的设计中，第三信息包括如下中的至少一项：

第二信息；

或者，唯一的监控方案的标识；

或者，第三信息的实际应答时间信息；

或者，监控第一模型的启动时间或者用于触发监控第一模型的启动事件。

第八方面，本申请提供一种模型监控的交互装置，包括：用于执行上述任意一个方面及该方面任意一种可能的设计中的模型监控的交互方法的模块。

第九方面，本申请提供一种模型监控的交互系统，包括：一个或多个模型运行实体、用于执行上述第三方面及该方面任意一种可能的设计中的模型监控的交互方法的模型监控采集实体、用于执行上述第一方面及该方面任意一种可能的设计中的模型监控的交互方法的模型管理实体以及用于执行上述第六方面及该方面任意一种可能的设计中的模型监控的交互方法的模型监控决策实体；

和/或，用于执行上述第四方面及该方面任意一种可能的设计中的模型监控的交互方法的第一模型运行实体、用于执行上述第五方面及该方面任意一种可能的设计中的模型监控的交互方法的模型监控采集实体、用于执行上述第二方面及该方面任意一种可能的设计中的模型监控的交互方法的模型管理实体以及用于执行上述第七方面及该方面任意一种可能的设计中的模型监控的交互方法的模型监控决策实体；

一个或多个模型运行实体中至少包括第一模型运行实体。

第十方面，本申请提供一种通信装置，该通信装置包括处理器。该处理器用于调用存储起中的计算机程序或计算机指令，使得处理器实现第一方面至第七方面中任意一个方面中的任一种可能的设计中的方法。

可选的，该通信装置还包括收发器，该处理器用于控制该收发器收发信号。

第十一方面，本申请提供一种通信装置，包括处理器，用于调用该存储器中的计算机程序或指令，以使处理器执行第一方面至第七方面中任意一个方面中的任一种可能的设计中的方法。

可选地，处理器通过接口与该存储器耦合。

第十二方面，本申请提供一种计算机可读存储介质，其上存储有计算机可执行程序或指令，计算机可执行程序或指令被处理器使得通信装置执行时实现第一方面至第七方面中任意一个方面中的任一种可能的设计中的方法。

第十三方面，本申请提供一种芯片，包括：接口电路和逻辑电路，接口电路用于接收来自于芯片之外的其他芯片的信号并传输至逻辑电路，或者将来自逻辑电路的信号发送给芯片之外的其他芯片，逻辑电路用于实现第一方面至第七方面中任意一个方面中的任一种可能的设计中的方法。

第十四方面，本申请提供一种计算机程序产品，包括：执行指令，执行指令存储在可读存储介质中，通信装置的至少一个处理器可以从可读存储介质读取执行指令，至少一个处理器执行执行指令使得通信装置实现第一方面至第七方面中任意一个方面中的任一种可能的设计中的方法。

附图说明

图1为本申请一实施例提供的一种模型监控的交互系统的结构示意图；

图2为本申请一实施例提供的一种模型监控的交互方法的信令交互图；

图3为本申请一实施例提供的一种模型监控的交互方法的信令交互图；

图4为本申请一实施例提供的一种模型监控的交互方法的流程示意图；

图5为本申请一实施例提供的一种通信装置的结构示意图；

图6为本申请一实施例提供的一种通信装置的结构示意图；

图7为本申请一实施例提供的一种通信装置的结构示意图；

图8为本申请一实施例提供的一种通信装置的结构示意图；

图9为本申请一实施例提供的一种通信装置的结构示意图；

图10为本申请一实施例提供的一种通信装置的结构示意图；

图11为本申请一实施例提供的一种通信装置的结构示意图；

图12为本申请一实施例提供的一种通信装置的硬件结构示意图。

具体实施方式

本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，单独a，单独b或单独c中的至少一项(个)，可以表示：单独a，单独b，单独c，组合a和b，组合a和c，组合b和c，或组合a、b和c，其中a，b，c可以是单个，也可以是多个。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

请参阅图1，图1示出了本申请一实施例提供的一种模型监控的交互系统的结构示意图。如图1所示，本申请的模型监控的交互系统可以包括：一个或多个模型运行实体11、模型监控采集实体12、模型管理实体13以及模型监控决策实体14。

其中，一个或多个模型运行实体11中至少包括第一模型运行实体。模型监控决策实体14可以包括一个或多个。本申请对该模型监控的交互系统中包括的模型运行实体11和模型监控决策实体14的数量不做限定。

其中，模型运行实体11和模型监控采集实体12可以为同一实体。或者，模型运行实体11和模型监控采集实体12可以为不同的实体。

其中，模型管理实体13和模型监控决策实体14可以为同一实体。或者，模型管理实体13和模型监控决策实体14可以为不同的实体。

其中，模型运行实体11或模型监控采集实体12可以为终端设备或者网络设备。对应的，模型管理实体13或模型监控决策实体14可以为核心网设备中的网络侧实体，或者第三方网络设备。

另外，模型管理实体13或模型监控决策实体14可以为核心网设备中的网络侧实体，或者第三方网络设备。对应的，模型管理实体13或模型监控决策实体14可以为终端设备或者网络设备。

在该模型监控的交互系统的结构比较简单时，模型管理实体13和模型监控决策实体14可以为同一实体。例如，模型管理实体13和模型监控决策实体14部署在同一实体中。

在该模型监控的交互系统的结构较庞大且复杂如需要监控海量的AI/ML模型时，模型管理实体13和模型监控决策实体14可以为不同的实体。其中，模型监控决策实体14可以采用分布式设计，设置为多个模型监控决策实体14。例如，多个模型监控决策实体14可以部署在网络侧实体和云服务器中。另外，多个模型监控决策实体14可以部署在终端设备和网络设备中。

终端设备：可以指用户设备、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、无线通信设备、用户代理或用户装置。终端设备还可以是卫星电话、蜂窝电话、智能手机、无线数据卡、无线调制解调器、机器类型通信设备、可以是无绳电话、会话启动协议(session initiation protocol，SIP)电话、无线本地环路(wireless local loop，WLL)站、个人数字处理(personal digital assistant，PDA)、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、车载设备或可穿戴设备，虚拟现实(virtual reality，VR)终端设备、增强现实(augmented reality，AR)终端设备、工业控制(industrial control)中的无线终端、无人驾驶(self-driving)中的无线终端、远程医疗(remote medical)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端、5G网络中的终端设备、6G网络中的终端设备或者未来通信网络中的终端设备等。此外，终端设备13还可以是物联网(internet ofthings，IoT)系统中的终端设备。

网络设备：可以是基站，或者接入点，或者接入网设备，或者可以是指接入网中在空中接口上通过一个或多个扇区与无线终端通信的设备。网络设备可用于将收到的空中帧与IP分组进行相互转换，作为无线终端与接入网的其余部分之间的路由器，其中接入网的其余部分可包括网际协议(IP)网络。网络设备还可协调对空中接口的属性管理。例如，网络设备可以是卫星、无人机、全球移动通讯(global system of mobile communication，GSM)或码分多址(code division multiple access，CDMA)中的基站(base transceiverstation，BTS)，也可以是宽带码分多址(wideband code division multiple access，WCDMA)中的基站(NodeB，NB)，还可以是长期演进(long term evolution，LTE)中的演进型基站(evolutional node B，eNB或eNodeB)，或者V2X(vehicular to everything,车接其他)、设备对设备通信(Device-to-Device，D2D)、和机器对机器通信(Machine-to-Machine，M2M)通信中承担基站功能的终端或者中继站或接入点，或者5G网络中的基站，例如gNB等，或者未来的6G网络中的基站，在此并不限定。

在一种网络结构中，网络设备可以包括集中单元(centralized unit，CU)节点、或分布单元(distributed unit，DU)节点、或包括CU节点和DU节点的RAN设备、或者控制面CU节点(CU-CP节点)和用户面CU节点(CU-UP节点)以及DU节点的RAN设备。

核心网设备：可以是运营商核心网设备，也可以是核心网中用于提供第一服务的功能实体。其中，第一服务包括但不限于：定位、波束管理或者信道状态信息反馈中的任意一个服务。另外，在6G移动通信系统或未来的移动通信系统中，功能实体仍可以是网元，或有其它的名称，如网络实体或实体等，本申请不做限定。

核心网设备：包括但不限于为运营商核心网设备，核心网设备可以检测主叫方和被叫方所办理的通信业务。其中，本申请可以采用数字、代码或标识等形式对不同的通信业务进行区分，便于核心网设备对通信业务的准确检测。通常，核心网设备分别与第一设备和第二设备均建立有通信连接。

第三方网络设备：可以为服务器，如芯片、手机、基站厂家的服务器。第三方网络设备可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

模型运行实体11、模型监控采集实体12、模型管理实体13以及模型监控决策实体14中的任意两个实体之间可通过有线或无线的通信方式进行直接或间接地连接。其中，有线的通信方式可采用如同轴电缆、光纤、数字用户线(digital subscriber line，DSL)等。无线的通信方式可采用如蓝牙、红外、无线(Wi-Fi)、微波等。

模型运行实体11，用于部署和运行AI/ML模型。

模型监控采集实体12，用于在监控方案启动后，在AI/ML模型的监控过程中，从模型运行实体11获取AI/ML模型的监控测量数据。例如，模型运行实体11可以向模型监控采集实体12发送AI/ML模型的初始测量数据，模型监控采集实体12对AI/ML模型的初始测量数据进行处理，得到AI/ML模型的监控测量数据，该AI/ML模型的监控测量数据用于指示AI/ML模型的运行情况。其中，监控测量数据也可称为监控测量参数，初始测量数据也可称为初始测量参数。另外，监控测量数据也可以为AI/ML模型的初始测量数据。

模型管理实体13，用于总体协调AI/ML模型的生命周期的各个环节，如数据采集，模型训练，模型推理，模型监控等环节。

模型监控决策实体14，用于在监控方案启动后，根据AI/ML模型的监控测量数据，利用算法产生能体现AI/ML模型的运行效果、运行性能或运行指标，并根据前述的AI/ML模型的运行效果、运行性能或运行指标，生成AI/ML模型的监控决策。其中，AI/ML模型的监控决策用于采用如文字、语音、图片等方式输出AI/ML模型的运行情况。

在AI/ML模型的运行情况表示AI/ML模型运行异常时，AI/ML模型的监控决策还可以包括但不限于：模型关闭、模型切换、模型激活、模型回退等。

以AI/ML模型用于提供定位服务为例，假设定位场景中的定位精度退化，那么在AI/ML模型运行异常时，AI/ML模型的监控决策可以有多种实现方式。

例如，AI/ML模型的监控决策可以包括模型切换、模型升级、模型回退。此处的模型回退指的是不再使用AI/ML模型进行定位，而采用如全球定位系统(global positioningsystem，GPS)、无线局域网络(wireless local area networks，WLAN)、蓝牙等传统方式进行定位。

又如，AI/ML模型的监控决策还可以包括模型激活和模型关闭，即先关闭AI/ML模型，再激活其他的AI/ML模型。

需要说明的是，上述的模型监控的交互系统可以包括但不限于上述结构。另外，监控方案也可以称为监控方式、监控方法等名称，本申请对此不做限定。

基于前述描述，本申请以下实施例将以具有图1所示结构的模型监控的交互系统为例，结合场景一和场景二，对本申请提供的模型监控的交互方法进行详细阐述。

其中，场景一介绍的技术方案是采用网络侧协商的方式确定AI/ML模型的监控方案。场景二介绍的技术方案是采用网络侧决策的方式确定AI/ML模型的监控方案。

场景一

请参阅图2，图2示出了本申请一实施例提供的一种模型监控的交互方法的信令交互图。如图2所示，本申请的模型监控的交互方法可以包括：S101-S107。

其中，S101-S104是在监控方案启动之前执行的，S105-S107是在监控方案启动之后执行的。S101-S104用于确定监控方案，S105-S107用于确定监控决策。S105-S107是可选的步骤。

S101、模型管理实体获得第一信息，第一信息用于指示第一模型的监控条件，第一模型部署在第一模型运行实体中，第一模型用于提供第一服务。

不同的AI/ML模型可能提供不同的服务，也可能提供相同的服务。不同的AI/ML模型的输入数据、输出数据或者环境数据等中的至少一个数据可能不同。这样，不同的AI/ML模型，被监控的参数可能不同。另外，不同的AI/ML模型，被监控所采用的实体也可能不同。

其中，第一模型运行实体中部署有第一模型，第一模型为AI/ML模型，第一模型可以提供第一服务。第一服务可以包括如定位、波束管理或者CSI反馈等。

基于此，第一信息可以用于指示第一模型的监控条件。第一模型的监控条件可以表示可支持监控第一模型的哪个或哪些参数。另外，第一模型的监控条件还可以表示可支持哪个实体或哪些实体对第一模型进行监控。

综上，在需要采用第一模型提供第一服务之前，模型管理实体可以获得第一信息。

S102、模型管理实体向模型监控采集实体发送第二信息。

对应的，模型监控采集实体接收模型管理实体发送的第二信息。

其中，第二信息用于指示一个或多个监控方案，监控方案用于获得第一模型的运行情况，第二信息与第一信息相关。

模型管理实体可以根据第一信息获知第一模型的监控条件。模型管理实体便可根据第一模型的监控条件，选择一个或多个监控方案，不仅使得每个监控方案与第一模型的监控条件相匹配，还使得模型管理实体的可使用资源能够支持每个监控方案，实现第一模型的运行情况的监控。

其中，一个或多个监控方案中的每个监控方案为可行的监控方案。模型管理实体的可使用资源可包括空闲的中央处理器(central processing unit，CPU)容量、空闲的图形处理器(graphics processing unit，GPU)或者空闲的内存容量中的至少一个。

从而，模型管理实体根据一个或多个监控方案可以确定第二信息，并向模型监控采集实体发送第二信息，能够借助第二信息向模型监控采集实体询问由哪个监控方案来监控第一模型的运行情况。

其中，第一模型的运行情况可以包括：第一模型的运行状态，如第一模型运行正常，第一模型运行异常，第一模型的部分子功能运行正常，第一模型中的哪个或哪些子功能运行正常，第一模型中的哪个或哪些子功能运行异常等。另外，第一模型的运行情况还可以包括：第一模型的运行性能参数，如第一模型的运行时长，第一模型运行时的资源占用率等。

S103、模型监控采集实体向模型管理实体发送第三信息。

对应的，模型管理实体接收模型监控采集实体发送的第三信息。

其中，第三信息用于指示一个或多个监控方案中的唯一的监控方案，第三信息与第二信息相关。

模型监控采集实体根据第二信息，可以从一个或多个监控方案中选择唯一的监控方案，使得模型监控采集实体的可使用资源能够支持唯一的监控方案，实现第一模型的运行情况的监控。这样，模型监控采集实体和模型管理实体的可使用资源皆能够支持唯一的监控方案。

其中，模型监控采集实体的可使用资源可包括空闲的CPU、空闲的GPU或者空闲的内存容量中的至少一个。

从而，模型监控采集实体根据唯一的监控方案可以确定第三信息，并向模型管理实体发送第三信息，能够借助第三信息使得模型管理实体获知唯一的监控方案。

S104、模型管理实体向模型监控决策实体发送第四信息。

对应的，模型监控决策实体接收模型管理实体发送的第四信息。

其中，第四信息用于指示第一模型的一组监控使用资源，第四信息与第一信息相关。

在一些示例中，模型管理实体可以根据第一信息，或者第一信息和第二信息，确定第一模型的一组监控使用资源，使得第一模型的一组监控使用资源能够支持一个或多个监控方案中的每个监控方案监控第一模型，避免由于资源不足而导致监控过程中断或者无法监控第一模型的问题，方便基于监控需求实现资源的配置。

在另一些示例中，模型管理实体可以根据第一信息和第三信息，确定第一模型的一组监控使用资源，使得第一模型的一组监控使用资源能够支持采用唯一的监控方案监控第一模型，避免由于资源不足而导致监控过程中断或者无法监控第一模型的问题，方便结合资源情况和监控需求实现资源的配置。

其中，第一模型的一组监控使用资源指的是监控第一模型所使用的资源。

从而，模型管理实体根据第一模型的一组监控使用资源可以确定第四信息，并向模型监控决策实体发送第四信息，能够借助第四信息使得模型监控决策实体获知监控第一模型所使用的资源。

综上，模型管理实体与模型监控采集实体通过网络侧协商的方式，可以确定出唯一的监控方案以及第一模型的一组监控使用资源。从而，在模型运行实体运行第一模型的过程中，模型监控采集实体和模型监控决策实体根据第一模型的一组监控使用资源，能够使用唯一的监控方案监控第一模型的运行情况。

S105、模型监控采集实体在唯一的监控方案启动后，根据第三信息对第一模型进行监控，并获得第一模型的监控测量数据，监控测量数据用于表示第一模型的运行情况。

其中，唯一的监控方案可以在第一模型运行之前启动，或者，在第一模型运行时启动，或者，在第一模型运行异常时启动，或者，其他的用于提供第一服务的AI/ML模型运行异常时启动，本申请对此不做限定。唯一的监控方案可以基于启动时间或启动事件启动。

在唯一的监控方案启动后，模型监控采集实体可以根据第三信息对第一模型进行监控，并获得第一模型的监控测量数据。

其中，第一模型的监控测量数据可以为第一模型的初始测量数据，也可以是第一模型的初始测量数据经过处理后的数据，本申请对此不做限定。

S106、模型监控采集实体向模型监控决策实体发送监控测量数据。

对应的，模型监控决策实体接收模型监控采集实体发送的监控测量数据。

S107、模型监控决策实体根据监控测量数据生成第一模型的监控决策。

模型监控采集实体便可向模型监控决策实体发送第一模型的监控测量数据。模型监控决策实体根据第一模型的监控测量数据，确定第一模型的运行情况。从而，模型监控决策实体根据监控测量数据，可以生成第一模型的监控决策。

其中，第一模型的监控决策的具体实现方式可以参见前文中AI/ML模型的监控决策的描述，此处不做赘述。

以第一模型的监控决策为模型更换为例，模型监控决策实体可以告知模型管理实体需要更换第一模型。从而，模型管理实体、模型监控采集实体和模型监控决策实体可继续执行S101-S104，确定更换后的模型对应的唯一的监控方案以及对应的一组监控使用资源。从而，模型监控采集实体和模型监控决策实体可继续执行S105-S107，来确定更换后的模型对应的运行情况以及监控决策。

本申请提供的模型监控的交互方法，通过模型管理实体获得第一信息，能够借助第一信息指示模型运行实体上部署的第一模型的监控条件。模型管理实体根据第一信息向模型监控采集实体发送第二信息。模型监控采集实体根据第二信息可以从一个或多个监控方案中确定唯一的监控方案。模型监控采集实体向模型管理实体发送第三信息，能够借助第三信息指示唯一的监控方案。模型管理实体根据第一信息向模型监控决策实体发送第四信息，能够借助第四信息指示第一模型的一组监控使用资源，使得唯一的监控方案能够使用第一模型的一组监控使用资源来监控第一模型的运行情况。从而，借助模型管理实体与模型监控采集实体之间的协商交互，可以灵活确定AI/ML模型的监控方案，还使得网络侧能够全面掌握AI/ML模型的监控条件以及为监控AI/ML模型的可分配资源，有利于监控AI/ML模型的运行情况，达到更佳的监控效果。

另外，在唯一的监控方案启动后，模型监控采集实体和模型监控决策实体开始对第一模型进行监控。模型监控采集实体采集第一模型的监控测量数据。模型监控采集实体向模型监控决策实体发送第一模型的监控测量数据。模型监控决策实体根据第一模型的监控测量数据生成第一模型的监控决策。从而，实现了第一模型的监控过程。

基于上述实施例的描述，S101中，在需要使用第一服务时，模型运行实体或模型管理实体便需要监控第一模型的运行情况。

在模型运行实体需要监控第一模型的运行情况时，模型运行实体可以向模型管理实体发送第一信息，使得模型管理实体获得第一信息。

在模型管理实体需要监控第一模型的运行情况时，模型管理实体可以采用多种方式，获得第一信息。

作为一种可行的实现方式，能够提供第一服务的模型可能部署在一个模型运行实体中，也可能部署在多个模型运行实体中。因此，模型管理实体可以向一个或多个模型运行实体发送第一请求。

其中，第一请求用于请求每个模型运行实体中部署的模型的监控条件对应的信息，每个模型运行实体中部署的模型用于提供第一服务，一个或多个模型运行实体中至少包括第一模型运行实体。另外，第一请求还用于指示当前有对第一模型进行监控的需求。其中，部署的模型可以为AI/ML模型。

从而，每个模型运行实体在接收到第一请求后，可以向模型管理实体发送每个模型运行实体中部署的模型的监控条件对应的信息。

在一些示例中，模型管理实体可以接收第一模型运行实体发送的第一信息。

在另一些示例中，模型管理实体可以接收全部的模型管理实体中部署的模型的监控条件对应的信息。从而，模型管理实体可以从全部的模型管理实体中部署的模型的监控条件对应的信息中，选择出第一模型管理实体中部署的模型的监控条件对应的信息，即第一信息。

在另一些示例中，模型管理实体可以在接收到一个模型运行实体中部署的模型的监控条件对应的信息后，确定该模型运行实体中部署的模型是否能够提供第一服务。在第一次确定该模型运行实体中部署的模型能够提供第一服务时，模型管理实体可以停止接收其他的模型运行实体中部署的模型的监控条件对应的信息。其中，该模型运行实体为第一模型运行实体，该模型运行实体中部署的模型为第一模型，该模型运行实体中部署的模型的监控条件对应的信息为第一信息。

作为另一种可行的实现方式，模型管理实体中可以预存有第二信息，第二信息集中包括一个或多个模型运行实体中部署的模型的监控条件对应的信息，每个模型运行实体中部署的模型用于提供第一服务，一个或多个模型运行实体中至少包括第一模型运行实体。其中，部署的模型可以为AI/ML模型。从而，模型管理实体可以从预存的第二信息集中获得第一信息。

作为另一种可行的实现方式，其他网络侧实体或第三方网络设备中可以预存有一个或多个模型运行实体中部署的模型的监控条件对应的信息，每个模型运行实体中部署的模型用于提供第一服务，一个或多个模型运行实体中至少包括第一模型运行实体，其他网络侧实体或第三方网络设备中存储有第一信息。

其中，其他网络侧实体可以为核心网设备中的除了模型管理实体、模型监控采集实体和模型监控决策实体之外的其他的实体，如模型注册管理实体。或者，其他网络侧实体可以为第三方网络设备。部署的模型可以为AI/ML模型。

从而，模型管理实体可以向其他网络侧实体或第三方网络设备发送第二请求。其中，第二请求用于请求第一信息。其他网络侧实体或第三方网络设备在接收到第二请求后，可以向模型管理实体发送第一信息。从而，模型管理实体可以获得第一信息。

综上，模型管理实体可以获得第一信息。

场景二

请参阅图3，图3示出了本申请一实施例提供的一种模型监控的交互方法的信令交互图。如图3所示，本申请的模型监控的交互方法可以包括：S201-S208。

其中，S201-S205是在监控方案启动之前执行的，S206-S208是在监控方案启动后执行的。S201-S205用于确定监控方案，S206-S208用于确定监控决策。S204是可选的步骤，S205-S208是可选的步骤。

S201、第一模型运行实体向模型管理实体发送第一请求。

对应的，模型管理实体接收第一模型运行实体发送的第一请求。

其中，第一请求用于请求对第一模型进行监控，第一请求中携带有第一信息，第一信息用于指示第一模型的监控条件，第一模型部署在第一模型运行实体中，第一模型用于提供第一服务。

同一模型运行实体可能部署有一个或多个AI/ML模型。多个AI/ML模型可能提供相同的服务，也可能提供不同的服务。

基于此，第一模型运行实体中部署有第一模型，第一模型为AI/ML模型，第一模型可以提供第一服务。第一服务可以包括如定位、波束管理或者CSI反馈等。

在需要采用第一模型提供第一服务之前，第一模型运行实体可以向模型管理实体发送第一请求，使得模型管理实体获知需要确定第一模型的监控方案。

其中，第一信息指示的第一模型的监控条件的具体实现方式可以参见图2实施例中的S101的描述，此处不做赘述。

需要说明的是，场景二中的第一请求与场景一中的第一请求不同。另外，第一请求中可不携带有第一信息。第一模型运行实体可以分别向模型管理实体发送第一请求和第一信息。第一请求和第一信息的发送之间没有时序上的先后顺序，且第一请求和第一信息的发送可以同时执行，也可以顺序执行。

S202、模型管理实体向模型监控采集实体发送第二信息。

对应的，模型监控采集实体接收模型管理实体发送的第二信息。

其中，第二信息用于指示唯一的监控方案，监控方案用于获得第一模型的运行情况，第二信息与第一信息相关。

模型管理实体可以根据第一信息获知第一模型的监控条件。模型管理实体便可根据第一模型的监控条件，确定唯一的监控方案，不仅使得唯一的监控方案与第一模型的监控条件相匹配，还使得模型管理实体的可使用资源能够支持唯一的监控方案，实现第一模型的运行情况的监控。

从而，模型管理实体根据唯一的监控方案可以确定第二信息，并向模型监控采集实体发送第二信息，能够借助第二信息向模型监控采集实体告知采用唯一的监控方案来监控第一模型的运行情况。

其中，第一模型的运行情况的具体实现方式可以参见图2实施例中的S101的描述，此处不做赘述。

S203、模型管理实体向第一模型运行实体发送第一响应。

对应的，第一模型运行实体接收模型管理实体发送的第一响应。

其中，第一响应用于应答第一请求。

在接收到第一请求后，模型管理实体可以向第一模型运行实体发送第一响应，能够借助第一响应向第一模型运行实体告知模型管理实体已接收到第一请求。

需要说明的是，上述S202和S203之间没有时序上的先后顺序，且S202和S203可以同时执行，也可以顺序执行。

S204、模型管理实体向第一模型运行实体发送第二信息。

对应的，第一模型运行实体接收模型管理实体发送的第二信息。

S204为可选的步骤。模型管理实体可以不向第一模型运行实体告知唯一的监控方案。当然，模型管理实体也可以向第一模型运行实体发送第二信息，能够借助第二信息向第一模型运行实体告知唯一的监控方案。

需要说明的是，上述S203和S204之间没有时序上的先后顺序，且S203和S204可以同时执行，也可以顺序执行。

另外，模型管理实体可以分别向第一模型运行实体分别发送第一响应和第二信息。或者，第一响应中可携带有第二信息。

S205、模型管理实体向模型监控决策实体发送第四信息。

对应的，模型监控决策实体接收模型管理实体发送的第四信息。

其中，第四信息用于指示第一模型的一组监控使用资源，第四信息与第一信息和第二信息相关。

模型管理实体可以根据第一信息和第二信息，确定第一模型的一组监控使用资源，使得第一模型的一组监控使用资源能够支持唯一的监控方案监控第一模型，避免由于资源不足而导致监控过程中断或者无法监控第一模型的问题。

从而，模型管理实体根据第一模型的一组监控使用资源可以确定第四信息，并向模型监控决策实体发送第四信息，能够借助第四信息使得模型监控决策实体获知监控第一模型所使用的资源。

综上，模型管理实体可以确定出唯一的监控方案以及第一模型的一组监控使用资源。与模型监控采集实体。模型管理实体通过网络侧决策的方式，向模型监控采集实体通知唯一的监控方案，以及向模型监控决策实体通知第一模型的一组监控使用资源。从而，在模型运行实体运行第一模型的过程中，模型监控采集实体和模型监控决策实体根据第一模型的一组监控使用资源，能够使用唯一的监控方案监控第一模型的运行情况。

S206、模型监控采集实体在唯一的监控方案启动后，根据第二信息对第一模型进行监控，并获得第一模型的监控测量数据，监控测量数据用于表示第一模型的运行情况。

S207、模型监控采集实体向模型监控决策实体发送监控测量数据。

对应的，模型监控决策实体接收模型监控采集实体发送的监控测量数据。

S208、模型监控决策实体根据监控测量数据生成第一模型的监控决策。

其中，S206-S208分别与图2实施例中的S105-S107实现方式类似，本申请此处不再赘述。

本申请提供的模型监控的交互方法，通过模型运行实体向模型管理实体发送第一请求，第一请求中携带有第一信息，能够借助第一信息指示第一模型的监控条件以及借助第一请求需要对第一模型进行监控。模型管理实体根据第一信息向模型监控采集实体发送第二信息。模型监控采集实体根据第二信息可以确定唯一的监控方案。模型管理实体根据第一信息和第二信息向模型监控决策实体发送第四信息，能够借助第四信息指示第一模型的一组监控使用资源，使得唯一的监控方案能够使用第一模型的一组监控使用资源来监控第一模型的运行情况。从而，借助模型管理实体的决策，可以灵活确定AI/ML模型的监控方案，还使得网络侧能够全面掌握AI/ML模型的监控条件以及为监控AI/ML模型的可分配资源，有利于监控AI/ML模型的运行情况，达到更佳的监控效果。

另外，在唯一的监控方案启动后，模型监控采集实体和模型监控决策实体开始对第一模型进行监控。模型监控采集实体采集第一模型的监控测量数据。模型监控采集实体向模型监控决策实体发送第一模型的监控测量数据。模型监控决策实体根据第一模型的监控测量数据生成第一模型的监控决策。从而，实现了第一模型的监控过程。

场景一和场景二中，模型管理实体可以采用多种方式，确定第二信息。

作为一种可行的实现方式，模型管理实体可以根据模型管理实体的可使用资源以及第一信息，选择可行的一个或多个监控方案，来确定第二信息。

作为另一种可行的实现方式，模型管理实体可以根据模型管理实体的可使用资源、模型监控决策实体的可使用资源以及第一信息，选择可行的一个或多个监控方案，来确定第二信息。对应的，第二信息还用于指示第一模型的一组监控使用资源。

下面，结合图4，详细描述模型管理实体确定第一模型的一组监控使用资源的具体实现过程。

请参阅图4，图4示出了本申请一实施例提供的一种模型监控的交互方法的流程示意图。

如图4所示，本申请的模型监控的交互方法可以包括：

S301、模型管理实体向模型监控决策实体发送第三请求。

对应的，模型监控决策实体接收模型管理实体发送的第三请求。

其中，第三请求用于请求模型监控决策实体配置第一模型的一组监控使用资源。

在一些示例中，模型监控决策实体可能空闲，也可能当前忙碌但经过预设时长后空闲，也可能一直忙碌。基于此，第三请求可以用于向模型监控决策实体询问模型监控决策实体的可使用资源是否能够监控第一模型，即询问模型监控决策实体是否能够配置符合第一模型的监控条件的可使用资源。其中，此处的模型监控决策实体可以为一个或多个。此处的可使用资源可包括空闲的CPU、空闲的GPU或者空闲的内存容量中的至少一个。

在另一些示例中，模型监控决策实体可能未被占用资源，也可能被占用部分资源，也可能被占用全部资源。基于此，第三请求可以用于向模型监控决策实体询问监控第一模型的可分配资源，即询问模型监控决策实体当前的可分配资源。

其中，此处的可分配资源可以包括在启动第一模型之前的可使用资源。例如，当前空闲的可使用资源，和/或，当前非空闲但启动第一模型之前的空闲的可使用资源。此处的可分配资源可以包括如CPU、GPU、内存等，或者预定义的资源。此处的可分配资源可以采用资源的类型、名称或标识(ID)等进行表示。

从而，模型管理实体可以向模型监控决策实体发送第三请求，能够请求模型监控决策实体为监控第一模型配置第一模型的一组监控使用资源。也就是说，模型管理实体可以向一个或多模型监控决策实体询问第一模型的一组监控使用资源。

S302、模型监控决策实体向模型管理实体发送第三响应。

对应的，模型管理实体接收模型监控决策实体发送的第三响应。

其中，第三响应用于指示模型监控决策实体所配置的第一模型的一组或多组监控使用资源。此处的一组或多组监控使用资源可以包括如CPU、GPU、内存等，或者预定义的资源的类型、名称或标识(ID)等。

模型监控决策实体可以根据自身的可分配资源，确定第一模型的一组或多组监控使用资源。模型监控决策实体便可根据第一模型的一组或多组监控使用资源，确定第三响应。也就是说，模型监控决策实体可以配置一种或多种资源使用方案，每个资源使用方案中指示第一模型的一组监控使用资源。

从而，模型监控决策实体可以向模型管理实体发送第三响应，能够向模型管理实体告知模型监控决策实体为监控第一模型配置的第一模型的一组或多组监控使用资源。

另外，第三响应还可用于指示配置第一模型的一组监控使用资源的模型监控决策实体，如名称、标识(ID)，IP地址，或者端口地址中的至少一项进行表示。第三响应还可用于指示配置第一模型的一组监控使用资源对应的监控方案的有效期信息，即监控方案在多长时间内有效，能够充分利用模型监控决策实体的可使用资源。

S303、模型管理实体根据第三响应确定第一模型的一组监控使用资源。

模型管理实体根据第三响应，可以从第一模型的一组或多组监控使用资源，选择第一模型的一组监控使用资源。

其中，第一模型的一组监控使用资源可以包括如CPU、GPU、内存等，或者预定义的资源。第一模型的一组监控使用资源可以采用资源的类型、名称或标识(ID)等进行表示。

此外，除了第一模型的一组监控使用资源之外，模型管理实体还可确定配置第一模型的一组监控使用资源的模型监控决策实体，如名称、标识(ID)，IP地址，或者端口地址中的至少一项进行表示。

此外，除了第一模型的一组监控使用资源之外，模型管理实体还可确定当前时刻是否不在第一模型的一组监控使用资源对应的监控方案的有效期信息内。

综上，模型管理实体可以通过模型监控决策实体为监控第一模型配置监控使用资源，能够保证第一模型的监控过程正常启动。

场景一和场景二中，第一信息可以包括多种实现方式。例如，第一信息可称为第一模型的监控辅助信息。在一些示例中，第一信息可以包括：第一模型支持的监控类型、监控第一模型的模型监控决策实体的类型，或者第一模型支持的监控方案的性能指标中的至少一项。

其中，监控类型可以包括：第一模型的输入数据的数据格式、第一模型的输出数据的数据格式或者第一模型的外部环境的参数中的至少一项。本申请提及的数据格式包括数据类型和数据长度。

以第一模型用于提供定位服务为例，第一模型的输入数据的数据类型可以包括：信道脉冲响应(channel impulse response，CIR)，功率时延谱(power delay profile，PDP)，时延谱(delay profile，DP)，参考信号接收功率(reference signal receivedpower，RSRP)，以及参考信号接收路径功率(reference signal received path power，RSRPP)。CIRD的数据长度可以为64，128或256单位长度的复数。

以第一模型用于提供定位服务为例，第一模型的输出数据的数据类型可以包括：位置信息。例如，精度为m的三维相对位置(x，y，z)，或者，经纬度坐标，或者，WGS84坐标系下的坐标位置等。第一模型的输出数据的数据格式可以包括：位置信息中的坐标格式、经纬度格式，或者WGS84坐标系下的坐标格式等。另外，第一模型的输出数据的数据类型还可以包括：与位置信息相关的中间值信息，如质量参数，时间类信息等。例如，时间类信息可以为到达时间(time of arrival，ToA)，或者参考信号时差(reference signal timedifference，RSTD)等。

其中，外部环境的参数可以包括如外部环境的信噪比(signal noise ratio，SNR)或信号与干扰加噪声比(signal to interference plus noise ratio，SINR)，以及系统时间的同步状态等。

其中，模型监控决策实体的类型可以包括核心网设备、第三方网络侧设备、终端设备以及网络设备。

其中，监控方案的性能指标用于指示使用该监控方案带来的性能、效果以及影响等。监控方案的性能指标可以包括但不限于：计算复杂度、计算引起的延迟特征、占用的系统开销、在采用第二模型(如AI模型或ML模型)进行监控时第二模型的信息。第二模型的信息可以包括结构、参数、复杂度以及对系统软件和/或硬件的要求等。

例如，计算复杂度可以用高，中，低进行表示。计算引起的延迟特征可以用时间粒度，如毫秒(ms)级，10ms级，100ms级，或直接用一个数值进行表示。占用的系统开销可采用如占用的CPU、GPU或者内存的大小等进行表示。

场景一和场景二中，第二信息可以包括多种实现方式。在一些示例中，第二信息可以包括：第一信息、第一模型支持的监控方案的标识(identification，ID)、监控第一模型的模型监控决策实体的地址、监控第一模型的模型监控决策实体的辅助信息、第一模型支持的监控方案的有效期信息、第二信息的有效应答时间信息，或者第一模型支持的监控方案的优先级或推荐度中的至少一项。

其中，模型监控决策实体的地址可以为网际互连协议(Internet protocol，IP)地址或端口地址等。

其中，模型监控决策实体的辅助信息为模型监控决策实体的元数据(meta data)，如名称或标识(ID)等。

其中，考虑到在监控方案确定后，配置的第一模型的一组监控使用资源会分配给该监控方案用于监控第一模型，这样，第一模型的一组监控使用资源是占用的。基于此，第二信息中包括监控方案的有效期信息。监控方案的有效期信息用于指示能够启动该监控方案的时限，即监控方案在多长时间内有效，能够充分利用模型监控决策实体的可使用资源。例如，监控方案的有效期信息可采用最晚启动时刻，或者启动时段进行表示。

其中，第二信息的有效应答时间信息用于指示能够应答第二信息的时限。例如，第二信息的有效应答时间信息可采用最晚应答时刻，或者应答时段进行表示。

其中，监控方案的优先级或推荐度用于指示监控方案在全部监控方案中的建议采用顺序，可作为模型监控采集实体确定唯一的监控方案作为参考依据。监控方案的优先级或推荐度可根据模型监控决策实体的资源、使用策略(如监控方案的使用频率)和实际情况进行设置。另外，监控方案的优先级或推荐度在第二场景中可以包含在第二信息中。

需要说明的是，场景一中，第二信息中的监控方案指的是一个或多个监控方案中的每个监控方案。场景二中，第二信息中的监控方案指的是唯一的监控方案。

场景一中，第三信息可以包括多种实现方式。在一些示例中，第三信息可以包括：第二信息、唯一的监控方案的标识(ID)、第三信息的实际应答时间信息，或者监控第一模型的启动时间或者用于触发监控第一模型的启动事件中的至少一项。

其中，第三信息的实际应答时间信息用于表示第三信息发送或接收的时刻，如采用时间戳信息进行表示。

当该时刻在第二信息的有效应答时间信息指示的时限内时，说明第三信息应答有效。否则，说明第三信息应答无效。和/或，当该时刻在监控方案的有效期信息指示的时限内时，说明第三信息应答有效。否则，说明第三信息应答无效。从而，模型管理实体可以重新向模型监控采集实体发送第二信息，来重新确定监控方案。

其中，监控第一模型的启动时间用于指示在第三信息后的多长时间启动唯一的监控方案来监控第一模型。监控第一模型的启动时间可以为启动时刻，也可以为启动时段。例如，马上开始启动，或500ms后开始启动，或由某一实体发送用于启动唯一的监控方案的信息后开始启动，或在接收到某一实体发送的用于启动唯一的监控方案的信息后开始启动。

其中，用于触发监控第一模型的启动事件用于指示由哪个或哪些启动事件触发唯一的监控模型来监控第一模型。例如，在接收到某一实体发送的启动事件后开始启动。

其中，上述的某一实体可以为模型管理实体、模型监控采集实体或者模型监控决策实体中的任意一个。

场景二中，第二信息还可以包括：监控第一模型的启动时间和/或者用于触发监控第一模型的启动事件，其具体实现方式可参见场景一中的描述，此处不做赘述。

示例性地，本申请还提供一种通信装置。

图5为本申请一实施例提供的一种通信装置的结构示意图。

如图5所示，通信装置100可以独立存在，也可以集成在其他设备中，可以与前文提及的一个或多个模型运行实体模型、监控采集实体以及模型监控决策实体之间实现相互通信，用于实现上述任一方法实施例中对应于模型管理实体的操作。

通信装置100可以包括：处理单元101和收发单元102。处理单元101用于进行数据处理，收发单元102可以实现相应的通信功能。收发单元102还可以称为通信接口或通信单元。

可选地，通信装置100还可以包括存储单元，存储单元可以用于存储指令和/或数据，处理单元101可以读取存储单元中的指令和/或数据，以使得通信装置100实现前述方法实施例。

通信装置100可以用于执行前文方法实施例中模型管理实体所执行的动作。通信装置100可以为模型管理实体或者可配置于模型管理实体的部件。收发单元102用于执行前文方法实施例中模型管理实体的接收相关的操作。

可选的，收发单元102可以包括发送单元和接收单元。发送单元用于执行前述方法实施例中的发送操作。接收单元用于执行上述方法实施例中的接收操作。

需要说明的是，通信装置100可以包括发送单元，而不包括接收单元。或者，通信装置100可以包括接收单元，而不包括发送单元。具体可以视通信装置100执行的上述方案中是否包括发送动作和接收动作。

作为一种示例，通信装置100用于执行前文图2和图4所示实施例中模型管理实体所执行的动作。

通信装置100可以包括：处理单元101和收发单元102。

处理单元101，用于获得第一信息，第一信息用于指示第一模型的监控条件，第一模型部署在第一模型运行实体中，第一模型用于提供第一服务；

收发单元102，用于向模型监控采集实体发送第二信息，第二信息用于指示一个或多个监控方案，监控方案用于获得第一模型的运行情况，第二信息与第一信息相关；

收发单元102，还用于接收模型监控采集实体发送的第三信息，第三信息用于指示一个或多个监控方案中的唯一的监控方案，第三信息与第二信息相关；

收发单元102，还用于向模型监控决策实体发送第四信息，第四信息用于指示第一模型的一组监控使用资源，第四信息与第一信息相关。

应理解，各单元执行上述相应的过程在上述方法实施例中已经详细说明，为了简洁，在此不再赘述。

前文实施例中的处理单元可以由至少一个处理器或处理器相关电路实现。收发单元102可以由收发器或收发器相关电路实现。收发单元102还可称为通信单元或通信接口。存储单元可以通过至少一个存储器实现。

在一些示例中，处理单元101，具体用于向一个或多个模型运行实体发送第一请求，第一请求用于请求模型运行实体中部署的模型的监控条件对应的信息，模型运行实体中部署的模型用于提供第一服务，一个或多个模型运行实体中至少包括第一模型运行实体；接收第一模型运行实体发送的第一信息。

在一些示例中，处理单元101，具体用于从预存的第二信息集中获得第一信息，第二信息集中包括一个或多个模型运行实体中部署的模型的监控条件对应的信息，模型运行实体中部署的模型用于提供第一服务，一个或多个模型运行实体中至少包括第一模型运行实体。

在一些示例中，处理单元101，具体用于向其他网络侧实体或第三方网络设备发送第二请求，第二请求用于请求第一信息，其他网络侧实体或第三方网络设备中存储有第一信息；接收其他网络侧实体或第三方网络设备发送的第一信息。

在一些示例中，处理单元101，还用于根据第一信息和第二信息，确定第四信息；或者，模型管理实体根据第一信息和第三信息，确定第四信息。

示例性地，本申请还提供一种通信装置。

图6为本申请一实施例提供的一种通信装置的结构示意图。

如图6所示，通信装置200可以独立存在，也可以集成在其他设备中，可以与前文提及的第一模型运行实体模型、监控采集实体以及模型监控决策实体之间实现相互通信，用于实现上述任一方法实施例中对应于模型管理实体的操作。

通信装置200可以包括：收发单元201。收发单元201还可以称为通信接口或通信单元。

可选地，通信装置200还可以包括存储单元和处理单元，该存储单元可以用于存储指令和/或数据，处理单元可以读取存储单元中的指令和/或数据，以使得通信装置200实现前述方法实施例。处理单元用于进行数据处理，收发单元201可以实现相应的通信功能。

通信装置200可以用于执行前文方法实施例中模型管理实体所执行的动作。通信装置200可以为模型管理实体或者可配置于模型管理实体的部件。收发单元201用于执行前文方法实施例中模型管理实体的接收相关的操作，处理单元用于执行前文方法实施例中模型管理实体的处理相关的操作。

可选的，收发单元201可以包括发送单元和接收单元。发送单元用于执行上述方法实施例中的发送操作。接收单元用于执行上述方法实施例中的接收操作。

需要说明的是，通信装置200可以包括发送单元，而不包括接收单元。或者，通信装置200可以包括接收单元，而不包括发送单元。具体可以视通信装置200执行的上述方案中是否包括发送动作和接收动作。

作为一种示例，通信装置200用于执行前文图3和图4所示的实施例中模型管理实体所执行的动作。

通信装置200可以包括：收发单元201。

收发单元201，用于接收第一模型运行实体发送的第一请求，第一请求用于请求对第一模型进行监控，第一请求中携带有第一信息，第一信息用于指示第一模型的监控条件，第一模型部署在第一模型运行实体中，第一模型用于提供第一服务；

收发单元201，还用于向模型监控采集实体发送第二信息，第二信息用于指示唯一的监控方案，监控方案用于获得第一模型的运行情况，第二信息与第一信息相关；

收发单元201，还用于向第一模型运行实体发送第一响应，第一响应用于应答第一请求；

收发单元201，还用于向模型监控决策实体发送第四信息，第四信息用于指示第一模型的一组监控使用资源，第四信息与第一信息和第二信息相关。

应理解，各单元执行上述相应的过程在上述方法实施例中已经详细说明，为了简洁，在此不再赘述。

前文实施例中的处理单元可以由至少一个处理器或处理器相关电路实现。收发单元201可以由收发器或收发器相关电路实现。收发单元201还可称为通信单元或通信接口。存储单元可以通过至少一个存储器实现。

在一些示例中，收发单元201，还用于向第一模型运行实体发送第二信息。

示例性地，本申请还提供一种通信装置。

图7为本申请一实施例提供的一种通信装置的结构示意图。

如图7所示，通信装置300可以独立存在，也可以集成在其他设备中，可以与前文提及的一个或多个模型运行实体模型、模型管理实体以及模型监控决策实体之间实现相互通信，用于实现上述任一方法实施例中对应于模型监控采集实体的操作。

通信装置300可以包括：收发单元301。收发单元301可以实现相应的通信功能。收发单元301还可以称为通信接口或通信单元。

可选地，通信装置300还可以包括存储单元和处理单元，处理单元用于进行数据处理，存储单元可以用于存储指令和/或数据，处理单元可以读取存储单元中的指令和/或数据，以使得通信装置100实现前述方法实施例。

通信装置300可以用于执行前文方法实施例中模型监控采集实体所执行的动作。通信装置300可以为模型监控采集实体或者可配置于模型监控采集实体的部件。收发单元301用于执行前文方法实施例中模型监控采集实体的接收相关的操作。

可选的，收发单元301可以包括发送单元和接收单元。发送单元用于执行前述方法实施例中的发送操作。接收单元用于执行上述方法实施例中的接收操作。

需要说明的是，通信装置300可以包括发送单元，而不包括接收单元。或者，通信装置300可以包括接收单元，而不包括发送单元。具体可以视通信装置300执行的上述方案中是否包括发送动作和接收动作。

作为一种示例，通信装置300用于执行前文图2和图4所示实施例中模型监控采集实体所执行的动作。

通信装置300可以包括：收发单元301。

收发单元301，用于接收接收模型管理实体发送的第二信息，第二信息用于指示一个或多个监控方案，监控方案用于监控第一模型的运行情况，第二信息与第一信息相关，第一信息为模型管理实体获得的，第一信息用于指示第一模型的监控条件，第一模型部署在第一模型运行实体中，第一模型用于提供第一服务；

收发单元301，还用于向模型管理实体发送第三信息，第三信息用于指示一个或多个监控方案中的唯一的监控方案，第三信息与第二信息相关。

应理解，各单元执行上述相应的过程在上述方法实施例中已经详细说明，为了简洁，在此不再赘述。

前文实施例中的处理单元可以由至少一个处理器或处理器相关电路实现。收发单元301可以由收发器或收发器相关电路实现。收发单元301还可称为通信单元或通信接口。存储单元可以通过至少一个存储器实现。

在一些示例中，处理单元，用于在唯一的监控方案启动后，根据第三信息对第一模型进行监控，并获得第一模型的监控测量数据，监控测量数据用于表示第一模型的运行情况；

收发单元301，还用于向模型监控决策实体发送监控测量数据，监控测量数据用于模型监控决策实体生成第一模型的监控决策。

示例性地，本申请还提供一种通信装置。

图8为本申请一实施例提供的一种通信装置的结构示意图。

如图8所示，通信装置400可以独立存在，也可以集成在其他设备中，可以与前文提及的模型管理实体、模型监控采集实体以及模型监控决策实体之间实现相互通信，用于实现上述任一方法实施例中对应于第一模型运行实体的操作。

通信装置400可以包括：收发单元401。收发单元401可以实现相应的通信功能。收发单元401还可以称为通信接口或通信单元。

可选地，通信装置400还可以包括存储单元和处理单元，处理单元用于进行数据处理，该存储单元可以用于存储指令和/或数据，处理单元可以读取存储单元中的指令和/或数据，以使得通信装置400实现前述方法实施例。

通信装置400可以用于执行前文方法实施例中第一模型运行实体所执行的动作。通信装置400可以为第一模型运行实体或者可配置于第一模型运行实体的部件。收发单元401用于执行前文方法实施例中第一模型运行实体的接收相关的操作，处理单元用于执行前文方法实施例中第一模型运行实体的处理相关的操作。

可选的，收发单元401可以包括发送单元和接收单元。发送单元用于执行上述方法实施例中的发送操作。接收单元用于执行上述方法实施例中的接收操作。

需要说明的是，通信装置400可以包括发送单元，而不包括接收单元。或者，通信装置400可以包括接收单元，而不包括发送单元。具体可以视通信装置400执行的上述方案中是否包括发送动作和接收动作。

作为一种示例，通信装置400用于执行前文图3和图4所示的实施例中第一模型运行实体所执行的动作。

通信装置400可以包括：收发单元401。

收发单元401，用于向模型管理实体发送第一请求，第一请求用于请求对第一模型进行监控，第一请求中携带有第一信息，第一信息用于指示第一模型的监控条件，第一模型部署在第一模型运行实体中，第一模型用于提供第一服务；

收发单元401，还用于接收模型管理实体发送的第一响应，第一响应用于应答第一请求。

应理解，各单元执行上述相应的过程在上述方法实施例中已经详细说明，为了简洁，在此不再赘述。

前文实施例中的处理单元可以由至少一个处理器或处理器相关电路实现。收发单元401可以由收发器或收发器相关电路实现。收发单元404还可称为通信单元或通信接口。存储单元可以通过至少一个存储器实现。

在一些示例中，收发单元401，还用于接收模型管理实体发送的第二信息，第二信息用于指示唯一的监控方案，监控方案用于获得第一模型的运行情况，第二信息与第一信息相关。

示例性地，本申请还提供一种通信装置。

图9为本申请一实施例提供的一种通信装置的结构示意图。

如图9所示，通信装置500可以独立存在，也可以集成在其他设备中，可以与前文提及的一个或多个模型运行实体、模型管理实体以及模型监控决策实体之间实现相互通信，用于实现上述任一方法实施例中对应于模型监控采集实体的操作。

通信装置500可以包括：收发单元501。收发单元501可以实现相应的通信功能。收发单元501还可以称为通信接口或通信单元。

可选地，通信装置500还可以包括存储单元和处理单元，处理单元用于进行数据处理，存储单元可以用于存储指令和/或数据，处理单元可以读取存储单元中的指令和/或数据，以使得通信装置500实现前述方法实施例。

通信装置500可以用于执行前文方法实施例中模型监控采集实体所执行的动作。通信装置500可以为模型监控采集实体或者可配置于模型监控采集实体的部件。收发单元501用于执行前文方法实施例中模型监控采集实体的接收相关的操作。

可选的，收发单元501可以包括发送单元和接收单元。发送单元用于执行前述方法实施例中的发送操作。接收单元用于执行上述方法实施例中的接收操作。

需要说明的是，通信装置500可以包括发送单元，而不包括接收单元。或者，通信装置500可以包括接收单元，而不包括发送单元。具体可以视通信装置500执行的上述方案中是否包括发送动作和接收动作。

作为一种示例，通信装置500用于执行前文图3和图4所示实施例中模型监控采集实体所执行的动作。

通信装置500可以包括：收发单元501。

收发单元501，用于接收模型管理实体发送的第二信息，第二信息用于指示唯一的监控方案，监控方案用于监控第一模型的运行情况，第二信息与第一信息相关，第一信息携带在第一请求中，第一请求是第一模型运行实体向模型管理实体发送的，第一请求用于请求对第一模型进行监控，第一信息用于指示第一模型的监控条件，第一模型部署在第一模型运行实体中，第一模型用于提供第一服务。

应理解，各单元执行上述相应的过程在上述方法实施例中已经详细说明，为了简洁，在此不再赘述。

前文实施例中的处理单元可以由至少一个处理器或处理器相关电路实现。收发单元501可以由收发器或收发器相关电路实现。收发单元501还可称为通信单元或通信接口。存储单元可以通过至少一个存储器实现。

在一些示例中，处理单元还用于在唯一的监控方案启动后，根据第二信息对第一模型进行监控，并获得第一模型的监控测量数据，监控测量数据用于表示第一模型的运行情况；

收发单元501还用于向模型监控决策实体发送监控测量数据，监控测量数据用于模型监控决策实体生成第一模型的监控决策。

示例性地，本申请还提供一种通信装置。

图10为本申请一实施例提供的一种通信装置的结构示意图。

如图10所示，通信装置600可以独立存在，也可以集成在其他设备中，可以与前文提及的一个或多个模型运行实体、模型管理实体以及模型监控采集实体之间实现相互通信，用于实现上述任一方法实施例中对应于模型监控决策实体的操作。

通信装置600可以包括：收发单元601。收发单元601可以实现相应的通信功能。收发单元601还可以称为通信接口或通信单元。

可选地，通信装置600还可以包括存储单元和处理单元，处理单元用于进行数据处理，该存储单元可以用于存储指令和/或数据，处理单元可以读取存储单元中的指令和/或数据，以使得通信装置600实现前述方法实施例。

通信装置600可以用于执行前文方法实施例中模型监控决策实体所执行的动作。通信装置600可以为模型监控决策实体或者可配置于模型监控决策实体的部件。收发单元601用于执行前文方法实施例中模型监控决策实体的接收相关的操作，处理单元用于执行前文方法实施例中模型监控决策实体的处理相关的操作。

可选的，收发单元601可以包括发送单元和接收单元。发送单元用于执行上述方法实施例中的发送操作。接收单元用于执行上述方法实施例中的接收操作。

需要说明的是，通信装置600可以包括发送单元，而不包括接收单元。或者，通信装置600可以包括接收单元，而不包括发送单元。具体可以视通信装置600执行的上述方案中是否包括发送动作和接收动作。

作为一种示例，通信装置600用于执行前文图2和图4所示的实施例中模型监控决策实体所执行的动作。

通信装置600可以包括：收发单元601。

收发单元601，用于接收模型管理实体发送的第四信息，第四信息用于指示第一模型的一组监控使用资源，第四信息与第一信息相关，第一信息用于指示第一模型的监控条件，第一模型部署在第一模型运行实体中，第一模型用于提供第一服务。

应理解，各单元执行上述相应的过程在上述方法实施例中已经详细说明，为了简洁，在此不再赘述。

前文实施例中的处理单元可以由至少一个处理器或处理器相关电路实现。收发单元601可以由收发器或收发器相关电路实现。收发单元601还可称为通信单元或通信接口。存储单元可以通过至少一个存储器实现。

在一些示例中，第四信息是模型管理实体根据第一信息和第二信息确定的；或者，第四信息是模型管理实体根据第一信息和第三信息确定的；

第二信息与第一信息相关，第二信息用于指示一个或多个监控方案，监控方案用于获得第一模型的运行情况，第三信息与第二信息相关，第三信息用于指示一个或多个监控方案中的唯一的监控方案。

在一些示例中，收发单元601，还用于接收模型监控采集实体发送的监控测量数据，监控测量数据是模型监控采集实体在唯一的监控方案启动后，根据第三信息对第一模型进行监控并获得的，监控测量数据用于表示第一模型的运行情况；

处理单元，用于根据监控测量数据生成第一模型的监控决策。

示例性地，本申请还提供一种通信装置。

图11为本申请一实施例提供的一种通信装置的结构示意图。

如图11所示，通信装置700可以独立存在，也可以集成在其他设备中，可以与前文提及的一个或多个模型运行实体、模型管理实体以及模型监控采集实体之间实现相互通信，用于实现上述任一方法实施例中对应于模型监控决策实体的操作。

通信装置700可以包括：收发单元701。收发单元701可以实现相应的通信功能。收发单元701还可以称为通信接口或通信单元。

可选地，通信装置700还可以包括存储单元和处理单元，处理单元用于进行数据处理，存储单元可以用于存储指令和/或数据，处理单元可以读取存储单元中的指令和/或数据，以使得通信装置700实现前述方法实施例。

通信装置700可以用于执行前文方法实施例中模型监控决策实体所执行的动作。通信装置700可以为模型监控决策实体或者可配置于模型监控决策实体的部件。收发单元701用于执行前文方法实施例中模型监控决策实体的接收相关的操作。

可选的，收发单元701可以包括发送单元和接收单元。发送单元用于执行前述方法实施例中的发送操作。接收单元用于执行上述方法实施例中的接收操作。

需要说明的是，通信装置700可以包括发送单元，而不包括接收单元。或者，通信装置700可以包括接收单元，而不包括发送单元。具体可以视通信装置700执行的上述方案中是否包括发送动作和接收动作。

作为一种示例，通信装置700用于执行前文图3和图4所示实施例中模型监控决策实体所执行的动作。

通信装置700可以包括：收发单元701。

收发单元701，用于接收模型管理实体发送的第四信息，第四信息用于指示第一模型的一组监控使用资源，第四信息与第一信息和第二信息相关，第一信息用于指示第一模型的监控条件，第一模型部署在第一模型运行实体中，第一模型用于提供第一服务，第二信息与第一信息相关，第二信息用于指示唯一的监控方案，监控方案用于获得第一模型的运行情况，第一信息携带在第一请求中，第一请求是第一模型运行实体向模型管理实体发送的，第一请求用于请求对第一模型进行监控。

应理解，各单元执行上述相应的过程在上述方法实施例中已经详细说明，为了简洁，在此不再赘述。

前文实施例中的处理单元可以由至少一个处理器或处理器相关电路实现。收发单元701可以由收发器或收发器相关电路实现。收发单元701还可称为通信单元或通信接口。存储单元可以通过至少一个存储器实现。

在一些示例中，收发单元701，还用于接收模型监控采集实体发送的监控测量数据，监控测量数据是模型监控采集实体在唯一的监控方案启动后，根据第二信息对第一模型进行监控并获得的，监控测量数据用于表示第一模型的运行情况；

处理单元，用于根据监控测量数据生成第一模型的监控决策。

示例性地，本申请还提供一种通信装置。

图12为本申请一实施例提供的一种通信装置的硬件结构示意图。

通信装置800包括处理器801，处理器801与存储器802耦合，存储器802用于存储计算机程序或指令和/或数据，处理器801用于执行存储器802存储的计算机程序或指令和/或数据，使得前文方法实施例中的方法被执行。

可选地，通信装置800包括的处理器801为一个或多个。

可选地，如图12所示，通信装置800还可以包括存储器802。

可选地，通信装置800包括的存储器802可以为一个或多个。

可选地，存储器802可以与处理器801集成在一起，或者分离设置。

如图12所示，通信装置800还可以包括收发器803，收发器803用于信号的接收和/或发送。例如，处理器801用于控制收发器803进行信号的接收和/或发送。

作为一种方案，通信装置800用于实现前文方法实施例中由模型运行实体、模型管理实体以及模型监控采集实体、模型监控决策实体中的任意一个实体执行的操作。

例如，处理器801用于实现前文方法实施例中由模型运行实体、模型管理实体以及模型监控采集实体、模型监控决策实体中的任意一个实体执行的处理相关的操作，收发器803用于实现前文方法实施例中由模型运行实体、模型管理实体以及模型监控采集实体、模型监控决策实体中的任意一个实体执行的收发相关的操作。

上述图12所示的通信装置中，收发器803中用于接收功率的器件可以视为接收单元，收发器803在用于发送功能的器件可以视为发送单元。即收发器803可以包括接收器和发送器。收发器803也可以称为收发机、收发单元、或收发电路等。接收器也可以称为接收机、接收单元、接收器、或接收电路等。发送器也可以称为发射机、发射器、发射单元或者发射电路等。处理器801具有处理功能，处理器801可以称为处理单元。存储器802用于存储计算机程序代码和数据，存储器802也可以称为存储单元。

其中，当通信装置为芯片时，该芯片包括收发器、存储器和处理器。其中，收发器可以是输入输出电路、通信接口；处理器为该芯片上集成的处理器或者微处理器或者集成电路。上述方法实施例中模型运行实体、模型管理实体以及模型监控采集实体、模型监控决策实体中的任意一个实体的发送操作可以理解为芯片的输出，上述方法实施例中模型运行实体、模型管理实体以及模型监控采集实体、模型监控决策实体中的任意一个实体的接收操作可以理解为芯片的输入。

示例性地，本申请还提供一种计算机可读存储介质，其上存储有用于实现上述方法实施例中由模型运行实体、模型管理实体以及模型监控采集实体、模型监控决策实体中的任意一个实体执行的方法的计算机指令。

例如，该计算机程序被计算机执行时，使得该计算机可以实现上述方法实施例中由模型运行实体、模型管理实体以及模型监控采集实体、模型监控决策实体中的任意一个实体执行的方法。

示例性地，本申请还提供一种包含指令的计算机程序产品，该指令被计算机执行时使得该计算机实现上述方法实施例中由模型运行实体、模型管理实体以及模型监控采集实体、模型监控决策实体中的任意一个实体执行的方法。

示例性地，本申请还提供一种模型监控的交互系统，该模型监控的交互系统包括用于执行前文实施例的模型运行实体、模型管理实体以及模型监控采集实体、模型监控决策实体。

示例性地，本申请还提供一种通信装置，包括处理器，用于调用该存储器中存储的计算机程度或计算机指令，以使得该处理器执行上述实施例的方法。

一种可能的实现方式中，该通信装置的输入对应上述图2-图4所示的实施例中的接收操作，该通信装置的输出对应上述图2-图4所示的实施例中的发送操作。

可选的，该处理器通过接口与存储器耦合。

可选的，该通信装置还包括存储器，该存储器中存储有计算机程度或计算机指令。

其中，上述任一处提到的处理器，可以是一个通用中央处理器，微处理器，基带处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制前文实施例的方法的程序执行的集成电路。上述任一处提到的存储器可以为只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)等。

所属领域的技术人员可以清楚地了解到，为描述方便和简洁，上述提供的任一种通信装置中相关内容的解释及有益效果均可参考前文提供的对应的方法实施例，此处不再赘述。

本申请中，模型运行实体、模型管理实体以及模型监控采集实体、模型监控决策实体中的任意一个实体可以包括硬件层、运行在硬件层之上的操作系统层，以及运行在操作系统层上的应用层。其中，硬件层可以包括中央处理器(central processing unit，CPU)、内存管理单元(memory management unit，MMU)和内存(也称为主存)等硬件。操作系统层的操作系统可以是任意一种或多种通过进程(process)实现业务处理的计算机操作系统，例如，Linux操作系统、Unix操作系统、Android操作系统、iOS操作系统或windows操作系统等。应用层可以包含浏览器、通讯录、文字处理软件、即时通信软件等应用。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分过程。而前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。

以上，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案范围。

Claims (31)

1.一种模型监控的交互方法，其特征在于，所述方法包括：

模型管理实体获得第一信息，所述第一信息用于指示第一模型的监控条件，所述第一模型部署在第一模型运行实体中，所述第一模型用于提供第一服务；

所述模型管理实体向模型监控采集实体发送第二信息，所述第二信息用于指示一个或多个监控方案，所述监控方案用于获得所述第一模型的运行情况，所述第二信息与所述第一信息相关；

所述模型管理实体接收所述模型监控采集实体发送的第三信息，所述第三信息用于指示所述一个或多个监控方案中的唯一的监控方案，所述第三信息与所述第二信息相关；

所述模型管理实体向模型监控决策实体发送第四信息，所述第四信息用于指示所述第一模型的一组监控使用资源，所述第四信息与所述第一信息相关。

2.根据权利要求1所述的方法，其特征在于，所述模型管理实体获得第一信息，包括：

所述模型管理实体向一个或多个模型运行实体发送第一请求，所述第一请求用于请求所述模型运行实体中部署的模型的监控条件对应的信息，所述模型运行实体中部署的模型用于提供所述第一服务，所述一个或多个模型运行实体中至少包括所述第一模型运行实体；

所述模型管理实体接收所述第一模型运行实体发送的所述第一信息。

3.根据权利要求1所述的方法，其特征在于，所述模型管理实体获得第一信息，包括：

所述模型管理实体从预存的第二信息集中获得所述第一信息，所述第二信息集中包括一个或多个模型运行实体中部署的模型的监控条件对应的信息，所述模型运行实体中部署的模型用于提供所述第一服务，所述一个或多个模型运行实体中至少包括所述第一模型运行实体。

4.根据权利要求1所述的方法，其特征在于，所述模型管理实体获得第一信息，包括：

所述模型管理实体向其他网络侧实体或第三方网络设备发送第二请求，所述第二请求用于请求所述第一信息，所述其他网络侧实体或所述第三方网络设备中存储有所述第一信息；

所述模型管理实体接收所述其他网络侧实体或所述第三方网络设备发送的所述第一信息。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

所述模型管理实体根据所述第一信息和所述第二信息，确定所述第四信息；

或者，所述模型管理实体根据所述第一信息和所述第三信息，确定所述第四信息。

6.一种模型监控的交互方法，其特征在于，所述方法包括：

模型管理实体接收第一模型运行实体发送的第一请求，所述第一请求用于请求对第一模型进行监控，所述第一请求中携带有第一信息，所述第一信息用于指示所述第一模型的监控条件，所述第一模型部署在所述第一模型运行实体中，所述第一模型用于提供第一服务；

所述模型管理实体向模型监控采集实体发送第二信息，所述第二信息用于指示唯一的监控方案，所述监控方案用于获得所述第一模型的运行情况，所述第二信息与所述第一信息相关；

所述模型管理实体向所述第一模型运行实体发送第一响应，所述第一响应用于应答所述第一请求；

所述模型管理实体向模型监控决策实体发送第四信息，所述第四信息用于指示所述第一模型的一组监控使用资源，所述第四信息与所述第一信息和所述第二信息相关。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

所述模型管理实体向所述第一模型运行实体发送所述第二信息。

8.根据权利要求1或6所述的方法，其特征在于，所述方法还包括：

所述模型管理实体根据所述模型管理实体的可使用资源以及所述第一信息，确定所述第二信息。

9.根据权利要求1或6所述的方法，其特征在于，所述方法还包括：

所述模型管理实体根据所述模型管理实体的可使用资源、所述模型监控决策实体的可使用资源以及所述第一信息，确定所述第二信息，所述第二信息还用于指示所述第一模型的一组监控使用资源。

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

所述模型管理实体向模型监控决策实体发送第三请求，所述第三请求用于请求所述模型监控决策实体配置所述第一模型的一组监控使用资源；

所述模型管理实体接收所述模型监控决策实体发送的第三响应，所述第三响应用于指示所述模型监控决策实体所配置的所述第一模型的一组或多组监控使用资源；

所述模型管理实体根据所述第三响应确定所述第一模型的一组监控使用资源。

11.一种模型监控的交互方法，其特征在于，所述方法包括：

模型监控采集实体接收模型管理实体发送的第二信息，所述第二信息用于指示一个或多个监控方案，所述监控方案用于监控第一模型的运行情况，所述第二信息与第一信息相关，所述第一信息为所述模型管理实体获得的，所述第一信息用于指示第一模型的监控条件，所述第一模型部署在第一模型运行实体中，所述第一模型用于提供第一服务；

所述模型监控采集实体向所述模型管理实体发送第三信息，所述第三信息用于指示所述一个或多个监控方案中的唯一的监控方案，所述第三信息与所述第二信息相关。

12.根据权利要求11所述的方法，其特征在于，所述方法还包括：

所述模型监控采集实体在所述唯一的监控方案启动后，根据所述第三信息对所述第一模型进行监控，并获得所述第一模型的监控测量数据，所述监控测量数据用于表示所述第一模型的运行情况；

所述模型监控采集实体向模型监控决策实体发送所述监控测量数据，所述监控测量数据用于所述模型监控决策实体生成所述第一模型的监控决策。

13.一种模型监控的交互方法，其特征在于，所述方法包括：

第一模型运行实体向模型管理实体发送第一请求，所述第一请求用于请求对第一模型进行监控，所述第一请求中携带有第一信息，所述第一信息用于指示所述第一模型的监控条件，所述第一模型部署在所述第一模型运行实体中，所述第一模型用于提供第一服务；

所述第一模型运行实体接收所述模型管理实体发送的第一响应，所述第一响应用于应答所述第一请求。

14.根据权利要求13所述的方法，其特征在于，所述方法还包括：

所述第一模型运行实体接收所述模型管理实体发送的第二信息，所述第二信息用于指示唯一的监控方案，所述监控方案用于获得所述第一模型的运行情况，所述第二信息与所述第一信息相关。

15.一种模型监控的交互方法，其特征在于，所述方法包括：

模型监控采集实体接收模型管理实体发送的第二信息，所述第二信息用于指示唯一的监控方案，所述监控方案用于监控第一模型的运行情况，所述第二信息与第一信息相关，所述第一信息携带在第一请求中，所述第一请求是第一模型运行实体向所述模型管理实体发送的，所述第一请求用于请求对所述第一模型进行监控，所述第一信息用于指示第一模型的监控条件，所述第一模型部署在第一模型运行实体中，所述第一模型用于提供第一服务。

16.根据权利要求15所述的方法，其特征在于，所述方法还包括：

所述模型监控采集实体在所述唯一的监控方案启动后，根据所述第二信息对所述第一模型进行监控，并获得所述第一模型的监控测量数据，所述监控测量数据用于表示所述第一模型的运行情况；

所述模型监控采集实体向模型监控决策实体发送所述监控测量数据，所述监控测量数据用于所述模型监控决策实体生成所述第一模型的监控决策。

17.一种模型监控的交互方法，其特征在于，所述方法包括：

模型监控决策实体接收模型管理实体发送的第四信息，所述第四信息用于指示第一模型的一组监控使用资源，所述第四信息与第一信息相关，所述第一信息用于指示第一模型的监控条件，所述第一模型部署在第一模型运行实体中，所述第一模型用于提供第一服务。

18.根据权利要求17所述的方法，其特征在于，所述第四信息是所述模型管理实体根据所述第一信息和第二信息确定的；或者，所述第四信息是所述模型管理实体根据所述第一信息和第三信息确定的；

所述第二信息与所述第一信息相关，所述第二信息用于指示一个或多个监控方案，所述监控方案用于获得所述第一模型的运行情况，所述第三信息与所述第二信息相关，所述第三信息用于指示所述一个或多个监控方案中的唯一的监控方案。

19.根据权利要求18所述的方法，其特征在于，所述方法还包括：

所述模型监控决策实体接收所述模型监控采集实体发送的监控测量数据，所述监控测量数据是所述模型监控采集实体在所述唯一的监控方案启动后，根据所述第三信息对所述第一模型进行监控并获得的，所述监控测量数据用于表示所述第一模型的运行情况；

所述模型监控决策实体根据所述监控测量数据生成所述第一模型的监控决策。

20.一种模型监控的交互方法，其特征在于，所述方法包括：

模型监控决策实体接收模型管理实体发送的第四信息，所述第四信息用于指示第一模型的一组监控使用资源，所述第四信息与第一信息和第二信息相关，所述第一信息用于指示第一模型的监控条件，所述第一模型部署在第一模型运行实体中，所述第一模型用于提供第一服务，所述第二信息与所述第一信息相关，所述第二信息用于指示唯一的监控方案，所述监控方案用于获得所述第一模型的运行情况，所述第一信息携带在第一请求中，所述第一请求是第一模型运行实体向所述模型管理实体发送的，所述第一请求用于请求对所述第一模型进行监控。

21.根据权利要求20所述的方法，其特征在于，所述方法还包括：

所述模型监控决策实体接收所述模型监控采集实体发送的监控测量数据，所述监控测量数据是所述模型监控采集实体在所述唯一的监控方案启动后，根据所述第二信息对所述第一模型进行监控并获得的，所述监控测量数据用于表示所述第一模型的运行情况；

所述模型监控决策实体根据所述监控测量数据生成所述第一模型的监控决策。

22.根据权利要求17或20所述的方法，其特征在于，所述方法还包括：

所述模型监控决策实体接收所述模型管理实体发送的第三请求，所述第三请求用于请求所述模型监控决策实体配置所述第一模型的一组监控使用资源；

所述模型监控决策实体向所述模型管理实体发送第三响应，所述第三响应用于指示所述模型监控决策实体所配置的所述第一模型的一组或多组监控使用资源，所述第三响应用于所述模型管理实体确定所述第一模型的一组监控使用资源。

23.根据权利要求1-22任一项所述的方法，其特征在于，模型运行实体或模型监控采集实体为终端设备或者网络设备；模型管理实体或模型监控决策实体为核心网设备中的网络侧实体，或者第三方网络设备。

24.根据权利要求1-22任一项所述的方法，其特征在于，所述第一信息包括如下中的至少一项：

所述第一模型支持的监控类型，所述监控类型包括：所述第一模型的输入数据的数据格式、所述第一模型的输出数据的数据格式或者所述第一模型的外部环境的参数中的至少一项；

或者，监控所述第一模型的模型监控决策实体的类型；

或者，所述第一模型支持的监控方案的性能指标。

25.根据权利要求1-22任一项所述的方法，其特征在于，所述第二信息包括如下中的至少一项：

所述第一信息；

或者，所述第一模型支持的监控方案的标识；

或者，监控第一模型的模型监控决策实体的地址；

或者，监控第一模型的模型监控决策实体的辅助信息；或者，所述第一模型支持的监控方案的有效期信息；

或者，所述第二信息的有效应答时间信息；

或者，所述第一模型支持的监控方案的优先级或推荐度。

26.根据权利要求1-5、8-12、17-19、22-25任一项所述的方法，其特征在于，所述第三信息包括如下中的至少一项：

所述第二信息；

或者，唯一的监控方案的标识；

或者，所述第三信息的实际应答时间信息；

或者，监控所述第一模型的启动时间或者用于触发监控所述第一模型的启动事件。

27.一种模型监控的交互系统，其特征在于，所述模型监控的交互系统包括：一个或多个模型运行实体、用于执行权利要求1-12、23-26任一项所述的方法的模型监控采集实体、用于执行权利要求1-5、8-10、23-26任一项所述方法的模型管理实体以及用于执行权利要求17-19、22-26任一项所述的方法的模型监控决策实体；

和/或，用于执行权利要求14-15、23-25任一项所述方法的第一模型运行实体、用于执行权利要求15-16、23-25任一项所述的方法的模型监控采集实体、用于执行权利要求6-10、23-25任一项所述方法的模型管理实体以及用于执行权利要求20-25任一项所述的方法的模型监控决策实体；

所述一个或多个模型运行实体中至少包括第一模型运行实体。

28.一种通信装置，其特征在于，包括：处理器；

所述处理器用于执行存储器中的计算机可执行程序或指令，使得所述通信装置执行权利要求1-10、23-26任一项所述的方法；或者，使得所述通信装置执行权利要求11-12、15-16、23-26任一项所述的方法；或者，使得所述通信装置执行权利要求13-14、23-25任一项所述的方法；或者，使得所述通信装置执行权利要求17-26任一项所述的方法。

29.一种通信装置，其特征在于，所述通信装置包括：

存储器，用于存储计算机程序或指令；

处理器，用于执行所述存储器中存储的计算机程序或指令，使得所述通信装置执行如权利要求1-10、23-26任一项所述的方法；或者，使得所述通信装置执行如权利要求11-12、15-16、23-26任一项所述的方法；或者，使得所述通信装置执行如权利要求13-14、23-25任一项所述的方法；或者，使得所述通信装置执行如权利要求17-26任一项所述的方法。

30.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行程序或指令，所述计算机可执行程序或指令设置为执行权利要求1-10、23-26任一项所述的方法；或者，所述计算机可执行程序或指令设置为执行权利要求11-12、15-16、23-26任一项所述的方法；或者，所述计算机可执行程序或指令设置为执行权利要求13-14、23-25任一项所述的方法；或者，所述计算机可执行程序或指令设置为执行权利要求17-26任一项所述的方法。

31.一种芯片，其特征在于，包括：接口电路和逻辑电路，所述接口电路用于接收来自于芯片之外的其他芯片的信号并传输至所述逻辑电路，或者将来自所述逻辑电路的信号发送给所述芯片之外的其他芯片，所述逻辑电路用于实现如权利要求1-10、23-26任一项所述的方法；或者，所述逻辑电路用于实现如权利要求11-12、15-16、23-26任一项所述的方法；或者，所述逻辑电路用于实现如权利要求13-14、23-25任一项所述的方法；或者，所述逻辑电路用于实现如权利要求17-26任一项所述的方法。