CN110831029A - 一种模型的优化方法和分析网元 - Google Patents

一种模型的优化方法和分析网元 Download PDF

Info

Publication number
CN110831029A
CN110831029A CN201810916307.4A CN201810916307A CN110831029A CN 110831029 A CN110831029 A CN 110831029A CN 201810916307 A CN201810916307 A CN 201810916307A CN 110831029 A CN110831029 A CN 110831029A
Authority
CN
China
Prior art keywords
network element
analysis
correlation
model
analysis network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810916307.4A
Other languages
English (en)
Other versions
CN110831029B (zh
Inventor
徐以旭
王园园
吴中耀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201810916307.4A priority Critical patent/CN110831029B/zh
Publication of CN110831029A publication Critical patent/CN110831029A/zh
Application granted granted Critical
Publication of CN110831029B publication Critical patent/CN110831029B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W24/00Supervisory, monitoring or testing arrangements
    • H04W24/02Arrangements for optimising operational condition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0803Configuration setting
    • H04L41/0823Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/145Network analysis or design involving simulating, designing, planning or modelling of a network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本申请实施例公开了一种模型的优化方法和分析网元,通过分析网元之间的协同操作,提高模型优化的效率。本申请实施例提供一种模型的优化方法,所述方法包括:第一分析网元获取指示信息,所述指示信息包括:模型的标识、标签的类型、特征的类型、所述标签的样本数量,所述特征的样本数量;所述第一分析网元向第二分析网元发送所述指示信息;所述第一分析网元从所述第二分析网元接收响应信息;所述第一分析网元根据所述响应信息确定所述模型是否需要更新。

Description

一种模型的优化方法和分析网元
技术领域
本申请涉及通信技术领域,尤其涉及一种模型的优化方法和分析网元。
背景技术
在第五代移动通信技术(5th-Generation,5G)系统中,原有的基带单元(BasebandUnit,BBU)功能将被重构为集中单元(Central Unit,CU)和分布式单元(DistributedUnit,DU)两个功能实体。CU与DU功能的切分以处理内容的实时性进行区分。CU主要包括非实时的无线高层协议栈功能,同时也支持部分核心网功能下沉和边缘应用业务的部署,而DU主要处理物理层功能和实时性需求的媒体接入控制(Media Access Control,MAC)功能。
5G系统中采用CU和DU架构后,CU和DU可以由独立的硬件来实现。从功能上看,一部分核心网功能可以下移到CU甚至DU中,用于实现移动边缘计算。此外,原先所有的层一、层二、层三等功能都在BBU中实现,新的架构下可以将层一、层二、层三功能分离,分别放在CU和DU甚至射频拉远单元(Remote Radio Unit,RRU)中来实现,以便灵活地应对传输和业务需求的变化。
关于5G中CU、DU具体的功能划分,前述方式只是作为一种可行的参考例子。例如,还可以将层三和层二中的非实时功能在CU中实现,将层二的实时功能以及层一的部分功能在DU中实现,层一的另外一部分功能移入RRU来实现。
由此可见,5G系统中采用CU、DU分离架构后,传统的BBU和RRU网元及其逻辑功能都会发生很大变化。具体哪些功能会在CU中实现,哪些功能又会放入DU,各厂家的具体实施方案还没有确定下来。
现有技术提供了如下的机器学习(Machine Learning,ML)模型优化方案,需要关注模型的关键绩效指标(Key Performance Indicator,KPI),只有在该KPI出现下降时进行模型优化。现有技术提供的是较为被动的模型优化方法,当模型的KPI变差时,说明模型的预测性能已经下降的非常明显了,此时才会进行模型优化,因此现有技术存在模型优化的时效性滞后的问题。另外现有技术在5G系统中,网元之间、网元内的功能划分都没有确定,致使在目前的5G系统中缺乏对模型进行优化的控制机制。
发明内容
本申请实施例提供了一种模型的优化方法和分析网元,通过分析网元之间的协同操作,提高模型优化的效率。
为解决上述技术问题,本申请实施例提供以下技术方案:
第一方面,本申请实施例提供一种模型的优化方法,所述方法包括:第一分析网元获取指示信息,所述指示信息包括:模型的标识、标签的类型、特征的类型、所述标签的样本数量,所述特征的样本数量;所述第一分析网元向第二分析网元发送所述指示信息;所述第一分析网元从所述第二分析网元接收响应信息;所述第一分析网元根据所述响应信息确定所述模型是否需要更新。
在本申请的前述实施例中,第一分析网元获取指示信息,该指示信息可以包括:模型的标识、标签的类型、特征的类型、标签的样本数量,特征的样本数量,第一分析网元向第二分析网元发送指示信息,第一分析网元从第二分析网元接收响应信息,第一分析网元根据响应信息确定模型是否需要更新。本申请实施例中,第一分析网元通过和第二分析网元之间的协同操作,第二分析网元采集到特征和标签之后执行相关分析,使得第一分析网元可以接收到响应信息,并通过响应信息确定模型是否需要更新,使得第一分析网元可以及时的完成模型优化,从而提高了模型优化的效率。
在第一方面的第一种可能的实现方式中,所述指示信息还包括:所述第一分析网元为相关分析设置的运行周期和运行时间段,其中,所述相关分析用于分析所述特征和所述标签之间的相关性。在本申请的上述实施例中,第一分析网元可以向第二分析网元指示执行相关分析的运行周期和运行时间段,第一分析网元可以在指示信息中包括上述的运行周期和运行时间段。运行周期指的是第二分析网元执行相关分析的周期,例如每隔多久执行一次相关分析,运行时间段指的是每次执行相关分析的时间点。第二分析网元在确定出第一分析网元指示的运行周期和运行时间之后,第二分析网元可以按照运行周期和运行时间段,使用特征和标签执行相关分析,此处所述的特征和标签由第二分析网元采集得到。
在第一方面的第一种可能的实现方式中,所述指示信息还包括:为所述模型设置的初始相关特征、初始相关系数和差异阈值,其中,所述初始相关特征为相关分析所使用的参数,所述差异阈值用于根据所述初始相关系数以及相关分析结果进行差异分析,所述相关分析结果与所述初始相关特征关联。在本申请的上述实施例中,第二分析网元执行相关分析时还可以使用初始相关特征,该初始相关特征由第一分析网元提供给第二分析网元,若由第二分析网元进行差异分析,第二分析网元还需要使用初始相关系数和相关分析结果,相关分析结果由第二分析网元使用初始相关特征进行相关分析后得到,相关分析结果用来分析特征和标签之间的当前相关系数,初始相关系数由第一分析网元提供给第二分析网元。差异阈值是差异分析时所使用的阈值,若由第二分析网元进行差异分析,差异阈值由第一分析网元提供给第二分析网元。
在第一方面的第一种可能的实现方式中,所述第一分析网元根据所述响应信息确定所述模型是否需要更新,包括:所述第一分析网元解析所述响应信息,得到建议信息,所述建议信息与所述差异分析的结果关联,所述建议信息用于所述第二分析网元向所述第一分析网元建议所述模型需要更新;所述第一分析网元根据所述建议信息确定所述模型需要更新。在本申请的上述实施例中,第二分析网元确定差异分析结果是否超过预设的差异阈值,第二分析网元可以在模型需要更新时生成建议信息,建议信息用于第二分析网元向第一分析网元建议模型需要更新。在此处的实现场景下,第二分析网元可以做差异分析,而第一分析网元不需要做差异分析,第一分析网元只需要从第二分析网元获取到建议信息,直接根据第二分析网元的建议来确定模型需要更新。
在第一方面的第一种可能的实现方式中,所述响应信息包括:所述模型的标识、所述第二分析网元的标识、相关分析结果;所述相关分析结果用于指示所述特征和所述标签之间的当前相关系数。在本申请的上述实施例中,第二分析网元在执行相关分析之后,第二分析网元可以生成相关分析结果,第二分析网元发送的响应信息中可以携带该相关分析结果,并携带模型的标识和第二分析网元的标识,模型的标识用于指示相关分析所针对的模型,使得第一分析网元可以通过响应信息中携带的模型标识确定该相关分析结果是针对哪个模型得到,第二分析网元的标识用于指示执行相关分析的是哪个网元,例如第二分析网元的标识可以是该第二分析网元所在的基站的标识。
在第一方面的第一种可能的实现方式中,所述第一分析网元根据所述响应信息确定所述模型是否需要更新,包括:所述第一分析网元根据本地存储的初始相关系数以及所述相关分析结果进行差异分析,得到差异分析结果;所述第一分析网元确定所述差异分析结果是否超过预设的差异阈值。在本申请的上述实施例中,第一分析网元可以通过响应信息得到相关分析结果,第一分析网元本地存储有初始相关系数,第一分析网元将本地存储的初始相关系数以及相关分析结果进行差异分析,以判断两者是否产生差异,将差异分析结果再和预设的差异阈值进行比较,确定差异分析结果是否超过差异阈值。举例说明如下,第一分析网元在本地获取到初始特征系数列表后,计算当前特征系数列表和初始特征系数列表是否产生差异,并生成差异分析结果。
在第一方面的第一种可能的实现方式中,所述方法还包括:若所述差异分析结果超过所述差异阈值,所述第一分析网元确定所述模型需要进行更新。在本申请的上述实施例中,第一分析网元确定差异分析结果超过差异阈值时,第一分析网元可以确定模型需要更新,则第一分析网元可以更新机器学习算法的设计,并重新采集训练数据,进一步的将模型迭代更新。
第二方面,本申请实施例还提供一种模型的优化方法,所述方法包括:第二分析网元从第一分析网元接收指示信息,所述指示信息包括:模型的标识、标签的类型、特征的类型、所述标签的样本数量,所述特征的样本数量;所述第二分析网元根据所述指示信息采集所述特征以及所述标签;所述第二分析网元根据所述特征和所述标签执行相关分析;所述第二分析网元向所述第一分析网元发送响应信息,所述响应信息与所述第二分析网元执行的相关分析关联。
在本申请的前述实施例中,第一分析网元通过和第二分析网元之间的协同操作,第二分析网元采集到特征和标签之后执行相关分析,使得第一分析网元可以接收到响应信息,并通过响应信息确定模型是否需要更新,使得第一分析网元可以及时的完成模型优化,从而提高了模型优化的效率。
在第二方面的第一种可能的实现方式中,所述指示信息还包括:所述相关分析的运行周期和运行时间段;所述第二分析网元根据所述特征和所述标签执行相关分析,包括:所述第二分析网元按照所述运行周期和所述运行时间段,使用所述特征和所述标签执行相关分析。在本申请的上述实施例中,运行周期指的是第二分析网元执行相关分析的周期,例如每隔多久执行一次相关分析,运行时间段指的是每次执行相关分析的时间点,例如凌晨1:00~3:00执行相关分析。第二分析网元在确定出第一分析网元指示的运行周期和运行时间之后,第二分析网元可以按照运行周期和运行时间段,使用特征和标签执行相关分析。根据第一分析网元指示的运行周期和运行时间段,第二分析网元可以周期性的自动执行相关分析,以便及时的向第一分析网元发送响应信息,使得第一分析网元可以及时的确定模型是否需要更新,并在模型需要更新时及时对模型进行重新训练。
在第二方面的第一种可能的实现方式中,所述响应信息包括:所述模型的标识、所述第二分析网元的标识、所述第二分析网元通过相关分析得到的相关分析结果。在本申请的上述实施例中,第二分析网元在执行相关分析之后,第二分析网元可以生成相关分析结果,第二分析网元发送的响应信息中可以携带该相关分析结果,并携带模型的标识和第二分析网元的标识,模型的标识用于指示相关分析所针对的模型,使得第一分析网元可以通过响应信息中携带的模型标识确定该相关分析结果是针对哪个模型得到,第二分析网元的标识用于指示执行相关分析的是哪个网元,例如第二分析网元的标识可以是该第二分析网元所在的基站的标识。
在第二方面的第一种可能的实现方式中,所述指示信息还包括:所述模型的初始相关特征;所述第二分析网元根据所述特征和所述标签执行相关分析,包括:所述第二分析网元获取所述特征和所述标签之间的相关系数;所述第二分析网元根据所述相关系数生成当前相关特征;所述第二分析网元将所述当前相关特征和所述初始相关特征进行对比,得到相关分析结果。在本申请的上述实施例中,第二分析网元在采集到特征和标签之后,采用相关分析的算法计算特征和标签这两者之间的相关系数,通过相关系数可以生成与当前模型的标签最相关的特征,称为“当前相关特征”,最后将当前相关特征和初始相关特征进行对比,得到相关分析结果。
在第二方面的第一种可能的实现方式中,所述指示信息还包括:初始相关系数和差异阈值,所述方法还包括:所述第二分析网元根据所述初始相关系数以及所述相关分析结果进行差异分析,得到差异分析结果;所述第二分析网元确定所述差异分析结果是否超过所述差异阈值。在本申请的上述实施例中,若第一分析网元发送的指示信息中携带有初始相关系数和差异阈值,则说明第一分析网元指示第二分析网元进行差异分析,第二分析网元在执行相关分析之后,可以生成相关分析结果,第二分析网元从指示信息获取到初始相关系数,第二分析网元将初始相关系数以及相关分析结果进行差异分析,以判断两者是否产生差异,将差异分析结果再和预设的差异阈值进行比较,确定差异分析结果是否超过差异阈值。举例说明如下,第一分析网元在本地获取到初始特征系数列表后,计算当前特征系数列表和初始特征系数列表是否产生差异,并生成差异分析结果。
在第二方面的第一种可能的实现方式中,所述方法还包括:所述第二分析网元根据所述差异分析结果生成建议信息,所述建议信息用于所述第二分析网元向所述第一分析网元建议所述模型需要更新;其中,所述响应信息还包括:所述建议信息。在本申请的上述实施例中,第二分析网元确定差异分析结果是否超过预设的差异阈值,第二分析网元可以在模型需要更新时生成建议信息,建议信息用于第二分析网元向第一分析网元建议模型需要更新。举例说明如下,第二分析网元可以通过响应信息向第一分析网元反馈模型更新建议消息。
在第二方面的第一种可能的实现方式中,所述方法还包括:若所述差异分析结果超过所述差异阈值,所述第二分析网元确定所述模型需要进行更新。在本申请的上述实施例中,第二分析网元确定差异分析结果超过差异阈值时,第二分析网元可以确定模型需要更新,从而第二分析网元可以向第一分析网元指示模型需要更新,避免第一分析网元进行差异分析,减轻第一分析网元的处理负荷。
在第一方面或第二方面的第一种可能的实现方式中,所述第一分析网元包括:集中式单元CU,所述第二分析网元包括:分布式单元DU;或者,所述第一分析网元包括:无线接入网RAN数据分析网元RANDA,所述第二分析网元包括:CU或者DU;或者,所述第一分析网元包括:网络数据分析网元NWDA,所述第二分析网元包括:用户面功能网元UPF;或者,所述第一分析网元包括:分析和建模功能网元A&MF,所述第二分析网元包括:数据服务功能网元DSF。
第三方面,本申请实施例提供一种分析网元,所述分析网元具体为第一分析网元,所述第一分析网元,包括:处理模块,用于获取指示信息,所述指示信息包括:模型的标识、标签的类型、特征的类型、所述标签的样本数量,所述特征的样本数量;发送模块,用于向第二分析网元发送所述指示信息;接收模块,用于从所述第二分析网元接收响应信息;所述处理模块,还用于根据所述响应信息确定所述模型是否需要更新。
在第三方面的第一种可能的实现方式中,所述指示信息还包括:所述第一分析网元为相关分析设置的运行周期和运行时间段,其中,所述相关分析用于分析所述特征和所述标签之间的相关性。
在第三方面的第一种可能的实现方式中,所述指示信息还包括:为所述模型设置的初始相关特征、初始相关系数和差异阈值,其中,所述初始相关特征为相关分析所使用的参数,所述差异阈值用于根据所述初始相关系数以及相关分析结果进行差异分析,所述相关分析结果与所述初始相关特征关联。
在第三方面的第一种可能的实现方式中,所述处理模块,还用于解析所述响应信息,得到建议信息,所述建议信息与所述差异分析的结果关联,所述建议信息用于所述第二分析网元向所述第一分析网元建议所述模型需要更新;根据所述建议信息确定所述模型需要更新。
在第三方面的第一种可能的实现方式中,所述响应信息包括:所述模型的标识、所述第二分析网元的标识、相关分析结果;所述相关分析结果用于指示所述特征和所述标签之间的当前相关系数。
在第三方面的第一种可能的实现方式中,所述处理模块,还用于根据本地存储的初始相关系数以及所述相关分析结果进行差异分析,得到差异分析结果;确定所述差异分析结果是否超过预设的差异阈值。
在第三方面的第一种可能的实现方式中,所述处理模块,还用于若所述差异分析结果超过所述差异阈值,确定所述模型需要进行更新。
在本申请的第三方面中,第一分析网元的组成模块还可以执行前述第一方面以及各种可能的实现方式中所描述的步骤,详见前述对第一方面以及各种可能的实现方式中的说明。
第四方面,本申请实施例提供一种分析网元,所述分析网元具体为第二分析网元,所述第二分析网元,包括:接收模块,用于从第一分析网元接收指示信息,所述指示信息包括:模型的标识、标签的类型、特征的类型、所述标签的样本数量,所述特征的样本数量;处理模块,用于根据所述指示信息采集所述特征以及所述标签;处理模块,用于根据所述特征和所述标签执行相关分析;发送模块,用于向所述第一分析网元发送响应信息,所述响应信息与所述第二分析网元执行的相关分析关联。
在第四方面的第一种可能的实现方式中,所述指示信息还包括:所述相关分析的运行周期和运行时间段;所述处理模块,还用于按照所述运行周期和所述运行时间段,使用所述特征和所述标签执行相关分析。
在第四方面的第一种可能的实现方式中,所述响应信息包括:所述模型的标识、所述第二分析网元的标识、所述第二分析网元通过相关分析得到的相关分析结果。
在第四方面的第一种可能的实现方式中,所述指示信息还包括:所述模型的初始相关特征;所述处理模块,还用于获取所述特征和所述标签之间的相关系数;根据所述相关系数生成当前相关特征;将所述当前相关特征和所述初始相关特征进行对比,得到相关分析结果。
在第四方面的第一种可能的实现方式中,所述指示信息还包括:初始相关系数和差异阈值,所述处理模块,还用于根据所述初始相关系数以及所述相关分析结果进行差异分析,得到差异分析结果;确定所述差异分析结果是否超过所述差异阈值。
在第四方面的第一种可能的实现方式中,所述处理模块,还用于根据所述差异分析结果生成建议信息,所述建议信息用于所述第二分析网元向所述第一分析网元建议所述模型需要更新;其中,所述响应信息还包括:所述建议信息。
在第四方面的第一种可能的实现方式中,所述处理模块,还用于若所述差异分析结果超过所述差异阈值,所述第二分析网元确定所述模型需要进行更新。
在第三方面或第四方面的第一种可能的实现方式中,所述第一分析网元包括:集中式单元CU,所述第二分析网元包括:分布式单元DU;或者,所述第一分析网元包括:无线接入网RAN数据分析网元RANDA,所述第二分析网元包括:CU或者DU;或者,所述第一分析网元包括:网络数据分析网元NWDA,所述第二分析网元包括:用户面功能网元UPF;或者,所述第一分析网元包括:分析和建模功能网元A&MF,所述第二分析网元包括:数据服务功能网元DSF。
在本申请的第四方面中,第二分析网元的组成模块还可以执行前述第二方面以及各种可能的实现方式中所描述的步骤,详见前述对第二方面以及各种可能的实现方式中的说明。
第五方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第一方面或第二方面所述的方法。
第六方面,本申请实施例提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面或第二方面所述的方法。
第七方面,本申请实施例提供一种通信装置,该通信装置可以包括终端设备或者芯片等实体,所述通信装置包括:处理器、存储器;所述存储器用于存储指令;所述处理器用于执行所述存储器中的所述指令,使得所述通信装置执行如前述第一方面或第二方面中任一项所述的方法。
第八方面,本申请提供了一种芯片系统,该芯片系统包括处理器,用于支持第一分析网元或者第二分析网元实现第三方面或者第四方面中所涉及的功能,例如,发送或处理上述方法中所涉及的数据和/或信息。在一种可能的设计中,所述芯片系统还包括存储器,所述存储器,用于保存第一分析网元或者第二分析网元必要的程序指令和数据。该芯片系统,可以由芯片构成,也可以包括芯片和其他分立器件。
附图说明
图1为本申请实施例提供的一种模型的优化系统的组成结构示意图;
图2为本申请实施例提供的第一分析网元和第二分析网元之间的交互流程示意图;
图3为本申请实施例提供的数据分析网元和模型执行网元之间的交互流程示意图;
图4为本申请实施例提供的模型的优化方法所应用的一种无线核心网的示意图;
图5为本申请实施例提供的模型的优化方法所应用的一种无线接入网的示意图;
图6为本申请实施例提供的一种RANDA的组成结构示意图;
图7为本申请实施例提供的CU和DU之间的交互流程示意图;
图8为本申请实施例提供的RANDA和CU,或者RANDA和DU之间的交互流程示意图;
图9为本申请实施例提供的NWDA和UPF之间的交互流程示意图;
图10为本申请实施例提供的A&MF、MEF和DSF之间的交互流程示意图;
图11为本申请实施例提供的一种第一分析网元的组成结构示意图;
图12为本申请实施例提供的一种第二分析网元的组成结构示意图;
图13为本申请实施例提供的另一种第一分析网元的组成结构示意图;
图14为本申请实施例提供的另一种第二分析网元的组成结构示意图。
具体实施方式
本申请实施例提供了一种模型的优化方法和分析网元,通过分析网元之间的协同操作,提高模型优化的效率。
下面结合附图,对本申请的实施例进行描述。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
本申请实施例提供的模型的优化方法可应用于无线网络中的机器学习模型中。机器学习可以被应用在无线网络中。
机器学习大致分为数据采集、预处理和特征工程、训练以及预测等主要步骤。
其中,数据采集是指数据采集设备从产生数据源的对象中获取各种类型的原始数据。采集得到的数据可以存放在数据库或数据采集设备的内存中用来进行训练或者预测。
预处理是对原始数据做简单的结构化、清洗、去重、去噪等数据操作。
特征工程是机器学习的一个重要过程,同样也是对数据的操作,可以认为是对数据的进一步的处理。典型的操作包括训练数据特征的提取,相关分析等。这些操作可以用到一些复杂的算法辅助完成。
训练是机器学习用来产生预测模型的一环。算法使用者将数据准备好后,选择合适的算法和特征(如果是监督学习还需选择合适的标签数据),将数据输入到算法后由计算机执行训练算法。例如,本申请实施例中所使用的算法可以包括回归、决策树、支持向量机(Support Vector Machine,SVM)、神经网络、贝叶斯分类器等。每一类算法也可能会包括多个衍生的算法类型。单个训练算法训练结束后会产生一个机器学习模型。
在机器学习模型训练后,可以使用该机器学习模型进行预测,例如将新的样本数据输入到训练出的模型中即可预测出该模型所对应的输出值。
如图1所示,为本申请实施例提供的一种模型的优化系统的组成结构示意图。模型的优化系统100可以包括至少两个分析网元,该至少两个分析网元分别为:第一分析网元101和第二分析网元102。其中第一分析网元101和第二分析网元102之间可以进行相互的通信。
第一分析网元101可以是数据分析网元,可实现模型的训练及下发、模型优化指示的下发、确定模型是否需要更新等功能。其中,第一分析网元101所创建的模型与下发的指示在不同的无线网络场景下有不同的实现方式。例如,该第一分析网元101可以是集中单元(Central Unit,CU)、无线接入网(Radio Access Network,RAN)数据分析网元(RAN DataAnalysis,RANDA)、网络数据分析网元(Network Data Analysis,NWDA)、或分析和建模功能(Analyzing and Modeling Function,A&MF)网元。其中,CU主要包括非实时的无线高层协议栈功能,同时也支持部分核心网功能下沉和边缘应用业务的部署。RANDA是RAN侧的数据分析网元。NWDA位于核心网侧,是网络侧的数据分析网元。A&MF网元可用于5G系统,或者其它的通信系统。该第一分析网元101具有分析和建模功能、模型优化更新功能,可提供网络大数据分析、挖掘和各种学习模型的训练、模型优化。
第二分析网元102可以是模型执行网元,可以实现模型的安装、模型的特征以及标签的采集,还可以执行相关分析功能。其中,第二分析网元102在不同的无线网络场景下有执行特征以及标签采集、相关分析时有不同的实现方式。例如,该第二分析网元102可以是CU、分布式单元(Distributed Unit,DU)、用户面功能(User Plane Function,UPF)网元、或数据服务(Data Service Function,DSF)网元。其中,CU主要包括非实时的无线高层协议栈功能,同时也支持部分核心网功能下沉和边缘应用业务的部署。DU主要处理物理层功能和实时性需求的媒体接入控制(Media Access Control,MAC)功能。UPF网元可以实现基于用户面的数据处理。DSF网元可实现数据的整合功能。DSF网元可以与A&MF网元之间配置有专用的接口,通过该接口可以接收模型优化指示,并上报模型优化响应给A&MF网元。DSF网元可用于5G系统,或者其它的通信系统。该DSF网元具有数据服务功能,可提供数据采集、相关分析,并向不同网元提供数据和处理结果。
在本申请的一些实施例中,在不同的无线网络场景下,第一分析网元和第二分析网元之间可以满足如下关系:第一分析网元包括:CU,第二分析网元包括:DU;或者,第一分析网元包括:RANDA,第二分析网元包括:CU或者DU;或者,第一分析网元包括:NWDA,第二分析网元包括:UPF;或者,第一分析网元包括:A&MF,第二分析网元包括:DSF。详见前述内容中对于各个网元的详细说明。
在本申请实施例中,第二分析网元可以执行相关分析(Analysis ofCorrelation)方法,相关分析是数据特征工程中需要使用的分析方法。通过对不同特征和标签间的关系进行分析,发现对标签的关键影响及驱动因素。并使用最相关的特征对机器学习模型进行训练,也是一种数据降维的方法。其中,标签只有在于机器学习算法的有监督学习算法中存在,可以选择要预测的数据类型作为标签,比如通过身高和体重预测性别,这里性别就是标签的类型,身高和体重就是特征的类型。数据降维是指机器学习算法将除标签的类型外的其他数据都认为是特征的类型,特征越多训练的代价也就越大,实际上不是所有的特征都和标签是强相关的,因此通过相关分析可以识别出那些和标签不太相关的数据类型排除在特征的类型内,这样可以降低训练的复杂度,也称作数据降维。
其中,相关系数(Correlation coefficient)是反映变量之间关系密切程度的统计指标,相关系数的取值区间在1到-1之间。1表示两个变量完全线性相关,-1表示两个变量完全负相关,0表示两个变量不相关。数据越趋近于0表示相关关系越弱。
相关系数r可以采用如下的计算方法:
Figure BDA0001763096730000091
其中,X和Y分别代表了任意两种特征,
Figure BDA0001763096730000092
指特征X的样本的平均值,
Figure BDA0001763096730000093
指特征Y的样本的平均值,n代表样本的数量,i代表样本编号。
接下来对模型的优化系统的各个组成部分之间的交互流程进行举例说明。请参阅图2所示,为本申请实施例提供的模型的优化系统内多个网元之间的一种交互流程示意图。例如,第一分析网元和第二分析网元分别可以是图1中的第一分析网元101、第二分析网元102。如图2所示,该方法包括如下步骤:
在执行步骤201前,第一分析网元101可以预先从第二分析网元获取到训练数据和测试数据,第一分析网元根据训练数据和测试数据训练出模型,以创建初始模型(图2中未示出),该模型可以是第一分析网元训练出的机器学习模型。可选的,第一分析网元根据训练数据和测试数据训练出模型之后,第一分析网元向第二分析网元发送模型安装信息,模型安装信息,包括:模型描述信息。其中,第一分析网元在训练出模型之后,还可以校验模型的准确率和召回率,达标后通过第一分析网元和第二分析网元之间的信令接口向第二分析网元发送模型安装消息,消息内携带机器学习模型的模型描述信息,第二分析网元接收到模型安装消息后解析并按照消息指示安装模型,并由模型执行预测。
201、第一分析网元获取指示信息,指示信息包括:模型的标识、标签的类型、特征的类型、标签的样本数量,特征的样本数量。
在第一分析网元完成模型的训练之后,第一分析网元可以指示第二分析网元安装该模型,例如第二分析网元可以是DU。又如,第二分析网元还可以包括模型执行功能(ModelExecution Function,MEF)网元,MEF中可以安装机器学习模型,MEF使用该机器学习模型进行预测。
第一分析网元可以定期的检测模型是否需要更新。第一分析网元需要确定待优化的模型的标识,需要收集的标签的类型和特征的类型,以及确定所收集的标签的样本数量和特征的样本数量。其中,特征是指模型需要收集的输入数据,标签是指模型的预测对象。举例说明,在有监督的机器学习范畴内,都会存在标签和特征,其中,模型需要预测什么数据,这种数据就是标签,假设要通过信道质量指示(channel quality indicator,CQI)、参考信号接收功率(Reference Signal Receiving Power,RSRP)等预测调制与编码策略(Modulation and Coding Scheme,MCS),那么CQI和RSRP就是特征,MCS就是标签。第二分析网元需要执行的相关操作就是对CQI和MCS,以及RSRP和MCS分别进行相关分析。第一分析网元在确定出模型的标识、标签的类型、特征的类型、标签的样本数量,特征的样本数量之后,第一分析网元可以根据模型的标识、标签的类型、特征的类型、标签的样本数量,特征的样本数量生成指示信息,该指示信息用于向第二分析网元指示模型分析,该指示信息所包括的信息内容需要根据具体的模型以及相应的特征和标签来确定。
在本申请的一些实施例中,指示信息还包括:第一分析网元为相关分析设置的运行周期和运行时间段,其中,
相关分析用于分析特征和标签之间的相关性。
其中,第一分析网元可以向第二分析网元指示执行相关分析的运行周期和运行时间段,第一分析网元可以在指示信息中包括上述的运行周期和运行时间段。运行周期指的是第二分析网元执行相关分析的周期,例如每隔多久执行一次相关分析,运行时间段指的是每次执行相关分析的时间点。例如凌晨1:00~3:00执行相关分析。第二分析网元在确定出第一分析网元指示的运行周期和运行时间之后,第二分析网元可以按照运行周期和运行时间段,使用特征和标签执行相关分析,此处所述的特征和标签由第二分析网元采集得到。
在本申请的一些实施例中,指示信息还包括:为模型设置的初始相关特征、初始相关系数和差异阈值,其中,
初始相关特征为相关分析所使用的参数,差异阈值用于根据初始相关系数以及相关分析结果进行差异分析,相关分析结果与初始相关特征关联。
其中,第二分析网元执行相关分析时还可以使用初始相关特征,该初始相关特征由第一分析网元提供给第二分析网元,若由第二分析网元进行差异分析,第二分析网元还需要使用初始相关系数和相关分析结果,相关分析结果由第二分析网元使用初始相关特征进行相关分析后得到,相关分析结果用来分析特征和标签之间的当前相关系数,初始相关系数由第一分析网元提供给第二分析网元。差异阈值是差异分析时所使用的阈值,若由第二分析网元进行差异分析,差异阈值由第一分析网元提供给第二分析网元,对于相关分析和差异分析的说明,详见后续实施例的内容说明。
202、第一分析网元向第二分析网元发送指示信息。
例如,第一分析网元和第二分析网元之间配置有接口,第一分析网元可通过该接口向第二分析网元发送指示信息。又如第一分析网元和第二分析网元之间可以通过其它网元来转发该指示信息。对于第一分析网元和第二分析网元之间的通信方式,可以结合具体的无线网络场景下各个分析网元的具体实现来确定。
203、第二分析网元从第一分析网元接收指示信息,指示信息包括:模型的标识、标签的类型、特征的类型、标签的样本数量,特征的样本数量。
由前述步骤202可知,第一分析网元向第二分析网元发送指示信息,第二分析网元可以通过第二分析网元和第一分析网元之间的通信链路接收到该指示信息。第二分析网元可以解析该指示信息,根据模型的标识获取到待分析的模型,根据标签的类型和特征的类型确定出需要采集哪些类型的数据,根据标签的样本数量和特征的样本数量确定出需要采集的数据规模。
204、第二分析网元根据指示信息采集特征以及标签。
在本申请实施例中,第二分析网元在收到第一分析网元的模型分析指示之后,第二分析网元按照指示信息中要求的类型和样本数量来收集相应类型和相应样本数量的特征,以及收集相应类型和相应样本数量的标签。其中,特征是指模型需要收集的输入数据,标签是指模型的预测对象。
205、第二分析网元根据特征和标签执行相关分析。
在本申请实施例中,第二分析网元按照指示信息采集到特征以及标签之后,第二分析网元可以根据采集到的特征和标签执行相关分析,对于相关分析的算法说明,详见前述内容的描述。
在本申请的一些实施例中,第一分析网元发送的指示信息还包括:相关分析的运行周期和运行时间段。在这种实现场景下,步骤205第二分析网元根据特征和标签执行相关分析,包括:
第二分析网元按照运行周期和运行时间段,使用特征和标签执行相关分析。
其中,运行周期指的是第二分析网元执行相关分析的周期,例如每隔多久执行一次相关分析,运行时间段指的是每次执行相关分析的时间点,例如凌晨1:00~3:00执行相关分析。第二分析网元在确定出第一分析网元指示的运行周期和运行时间之后,第二分析网元可以按照运行周期和运行时间段,使用特征和标签执行相关分析。根据第一分析网元指示的运行周期和运行时间段,第二分析网元可以周期性的自动执行相关分析,以便及时的向第一分析网元发送响应信息,使得第一分析网元可以及时的确定模型是否需要更新,并在模型需要更新时及时对模型进行重新训练。
在本申请的一些实施例中,指示信息还包括:模型的初始相关特征。在这种实现场景下,第二分析网元根据特征和标签执行相关分析,包括:
第二分析网元获取特征和标签之间的相关系数;
第二分析网元根据相关系数生成当前相关特征;
第二分析网元将当前相关特征和初始相关特征进行对比,得到相关分析结果。
其中,第二分析网元在采集到特征和标签之后,采用相关分析的算法计算特征和标签这两者之间的相关系数,通过相关系数可以生成与当前模型的标签最相关的特征,称为“当前相关特征”,最后将当前相关特征和初始相关特征进行对比,得到相关分析结果。
举例说明如下,以第二分析网元通过模型预测输出MCS为例,假设初始的模型是通过{CQI,RSRP,秩指示(Rank Indication,RI),信号与干扰加噪声比(Signal toInterference plus Noise Ratio,SINR)}预测MCS,第一分析网元将模型安装到第二分析网元之后,同时下发指示信息,该指示信息包括:模型的标识、标签的类型、特征的类型、标签的样本数量,特征的样本数量。其中,特征的类型通过特征列表来指示,例如分析相关性所需要的特征列表为{CQI,RSRP,RI,SINR,确认(Acknowledgement,ACK)或否认(NegativeACKnowledgment,NACK),传输块大小(Transmission Block Size,TBS),预编码矩阵指示(Precoding Matrix Indicator,PMI)},初始相关系数列表为{0.8,0.7,0.5,0.4,0.2,0.2,0.3},因此在模型的初始状态下,4个最相关系数为CQI,RSRP,RI,SINR。第一分析网元指示第二分析网元对特征和标签做相关分析,第二分析网元接收到指示信息后,第二分析网元在本地采集相关特征和标签,然后根据采集到的特征和标签执行相关分析后,得出当前相关系数列表{0.9,0.8,0.7,0.2,0.3,0.5,0.3}。再将当前相关系数列表和前述的初始相关系数列表进行对比,可以得到相关分析结果,例如第二分析网元对比相关性最大的4个特征是否产生变化,那么很明显当前最相关的四个特征变成了{CQI,RSRP,ACKNACK,TBS},将当前相关系数和初始相关系数进行差异分析,得到产生差异的特征为ACKNACK,TBS,产生差异的特征个数为2。
206、第二分析网元向第一分析网元发送响应信息,响应信息与第二分析网元执行的相关分析关联。
在本申请实施例中,第二分析网元执行步骤205之后,第二分析网元可以生成响应信息,该响应信息与第二分析网元执行的相关分析关联,即第二分析网元在执行相关分析之后,通过响应信息的方式向第一分析网元反馈与第二分析网元所执行的相关分析有关联的信息。
在本申请的一些实施例中,响应信息包括:模型的标识、第二分析网元的标识、第二分析网元通过相关分析得到的相关分析结果。
其中,第二分析网元在执行相关分析之后,第二分析网元可以生成相关分析结果,第二分析网元发送的响应信息中可以携带该相关分析结果,并携带模型的标识和第二分析网元的标识,模型的标识用于指示相关分析所针对的模型,使得第一分析网元可以通过响应信息中携带的模型标识确定该相关分析结果是针对哪个模型得到,第二分析网元的标识用于指示执行相关分析的是哪个网元,例如第二分析网元的标识可以是该第二分析网元所在的基站的标识。举例说明如下,响应信息中可以包括模型的标识,基站标识(例如在核心网就是UPF标识),特征相关系数列表,
在本申请的一些实施例中,指示信息还包括:初始相关系数和差异阈值。在这种实现场景下,本申请实施例提供的方法还包括:
第二分析网元根据初始相关系数以及相关分析结果进行差异分析,得到差异分析结果;
第二分析网元确定差异分析结果是否超过差异阈值。
其中,若第一分析网元发送的指示信息中携带有初始相关系数和差异阈值,则说明第一分析网元指示第二分析网元进行差异分析,第二分析网元在执行相关分析之后,可以生成相关分析结果,第二分析网元从指示信息获取到初始相关系数,第二分析网元将初始相关系数以及相关分析结果进行差异分析,以判断两者是否产生差异,将差异分析结果再和预设的差异阈值进行比较,确定差异分析结果是否超过差异阈值。举例说明如下,第一分析网元在本地获取到初始特征系数列表后,计算当前特征系数列表和初始特征系数列表是否产生差异,并生成差异分析结果。举例说明如下,对比相关性系数最大的N个特征中,是否有超过M个特征是不一样的,其中N和M可以是差异阈值携带的内容,若N的取值为10,初始相关系数中与标签最相关的5个系数为A、B、C、D、E,当前相关系数中与标签最相关的5个系数为A、B、F、G、H,则差异分析结果为:与标签最相关的特征有3个发生了变化,若M的取值为2,则说明差异分析结果超过了差异阈值。
进一步的,在本申请的一些实施例中,第二分析网元确定差异分析结果是否超过预设的差异阈值之后,本申请实施例提供的方法还可以包括如下步骤:
若差异分析结果超过差异阈值,第二分析网元确定模型需要进行更新。
其中,第二分析网元确定差异分析结果超过差异阈值时,第二分析网元可以确定模型需要更新。
进一步的,在本申请的一些实施例中,第二分析网元确定差异分析结果是否超过预设的差异阈值之后,本申请实施例提供的方法还可以包括如下步骤:
第二分析网元根据差异分析结果生成建议信息,建议信息用于第二分析网元向第一分析网元建议模型需要更新;
其中,响应信息还包括:建议信息。
举例说明如下,第二分析网元确定差异分析结果是否超过预设的差异阈值,第二分析网元可以在模型需要更新时生成建议信息,建议信息用于第二分析网元向第一分析网元建议模型需要更新。举例说明如下,第二分析网元可以通过响应信息向第一分析网元反馈模型更新建议消息。
207、第一分析网元从第二分析网元接收响应信息。
例如,第一分析网元和第二分析网元之间配置有接口,第二分析网元可通过该接口向第一分析网元发送响应信息。又如第一分析网元和第二分析网元之间可以通过其它网元来转发该指示信息。对于第一分析网元和第二分析网元之间的通信方式,可以结合具体的无线网络场景下各个分析网元的具体实现来确定。
208、第一分析网元根据响应信息确定模型是否需要更新。
在本申请实施例中,第一分析网元从第二分析网元接收到响应信息之后,第一分析网元解析该响应信息所携带的信息,从而第一分析网元可以确定模型是否需要更新。若模型需要更新,则第一分析网元可以更新机器学习算法的设计,并重新采集训练数据,进一步的将模型迭代更新。
在本申请的一些实施例中,第二分析网元发送的响应信息中携带有前述的建议信息的情况下,步骤208第一分析网元根据响应信息确定模型是否需要更新,包括:
第一分析网元解析响应信息,得到建议信息,建议信息与差异分析的结果关联,建议信息用于第二分析网元向第一分析网元建议模型需要更新;
第一分析网元根据建议信息确定模型需要更新。
其中,第二分析网元确定差异分析结果是否超过预设的差异阈值,第二分析网元可以在模型需要更新时生成建议信息,建议信息用于第二分析网元向第一分析网元建议模型需要更新。在此处的实现场景下,第二分析网元可以做差异分析,而第一分析网元不需要做差异分析,第一分析网元只需要从第二分析网元获取到建议信息,直接根据第二分析网元的建议来确定模型需要更新。需要说明的是,第二分析网元可以做差异分析之后,若模型不需要更新,第二分析网元可以不发送上述建议信息。
在本申请的一些实施例中,响应信息包括:模型的标识、第二分析网元的标识、第二分析网元通过相关分析得到的相关分析结果。其中,相关分析结果用于指示特征和标签之间的当前相关系数。
其中,第二分析网元在执行相关分析之后,第二分析网元可以生成相关分析结果,第二分析网元发送的响应信息中可以携带该相关分析结果,并携带模型的标识和第二分析网元的标识,第一分析网元可以通过响应信息中携带的模型标识确定该相关分析结果是针对哪个模型得到,第一分析网元可以通过响应信息中携带的第二分析网元的标识确定出执行相关分析的是哪个网元,例如第二分析网元的标识可以是该第二分析网元所对应的基站标识。第一分析网元可以通过响应信息得到相关分析结果之后,第一分析网元解析该相关分析结果获取到特征和标签之间的当前相关系数,当前相关系数是指基于当前的模型所得到的特征和标签之间的相关系数。
进一步的,在本申请的一些实施例中,第一分析网元根据响应信息确定模型是否需要更新,包括:
第一分析网元根据本地存储的初始相关系数以及相关分析结果进行差异分析,得到差异分析结果;
第一分析网元确定差异分析结果是否超过预设的差异阈值。
其中,第一分析网元可以通过响应信息得到相关分析结果,第一分析网元本地存储有初始相关系数,第一分析网元将本地存储的初始相关系数以及相关分析结果进行差异分析,以判断两者是否产生差异,将差异分析结果再和预设的差异阈值进行比较,确定差异分析结果是否超过差异阈值。举例说明如下,第一分析网元在本地获取到初始特征系数列表后,计算当前特征系数列表和初始特征系数列表是否产生差异,并生成差异分析结果。举例说明如下,对比相关性系数最大的N个特征中,是否有超过M个特征是不一样的,其中N和M可以是差异阈值携带的内容,若N的取值为10,初始相关系数中与标签最相关的5个系数为A、B、C、D、E,当前相关系数中与标签最相关的5个系数为A、B、F、G、H,则差异分析结果为:与标签最相关的特征有3个发生了变化,若M的取值为2,则说明差异分析结果超过了差异阈值。
进一步的,在本申请的一些实施例中,第一分析网元确定差异分析结果是否超过预设的差异阈值之后,本申请实施例提供的方法还可以包括如下步骤:
若差异分析结果超过差异阈值,第一分析网元确定模型需要进行更新。
其中,第一分析网元确定差异分析结果超过差异阈值时,第一分析网元可以确定模型需要更新,则第一分析网元可以更新机器学习算法的设计,并重新采集训练数据,进一步的将模型迭代更新。
在本申请的前述实施例中,第一分析网元获取指示信息,该指示信息可以包括:模型的标识、标签的类型、特征的类型、标签的样本数量,特征的样本数量,第一分析网元向第二分析网元发送指示信息,第一分析网元从第二分析网元接收响应信息,第一分析网元根据响应信息确定模型是否需要更新。本申请实施例中,第一分析网元通过和第二分析网元之间的协同操作,第二分析网元采集到特征和标签之后执行相关分析,使得第一分析网元可以接收到响应信息,并通过响应信息确定模型是否需要更新,使得第一分析网元可以及时的完成模型优化,从而提高了模型优化的效率。
为便于更好的理解和实施本申请实施例的上述方案,下面举例相应的应用场景来进行具体说明。
为解决现有技术中的模型性能评估方法存在模型优化效率滞后的问题,本申请实施例通过对每个具体的模型的优化目标持续的执行相关分析,得出主要相关特征,并对比模型的初始相关特征,如果这两者的差异超出指定的范围,那么就可以重新驱动针对该优化目标的训练任务并更新模型。本申请实施例通过相关分析可以精确到针对于单个模型的分析,另外通过实时的进行分析,不用等到KPI下降了再去分析,因此模型优化的时效性更高。
在本申请的一些实施例中,第一分析网元可以是数据分析网元,第二分析网元可以是模型执行网元。其中数据分析网元相对于模型执行网元是一个集中的计算实体,例如数据分析网元可以是运维支撑系统(Operation Support System,OSS),CU,NWDA等。模型执行网元可以是基站,UPF等同时执行网络业务的网元,相关分析也是在模型执行网元进行。
如图3所示,为本申请实施例提供的数据分析网元和模型执行网元之间的交互流程示意图。主要包括如下流程:
S01、多个初始模型集中构建和发布。
数据分析网元训练多个基站的初始模型,并将每个基站的初始模型发布到相应的模型执行网元中。例如,数据分析网元作为集中控制网元,将初始模型下发给控制域内的各个基站。
S02、模型优化指示。
数据分析网元向模型执行网元下发模型优化指示,例如将建议特征列表、模型的标识、相关分析方法、运行周期和运行时间段等信息下发给模型执行网元,该模型执行网元可以设置在基站等网元中。建议特征列表是指模型执行网元在执行相关分析时需要对哪些特征数据进行分析。
S03、相关分析。
模型执行网元在接收到数据分析网元发送的模型优化指示之后,模型执行网元可以按照运行周期执行相关分析,分析出优化目标的相关特征及相关系数。
S04、模型优化响应。
模型执行网元在执行相关分析之后,模型执行网元可以生成相关分析结果,然后通过该模型优化响应携带该相关分析结果,发送模型优化响应给数据分析网元。该模型优化响应包括:优化目标的相关特征列表、特征权重、模型的标识和模型执行网元的标识。
S05、模型更新决策。
数据分析网元接收模型执行网元发送的模型优化响应,然后根据接收到的模型优化响应进行模型更新决策,以决策是否启动模型训练和更新。
S06、特定基站的模型更新。
数据分析网元在确定出某个特定基站的模型需要更新时,重新启动模型训练和更新。
如图4所示,为本申请实施例提供的模型的优化方法所应用的一种无线核心网的示意图,图4中所示意的各个网元为第三代合作计划(3rd Generation PartnershipProject,3GPP)智能网络参考架构。在无线核心网内,数据分析网元具体为NWDA,模型执行网元具体为UPF,NWDA通过N23接口和PCF连接,PCF通过N7接口和会话管理功能(SessionManagement Function,SMF)网元连接,SMF通过N4接口和UPF连接。NWDA用于分析网络数据,并进一步的对业务数据报文进行传输优化,提升用户体验。本申请实施例在核心网的应用体现在集中的NWDA和分布在UPF之间的接口交互。
如图5所示,为本申请实施例提供的模型的优化方法所应用的一种无线接入网的示意图。在核心网(core network,CN)存在的数据分析网元为NWDA,类似的,在RAN中存在一个逻辑的数据分析网元为RANDA。按照RAN的基站协议栈进行切分,存在CU和DU两个网元,这两个网元可以独立物理上分开部署,也可以将这两个网元合并在一起部署,合并在一起的时候就称合并后的网元为合一gNodeB,那么部署在合一gNodeB的RANDA功能称为gNBDA,上述描述的内容是属于3GPP RAN3工作组研究的范畴。在OSS管理面,RANDA同样可以部署于RAN OSS,那么此时称数据分析网元为OSSDA,这部分内容是3GPP SA5的范畴。如图4所示的在RAN侧的功能部署,NWDA作为核心网的网络数据分析功能实体,相对应的在RAN侧,部署了对等的RANDA功能实体,RANDA是RAN侧的数据分析网元,对应的核心网存在NWDA即网络侧数据分析网元。gNodeB是5G的RAN基站,类比于4G的eNodeB网元,RANDA可以支持部署在3/4/5G移动网络中,其中部署在5G CU内的称为CUDA,CUDA是RANDA功能部署在CU后的数据分析网元的名称,部署在DU内的称为DUDA,部署在5G合一gNodeB内的称为gNodeBDA,也可独立部署。本申请实施例可以应用在无线接入网主要面向实时类业务,例如优化无线资源管理(Radio Resource Management,RRM),无线传输技术(Radio Transmission Technology,RTT)的算法参数等。
如图6所示,为本申请实施例提供的一种RANDA的组成结构示意图。可以将RANDA进行功能分解为如下四个逻辑功能:数据服务功能(Data Service Function,DSF),分析和建模功能A&MF,模型执行功能(Model Execution Function,MEF),智能协同功能(AdaptivePolicy Function,APF),上述几个功能的名称不限定具体取名。
其中,DSF用于主要完成数据收集,数据预处理,特征工程,并向A&MF、MEF提供训练数据和特征向量订阅服务。DSF在具备对数据进行定制化特征工程的可编程能力,按照A&MF训练算法或MEF预测模型需求执行数据采集、预处理和特征工程的能力。
A&MF的作用是执行机器学习训练算法,用于生成机器学习模型,A&MF内包括常用的机器学习算法库,其所训练生成的机器学习模型发送给MEF用于执行预测。
MEF用于接收并安装A&MF下发的模型,并按照A&MF的指示向DSF订阅特征向量并完成预测,同时将预测结果和该结果所对应的操作指示发送给集中的APF用于匹配并执行策略。
APF是流程运行流程的最后一个执行生效环节,APF内存储了策略集合,将模型预测的结果到执行策略的转换。集中的APF主要是服务于管理和控制面的参数配置,驱动OSS,策略控制功能(Policy Control Function,PCF)网元以及网络功能虚拟化(networkfunctions virtualization,NFV)管理编排(management and orchestration,MANO)调整管理面或者控制面的参数。本地的APF运行在边缘设备上,用于执行模型预测结果到实时的算法参数设置的转换。
无论是从逻辑功能还是从部署层面讲,CU相对于DU是更为集中的,RANDA相对于CU、DU、gNodeB也是更为集中的,因此当一个逻辑功能例如DSF同时部署在CU和DU时,可称部署在集中位置的DSF为集中(Central)DSF,相对的称部署在非集中位置的DSF为本地(Local)DSF。
依据所部署网元的业务特征以及计算资源,不同的网元部署的功能可能不一,例如在DU侧可以只部署DSF,APF和MEF,在中心位置的网元可以完全部署上述四个功能,为完成一个完整的训练和预测任务,这些功能之间会存在跨网元或网元内的协同配合。OSS,CU和gNodeB都可以是中心位置,只要这个网元承担了数据分析的功能。
本申请实施例中,数据分析网元可以是RANDA和NWDA,在RAN侧的数据分析网元是RANDA,CN侧的是NWDA。本申请实实施例应用在无线接入网,涉及到新增加的逻辑网元RANDA,以及可能是部署RANDA的无线接入网网元(Network Element,NE),包括4G LTE制式下的网元eNodeB,5G的网元CU/DU/gNodeB。
本申请实施例应用在核心网所涉及到的网元包括数据分析网元NWDA,用户面功能网元UPF,核心网NWDA也可以部署在UPF,本申请在核心网的外部体现在集中位置的NWDA网元和UPF之间的接口。其中,NWDA也可以包括RANDA在内,在一个网络里面会同时存在多个部署实例,网络内有独立的NWDA,UPF内也可以部署NWDA,只是它们之间需要协同完成相关任务
如图7所示,为本申请实施例提供的CU和DU之间的交互流程示意图,涉及5G接入网CU和DU之间的交互。如图8所示,为本申请实施例提供的RANDA和CU,或者RANDA和DU之间的交互流程示意图,涉及RANDA和5G接入网网元之间的交互。如图9所示,为本申请实施例提供的NWDA和UPF之间的交互流程示意图,涉及核心网NWDA和UPF之间的交互。
其中,NWDA包括RANDA在内,具备数据分析和模型执行的能力,但在实际的网络环境中受限于UPF或基站的计算能力,部署在UPF或基站内的NWDA或RANDA一般不会去完成数据分析(也就是机器学习里面的训练部分任务),所以外部独立的NWDA或RANDA主要用来执行训练任务,部署在网元内的NWDA或RANDA用来执行模型的预测相关任务。
如上述图7所示,数据分析网元可以是CU、模型执行网元可以是DU,CU可以收集网络数据并执行训练,后续将训练的模型发送给DU,DU通过CU与DU的接口之间传输的模型安装消息可以完成模型安装。
下面以CU和DU之间的交互过程为例,介绍本申请实施例提供的模型的优化方法,主要包括如下过程:
S11、CU向DU发送模型安装消息。
CU根据所承载的基于机器学习的业务算法的需求,需要向产生数据的DU收集训练数据和测试数据,CU通过训练数据和测试数据可以训练出所对应的机器学习模型,并校验模型的准确率和召回率,在机器学习模型达标后,通过CU和DU之间的信令接口向DU发送模型安装消息(Feature Model Install Message),该消息内携带机器学习模型的算法描述和特征信息,算法描述和特征信息用于DU安装模型。DU接收到模型安装消息后,解析并按照消息指示安装模型,然后通过该模型执行预测。
S12、CU向DU发送模型特征相关指示信息。
在模型安装成功后,CU通过CU和DU之间的信令接口向DU发送模型特征相关分析指示消息(Model Correlation Analysis Message),该消息内携带模型的标识,模型的标签的类型,以及与标签的类型可能相关的特征集合、标签的样本数量以及特征的样本数量。消息内还可以携带数据分析的运行周期指示,数据分析的运行时间段指示。以分析多输入多输出多流指示(Multiple-Input Multiple-Output Rank Indication,MIMO RI)为例,标签数据为RI,相关特征列表{RSRP,CQI,MCS,TBS}。消息内还需要携带初始模型训练的特征,以及标签数据和特征的相关系数列表,以及用来指示DU执行相关分析后对原始相关系数进行差异分析的差异阈值。例如,相关系数加权在占前80%的特征集合是否有差异,即相关系数最高的N个(比如5个)特征是否存在差异,每一个特征与标签数据计算出相关性后,都会算出一个相关系数,那么从大到小取最大的5个权重和初始下发的原始最大的5个权重所对应的特征比对是否出现偏差。
S13、DU执行相关分析。
DU经过CU和DU之间的信令接口接收到CU发送的模型特征相关指示消息(ModelCorrelation Analysis Message),按照消息内携带的数据相关分析指示,收集消息内指示的相关特征列表内的数据,按照CU指示的时间段内(例如凌晨1:00~3:00)和算法指示执行相关分析,得到列表内的各个特征和标签数据的相关系数列表。
对于本申请实施例中,DU执行相关分析之后,有两种解决方案:一个是在CU计算特征差异,另一个是在DU计算特征差异。
在CU计算特征差异的解决方案中,DU经过CU和DU之间的信令接口,向CU发送特征相关分析结果指示消息(Model Correlation Analysis Result Message),消息内携带模型的标识,DU的标识(例如可以DU所属基站的标识,或者在核心网中的UPF标识),特征相关性系数列表,例如WRSRP,WCQI,WMCS,WTBS等。
在DU计算特征差异的解决方案中,如果CU发送DU的特征分析消息内还携带了差异阈值,那么DU在本地分析出特征系数列表后,通过计算阈值内的特征和原始的阈值内的特征是否产生差异,如果有差异,DU经过CU和DU之间的信令接口,向CU发送模型更新建议指示消息(Model Update Suggestion Message),消息内携带模型的标识,DU的标识,特征相关性系数列表,例如WRSRP,WCQI,WMCS,WTBS等,还可以将用于相关分析的数据一起反馈给CU,这里的用于相关分析的数据是指DU在做相关分析期间所采集的数据,包括特征数据和标签数据,如果没有差异则不向CU反馈任何消息。
S14、DU发送模型特征相关响应信息。
CU经过CU和DU之间的信令接口接收到DU发送的上述响应信息。
S15、CU进行模型更新决策。
在CU计算特征差异的解决方案中,DU发送相关分析结果指示消息(ModelCorrelation Analysis Result Message),CU基于消息内携带的特征相关性系数列表和本地的原始模型的特征相关系数做对比,如果差异超出本地设定的阈值(即最相关的N个特征是否存在差异),需要产生模型更新建议,可更新算法设计并重新采集训练数据,进一步的将模型迭代更新。
以预测MCS为例,假设初始的模型是通过{CQI,RSRP,RI,SINR}预测MCS,CU/RANDA将模型安装到DU之后同时下发需要分析相关性的特征列表{CQI,RSRP,RI,SINR,ACKNACK,TBS,PMI}以及初始模型的相关性系数列表{0.8,0.7,0.5,0.4,0.2,0.2,0.3},并指示DU对特征列表和MCS做相关分析,DU接收到指示后在本地采集相关特征和标签数据执行相关分析后,得出的相关系数列表{0.9,0.8,0.7,0.2,0.3,0.5,0.3}。如果CU下发了判决策略,比如对比相关性最大的4个特征是否产生变化,那么很明显当前最相关的四个特征变成了{CQI,RSRP,ACKNACK,TBS},这时候DU就需要反馈模型更新建议,消息内携带模型的标识,DU的标识,还可以带上分析后的相关系数列表,还可以将用于分析的数据也上报给CU。CU重新采集数据训练模型。如果CU没有下发判决策略,那么DU每次分析完成之后直接反馈相关分析结果消息,携带模型的标识,DU的标识,还可以带上分析后的相关系数列表,CU接收到消息后就行比对分析判断,如果需要重新训练则采集数据训练模型。
在DU计算特征差异的解决方案中,DU发送模型更新建议指示消息(Model UpdateSuggestion Message),可更新算法设计并重新采集训练数据,进一步的将模型迭代更新。CU可以根据消息内携带的网元标识采集最相关的几个特征和标签的样本数据,重新进行训练,并重新安装模型,安装后再次下发特征相关分析指示,重复之前的过程。
通过本申请实施例提供的特征相关分析的方法,在模型安装运行之后,定制化的去采集和分析数据,得到相关系数,对比初始模型的相关系数,在差异达到事先设定的阈值之后认为模型的性能是下降的,需要重新设计算法和训练模型。
相对现有技术中KPI下降驱动模型更新的方式,通过本申请实施例提供的方法可以精准的对单个模型的性能进行下降的感知,而且实际分析出模型性能下降时KPI可能还未发生明显恶化,相对来讲有一定的提前量。
如上述图8所示,数据分析网元可以是RANDA、模型执行网元可以是CU或DU,RANDA可以收集网络数据并执行训练,后续将训练的模型发送给CU或DU,CU通过RANDA与CU的接口之间传输的模型安装消息可以完成模型安装,或者DU通过RANDA与DU的接口之间传输的模型安装消息可以完成模型安装。
下面以RANDA与CU之间的交互过程为例,介绍本申请实施例提供的模型的优化方法,主要包括如下过程:
S21、RANDA向CU发送模型安装消息。
S22、RANDA向CU发送模型特征相关指示信息。
S23、CU执行相关分析。
S24、CU发送模型特征相关响应信息。
S25、RANDA进行模型更新决策。
上述步骤S21至步骤S25的实现流程,与前述实施例S11至步骤S15的实现流程相类似,区别点在执行上述步骤的网元不相同,其中,此实施例中RANDA执行的流程与前述实施例中CU执行的网元相类似,此实施例中CU执行的流程与前述实施例中DU执行的网元相类似。
如上述图9所示,数据分析网元可以是NWDA、模型执行网元可以是UPF,NWDA可以收集网络数据并执行训练,后续将训练的模型发送给UPF,UPF通过NWDA与UPF的接口之间传输的模型安装消息可以完成模型安装。
下面以NWDA与UPF之间的交互过程为例,介绍本申请实施例提供的模型的优化方法,主要包括如下过程:
S31、NWDA向UPF发送模型安装消息。
S32、NWDA向UPF发送模型特征相关指示信息。
S33、UPF执行相关分析。
S34、UPF发送模型特征相关响应信息。
S35、NWDA进行模型更新决策。
上述步骤S31至步骤S35的实现流程,与前述实施例S11至步骤S15的实现流程相类似,区别点在执行上述步骤的网元不相同,其中,此实施例中NWDA执行的流程与前述实施例中CU执行的网元相类似,此实施例中UPF执行的流程与前述实施例中DU执行的网元相类似。
如图10所示,为本申请实施例提供的A&MF、MEF和DSF之间的交互流程示意图。将RANDA/NWDA的功能做的进一步分解,A&MF用来对数据进行分析和建模,DSF是从网络设备(例如CU,DU,UPF,gNodeB)采集并处理数据包括对数据的特征工程在内,MEF是执行模型的功能。
S41、A&MF向MEF发送模型安装消息。
部署在集中位置(例如,CU,OSS)的数据分析和建模功能A&MF根据所承载的基于机器学习的业务算法的需求,需要向部署在各类网元(CU,DU,UPF,gNodeB)上的数据服务功能DSF收集训练和测试数据,用于训练出所对应的机器学习模型。并校验模型的准确性和召回率,模型达标后,通过A&MF和部署在各类网元上的MEF之间的信令接口向MEF发送模型安装消息(Feature Model Install Message),消息内携带机器学习模型的算法描述和特征信息,算法描述和特征信息用于MEF安装模型。MEF接收到模型安装消息后解析并按照消息指示安装模型,该模型执行预测。
S42、A&MF向DSF发送模型特征相关指示信息。
模型安装成功后,A&MF通过A&MF和网元上的DSF之间的信令接口向DSF发送模型特征相关分析指示消息(Model Correlation Analysis Message),消息内携带模型的标识,模型的标签类型,以及和标签的类型可能相关的特征集合、标签的样本数量以及特征的样本数量。消息内还可以携带数据分析的运行周期指示,数据分析的运行时间段指示,其中,运行周期是指多长时间执行一次相关,比如1天/次,时间段是相关分析具体的运行时间,比如凌晨2点~3点。之外还可以补充采集相关分析的数据数量,比如1000条,即采集到1000条样本数据就可以执行相关分析,以分析MIMO RI为例,标签数据为RI,相关特征列表{RSRP,CQI,MCS,TBS}。消息内还需要携带初始模型训练的特征,以及标签数据和特征的相关系数列表,以及用来指示DSF执行相关分析后对原始相关系数的差异阈值。
S43、DSF执行相关分析。
DSF经过A&MF和DSF之间的信令接口接收到A&MF发送的模型特征相关分析指示消息(Model Correlation Analysis Message),按照消息内携带的数据相关分析指示,收集消息内指示的相关特征列表内的数据,按照A&MF指示的时间段内(例如凌晨1:00~3:00)和算法指示执行特性相关分析,得到列表内的各个特征和标签数据的相关系数列表。
对于本申请实施例中,A&MF执行相关分析之后,有两种解决方案:一个是在A&MF计算特征差异,另一个是在DSF计算特征差异。
在A&MF计算特征差异的解决方案中,DSF经过A&MF和DSF之间的信令接口,向A&MF发送特征相关分析结果指示消息(Model Correlation Analysis Result Message),消息内携带模型的标识,DSF的标识,特征相关性系数列表,例如WRSRP,WCQI,WMCS,WTBS等。
在DSF计算特征差异的解决方案中,如果A&MF发送DSF的特征分析消息内还携带了差异阈值,那么DSF在本地分析出特征系数列表后,通过计算阈值内的特征和原始的阈值内的特征是否产生差异,如果有差异,DSF经过A&MF和DSF之间的信令接口,向A&MF发送模型更新建议指示消息(Model Update Suggestion Message),消息内携带模型的标识,DSF的标识,特征相关性系数列表,例如WRSRP,WCQI,WMCS,WTBS等,还可以将用于相关分析的数据一起反馈给A&MF;如果没有差异则不向A&MF反馈任何消息。
S44、DSF发送模型特征相关响应信息。
A&MF经过A&MF和DSF之间的信令接口接收到DSF发送的上述响应信息。
S45、A&MF进行模型更新决策。
在A&MF计算特征差异的解决方案中,DSF发送相关分析结果指示消息(ModelCorrelation Analysis Result Message),A&MF基于消息内携带的特征相关性系数集合和本地的原始模型的特征相关系数做对比,如果差异超出本地设定的阈值,需要产生模型更新建议,可更新算法设计并重新采集训练数据,进一步的将模型迭代更新。
在DSF计算特征差异的解决方案中,DSF发送模型更新建议指示消息(ModelUpdate Suggestion Message),可更新算法设计并重新采集训练数据,进一步的将模型迭代更新。
由前述的举例说明可知,本申请实施例中,集中的数据分析网元向域内的所有站点安装模型后,同时下发针对该模型的相关分析方法,站点安装指示采集特征数据,并与预测执行后的标签数据执行相关分析方法得到特征相关性系数,对比初始的相关特征及相关系数,结合差异阈值判断是否驱动集中的数据分析网元进行模型的更新。
在本申请实施例中,模型下发安装后,随着环境的变化导致机器学习模型的性能下降,比如物理环境(建筑),季节变化(信道环境),干扰变化,用户行为(人群密度变化),新的应用流行等外部的变化,会导致通过较早之前采集的数据训练出的模型性能产生下降。通过对模型标签数据执行相关分析,可以在性能恶化之前尽早的发现模型特征数据和标签之间的相关关系是否已经发生变化,并及时的指示需要更新算法模型避免性能的进一步下降。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
为便于更好的实施本申请实施例的上述方案,下面还提供用于实施上述方案的相关装置。
请参阅图11所示,本申请实施例提供的一种分析网元,所述分析网元具体为第一分析网元1100,所述第一分析网元1100,包括:处理模块1101、发送模块1102、接收模块1103,其中,
处理模块1101,用于获取指示信息,所述指示信息包括:模型的标识、标签的类型、特征的类型、所述标签的样本数量,所述特征的样本数量;
发送模块1102,用于向第二分析网元发送所述指示信息;
接收模块1103,用于从所述第二分析网元接收响应信息;
所述处理模块1101,还用于根据所述响应信息确定所述模型是否需要更新。
在本申请的一些实施例中,所述指示信息还包括:所述第一分析网元为相关分析设置的运行周期和运行时间段,其中,
所述相关分析用于分析所述特征和所述标签之间的相关性。
在本申请的一些实施例中,所述指示信息还包括:为所述模型设置的初始相关特征、初始相关系数和差异阈值,其中,
所述初始相关特征为相关分析所使用的参数,所述差异阈值用于根据所述初始相关系数以及相关分析结果进行差异分析,所述相关分析结果与所述初始相关特征关联。
在本申请的一些实施例中,所述处理模块1101,还用于解析所述响应信息,得到建议信息,所述建议信息与所述差异分析的结果关联,所述建议信息用于所述第二分析网元向所述第一分析网元建议所述模型需要更新;根据所述建议信息确定所述模型需要更新。
在本申请的一些实施例中,所述响应信息包括:所述模型的标识、所述第二分析网元的标识、相关分析结果;
所述相关分析结果用于指示所述特征和所述标签之间的当前相关系数。
在本申请的一些实施例中,所述处理模块1101,还用于根据本地存储的初始相关系数以及所述相关分析结果进行差异分析,得到差异分析结果;确定所述差异分析结果是否超过预设的差异阈值。
在本申请的一些实施例中,所述处理模块1101,还用于若所述差异分析结果超过所述差异阈值,确定所述模型需要进行更新。
在本申请的前述实施例中,所述第一分析网元包括:集中式单元CU,所述第二分析网元包括:分布式单元DU;或者,
所述第一分析网元包括:无线接入网RAN数据分析网元RANDA,所述第二分析网元包括:CU或者DU;或者,
所述第一分析网元包括:网络数据分析网元NWDA,所述第二分析网元包括:用户面功能网元UPF;或者,
所述第一分析网元包括:分析和建模功能网元A&MF,所述第二分析网元包括:数据服务功能网元DSF。
在本申请的前述实施例中,第一分析网元获取指示信息,该指示信息可以包括:模型的标识、标签的类型、特征的类型、标签的样本数量,特征的样本数量,第一分析网元向第二分析网元发送指示信息,第一分析网元从第二分析网元接收响应信息,第一分析网元根据响应信息确定模型是否需要更新。本申请实施例中,第一分析网元通过和第二分析网元之间的协同操作,第二分析网元采集到特征和标签之后执行相关分析,使得第一分析网元可以接收到响应信息,并通过响应信息确定模型是否需要更新,使得第一分析网元可以及时的完成模型优化,从而提高了模型优化的效率。
请参阅图12所示,本申请实施例提供的一种分析网元,所述分析网元具体为第二分析网元1200,所述第二分析网元1200,包括:接收模块1201、处理模块1202、发送模块1203,其中,
接收模块1201,用于从第一分析网元接收指示信息,所述指示信息包括:模型的标识、标签的类型、特征的类型、所述标签的样本数量,所述特征的样本数量;
处理模块1202,用于根据所述指示信息采集所述特征以及所述标签;
处理模块1202,用于根据所述特征和所述标签执行相关分析;
发送模块1203,用于向所述第一分析网元发送响应信息,所述响应信息与所述第二分析网元执行的相关分析关联。
在本申请的前述实施例中,所述指示信息还包括:所述相关分析的运行周期和运行时间段;
所述处理模块,还用于按照所述运行周期和所述运行时间段,使用所述特征和所述标签执行相关分析。
在本申请的前述实施例中,所述响应信息包括:所述模型的标识、所述第二分析网元的标识、所述第二分析网元通过相关分析得到的相关分析结果。
在本申请的前述实施例中,所述指示信息还包括:所述模型的初始相关特征;
所述处理模块1202,还用于获取所述特征和所述标签之间的相关系数;根据所述相关系数生成当前相关特征;将所述当前相关特征和所述初始相关特征进行对比,得到相关分析结果。
在本申请的前述实施例中,所述指示信息还包括:初始相关系数和差异阈值,
所述处理模块1202,还用于根据所述初始相关系数以及所述相关分析结果进行差异分析,得到差异分析结果;确定所述差异分析结果是否超过所述差异阈值。
在本申请的前述实施例中,所述处理模块1202,还用于根据所述差异分析结果生成建议信息,所述建议信息用于所述第二分析网元向所述第一分析网元建议所述模型需要更新;
其中,所述响应信息还包括:所述建议信息。
在本申请的前述实施例中,所述处理模块1202,还用于若所述差异分析结果超过所述差异阈值,所述第二分析网元确定所述模型需要进行更新。
在本申请的前述实施例中,所述第一分析网元包括:集中式单元CU,所述第二分析网元包括:分布式单元DU;或者,
所述第一分析网元包括:无线接入网RAN数据分析网元RANDA,所述第二分析网元包括:CU或者DU;或者,
所述第一分析网元包括:网络数据分析网元NWDA,所述第二分析网元包括:用户面功能网元UPF;或者,
所述第一分析网元包括:分析和建模功能网元A&MF,所述第二分析网元包括:数据服务功能网元DSF。
在本申请的前述实施例中,本申请实施例中,第一分析网元通过和第二分析网元之间的协同操作,第二分析网元采集到特征和标签之后执行相关分析,使得第一分析网元可以接收到响应信息,并通过响应信息确定模型是否需要更新,使得第一分析网元可以及时的完成模型优化,从而提高了模型优化的效率。
需要说明的是,上述装置各模块/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其带来的技术效果与本申请方法实施例相同,具体内容可参见本申请前述所示的方法实施例中的叙述,此处不再赘述。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储有程序,该程序执行包括上述方法实施例中记载的部分或全部步骤。
首先介绍本申请实施例提供的分析网元,请参阅图13所示,第一分析网元1300包括:
接收器1301、发射器1302、处理器1303和存储器1304(其中第一分析网元1300中的处理器1303的数量可以一个或多个,图13中以一个处理器为例)。在本申请的一些实施例中,接收器1301、发射器1302、处理器1303和存储器1304可通过总线或其它方式连接,其中,图13中以通过总线连接为例。
存储器1304可以包括只读存储器和随机存取存储器,并向处理器1303提供指令和数据。存储器1304的一部分还可以包括非易失性随机存取存储器(英文全称:Non-VolatileRandom Access Memory,英文缩写:NVRAM)。存储器1304存储有操作系统和操作指令、可执行模块或者数据结构,或者它们的子集,或者它们的扩展集,其中,操作指令可包括各种操作指令,用于实现各种操作。操作系统可包括各种系统程序,用于实现各种基础业务以及处理基于硬件的任务。
处理器1303控制第一分析网元的操作,处理器1303还可以称为中央处理单元(英文全称:Central Processing Unit,英文简称:CPU)。具体的应用中,第一分析网元的各个组件通过总线系统耦合在一起,其中总线系统除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见,在图中将各种总线都称为总线系统。
上述本申请实施例揭示的方法可以应用于处理器1303中,或者由处理器1303实现。处理器1303可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器1303中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1303可以是通用处理器、数字信号处理器(英文全称:digital signal processing,英文缩写:DSP)、专用集成电路(英文全称:Application Specific Integrated Circuit,英文缩写:ASIC)、现场可编程门阵列(英文全称:Field-Programmable Gate Array,英文缩写:FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1304,处理器1303读取存储器1304中的信息,结合其硬件完成上述方法的步骤。
接收器1301可用于接收输入的数字或字符信息,以及产生与第一分析网元的相关设置以及功能控制有关的信号输入,发射器1302可包括显示屏等显示设备,发射器1302可用于通过外接接口输出数字或字符信息。
在本申请的一个实施例中,第一分析网元1300可以是前述数据分析网元,例如,图1或图2中所述的第一分析网元101。处理器1303,用于执行前述图2中第一分析网元执行的模型的优化方法,图3中数据分析网元执行的模型的优化方法,图7中CU、图8中RANDA、图9中的NWDA、图10中的A&MF执行的模型的优化方法。
首先介绍本申请实施例提供的分析网元,请参阅图14所示,第二分析网元1400包括:
接收器1401、发射器1402、处理器1403和存储器1404(其中第二分析网元1400中的处理器1403的数量可以一个或多个,图14中以一个处理器为例)。在本申请的一些实施例中,接收器1401、发射器1402、处理器1403和存储器1404可通过总线或其它方式连接,其中,图14中以通过总线连接为例。
存储器1404可以包括只读存储器和随机存取存储器,并向处理器1403提供指令和数据。存储器1404的一部分还可以包括NVRAM。存储器1404存储有操作系统和操作指令、可执行模块或者数据结构,或者它们的子集,或者它们的扩展集,其中,操作指令可包括各种操作指令,用于实现各种操作。操作系统可包括各种系统程序,用于实现各种基础业务以及处理基于硬件的任务。
处理器1403控制第二分析网元的操作,处理器1403还可以称为中央处理单元。具体的应用中,第二分析网元的各个组件通过总线系统耦合在一起,其中总线系统除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见,在图中将各种总线都称为总线系统。
上述本申请实施例揭示的方法可以应用于处理器1403中,或者由处理器1403实现。处理器1403可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器1403中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1403可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1404,处理器1403读取存储器1404中的信息,结合其硬件完成上述方法的步骤。
接收器1401可用于接收输入的数字或字符信息,以及产生与第二分析网元的相关设置以及功能控制有关的信号输入,发射器1402可包括显示屏等显示设备,发射器1402可用于通过外接接口输出数字或字符信息。
在本申请的一个实施例中,第二分析网元1400可以是前述数据分析网元,例如,图1或图2中所述的第二分析网元102。处理器1403,用于执行前述图2中第二分析网元执行的模型的优化方法,图3中模型执行网元执行的模型的优化方法,图7中DU、图8中CU或DU、图9中的UPF、图10中的DSF执行的模型的优化方法。
在另一种可能的设计中,当分析网元为芯片时,芯片包括:处理单元和通信单元,所述处理单元例如可以是处理器,所述通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令,以使该分析网元内的芯片执行上述第一方面任意一项的无线通信方法。可选地,所述存储单元为所述芯片内的存储单元,如寄存器、缓存等,所述存储单元还可以是所述分析网元内的位于所述芯片外部的存储单元,如只读存储器(read-only memory,ROM),或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)等。
其中,上述任一处提到的处理器,可以是一个通用中央处理器(CPU),微处理器,特定应用集成电路(application-specific integrated circuit,ASIC),或一个或多个用于控制上述第一方面无线通信方法的程序执行的集成电路。
另外需说明的是,以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外,本申请提供的装置实施例附图中,模块之间的连接关系表示它们之间具有通信连接,具体可以实现为一条或多条通信总线或信号线。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现,当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下,凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现,而且,用来实现同一功能的具体硬件结构也可以是多种多样的,例如模拟电路、数字电路或专用电路等。但是,对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在可读取的存储介质中,如计算机的软盘、U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

Claims (30)

1.一种模型的优化方法,其特征在于,所述方法包括:
第一分析网元获取指示信息,所述指示信息包括:模型的标识、标签的类型、特征的类型、所述标签的样本数量,所述特征的样本数量;
所述第一分析网元向第二分析网元发送所述指示信息;
所述第一分析网元从所述第二分析网元接收响应信息;
所述第一分析网元根据所述响应信息确定所述模型是否需要更新。
2.根据权利要求1所述的方法,其特征在于,所述指示信息还包括:所述第一分析网元为相关分析设置的运行周期和运行时间段,其中,
所述相关分析用于分析所述特征和所述标签之间的相关性。
3.根据权利要求1至2中任一项所述的方法,其特征在于,所述指示信息还包括:为所述模型设置的初始相关特征、初始相关系数和差异阈值,其中,
所述初始相关特征为相关分析所使用的参数,所述差异阈值用于根据所述初始相关系数以及相关分析结果进行差异分析,所述相关分析结果与所述初始相关特征关联。
4.根据权利要求3所述的方法,其特征在于,所述第一分析网元根据所述响应信息确定所述模型是否需要更新,包括:
所述第一分析网元解析所述响应信息,得到建议信息,所述建议信息与所述差异分析的结果关联,所述建议信息用于所述第二分析网元向所述第一分析网元建议所述模型需要更新;
所述第一分析网元根据所述建议信息确定所述模型需要更新。
5.根据权利要求1至2中任一项所述的方法,其特征在于,所述响应信息包括:所述模型的标识、所述第二分析网元的标识、相关分析结果;
所述相关分析结果用于指示所述特征和所述标签之间的当前相关系数。
6.根据权利要求5所述的方法,其特征在于,所述第一分析网元根据所述响应信息确定所述模型是否需要更新,包括:
所述第一分析网元根据本地存储的初始相关系数以及所述相关分析结果进行差异分析,得到差异分析结果;
所述第一分析网元确定所述差异分析结果是否超过预设的差异阈值。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
若所述差异分析结果超过所述差异阈值,所述第一分析网元确定所述模型需要进行更新。
8.一种模型的优化方法,其特征在于,所述方法包括:
第二分析网元从第一分析网元接收指示信息,所述指示信息包括:模型的标识、标签的类型、特征的类型、所述标签的样本数量,所述特征的样本数量;
所述第二分析网元根据所述指示信息采集所述特征以及所述标签;
所述第二分析网元根据所述特征和所述标签执行相关分析;
所述第二分析网元向所述第一分析网元发送响应信息,所述响应信息与所述第二分析网元执行的相关分析关联。
9.根据权利要求8所述的方法,其特征在于,所述指示信息还包括:所述相关分析的运行周期和运行时间段;
所述第二分析网元根据所述特征和所述标签执行相关分析,包括:
所述第二分析网元按照所述运行周期和所述运行时间段,使用所述特征和所述标签执行相关分析。
10.根据权利要求8至9中任一项所述的方法,其特征在于,所述响应信息包括:所述模型的标识、所述第二分析网元的标识、所述第二分析网元通过相关分析得到的相关分析结果。
11.根据权利要求8至10中任一项所述的方法,其特征在于,所述指示信息还包括:所述模型的初始相关特征;
所述第二分析网元根据所述特征和所述标签执行相关分析,包括:
所述第二分析网元获取所述特征和所述标签之间的相关系数;
所述第二分析网元根据所述相关系数生成当前相关特征;
所述第二分析网元将所述当前相关特征和所述初始相关特征进行对比,得到相关分析结果。
12.根据权利要求11所述的方法,其特征在于,所述指示信息还包括:初始相关系数和差异阈值,所述方法还包括:
所述第二分析网元根据所述初始相关系数以及所述相关分析结果进行差异分析,得到差异分析结果;
所述第二分析网元确定所述差异分析结果是否超过所述差异阈值。
13.根据权利要求12所述的方法,其特征在于,所述方法还包括:
所述第二分析网元根据所述差异分析结果生成建议信息,所述建议信息用于所述第二分析网元向所述第一分析网元建议所述模型需要更新;
其中,所述响应信息还包括:所述建议信息。
14.根据权利要求12或13所述的方法,其特征在于,所述方法还包括:
若所述差异分析结果超过所述差异阈值,所述第二分析网元确定所述模型需要进行更新。
15.根据权利要求1至14中任一项所述的方法,其特征在于,所述第一分析网元包括:集中式单元CU,所述第二分析网元包括:分布式单元DU;或者,
所述第一分析网元包括:无线接入网RAN数据分析网元RANDA,所述第二分析网元包括:CU或者DU;或者,
所述第一分析网元包括:网络数据分析网元NWDA,所述第二分析网元包括:用户面功能网元UPF;或者,
所述第一分析网元包括:分析和建模功能网元A&MF,所述第二分析网元包括:数据服务功能网元DSF。
16.一种分析网元,其特征在于,所述分析网元具体为第一分析网元,所述第一分析网元,包括:
处理模块,用于获取指示信息,所述指示信息包括:模型的标识、标签的类型、特征的类型、所述标签的样本数量,所述特征的样本数量;
发送模块,用于向第二分析网元发送所述指示信息;
接收模块,用于从所述第二分析网元接收响应信息;
所述处理模块,还用于根据所述响应信息确定所述模型是否需要更新。
17.根据权利要求16所述的分析网元,其特征在于,所述指示信息还包括:所述第一分析网元为相关分析设置的运行周期和运行时间段,其中,
所述相关分析用于分析所述特征和所述标签之间的相关性。
18.根据权利要求16至17中任一项所述的分析网元,其特征在于,所述指示信息还包括:为所述模型设置的初始相关特征、初始相关系数和差异阈值,其中,
所述初始相关特征为相关分析所使用的参数,所述差异阈值用于根据所述初始相关系数以及相关分析结果进行差异分析,所述相关分析结果与所述初始相关特征关联。
19.根据权利要求18所述的分析网元,其特征在于,所述处理模块,还用于解析所述响应信息,得到建议信息,所述建议信息与所述差异分析的结果关联,所述建议信息用于所述第二分析网元向所述第一分析网元建议所述模型需要更新;根据所述建议信息确定所述模型需要更新。
20.根据权利要求16至17中任一项所述的分析网元,其特征在于,所述响应信息包括:所述模型的标识、所述第二分析网元的标识、相关分析结果;
所述相关分析结果用于指示所述特征和所述标签之间的当前相关系数。
21.根据权利要求20所述的分析网元,其特征在于,所述处理模块,还用于根据本地存储的初始相关系数以及所述相关分析结果进行差异分析,得到差异分析结果;确定所述差异分析结果是否超过预设的差异阈值。
22.根据权利要求21所述的分析网元,其特征在于,所述处理模块,还用于若所述差异分析结果超过所述差异阈值,确定所述模型需要进行更新。
23.一种分析网元,其特征在于,所述分析网元具体为第二分析网元,所述第二分析网元,包括:
接收模块,用于从第一分析网元接收指示信息,所述指示信息包括:模型的标识、标签的类型、特征的类型、所述标签的样本数量,所述特征的样本数量;
处理模块,用于根据所述指示信息采集所述特征以及所述标签;
处理模块,用于根据所述特征和所述标签执行相关分析;
发送模块,用于向所述第一分析网元发送响应信息,所述响应信息与所述第二分析网元执行的相关分析关联。
24.根据权利要求23所述的分析网元,其特征在于,所述指示信息还包括:所述相关分析的运行周期和运行时间段;
所述处理模块,还用于按照所述运行周期和所述运行时间段,使用所述特征和所述标签执行相关分析。
25.根据权利要求23至24中任一项所述的分析网元,其特征在于,所述响应信息包括:所述模型的标识、所述第二分析网元的标识、所述第二分析网元通过相关分析得到的相关分析结果。
26.根据权利要求23至25中任一项所述的分析网元,其特征在于,所述指示信息还包括:所述模型的初始相关特征;
所述处理模块,还用于获取所述特征和所述标签之间的相关系数;根据所述相关系数生成当前相关特征;将所述当前相关特征和所述初始相关特征进行对比,得到相关分析结果。
27.根据权利要求26所述的分析网元,其特征在于,所述指示信息还包括:初始相关系数和差异阈值,
所述处理模块,还用于根据所述初始相关系数以及所述相关分析结果进行差异分析,得到差异分析结果;确定所述差异分析结果是否超过所述差异阈值。
28.根据权利要求27所述的分析网元,其特征在于,所述处理模块,还用于根据所述差异分析结果生成建议信息,所述建议信息用于所述第二分析网元向所述第一分析网元建议所述模型需要更新;
其中,所述响应信息还包括:所述建议信息。
29.根据权利要求27或28所述的分析网元,其特征在于,所述处理模块,还用于若所述差异分析结果超过所述差异阈值,所述第二分析网元确定所述模型需要进行更新。
30.根据权利要求16至29中任一项所述的分析网元,其特征在于,所述第一分析网元包括:集中式单元CU,所述第二分析网元包括:分布式单元DU;或者,
所述第一分析网元包括:无线接入网RAN数据分析网元RANDA,所述第二分析网元包括:CU或者DU;或者,
所述第一分析网元包括:网络数据分析网元NWDA,所述第二分析网元包括:用户面功能网元UPF;或者,
所述第一分析网元包括:分析和建模功能网元A&MF,所述第二分析网元包括:数据服务功能网元DSF。
CN201810916307.4A 2018-08-13 2018-08-13 一种模型的优化方法和分析网元 Active CN110831029B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810916307.4A CN110831029B (zh) 2018-08-13 2018-08-13 一种模型的优化方法和分析网元

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810916307.4A CN110831029B (zh) 2018-08-13 2018-08-13 一种模型的优化方法和分析网元

Publications (2)

Publication Number Publication Date
CN110831029A true CN110831029A (zh) 2020-02-21
CN110831029B CN110831029B (zh) 2021-06-22

Family

ID=69547022

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810916307.4A Active CN110831029B (zh) 2018-08-13 2018-08-13 一种模型的优化方法和分析网元

Country Status (1)

Country Link
CN (1) CN110831029B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021218274A1 (zh) * 2020-04-29 2021-11-04 华为技术有限公司 一种通信方法、装置及系统
WO2021253232A1 (zh) * 2020-06-16 2021-12-23 北京小米移动软件有限公司 通信方法及设备、电子设备以及计算机可读存储介质
CN113839797A (zh) * 2020-06-23 2021-12-24 华为技术有限公司 数据处理方法和装置
CN114143832A (zh) * 2021-12-07 2022-03-04 中国联合网络通信集团有限公司 一种业务处理方法、装置及存储介质
WO2022061940A1 (zh) * 2020-09-28 2022-03-31 华为技术有限公司 一种模型数据传输方法及通信装置
WO2022061784A1 (zh) * 2020-09-25 2022-03-31 华为技术有限公司 通信方法、装置及系统
CN114338392A (zh) * 2020-09-29 2022-04-12 中国电信股份有限公司 网络数据分析方法和网络数据分析功能实体
CN115470936A (zh) * 2022-09-23 2022-12-13 广州爱浦路网络技术有限公司 一种基于nwdaf的机器学习模型更新方法及装置
CN115529232A (zh) * 2021-06-08 2022-12-27 中国移动通信有限公司研究院 汇聚分流设备的管控方法、装置及存储介质
WO2022268095A1 (zh) * 2021-06-23 2022-12-29 华为技术有限公司 传输信息的方法和装置
WO2023151454A1 (zh) * 2022-02-14 2023-08-17 大唐移动通信设备有限公司 模型监控方法、监控端、装置及存储介质
WO2023169392A1 (zh) * 2022-03-07 2023-09-14 维沃移动通信有限公司 模型的准确度确定方法、装置及网络侧设备
WO2024026593A1 (zh) * 2022-07-30 2024-02-08 华为技术有限公司 一种协同控车方法及相关装置
WO2024081062A1 (en) * 2022-10-11 2024-04-18 Qualcomm Incorporated Techniques for reporting correlation metrics for machine learning reproducibility
WO2024078380A1 (zh) * 2022-10-10 2024-04-18 维沃移动通信有限公司 模型监督处理方法、装置、网络侧设备及可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02207672A (ja) * 1989-02-08 1990-08-17 Toshiba Corp 画像処理方式
JPH1021393A (ja) * 1996-06-28 1998-01-23 Mitsubishi Electric Corp 画像処理装置
WO2005010978A1 (en) * 2003-07-07 2005-02-03 Advanced Micro Devices, Inc. Method and apparatus for performing metrology dispatching based upon fault detection
CN102737633A (zh) * 2012-06-21 2012-10-17 北京华信恒达软件技术有限公司 一种基于张量子空间分析的说话人识别方法及其装置
CN103425513A (zh) * 2013-08-19 2013-12-04 北京林业大学 一种森林经营决策支持模型自动更新方法
CN106447210A (zh) * 2016-10-10 2017-02-22 国家电网公司 一种计及可信度评价的配网设备健康度动态诊断方法
CN107203910A (zh) * 2017-05-27 2017-09-26 科技谷(厦门)信息技术有限公司 一种大数据智能精准营销系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02207672A (ja) * 1989-02-08 1990-08-17 Toshiba Corp 画像処理方式
JPH1021393A (ja) * 1996-06-28 1998-01-23 Mitsubishi Electric Corp 画像処理装置
WO2005010978A1 (en) * 2003-07-07 2005-02-03 Advanced Micro Devices, Inc. Method and apparatus for performing metrology dispatching based upon fault detection
CN102737633A (zh) * 2012-06-21 2012-10-17 北京华信恒达软件技术有限公司 一种基于张量子空间分析的说话人识别方法及其装置
CN103425513A (zh) * 2013-08-19 2013-12-04 北京林业大学 一种森林经营决策支持模型自动更新方法
CN106447210A (zh) * 2016-10-10 2017-02-22 国家电网公司 一种计及可信度评价的配网设备健康度动态诊断方法
CN107203910A (zh) * 2017-05-27 2017-09-26 科技谷(厦门)信息技术有限公司 一种大数据智能精准营销系统

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021218274A1 (zh) * 2020-04-29 2021-11-04 华为技术有限公司 一种通信方法、装置及系统
WO2021253232A1 (zh) * 2020-06-16 2021-12-23 北京小米移动软件有限公司 通信方法及设备、电子设备以及计算机可读存储介质
CN113839797A (zh) * 2020-06-23 2021-12-24 华为技术有限公司 数据处理方法和装置
WO2022061784A1 (zh) * 2020-09-25 2022-03-31 华为技术有限公司 通信方法、装置及系统
WO2022061940A1 (zh) * 2020-09-28 2022-03-31 华为技术有限公司 一种模型数据传输方法及通信装置
CN114338392A (zh) * 2020-09-29 2022-04-12 中国电信股份有限公司 网络数据分析方法和网络数据分析功能实体
CN115529232A (zh) * 2021-06-08 2022-12-27 中国移动通信有限公司研究院 汇聚分流设备的管控方法、装置及存储介质
WO2022268095A1 (zh) * 2021-06-23 2022-12-29 华为技术有限公司 传输信息的方法和装置
CN114143832A (zh) * 2021-12-07 2022-03-04 中国联合网络通信集团有限公司 一种业务处理方法、装置及存储介质
CN114143832B (zh) * 2021-12-07 2023-09-05 中国联合网络通信集团有限公司 一种业务处理方法、装置及存储介质
WO2023151454A1 (zh) * 2022-02-14 2023-08-17 大唐移动通信设备有限公司 模型监控方法、监控端、装置及存储介质
WO2023169392A1 (zh) * 2022-03-07 2023-09-14 维沃移动通信有限公司 模型的准确度确定方法、装置及网络侧设备
WO2024026593A1 (zh) * 2022-07-30 2024-02-08 华为技术有限公司 一种协同控车方法及相关装置
CN115470936A (zh) * 2022-09-23 2022-12-13 广州爱浦路网络技术有限公司 一种基于nwdaf的机器学习模型更新方法及装置
WO2024078380A1 (zh) * 2022-10-10 2024-04-18 维沃移动通信有限公司 模型监督处理方法、装置、网络侧设备及可读存储介质
WO2024081062A1 (en) * 2022-10-11 2024-04-18 Qualcomm Incorporated Techniques for reporting correlation metrics for machine learning reproducibility

Also Published As

Publication number Publication date
CN110831029B (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
CN110831029B (zh) 一种模型的优化方法和分析网元
CN114128226A (zh) 使用机器学习的根本原因分析和自动化
CN103095490B (zh) 发现和挖掘设备的性能信息用于先行发送更新到设备
CN110324170B (zh) 数据分析设备、多模型共决策系统及方法
US20170364819A1 (en) Root cause analysis in a communication network via probabilistic network structure
EP2957120B1 (en) Method of adapting operation of self-organizing network functions
Gutierrez-Estevez et al. The path towards resource elasticity for 5G network architecture
CN111612153A (zh) 训练模型的方法和装置
EP3780496B1 (en) Feature engineering programming method and apparatus
CN108293005A (zh) 用于共享状态相关信息的方法和设备
US11146640B2 (en) System and method for enabling intelligent network services by cognitive sense-analyze-decide-respond framework
KR20140145151A (ko) 통신 네트워크들에서 서비스 액세스 경험 품질 이슈들의 예측 및 근본 원인 추천들
WO2023172292A9 (en) Zero-touch deployment and orchestration of network intelligence in open ran systems
CN113869521A (zh) 构建预测模型的方法、装置、计算设备和存储介质
WO2022142931A1 (zh) 一种网络设备的巡检方法、装置、设备和存储介质
Ferrús et al. Applicability domains of machine learning in next generation radio access networks
US11924065B2 (en) Method and electronic device for placing micro network function
EP3457634B1 (en) Collection of management plane performance data
EP2209282A1 (en) A method, device and computer program product for service balancing in an electronic communications system
EP3787330B1 (en) Network architecture to improve service quality management
WO2024038554A1 (ja) 制御システム、制御装置、制御方法、及び非一時的なコンピュータ可読媒体
TWI766735B (zh) 基於機器學習之速率調適系統與相關方法
WO2023119623A1 (ja) 管理装置、通信システム、制御方法、及び非一時的なコンピュータ可読媒体
US20230231778A1 (en) Computerized system and method for an improved self organizing network
WO2024068018A1 (en) Apparatus and method for introducing a data preparation configuration policy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant