CN116636187A - 网络状态建模 - Google Patents

Abstract

公开了一种通信系统中的装置和方法。在网络元件中，编码器模块获取表示通信网络的当前状况的网络数据作为输入，该网络数据包括指示网络元件的性能的多个值，并且执行(800)特征减少以在其输出处提供一组激活。聚类模块对编码器模块的输出执行(802)批量归一化和幅度限制以获取归一化激活。聚类控制模块计算归一化激活的投影，并且确定(804)聚类损失。解码器模块计算(806)重构损失。网络元件将重构损失和聚类损失进行反向传播而通过模块。

Description

网络状态建模

技术领域

本发明的示例性和非限制性实施例总体上涉及无线通信系统。本发明的实施例特别涉及无线通信网络中的装置和方法。

背景技术

无线通信系统的使用在很多应用领域中不断增加。以前用有线连接实现的通信被无线连接所取代，因为无线通信系统与有线系统相比提供了很多优点。

现代通信系统是一个庞大而复杂的系统。这样的系统的管理是一项艰巨的任务，因为管理过程中涉及大量的数据。因此，需要新的解决方案，以便能够可靠地执行重要的管理操作。

发明内容

以下给出了本发明的简化概述，以便提供对本发明的一些方面的基本理解。本概述并不是对本发明的全面概括。其并非旨在确定本发明的关键/重要元素或界定本发明的范围。其唯一目的是以简化的形式呈现本发明的一些概念，作为稍后呈现的更详细描述的前奏。

根据本发明的一个方面，提供了一种根据权利要求1所述的装置。

根据本发明的一个方面，提供了一种根据权利要求8所述的方法。

根据本发明的一个方面，提供了一种根据权利要求14所述的计算机程序。

在附图和下面的描述中更详细地阐述实现的一个或多个示例。其他特征将从说明书和附图以及权利要求中很清楚。本说明书中描述的不属于独立权利要求范围的实施例和/或示例和特征(如果有的话)将被解释为有助于理解本发明的各种实施例的示例。

附图说明

以下仅通过示例的方式参考附图描述本发明的实施例，在附图中图1和图2示出了通信系统的简化系统架构的示例；

图3示出了状态模型和转变的简单示例；

图4示出了常规自动编码器的示意性示例；

图5示出了一个实施例的自动编码器的示意性示例：

图6A和图6B示出了训练的示例；

图7示出了深度聚类自动编码器的状态转变图输出；

图8A是示出一个实施例的流程图；

图8B、图8C、图8D和图8E示出了表示的自由的逐渐限制的示例；

图9和图10是示出实施例的流程图；

图11示出了聚类模块的示例；

图12示出了自动编码器的训练过程的示例；

图13A、图13B、图13C、图13D、图13E和图13F示出了在训练期间如何将激活移动到越来越多的受限空间的示例；

图14示出了自动编码器在推理期间的使用；以及

图15示出了应用本发明的一些实施例的装置的简化示例。

具体实施方式

以下实施例仅仅是示例。尽管说明书可以在多个位置提及“一个(an)”、“一个(one)”或“一些(some)”实施例，但这并不一定表示每个这样的提及都是指相同的实施例或者该特征仅适用于单个实施例。不同实施例的单个特征也可以组合以提供其他实施例。此外，词语“包括(comprising)”和“包括(including)”应当被理解为不限制所描述的实施例仅由已经提到的那些特征组成，并且这样的实施例还可以包括没有具体提到的特征、结构、单元、模块等。

本发明的一些实施例适用于用户终端、通信设备、基站、eNodeB、gNodeB、基站的分布式实现、通信系统的网络元件、对应组件、和/或任何通信系统或支持所需要的功能的不同通信系统的任何组合。

所使用的协议，通信系统、服务器和用户设备的规范(特别是在无线通信中)发展迅速。这样的发展可能需要对实施例进行额外的改变。因此，所有的单词和表达都应当被宽泛地解释，并且它们旨在说明而不是限制实施例。

在下文中，将使用基于高级长期演进(高级LTE，LTE-A)或新无线电(NR，5G)的无线电接入架构作为可以应用实施例的接入架构的示例来描述不同的示例性实施例，然而，没有将实施例限于这样的架构。实施例还可以通过适当地调节参数和过程而应用于具有合适部件的其他类型的通信网络。合适系统的其他选项的一些示例是通用移动电信系统(UMTS)无线电接入网(UTRAN)、无线局域网(WLAN或WiFi)、全球微波接入互操作性(WiMAX)、个人通信服务(PCS)、/>宽带码分多址(WCDMA)、使用超宽带(UWB)技术的系统、传感器网络、移动自组织网络(MANET)和互联网协议多媒体子系统(IMS)或其任何组合。

图1描绘了简化系统架构的示例，仅示出了一些元素和功能实体，所有这些都是逻辑单元，其实现可以与所示的不同。图1所示的连接是逻辑连接；实际的物理连接可以不同。本领域技术人员很清楚的是，该系统通常还包括图1所示之外的其他功能和结构。

然而，实施例不限于作为示例而给出的系统，而是本领域技术人员可以将该解决方案应用于具有必要特性的其他通信系统。

图1的示例示出了示例性无线电接入网的一部分。

图1示出了设备100和102。设备100和102被配置为在一个或多个通信信道上与节点104处于无线连接。节点104进一步连接到核心网106。在一个示例中，节点104可以是诸如服务于小区中的设备的(e/g)NodeB等接入节点。在一个示例中，节点104可以是非3GPP接入节点。从设备到(e/g)NodeB的物理链路称为上行链路或反向链路，而从(e/g)NodeB到设备的物理链路称为下行链路或前向链路。应当理解，(e/g)NodeB或其功能可以使用适合于这样的使用的任何节点、主机、服务器或接入点等实体来实现。

通信系统通常包括一个以上的(e/g)NodeB，在这种情况下，(e/g)NodeB还可以被配置为通过为该目的而设计的有线或无线链路彼此通信。这些链路可以用于信令目的。(e/g)NodeB是被配置为控制其所耦合到的通信系统的无线电资源的计算设备。NodeB也可以称为基站、接入点或任何其他类型的接口设备，包括能够在无线环境中操作的中继站。(e/g)NodeB包括或耦合到收发器。从(e/g)NodeB的收发器，提供有到天线单元的连接，该天线单元建立到设备的双向无线电链路。天线单元可以包括多个天线或天线元件。(e/g)NodeB进一步连接到核心网106(CN或下一代核心NGC)。根据所部署的技术，(e/g)NodeB连接到服务和分组数据网络网关(S-GW+P-GW)或用户平面功能(UPF)，以用于路由和转发用户数据分组并且用于提供设备到一个或多个外部分组数据网络的连接性，并且提供到移动管理实体(MME)或接入移动性管理功能(AMF)的连接性，以用于控制设备的接入和移动性。

设备的示例性实施例是订户单元、用户设备(user device)、用户设备(userequipment)(UE)、用户终端、终端设备、移动站、移动设备等。

该设备通常是指移动或静态设备(例如，便携式或非便携式计算设备)，其包括在使用或不使用通用订户标识模块(USIM)的情况下操作的无线移动通信设备，包括但不限于以下类型的设备：移动电话、智能手机、个人数字助理(PDA)、手机、使用无线调制解调器的设备(报警或测量设备等)、笔记本电脑和/或触摸屏计算机、平板电脑、游戏控制台、笔记本电脑以及多媒体设备。应当理解，设备也可以是几乎排他性的仅上行链路设备，其示例是将图像或视频剪辑加载到网络的相机或摄像机。设备也可以是具有在物联网(IoT)网络中操作的能力的设备，IoT网络是一种其中对象具有在不需要人与人或人与计算机交互的情况下通过网络传输数据的能力的场景，例如用于智能电网和联网车辆。该设备还可以利用云。在一些应用中，设备可以包括具有无线电部件的用户便携式设备(诸如手表、耳机或眼镜)，并且计算在云中执行。

该设备示出了空中接口上的资源被分配和指派给的一种类型的装置，并且因此本文中描述的设备的任何特征都可以用诸如中继节点等对应装置来实现。这样的中继节点的示例是朝向基站的第3层中继(自回程中继)。该设备(或者在一些实施例中为第3层中继节点)被配置为执行用户设备功能中的一个或多个。

本文中描述的各种技术也可以应用于网络物理系统(CPS)(控制物理实体的协作计算元件的系统)。CPS可以实现和利用嵌入位于不同位置的物理对象中的大量互连的信息和通信技术ICT设备(传感器、致动器、处理器、微控制器等)。移动网络物理系统是网络物理系统的一个子类别，其中所讨论的物理系统具有固有移动性。移动物理系统的示例包括由人类或动物运输的移动机器人和电子器件。

另外，尽管将装置描绘为单个实体，但是可以实现不同的单元、处理器和/或存储器单元(图1中未全部示出)。

5G能够使用多输入多输出(MIMO)天线，比LTE(所谓的小小区概念)多得多的基站或节点，包括与较小基站协作并且采用多种无线电技术的宏站点，这取决于服务需求、用例和/或可用频谱。5G移动通信支持各种用例和相关应用(诸如(大规模)机器类型通信(mMTC))，包括视频流、增强现实、不同的数据共享方式和各种形式的机器类型应用，包括车辆安全、不同传感器和实时控制。5G有望具有多个无线电接口，例如，6GHz以下或24GHz以上、cmWave和mmWave，并且与诸如LTE等现有常规无线电接入技术可集成。与LTE的集成可以至少在早期阶段实现为系统，在该系统中，由LTE提供宏覆盖并且5G无线电接口接入通过聚合到LTE而来自小小区。换言之，计划5G同时支持RAT间可操作性(诸如LTE-5G)和RI间可操作性(无线电接口间可操作性，诸如6GHz以下-cmWave、6GHz或24GHz以上-cmWave和mmWave)。被认为在5G网络中使用的概念中的一个是网络切片，其中可以在同一基础设施中创建多个独立且专用的虚拟子网(网络实例)以运行对延迟、可靠性、吞吐量和移动性具有不同要求的服务。

LTE网络中的当前架构在无线电中完全分布并且在核心网中完全集中。5G中的低延迟应用和服务需要使内容靠近无线电，这会导致局部爆发和多址边缘计算(MEC)。5G使得分析和知识生成可以在数据源处进行。这种方法需要利用可能无法连续地连接到网络的资源，诸如笔记本电脑、智能电话、平板电脑和传感器。MEC为应用和服务托管提供分布式计算环境。它还具有在蜂窝订户附近存储和处理内容以加快响应时间的能力。边缘计算涵盖了广泛的技术，诸如无线传感器网络、移动数据采集、移动签名分析、协作式分布式对等自组织网络和处理(也可分类为本地云/雾计算和网格/网状计算)、露水计算、移动边缘计算、cloudlet、分布式数据存储和检索、自主自我修复网络、远程云服务、增强和虚拟现实、数据高速缓存、物联网(大规模连接和/或延迟关键)、关键通信(自动驾驶汽车、交通安全、实时分析、时间关键控制、医疗保健应用)。

通信系统还能够与其他网络112通信，诸如公共交换电话网络、VoIP网络、互联网或专用网络，或者利用由它们提供的服务。通信网络也可以能够支持云服务的使用，例如，核心网操作的至少一部分可以作为云服务(这在图1中由“云”114描绘)来执行。通信系统还可以包括为不同运营商的网络提供用于例如在频谱共享中进行协作的设施的中央控制实体等。

边缘云技术可以利用网络功能虚拟化(NFV)和软件定义网络(SDN)被引入无线电接入网(RAN)中。使用边缘云技术可以表示将至少部分在操作耦合到包括无线电部分的远程无线电头端或基站的服务器、主机或节点中执行接入节点操作。节点操作也可以分布在多个服务器、节点或主机之间。cloudRAN架构的应用使得RAN实时功能能够在远程天线站点处或附近(在分布式单元DU 108中)执行并且非实时功能能够以集中式方式(在集中式单元CU 110中)执行。

还应当理解，核心网操作与基站操作之间的工作分配可以不同于LTE的工作分配，或者甚至不存在。可能会使用的其他一些技术进步是大数据和全IP，这可能会改变网络的构建和管理方式。5G(或新无线电NR)网络被设计为支持多个层次结构，其中MEC服务器可以放置在核心与基站或nodeB(gNB)之间。应当理解，MEC也可以应用于4G网络。

5G还可以利用卫星通信来增强或补充5G服务的覆盖范围，例如通过提供回程。可能的用例是为机器对机器(M2M)或物联网(IoT)设备或为车上乘客提供服务连续性、或确保关键通信和未来的铁路/海事/航空通信的服务可用性。卫星通信可以利用对地静止地球轨道(GEO)卫星系统，也可以利用低地球轨道(LEO)卫星系统，特别是巨型星座(其中部署有数百个(纳米)卫星的系统)。巨型星座中的每个卫星可以覆盖创建地面小区的若干启用卫星的网络实体。地面小区可以通过地面中继节点或由位于地面或卫星中的gNB来创建。

本领域技术人员很清楚的是，所描述的系统仅仅是无线电接入系统的一部分的示例，并且在实践中，该系统可以包括多个(e/g)NodeB，该设备可以接入多个无线电小区，并且该系统还可以包括其他装置，诸如物理层中继节点或其他网络元件等。(e/g)NodeB中的至少一个可以是家庭(e/g)NodeB。另外，在无线电通信系统的地理区域中，可以提供有多个不同种类的无线电小区以及多个无线电小区。无线电小区可以是宏小区(或伞形小区)，它们是直径通常长达数十公里的大型小区、或者是诸如微、毫微微或微微小区等较小小区。图1的(e/g)NodeB可以提供任何种类的这些小区。蜂窝无线电系统可以实现为包括若干种类的小区的多层网络。通常，在多层网络中，一个接入节点提供一个种类的一个或多个小区，并且因此提供这样的网络结构需要多个(e/g)NodeB。

为了满足改善通信系统的部署和性能的需要，引入了“即插即用”(e/g)NodeB的概念。通常，除了家庭(e/g)NodeB(H(e/g)NodeB)，能够使用“即插即用”(e/g)NodeB的网络还包括家庭nodeB网关或HNB-GW(图1中未示出)。通常安装在运营商网络内的网络内的HNB网关(HNB-GW)可以将业务从大量HNB聚合回核心网。

图2示出了基于5G网络组件的通信系统的示例。用户终端或用户设备200经由5G网络202与数据网络112通信。用户终端200连接到无线电接入网RAN节点，诸如(e/g)NodeB206，该RAN节点经由一个或多个用户平面功能UPF 208向用户终端提供到网络112的连接。用户终端200进一步连接到核心接入和移动性管理功能AMF 210，AMF 210是用于(无线电)接入网的控制平面核心连接器并且从这个角度可以被视为LTE中的移动性管理实体MME的5G版本。5G网络还包括会话管理功能SMF 212和策略控制功能PCF 214，SMF 212负责订户会话，诸如会话建立、修改和释放，PCF 214被配置为通过向控制平面功能提供策略规则来管理网络行为。

诸如基于LTE或NR的系统等现代通信系统的管理是一项具有挑战性的任务。这些系统包括数百个设备，这些设备通过很多接口彼此通信。例如，由于终端设备的移动性，与管理相关的网络数据的量很大并且不断变化。管理中使用的参数包括关键性能指标(KPI)等。这些参数可以包括从各种网络元件获取的多维数据流，诸如无线电接入网(RAN)节点、终端设备、核心网元件和各种网络服务器。

由于网络的复杂结构和特性，基于5G的网络管理面临着更大的挑战。在很多情况下，固定网络的操作至少部分被实现为在很多层中具有多个互连的服务器的云服务。网络功能虚拟化(NVF)和软件定义网络(SDN)增加了网络的复杂性。由于物联网，终端设备的数目预计将大幅增加。

认知网络管理(CNM)已经被提出作为一种用于执行网络管理任务的工具，这些任务需要比硬编码管理功能所能实现的更高的认知能力。为了实现这些推理能力，认知(管理)功能(CF)需要从网络的不同域、层和方面收集信息。这些不同的信息被包含在数据流或文件中，这些数据流或文件由数百个甚至数千个特征组成。

开发网络状态建模是为了克服使用这些很多特征进行工作的固有复杂性。通过将所有可能的测量组合指派给有限数量的网络状态，可以在数据集上使用算法，否则这些算法会被数据集的绝对数量或数据集内包含的差异所淹没。此外，网络状态对人类来说也比原始值更容易理解，这使得理解通过学习算法而形成的模型更容易。这种理解有助于在操作员与机器之间建立信任，这对于大规模采用高认知任务的自动化至关重要，诸如认知网络管理。

图3示出了通信系统的小区的状态模型和状态转变图的简单示例。该模型具有三种状态，A：正常操作300，B：下行链路负载中的尖峰302，C：拥塞304。示出了三种可能的转变：从A到B的转变306、从B到A的转变308和从B到C的转变310。

就建模能力而言，深度神经网络是目前最强的机器学习算法。它们对噪声和不相关的特征具有弹性，并且通常能够处理大量的相关特征。因此，深度神经网络能够处理非常高维的输入数据。一种称为深度自动编码器的特殊类型的深度神经网络可以将输入数据变换到低维空间，学习并且建模在此过程中生成数据的系统的行为。通常，自动编码器包括两个部分：编码器和解码器网络。简化的低维表示(编码)可以在这些部分之间在自动编码器的中间找到。由于它们产生的低维表达，(深度)自动编码器通常用于特征减少。

图4示出了常规自动编码器的示意性示例。自动编码器接收输入数据400，输入数据400具有作为编码器404的输入的大量特征402。编码器404执行编码，并且在其输出处是减少数目的特征406。这些可以被应用作为解码器408的输入。解码器输出与输入数据之间的差可以表示为重构损失410，重构损失410可以作为反向传播412被反馈到自动编码器，并且用于训练系统。

当使用网络状态建模时，定义的网络状态的质量对于以后的认知功能的可能性能是重要的，认知功能使用所形成的状态作为输入。每个认知功能对每个状态的质量都有自己的要求。因此，虽然一个状态模型在一种认知功能下可以表现良好，但同一状态模型在另一种认知功能下可能表现不佳。尽管可以通过分别为每个认知功能创建一个状态模型来缓解这个问题，但这将大大增加计算开销，并且导致对网络的不一致描述，这是不希望的特征，并且降低了模型的整体效率。

发明人没有根据认知功能创建多个主观状态模型，而是意识到有必要形成一个包罗万象的客观状态模型，该模型结合了网络行为的所有重要逻辑连接。由于该目标模型不特定于任何认知功能，因此需要在来自网络的无监督(未标记)训练数据上对其进行训练，这些数据包括网络行为的很多方面(特征)。

通常，网络状态建模是通过常见的聚类或向量量化技术来解决的。然而，常规聚类方法不能很好地工作于具有大量特征的数据集，换言之，在高维空间中不能很好地工作。这是由于它们依赖于距离作为量化拟合的质量指示符，该距离是直接在输入数据上测量的。然而，距离、尤其是欧几里得距离在高维空间中很容易变得无关紧要，这取决于观察的分布。为了抵消这一点，环境建模系统通常使用特征减少器预处理器来减少进入聚类的输入特征的数目。

在现有技术中，特征减少和聚类都针对其自身的误差测量被优化，因此这两个模型与其优化之间没有联系。特征减少器的输出可以对整体状态建模任务是有害的，而特征减少和量化都个体地产生数值上较低的误差值。因此，将特征减少和聚类这样结合再次导致不期望的特征和减少的总体操作。

作为上述问题的解决方案，发明人提出了一种自动编码器深度神经网络，该自动编码器深度神经网络被配置为包括集成聚类功能，表示为深度聚类自动编码器(DCA)。DCA能够将网络状态建模系统的特征减少和聚类方面合并到一个单独的经训练的模型中，以同时提高这两个任务的性能。

图5示出了一个实施例的自动编码器的示意性示例。自动编码器接收输入数据400，输入数据400作为编码器404的输入。编码器404可以像现有技术中那样实现。在一个实施例中，所提出的自动编码器还包括解码器408，解码器408也可以像在现有技术中一样实现。在提供系统的特征减少能力的编码器404与解码器408之间，设置有聚类模块500和聚类控制模块502。聚类模块500将来自编码器404的编码输出作为输入，而控制模块502将聚类模块的输出作为输入。

聚类模块500在编码表示内的状态(集群)的形成、以及状态或集群之间的线性转变。聚类控制模块被配置为确定聚类损失，当执行数据的聚类时，该聚类损失被用作聚类模块500中的控制输入。

在一个实施例中，稀疏性约束(constraint)504被用作聚类控制模块502的输入，该聚类控制模块控制集群的形成。稀疏性约束的值可以由用户在自动编码器的训练期间选择。

所提出的自动编码器被配置为自动学习或建模状态转变图。该图可用于进一步的处理步骤，诸如异常检测、网络状态预测、预测性切片控制和可视化。系统的输出是候选状态(集群)的线性组合。

在一个实施例中，当被传播通过解码器时，编码中的线性转变被映射到数据的原始空间中的集群质心的非线性但逻辑的组合。

在现有技术的环境建模系统中，特征提取器和聚类算法是在单独的阶段中训练的。这在图6A中示出。重构损失410被应用于特征减少，并且聚类损失506被应用于聚类。这可以表示为解耦训练。相反，所提出的解决方案应用了所谓的耦合训练，如图6B所示，其中自动编码器在同时具有聚类损失506和重构损失410的情况下被训练。这消除了主观上良好但客观上不良的特征减少或聚类的可能性(如上所述)。在一个实施例中，通过在从移动网络提取的数据上训练神经网络，所形成的集群成为网络状态，并且DCA实现网络状态建模。

在所提出的解决方案中，自动编码器中学习的编码表示在学习过程中使用数据的通信系统的状态转变图。图7示出了深度聚类自动编码器的状态转变图输出，其中学习是基于如图3所示的通信系统的小区的状态模型和状态转变图。状态转变图示出了三种状态，A：正常操作300，B：下行链路负载中的尖峰302，C：拥塞304；以及状态之间的转变。这使得学习的模型很容易被人类解释，并且简化了使用这些信息作为输入的后续认知功能CF的决策过程。

如前所述，用于移动网络状态建模的现有聚类方法要么对原始高维数据进行操作，要么使用解耦的特征提取器和量化器。然而，由于传统的聚类方法不能很好地处理高维数据，前一种情况是不可取的。另一方面，基于特征提取器的解决方案往往会混淆部分数据，使聚类方法的工作更加困难，从而使结果更加糟糕。所提出的解决方案使用耦合的特征提取器和聚类，这允许它们在训练期间彼此影响。这会产生更好的集群和更好地定义的集群原型。

图8A的流程图示出了所提出的解决方案的一个实施例。该流程图示出了用于通信网络的n个装置的网络状态建模的网络元件或网络元件的一部分的操作的示例。在一个实施例中，这些步骤可以被划分为由多个网络元件执行。

在步骤800中，网络元件的编码器模块被配置为获取表示通信网络的当前状况的网络数据作为输入，该网络数据包括指示网络元件的性能的多个值，并且执行特征减少以在其输出处提供一组激活(activation)。

在步骤802中，网络元件的聚类模块被配置为对编码器模块的输出执行批量归一化和幅度限制以获取归一化激活。

在步骤804中，网络元件的聚类控制模块被配置为获取稀疏性约束作为输入，并且利用由稀疏性约束控制的掩码(mask)来计算归一化激活的投影，并且通过计算归一化激活与投影之间的距离来确定控制聚类模块的聚类损失。

在一个实施例中，掩码基于稀疏性约束来移除最小激活。

在步骤806中，网络元件的解码器模块被配置为从归一化激活形成重构网络数据，并且确定重构损失。

在步骤808中，网络元件被配置为将重构损失和聚类损失反向传播通过网络元件的模块，以通过逐渐减小稀疏性约束的值来训练这些模块。

在一个实施例中，网络元件被配置为将稀疏性约束的值逐渐减小到[0,1]的范围以下。

因此，在一个实施例中，利用编码的特定投影和在投影上测量的新损失，可以实现利用深度自动编码器的聚类。

在一个实施例中，编码器解码器对是多层子网络的对称对，以封装多个完全连接的层。重构损失可以定义为编码器的输入与解码器的输出之间的均方误差函数，该均方误差函数用于训练编码器和解码器。

编码器模块接收网络数据作为输入并且产生激活Q作为输出。这些激活Q是由编码器模块编码并且随后由聚类引导模块修改的观察。聚类引导模块执行批量归一化，然后是幅度限制，并且因此，Q中的激活被限制在0至1之间的值(Q被限制为单位超立方体)，Q∈[0，1]^D，其中D表示数据的维度。

在一个实施例中，将深度自动编码器实现为神经网络的网络元件包括新颖的聚类控制模块。聚类控制模块对由网络元件的编码器模块编码的数据进行操作，并且影响数据的编码表示以满足以下标准：

1.稀疏表示，其使用编码空间中的线性(凸)组合来表示数据。

2.能够在神经网络的训练期间逐渐减小建模自由度。

在一个实施例中，聚类控制模块实施聚类，该聚类包含可解释的可能的原型作为数据的原始输入空间中的集群质心。这表示，最大限度地激活聚类层中的表示节点的输入是自然出现的真实的(甚至真正真实的)数据点的输入，而不是稀疏表示中常见的抽象的不可解释的和不真实的形状。

让我们研究由聚类控制模块执行的聚类损失的计算。聚类损失计算机制被设计为能够实施编码中输入表示的凸组合，其中稀疏性约束或自由度为s∈[0，D-1]，其中激活表示为Q∈[0，1]^D。这基本上对应于在[0，1]^D的嵌入空间中具有s+1个点的凸组合。为了实现这一点，计算Q的投影(称为锚点)。用外行的话来说，对于每个编码的激活，都会计算一个锚点，该锚点最接近原始激活，但满足自由度约束(由稀疏性约束s定义)。在所提出的解决方案的一个实施例中，s的值在[0,1]的范围之间的某个地方逐渐减小，这取决于数据集。

图8B、图8C、图8D和图8E示出了在4个维度上逐渐限制表示的自由的示例。通过降低s的值，自由度逐渐受到限制。在图8B中，s等于3，并且自由度对应于整个四面体820。在图8C中，s等于2，并且自由度对应于四面体820的面822。在图8D中，s等于1，并且自由度对应于四面体820的边824。在图8E中，s等于0，并且自由度对应于集群原型、或四面体826的角。

网络元件被配置为计算聚类损失作为原始激活与锚点之间的(欧几里得)距离。如果锚点与原始激活相同，则如果原始激活已经位于由稀疏性约束s定义的受限空间内，则对于该特定观察，聚类损失为0。

在锚点的计算中，首先计算基数变化，该基数变化使得能够通过值的简单掩蔽(masking)来将原始激活投影到锚点中。在一个实施例中，基数变化矩阵只需要在训练之前预计算一次，因此它能够对不同值进行高效投影，而不需要长时间的投影重新计算。

图9的流程图示出了一个实施例。该流程图示出了用于预处理基数变化的计算的网络元件或网络元件的一部分的操作的示例。

在步骤900中，网络元件被配置为获取聚类模块的输出Q作为输入。在一个实施例中，总和Q_i的点等于1。

在步骤902中，网络元件被配置为基于Q_i计算仿射子空间B＝{b₁，b₂，...，b_D}。

在步骤904中，网络元件被配置为将B平移(translate)t＝-b₁以获取

在步骤906中，网络元件被配置为获取跨度为的线性子空间的基数B＝{b₂-b₁，...，b_D-b₁}；

在步骤908中，网络元件被配置为使用Gram-Schmidt正交化对基数进行正交化以获取正交化A；

在步骤910中，网络元件被配置为将单位长度向量与A相加以获取正交基数作为其列为A的元素的矩阵。

在步骤912中，网络元件被配置为形成其列为A的元素的矩阵A，并且存储A和t。

在聚类控制模块502中的聚类损失的计算中使用上述定义的值。

图10的流程图示出了一个实施例。该流程图示出了网络元件或网络元件的一部分的操作的示例，即，在神经网络的训练期间聚类损失的计算。在一个实施例中，这些步骤至少部分在聚类控制模块502中执行。

在步骤1000中，网络元件被配置为获取聚类模块的输出激活Q作为输入；

在步骤1002中，网络元件被配置为按降序对输入进行排序(sort)a＝sort_desc(Q)；

在步骤1004中，网络元件被配置为通过减去值t来平移经排序的输入：a＝Q-t。

在步骤1006中，网络元件被配置为利用矩阵A的转置将经平移的输入的基数改变为正交基数：a＝aA^T。

在步骤1008中，网络元件被配置为通过将投影与由给定稀疏性约束s控制的掩码相乘来计算输入数据的投影：a＝aμ(s)。

在一个实施例中，掩码μ(s)基于稀疏性约束来移除最小激活。在一个实施例中，掩码μ(s)是基于稀疏性约束s而包括在0至1之间的值的向量。

在步骤1010中，网络元件被配置为利用矩阵A将基数改变回非正交：a＝aA。

在步骤1012中，网络元件被配置为通过加上值t来执行去平移(detranslation)：a＝a+t。

在步骤1014中，网络元件被配置为执行去排序(unsorting)以获取锚点

在步骤1016中，网络元件被配置为通过确定锚点与激活Q之间的距离来计算聚类损失：/>

因此，在一个实施例中，μ(s)掩码是包含0至1之间的值的向量。掩码将经排序的激活相乘，以有效地“关闭”最小激活。稀疏性约束s值描述掩码采用的值。例如，μ(2.0)＝[1.0，1.0，0.0]，μ(1.8)＝[1.0，0.8，0.0]，μ(1.2)＝[1.0，0.2，0.0]，μ(0.6)＝[0.6，0.0，0.0]，……。

聚类控制模块502的一个输入是聚类模块500的输出。

如图11所示，在一个实施例中，聚类模块500包括两个模块：权重共享批量归一化模块1100和S形(sigmoid)非线性模块1102。这些模块发生在主正向传播路径中，并且直接修改编码器404的输出。然后，聚类由聚类控制模块502实施。

如果在没有任何附加机制的情况下利用聚类损失，则可能存在在训练开始时没有正确探索编码空间的问题。由于编码没有利用所有可用集群中心进行表示，这可能导致性能降低。

在一个实施例中，为了消除上述问题，聚类模块500包括权重共享批量归一化模块1100，随后是S形非线性模块1102。权重共享批量归一化模块执行以下操作：

y_batchnorm＝x-mean(x)std(x)*p_scale+p_offset，

其中x是输入，而p_scale和p_offst是批量归一化神经网络层的可学习参数。在常规的批量归一化层中，这些是根据每个特征来学习的。然而，由于这里的目的是在整个训练过程中保持居中效果，因此参数在特征之间共享。这是一种新颖的技术。

如结合6B所述，当在学习过程中计算重构损失和聚类损失两者时，它们会反向传播到所有神经网络部分和神经网络的每个单元，并且该单元对损失的贡献程度被确定。然后调节该单元的值，以试图使损失最小化。因此，同样，p_scale和p_offset在学习阶段也根据观察到的损失被调节。在一个实施例中，数据的所有激活都通过批量归一化神经网络部分，并且使用p_scale和px_ffset值的以上等式被应用于所有激活。因此，这些值在数据的所有特征/维度/激活之间共享。

批量归一化模块之后是S形非线性模块。因此，S形非线性的使用在神经网络中是已知的，但这里它专门用于限制激活的幅度，以将每个值限制为[0,1]的范围。这确保了编码向量的类似概率的性质。

图12示出了自动编码器的训练过程的示例。如结合图5所述，自动编码器接收输入数据400，利用编码器404、聚类模块500和解码器编码器404处理数据。例如，重构损失410利用均方误差1200。聚类损失506在聚类控制模块502中计算。

首先，如图9所示，在使用自动编码器的准备阶段执行基数变化计算1202。

在准备阶段之后的训练阶段1204，通过反向传播聚类损失和重构损失来训练自动编码器网络。稀疏性约束s 504的值逐渐减小到[0,1]的范围之间的某个地方。在一个实施例中，这产生具有最多两个活动质心的质心的线性组合的编码表示。

图13A、图13B、图13C、图13D、图13E和图13F示出了在训练期间如何将激活移动到越来越多的受限空间。图13A示出了训练开始时的情况，其中s等于5.0，图13B中，s等于3.680，在图13C中，s等于2.347，在图13D中，s等于1.013，在图13E中，s等于1.0，在图13F中的训练结束时，s等于1.0。在图13F中，已经实现了聚类和线性转变。

图14示出了自动编码器在推理期间的使用。在训练阶段之后，在推理期间，经训练的模型可以通过将观察传播通过编码器404和聚类模块500来用于聚类。所得到的输出1400表示每个观察的集群隶属概率。由于聚类控制模块仅用于在训练阶段实施编码的正确学习，因此在推理时不需要它。

很少有系统能产生移动网络生成的那种多维数据。这种高维度包含特征之间的大量相关性，其与强的时间依赖性相结合可以产生需要具有强大建模能力的系统来处理的数据集。通常，维度通过手工选择特征和仅具有这些少数特定特征的开发功能来降低。这种方法创建的功能非常严格，并且需要在不断发展的网络中不断维护。

所提出的系统很容易适应不同特征集或新行为，它只需要重新训练，但不需要实际的人力。由于它不是针对特定手工设计特征，因此所提出的机制也可以用于处理多供应商数据集。这可以通过在统一KPI集上进行训练或使用迁移学习的形式来关联两个数据集来实现。

主要设计原则中的一个是消除了通过人工进行数据预处理的需要。所提出的方法应当能够直接处理来自网络的无空间数据集，而不需要任何特征减少或聚合。

自动编码器对数据中的相关性进行建模，这使得分组更加智能，因为它是在呈现良好的数据集上进行的。这消除了在使用现有方法时出现的数据部分的通常过度表示。在移动网络管理(特别是认知网络管理)中，数据包括非常异构和复杂的信息。所提出的方法非常适合这种类型的输入，以使其非常适合移动网络应用。

由DCA创建的原型非常适合人类解读(这是最初设计的主要目标中的一个)。这使得进一步的机器处理更加高效并且人类更容易理解。当自由度的稀疏性约束被约束在1.0以下时尤其如此，因为在这种情况下，基本上所有数据点都被表示为最多两个原型的组合，这对人类来说自然是可以理解的。因此，所提出的方法也自然地生成了类似状态之间的状态转变图，如图7所示。这是一个非常宝贵的特性，因为网络状态图对于各种认知网络管理应用非常有用。

图15示出了一个实施例。该图示出了应用本发明的实施例的装置的简化示例。在一些实施例中，该装置可以是网络元件，或者是网络元件的一部分。

应当理解，该装置在本文中被描述为示出一些实施例的示例。本领域技术人员很清楚的是，该装置还可以包括其他功能和/或结构，并且不需要所有描述的功能和结构。尽管该装置被描述为一个实体，但是不同模块和存储器可以在一个或多个物理或逻辑实体中实现。

该示例的装置1500包括被配置为控制该装置的操作的至少一部分的控制电路系统1502。

该装置可以包括用于存储数据的存储器1504。此外，存储器可以存储由控制电路系统1502可执行的软件1506。存储器可以被集成在控制电路系统中。

该装置可以包括一个或多个接口电路系统1508。接口电路系统可操作地连接到控制电路系统1502。接口电路系统可以以本领域已知的有线或无线方式将该装置连接到通信系统的其他网络元件。

在一个实施例中，软件1506可以包括计算机程序，该计算机程序包括适于引起该装置的控制电路系统1502实现上述实施例中的至少一些实施例的程序代码部件。

如本申请中使用的，术语“电路系统”是指以下所有内容：(a)仅硬件电路实现，诸如仅在模拟和/或数字电路系统中的实现，以及(b)电路和软件(和/或固件)的组合，诸如(如适用)：(i)(多个)处理器的组合，或(ii)(多个)处理器/软件的部分，包括(多个)数字信号处理器、软件和(多个)存储器，其一起工作以引起装置执行各种功能，以及(c)电路，诸如(多个)微处理器或(多个)微处理器的一部分，其需要软件或固件来进行操作，即使软件或固件在物理上不存在。

“电路系统”的这个定义适用于该术语在本申请中的所有用途。作为另外的示例，如本申请中使用的，术语“电路系统”还将仅涵盖处理器(或多个处理器)或处理器的一部分及其附带软件和/或固件的实现。例如，如果适用于特定元素，则术语“电路系统”还将涵盖用于移动电话的基带集成电路或应用处理器集成电路、或者服务器、蜂窝网络设备或另一网络设备中的类似集成电路。

一个实施例提供了一种体现在分发介质上的计算机程序，该计算机程序包括程序指令，该程序指令在被加载到电子装置中时被配置为控制该装置执行上述实施例。

计算机程序可以是源代码形式、目标代码形式或某种中间形式，并且它可以存储在某种载体中，该载体可以是能够承载程序的任何实体或设备。例如，这样的载体包括记录介质、计算机存储器、只读存储器和软件分发包。根据所需要的处理能力，计算机程序可以在单个电子数字计算机中执行，也可以分布在若干计算机之间。

该装置也可以实现为一个或多个集成电路，诸如专用集成电路ASIC。其他硬件实施例也是可行的，诸如由单独的逻辑部件构建的电路。这些不同实现的混合也是可行的。当选择实现方法时，本领域技术人员将考虑例如对装置的尺寸和功耗、必要的处理能力、生产成本和生产量设定的要求。

在一个实施例中，一种装置包括用于以下各项的部件：[tdb]

对本领域技术人员来说很清楚的是，随着技术的进步，本发明构思可以以各种方式实现。本发明及其实施例不限于上述示例，而是可以在权利要求的范围内变化。

Claims (14)

1.一种用于通信网络的网络状态建模的网络元件，包括：

编码器模块，包括至少一个处理器；以及包括计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起，使所述网络元件：

获取表示所述通信网络的当前状况的网络数据作为输入，所述网络数据包括指示网络元件的性能的多个值，并且执行特征减少，以在所述编码器模块的输出处提供一组激活；

聚类模块，包括至少一个处理器；以及包括计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起，使所述网络元件：

对所述编码器模块的输出执行批量归一化和幅度限制；

聚类控制模块，包括至少一个处理器；以及包括计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起，使所述网络元件：

从所述聚类模块获取稀疏性约束和所述激活，作为输入数据；

利用由所述稀疏性约束控制的掩码来计算所述输入数据的投影；

通过计算所述激活与所述投影之间的距离来确定控制所述聚类模块的聚类损失；

解码器模块，包括至少一个处理器；以及包括计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起，使所述网络元件：

从所述聚类模块的输出形成重构网络数据，并且确定重构损失；

所述网络元件被配置为将所述重构损失和所述聚类损失进行反向传播而通过所述网络元件的所述模块，以通过逐渐减小所述稀疏性约束的值来训练所述模块。

2.根据权利要求1所述的网络元件，其中所述掩码基于所述稀疏性约束来移除最小激活。

3.根据权利要求1或2所述的网络元件，还被配置为将所述稀疏性约束的所述值减小到[0,1]的范围之间。

4.根据权利要求1、2或3所述的网络元件，还被配置为通过以下项来计算基数变化：

获取所述聚类模块的所述输出Q；

基于Q计算仿射子空间B＝[b₁，b₂，...，b_D}；

将B平移t＝-b₁，以获取

获取跨度为的线性子空间的基数B＝{b2-b1，...，bD-b1}；

使用Gram-Schmidt正交化对所述基数进行正交化，以获取正交化A；

将单位长度向量与A相加，以获取正交基数，作为以A的元素为列的矩阵；以及

形成以A的元素为列的矩阵A，并且存储A和t。

5.根据权利要求4所述的网络元件，还被配置为：

获取所述聚类模块的所述输出激活Q作为输入；

按降序对所述输入进行排序；

通过减去值t来平移经排序的所述输入；

利用所述矩阵A的转置将经平移的所述输入的所述基数改变为正交基数；

通过将所述投影与由给定稀疏性约束控制的所述掩码相乘，来计算所述输入数据的所述投影；

利用所述矩阵A将所述基数改变回非正交；

通过加上所述值t来执行去平移；

执行去排序以获取锚点

通过确定所述锚点与所述激活Q之间的距离来计算聚类损失。

6.根据任一前述权利要求所述的网络元件，其中所述聚类模块包括权重共享批量归一化模块，所述权重共享批量归一化模块之后是S形非线性模块，所述S形非线性模块被配置为将所述批量归一化模块的输出的值限制为[0,1]的范围。

7.根据权利要求5所述的网络元件，其中所述掩码是包括基于所述稀疏性约束的在[0,1]之间的值的向量。

8.一种用于网络元件的方法，包括：

由编码器模块获取表示通信网络的当前状况的网络数据作为输入，所述网络数据包括指示网络元件的性能的多个值，并且执行特征减少，以在所述编码器模块的输出处提供一组激活；

在聚类模块中对所述编码器模块的输出执行批量归一化和幅度限制，以获取归一化激活；

由聚类控制模块获取稀疏性约束作为输入，利用由所述稀疏性约束控制的掩码来计算所述归一化激活的投影，并且通过计算所述归一化激活与所述投影之间的距离，来确定控制所述聚类模块的聚类损失；

由解码器模块从所述归一化激活形成重构网络数据，并且确定重构损失；以及

由所述网络元件将所述重构损失和所述聚类损失进行反向传播而通过所述模块，以通过逐渐减小所述稀疏性约束的值来训练所述模块。

9.根据权利要求8所述的方法，其中所述掩码基于所述稀疏性约束来移除最小激活。

10.根据权利要求8或9所述的方法，还包括：将所述稀疏性约束的所述值减小到[0,1]的范围之间。

11.根据权利要求8、9或10所述的方法，还包括：通过以下项来计算基数变化：

获取所述聚类模块的所述输出Q；

基于Q计算仿射子空间B＝{b₁，b₂，...，b_D}；

将B平移t＝-b₁，以获取

获取跨度为的线性子空间的基数B＝{b2-b1，...，bD-b1}；

使用Gram-Schmidt正交化对所述基数进行正交化，以获取正交化A；

将单位长度向量与A相加，以获取正交基数，作为以A的元素为列的矩阵；以及

形成以A的元素为列的矩阵A，并且存储A和t。

12.根据权利要求11所述的方法，还包括：

获取所述聚类模块的所述输出激活Q作为输入；

按降序对所述输入进行排序；

通过减去值t来平移经排序的所述输入；

利用所述矩阵A的转置将经平移的所述输入的所述基数改变为正交基数；

通过将所述投影与由给定稀疏性约束控制的所述掩码相乘，来计算所述输入数据的所述投影；

利用所述矩阵A将所述基数改变回非正交；

通过将所述值t相加来执行去平移；

执行去排序，以获取锚点

通过确定所述锚点与所述激活Q之间的距离来计算聚类损失。

13.根据前述权利要求8至12中任一项所述的方法，还包括：

在所述聚类模块中执行权重共享批量归一化，并且将所述批量归一化的输出的值限制为[0,1]的范围。

14.一种计算机程序，包括用于使装置执行至少以下项的指令：

由编码器模块获取表示通信网络的当前状况的网络数据作为输入，所述网络数据包括指示网络元件的性能的多个值，并且执行特征减少以在所述编码器模块的输出处提供一组激活；

在聚类模块中对所述编码器模块的输出执行批量归一化和幅度限制，以获取归一化激活；

由聚类控制模块获取稀疏性约束作为输入，利用由所述稀疏性约束控制的掩码来计算所述归一化激活的投影，并且通过计算所述归一化激活与所述投影之间的距离，来确定控制所述聚类模块的聚类损失；

由解码器模块从所述归一化激活形成重构网络数据，并且确定重构损失；以及

将所述重构损失和所述聚类损失进行反向传播而通过所述模块，以通过逐渐减小所述稀疏性约束的值来训练所述模块。