CN111727587A

CN111727587A - 用于使用人工生命的动态网络配置和优化的方法和设备

Info

Publication number: CN111727587A
Application number: CN201780098301.4A
Authority: CN
Inventors: A·德比特莱尔
Original assignee: Telefonaktiebolaget LM Ericsson AB
Current assignee: Telefonaktiebolaget LM Ericsson AB
Priority date: 2017-12-21
Filing date: 2017-12-21
Publication date: 2020-09-29
Also published as: EP3729727A1; WO2019120543A1; US20200336373A1; US11082292B2

Abstract

一种用于在通信网络中推荐配置改变的方法。所述方法包括：维持（102）多个机器学习过程，其中个体机器学习过程基于数据模型和决策规则来操作，并且多个机器学习过程基于多个不同的数据模型和多个不同的决策规则来操作。所述方法还包括从所述通信网络的网元获得（104）关键性能指标KPI的值以及获得目标（106），所述目标（106）定义表征通信网络的期望操作的至少一个KPI值。所述方法还包括基于所接收的KPI的值并且使用所述数据模型和决策规则，通过所述多个机器学习过程来产生（108）多个个体推荐；以及基于所产生的个体推荐来产生输出推荐（110）。还公开了实现上述方法的设备。

Description

用于使用人工生命的动态网络配置和优化的方法和设备

技术领域

一般来说，本发明涉及通信网络，并且特别地涉及通过使用人工生命物种进行数据挖掘的动态网络配置和优化。

背景技术

通信网络运营商和网络运营中心连续收集和监测网元（NE）的性能数据和关键性能指标（KPI），以便测量被管网络（managed network）的性能和可靠性。KPI给出运营商（operator）量化度量，这帮助他们优化网络服务质量（QoS）并满足服务水平协议（SLA）。运营商定义在特定KPI的预定阈值被突破时触发的警报。当触发警报时，运营商采取适当的动作来应对引起故障状况的问题。但是，配置警报是有问题的。如果警报太灵敏，则它可以响应于正在自校正的状况而触发，从而使得它变得不太有用。如果警报不够灵敏，则在通知运营商之前潜在的状况可能顺利继续进行，从而导致延迟纠正该问题。

自组织网络（SON）中的对象可以根据需要配置或重新配置它们自己，以便实现最佳性能。SON执行三个主要功能。

a）自配置，由此新部署的对象（例如，诸如eNodeB之类的网元）可以配置它们的身份、传输频率和功率，从而导致更快的小区规划和首次展示（rollout）。

b）自优化，其包括覆盖范围、容量、切换和干扰的优化。

c）自修复，其通过调整相邻小区中的参数和算法来降低无法操作的节点的影响，从而支持由故障节点曾支持的用户。

目前，已经实现了仅数量有限的SON功能。这些包括自动邻居关系（ANR）、物理层小区身份（PCI）冲突检测和休眠小区检测。计划更多SON特征。在历史上，每个新解决方案都是单独设计和实现的。这些解决方案使用复杂的算法，并且可能要求运营商细调（fine-tune）配置参数。

发明内容

本发明的目的是提供一种用于推荐通信网络中的配置改变的改进方法和设备。

根据本发明的第一方面，提供有一种用于在通信网络中推荐配置改变的方法。所述方法包括：维持多个机器学习过程，其中个体机器学习过程基于数据模型和决策规则来操作。多个机器学习过程基于多个不同的数据模型和多个不同的决策规则来操作。所述方法还包括：从所述通信网络的网元获得关键性能指标KPI的值，以及获得目标，所述目标定义表征所述通信网络的期望操作的至少一个KPI值。此外，所述方法包括：基于所接收的KPI的值并且使用所述数据模型和决策规则，通过所述多个机器学习过程来产生多个个体推荐，其中个体推荐给出需要被配置成实现所述目标的至少一个参数的值。所述方法还包括基于所产生的个体推荐来产生输出推荐。

根据本发明的第二方面，提供有一种用于在通信网络中推荐配置改变的设备。所述设备包括处理电路和存储器。所述存储器包含由所述处理电路可执行的指令以使得所述设备可操作以：维持多个机器学习过程，其中个体机器学习过程基于数据模型和决策规则来操作。所述多个机器学习过程基于多个不同的数据模型和多个不同的决策规则来操作。所述设备还可操作以从通信网络的网元获得关键性能指标KPI的值；以及可操作以获得目标，所述目标定义表征所述通信网络的期望操作的至少一个KPI值。所述设备还可操作以基于所接收的KPI的值并且使用所述数据模型和决策规则，通过所述多个机器学习过程来产生多个个体推荐。个体推荐给出需要被配置成实现所述目标的至少一个参数的值。所述设备还可操作以基于所产生的个体推荐来产生输出推荐。

根据本发明的第三方面，提供有一种用于在通信网络中推荐配置改变的设备。所述设备适于维持多个机器学习过程，其中个体机器学习过程基于数据模型和决策规则来操作。所述多个机器学习过程基于多个不同的数据模型和多个不同的决策规则来操作。所述设备适于从通信网络的网元获得关键性能指标KPI的值；以及适于获得目标，所述目标定义表征所述通信网络的期望操作的至少一个KPI值。所述设备还适于基于所接收的KPI的值并且使用所述数据模型和决策规则，通过所述多个机器学习过程来产生多个个体推荐。个体推荐给出需要被配置成实现所述目标的至少一个参数的值。所述设备还适于基于所产生的个体推荐来产生输出推荐。

根据本发明的第四方面，提供有一种用于在通信网络中推荐配置改变的设备。所述设备包括：第一接收器，用于接收从所述通信网络的网元获得的关键性能指标KPI的值的流；以及第二接收器，用于接收目标，所述目标定义表征所述通信网络的期望操作的至少一个KPI值。所述设备还包括用于产生多个个体推荐的多个机器学习过程，其中个体推荐给出需要被配置成实现所述目标的至少一个参数的值。个体机器学习过程基于数据模型和决策规则来操作，并且所述多个机器学习过程适于基于多个不同的数据模型和多个不同的决策规则来操作。所述设备还包括模块，用于基于所产生的个体推荐来产生输出推荐。

根据本发明的第五方面，提供有一种包括计算机程序代码的计算机程序，所述计算机程序代码在网元中被执行时，使所述网元执行本文档中公开的方法。还公开有一种包含所述计算机程序的载体，其中所述载体是电子信号、光信号、无线电信号或计算机可读存储介质中的一个。

本发明的另外特征如从属权利要求中所要求保护的那样。

附图说明

根据以下结合附图的详细描述，将更充分地理解和领悟本发明，其中：

图1是示出用于推荐通信网络中的配置改变的方法的实施例的流程图；

图2是示出用于推荐通信网络中的配置改变的方法的备选实施例的流程图；

图3是示出用于推荐通信网络中的配置改变的设备的实施例的图；

图4是示出图3的设备在执行图1或图2所示的方法时的操作的图；

图5是用于推荐通信网络中的配置改变的方法的实施例的一个备选图示;

图6示出了通过个体机器学习过程在图5所示的实施例中执行的动作；

图7是示出用于推荐通信网络中的配置改变的设备的备选实施例的图。

具体实施方式

下面出于解释而非限制的目的阐述特定细节，诸如特定实施例或示例。本领域技术人员将理解，除了这些特定细节之外，可以采用其他示例。在一些实例中，省略了对众所周知的方法、节点、接口、电路和装置的详细描述，以便避免利用不必要的细节而使本描述模糊。本领域技术人员将理解，所描述的功能可以使用硬件电路（例如，互连以执行专门功能的模拟和/或分立逻辑门、ASIC、可编程逻辑阵列PLA等）和/或使用软件程序和数据结合一个或多个数字微处理器或通用计算机在一个或多个节点中实现。使用空中接口进行通信的节点也具有合适的无线电通信电路。此外，在适当的情况下，该技术还可额外地被认为完全体现在任何形式的计算机可读存储器内，诸如在包含适当计算机指令集的固态存储器、磁盘或光盘内，所述计算机指令将使处理器执行本文描述的技术。

硬件实现可包括或涵盖但不限于数字信号处理器（DSP）硬件、精简指令集处理器、硬件（例如，数字或模拟）电路，其包括但不限于（一个或多个）专用集成电路（ASIC）和/或（一个或多个）现场可编程门阵列（（一个或多个）FPGA）以及（在适当情况下）能够执行此类功能的状态机。

在下面的描述中，出于解释而非限制的目的，阐述了特定细节，诸如特定架构、接口、技术等，以便提供对本发明的透彻理解。然而，本领域技术人员将明白，可以在脱离这些特定细节的其他实施例中实践本发明。在其他实例中，省略了对众所周知的装置、电路和方法的详细描述，以便避免利用不必要的细节而使本发明的描述模糊。

说明书通篇对“一个实施例”或“实施例”的引用意指结合实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。因此，说明书通篇的各个地方出现的短语“在一个实施例中”或“在实施例中”不一定全部指的是相同实施例。此外，在一个或多个实施例中，可采用任何合适的方式来组合特定特征、结构或特性。

可能创建机器学习过程和使用多个这样的机器学习过程以便数据挖掘的设备。这些机器学习过程可以被描述为人工生命物种的示例；它们的角色是数据挖掘。

当机器学习过程接收数据时，它们建立其模型，基于模型将新数据分类，并且从预定动作的集合中选择响应。机器学习过程连续失去能量（“代谢（metabolism）”成本）。为了保持活着，它们必须通过选择适当的响应来获得能量。“适当的”响应的定义取决于被指配给机器学习过程的特定数据挖掘任务。能量是表征个体机器学习过程（即，所述机器学习过程的可行性）的参数。当机器学习过程失去的能量多于它在某些时候获得的能量时，它便不复存在了，或者类似于生物学生命，它便死了。

De Buitléir等人[1]论证得出被称为wains的机器学习过程的种群（population）确实可以发现模式，基于这些模式做出决策，并且适应于数据的模式特性的改变。个体wains学会了在它们的寿命期间做出更好的决策，并且演进它们的学习和决策规则的经优化的操作参数以用于几代上的数据挖掘任务。

参考图1，现在将描述用于推荐通信网络中的配置改变的方法的实施例。

在电信中，关键性能指标（KPI）是指示网络性能的度量。这些性能指标中的一个可以是例如网络时延。其他示例可包括丢失的分组、抖动（jitter）、网络的各个元素的数据速率吞吐量以及取决于网络的类型和网络上运行的服务的许多其他因素。达到并保持一定水平的KPI可定义网络的期望性能水平——可以将其称为通过管理网络来实现的目标。

图1所示的实施例中的方法包括维护102多个机器学习过程，其中个体机器学习过程基于数据模型和决策规则来操作。这些机器学习过程形成机器学习过程的种群。为了获得多样的推荐并且从它们中选择输出推荐，多个机器学习过程基于多个不同的数据模型和多个不同的决策规则来操作。该方法还包括从通信网络的网元获得104关键性能指标KPI的值，以及获得目标106，该目标106定义表征通信网络的期望操作的至少一个KPI值。该方法还包括通过多个机器学习过程来产生108多个个体推荐，其中个体推荐给出至少一个参数的值，所述至少一个参数的值需要被配置成实现目标。个体推荐可以给出要配置的参数的新值，或者给出与当前正在操作的相比未改变的值。第二个选项指示不需要改变。多个机器学习过程基于所接收的KPI的值并且使用数据模型和决策规则来产生它们的推荐。最后，该方法包括基于所产生的个体推荐来产生输出推荐110。

优选地，在操作108中，所维护的种群中的每个机器学习过程产生其个体推荐，然而，在备选实施例中，仅机器学习过程的种群的一部分产生其个体推荐。在机器学习过程的种群很大时并且产生个体推荐将花费太长时间的情况下，仅种群的一部分产生单个推荐的实施例可以是有利的。可以的是，仅所定义百分比的种群产生个体推荐。备选地，可以限制用于产生个体推荐的时间（例如，从接收到KPI的新集合起15分钟），并且然后将所产生的个体推荐用于产生输出推荐。

机器学习过程能够在基于它们的数据模型和决策规则被部署之后，推荐通信网络中的配置改变。然而，最初的推荐可能并不总是实现期望的目标。必须首先对机器学习过程进行训练，并且调整它们被部署的通信网络的特定环境。如前所解释的那样，为了训练机器学习过程来执行任务，诸如推荐通信网络中的配置改变，我们向机器学习过程呈现了所有KPI在它们变为可用时的值。然后，机器学习过程从动作的集合中选择动作，其中每个动作产生要配置的参数的推荐值（或要配置的多个参数的值）。当KPI的新值变为可用时，它们用于确定机器学习过程中的哪些接收能量奖励。通过奖励机器学习过程，这产生导致改进KPI并实现目标的推荐，可以与现实生活进行类比——受奖励的机器学习过程将变得更强，并且将产生更多继承其父代（parent）特质的混合体的后代。另一方面，做出错误推荐的机器学习过程不被奖励，它们失去能量并最终它们不复存在了，并且机器学习过程的总种群朝向做出更好推荐的系统演进。

在步骤110中产生输出推荐之后，取决于实施方案，可以以多种不同方式中的一种来使用所述输出推荐。在自动化系统中，输出推荐可以被自动实施，并且备选地可以将它呈现给运营商以便批准。优选地，在一个实施例中，业务关键改变可能要求网络运营商的批准，而不太重要的配置改变则根据输出推荐自动执行。在另外的优选实施例中，将自动实施的配置改变与要求运营商批准的那些关键业务改变分开的阈值以如下方式随着系统进而成熟：自动实施更多配置改变。在又另一实施例中，将防止故障或作为对故障的响应的配置改变被自动实施，而可以将非时间关键的配置改变呈现给运营商以便批准。

在优选实施例中，通过选择所产生的集合中最常见的个体推荐来产生输出推荐110。如果要配置的参数具有来自多个离散值的值，例如：低、中、高、非常高，则该实施例工作良好。对于具有宽范围的值的参数，以及特别是对于提供多于一个参数要修改的推荐，呈现了备选实施例。

在图2所示的该备选实施例中，初始操作102-108与先前参考图1描述的相同。在该实施例中产生输出推荐包括：对个体推荐进行聚类（cluster）202并且从最大聚类204获得要配置为输出推荐的至少一个参数的中位数值或平均数值或众数。平均数、中位数和众数是众所周知的，但要明确：

- 平均数是集合的所有成员的总和除以集合中的成员的数量；

- 中位数是“在中间”的值，即，如果X是中位数，则小于X的值的数量等于大于X的值的数量；

- 众数是比集合（在此实施例中为聚类）中的其他任何数字更频繁重复的数字。

当所推荐的配置改变是具有来自宽范围的精确值的参数时，如果我们规定将允许将它们被分类为相同的这些值的重叠的精度，则获得输出推荐可能更好。在个体机器学习过程的大种群的情况下，我们接收许多个体推荐。这些个体推荐可以跨它们的正常操作范围分布，并且不一定集中在一个特定值周围。实际上，可以形成聚集个体推荐的若干聚类。

如果个体推荐包含并非一个要配置的参数，而是多个要配置的参数，例如天线倾斜角和导频信道功率（用于UMTS的PCPICH或LTE中的参考信号），则选择最常见的推荐可能难以实施。

因此，聚类虑及选择靠近在一起的推荐的子集。基于最大聚类获得输出推荐解决了与具有来自宽范围的精确值的参数和包含多于一个要配置的参数的个体推荐相关联的困难。这是因为聚类的成员是相似的。定义聚类成员有多相似的聚类准则。

本发明在其实施例中使用已知的聚类技术，包括经典的聚类方法，诸如K-means和DBSCAN。也可以使用其它聚类技术。输出推荐的总体质量将取决于聚类参数，诸如与聚类中的邻居的最大距离和形成聚类所需的值的最小数量。在获得聚类之后，基于最大聚类产生输出推荐。

在备选实施例中，可以使用除平均数、中位数或众数之外的统计函数从最大聚类获得输出推荐。例如，输出推荐可以包括要被配置的至少一个参数，其被计算为来自最大聚类的所述个体推荐208中的对应参数的加权平均数。在该实施例中，个体推荐的权重可以至少取决于所述个体推荐206的置信水平。

在一个实施例中，该方法包括确定输出推荐的置信水平210。优选地，输出推荐的置信水平210是来自最大聚类的个体推荐的置信水平的平均数。置信的统计函数用于指示推荐的质量，并且在优选实施例中，输出推荐与其对应的置信水平一起输出。此外，优选地，如果输出推荐的置信水平等于或超过阈值212，则（自动地或由网络运营商触发）实施该推荐。该实施例的优点在于，它防止在它们的质量低于某个阈值的情况下触发配置改变，其中置信水平指示质量。

在优选实施例中，个体机器学习过程中的每个个体机器学习过程具有指示所述个体机器学习过程的可行性的参数。因为通信网络是在变化的状况下操作的动态结构，所以优选地周期性地执行该方法的操作，以便对这些变化的状况和通信网络的动态特性做出反应。在每个周期中，将所获得的KPI值与在前一周期中获得的目标进行比较，并且如果已经实施了输出推荐112，该方法包括：对于产生了落入输出推荐周围的定义范围内的个体推荐的每个个体机器学习过程，如果已经实现了在前一周期中获得的目标，则增加指示个体机器学习过程的可行性的参数的值，或者如果尚未实现在前一周期中获得的目标，则将指示个体机器学习过程的可行性的参数的值减小与执行产生个体推荐的操作所需的能量成本对应的值。上述实施例将可行性参数的调整仅限制到做出了“足够好的”推荐的个体机器学习过程，并且它们将被奖励或被惩罚，而其余的那些个体机器学习过程则原封不动。

在操作中，当新的周期开始时，执行该方法的设备从网元接收KPI值的集合，并且获得目标，步骤106，所述目标定义表征通信网络的期望操作的至少一个KPI值。KPI是实际值，由网元读取或以其他方式确定，并且被递送给执行根据本发明一个实施例的方法的设备。这些值中的一个是在实施前一周期中获得的输出推荐之后已经实现的第一KPI的实际值，并且它是由目标规定的KPI。在备选实施例中，目标可以规定多于一个KPI值。优选地，在每个周期中，该方法包括取决于是否已经实现前一周期开始时获得的目标来调整指示这些个体机器学习过程的可行性的参数的值。如果已经实现了目标，则增加指示这些个体机器学习过程的可行性的参数的值。如果尚未实现目标，则减少指示个体机器学习过程的可行性的参数的值。为了确保公平性，只有产生了用于产生输出推荐的个体推荐的个体机器学习过程使它们指示可行性的参数被调整（作为奖励被增加或者由于产生实施之后未曾实现目标的推荐而作为惩罚被减少）。对在前一周期中发出和实施了的输出推荐没有贡献的个体机器学习过程使它们指示可行性的参数不变。此外，如果输出推荐还没有被实施，则下一个周期不包括调整可行性参数。在优选实施例中，减少指示可行性的参数的值的幅度对应于在当前周期中执行产生个体推荐的操作所需的能量成本。备选地，为了简化该方法的操作，用于减少指示可行性的参数的值是恒定的。类似地，实现目标的奖励可以是增加指示可行性的参数的恒定值。对于机器学习过程而言操作其指示可行性的参数必须大于零。

如果该方法以这样的方式实施：通过在所产生的个体推荐的集合中选择最常见的个体推荐来产生输出推荐110，则指示可行性的参数的调整仅被应用于产生了所述选择的最常见的个体推荐的那些个体机器学习过程。在该实施例中，通过所述最常见的个体推荐满足落入输出推荐周围的定义范围内的状况。当个体推荐是数值时，在一些实施例中，可以定义精度，所述精度虑及对落入由所述精度定义的范围内的个体推荐进行计数。

备选地，如果该方法以这样的方式实施：通过聚类并且然后基于最大聚类获得输出推荐来产生输出推荐110，则指示可行性的参数的调整仅被应用于产生了属于最大聚类的个体推荐的那些个体机器学习过程。在该实施例中，通过属于所述最大聚类的个体推荐满足落入输出推荐周围的定义范围内的状况。

优选地，在产生个体推荐的操作108中，在处理电路上为个体机器学习过程分配时隙以用于执行数据模型和决策规则并且用于产生个体推荐。在该实施例中，个体机器学习过程在处理电路处逐个轮次进行。

在产生个体推荐的操作108的备选实施例中，多个机器学习过程在处理电路上并行地实施它们的数据模型和决策规则并且产生多个个体推荐。

必须注意，个体推荐的数量可能不一定等于在处理电路上运行的个体机器学习过程的数量（在上述两个实施例中），因为个体机器学习过程中的一些可能没有在所分配的时隙中完成。

参考图3，现在将描述用于推荐通信网络中的配置改变的设备300的实施例。设备300包括处理电路302和存储器304，处理电路302包括一个或多个处理器。存储器304包含由处理电路302可执行的指令以使得所述设备300可操作以：维持多个机器学习过程，其中个体机器学习过程基于数据模型和决策规则来操作。多个机器学习过程基于多个不同的数据模型和多个不同的决策规则来操作。设备300还可操作以：从通信网络的网元获得关键性能指标KPI的值以及获得目标，所述目标定义表征通信网络的期望操作的至少一个KPI值。在一个实施例中，经由用于与通信网络通信的接口306中的至少一个来接收KPI值和目标。

设备300还可操作以通过多个机器学习过程来产生多个个体推荐，其中个体推荐给出需要被配置成实现目标的至少一个参数的值。基于所接收的KPI的值并且使用数据模型和决策规则来产生多个个体推荐。当个体推荐可用（被产生）时，设备300基于多个所产生的个体推荐来产生输出推荐。

在其实施例中，设备300可操作以执行以上参考图1、图2、图5和图6描述的方法的实施例。

在一个实施例中，设备300可操作以通过在所产生的集合中选择最常见的个体推荐来产生输出推荐。

备选地，设备300可以可操作以对个体推荐进行聚类，并且可操作以从最大聚类获得要配置为输出推荐的所述至少一个参数的中位数值或平均数值或众数。在设备300的优选实施例中，输出推荐包括要配置的至少一个参数，并且设备300可操作以将输出推荐计算为所述个体推荐中的对应参数的加权平均数，其中个体推荐的权重至少取决于所述个体推荐的置信水平。

在一个实施例中，设备300还可操作以确定输出推荐的置信水平。优选地，设备300可操作以将输出推荐的置信水平计算为来自最大聚类的所述个体推荐的置信水平的平均数。

优选地，设备300可操作以：如果输出推荐的置信水平等于或超过第一阈值，则发出输出推荐以便在通信网络中实施。

在一个实施例中，个体机器学习过程中的每个个体机器学习过程具有指示所述个体机器学习过程的可行性的参数。在该实施例中，设备300可操作以周期性地执行操作从而导致产生输出推荐，并且在每个周期中所述设备可操作以将所获得的KPI值与在前一周期中获得的目标进行比较。如果已经实施了来自前一周期的输出推荐，则所述设备对于产生了落入输出推荐周围的定义范围内的个体推荐的每个个体机器学习过程可操作以：如果已经实现前一周期中获得的目标，则增加指示个体机器学习过程的可行性的参数的值；或者可操作以：如果尚未实现前一周期中获得的目标，则将指示个体机器学习过程的可行性的参数的值减少与执行产生个体推荐的操作所需的能量成本对应的值。

在一个实施例中，如果设备300可操作以通过在所产生的个体推荐的集合中选择最常见的个体推荐来产生输出推荐，则指示可行性的参数的调整仅应用于产生了所述选择的最常见个体推荐的那些机器学习过程。在该实施例中，通过所述最常见个体推荐满足落入输出推荐周围的定义范围内的状况。在一些实施例中，当个体推荐是数值时，可以定义精度，所述精度虑及对落入由所述精度定义的范围内的个体推荐进行计数。

备选地，如果设备300可操作以使用聚类来产生输出推荐，并且可操作以从最大聚类获得所述输出推荐，则所述设备将指示个体机器学习过程的可行性的参数的值的增加和减小仅应用于下述个体机器学习过程：所述个体机器学习过程具有它们在最大聚类中的推荐。在该实施例中，通过属于所述最大聚类的个体推荐满足落入输出推荐周围的定义范围内的状况。

优选地，在操作中，设备300可操作以在处理电路上为个体机器学习过程分配时隙以便执行数据模型和决策规则以产生个体推荐。备选地，设备300可操作以通过多个机器学习过程在处理电路302上并行地执行它们的数据模型和决策规则来产生多个个体推荐。

应当理解，如图3所示的结构仅是示意性的，并且设备300实际上可以包括为清楚起见尚未示出的另外组件，例如另外接口。设备300的组件可以串联连接或连接到总线，或以某种其他方式连接。此外应当理解，存储器304可以包括用于实施其他功能性的另外的程序代码，例如操作支持系统OSS或自组织网络的功能性。根据一些实施例，还可以例如以存储程序代码和/或要存储在存储器304中的其他数据的物理介质的形式或通过使程序代码可用于下载或通过流播（streaming），来提供计算机程序以用于实施设备300的功能性。

参考图7，将描述用于推荐通信网络中的配置改变的设备700的备选实施例。设备700包括第一接收器702，用于接收从通信网络的网元获得的关键性能指标KPI的值的流；以及第二接收器704，用于接收目标，所述目标定义表征通信网络的期望操作的至少一个KPI值。

在备选实施例中，第一接收器702和第二接收器704可以集成在单个接收器模块712中以用于接收KPI和目标，如前所解释的那样。

设备700还包括用于产生多个个体推荐的多个机器学习过程706。个体推荐给出需要被配置成实现目标的至少一个参数的值。个体机器学习过程基于数据模型和决策规则来操作，其中多个机器学习过程适于基于多个不同的数据模型和多个不同的决策规则来操作。设备700还包括模块，用于基于所产生的个体推荐来产生输出推荐708。

在机器学习过程的种群当中使用多个不同的数据模型和决策规则有利地虑及产生多个不同的推荐，这增加了获得虑及实现目标的推荐的可能性。在训练过程中，对虑及实现目标的推荐的奖励，并且对产生不虑及实现目标的推荐的惩罚，个体机器学习的种群朝向做出更好推荐的系统演进。

在一个实施例中，经由用于与通信网络通信的接口710中的至少一个来接收KPI值和目标。

图7示出了用于图示用于推荐通信网络中的配置改变的设备700的功能性的框图。设备700可以执行以上描述的并且在图1、图2、图5和图6中的任何一个中示出的方法中的任何。

注意，设备700可以包括用于实现其他功能的另外的模块，或可以被实施为系统（例如，OSS操作和支持系统）的一部分或自组织网络SON的一部分。设备700的组件可以串联连接或连接到总线，或以某种其他方式连接。此外，注意，设备700的模块不一定表示设备700的硬件结构，而是还可以对应于例如由硬件、软件或其组合实现的功能元件。

还公开了一种包括计算机程序代码的计算机程序，所述计算机程序代码在网元的处理电路上被执行时，使网元执行本文档中描述的方法。还公开了一种包含所述计算机程序的载体，其中所述载体是电子信号、光信号、无线电信号或计算机可读存储介质中的一个。

为了更好地理解本发明的实施例，现在将通过对存活的物种（人工生命）的种群进行类比来描述解决方案的以上细节和附加细节。

每个机器学习过程的特质都以二进制字符串编码，类似于生物有机体的特质在其DNA中被编码的方式。当两个过程配对（mate）时，它们的字符串将被重新组合以产生后代的字符串。结果，后代继承了它们的父代特质的混合体。这些特质包括机器学习算法的配置参数，所述机器学习算法包括大脑（学习和决策规则），因此做出良好推荐的父代也有可能产生也做出良好推荐的后代。做出最佳推荐的机器学习过程接收更频繁的能量奖励，并且趋向于存活得更久，以及产生更多后代。因此，每一代趋向于产生比前一代更好的推荐。这是对机器学习过程在其寿命期间进行的学习的补充。机器学习过程的当前种群的推荐可以通过一个或多个因子来加权。加权因子的示例包括机器学习过程年龄、置信水平和历史记录（即，它们先前的推荐曾有多好）。在一个实施例中，对机器学习过程的当前种群的加权推荐求平均以产生单个输出推荐。

本发明在其各种实施例中存在许多优点。虽然大多数机器学习系统是“黑盒子”，但相对容易找出为什么个体机器学习过程会做出它们这样做的决定。可以直接检查每个机器学习过程的数据模型和决策规则。虽然大多数定量预测方法的精度高度依赖于（固定的）配置，但响应于数据（KPI输入数据）中的模式特性的变化，演进允许机器学习过程的配置在各代之间变化。每个机器学习过程是独立的推荐者，具有其自己的配置，因此这里呈现的解决方案利用了“群体的智慧”，而不是依靠单个推荐者。该解决方案的另一优点是，解决方案的精度相对于机器学习过程的初始种群的配置不敏感——演进将随着时间改进配置。系统可以学习并且然后记住不常发生的模式。因为作为人工生命物种的示例的机器学习过程有性繁殖，因此后代是父代的配置参数的混合组合。类似于生物生命，假设基因设置（等位基因）对配置参数的值编码，使得学习和决策规则大部分时候在做出推荐时不那么准确，但对于不经常出现的模式则高度准确。从父代继承等位基因的一个副本的机器学习过程通常可以是准确的推荐者，假设所述机器学习过程从另一个父代继承不同的等位基因的话。等位基因保留在基因库中，并且可用于后代。继承两个副本的机器学习过程通常将做出不准确的推荐，并且因此将处于生存劣势，并且可能不会长期生存。然而，当出现不经常的模式时，继承两个副本的机器学习过程将具有生存优势。

图4示出了设备300、700中的方法的总体流程。设备300、700在它们可用时接收KPI值404。每次到达KPI值404、104的新集合，也会到达目标106，并且机器学习过程的种群406生成给出至少一个参数的值的推荐，所述至少一个参数的值需要被配置成实现目标。个体推荐被处理成单个输出推荐。在优选实施例中，如前所述，如果系统具有足够的信心输出推荐将导致实现目标，则自动或在网络运营商确认后实施该推荐。如这里描述的设备300、700推荐基于多个KPI的当前值来改变控制通信网络的操作的至少一个参数，从所述通信网络接收KPI。如前所述，输出推荐也可以是保持参数的值不变。

图5示出了整个过程的一个实施例。当新的KPI值的集合可用时，将开始一轮。在这轮开始时，读取新的KPI值和来自前一轮的目标502。如果满足了这一轮的先前建立的目标504，则推荐当前配置的机器学习过程将被给予正能量奖励506。如果没有满足目标，则从推荐当前配置的机器学习过程中扣除能量508。做出不同推荐的机器学习过程既不会被奖励也不会被惩罚。除了考虑是否满足目标之外，确定哪个机器学习过程应该被奖励还是被惩罚还取决于特定的实施例，并且如前所述，对于具有聚类和不具有聚类的实施例可能是不同的。然而，该部分先前已经在说明书被解释并且将不在此重复。

然后，系统获得下一轮的目标510，并且将它写入512存储器。每个机器学习过程被给予它的奖励，提供有新的KPI值，并且在CPU 514处给出轮次，从而做出它的个体推荐并可能配对。每个机器学习过程在CPU处给出它的轮次514。备选地，仅一部分机器学习过程如先前所述那样给出它们的轮次。机器学习过程轮次的细节如图6所示，并且在下面被讨论。系统在步骤516中读取个体推荐。在该特定实施例中，来自机器学习过程的最常见的推荐成为输出推荐518，所述输出推荐518被写入存储器520，并且供通信网络的其他系统使用或被输出以便网络运营商实施。接下来，从每个机器学习过程可行性参数中扣除代谢成本522。这种代谢成本基于机器学习过程的大脑的大小，这阻碍他们生长成比所需更大的大脑并浪费处理资源。成熟的机器学习过程还支付了它们正在建立的任何子代的代谢成本。当机器学习过程的能量达到零时，它被视为失效（dead），并且从种群中被移除524。

图6示出了由个体机器学习过程执行的动作。在它的轮次开始时，机器学习过程基于以下来接收正、负或零能量奖励：机器学习过程的最后推荐602、是否应用于当前网络配置604—是、并且是否满足了目标606。如果奖励为负（没有满足目标）606—否，则机器学习过程的大脑将弱化610其在前一轮所标识的模式与它的推荐之间的关联。这将使机器学习过程未来不太可能在类似场景下做出相同的推荐。如果奖励为正（满足了目标）606—是，则大脑将强化608该关联，从而使机器学习过程更有可能在类似场景下做出相同的推荐。如果奖励为零，则机器学习过程不对关联进行改变。接下来，机器学习过程将当前场景与其数据模型进行比较，并且为其指配最相似的模式ID 614，所述当前场景即，读取612当前轮的KPI加下一轮的目标。它还更新数据模型以合并新的场景614。然后，机器学习过程检查它响应于此场景而做出的先前推荐，并且选择最有可能导致正奖励的推荐616。机器学习过程向系统提供此推荐618。接下来，如果机器学习过程当前没有抚养子代620—否，则可能对其配对622。任何产生的后代将属于启动配对的机器学习过程。只要子代属于父代，它就将看到与父代相同的KPI和目标、遵守由父代做出的推荐并且从中学习。最终，已经达到成熟年龄（624—是）的任何子代“断奶（weaned）”626；也就是说，他们成为独立的成年人，准备做出它们自己的推荐。

例如，当节能功能可以被激活或被停用、增加或减少发射功率、改变天线倾斜度等时，基于本发明的实施例的解决方案可以用于推荐用于电信无线电网络的配置改变。

应当注意，上述示例说明而不是限制本发明，并且本领域技术人员将能够设计许多备选示例而无需不背离所附声明的范围。词语“包括”不排除存在权利要求书中列出的元件或步骤之外的元件或步骤，“一”或“一个”不排除多个，并且单个处理器或其他单元可以满足本文档中的声明中所记载的若干单元的功能。在使用术语“第一”、“第二”等的情况下，它们应仅被理解为为了方便而标识特定特征的标签。特别地，除非另有明确说明，否则不应将它们解释为描述多个这样的特征中的第一个或第二特征（即，这些特征中的第一个或第二个在时间或空间上出现）。除非另有明确说明，否则本文公开的方法中的步骤可以按任何顺序执行。声明中的任何参考符号不应被解释成使得它们的范围受限。

缩略语：

ANR –自动邻居关系

ASIC –专用集成电路

DSP –数字信号处理器

FPGA –现场可编程门阵列

KPI –关键性能指标LTE

NE –网元

PCI–物理层小区身份

PCPICH –主公共导频信道

PLA–可编程逻辑阵列

QoS–服务质量

SLA –服务水平协议

SON –自组织网络

UMTS –通用移动电信系统

参考文献：

[1] de Buitléir、Amy、Russell、Michael和Daly、Mark的“Wains: A pattern-seekingartificial life species.”人工生命18，编号4（2012）：399--423.

Claims

1.一种用于在通信网络中推荐配置改变的方法，所述方法包括：

— 维持多个机器学习过程，其中个体机器学习过程基于数据模型和决策规则来操作，并且所述多个机器学习过程基于多个不同的数据模型和多个不同的决策规则来操作；

— 从所述通信网络的网元获得关键性能指标KPI的值；

— 获得目标，所述目标定义表征所述通信网络的期望操作的至少一个KPI值；

— 基于所接收的KPI的值并且使用所述数据模型和决策规则，通过所述多个机器学习过程来产生多个个体推荐，其中个体推荐给出需要被配置成实现所述目标的至少一个参数的值；

— 基于所产生的个体推荐来产生输出推荐。

2.根据权利要求1所述的方法，其中通过在所产生的集合中选择最常见的个体推荐来产生所述输出推荐。

3.根据权利要求1所述的方法，包括对所述个体推荐进行聚类，并且从最大聚类获得要配置为所述输出推荐的所述至少一个参数的中位数值或平均数值或众数。

4.根据权利要求3所述的方法，其中所述输出推荐包括要配置的至少一个参数，所述至少一个参数被计算为所述个体推荐中的对应参数的加权平均数，其中个体推荐的权重至少取决于所述个体推荐的置信水平。

5.根据权利要求3或权利要求4所述的方法，还包括确定所述输出推荐的置信水平。

6.根据权利要求5所述的方法，其中所述输出推荐的所述置信水平是来自所述最大聚类的所述个体推荐的所述置信水平的平均数。

7.根据权利要求5或权利要求6所述的方法，其中如果所述输出推荐的所述置信水平等于或超过第一阈值，则实施所述输出推荐。

8.根据前述权利要求中的任一项所述的方法，其中所述个体机器学习过程中的每个个体机器学习过程具有指示所述个体机器学习过程的可行性的参数，并且其中周期性地执行所述方法的操作，并且在每个周期中，将所获得的KPI值与在前一周期中获得的所述目标进行比较，并且如果已经实施了所述输出推荐，则所述方法包括对于产生了落入所述输出推荐周围的定义范围内的个体推荐的每个个体机器学习过程而言：

— 如果已经实现所述前一周期中获得的所述目标，则增加指示个体机器学习过程的可行性的所述参数的值；或者

— 如果尚未实现所述前一周期中获得的所述目标，则将指示个体机器学习过程的可行性的所述参数的所述值减少与执行产生个体推荐的操作所需的能量成本对应的值。

9.根据权利要求8所述的方法，其中如果已经使用聚类产生了并且从所述最大聚类获得了所述输出推荐，则增加和减小指示个体机器学习过程的可行性的所述参数的所述值的操作仅被应用于下述个体机器学习过程：所述个体机器学习过程具有它们在所述最大聚类中的推荐。

10.根据前述权利要求中的任一项所述的方法，其中在产生个体推荐的所述操作中，在处理电路上为个体机器学习过程分配时隙以便执行所述数据模型和决策规则并且产生个体推荐。

11.根据权利要求1至9中的任一项所述的方法，其中在产生个体推荐的所述操作中，多个机器学习过程在处理电路上并行地实施它们的数据模型和决策规则并且产生多个个体推荐。

12.一种用于在通信网络中推荐配置改变的设备，所述设备包括处理电路和存储器，所述存储器包含由所述处理电路可执行的指令以使得所述设备可操作以：

— 从所述通信网络的网元获得关键性能指标KPI的值；

— 基于所产生的个体推荐来产生输出推荐。

13.根据权利要求12所述的设备，可操作以通过在所产生的集合中选择最常见的个体推荐来产生所述输出推荐。

14.根据权利要求12所述的设备，可操作以对所述个体推荐进行聚类，并且可操作以从最大聚类获得要配置为所述输出推荐的所述至少一个参数的中位数值或平均数值或众数。

15.根据权利要求14所述的设备，其中所述输出推荐包括要配置的至少一个参数，并且所述设备可操作以将所述输出推荐计算为所述个体推荐中的对应参数的加权平均数，其中个体推荐的权重至少取决于所述个体推荐的置信水平。

16.根据权利要求14或权利要求15所述的设备，还可操作以确定所述输出推荐的置信水平。

17.根据权利要求16所述的设备，可操作以将所述输出推荐的所述置信水平计算为来自所述最大聚类的所述个体推荐的所述置信水平的平均数。

18.根据权利要求16或权利要求17所述的设备，可操作以：如果所述输出推荐的所述置信水平等于或超过第一阈值，则发出所述输出推荐以便实施。

19.根据权利要求12至18中的任一项所述的设备，其中所述个体机器学习过程中的每个个体机器学习过程具有指示所述个体机器学习过程的可行性的参数，并且其中所述设备可操作以周期性地执行操作从而产生输出推荐，并且在每个周期中所述设备可操作以将所获得的KPI值与在前一周期中获得的所述目标进行比较，并且如果已经实施了所述输出推荐，则所述设备可操作以：

— 对于产生了落入所述输出推荐周围的定义范围内的个体推荐的每个个体机器学习过程而言：

○ 如果已经实现所述前一周期中获得的所述目标，则增加指示个体机器学习过程的可行性的所述参数的值；或者

○ 如果尚未实现所述前一周期中获得的所述目标，则将指示个体机器学习过程的可行性的所述参数的所述值减少与执行产生个体推荐的操作所需的能量成本对应的值。

20.根据权利要求19所述的设备，其中如果已经使用聚类产生了并且从所述最大聚类获得了所述输出推荐，则所述设备可操作以将指示个体机器学习过程的可行性的所述参数的所述值的增加和减小仅应用于下述个体机器学习过程：所述个体机器学习过程具有它们在所述最大聚类中的推荐。

21.根据权利要求12至20中的任一项所述的设备，可操作以在所述处理电路上为个体机器学习过程分配时隙以便执行所述数据模型和决策规则并且产生个体推荐。

22.根据权利要求12至20中的任一项所述的设备，可操作以：通过多个机器学习过程在所述处理电路上并行地执行它们的数据模型和决策规则来产生多个个体推荐。

23.一种用于在通信网络中推荐配置改变的设备，所述设备适于：

— 从所述通信网络的网元获得关键性能指标KPI的值；

— 基于所产生的个体推荐来产生输出推荐。

24.根据权利要求23所述的设备，适于通过在所产生的集合中选择最常见的个体推荐来产生所述输出推荐。

25.根据权利要求23所述的设备，适于对所述个体推荐进行聚类，并且适于从最大聚类获得要配置为所述输出推荐的所述至少一个参数的中位数值或平均数值或众数。

26.根据权利要求25所述的设备，其中所述输出推荐包括要配置的至少一个参数，并且所述设备适于将所述输出推荐计算为所述个体推荐中的对应参数的加权平均数，其中个体推荐的权重至少取决于所述个体推荐的置信水平。

27.根据权利要求25或权利要求26所述的设备，还适于确定所述输出推荐的置信水平。

28.根据权利要求27所述的设备，适于将所述输出推荐的所述置信水平计算为来自所述最大聚类的所述个体推荐的所述置信水平的平均数。

29.根据权利要求27或权利要求28所述的设备，适于：如果所述输出推荐的所述置信水平等于或超过第一阈值，则发出所述输出推荐以便实施。

30.根据权利要求23至29中的任一项所述的设备，其中所述个体机器学习过程中的每个个体机器学习过程具有指示所述个体机器学习过程的可行性的参数，并且其中所述设备适于周期性地执行操作从而产生输出推荐，并且在每个周期中所述设备适于将所获得的KPI值与在前一周期中获得的所述目标进行比较，并且如果已经实施了所述输出推荐，则所述设备适于：

31.根据权利要求30所述的设备，其中如果已经使用聚类产生了并且从所述最大聚类获得了所述输出推荐，则所述设备适于将指示个体机器学习过程的可行性的所述参数的所述值的增加和减小仅应用于下述个体机器学习过程：所述个体机器学习过程具有它们在所述最大聚类中的推荐。

32.根据权利要求23至31中的任一项所述的设备，适于在所述处理电路上为个体机器学习过程分配时隙以便执行所述数据模型和决策规则并且产生个体推荐。

33.根据权利要求23至31中的任一项所述的设备，适于：通过多个机器学习过程在所述处理电路上并行地执行它们的数据模型和决策规则来产生多个个体推荐。

34.一种用于在通信网络中推荐配置改变的设备，所述设备包括：

— 第一接收器，用于接收从所述通信网络的网元获得的关键性能指标KPI的值的流；

— 第二接收器，用于接收目标，所述目标定义表征所述通信网络的期望操作的至少一个KPI值；

— 多个机器学习过程，用于产生多个个体推荐，其中个体推荐给出需要被配置成实现所述目标的至少一个参数的值，其中个体机器学习过程基于数据模型和决策规则来操作，并且所述多个机器学习过程适于基于多个不同的数据模型和多个不同的决策规则来操作；

— 模块，用于基于所产生的个体推荐来产生输出推荐。

35.根据权利要求34所述的设备，其中用于产生所述输出推荐的所述模块适于通过在所产生的集合中选择最常见的个体推荐来产生所述输出推荐。

36.根据权利要求34所述的设备，其中用于产生所述输出推荐的所述模块适于：通过对所述个体推荐进行聚类，并且从最大聚类获得要配置为所述输出推荐的所述至少一个参数的中位数值或平均数值或众数来产生所述输出推荐。

37.根据权利要求36所述的设备，其中所述输出推荐包括要配置的至少一个参数，并且用于产生所述输出推荐的所述模块适于：将所述输出推荐计算为所述个体推荐中的对应参数的加权平均数，其中个体推荐的权重至少取决于所述个体推荐的置信水平。

38.根据权利要求36或权利要求37所述的设备，其中用于产生所述输出推荐的所述模块还适于确定所述输出推荐的置信水平。

39.根据权利要求38所述的设备，其中用于产生所述输出推荐的所述模块适于将所述输出推荐的所述置信水平计算为来自所述最大聚类的所述个体推荐的所述置信水平的平均数。

40.根据权利要求38或权利要求39所述的设备，其中用于产生所述输出推荐的所述模块适于：如果所述输出推荐的所述置信水平等于或超过第一阈值，则发出所述输出推荐以便实施。

41.根据权利要求34至40中的任一项所述的设备，其中所述个体机器学习过程中的每个个体机器学习过程具有指示所述个体机器学习过程的可行性的参数，并且其中所述设备适于周期性地执行操作从而导致产生输出推荐，并且在每个周期中所述设备适于将所获得的KPI值与在前一周期中获得的所述目标进行比较，并且如果已经实施了所述输出推荐，则所述设备适于：

42.根据权利要求41所述的设备，其中如果已经使用聚类产生了并且从所述最大聚类获得了所述输出推荐，则所述设备适于将指示个体机器学习过程的可行性的所述参数的所述值的增加和减小仅应用于下述个体机器学习过程：所述个体机器学习过程具有它们在所述最大聚类中的推荐。

43.根据权利要求34至42中的任一项所述的设备，包括处理电路并且还适于在所述处理电路上为个体机器学习过程分配时隙以便执行所述数据模型和决策规则并且产生个体推荐。

44.根据权利要求34至42中的任一项所述的设备，包括处理电路并且还适于：通过多个机器学习过程在所述处理电路上并行地执行它们的数据模型和决策规则来产生多个个体推荐。

45.一种包括计算机程序代码的计算机程序，所述计算机程序代码在网元中被执行时，使所述网元执行根据权利要求1至11中的任一项所述的方法。

46.一种包含权利要求45所述的计算机程序的载体，其中所述载体是电子信号、光信号、无线电信号或计算机可读存储介质中的一个。