CN107079315B - 用于配置动作的鲁棒验证的评分方法和系统 - Google Patents

Abstract

提供有用于配置操作的验证的措施。这样的措施示例性地包括检测域中的配置改变，所述配置改变包括至少一个参数改变，并且所述域包括至少一个小区；在预定时段内重复评估周期；以及针对所述至少一个参数改变的每个相应参数改变而决定所述相应参数改变基于所述域的每个小区的性能改变而是否要被撤销，所述小区受所述相应参数改变所影响，其中所述评估周期包括评估所述域的每个小区的所述性能改变，所述小区受所述至少一个参数改变中的任何一个所影响。

Description

用于配置动作的鲁棒验证的评分方法和系统

技术领域

本发明涉及与自组织网络相关的配置动作的验证。更具体地，本发明示例性地涉及用于实现与自组织网络相关的配置动作的验证的措施（包括方法、装置和计算机程序产品）。

背景技术

本说明书通常涉及特别是在自优化网络中的配置动作的验证，并且更具体地涉及在自组织网络中的动作后验证。

自组织网络（SON）功能现今被视为下一代移动通信网络（诸如长期演进（LTE）和LTE高级（LTE-A））中的自动化网络管理的关键推动因素。SON特征可以分组为三个主要领域：自配置、自优化和自修复。

第一领域即自配置通常聚焦于新部署的网络元件（NE）的初始配置和自动连接。

第二领域即自优化以网络的最优操作为目标。针对自优化使能的网络自动适配配置参数，这将会导致改进的鲁棒性（robustness）、可靠性和吞吐量。

第三领域即自修复负责例如由失灵的硬件或故障的软件所引起的故障检测和解决。

这三个核心功能可以通过使用所谓的SON功能来实现。这样的功能被设计成彼此独立工作。

为了完成它们的任务，SON功能监视网络中的某些关键性能指标（KPI）、配置改变和报警发生。

在收集所需量的信息之后，SON功能实例可能变为活动（即运行其算法），以便计算新的配置管理（CM）参数，并且在需要重新配置的NE上实施它们。

由于SON功能实例在其操作期间可能执行对网络配置参数的改变，所以需要SON协调器来拒绝将导致或参与冲突并允许这些的请求，这将保证完美的网络操作。

这些经批准的请求将触发其对应网络参数的实际配置。这种类型的协调通常被称为动作前SON协调，并且基于用于预见和避免SON功能实例之间的已知冲突的规则。

另外，存在对于协调所需要的SON功能实例的两个重要性质：影响时间和影响区域。

SON功能实例必须由SON协调器在其活动的完整时间段期间考虑。该时间段也被称为影响时间。该时间段不仅包括执行测量、运行算法和计算新的配置参数所需的延迟，而且包括部署新的配置所需的时间，以及直到它们变为与随后活动的功能相关的时间。

影响区域是SON功能实例在其内修改配置参数或进行测量的空间范围（在小区级别处）。更精确地，它包含功能区域（直接配置的区域）、输入区域（测量从其取得的区域）、效果区域（包含受CM改变所影响的小区的区域）、以及安全盈余（对效果区域的延伸）。

然而，经批准的网络配置改变可能不一定导致由对应网络功能作为目标的改进的性能，并且甚至对于由运营商特定标准所限定的全网络性能更如此。

这是由于SON协调器只聚焦于冲突检测和协调的事实。因此，操作者可以通过添加动作后验证机制以确定配置改变是否导致性能的显著改变来补偿。它旨在计算关于相关空间和时间聚合级别处的性能指标的统计量度，以快速评估一组（SON引起的）配置改变的影响。这可以独立于那些配置改变的语义来完成，使得也可以标识具有未知原因的性能影响。方法可以分类为特定类型的异常检测。

图3概述了如上所述的验证机制的整合。特别地，图3给出了在SON使能的网络中上述SON操作实体（管理、协调、验证）的概述。该机制被实现为利用来自对应数据库（CM数据库37、PM数据库38）和FM 39的CM、性能管理（PM）和故障管理（FM）数据319作为种子（seed）以便实现其任务的SON功能（SON验证功能31C）。

一旦收集到足够的数据，SON验证功能31C尝试确定网络是否经历性能降级。如果是这种情况，则向SON协调器32发送撤销执行请求311，并且在接收到对应的确认312之后，恢复318由给定SON功能实例31A、31B所做出的受影响小区的CM改变。

如图3所描绘，人类操作者（经由SON管理33）总是被通知关于CM参数的当前状态、KPI以及网络中的故障发生。操作者还那个手动调整（300）CM参数。

然而，SON验证功能31C仅在已知何时以及何处应用其时变得有用。为此原因，SON验证功能31C标识由（一组）CM改变所影响的小区或一组小区。

为此，SON验证功能31C计算作为针对异常而观察的空间范围的验证区域。它包括由SON功能实例31A、31B重新配置的一组小区（“CM改变基本区域”）和可能受该重新配置过程影响的一组小区（“CM改变扩展区域”）。

除了上述实体之外，图3所示的SON环境还包括以下布置。

SON功能31可以包括若干SON功能，例如SON功能A（31A）和SON功能B（31B），每一个实现相应的SON功能算法（SON功能算法A（31Aa）、SON功能算法B（31Ba））。

也是SON功能31的SON验证功能31C实现验证算法31Ca。

SON管理33可以经由相应的配置（例如验证功能配置313、功能B配置314和功能A配置315）来配置SON功能31。

SON管理33还可以经由协调配置310配置SON协调器32。

CM配置（例如CM配置A 316和CM配置B 317）被发送到计划组装件34，其中相应的配置被转发到相应的演进NodeB（eNB、eNodeB）并在其处实现，例如，eNodeB A（35）和eNodeB B（36），其分别服务小区35A至35C和36A至36C。

执行请求311和执行许可312在SON功能31和SON协调器32之间互换。

鉴于上述，已知验证机制被实现为SON功能。提出这样的功能的主要原因是解决由不协调的CM撤销操作所引起的问题。验证范围可以被限定为例如由诸如基站控制器（BSC）或无线电网络控制器（RNC）的某个控制器所控制的所有小区。

已知的验证功能包括在图4中描绘的四个主要阶段，换言之，其示出了这种验证的一般概述。

所提到的阶段是CM改变活动观察器41、验证区域生成42、性能评估43、以及接受（44A，“PASSED”）或撤销（44B，“FAILED”）（由人类操作者、脚本、给定的SON功能实例或任何其他源所做出的）CM改变的决定（44）。

在实现配置动作方法的已知验证时会出现以下问题。

一个问题是非常基本的，因为根据已知技术，阶段43一旦完成，之后跟着是立即决定44。尽管该行为导致快速撤销44B，但是评估43并且因此决定44对系统的短期扰动非常敏感，并且因此，是否（一组）配置改变导致良好或不良的结果的决定44可能不是完全可靠的。

图5示出了由单个SON功能实例做出的多个CM改变，并且用于描述配置动作方法的已知验证的另外的问题。

为了描述，假设SON功能实例A，其功能区域51包括不是仅一个小区，而是包括例如eNodeB 52（例如，小区1（53）、小区2（55）和小区3（54））的所有小区。进一步假设该SON功能A改变两个小区处的两个参数（即，改变在小区1（53A）处的参数“X”以及小区2（55A）处的参数“Y”）。

如果这些改变中的一个引起性能的降级，则已知的验证功能将撤销CM改变基本区域（其等于从上面已知的功能区51）内的所有改变。因此，即使它们中的一个对网络性能有积极影响，小区1（53）以及小区2（55）处所做出的改变也将被撤销。

另一个问题是，已知的技术不能够防止SON功能实例A一遍又一遍地重做有害改变（即，具有不良结果的改变）。如果上述SON协调器将用于阻止SON功能实例A的请求，则其将导致所有请求的CM改变的组织，甚至是可能对网络有积极影响的那些。如果我们采用图5中引入的记号，则改变“X”（53A）和“Y”（55A）将被阻止，即使它们中的一个改进了性能，并且因此是必要的。

发生这种情况的主要原因是SON功能实例不被通知关于它们的改变的影响，并且无法在将其发送到SON协调器之前过滤它们的请求。

应当注意，上面的X和Y可以指相同或不同参数类型的改变。存在SON功能，例如容量和覆盖优化（CCO）功能，其具有改变两个不同的CM参数（例如，在CCO功能的情况下的传输功率和天线倾斜）的能力。

因此，出现如下的问题：仅仅是对配置动作方法的无效验证是已知的，根据其，配置改变导致良好或不良结果的决定可能不完全可靠，改变可以被撤销，即使它们中的一个对网络性能有积极的影响，并且根据其，可能重复设置导致不良结果的配置改变。

因此，需要提供配置动作的验证。

发明内容

本发明的各种示例性实施例旨在解决上述问题和/或难题和缺点的至少部分。

在所附权利要求中阐述了本发明的示例性实施例的各个方面。

根据本发明的示例性方面，提供了一种用于自组织网络中的动作后验证的方法，包括：检测域中的配置改变，所述配置改变包括至少一个参数改变，并且所述域包括至少一个小区；在预定时段内重复评估周期；以及针对所述至少一个参数改变的每个相应参数改变而决定所述相应参数改变基于所述域的每个小区的性能改变而是否要被撤销，所述小区受所述相应参数改变所影响，其中所述评估周期包括评估所述域的每个小区的所述性能改变，所述小区受所述至少一个参数改变中的任何一个所影响。

根据本发明的示例性方面，提供了一种用于自组织网络中的动作后验证的系统，包括：配置改变设备，其被配置为实现域中的配置改变，所述配置改变包括至少一个参数改变，并且所述域包括至少一个小区；以及验证设备，其包括：检测元件，其被配置为检测所述配置改变；评估元件，其被配置为在预定时段内重复的评估周期期间评估所述域的每个小区的性能改变，所述小区受所述至少一个参数改变中的任何一个所影响；以及决定元件，其连接到所述评估元件并被配置为针对所述至少一个参数改变的每个相应参数改变而决定所述相应参数改变基于所述域的每个小区的所述性能改变而是否要被撤销，所述小区受所述相应参数改变所影响。

根据本发明的示例性方面，提供了一种计算机程序产品，其包括计算机可执行计算机程序代码，所述代码当所述程序在计算机（例如根据本发明的上述装置相关示例性方面的任何一个的装置的计算机）上运行时被配置为使得计算机执行根据本发明的上述方法相关示例性方面中的任何一个的方法。

这样的计算机程序产品可以包括（或被体现）在其上存储有计算机可执行计算机程序代码的（有形）计算机可读（存储）介质等，和/或所述程序可以直接可加载到计算机或其处理器的内部存储器中。

上述方面中的任何一个使得能够实现配置动作的高效动作后验证，以由此解决与现有技术相关的问题和缺点的至少部分。

特别地，根据本发明的示例性实施例，可以进行鲁棒的撤销决定（CM改变评估器）。

如果检测到由于该功能的活动而导致的降级，则当前验证方法的CM撤销操作的粒度恢复由单个CM实体（例如，SON功能实例）做出的所有CM改变。也就是说，如果仅由SON功能实例做出的单个CM改变导致一些网络异常（例如性能降级），则SON验证功能将撤销对应功能区域内的所有改变。因此，适当和积极的CM改变（即对网络具有积极影响的这样的改变）也将被撤销。

相反，根据本发明的示例性实施例，可以防止这样的行为发生。通过引入用于单独CM改变的评分机制，并基于对网络的影响对其进行评级，对单个SON功能实例请求的CM改变量的依赖性将被除去。

根据本发明的示例性实施例的CM改变评估器针对每个评估周期生成每个CM改变（和/或给定的一组CM改变）实际为多正或多负的信息，并且因此实际的撤销决定可以在若干评估周期在评估的一些会聚时给出之后进行。这改进了撤销决定的鲁棒性（针对进行决定所需的一些延迟进行权衡）。

可选地，根据本发明的示例性实施例的（多个）评分监听者接收（聚合）的反馈。基于该信息，它/它们可以过滤CM改变请求并随时间改进它的/它们的决定。

此外，根据本发明的示例性实施例，使得能够实现撤销决定的范围的灵活粒度，使得防止在给定范围（CM改变评估器）中的所有改变的撤销。

根据本发明的示例性实施例的CM改变评估器针对每个评估周期生成每个单独CM改变为多正或多负的信息，并且因此甚至可以撤销单独的CM改变。此处，从若干周期聚合评估的能力增加了所需的信息（通过查看历史/趋势）。

此外，根据本发明的示例性实施例，可以避免一次又一次地重新进行有害的改变（可选的（多个）评分监听器）。

通过将CM评分机制划分成两部分即根据本发明的CM改变评估器和根据本发明的评分监听器并将后一个分配给每个SON功能实例，所提出的技术能够防止不适当和有害的CM改变一次又一次发生。通过连续地评级由运行的SON功能实例所触发的CM改变并向其发送评分，每个实例都能够过滤其CM改变请求，即使在其被发送给SON协调器之前。

由于SON功能实例可能直接位于NE级别处，所以它们在对应的域上不具有总体视图。也就是说，这样的功能实例不知道其改变如何影响来自其范围的其他实例。

然而，通过由根据本发明的SON验证功能的CM改变评估器供应评分，它们能够这样做。

通过本发明的示例性实施例的方式，提供了配置动作的验证。更具体地，通过本发明的示例性实施例的方式，提供了用于实现配置动作的验证的措施和机制。

因此，改进通过使得能够实现/实现配置动作的验证的方法、装置和计算机程序产品来实现。

附图说明

在下文中，将参考附图通过非限制性示例更详细地描述本发明，其中

图1是示出根据本发明的示例性实施例的系统的框图，

图2是根据本发明的示例性实施例的过程的示意图，

图3示出了已知的示意性自优化网络系统环境，

图4示出了已知的验证功能，

图5示出了自优化网络功能实例的示例性功能区域，

图6示出了根据本发明的示例性实施例的示意性自优化网络系统环境，

图7示出了根据本发明的示例性实施例的验证功能，

图8示出了根据本发明的示例性实施例的具有信令的自优化网络系统环境变化的示例的示意图，

图9示出了根据本发明的示例性实施例的示意性自优化网络系统环境，

图10示出了根据本发明的示例性实施例的配置管理评分机制的示意图，

图11示出了根据本发明的示例性实施例的配置管理评分机制的细节的示意图，以及

图12是替代地示出根据本发明的示例性实施例的设备的框图。

具体实施方式

本文参考特定的非限制性示例以及目前被认为是本发明的可想到的实施例来描述本发明。本领域技术人员将理解，本发明决不限于这些实施例，并且可以更广泛地应用。

应当注意，本发明及其实施例的以下描述主要涉及用作某些示例性网络配置和部署的非限制性示例的规范。即，本发明及其实施例主要关于用作某些示例性网络配置和部署的非限制性示例的3GPP规范进行描述。特别地，自组织网络被用作由此描述的示例性实施例的适用性的非限制性示例。因此，本文给出的示例性实施例的描述具体涉及与其直接相关的术语。这样的术语仅在所提出的非限制性示例的上下文中使用，并且自然不以任何方式限制本发明。相反，只要符合本文所描述的特征，也可以使用任何其他通信或通信相关系统部署等。

在下文中，使用若干变化和/或替代物来描述本发明及其方面或实施例的各种实施例和实现。通常注意到，根据某些需要和约束，可以单独或以任何可想到的组合（还包括各种变化和/或替代物的各个特征的组合）提供所有描述的变化和/或替代物。

根据本发明的示例性实施例，一般来说，提供了用于（使得能够实现/实现）配置动作的验证的措施和机制。

尽管已经针对SON使能的系统描述了本发明的背景技术，但是验证功能可以以独立的方式在由任何源（人类操作者、CM脚本、离线优化等）引起的配置改变上而不是仅在SON环境中起作用。

图1是示出根据本发明的示例性实施例的在自组织网络14中的动作后验证系统的框图。根据本发明的示例性实施例的系统可以包括被配置为实现域中的配置改变的配置改变设备13，所述配置改变包括至少一个参数改变，并且所述域包括至少一个小区、以及验证设备10。配置改变设备13和验证设备10连接到SON 14并且能够与SON 14通信。验证设备10可以包括被配置为检测所述配置改变的检测元件11、被配置为在预定时段内重复的评估周期期间评估所述域的每个小区（所述小区受所述至少一个参数改变中的任何一个所影响）的性能改变的评估元件12、以及决定元件15，其连接到所述评估元件12并被配置为针对所述至少一个参数改变的每个相应参数改变而决定所述相应参数改变基于所述域的每个小区（所述小区受所述相应参数改变所影响）的所述性能改变而是否要被撤销。

根据图1所示的系统的变化，系统还包括连接到所述验证设备10的协调器设备。验证设备10还包括通信元件，其中所述通信元件被配置为向所述协调器设备发送用于撤销所述至少一个参数改变的相应参数改变的撤销请求（如果决定要撤销所述相应参数改变的话），所述通信元件还被配置为从所述协调器设备接收用于撤销所述相应参数改变的撤销许可响应，并且其中所述验证设备10还被配置为实现所述相应参数改变的撤销。

根据图1所示的系统的变化，系统还包括连接到所述验证设备10的评分监听器设备，其中验证设备10还被配置为向所述评分监听器设备针对所述至少一个参数改变的每个相应参数改变而发送在所述预定时段内重复的所述评估周期期间基于所述性能改变所确定的评估评分。

根据图1所示的系统的变化，评分监听器设备包括接收元件以及调整元件，所述接收元件被配置为接收针对所述至少一个参数改变的相应参数改变的所述发送的评估评分中的至少一个，所述调整元件连接到所述接收元件并且被配置为基于所述评估评分中的所述接收到的至少一个来调整配置改变过滤器。

根据图1所示的系统的变化，评分监听器设备还包括设置元件，其连接到所述调整元件并且被配置为设置所述配置改变滤波器以转发针对其接收到正评估评分的接收到的参数改变，并设置所述配置改变过滤器以阻止针对其接收到负评估评分的接收到的参数改变。

根据图1所示的系统的变化，该系统还包括连接到所述配置改变设备13和所述验证设备10并被配置为管理所述配置改变设备和所述验证设备的管理设备。

根据图1所示的系统的变化，配置改变设备13和验证设备10分别由自优化网络功能实现。

根据图1所示的系统的变化，评分监听器设备被实现为所述配置改变设备13的一部分。

图2是根据本发明的示例性实施例的过程的示意图。

根据图1的系统可以执行图2的方法，但不限于该方法。图2的方法可以由图1的系统执行，但不限于由该系统执行。

如图2所示，根据本发明的示例性实施例的在自组织网络14中的动作后验证的过程包括：检测（S21）域中的配置改变的操作，所述配置改变包括至少一个参数改变，并且所述域包括至少一个小区；在预定时段内重复（S22）评估周期的操作；以及针对所述至少一个参数改变的每个相应参数改变决定（S23）所述相应参数改变基于所述域的每个小区（所述小区受所述相应参数改变所影响）的性能改变而是否要被撤销的操作，其中所述评估周期（即每个评估周期）包括评估（S221）所述域的每个小区的所述性能改变（所述小区受所述至少一个参数改变中的任何一个所影响）的操作。

根据图2所示的过程的变化，给出了评估周期（S22）的示例性细节，其照此固有地彼此独立。

根据本发明的示例性实施例的这种示例性评估周期（S22）可以包括：确定所述域的每个小区的初始性能量（performance quantity）的操作，所述小区受所述至少一个参数改变中的任何一个所影响，所述初始性能量是在所述配置改变之前的性能量；以及确定所述域的每个小区的实际性能量的操作，所述小区受所述至少一个参数改变中的任何一个所影响；以及针对所述域的每个小区（所述小区受所述至少一个参数改变中的任何一个所影响）计算所述实际性能量与所述初始性能量之间的差异作为所述性能改变。

根据图2所示的过程的进一步变化，给出了评估周期（S22）的示例性细节，其照此固有地彼此独立。

根据本发明的示例性实施例的这种示例性评估周期（S22）可以包括：针对所述域的每个小区（所述小区受所述至少一个参数改变中的任何一个所影响）计算评估评分的操作，其中如果所述性能改变高于第一阈值则所述评估评分为正，并且如果所述性能改变低于比所述第一阈值低的第二阈值，则所述评估评分为负；以及针对所述至少一个参数改变的每个相应参数改变而积累针对所述域的每个小区（所述小区受所述相应参数改变的影响）计算的并且在所述预定时段的每个评估周期期间计算的所述评估评分作为积累的评估评分的操作，其中针对每个相应参数改变的所述决定基于所述相应参数改变的所述积累的评估评分。

根据图2所示的过程的进一步变化，如果所述性能改变低于或等于所述第一阈值且高于或等于所述第二阈值并且所述初始性能量高于性能阈值，则所述评估评分为正，并且如果所述性能改变低于或等于所述第一阈值且高于或等于所述第二阈值并且所述初始性能量低于或等于所述性能阈值，则所述评估评分为负。

根据图2所示的过程的进一步变化，给出了评估周期（S22）的示例性细节，其照此固有地彼此独立。

根据本发明的示例性实施例的这种示例性评估周期（S22）可以包括：针对所述至少一个参数改变的每个相应参数改变而发送所述评估评分的操作。

根据图2所示的过程的进一步变化，针对相应参数改变的所述评估评分被发送到所述相应参数改变的引起者。

根据图2所示的过程的变化，给出了示例性的附加操作，其照此固有地彼此独立。根据这样的变化，根据本发明的示例性实施例的示例性方法可以包括：接收针对所述至少一个参数改变的相应参数改变的所述发送的评估评分中的至少一个的操作、以及基于所述评估评分中的所述接收到的至少一个来调整配置改变过滤器的操作。

根据图2所示的过程的变化，给出了调整操作的示例性细节，其照此固有地彼此独立。

根据本发明的示例性实施例的这种示例性调整操作可以包括设置所述配置改变过滤器以转发针对其接收到正评估评分的接收到的参数改变的操作、以及设置所述配置改变过滤器以阻止针对其接收到负评估评分的接收到的参数改变的操作。

根据本发明的示例性实施例的上述系统和过程在下面参考图6至图11采用其他词语描述。

即，为了解决现有技术中标识的问题，提出了根据本发明的用于验证配置动作的评分方法。

如上所述，本发明可以包括网络环境中的两个主要组件，即CM改变评估器和评分监听器。

图6示出了根据本发明的示例性实施例的示意性自组织网络系统环境。特别地，图6示出了根据本发明的示例性实施例的CM改变评估器和（分布式）评分监听器在SON使能的网络中的放置（尽管不将CM改变评估器和评分监听器的实现限制为非SON使能网络）。

如图6所示，CM改变评估器61Cb被集成到SON验证功能61C（也实现验证算法61Ca）中，而评分监听器61Ab、61Bb正在被实现为处于SON验证功能61C的相同或较低级别处的SON功能61的每个SON功能61A、61B的部分。SON功能61A、61B中的每一个实现相应SON功能算法61Aa、61Ba。注意，这里使用术语“级别”来寻址在第三代合作伙伴项目（3GPP）OAM架构中限定的操作、实施和管理（OAM）架构的不同层（NE、DM、NM）。

在下文中详细描述这两个组件。然后将给出如何实现这些组件之间的消息流的示例。

CM改变评估器61Cb的目的是通过使用所谓的评估周期进行性能评估。参考图7解释单个评估周期73A，其示出了根据本发明的示例性实施例的验证功能。这样的单个评估周期包括以下四个步骤：

·准备73B：计算每个小区的基线性能指标，其在评估过程期间用作参考点。它表示在配置改变的应用之前的网络元件的性能。

·评分计算73C：对于小区内的CM改变，给出所谓的评估评分。这是实际性能和基准性能之间的变量的函数。对性能有积极影响的改变接收正评分，而导致异常（比如性能的降级）的这种改变接收负评分。应该指出的是，CM改变可能不一定会有积极或消极影响，即从性能的角度来看它们是中立的。然而，这种改变是不必要的，并且如果它们频繁地发生则应当被负评级。

·评分报告73D：所计算的评分被报告给已经触发对应CM改变的SON功能实例61A、61B的评分监听器61Ab、61Bb。在图5给出的示例的情况下，SON功能实例“A”（其功能区域用51表示）将接收针对两个CM改变的评分：CM改变“X”（53A）和“Y”（55A）。

·评估决定73E：计算的得分用于决定（74）CM改变是否已经通过（74A）或失败（74B）实际评估周期（73B）。积累显著的负评分的CM改变被撤销，而积累正积分的CM改变则被接受。在图5给出的示例的情况下，如果CM改变“X”（53A）连续地导致性能降级而CM改变“Y”（55A）有积极影响，则第一个将得到负评分，这将允许SON功能“A”（其功能区域用51表示）通过防止改变“X”再次发生而过滤其CM改变请求。

根据图7的解释的评估周期73A被嵌入到根据本发明的示例性实施例的验证功能中。

验证功能包括以下阶段：CM改变活动观察器71、验证区域生成72、实现性能评估周期73A所采用的性能评估间隔73、以及接受（74A，“PASSED”）或撤销（74B，“FAILED”）（由人类操作者、脚本、给定的SON功能实例或任何其他源所做出的）CM改变的决定（74）。

返回到图6，如果决定撤销CM改变，则撤销功能CM改变618被发送到计划组装件64。

回到图6，评分监听器（61Ab、61Bb）具有两个主要任务。第一个是收集由CM改变评估器61Cb所计算的CM改变评分（620）（其作为验证功能61C的一部分）。然而，它仅从正在监视其网络域的验证功能61C接收评分。

在图8中给出了示例，图8示出了根据本发明的示例性实施例的具有信令的自组织网络系统环境变化的示例的示意图，并且更具体地示出了CM改变评估器和评分监听器之间的消息交换。

根据图8的示例性部署，SON验证功能82位于域管理（DM）或网络管理（NM）级别（NM/DM级别81）处。此外，根据示例性部署，在网络中部署有三个其他功能：功能“A”（83A）、“B”（83B）和“C”（83C）。另外，使功能“A”（83A）具有位于NE级别（85）处的三个实例（由eNodeB A（84A）、eNodeB B（84B）和eNodeB C（84C）分别服务的83Aa、83Ab、83Ac）并且使功能“B”（83B）和“C”（83C）只有一个实例。五个实例中的每一个将从位于该特定域的SON验证功能82接收得分（86）。

回到图6，评分监听器61A、61B的第二个任务是在关于未来CM改变的功能的内部决定中使用评分结果。如果独立于基本算法被实现，则这意味着基本上过滤由SON功能实例做出的CM改变请求。已经接收到正评分的对CM参数的改变（例如，因为它们具有改进的性能）被转发（经过滤的CM配置A 616、经过滤的CM配置A 617），而具有负评分的这样的改变（即，它们“损害”或不改进性能）被抑制。

除了上述实体之外，图6所示的SON环境还包括以下布置。

SON管理器63可以经由相应的配置来配置SON功能61，例如验证功能配置和CM改变评估器配置613A（导致相应的反馈613B）、功能B配置和评分监听器配置614A（导致相应的反馈614B）、以及功能A配置和评分监听器配置615A（导致相应的反馈615B）。

SON管理器63还可以经由协调配置610配置SON协调器62。操作者还能够经由SON管理63手动调整（600）CM参数。

经过滤的CM配置（例如经过滤的CM配置A 616和经过滤的CM配置B 617）被发送到计划组装件64，在其中相应的配置被转发到相应的演进NodeB（eNB、eNodeB）并在其处实现，例如eNodeB A（65）和eNodeB B（66），其分别服务小区65A至65C和66A至66C。

执行请求611和执行许可612在SON功能61和SON协调器62之间互换。

验证机制被实现为利用来自对应数据库（CM数据库67、PM数据库68）和FM 69的CM、PM和FM数据319作为种子以便实现其任务的SON验证功能61C。

重要的是要注意，从本发明的角度来看，配置改变的实际源（由SON功能、CM脚本、由人类操作者发出的单独命令所引起的）是不相关的。仅有的相关性是在根据本发明存在到源的直接反馈的情况下，到源的接口是已知的。

因此，参考图9概述了评分监听器的替代集成。代替将评分监听器置于每个SON功能（91A、91B）中，其可以用作过滤由网络中的每个SON功能91A、91B触发的配置改变的外部组件（评分监听器901）。

图9所示的其他实体和信号对应于图6所示的那些如下：91：61、91A：61A、91Aa：61Aa、91B：61B、91Ba：61Ba、91C：61C、91Ca：61Ca、91Cb：61Cb、92：62、93：63、94：64、95：65、95A：65A、95B：65B、95C：65C、96：66、96A：66A、96B：66B、96C：66C、97：67、98：68、99：69、910：610、911：611、912：612、913A：613A、913B：613B、916B：616、917B：617、918：618、919：619、920：620、以及900：600，并且因此出于该原因省略其描述。

此外，SON管理93可以经由相应的配置来配置SON功能91，例如功能B配置914和功能A配置915。此外，可以从SON管理93向评分监听器发送评分监听器配置921A（引起相应反馈921B）。CM配置（例如，CM配置A 916A和CM配置B 916B）被发送到评分监听器901，其中其如上所述那样被过滤。

图10示出了根据本发明的示例性实施例的配置管理评分机制的示意图。换句话说，图10中示出了可能的CM评分机制的概念示例。

CM评分机制具有四个区域。如果小区观察到显著的性能改进，则“绿色”区域104限定给出的评分，而如果观察到中度或显著降级，则“黄色”102和“红色”101区域限定评分。

“灰色”区域103限定了在性能没有显著改变时的行为。虽然由绿色104、黄色102和红色101区域限定的评分对于范围内的所有小区通常是相同的，但是灰色103区域评分可以因小区而不同。

灰色区域103的目标是评估当性能没有显著改变时的情况。与表明性能没有改变是积极的并且我们应该奖励其的最常见的假设相反，情况是，停滞性能的判断应取决于停滞性能的级别。如果在CM改变之前小区示出良好的性能（高基线性能指标）并且在CM改变之后性能保持相同，则评分机制应考虑到这一点，并以正评分奖励该CM改变。然而，如果小区示出不良的性能并且所应用的CM改变不改变情况即不改进性能；则其应该作为无效或不必要改变而受惩罚。

在图10中，105表示红色评分，106表示黄色评分，107表示最低灰度评分，108表示最高灰评分，109表示绿色评分，1010表示Delta PI（实际PI与基线PI的相对差异），并且1011表示评估评分。

请注意，绿色、红色、黄色和灰色的颜色仅出于说明目的而分配，并不以任何方式限制本发明。

还要注意的是，相应评分值（即，1、-1、-4、-8）以及用于分配评分的范围之间的相应阈值（即，-20％、-2％、5％）仅仅是出于说明性目的的示例，并不限于这些值。

在这样做时，根据本发明的示例性实施例提出了一种子机制，其限定了灰色区域103中的评分。

图11示出了作为可能的实现的根据本发明的示例性实施例的配置管理评分机制的细节的示意图。

灰色区域评估评分（灰色评分116）取决于基线性能指标（B_PI）115的绝对值。

根据本发明的功能具有两个域（如图11所示的第一区域113和第二区域114）。

只要基线性能指标处于可接受的域内，就限定正灰色评分，以奖励不损害性能的CM改变。另一方面，如果小区示出不良性能并且没有显著的性能改进，则CM改变将以负灰色区域评分而受惩罚。

此外，应该注意的是，灰色区域评分与评估间隔的准备阶段中的基线性能指标一起限定（并且在评估间隔期间是静态的）。

此外，应当注意的是，由于基线性能指标对于范围内的每个小区可能不同，所以在针对每个小区的灰色区域中，最终评分函数也不同。

在图11中，111表示从图10（107）已知的最低灰色评分，112表示从图10（108）已知的最高灰色评分，113表示其中不降级良好执行小区（即具有高基线PI）的性能的CM改变被奖励的第一区域，并且114表示其中不改进不良执行小区（即，具有低基线PI）的性能的CM改变被惩罚的第二区域。

注意，用于分配灰色评分的范围之间的相应阈值（即，0、0.7、1）仅是出于示例性目的的示例，并不限于这些值。

在根据本发明的示例性实施例的上述系统中，即使在同时评估中的重叠范围的情况下，也可能存在若干CM改变。在小区处于同时应用的若干CM改变的范围内的情况下，给出的评分是相同的，因此，不需要为每个CM改变单独计算。因此，根据本发明的示例性实施例，提供了能够将评分中继到共享相同评分的CM改变的评分调度器功能。

上述过程和功能可以由相应的功能元件、处理器等来实现，如下所述。

在上述网络实体的示例性描述中，仅使用功能块来描述与理解本发明的原理相关的单元。网络实体可以包括其相应操作所必需的其他单元。然而，在本说明书中省略对这些小区的描述。设备的功能块的布置不被解释为限制本发明，并且功能可以由一个块执行或进一步分割成子块。

当在上述描述中陈述设备（即，网络实体（或某些其他装置）被配置为执行某一功能时，这被解释为等同于陈述（即，至少一个）处理器或对应电路潜在地与存储在相应装置的存储器中的计算机程序代码协作而被配置为使得装置至少执行由此所述的功能。此外，这种功能被解释为可由具体配置的用于执行相应功能的电路或装置来等同地实现（即，“被配置为”的表述被解释为等同于诸如“用于……的装置”的表述）。

在图12中，描绘了根据本发明的示例性实施例的设备的替代图示。如图12所示，根据本发明的示例性实施例，设备120（例如，对应于设备10、13）包括处理器121、存储器122和接口123，其通过总线124等连接。设备120连接到SON 128并且能够经由任何通信介质129与SON 128通信。

处理器121和/或接口123还可以包括调制解调器等，以促进分别通过（硬线或无线）链路进行通信。接口123可以包括耦合到用于分别与所链接或连接的（多个）设备进行（硬线或无线）通信的一个或多个天线或通信装置的适合的收发机。接口123通常被配置为与至少一个其他装置即其接口进行通信。

存储器122可以存储假定为包括程序指令或计算机程序代码的相应程序，所述程序指令或计算机程序代码当由相应的处理器执行时码使得相应的电子设备或装置能够根据本发明的示例性实施例进行操作。

一般来说，相应设备/装置（和/或其部分）可以表示用于执行相应操作和/或表现出相应功能的装置，和/或相应设备（和/或其部分）可以具有用于执行相应操作和/或表现出相应操作的功能。

当陈述处理器（或某些其他装置）被配置为执行某一功能时，这被解释为等同于陈述如下的描述：至少一个处理器潜在地与存储在相应装置的存储器中的计算机程序代码协作地被配置为使得装置至少执行由此提到的功能。此外，这样的功能被解释为可通过具体配置的用于执行相应功能的装置等同地实现（即，被配置为[使装置]执行xxx的处理器的表述被解释为等同于诸如“用于xxx的装置”的表述）。

关于各个装置的可操作性/功能的进一步细节，分别结合图1至图11中的任何一个而参考上述描述。

为了如本文上述的本发明的目的，应当注意的是

- 可能被实现为软件代码部分并且使用网络服务器或网络实体处的处理器运行的方法步骤（作为设备、装置和/或其模块的示例，或者作为包括装置和/或因此模块的实体的示例）是软件代码独立的，并且可以使用任何已知或未来开发的编程语言进行规定，只要由方法步骤所限定的功能被保留；

- 通常，任何方法步骤适于被实现为软件或以硬件实现，而不用改变实施例的思想及其在所实现的功能方面的修改；

- 可能被实现为在上文限定的装置或其任何（多个）模块处的硬件组件的方法步骤和/或设备、小区或装置（例如，执行根据如上文描述的实施例的装置的功能的设备）是硬件无关的，并且可以使用任何已知或未来开发的硬件技术或这些的任何混合来实现，诸如MOS（金属氧化物半导体）、CMOS（互补MOS）、BiMOS（双极MOS）、BiCMOS（双极CMOS）、ECL（发射极耦合逻辑）、TTL（晶体管-晶体管逻辑）等，其使用例如ASIC（专用IC（集成电路））组件、FPGA（现场可编程门阵列）组件、CPLD（复合可编程逻辑器件）组件或DSP（数字信号处理器）组件；

- 设备、小区或装置（例如，上文限定的网络实体或网络寄存器或其相应单元/装置中的任何一个）可以被实现为单独的设备、小区或装置，但是这并不排除它们以分布式方式遍及系统实现，只要设备、小区或装置的功能被保留；

- 比如用户设备和网络实体/网络寄存器的装置可以由包括这样的芯片或芯片组的半导体芯片、芯片组或（硬件）模块表示；然而，这不排除将装置或模块的功能而不是被硬件实现的可能性实现为（软件）模块中的软件，诸如计算机程序或计算机程序产品，其包括用于执行/在处理器上运行的可执行软件代码部分；

- 设备可以被认为是装置或多于一个装置的组装件，例如，无论是在功能上彼此协作还是在功能上彼此独立但在相同的设备外壳中。

一般来说，应当注意的是，如果只适于执行相应部分的所描述的功能，则可以通过任何已知的方式分别在硬件和/或软件中实现根据上述方面的相应功能块或元件。所提到的方法步骤可以在单独功能块中或通过单独设备实现，或者一个或多个方法步骤可以在单个功能块中或由单个设备实现。

通常，任何方法步骤都适于实现为软件或以硬件实现，而不改变本发明的思想。设备和装置可以被实现为单独的设备，但是这并不排除它们以分布式方式遍及系统实现，只要该设备的功能被保留。这样的和类似的原理被认为是本领域技术人员已知的。

在本说明书的意义上的软件包括软件代码，因此包括用于执行相应功能的代码装置或部分或者计算机程序或计算机程序产品，以及软件（或计算机程序或计算机程序产品），其体现在诸如在其上存储有相应数据结构或代码装置/部分的的计算机可读（存储）介质之类的有形介质上或者潜在地在其处理期间体现在信号或芯片中。

本发明还覆盖上述方法步骤和操作的任何可想到的组合以及上述节点、装置、模块或元件的任何可想到的组合，只要方法和结构布置的上述概念是适用的。

鉴于上述情况，提供有用于配置动作的验证的措施。这样的措施示例性地包括检测域中的配置改变，所述配置改变包括至少一个参数改变，并且所述域包括至少一个小区；在预定时段内重复评估周期；以及针对所述至少一个参数改变的每个相应参数改变决定所述相应参数改变基于所述域的每个小区（所述小区受所述相应参数改变所影响）的性能改变而是否要被撤销，其中所述评估周期包括评估所述域的每个小区（所述小区受所述至少一个参数改变所影响）的所述性能改变。

即使上文参考根据附图的实施例描述了本发明，但是应当理解，本发明不限于此。相反，对于本发明的领域的技术人员显而易见的是，在不脱离如本文公开的发明思想的范围的情况下，可以以许多方式修改本发明。

缩写和简写的列表

3GPP 第三代合作伙伴项目

BSC 基站控制器

CCO 覆盖和容量优化

CM 配置管理

DM 域管理

eNodeB 演进NodeB

FM 故障管理

KPI 关键性能指标

LTE 长期演进

LTE-A 长期演进高级

NE 网络元件

NM 网络管理

OAM 操作实施和管理

PI 性能指标

PM 性能管理

RNC 无线电网络控制器

SON 自组织网络。

Claims (15)

1.一种用于自组织网络（14）中的动作后验证的方法，所述方法由验证设备（10）执行并且包括

检测（S21）域中的配置改变，其中所述配置改变由配置改变设备（13）实现并且包括至少一个参数改变，并且所述域包括至少一个小区，

在预定时段内重复（S22）评估周期，以及

针对所述至少一个参数改变的每个相应参数改变而决定（S23）所述相应参数改变基于所述域的每个小区的性能改变而是否要被撤销，所述小区受所述相应参数改变所影响，

其中所述评估周期（S22）包括：

评估（S221）所述域的每个小区的所述性能改变，所述小区受所述至少一个参数改变中的任何一个所影响；

其中所述评估周期（S22）还包括

确定所述域的每个小区的初始性能量，所述小区受所述至少一个参数改变中的任何一个所影响，所述初始性能量是所述配置改变之前的性能量，以及

确定所述域的每个小区的实际性能量，所述小区受所述至少一个参数改变中的任何一个所影响，以及

针对所述域的每个小区计算所述实际性能量与所述初始性能量之间的差异作为所述性能改变，所述小区受所述至少一个参数改变中的任何一个所影响。

2.根据权利要求1所述的方法，其中所述评估周期（S22）还包括

针对所述域的每个小区计算评估评分（1011），所述小区受所述至少一个参数改变中的任何一个所影响，其中在所述性能改变高于第一阈值的情况下所述评估评分为正，并且在所述性能改变低于比所述第一阈值低的第二阈值的情况下所述评估评分（1011）为负，

针对所述至少一个参数改变的每个相应参数改变而积累针对所述域的每个小区计算的并且在所述预定时段的每个评估周期期间计算的所述评估评分（1011）作为积累的评估评分，所述小区受所述相应参数改变所影响，其中

针对每个相应参数改变的所述决定基于所述相应参数改变的所述积累的评估评分。

3.根据权利要求2所述的方法，其中

在所述性能改变低于或等于所述第一阈值且高于或等于所述第二阈值并且所述初始性能量高于性能阈值的情况下，所述评估评分（1011）为正，并且

在所述性能改变低于或等于所述第一阈值且高于或等于所述第二阈值并且所述初始性能量低于或等于所述性能阈值的情况下，所述评估评分（1011）为负。

4.根据权利要求1至3中任一项所述的方法，其中所述评估周期（S22）还包括

针对所述至少一个参数改变的每个相应参数改变而发送所述评估评分。

5.根据权利要求4所述的方法，其中

将针对相应参数改变的所述评估评分（1011）发送到所述相应参数改变的引起者。

6.根据权利要求4所述的方法，还包括

接收针对所述至少一个参数改变的相应参数改变的所述发送的评估评分中的至少一个，以及

基于所述评估评分中的所述接收到的至少一个来调整配置改变过滤器。

7.根据权利要求6所述的方法，其中

关于所述调整，所述方法还包括

设置所述配置改变过滤器以转发针对其接收到正评估评分的接收到的参数改变，以及

设置所述配置改变过滤器以阻止针对其接收到负评估评分的接收到的参数改变。

8.一种用于自组织网络（14）中的动作后验证的系统，包括：

配置改变设备（13），其被配置为实现域中的配置改变，所述配置改变包括至少一个参数改变，并且所述域包括至少一个小区，以及

验证设备（10），其包括

检测元件（11），其被配置为检测所述配置改变，

评估元件（12），其被配置为在预定时段内重复的评估周期期间评估所述域的每个小区的性能改变，所述小区受所述至少一个参数改变中的任何一个所影响，以及

决定元件（15），其连接到所述评估元件并被配置为针对所述至少一个参数改变的每个相应参数改变而决定所述相应参数改变基于所述域的每个小区的所述性能改变而是否要被撤销，所述小区受所述相应参数改变所影响；

其中所述评估元件被配置为评估性能改变，这是通过

确定所述域的每个小区的初始性能量，所述小区受所述至少一个参数改变中的任何一个所影响，所述初始性能量是所述配置改变之前的性能量，以及

确定所述域的每个小区的实际性能量，所述小区受所述至少一个参数改变中的任何一个所影响，以及

针对所述域的每个小区计算所述实际性能量与所述初始性能量之间的差异作为所述性能改变，所述小区受所述至少一个参数改变中的任何一个所影响。

9.根据权利要求8所述的系统，还包括

连接到所述验证设备的协调器设备，并且

所述验证设备（10）还包括通信元件，其中

所述通信元件被配置为在决定要撤销所述相应参数改变的情况下向所述协调器设备发送用于撤销所述至少一个参数改变的相应参数改变的撤销请求，

所述通信元件还被配置为从所述协调器设备接收用于撤销所述相应参数改变的撤销许可响应，并且其中

所述验证设备（10）还被配置为实现所述相应参数改变的撤销。

10.根据权利要求8或9所述的系统，还包括

连接到所述验证设备的评分监听器设备，其中所述评分监听器设备被实现为所述配置改变设备的部分，其中

所述验证设备（10）还被配置为向所述评分监听器设备针对所述至少一个参数改变的每个相应参数改变而发送在所述预定时段内重复的所述评估周期期间基于所述性能改变所确定的评估评分。

11.根据权利要求9所述的系统，其中所述评分监听器设备包括

接收元件，其被配置为接收针对所述至少一个参数改变的相应参数改变的所述发送的评估评分中的至少一个，以及

调整元件，其连接到所述接收元件并且被配置为基于所述评估评分中的所述接收到的至少一个来调整配置改变过滤器。

12.根据权利要求10所述的系统，其中所述评分监听器设备还包括

设置元件，其连接到所述调整元件并被配置为

设置所述配置改变滤波器以转发针对其接收到正评估评分的接收到的参数改变，并且被配置为

设置所述配置改变过滤器以阻止针对其接收到负评估评分的接收到的参数改变。

13.根据权利要求8或9所述的系统，还包括

管理设备，其连接到所述配置改变设备和所述验证设备，并且被配置为管理所述配置改变设备和所述验证设备。

14.根据权利要求8或9所述的系统，其中

所述配置改变设备（13）和所述验证设备（10）分别由自优化网络功能实现。

15.一种存储有计算机可执行计算机程序代码的计算机可读介质，所述代码当在计算机上运行时被配置为使得所述计算机执行根据权利要求1至7中任一项所述的方法。

Images