CN104641676B - 一种覆盖和容量优化的性能评估方法、装置和用户设备 - Google Patents

Abstract

本发明实施例公开一种覆盖和容量优化的性能评估方法、装置和用户设备，涉及通信领域，能够评估CCO的性能。该方法包括：获得覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项的测量结果；根据预设策略和所述测量结果，确定所述CCO的性能。

Description

一种覆盖和容量优化的性能评估方法、装置和用户设备

技术领域

本发明涉及通信领域，尤其涉及一种覆盖和容量优化的性能评估方法、装置和用户设备。

背景技术

在长期演进(Long Term Evolution，LTE)网络中，应用自组织网络(Self-Organized Network，SON)技术，可以增强无线网元的网络自组织功能，优化操作维护，减少人工干预过程，进而提高网络侧效率和效益。

覆盖和容量优化(Coverage and Capacity Optimization,CCO)是具有SON能力的网络中常用的用于自动优化网络覆盖和容量的技术。CCO是一个对测量数据进行采集、利用CCO算法对采集的测量数据进行运算并输出优化建议、按照输出的优化建议进行网络优化设置、对测量数据进行采集的循环过程。

各个厂商提供的CCO的性能不同，对网络的优化效果不同，而现有的技术中没有CCO的性能评估的方法，给运营商选取合适的CCO造成不便，因此，提供一种CCO性能评估的方法很有必要。

发明内容

本发明实施例提供一种覆盖和容量优化的性能评估方法、装置和用户设备，能够评估CCO的性能。

为达到上述目的，本发明的实施例采用如下技术方案：

第一方面，提供了一种覆盖和容量优化的性能评估方法，该方法包括：

获得覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项的测量结果；

根据预设策略和所述测量结果，确定所述CCO的性能。

根据第一方面，在第一方面的第一种可能的实现方式中，获得覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项的测量结果具体包括：

接收用户设备(User Equipment，UE)上报的对覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项的测量结果；或者，

对覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项进行测量，获得测量结果。

结合第一方面或第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述根据预设策略和所述测量结果，确定所述CCO的性能具体包括：

确定所述测量结果是否达到预设的第一门限值；

若所述测量结果达到所述预设的第一门限值，则确定所述CCO收敛或终止运行；

若所述测量结果未达到所述预设的第一门限值，则确定触发所述CCO进行优化。

结合第一方面或第一方面的第一种可能的实现方式，在第一方面的第三种可能的实现方式中，所述根据预设策略和所述测量结果，确定所述CCO的性能具体包括：

基于所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对所述测量结果进行统计，获得统计值；

确定所述统计值是否在所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对应的预设的第二门限值范围之内；

若所述统计值在所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对应的预设的第二门限值范围之内，则确定所述CCO收敛或终止运行；

若所述统计值在所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对应的预设的第二门限值范围之外，则确定触发所述CCO进行优化。

结合第一方面或第一方面的第一种可能的实现方式至第一方面的第三种可能的实现方式，在第一方面的第四种可能的实现方式中，所述CCO收敛性能的衡量数据包括以下至少一项：CCO的收敛速度、CCO收敛需要的UE测量量的输入规模、CCO的优化规模、CCO数据采集的均匀度、CCO优化涉及的数据采集对网络传输的带宽占用；

所述运行所述CCO对网络资源消耗的衡量数据包括以下至少一项：要使得CCO按照要求收敛UE消耗的资源指标、要使得CCO按照要求收敛网元消耗的资源指标、要使得CCO按照要求收敛网关消耗的资源指标；

所述运行所述CCO后对网络性能提升的衡量数据包括以下至少一项：衡量容量是否均衡的指标、运行CCO增加的容量值、运行CCO良好区域的新增量、运行CCO后新增的UE数量、UE切换成功率或失败率的改善、边缘用户占比改善参量或下降参量、边缘用户信号强度改善比例。

结合第一方面的第三种可能的实现方式或第一方面的第四种可能的实现方式，在第一方面的第五种可能的实现方式中，所述基于所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对所述测量结果进行统计，获得统计值具体包括：

按照单个UE、单个小区、单个基站或单个区域基于所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对所述测量结果进行统计，获得所述测量结果的统计值。

第二方面，提供了一种覆盖和容量优化的性能评估方法，所述方法包括：

UE对覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项进行测量，获得测量结果；

所述UE向网络侧上报所述测量结果。

第三方面，提供了一种覆盖和容量优化的性能评估装置，所述装置包括：获得单元和确定单元；

所述获得单元，用于获得覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项的测量结果；

所述确定单元，用于根据预设策略和所述获得单元获得的所述测量结果，确定所述CCO的性能。

结合第三方面，在第三方面的第一种可能的实现方式中，所述获得单元，具体用于：

接收用户设备UE上报的对覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项的测量结果；或者，

对覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项进行测量，获得测量结果。

结合第三方面或第三方面的第一种可能的实现方式，在第三方面的第二种可能的实现方式中，所述确定单元，具体用于：

确定所述测量结果是否达到预设的第一门限值；

若所述测量结果达到所述预设的第一门限值，则确定所述CCO收敛或终止运行；

若所述测量结果未达到所述预设的第一门限值，则确定触发所述CCO进行优化。

结合第三方面或第三方面的第一种可能的实现方式，在第三方面的第三种可能的实现方式中，所述确定单元，具体用于：

基于所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对所述测量结果进行统计，获得统计值；

确定所述统计值是否在所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对应的预设的第二门限值范围之内；

若所述统计值在所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对应的预设的第二门限值范围之内，则确定所述CCO收敛或终止运行；

若所述统计值在所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对应的预设的第二门限值范围之外，则确定触发所述CCO进行优化。

结合第三方面或第三方面的第一种可能的实现方式至第三方面的第三种可能的实现方式，在第三方面的第四种可能的实现方式中，所述CCO收敛性能的衡量数据包括以下至少一项：CCO的收敛速度、CCO收敛需要的UE测量量的输入规模、CCO的优化规模、CCO数据采集的均匀度、CCO优化涉及的数据采集对网络传输的带宽占用；

所述运行所述CCO对网络资源消耗的衡量数据包括以下至少一项：要使得CCO按照要求收敛UE消耗的资源指标、要使得CCO按照要求收敛网元消耗的资源指标、要使得CCO按照要求收敛网关消耗的资源指标；

所述运行所述CCO后对网络性能提升的衡量数据包括以下至少一项：衡量容量是否均衡的指标、运行CCO增加的容量值、运行CCO良好区域的新增量、运行CCO后新增的UE数量、UE切换成功率或失败率的改善、边缘用户占比改善参量或下降参量，边缘用户信号强度改善比例。

结合第三方面的第三种可能的实现方式或第三方面的第四种可能的实现方式，在第三方面的第五种可能的实现方式中，所述确定单元，具体用于按照单个UE、单个小区、单个基站或单个区域基于所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对所述测量结果进行统计，获得所述测量结果的统计值。

第四方面，提供了一种UE，所述UE包括：测量单元和上报单元；

所述测量单元，用于对覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项进行测量，获得测量结果；

所述上报单元，用于向网络侧上报所述测量单元获得的测量结果。

第五方面，提供了一种覆盖和容量优化的性能评估装置，所述装置包括：处理器和存储器；

所述处理器，用于获得覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项的测量结果；

所述存储器，用于存储所述测量结果；

所述处理器，用于根据预设策略和所述测量结果，确定所述CCO的性能。

结合第五方面，在第五方面的第一种可能的实现方式中，所述处理器，具体用于：

接收用户设备UE上报的对覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项的测量结果；或者，

对覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项进行测量，获得测量结果。

结合第五方面或第五方面的第一种可能的实现方式，在第五方面的第二种可能的实现方式中，所述处理器，具体用于：

确定所述测量结果是否达到预设的第一门限值；

若所述测量结果达到所述预设的第一门限值，则确定所述CCO收敛或终止运行；

若所述测量结果未达到所述预设的第一门限值，则确定触发所述CCO进行优化。

结合第五方面或第五方面的第一种可能的实现方式，在第五方面的第三种可能的实现方式中，所述处理器，具体用于：

基于所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对所述测量结果进行统计，获得统计值；

确定所述统计值是否在所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对应的预设的第二门限值范围之内；

若所述统计值在所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对应的预设的第二门限值范围之内，则确定所述CCO收敛或终止运行；

若所述统计值在所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对应的预设的第二门限值范围之外，则确定触发所述CCO进行优化。

结合第五方面或第五方面的第一种可能的实现方式至第五方面的第三种可能的实现方式，在第五方面的第四种可能的实现方式中，所述CCO收敛性能的衡量数据包括以下至少一项：CCO的收敛速度、CCO收敛需要的UE测量量的输入规模、CCO的优化规模、CCO数据采集的均匀度、CCO优化涉及的数据采集对网络传输的带宽占用；

所述运行所述CCO对网络资源消耗的衡量数据包括以下至少一项：要使得CCO按照要求收敛UE消耗的资源指标、要使得CCO按照要求收敛网元消耗的资源指标、要使得CCO按照要求收敛网关消耗的资源指标；

所述运行所述CCO后对网络性能提升的衡量数据包括以下至少一项：衡量容量是否均衡的指标、运行CCO增加的容量值、运行CCO良好区域的新增量、运行CCO后新增的UE数量、UE切换成功率或失败率的改善、边缘用户占比改善参量或下降参量，边缘用户信号强度改善比例。

结合第五方面的第三种可能的实现方式或第五方面的第四种可能的实现方式，在第五方面的第五种可能的实现方式中，所述处理器，具体用于按照单个UE、单个小区、单个基站或单个区域基于所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对所述测量结果进行统计，获得所述测量结果的统计值。

第六方面，提供了一种UE，所述UE包括：处理器和发送器；

所述处理器，用于对覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项进行测量，获得测量结果；

所述发送器，用于向网络侧上报所述测量结果。

本发明实施例提供一种覆盖和容量优化的性能评估方法、装置和UE，获得覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项的测量结果；根据预设策略和所述测量结果，确定所述CCO的性能。通过该方案，提供了收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据三类对CCO的性能进行评估的指标，并对该三类指标中的至少一种指标进行测量，获得测量结果，进而能够通过测量结果确定CCO的性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种覆盖和容量优化的性能评估方法的流程示意图；

图2为本发明实施例提供的另一种覆盖和容量优化的性能评估方法的流程示意图；

图3为本发明实施例提供的又一种覆盖和容量优化的性能评估方法的流程示意图；

图4为本发明实施例提供的一种覆盖和容量优化的性能评估方法的交互示意图；

图5为本发明实施例提供的一种覆盖和容量优化的性能评估装置的结构示意图；

图6为本发明实施例提供的一种UE的结构示意图；

图7为本发明实施例提供的另一种覆盖和容量优化的性能评估装置的结构示意图；

图8为本发明实施例提供的另一种UE的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一、

本发明实施例提供一种覆盖和容量优化的性能评估方法，如图1所示，该方法包括：

101、获得覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项的测量结果。

在目前的通信系统中，可以利用CCO实现对网络的覆盖和容量自优化。

本领域的技术人员可以理解的是，CCO是通过对无线数据或网络数据进行测量和数据采集，然后进行运算，输出对网络配置参数如何优化的建议、按照优化建议对网元进行优化配置、然后再对无线数据或网络数据进行测量采集，进行验证的一个循环过程。

本发明实施例中，提供CCO收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据三类指标，对CCO的性能进行评估，来判别不同的CCO的性能。

该步骤的执行主体具体可以是：网络侧，所述网络侧可以是网元或网管。其中，所述网元包括核心网网元和接入网网元；其中，核心网网元包括：移动性管理实体(MobilityManagement Entity，MME)，通用分组无线服务(General Packet Radio Service，GPRS)服务支持节点(Serving GPRS Support Node，SGSN)，网关GPRS支持节点(Gateway GPRSSupport Node，GGSN)，服务网关(Serving Gateway，S-GW)，移动交换中心(MobileSwitching Center，MSC)等；接入网网元包括：演进型基站(evolved Node B，eNB)，无线网路控制器(Radio Network Controller，RNC)，中继(Relay Node，Relay)，微基站，基站控制器(Base Station Controller，BSC)等。所述网管包括网元管理系统(network elementmanagement system，EMS)或网络管理系统(Network Management System，NMS)等。

所述覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项的测量结果可以是所述网元或网管对所述覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项进行测量获得的。当然，也可以是UE对所述覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项进行测量后，上报给所述网元或网管的。

102、根据预设策略和所述测量结果，确定所述CCO的性能。

具体的，所述预设策略可以是：在获得所述测量结果后，在显示器上显示所述测量结果。这样，在需要比较所述CCO的性能和其它CCO的性能时，可以根据所述测量结果进行比较，确定所述CCO和所述其它CCO性能的对比结果，进而，使得用户能够更好的选择需要使用的CCO。

当然，为了节省资源，使得CCO能够更为灵活的应用于网络中，所述预设策略还可以是：在获得所述测量结果后，确定所述测量结果是否达到预设的第一门限值；并在所述测量结果达到预设的第一门限值时，确定所述CCO收敛或终止运行；在所述测量结果未达到预设的第一门限值时，确定触发所述CCO进行网络优化。

当然，为了更为准确的确定所述CCO的收敛或运行，还可以基于所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对所述测量结果进行统计，获得统计值；并根据所述统计值与预设的第二门限值之间的对应关系，确定所述CCO是否进行收敛或触发。

其中，所述预设的第一门限值和所述预设的第二门限值用于确定所述CCO是否需要进行收敛或终止运行。

本发明实施例提供一种覆盖和容量优化的性能评估方法，该方法的执行主体是UE，如图2所示，所述方法包括：

201、UE对覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项进行测量，获得测量结果。

本领域的技术人员可以理解的是，CCO是通过对无线数据或网络数据进行测量和数据采集，然后进行运算，输出对网络配置参数如何优化的建议、按照优化建议对网元进行优化配置、然后再对无线数据或网络数据进行测量采集，进行验证的一个循环过程。

202、所述UE向网络侧上报所述测量结果。

所述网络侧可以是网元或网管。其中，所述网元包括核心网网元和接入网网元；其中，核心网网元包括：MME、SGSN、GGSN、S-GW、MSC等；接入网网元包括：eNB、RNC、Relay、微基站、BSC等。所述网管包括EMS或、NMS等。

本发明实施例提供一种覆盖和容量优化的性能评估方法，UE获得覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项的测量结果；所述UE根据预设策略和所述测量结果，确定所述CCO的性能。通过该方案，提供了收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据三类对CCO的性能进行评估的指标，并对该三类指标中的至少一种指标进行测量，获得测量结果，进而能够通过测量结果确定CCO的性能。

实施例二、

本发明实施例提供一种覆盖和容量优化的性能评估方法，如图3所示，该方法包括：

301、对覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项进行测量，获得测量结果。

该步骤的执行主体具体可以是：网络侧，所述网络侧可以是网元或网管。其中，所述网元可以是：MME、SGSN、GGSN、MSC、服务网关等。

具体的，所述CCO收敛性能的衡量数据包括以下至少一项：CCO的收敛速度、CCO收敛需要的UE测量量的输入规模、CCO的优化规模、CCO数据采集的均匀度、CCO优化涉及的数据采集对网络传输的带宽占用。

其中，所述CCO的收敛速度可以是：启动CCO优化功能到输出优化建议的时长、启动CCO优化到优化配置的时长、启动CCO优化到CCO收敛或终止的时长。对于收敛速度越快，CCO的性能越好。

其中，所述CCO收敛需要的UE测量量的输入规模可以是如下之一或组合：为CCO测量所需的最小化路测(Minimization of Drive Tests，MDT)UE数量、为CCO测量需要的UE的数量、UE上报的数据的总量、UE单位时间上报的数据量。UE的测量量的输入规模越小，CCO的性能越好。

其中，所述CCO的优化规模可以是如下之一或组合：CCO优化的目标网元数量、CCO优化的小区/基站的数量、CCO启动区域的大小、CCO影响区域的大小、CCO采集数据区域的大小。所述区域可以是地理区域信息、行政区域信息或经纬度位置组成的区域信息。优化的区域越大，CCO的性能越好。

需要说明的是，所述CCO数据采集的均匀度表示了CCO对采集数据的严格程度，数据采集点分布于小区内部，越均匀，说明CCO对采集数据的要求越高，CCO的性能越差。

需要说明的是，所述CCO优化涉及的数据采集对网络传输的带宽占用表示采用CCO对网络进行优化时，对网络的带宽的占用。对网络的带宽的占用越少，CCO的性能越好。

具体的，所述运行所述CCO对网络资源消耗的衡量数据包括以下至少一项或至少两项指标的组合：要使得CCO按照要求收敛UE消耗的资源指标、要使得CCO按照要求收敛网元消耗的资源指标、要使得CCO按照要求收敛网关消耗的资源指标。

其中，所述要使得CCO按照要求收敛UE消耗的资源指标可以是如下之一或组合：CCO收敛需要激活的UE的数量、CCO收敛实际激活的UE的数量、CCO收敛需要上报的数据量、UE为CCO测量数据占用的UE的内存容量、UE为CCO测量数据对UE的CPU的占用时长、UE的服务质量降低比率。

其中，所述要使得CCO按照要求收敛网元消耗的资源指标可以是如下之一或组合：网络网元需要激活的UE的数量、网络网元因为CCO占用的带宽、网络网元因CCO占用的带宽而拒绝提供服务或降低服务质量的业务的类型/数量、CCO对网络网元CPU的占用时长。

其中，所述要使得CCO按照要求收敛网关消耗的资源指标可以是如下之一或组合：QOS下降数量或比率、UE资源消耗带来的UE性能下降、CCO运行对网络性能影响。

需要说明的是，QOS下降数量或比率包括：执行CCO测量或上报而占用UE的处理器或带宽，最终导致UE业务上下行带宽的下降值/相较于预定带宽最低要求值下降的比率。

其中，UE资源消耗带来的UE性能下降包括：测量任务造成的UE内存、处理器占用，使UE对用户操作响应时间延长值或比率，或UE处理图形或处理指令的能力下降数值或比率。例如，每秒钟帧数下降，每秒处理指令数下降数值或比率。

其中，CCO运行对网络性能影响包括如下之一或组合：呼叫成功率/失败率、接入成功率/失败率、呼叫时延、掉话率、服务用户数、网络带宽级别、可保障用户带宽级别、或数据流量级。

具体的，所述运行所述CCO后对网络性能提升的衡量数据包括以下至少一项：衡量容量是否均衡的指标、运行CCO增加的容量值、运行CCO良好区域的新增量/新增比率、运行CCO后新增的UE数量/新增比率、UE切换成功率或失败率的改善、边缘用户占比改善参量或下降参量、边缘用户信号强度改善比例、网络平均参考信号强度、信噪比提升量、无线参考信号强度、无线参考信号信噪比、切换的UE的数量。

其中，所述衡量容量是否均衡的指标可以是：小区空口PRB占用差值均值(即Average difference of PRB usage(Σcell-iΔPRB/Ncells)per area/cell)。小区空口PRB占用差值均值是把多个小区间PRB数之差(ΔPRB)相加(Σcell-iΔPRB)，然后比上小区数(Ncells)，得到小区平均PRB差值，用于表明优化区域各小区间，容量送差值；该值越小说明网络容量越均衡，CCO的容量优化越接近目标，可以收敛了。

其中，所述CCO优化所增加的容量值是相对于CCO运行前的增量，可以是UE数量增量、UE/网元的吞吐量增量或增量相对于未CCO优化时的该量的比率。

需要说明的是，所述良好区域是指设定一个阈值，测量一定区域、网元、跟踪区、位置区、路由区或栅格的无线参考信号功率或信噪比，若测量值优于所述阈值，则为良好区域。所述良好区域的新增量是指良好区域面积大小、网元数量或栅格数量的增加量。所述运行CCO良好区域的新增比率可以是新增良好区域数量与原良好区域数量的比值，也可以是新增良好区域数量与总的区域数量的比值。

需要说明的是，所述栅格，是指将区域或网元覆盖范围，进行更小的划分，形成更小的单位区域，以便对覆盖区域进行更细致的操作，这些更小的单位区域。

302、确定所述测量结果达到预设的第一门限值。

需要说明的是，所述预设的第二门限值的范围对于收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据三类指标中的各项指标有所不同。

示例性的，对于CCO的收敛速度而言，CCO的收敛速度越快越好，也就是CCO的收敛速度对应的数值越小越好，则判断所述统计值是否小于所述预设的第二门限值；CCO收敛需要的UE测量量的输入规模越小越好，则判断所述统计值是否小于所述预设的第二门限值；CCO优化规模越大越好，则判断所述统计值是否大于所述预设的第二门限值；运行CCO增加的容量值越大越好，则判断所述CCO增加的容量值是否大于所述预设的第二门限值。

若所述测量结果达到所述预设的第一门限值，执行步骤303；若所述测量结果未达到所述预设的第一门限值，执行步骤304。

303、若所述测量结果达到所述预设的第一门限值，则确定所述CCO收敛或终止运行。

需要说明的是，CCO收敛即达到CCO优化目标而结束CCO运行。

304、若所述测量结果未达到所述预设的第一门限值，则确定触发所述CCO进行优化。

具体的，如果所述测量结果未达到所述预设的第一门限值，说明当前网络需要进行优化，确定触发所述CCO进行优化。

可选的，在对覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项进行测量，获得测量结果之后，可以对所述测量结果进行统计，获得所述测量结果的统计值。

具体的，可以基于所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对所述测量结果进行统计，获得统计值。

进一步的，在对所述测量结果进行统计，获得所述测量结果的统计值之后，还包括：确定所述统计值是否在所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对应的预设的第二门限值范围之内；

若所述统计值在所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对应的预设的第二门限值范围之内，则确定所述CCO收敛或终止运行；

若所述统计值在所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对应的预设的第二门限值范围之外，则确定触发所述CCO进行优化。

可选的，在对所述测量结果进行统计，获得所述测量结果的统计值之前，还需要获取所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围。

具体的，可以对所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围进行测量，获取所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围。

如图4所示，提供一种覆盖和容量优化的性能评估方法，该方法包括：

401、UE对覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项进行测量，获得测量结果。

所述UE对覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项进行测量，获得测量结果的方法，与所述网络侧对覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项进行测量，获得测量结果的方法相同，本发明实施例在此不再赘述。

402、所述UE向网络侧上报所述测量结果。

所述网络侧可以是网元或网管。其中，所述网元包括核心网网元和接入网网元；其中，核心网网元包括：MME、SGSN、GGSN、S-GW、MSC等；接入网网元包括：eNB、RNC、Relay、微基站、BSC等。所述网管包括EMS或、NMS等。

403、所述网络侧确定所述测量结果达到预设的第一门限值。

若所述测量结果达到所述预设的第一门限值，执行步骤404；若所述测量结果未达到所述预设的第一门限值，执行步骤405。

404、若所述测量结果达到所述预设的第一门限值，则确定所述CCO收敛或终止运行。

405、若所述测量结果未达到所述预设的第一门限值，则确定触发所述CCO进行优化。

本发明实施例提供一种覆盖和容量优化的性能评估方法，获得覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项的测量结果；根据预设策略和所述测量结果，确定所述CCO的性能。通过该方案，提供了收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据三类对CCO的性能进行评估的指标，并对该三类指标中的至少一种指标进行测量，获得测量结果，进而能够通过测量结果确定CCO的性能。

实施例三、

本发明实施例提供一种覆盖和容量优化的性能评估装置，如图5所示，该装置50包括：获得单元51和确定单元52。

所述获得单元51，用于获得覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项的测量结果。

所述确定单元52，用于根据预设策略和所述获得单元51获得的所述测量结果，确定所述CCO的性能。

进一步的，所述获得单元51，具体用于：

接收UE上报的对覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项的测量结果；或者，

对覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项进行测量，获得测量结果。

进一步的，所述确定单元52，具体用于：

确定所述测量结果是否达到预设的第一门限值；

若所述测量结果达到所述预设的第一门限值，则确定所述CCO收敛或终止运行；

若所述测量结果未达到所述预设的第一门限值，则确定触发所述CCO进行优化。

进一步的，所述确定单元52，具体用于：

基于所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对所述测量结果进行统计，获得统计值；

确定所述统计值是否在所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对应的预设的第二门限值范围之内；

若所述统计值在所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对应的预设的第二门限值范围之内，则确定所述CCO收敛或终止运行；

若所述统计值在所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对应的预设的第二门限值范围之外，则确定触发所述CCO进行优化。

具体的，所述CCO收敛性能的衡量数据包括以下至少一项：CCO的收敛速度、CCO收敛需要的UE测量量的输入规模、CCO的优化规模、CCO数据采集的均匀度、CCO优化涉及的数据采集对网络传输的带宽占用；

所述运行所述CCO对网络资源消耗的衡量数据包括以下至少一项：要使得CCO按照要求收敛UE消耗的资源指标、要使得CCO按照要求收敛网元消耗的资源指标、要使得CCO按照要求收敛网关消耗的资源指标；

所述运行所述CCO后对网络性能提升的衡量数据包括以下至少一项：衡量容量是否均衡的指标、运行CCO增加的容量值、运行CCO良好区域的新增量、运行CCO后新增的UE数量、UE切换成功率或失败率的改善、边缘用户占比改善参量或下降参量，边缘用户信号强度改善比例。

进一步的，所述确定单元52，具体用于按照单个UE、单个小区、单个基站或单个区域基于所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对所述测量结果进行统计，获得所述测量结果的统计值。

所述覆盖和容量优化的性能评估装置可以是网元或网管。所述网元包括核心网网元和接入网网元；其中，核心网网元包括：MME、SGSN、GGSN、S-GW、MSC等；接入网网元包括：eNB、RNC、Relay、微基站、BSC等。所述网管包括EMS或、NMS等。

本发明实施例提供一种覆盖和容量优化的性能评估装置，所述获得单元获得覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项的测量结果；所述确定单元根据预设策略和所述测量结果，确定所述CCO的性能。通过该方案，提供了收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据三类对CCO的性能进行评估的指标，并对该三类指标中的至少一种指标进行测量，获得测量结果，进而能够通过测量结果确定CCO的性能。

实施例四、

本发明实施例提供了一种UE，如图6所示，所述UE60包括：测量单元61和发送单元62。

所述测量单元61，用于对覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项进行测量，获得测量结果。

所述发送单元62，用于向网络侧上报所述测量单元61获得的测量结果。

本发明实施例提供了一种UE，所述测量单元对覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项进行测量，获得测量结果；所述发送单元向网络侧上报所述测量结果通过该方案，提供了收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据三类对CCO的性能进行评估的指标，并对该三类指标中的至少一种指标进行测量，获得测量结果，进而能够通过测量结果确定CCO的性能。

实施例五、

本发明实施例提供了一种覆盖和容量优化的性能评估装置，如图7所示，该装置70包括：处理器71和存储器72。

所述处理器71，用于获得覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项的测量结果。

所述存储器72，用于存储所述测量结果。

所述处理器71，还用于根据预设策略和所述测量结果，确定所述CCO的性能。

进一步的，所述处理器71，具体用于：

接收UE上报的对覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项的测量结果；或者，

对覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项进行测量，获得测量结果。

进一步的，所述处理器71，具体用于：

确定所述测量结果是否达到预设的第一门限值；

若所述测量结果达到所述预设的第一门限值，则确定所述CCO收敛或终止运行；

若所述测量结果未达到所述预设的第一门限值，则确定触发所述CCO进行优化。

进一步的，所述处理器71，具体用于：

基于所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对所述测量结果进行统计，获得统计值；

确定所述统计值是否在所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对应的预设的第二门限值范围之内；

若所述统计值在所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对应的预设的第二门限值范围之内，则确定所述CCO收敛或终止运行；

若所述统计值在所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对应的预设的第二门限值范围之外，则确定触发所述CCO进行优化。

具体的，所述CCO收敛性能的衡量数据包括以下至少一项：CCO的收敛速度、CCO收敛需要的UE测量量的输入规模、CCO的优化规模、CCO数据采集的均匀度、CCO优化涉及的数据采集对网络传输的带宽占用；

所述运行所述CCO对网络资源消耗的衡量数据包括以下至少一项：要使得CCO按照要求收敛UE消耗的资源指标、要使得CCO按照要求收敛网元消耗的资源指标、要使得CCO按照要求收敛网关消耗的资源指标；

所述运行所述CCO后对网络性能提升的衡量数据包括以下至少一项：衡量容量是否均衡的指标、运行CCO增加的容量值、运行CCO良好区域的新增量、运行CCO后新增的UE数量、UE切换成功率或失败率的改善、边缘用户占比改善参量或下降参量，边缘用户信号强度改善比例。

进一步的，所述处理器71，具体用于按照单个UE、单个小区、单个基站或单个区域基于所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对所述测量结果进行统计，获得所述测量结果的统计值。

所述覆盖和容量优化的性能评估装置可以是网元或网管。所述网元包括核心网网元和接入网网元；其中，核心网网元包括：MME、SGSN、GGSN、S-GW、MSC等；接入网网元包括：eNB、RNC、Relay、微基站、BSC等。所述网管包括EMS或、NMS等。

本发明实施例提供一种覆盖和容量优化的性能评估装置，所述处理器获得覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项的测量结果；所述处理器根据预设策略和所述测量结果，确定所述CCO的性能。通过该方案，提供了收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据三类对CCO的性能进行评估的指标，并对该三类指标中的至少一种指标进行测量，获得测量结果，进而能够通过测量结果确定CCO的性能。

实施例六、

本发明实施例提供了一种UE，如图8所示，所述UE80包括：处理器81和发送器82。

所述处理器81，用于对覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项进行测量，获得测量结果。

所述发送器82，用于向网络侧上报所述测量结果。

本发明实施例提供了一种UE，所述处理器对覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项进行测量，获得测量结果；所述发送器向网络侧上报所述测量结果通过该方案，提供了收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据三类对CCO的性能进行评估的指标，并对该三类指标中的至少一种指标进行测量，获得测量结果，进而能够通过测量结果确定CCO的性能。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (21)

1.一种覆盖和容量优化的性能评估方法，其特征在于，所述方法包括：

获得覆盖和容量优化CCO的收敛性能的衡量指标、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项的测量结果；

根据预设策略和所述测量结果，确定所述CCO的性能。

2.根据权利要求1所述的方法，其特征在于，获得覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项的测量结果具体包括：

接收用户设备UE上报的对覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项的测量结果；或者，

对覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项进行测量，获得测量结果。

3.根据权利要求1或2所述的方法，其特征在于，所述根据预设策略和所述测量结果，确定所述CCO的性能具体包括：

确定所述测量结果是否达到预设的第一门限值；

若所述测量结果达到所述预设的第一门限值，则确定所述CCO收敛或终止运行；

若所述测量结果未达到所述预设的第一门限值，则确定触发所述CCO进行优化。

4.根据权利要求1或2所述的方法，其特征在于，所述根据预设策略和所述测量结果，确定所述CCO的性能具体包括：

基于所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对所述测量结果进行统计，获得统计值；

确定所述统计值是否在所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对应的预设的第二门限值范围之内；

若所述统计值在所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对应的预设的第二门限值范围之内，则确定所述CCO收敛或终止运行；

若所述统计值在所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对应的预设的第二门限值范围之外，则确定触发所述CCO进行优化。

5.根据权利要求1或2所述的方法，其特征在于，所述CCO收敛性能的衡量数据包括以下至少一项：CCO的收敛速度、CCO收敛需要的UE测量量的输入规模、CCO的优化规模、CCO数据采集的均匀度、CCO优化涉及的数据采集对网络传输的带宽占用；

所述运行所述CCO对网络资源消耗的衡量数据包括以下至少一项：要使得CCO按照要求收敛UE消耗的资源指标、要使得CCO按照要求收敛网元消耗的资源指标、要使得CCO按照要求收敛网关消耗的资源指标；

所述运行所述CCO后对网络性能提升的衡量数据包括以下至少一项：衡量容量是否均衡的指标、运行CCO增加的容量值、运行CCO良好区域的新增量、运行CCO后新增的UE数量、UE切换成功率或失败率的改善、边缘用户占比改善参量或下降参量、边缘用户信号强度改善比例。

6.根据权利要求4所述的方法，其特征在于，所述基于所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对所述测量结果进行统计，获得统计值具体包括：

按照单个UE、单个小区、单个基站或单个区域基于所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对所述测量结果进行统计，获得所述测量结果的统计值。

7.一种覆盖和容量优化的性能评估方法，其特征在于，所述方法包括：

用户设备UE对覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项进行测量，获得测量结果；

所述UE向网络侧上报所述测量结果。

8.一种覆盖和容量优化的性能评估装置，其特征在于，所述装置包括：获得单元和确定单元；

所述获得单元，用于获得覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项的测量结果；

所述确定单元，用于根据预设策略和所述获得单元获得的所述测量结果，确定所述CCO的性能。

9.根据权利要求8所述的装置，其特征在于，所述获得单元，具体用于：

接收用户设备UE上报的对覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项的测量结果；或者，

对覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项进行测量，获得测量结果。

10.根据权利要求8或9所述的装置，其特征在于，所述确定单元，具体用于：

确定所述测量结果是否达到预设的第一门限值；

若所述测量结果达到所述预设的第一门限值，则确定所述CCO收敛或终止运行；

若所述测量结果未达到所述预设的第一门限值，则确定触发所述CCO进行优化。

11.根据权利要求8或9所述的装置，其特征在于，所述确定单元，具体用于：

基于所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对所述测量结果进行统计，获得统计值；

确定所述统计值是否在所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对应的预设的第二门限值范围之内；

若所述统计值在所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对应的预设的第二门限值范围之内，则确定所述CCO收敛或终止运行；

若所述统计值在所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对应的预设的第二门限值范围之外，则确定触发所述CCO进行优化。

12.根据权利要求8或9所述的装置，其特征在于，所述CCO收敛性能的衡量数据包括以下至少一项：CCO的收敛速度、CCO收敛需要的UE测量量的输入规模、CCO的优化规模、CCO数据采集的均匀度、CCO优化涉及的数据采集对网络传输的带宽占用；

所述运行所述CCO对网络资源消耗的衡量数据包括以下至少一项：要使得CCO按照要求收敛UE消耗的资源指标、要使得CCO按照要求收敛网元消耗的资源指标、要使得CCO按照要求收敛网关消耗的资源指标；

所述运行所述CCO后对网络性能提升的衡量数据包括以下至少一项：衡量容量是否均衡的指标、运行CCO增加的容量值、运行CCO良好区域的新增量、运行CCO后新增的UE数量、UE切换成功率或失败率的改善、边缘用户占比改善参量或下降参量，边缘用户信号强度改善比例。

13.根据权利要求11所述的装置，其特征在于，所述确定单元，具体用于按照单个UE、单个小区、单个基站或单个区域基于所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对所述测量结果进行统计，获得所述测量结果的统计值。

14.一种用户设备UE，其特征在于，所述UE包括：测量单元和上报单元；

所述测量单元，用于对覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项进行测量，获得测量结果；

所述上报单元，用于向网络侧上报所述测量单元获得的测量结果。

15.一种覆盖和容量优化的性能评估装置，其特征在于，所述装置包括：处理器和存储器；

所述处理器，用于获得覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项的测量结果；

所述存储器，用于存储所述测量结果；

所述处理器，用于根据预设策略和所述测量结果，确定所述CCO的性能。

16.根据权利要求15所述的装置，其特征在于，所述处理器，具体用于：

接收用户设备UE上报的对覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项的测量结果；或者，

对覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项进行测量，获得测量结果。

17.根据权利要求15或16所述的装置，其特征在于，所述处理器，具体用于：

确定所述测量结果是否达到预设的第一门限值；

若所述测量结果达到所述预设的第一门限值，则确定所述CCO收敛或终止运行；

若所述测量结果未达到所述预设的第一门限值，则确定触发所述CCO进行优化。

18.根据权利要求15或16所述的装置，其特征在于，所述处理器，具体用于：

基于所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对所述测量结果进行统计，获得统计值；

确定所述统计值是否在所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对应的预设的第二门限值范围之内；

若所述统计值在所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对应的预设的第二门限值范围之内，则确定所述CCO收敛或终止运行；

若所述统计值在所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对应的预设的第二门限值范围之外，则确定触发所述CCO进行优化。

19.根据权利要求15或16所述的装置，其特征在于，所述CCO收敛性能的衡量数据包括以下至少一项：CCO的收敛速度、CCO收敛需要的UE测量量的输入规模、CCO的优化规模、CCO数据采集的均匀度、CCO优化涉及的数据采集对网络传输的带宽占用；

所述运行所述CCO对网络资源消耗的衡量数据包括以下至少一项：要使得CCO按照要求收敛UE消耗的资源指标、要使得CCO按照要求收敛网元消耗的资源指标、要使得CCO按照要求收敛网关消耗的资源指标；

所述运行所述CCO后对网络性能提升的衡量数据包括以下至少一项：衡量容量是否均衡的指标、运行CCO增加的容量值、运行CCO良好区域的新增量、运行CCO后新增的UE数量、UE切换成功率或失败率的改善、边缘用户占比改善参量或下降参量，边缘用户信号强度改善比例。

20.根据权利要求18所述的装置，其特征在于，所述处理器，具体用于按照单个UE、单个小区、单个基站或单个区域基于所述CCO优化的网络的负载量、优化范围、操作目标范围或操作区域范围对所述测量结果进行统计，获得所述测量结果的统计值。

21.一种用户设备UE，其特征在于，所述UE包括：处理器和发送器；

所述处理器，用于对覆盖和容量优化CCO的收敛性能的衡量数据、运行所述CCO对网络资源消耗的衡量数据和运行所述CCO后对网络性能提升的衡量数据中的至少一项进行测量，获得测量结果；

所述发送器，用于向网络侧上报所述测量结果。