CN111372259B - 无线系统的性能评估方法和装置 - Google Patents

Abstract

本申请提供了无线系统的性能评估方法和装置。该方法包括：获取第二无线系统的性能指标，其中，所述第二无线系统是对第一无线系统进行升级或者改造后得到的无线系统；根据第一模型确定所述第一无线系统的性能指标，其中，所述第二无线系统的性能指标和所述第一无线系统的性能指标分别是所述第二无线系统和所述第一无线系统在相同系统输入时的同类性能指标，所述第一模型用于确定所述第一无线系统在不同的系统输入时的性能指标；根据所述第二无线系统的性能指标和所述第一无线系统的性能指标，对所述第二无线系统进行性能评估。本申请能够提高无线系统的性能评估效果。

Description

无线系统的性能评估方法和装置

技术领域

本申请涉及通信技术领域，并且更具体地，涉及一种无线系统的性能评估方法和装置。

背景技术

为了提高无线系统提供的通信服务质量，经常需要对无线系统进行升级或者改造，得到更改后的无线系统。在完成无线系统的升级或者改造后，需要对更改后的无线系统的性能进行评估，在更改后的无线系统的性能满足使用要求的情况下才能将更改后的无线系统正式投入使用。

传统方案一般是先获取更改后的无线系统在当前系统输入下对应的性能指标，然后再从更改前的无线系统记录的历史数据中获取与当前系统输入接近的参考系统输入，并确定更改前的无线系统在该参考系统输入下对应的性能指标。接下来，再通过比较更改后的无线系统在当前系统输入下对应的性能指标，以及更改前的无线系统在参考系统输入下对应的性能指标，来评估更改后的无线系统的性能。

但是，更改前的无线系统记录的历史数据可能比较有限，在某些情况下，很难获取到与当前系统输入相同或者特别接近的参考系统输入。因此，根据上述方法得到的更改前的无线系统的性能指标并不是特别的准确，从而导致后续根据更改前的无线系统的性能指标无法较为准确的对无线系统的性能进行评估。

发明内容

本申请提供一种无线系统的性能评估方法和装置，以更好地对无线系统的性能进行评估。

第一方面，提供了一种无线系统的性能评估方法，该方法包括：获取第二无线系统的性能指标；根据第一模型确定第一无线系统的性能指标；根据第二无线系统的性能指标和第一无线系统的性能指标，对第二无线系统进行性能评估

其中，第二无线系统是对第一无线系统进行升级或者改造后得到的无线系统。

上述第一无线系统可以是升级或者改造之前的无线系统，上述第二无线系统是对第一无线系统进行升级或者改造之后得到的无线系统。上述第一无线系统可以称为更改前的无线系统，上述第二无线系统可以称为更改后的无线系统。

另外，上述第二无线系统的性能指标和第一无线系统的性能指标分别是第二无线系统和第一无线系统在相同系统输入时的同类性能指标。第一模型用于确定第一无线系统在不同的系统输入时的性能指标。

应理解，上述第一无线系统的性能指标和第二无线系统的性能指标为相同类型的性能指标，例如，第一无线系统的性能指标和第二无线系统的性能指标可以都是重传类KPI。

进一步的，上述第一无线系统的性能指标和第二无线系统的性能指标为反映同一性能的指标，例如，第一无线系统的性能指标为第一无线系统的切换成功率，第二无线系统的性能指标为第二无线系统的切换成功率。

可选地，上述第一模型可以是通过神经网络搭建的模型，该第一模型可以通过大量的训练数据训练得到。

上述神经网络可以是卷积神经网络(convolutional neural networks，CNN)、循环神经网络(recurrent neural network，RNN)和深度神经网络(deep neural networks，DNN)等等。

上述训练数据包括不同的输入表征参数，以及第一无线系统在不同的输入表征参数下对应的性能指标数据。这些训练数据可以从第一无线系统记录的历史性能指标数据(该历史数据包括历史输入表征参数以及第一无线系统的系统输入为所述历史输入表征参数时的性能指标)中提取。

本申请中，通过第一模型能够较为准确地获取更改前的无线系统(第一无线系统)在相同系统输入下对应的性能指标，进而能够根据更改后的无线系统(第二无线系统)和更改前的无线系统在相同系统输入下对应的性能指标实现对系统性能更准确的评估，能够提高评估效果。

结合第一方面，在第一方面的某些实现方式中，所述获取第二无线系统的性能指标，包括：获取所述第二无线系统的第一配置参数分别为M个候选取值时的M个目标性能指标，其中，所述第一配置参数为所述M个候选取值时所述第二无线系统的系统输入分别为M个输入表征参数；所述根据第一模型确定所述第一无线系统的性能指标，包括：根据所述第一模型确定所述第一无线系统的系统输入分别为M个输入表征参数时的M个基准性能指标；根据所述第二无线系统的性能指标和所述第一无线系统的性能指标，对所述第二无线系统进行性能评估，包括：确定所述M个目标性能指标分别相对于所述M个基准性能指标的增益值，得到M个增益值；根据所述M个增益值对所述第一配置参数分别为M个候选取值时所述第二无线系统的性能进行评估。

通过获取第二无线系统的配置参数为不同的候选取值时的性能指标，能够对第二无线系统的配置参数为不同候选取值时的性能进行评估。

结合第一方面，在第一方面的某些实现方式中，所述方法还包括：根据所述M个增益值，从所述M个候选取值中确定出所述第一配置参数的最终取值。

结合第一方面，在第一方面的某些实现方式中，所述根据所述M个增益值，从所述M个候选取值中确定出所述第一配置参数的最终取值，包括：从所述M个增益值中确定出第一增益值，所述第一增益值是所述M个增益值中的最大增益值，其中，M为大于1的整数；将所述第一增益值对应的候选取值确定为所述第一配置参数的最终取值。

当第一配置参数为不同的取值时，目标性能指标相对于基准性能指标的增益值有所不同，通过选择出增益值时最大时对应的取值作为第一配置参数的取值，能够为第二无线系统带来最大的增益值，从而提高第二无线系统的性能。

结合第一方面，在第一方面的某些实现方式中，所述根据所述M个增益值，从所述M个候选取值中确定出所述第一配置参数的最终取值，包括：从所述M个增益值中确定出N个增益值，其中，所述N个增益值分别对应N个候选取值，所述第一配置参数分别为所述N个候选取值时，所述第一无线系统的接入类关键性能指标KPI和切换类KPI均满足预设使用要求，1≤N≤M，且N为整数；从所述N个增益值中确定出第二增益值，所述第二增益值是所述N个增益值中的最大增益值；将所述第二增益值对应的候选取值确定为所述第一配置参数的最终取值。

在确定第一配置参数的取值时，通过从接入类KPI和切换类KPI的指标满足要求的增益值中选择出最大的增益值，并将该最大增益值对应的第一配置参数的取值确定为该第一配置参数的最终取值，能够排除掉接入类KPI和切换类KPI不满足条件的取值，便于为第一配置参数确定出能够为无线系统带来增益最大的取值。

结合第一方面，在第一方面的某些实现方式中，所述方法还包括：确定与所述第二无线系统的应用场景匹配的候选配置参数集合，所述候选配置参数集合包括多个候选配置参数，所述第一配置参数为所述多个候选配置参数中的任意一个候选配置参数。

不同的场景下，对不同的配置参数进行调整，能够带来的增益不同，因此，本申请中通过先确定与该无线系统当前所处的场景匹配的配置参数，然后再从该多个配置参数中选择出部分配置参数能够更好地对无线系统进行性能的评估。

结合第一方面，在第一方面的某些实现方式中，所述第二无线系统的性能指标和所述第一无线系统的性能指标为重传类KPI、资源利用类KPI、边缘用户KPI以及容量和体验KPI中的任意一种。

结合第一方面，在第一方面的某些实现方式中，所述方法还包括：获取第一无线系统的历史性能指标数据，所述述历史性能指标数据包括所述第一无线系统的历史输入表征参数以及所述第一无线系统的系统输入为所述历史输入表征参数时的性能指标；分别采用多种数据清洗方式对所述历史性能指标数据进行清洗，得到多组训练数据；分别采用多组训练数据进行模型训练，得到多种候选模型；将所述多种候选模型中频谱效率最高的模型确定为所述第一模型。

数据清洗是将样本中存在的残缺数据、错误数据或重复数据清洗或者删除掉的一种操作。

通过数据清洗能够减少无效的数据，便于后续根据清洗后的数据进行模型训练，得到较为准确的模型。

本申请中，在建模过程中通过选择不同的数据清洗方式对数据进行清洗，能够从中选择频谱效率最高的模型作为第一模型，便于后续根据第一模型准确的确定第一无线系统在相同系统输入下的性能指标。

第二方面，提供了一种无线系统的性能评估装置，该装置包括用于执行上述第一方面及第一方面中的任意一种实现方式中的方法的模块。

上述无线提供的性能评估装置可以是网络设备或者位于网络设备内部的用于评估无线系统性能的模块。该网络设备可以是基站、接入网设备等等。

第三方面，提供了一种无线系统的性能评估装置，包括存储器和处理器，所述存储器用于存储程序，所述处理器用于执行所述存储器存储的程序，当所述存储器存储的程序被处理器执行时，所述处理器用于执行上述第一方面及第一方面中的任意一种实现方式中的方法。

可选地，上述存储器为非易失性存储器。

可选地，上述存储器与处理器互相耦合在一起。

第四方面，提供了一种计算机可读存储介质，所述计算机可读介质存储介质用于存储程序代码，当所述程序代码被计算机执行时，所述计算机用于执行上述第一方面及第一方面中的任意一种实现方式中的方法。

可选地，上述计算机可读存储介质可以位于网络设备内部，该计算机可读存储介质存储的程序代码可以被网络设备执行。

上述网络设备可以是接入网设备、基站等等。

第五方面，提供了一种芯片，所述芯片包括处理器，所述处理器用于执行上述第一方面及第一方面中的任意一种实现方式中的方法。

可选地，上述芯片安装在网络设备内部。

第六方面，提供了一种用于使得计算机或者终端设备执行上述第一方面及第一方面中的任意一种实现方式中的方法的计算机程序(或称计算机程序产品)。

可选地，上述计算机程序可以存储在计算机设备内，该计算机程序可以被计算机设备执行。

当计算机设备执行该计算机程序时，计算机设备能够执行上述第一方面中的任意一种方面的实现方式中的方法。

附图说明

图1是本申请实施例的无线系统的性能评估方法的示意性流程图；

图2是获取第一模型的示意性流程图；

图3是参数调优的过程的示意图；

图4是本申请实施例的无线系统的性能评估方法的示意性流程图；

图5是本申请实施例的无线系统的性能评估装置的示意性框图；

图6是本申请实施例的无线系统的性能评估装置的示意性框图。

具体实施方式

下面将结合附图，对本申请中的技术方案进行描述。

本申请实施例的技术方案可以应用于各种通信系统，例如：全球移动通信(globalsystem for mobile communications，GSM)系统、码分多址(code division multipleaccess，CDMA)系统、宽带码分多址(wideband code division multiple access，WCDMA)系统、通用分组无线业务(general packet radio service，GPRS)、长期演进(long termevolution，LTE)系统、LTE频分双工(frequency division duplex，FDD)系统、LTE时分双工(time division duplex，TDD)、通用移动通信系统(universal mobiletelecommunication system，UMTS)、全球互联微波接入(worldwide interoperabilityfor microwave access，WiMAX)通信系统、未来的第五代(5th generation，5G)系统或新无线(new radio，NR)等。

图1是本申请实施例的无线系统的性能评估方法的示意性流程图。图1所示的方法可以由无线系统的性能评估装置(设备)来执行。其中，无线系统的性能评估装置可以部署在网络设备内部。

具体地，这里的网络设备可以部署在基带处理单元(base band unit，BBU)或者运营支撑系统(operations support systems，OSS)内部。

图1所示的方法包括步骤101至步骤103，下面分别对这些步骤进行详细的介绍。

101、获取第二无线系统的性能指标。

上述第二无线系统可以是对第一无线系统进行升级或者改造之后得到的无线系统。另外，上述第一无线系统还可以称为更改前的无线系统，上述第二无线系统还可以称为更改后的无线系统。

例如，上述第一无线系统可以是长期演进(long term evolution，LTE)系统中的8输入8输出系统，第二无线系统可以是对该8输入8输出系统升级后得到的大规模多输入多输出(multi input multi output，MIMO)系统。

对第一无线系统进行改造可以是对第一无线系统本身的配置参数(本申请中的配置参数还可以称为调优参数)的取值进行更改，或者为第一无线系统增加新的配置参数，从而得到第二无线系统。而对第一无线系统进行升级可以是对第一无线系统运行的软件的版本进行升级，从而得到第二无线系统。

102、根据第一模型确定第一无线系统的性能指标。

其中，上述第二无线系统的性能指标和第一无线系统的性能指标分别是第二无线系统和第一无线系统在相同系统输入时的同类性能指标。

应理解，上述第一无线系统的性能指标和第二无线系统的性能指标为相同类型的性能指标，例如，第一无线系统的性能指标和第二无线系统的性能指标可以都是重传类KPI。

进一步的，上述第一无线系统的性能指标和第二无线系统的性能指标为反映同一性能的指标，例如，第一无线系统的性能指标为第一无线系统的切换成功率，第二无线系统的性能指标为第二无线系统的切换成功率。

另外，上述第一模型是用于确定第一无线系统在不同的系统输入时的性能指标的模型。

上述第一模型可以通过神经网络搭建得到。

上述神经网络可以是CNN、RNN和DNN等等。

应理解，可以通过对大量的训练数据进行训练，以得到上述第一模型。

上述训练数据可以是从第一无线系统记录的历史性能指标数据中提取的。该训练数据包括历史输入表征参数以及第一无线系统的系统输入为所述历史输入表征参数时的性能指标。

在上述步骤102中，通过第一模型能够获取第一无线系统在相同的系统输入下的性能指标，便于与第二无线系统的性能指标进行对比，从而更好地分析第二无线系统相对于第一无线系统的性能的提升程度。

可选地，作为一个实施例，图1所示的方法还包括：获取第一无线系统的历史性能指标数据，所述述历史性能指标数据包括所述第一无线系统的历史输入表征参数以及所述第一无线系统的系统输入为所述历史输入表征参数时的性能指标；分别采用多种数据清洗方式对所述历史性能指标数据进行清洗，得到多组训练数据；分别采用多组训练数据进行模型训练，得到多种候选模型；将所述多种候选模型中频谱效率最高的模型确定为所述第一模型。

数据清洗是将样本中存在的残缺数据、错误数据或重复数据清洗或者删除掉的一种操作。通过数据清洗能够减少无效的数据，便于后续根据清洗后的数据进行模型训练，得到较为准确的模型。

本申请中，在建模过程中通过选择不同的数据清洗方式对数据进行清洗，能够从中选择频谱效率最高的模型作为第一模型，便于后续根据第一模型准确的确定第一无线系统在相同系统输入下的性能指标。

上述多种数据清洗方式可以包括按照功能类参数对数据进行清洗和按照误码率对数据进行清洗的方式。

按照功能类参数对数据进行清洗可以是指将不满足无线系统基本功能需求的数据清洗掉，而保留能够满足无线系统基本功能要求的数据。

上述清洗数据的方式可以包括清洗条件以及相应的清洗动作。

例如，上述多种数据清洗方式可以包括表1所示的数据清洗方式。

表1

再如，上述多种数据清洗方式还可以包括表2所示的多种数据清洗方式。

表2

	清洗条件1	清洗条件2	清洗条件3	清洗条件4
					误码率	[12％，15％]	[9％，11％]	[8％,12％]	[5％,8％]

如表2所示，在清洗条件1下，仅保留误码率在[12％，15％]之间的数据，而在清洗条件2下，仅保留误码率在[9％，11％]之间的数据。

例如，如表2所示，可以采用清洗条件1至清洗条件4分别对第一无线系统的历史性能指标数据进行清洗，得到4组训练数据，接下来，可以分别对这4组训练数据进行训练，得到4个模型，假设这4个模型中的根据清洗条件1清洗得到的一组训练数据训练得到的模型的频谱效率最高，那么，就可以选择该模型作为第一模型。

在建立第一模型的过程中，可以采用不同的机器学习算法对训练数据进行训练，然后从中选择出均方误差(mean squared error，MSE)最小的模型作为第一模型，下面结合图2对第一模型的获得过程进行描述。

图2是获取第一模型的示意性流程图。

图2所示的获取第一模型的流程包括步骤201至206，下面对这些步骤进行介绍。

201、获取训练样本。

上述训练样本可以是从第一无线系统的历史性能指标数据中获取到的，在获取该训练样本之前还可以采用任意一种清洗条件对数据进行清洗，将清洗后得到的数据作为步骤201中的训练样本。

202、分别采用梯度提升决策树(gradient boosting decision tree，GBDT)和主成分分析(principal component analysis，PCA)这两种机器学习算法对训练样本进行参数降维，得到降维后的训练样本。

通过参数降维能够将高维度的数据映射到低维度，降低系统运算的复杂度以及模型复杂度。

在参数降维过程中，GBDT算法能够选择出参数重要性排名前15的参数，PCA算法选出的参数能够保留90％以上的原始信息。

203、分别采用多项式回归、GBDT回归以及神经网络等方式对降维后的训练样本进行训练，得到各自的训练模型。

在步骤203中，多项式回归、GBDT回归以及神经网络是三种训练模型的方法，

通过这3种方式分别对GBDT方式和PCA方式得到的降维后的训练样本进行训练，能够得到6种模型。

204、确定每种训练模型对应的MSE。

经过上述步骤203一共能够得到6种模型，在步骤204中需要确定这6种模型的MSE。

205、选择出MSE最小的模型作为第一模型。

通过采用多种方式对训练样本进行训练，并且最终选择MSE最小的模型作为第一模型，能够选择更准确的模型作为第一模型，便于后续根据第一模型较为准确地确定第一无线系统在相同系统输入时的性能指标。

上述无线系统(可以指第一无线系统或者第二无线系统)的系统输入可以是指无线系统在运行过程中服务的用户数量等信息，具体地，上述第一输入可以包括下列信息(1)至(11)中的至少一种：

(1)用户分散度(波束域表征)；

(2)下行平均信道质量指示(channel quality indicator，CQI)；

(3)小区用户随机接入时间提前量(time advance，TA)分布区间平均值；

(4)小区平均用户数；

(5)小区最大用户数；

(6)小区有业务数据待发送的平均用户数；

(7)小区有业务数据待发送的最大用户数；

(8)小区平均非连续接收(discontinuous reception，DRX)用户数；

(9)空口上行业务字节数(MB)；

(10)空口下行业务字节数(MB)；

(11)每演进的无线接入承载(evolved radio access bearer，ERAB)平均吞吐量(MB)。

应理解，上述信息(1)至(11)可以仅仅是系统输入的可能包含的部分信息，实际上，本申请中的系统输入并不限于上述信息(1)至(11)，只要能够反映系统输入特性的指标或者信息都可以是本申请中的系统输入。

可选地，上述第一无线系统的性能指标和第二无线系统的性能指标为重传类关键性能指标(key performance indicator，KPI)、资源利用类KPI、边缘用户KPI以及容量和体验KPI中的任意一种。

由于第一无线系统的性能指标和第二无线系统的性能指标的种类相同，因此，这里是指第一无线系统的系统指标和第二无线系统的性能指标同时为重传类KPI或者资源利用类KPI或者边缘用户KPI或者容量和体验KPI。

应理解，上述每一类KPI均有具体的多个KPI组成。

可选地，上述资源利用类KPI、边缘用户KPI以及容量和体验KPI包含的具体指标可以如表3所示。

表3

如表3所示，资源利用类KPI包含的主要衡量资源利用情况的指标，资源利用类KPI包括物理资源块(physical resource block，PRB)的利用率的参数以及控制信道单元(control channel element，CCE)利用率的参数，其中，PRB的利用率的参数包括上行PRB平均利用率、下行PRB平均利用率、CCE利用率和CCE分配失败率。

如表3所示，边缘用户KPI主要是衡量边缘用户相关信息的指标，边缘用户KPI包括用户数参数、数据吞吐率参数、信号质量参数以及用户体验速率参数。

其中，用户数参数包括小区边缘平均用户数和小区边缘最大用户数；数据吞吐率参数包括小区边缘用户上行总吞吐量和小区边缘用户下行总吞吐量；信号质量参数包括小区边缘用户平均CQI、边缘用户上行初始误块率(block error rate，BLER)和边缘用户下行初始BLER；用户体验速率参数包括边缘用户上行平均体验速率和边缘用户下行平均体验速率。

如表3所示，容量&体验KPI主要包括容量参数和体验参数，其中，容量参数包括：上行每PRB平均吞吐量、下行每PRB平均吞吐量、小区上行平均速率和小区下行平均速率，体验参数包括上行用户平均体验速率和下行用户平均体验速率。

应理解，第一无线系统的性能指标和第二无线系统的性能指标为同一类KPI中的相同KPI。

例如，第一无线系统的性能指标和第二无线系统的性能指标可以是边缘用户KPI中的小区边缘平均用户数。

再如，第一无线系统的性能指标和第二无线系统的性能指标可以是容量&体验KPI中的小区上行平均速率或者小区下行平均速率。

可选地，上述第一无线系统的性能指标和第二无线系统的性能指标为切换类KPI或者重传类KPI。

上述切换类KPI和重传类KPI中均可以包含多个指标。

可选地，切换类KPI和重传类KPI包含的具体指标可以如表4所示。

表4

103、根据第二无线系统的性能指标和第一无线系统的性能指标，对第二无线系统进行性能评估。

应理解，在步骤103之前，可以先确定第二无线系统的性能指标相对于第一无线系统的性能指标的增益值，然后在步骤103中再根据第二无线系统的性能指标相对于第一无线系统的性能指标的增益值来对第二无线系统进行性能评估。

当第二无线系统的性能指标相对于第一无线系统的性能指标的增益值大于或者等于预设增益值时，确定第二无线系统的性能满足使用要求；而当第二无线系统的性能指标相对于第一无线系统的性能指标的增益值小于预设增益值时，确定第二无线系统的性能不能满足使用要求(在这种情况下可能需要对第二无线系统的性能指标进行进一步的调整)。

具体地，可以根据公式(1)计算第二无线系统的性能指标相对于第一无线系统的性能指标的增益值。

S＝(A-B)/B (1)

在上述公式(1)中，A为第二无线系统的性能指标的数值，B为第一无线系统的性能指标的数值，S为第二无线系统的性能指标相对于第一无线系统的性能指标的增益值。

本申请中，通过第一模型能够较为准确地获取更改前的无线系统(第一无线系统)在相同系统输入下对应的性能指标，进而能够根据更改后的无线系统(第二无线系统)和更改前的无线系统在相同系统输入下对应的性能指标实现对系统性能更准确的评估，能够提高评估效果。

具体地，由于本申请通过第一模型就可以直接获取第一无线系统在相同系统输入的情况下的性能指标，与传统方案中从第一无线系统记录的历史性能指标数据中寻找在近似的系统输入下对应的性能指标的方式相比，本申请能够更快、更方便的获取第一无线系统在相同系统输入的性能指标，进而能够实现对无线系统性能的快速评估。

应理解，在根据第二无线系统的性能指标和第一无线系统的性能指标对第二无线系统进行性能评估时，还可以先对获得的性能指标数据进行数据清洗，然后再对数据进行数据归一化处理和参数降维，然后再比较第二无线系统的性能指标相对于第一无线系统的性能指标的增益。

数据清洗是将样本中存在的残缺数据、错误数据或重复数据清洗或者删除掉的一种操作。通过数据清洗能够减少无效的数据，便于后续根据清洗后的数据进行模型训练，得到较为准确的模型。

由于不同的变量往往量纲不同，通过数据归一化可以消除量纲对最终结果的影响，使不同变量具有可比性。

可选地，获取第二无线系统的性能指标具体包括：获取第二无线系统的第一配置参数分别为M个候选取值时的M个目标性能指标，其中，该第一配置参数为M个候选取值时第二无线系统的系统输入分别为M个输入表征参数；

根据第一模型确定第一无线系统的性能指标，包括：根据第一模型确定第一无线系统的系统输入分别为M个输入表征参数时的M个基准性能指标；

根据第二无线系统的性能指标和第一无线系统的性能指标，对第二无线系统进行性能评估，包括：确定M个目标性能指标分别相对于M个基准性能指标的增益值，得到M个增益值；根据M个增益值对第一配置参数分别为M个候选取值时第二无线系统的性能进行评估。

也就是说，当第二无线系统的系统输入分别为上述M个输入表征参数时，第二无线系统的第一配置参数的取值分别为M个候选取值。

通过获取第二无线系统的配置参数为不同的候选取值时的性能指标，能够对第二无线系统的配置参数为不同候选取值时的性能进行评估。

应理解，在获得了第二无线系统的配置参数为不同的候选取值时的性能指标之后，还能够根据配置参数为不同的候选取值的增益情况为配置参数选择合适的取值。

可选地，作为一个实施例，图1所示的方法还包括：根据M个增益值，从M个候选取值中确定出第一配置参数的最终取值。

可选地，上述根据M个增益值，从M个取值中确定出第一配置参数的最终取值可以有多种实现方式，下面对其中的两种方式进行详细介绍。

方式一：

从M个增益值中确定出第一增益值，该第一增益值是M个增益值中的最大增益值；

将第一增益值在M个候选取值中对应的候选取值确定为所述第一配置参数的最终取值，其中，M为大于1的整数。

例如，对第二无线系统的第一配置的参数配置了5个候选取值，该5个候选取值分别对应5个增益值。假设第一配置参数的候选取值与增益值的对应关系如表5所示(A、B、C、D和E分别表示不同的候选取值)。那么，可以根据表5确定出最大的增益值为0.30，增益值为0.30时对应的第一配置参数的取值为D，因此，第一配置参数的最终取值为D。

表5

第一配置参数的候选取值	增益值
		A	0.10
B	0.15
		C	0.30
D	0.20
		E	0.25

方式二：

从M个增益值中确定出N个增益值，该N个增益值分别对应N个候选取值，第一配置参数分别为N个候选取值时，第一无线系统的接入类KPI和切换类KPI满足预设使用要求；

从N个增益值中确定出第二增益值，该第二增益值为N个增益值中数值最大的增益值；

将第二增益值在N个候选取值中对应的候选取值确定为第一配置参数的最终取值，其中，1≤N≤M，且N为整数。

在上述方式二中，相当于是先将接入类KPI和切换类KPI不满足要求的取值筛选掉，然后再根据增益值的大小从剩下的取值中确定出第一配置参数的最终取值。

应理解，上述只是示出了第一配置参数的取值的确定方式，实际上，其他的配置参数的取值也可以采用与第一配置参数的取值相同的方式来确定。

在确定上述配置参数的最终取值的过程可以看成是一个参数调优的过程，通过参数调优能够确定出每个配置参数的最终取值，从而完成系统的升级或者更改。

下面结合图3对参数调优的过程进行详细的描述。

图3是参数调优的流程图。图3所示的过程包括步骤301至306，下面对这些步骤进行详细的介绍。

301、配置参数的取值生效。

在步骤301中，配置参数的取值生效可以指为该配置参数设置相应的取值，并且启动无线系统。在为配置参数设置取值时，可以在该配置参数的取值范围内进行取值的设置。

例如，某功率门限参数的取值范围为[10，20，30，40]，那么，可以在这些参数的取值范围内为该功率门限参数配置取值。

302、采集配置参数取值生效后的性能指标。

采集配置参数取值生效后的性能指标实质上是指在为无线系统的配置参数设置取值后，该无线系统运行时的性能指标。

303、计算相同的系统输入时的基准性能指标。

在步骤303中，基准性能指标是指对无线系统的配置参数进行更改之前在同等系统输入(同等系统输入时指步骤303中的无线系统的系统输入与步骤302中的无线系统的系统输入相同)时的性能指标。

304、计算配置参数取值生效后的性能指标相对于基准性能指标的增益值。

具体地，可以参照上述公式(1)来计算配置参数取值生效后的性能指标相对于基准性能指标的增益值。

305、确定增益值的数量是否满足要求。

由于配置参数在不同的取值下对应的增益值可能有所不同，因此，在确定配置参数的最终取值时可以先尝试为配置参数设置不同的取值，然后再从这些取值中选择出配置参数的最终取值。

具体地，在步骤305中，可以确定增益值的数量是否大于或者等于N，N的取值可以是5(N的取值也可以是其他的数值，这里不做限定)。

306、根据增益值确定配置参数的最终取值。

例如，得到了5个增益值，那么，可以将该5个增益值中的最大的增益值对应的配置参数的取值确定为配置参数的最终取值。

通过上述步骤301至305确定了一个配置参数之后，还可以通过类似的方式确定其他配置参数的取值。

另外，为了进一步提高性能评估的准确性，在确定第一配置参数的每个取值对应的增益值时，还可以将第一配置参数设置为一个取值，然后记录多个增益值，接下来，再将多个该增益值的平均值(也可以将最大的增益值和最小的增益值去掉之后对剩下的增益值求平均)确定为第一配置参数取该取值的时候对应的增益值(这的增益值指的是第一性能指标相对于第二性能指标的增益值)。

例如，当第一配置参数的取值为A时，可以在一段时间内统计10次第一性能指标和第二性能指标。根据这10次的统计结果，可以得到10个增益值，接下来可以将该10个增益值中的最大值和最小值去掉，然后对剩下的8个增益值求平均增益值，并将该平均增益值作为第一配置参数的取值为A时对应的增益值。

可选地，作为一个实施例，在对第二无线系统的第一配置参数的取值进行更改之前，图1所示的方法还包括：确定与第二无线系统的应用场景匹配的候选配置参数集合，该候选配置参数集合包括多个候选配置参数，该第一配置参数为所述多个候选配置参数中的任意一个候选配置参数。

在不同的场景下，需要进行配置的配置参数不同，本申请中，通过无线系统的应用场景能够选择出与该应用场景匹配的候选配置参数，使得配置参数的过程更有针对性。

可选地，可以通过“天线挖掘”的方式来获取不同场景下的多个配置参数。

具体地，在每个天线系统完成参数调优之后，评估该天线系统中哪个参数能够带来较大的增益，将为该天线系统带来较大增益(例如，增益超过5％)的参数确定为该场景下对应的配置参数。

上述不同的场景可以包括无线宽带到用户(wireless to the x，WTTx)场景、移动性场景和大事件场景，这些场景下对应的配置参数可以如表6所示。

表6

如表6所示，如果天线系统处于移动性场景下，那么，在对无线系统进行更改的过程中就可以调整劈裂大规模多发多收(massive MIMO，MM)波束域空分开关、MM移动用户、优化开关、移动用户探测参考信号(sounding reference signal，SRS)增强开关和配对用户门限等参数的取值。

应理解，上述不同场景下的开关在调整时可以对应一个算法或者优化特性是否执行。例如，WTTx SRS干扰规避开关来说，存在两种状态，一种状态是开启WTTx SRS开关，另一种状态是关闭WTTx SRS开关。

上述第一配置参数可以是系统调整或者升级过程中需要更改的配置参数，这些配置参数的调整可能会对无线系统的性能有较大的影响。

具体地，上述第一配置参数可以是射频参数、系统的基础参数以及系统的特性参数中的至少一种。

上述射频参数可以包括电子下倾角、方位角以及权值等等。上述系统的基础参数可以包括CQI调整步长、物理下行控制信道(physical downlink control channel，PDCCH)误块率目标值、SRS功控，信号噪声干扰比(signal to interference plus noise ratio，SINR)目标值以及参考信号(reference signal，RS)等相关参数等等。上述系统的特性参数可以包括多用户波束赋型(multi-user beam-forming，MU-BF)配对门限，模式切换门限，物理上行链路控制信道干扰抑制组合(physical uplink control channel interferencerejection combining，PUCCH IRC)算法开关等等。

在调整配置参数的取值时，可以按照一定的顺序(例如，按照配置参数的重要性的顺序)来分别调整配置参数的取值。

例如，可以按照表7所示的顺序对3个配置参数的取值进行调整，以得到这3个配置参数的最终取值。

表7

调试顺序	配置参数	配置参数的取值范围
			1	电子下倾角	10°,20°,30°
2	MU-BF配对门限	0.3,0.4,0.5,0.6
			3	RS功控SINR目标值	8％,10％,12％,15％

如表7所示，可以先调整电子下倾角，调整电子下倾角为10度，等待系统运行一段时间(例如，半个小时或者1个小时)，采集到性能指标，判断基础性能指标是否在可接受的范围内(例如，判断掉话率是否小于1％)，如果基础性能指标超出可接受的范围，则不计算该性能指标相对于电子下倾角调整之前的性能指标的增益值，并将10度视为该电子下倾角的禁用值；如果基础性能指标在可接受的范围内，则计算该性能指标相对于电子下倾角调整之前的性能指标的增益值；采用同样的方法计算电子下倾角为20度和30度时的增益值大小，最后再从这几个增益值中确定出最大的增益值，然后将该最大的增益值确定为电子下倾角的最终取值，并将该电子下倾角调整到该角度。

例如，经过计算发现，电子下倾角为10度时的增益为-10，电子下倾角为20度时的增益为1，电子下倾角为30度时的增益为10，其中，电子下倾角为30度时的增益值最大，那么，电子下倾角的最终取值为30度。

为了提高系统的鲁棒性，可以个多次测量多次比较的方式，最终选取增益排名得分最高的角度作为电子下倾角的最终取值。在确定了电子下倾角的最终取值之后，将该最终取值确定为电子下倾角的取值，然后调整MU-BF配对门限，采用同样的方法，MU-BF配对门限完成调优后，设置门限。并进行接下来的RS功控SINR目标值调优。

上文结合图1至图3对本申请实施例的无线系统的性能评估方法进行了描述，下面结合图4对本申请实施例的无线系统的性能评估方法进行介绍。

图4是本申请实施例的无线系统的性能评估方法的示意性流程图。图4所示的方法包括步骤401至407，下面对这些步骤进行介绍。

401、识别第二无线系统所处的场景。

上述第二无线系统所处的场景也可以是指第二无线系统所处的应用场景，这里的场景可以包括WTTx场景、移动性场景以及大事件场景等等。

402、选定第二无线系统的配置参数。

例如，如表6所示，当第二无线系统所处的场景为移动性场景时，可以选择劈裂MM波束域空分开关、MM移动用户优化开关、移动用户SRS增强开关以及配对用户门限等参数作为第二无线系统的配置参数。

403、在配置参数值域范围内对配置参数进行调整。

在步骤403中，可以选择步骤402中的多个配置参数中的一个配置参数，并对该配置参数进行调整。

例如，当第二无线系统所处的场景为移动性场景时，可以选择配对用户门限，并在配对用户门限的取值范围内对配对用户门限的取值进行调整。

404、采集第二无线系统的性能指标。

在步骤404中，每当步骤403中为配置参数配置一个取值时都要采集一次第二无线系统的性能指标，这样就能获取配置参数取每个取值时对应的第二无线系统的性能指标。

405、采集第一无线系统在相同系统输入下的性能指标。

每当步骤404中获取某个配置参数取某个取值时的性能指标时，需要在步骤405中获取与第二无线系统处于相同系统输入下时第一无线系统的性能指标，便于后续比较第二无线系统在某个配置参数取某个取值时的性能增益情况。

应理解，上述步骤404和步骤405可以反复执行多次以获取同一个配置参数被配置为不同的取值时的性能指标，进而获取第二无线系统的同一个配置参数在不同的取值下的性能的增益情况。

406、进行增益评估，对参数的取值进行修正，得到配置参数的最终取值。

经过步骤404和步骤405之后，可以得到第二无线系统的同一配置参数在不同取值时第二无线系统的性能增益情况，接下来，在步骤406中，可以根据增益值的大小从中选择出配置参数的最终取值。

当通过步骤406得到了某个配置参数的最终取值之后，接下来，可以继续执行402，以确定其他配置参数的最终取值。

上文结合图1至图4对本申请实施例的无线系统的性能评估方法进行了详细的介绍，下面结合图5和图6对本申请实施例的无线系统的性能评估装置进行介绍，应理解，图5和图6中的装置能够执行本申请实施例的无线系统的性能评估方法的各个步骤，下面在介绍图5和图6所示的装置时适当省略重复的描述。

图5是本申请实施例的无线系统的性能评估装置的示意性框图。图5所示的装置1000包括：

获取模块1001，用于获取第二无线系统的性能指标，其中，所述第二无线系统是对第一无线系统进行升级或者改造后得到的无线系统；

处理模块1002，用于根据第一模型确定所述第一无线系统的性能指标，其中，所述第二无线系统的性能指标和所述第一无线系统的性能指标分别是所述第二无线系统和所述第一无线系统在相同系统输入时的同类性能指标，所述第一模型用于确定所述第一无线系统在不同的系统输入时的性能指标；

所述处理模块1002还用于根据所述第二无线系统的性能指标和所述第一无线系统的性能指标，对所述第二无线系统进行性能评估。

可选地，作为一个实施例，所述获取模块1001用于：

获取所述第二无线系统的第一配置参数分别为M个候选取值时的M个目标性能指标，其中，所述第一配置参数为所述M个候选取值时所述第二无线系统的系统输入分别为M个输入表征参数；

所述处理模块1002用于：

根据所述第一模型确定所述第一无线系统的系统输入分别为M个输入表征参数时的M个基准性能指标；

确定所述M个目标性能指标分别相对于所述M个基准性能指标的增益值，得到M个增益值；

根据所述M个增益值对所述第一配置参数分别为M个候选取值时所述第二无线系统的性能进行评估。

可选地，作为一个实施例，所述处理模块1002用于：根据所述M个增益值，从所述M个候选取值中确定出所述第一配置参数的最终取值。

可选地，作为一个实施例，所述处理模块1002用于：从所述M个增益值中确定出第一增益值，所述第一增益值是所述M个增益值中的最大增益值，其中，M为大于1的整数；将所述第一增益值对应的候选取值确定为所述第一配置参数的最终取值。

可选地，作为一个实施例，所述处理模块1002用于：

从所述M个增益值中确定出N个增益值，其中，所述N个增益值分别对应N个候选取值，所述第一配置参数分别为所述N个候选取值时，所述第一无线系统的接入类关键性能指标KPI和切换类KPI均满足预设使用要求，1≤N≤M，且N为整数；

从所述N个增益值中确定出第二增益值，所述第二增益值是所述N个增益值中的最大增益值；

将所述第二增益值对应的候选取值确定为所述第一配置参数的最终取值。

可选地，作为一个实施例，所述处理模块1002还用于：

确定与所述第二无线系统的应用场景匹配的候选配置参数集合，所述候选配置参数集合包括多个候选配置参数，所述第一配置参数为所述多个候选配置参数中的任意一个候选配置参数。

可选地，作为一个实施例，所述第二无线系统的性能指标和所述第一无线系统的性能指标为重传类KPI、资源利用类KPI、边缘用户KPI以及容量和体验KPI中的任意一种。

可选地，作为一个实施例，所述装置还包括训练模块1003，所述训练模块1003用于：

获取第一无线系统的历史性能指标数据，所述述历史性能指标数据包括所述第一无线系统的历史输入表征参数以及所述第一无线系统的系统输入为所述历史输入表征参数时的性能指标；

分别采用多种数据清洗方式对所述历史性能指标数据进行清洗，得到多组训练数据；

分别采用多组训练数据进行模型训练，得到多种候选模型；

将所述多种候选模型中频谱效率最高的模型确定为所述第一模型。

图6是本申请实施例的无线系统的性能评估装置的示意性框图。图6所示的装置2000包括：

存储器2001，用于存储程序；

处理器2002，用于执行存储器2001存储的程序，当存储器2001中的程序被处理器2002执行时，处理器2002用于本申请实施例的无线系统的性能评估方法中的各个步骤。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种无线系统的性能评估方法，其特征在于，包括：

获取第二无线系统的第一配置参数分别为M个候选取值时的M个目标性能指标，其中，所述第二无线系统是对第一无线系统进行升级或者改造后得到的无线系统，所述第一配置参数为所述M个候选取值时所述第二无线系统的系统输入分别为M个输入表征参数，M为大于1的整数；

根据第一模型确定所述第一无线系统的系统输入分别为M个输入表征参数时的M个基准性能指标，其中，所述第二无线系统的性能指标和所述第一无线系统的性能指标分别是所述第二无线系统和所述第一无线系统在相同系统输入时的同类性能指标，所述第一模型用于确定所述第一无线系统在不同的系统输入时的性能指标；

确定所述M个目标性能指标分别相对于所述M个基准性能指标的增益值，得到M个增益值；

根据所述M个增益值对所述第一配置参数分别为M个候选取值时所述第二无线系统的性能进行评估。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述M个增益值，从所述M个候选取值中确定出所述第一配置参数的最终取值。

3.如权利要求2所述的方法，其特征在于，所述根据所述M个增益值，从所述M个候选取值中确定出所述第一配置参数的最终取值，包括：

从所述M个增益值中确定出第一增益值，所述第一增益值是所述M个增益值中的最大增益值；

将所述第一增益值对应的候选取值确定为所述第一配置参数的最终取值。

4.如权利要求2所述的方法，其特征在于，所述根据所述M个增益值，从所述M个候选取值中确定出所述第一配置参数的最终取值，包括：

从所述M个增益值中确定出N个增益值，其中，所述N个增益值分别对应N个候选取值，所述第一配置参数分别为所述N个候选取值时，所述第一无线系统的接入类关键性能指标KPI和切换类KPI均满足预设使用要求，1≤N≤M，且N为整数；

从所述N个增益值中确定出第二增益值，所述第二增益值是所述N个增益值中的最大增益值；

将所述第二增益值对应的候选取值确定为所述第一配置参数的最终取值。

5.根据权利要求1-4中任一项所述的方法，其特征在于，所述方法还包括：

确定与所述第二无线系统的应用场景匹配的候选配置参数集合，所述候选配置参数集合包括多个候选配置参数，所述第一配置参数为所述多个候选配置参数中的任意一个候选配置参数。

6.如权利要求1-4中任一项所述的方法，其特征在于，所述第二无线系统的性能指标和所述第一无线系统的性能指标为重传类KPI、资源利用类KPI、边缘用户KPI以及容量和体验KPI中的任意一种。

7.如权利要求1-4中任一项所述的方法，其特征在于，所述方法还包括：

获取第一无线系统的历史性能指标数据，所述历史性能指标数据包括所述第一无线系统的历史输入表征参数以及所述第一无线系统的系统输入为所述历史输入表征参数时的性能指标；

分别采用多种数据清洗方式对所述历史性能指标数据进行清洗，得到多组训练数据；

分别采用多组训练数据进行模型训练，得到多种候选模型；

将所述多种候选模型中频谱效率最高的模型确定为所述第一模型。

8.一种无线系统的性能评估装置，其特征在于，包括：

获取模块，用于获取第二无线系统的第一配置参数分别为M个候选取值时的M个目标性能指标，其中，所述第二无线系统是对第一无线系统进行升级或者改造后得到的无线系统，所述第一配置参数为所述M个候选取值时所述第二无线系统的系统输入分别为M个输入表征参数，M为大于1的整数；

处理模块，用于根据第一模型确定所述第一无线系统的系统输入分别为M个输入表征参数时的M个基准性能指标，其中，所述第二无线系统的性能指标和所述第一无线系统的性能指标分别是所述第二无线系统和所述第一无线系统在相同系统输入时的同类性能指标，所述第一模型用于确定所述第一无线系统在不同的系统输入时的性能指标；

所述处理模块还用于，确定所述M个目标性能指标分别相对于所述M个基准性能指标的增益值，得到M个增益值；根据所述M个增益值对所述第一配置参数分别为M个候选取值时所述第二无线系统的性能进行评估。

9.如权利要求8所述的装置，其特征在于，所述处理模块用于：

根据所述M个增益值，从所述M个候选取值中确定出所述第一配置参数的最终取值。

10.如权利要求9所述的装置，其特征在于，所述处理模块用于：

从所述M个增益值中确定出第一增益值，所述第一增益值是所述M个增益值中的最大增益值；

将所述第一增益值对应的候选取值确定为所述第一配置参数的最终取值。

11.如权利要求9所述的装置，其特征在于，所述处理模块用于：

从所述M个增益值中确定出N个增益值，其中，所述N个增益值分别对应N个候选取值，所述第一配置参数分别为所述N个候选取值时，所述第一无线系统的接入类关键性能指标KPI和切换类KPI均满足预设使用要求，1≤N≤M，且N为整数；

从所述N个增益值中确定出第二增益值，所述第二增益值是所述N个增益值中的最大增益值；

将所述第二增益值对应的候选取值确定为所述第一配置参数的最终取值。

12.根据权利要求8-11中任一项所述的装置，其特征在于，所述处理模块还用于：

确定与所述第二无线系统的应用场景匹配的候选配置参数集合，所述候选配置参数集合包括多个候选配置参数，所述第一配置参数为所述多个候选配置参数中的任意一个候选配置参数。

13.如权利要求8-11中任一项所述的装置，其特征在于，所述第二无线系统的性能指标和所述第一无线系统的性能指标为重传类KPI、资源利用类KPI、边缘用户KPI以及容量和体验KPI中的任意一种。

14.如权利要求8-11中任一项所述的装置，其特征在于，所述装置还包括训练模块，所述训练模块用于：

获取第一无线系统的历史性能指标数据，所述历史性能指标数据包括所述第一无线系统的历史输入表征参数以及所述第一无线系统的系统输入为所述历史输入表征参数时的性能指标；

分别采用多种数据清洗方式对所述历史性能指标数据进行清洗，得到多组训练数据；

分别采用多组训练数据进行模型训练，得到多种候选模型；

将所述多种候选模型中频谱效率最高的模型确定为所述第一模型。

Images