CN112584422A - 5g终端性能获取方法和装置 - Google Patents

Abstract

本申请实施例提供一种5G终端性能获取方法和装置，涉及通信技术领域，方法包括：获取目标5G终端的终端能力指标、语音业务感知指标、接入保持指标和用户体验指标；分别利用终端能力指标、语音业务感知指标、接入保持指标和用户体验指标各自对应的模型，计算终端能力指标、语音业务感知指标、接入保持指标和用户体验指标各自对应的性能计算结果；将终端能力指标、语音业务感知指标、接入保持指标和用户体验指标各自对应的性能计算结果输入终端性能计算模型，得到目标5G终端的目标性能计算结果。这样，基于终端能力指标、语音业务感知指标、接入保持指标和用户体验指标等指标可以对5G终端性能进行精准评估，为5G时代的发展提供新的方法。

Description

5G终端性能获取方法和装置

技术领域

本申请涉及通信技术领域，尤其涉及一种5G终端性能获取方法和装置。

背景技术

随着移动通信技术的不断发展，5G业务层出不穷，各类5G终端发展迅速，5G终端品牌型号众多。

由于各终端厂家对5G协议的理解存在差异，且各终端厂家基于不同的协议实现算法，使得同一个网络下不同品牌的终端对用户体验呈现差异性，因此对于5G终端的评估就显得尤为重要。

然而目前对5G终端的评估方法几乎空白，给5G网络优化带来极大挑战。在5G新基建时代，5G终端评估的方法愈发窘迫。

发明内容

本申请实施例提供一种5G终端性能获取方法和装置，基于终端能力指标、语音业务感知指标、接入保持指标和用户体验指标等指标可以对5G终端性能进行精准评估，为5G时代的网络或市场等的发展提供新的方法。

第一方面，本申请实施例提供一种5G终端性能获取方法，包括：获取目标5G终端的终端能力指标、语音业务感知指标、接入保持指标和用户体验指标；其中，终端能力指标用于表示目标5G终端所支持的功能，语音业务感知指标用于表示目标5G终端对语音业务的处理能力，接入保持指标用于表示目标5G终端接入网络的情况，用户体验指标用于表示目标5G终端处理用户指令的能力；分别利用终端能力指标、语音业务感知指标、接入保持指标和用户体验指标各自对应的模型，计算终端能力指标、语音业务感知指标、接入保持指标和用户体验指标各自对应的性能计算结果；将终端能力指标、语音业务感知指标、接入保持指标和用户体验指标各自对应的性能计算结果输入终端性能计算模型，得到目标5G终端的目标性能计算结果。这样，基于终端能力指标、语音业务感知指标、接入保持指标和用户体验指标等指标可以对5G终端性能进行精准评估，为5G时代的网络或市场等的发展提供新的方法。

可选的，终端能力指标包括下述的一种或多种：上行非连续调度能力指标、天线选择能力指标、上下行解调参考信号DMRS Type能力指标、多输入多输出MIMO能力指标、上下行支持256正交振幅调制QAM能力指标、以EUTRA为主NR为辅的双连接en-DC能力指标、载波聚合CA能力指标、信道状态信息CSI能力指标、非连续接收DRX能力指标、自动邻区关系ANR支持能力指标、终端支持带宽能力指标、独立组网SA指标、非独立组网NSA指标或SA-NSA指标；语音业务感知指标包括下述的一种或多种：语音接通率指标、语音掉话率指标或语音接通时延指标；接入保持指标包括下述的一种或多种：控制面接入性指标、用户面接入性指标、业务掉线率指标、切换成功率指标或NSA终端在基站gNB的演进的无线接入承载E-RAB掉线率指标；用户体验指标包括下述的一种或多种：终端侧往返时延RTT指标、TCP传输控制协议三次握手指标、下行TCP掉线率指标、页面响应时延指标、页面显示成功率指标、视频有效下载速率指标、视频初始缓存时延指标、即时通信业务时延指标、排名前3TOP3游戏业务时延指标或TOP3游戏终端侧上行TCP丢包率指标。

可选的，终端能力指标、语音业务感知指标、接入保持指标和用户体验指标中涉及成功率类指标得分率满足下述公式：

其中，x_i为目标5G终端的成功率类指标i的值，x_i，avg为所有5G终端成功率类指标i的平均值，x_i，max为所有5G终端成功率类指标i的最大值。

可选的，终端能力指标、语音业务感知指标、接入保持指标和用户体验指标中涉及掉线率、时延类指标得分率满足下述公式：

其中，x_j为目标5G终端的掉线率和时延类指标j的值，x_j，avg为所有5G终端掉线率和时延类指标j的平均值，x_j，min为所有5G终端掉线率和时延类指标j的最小值。

可选的，目标性能计算结果与终端能力指标、语音业务感知指标、接入保持指标和用户体验指标各自对应的性能计算结果之间满足下述公式：

Q_t＝F_终端能力+F_语音感知+F_接入保持+F_用户体验

其中，Q_t为目标5G终端的目标性能计算结果，F_终端能力为终端能力指标，F_语音感知为语音业务感知指标，F_接入保持为接入保持指标，F_用户体验为用户体验指标。

可选的，根据指示信息用于历史指标数据，应用随机森林模型训练建立指示信息用于终端能力指标、指示信息用于语音业务感知指标、指示信息用于接入保持指标和指示信息用于用户体验指标各自对应的模型、和指示信息用于终端性能计算模型，包括：应用Hadoop大数据平台采集全网各小区中5G终端的历史指标数据；根据历史指标数据，应用随机森林模型训练建立终端能力指标、语音业务感知指标、接入保持指标和用户体验指标各自对应的模型、和终端性能计算模型。

可选的，获取第一终端的指标数据中的第一指标；其中，第一终端为全网各小区中5G终端的任一5G终端；第一指标为终端能力指标、语音业务感知指标、接入保持指标或用户体验指标的任一指标；根据第一指标和预设的指标阈值，确定第一指标的第一标签；根据第一标签，确定所有全网各小区中每个5G终端的每个指标的标签；根据每个指标的标签，生成训练样本集；根据训练样本集，应用随机森林模型，确定每个指标的标杆分数；根据指标数据，应用预设的指标类型得分率公式，确定每个指标的得分率；根据标杆分数和得分率，应用预设的层级评分公式和终端性能评估公式，确定第一指标对应的模型。

第二方面，本申请实施例提供一种5G终端性能获取装置。

示例性的，处理单元，用于获取目标5G终端的终端能力指标、语音业务感知指标、接入保持指标和用户体验指标；其中，终端能力指标用于表示目标5G终端所支持的功能，语音业务感知指标用于表示目标5G终端对语音业务的处理能力，接入保持指标用于表示目标5G终端接入网络的情况，用户体验指标用于表示目标5G终端处理用户指令的能力；处理单元，用于分别利用终端能力指标、语音业务感知指标、接入保持指标和用户体验指标各自对应的模型，计算终端能力指标、语音业务感知指标、接入保持指标和用户体验指标各自对应的性能计算结果；处理单元，用于将终端能力指标、语音业务感知指标、接入保持指标和用户体验指标各自对应的性能计算结果输入终端性能计算模型，得到目标5G终端的目标性能计算结果。

可选的，终端能力指标包括下述的一种或多种：上行非连续调度能力指标、天线选择能力指标、上下行解调参考信号DMRS Type能力指标、多输入多输出MIMO能力指标、上下行支持256正交振幅调制QAM能力指标、以EUTRA为主NR为辅的双连接en-DC能力指标、载波聚合CA能力指标、信道状态信息CSI能力指标、非连续接收DRX能力指标、自动邻区关系ANR支持能力指标、终端支持带宽能力指标、独立组网SA指标、非独立组网NSA指标或SA-NSA指标；语音业务感知指标包括下述的一种或多种：语音接通率指标、语音掉话率指标或语音接通时延指标；接入保持指标包括下述的一种或多种：控制面接入性指标、用户面接入性指标、业务掉线率指标、切换成功率指标或NSA终端在基站gNB的演进的无线接入承载E-RAB掉线率指标；用户体验指标包括下述的一种或多种：终端侧往返时延RTT指标、TCP传输控制协议三次握手指标、下行TCP掉线率指标、页面响应时延指标、页面显示成功率指标、视频有效下载速率指标、视频初始缓存时延指标、即时通信业务时延指标、排名前3TOP3游戏业务时延指标或TOP3游戏终端侧上行TCP丢包率指标。

可选的，终端能力指标、语音业务感知指标、接入保持指标和用户体验指标中涉及成功率类指标得分率满足下述公式：

其中，x_i为目标5G终端的成功率类指标i的值，x_i，avg为所有5G终端成功率类指标i的平均值，x_i，max为所有5G终端成功率类指标i的最大值。

可选的，终端能力指标、语音业务感知指标、接入保持指标和用户体验指标中涉及掉线率、时延类指标得分率满足下述公式：

其中，x_j为目标5G终端的掉线率和时延类指标j的值，x_j，avg为所有5G终端掉线率和时延类指标j的平均值，x_j，min为所有5G终端掉线率和时延类指标j的最小值。

可选的，目标性能计算结果与终端能力指标、语音业务感知指标、接入保持指标和用户体验指标各自对应的性能计算结果之间满足下述公式：

Q_t＝F_终端能力+F_语音感知+F_接入保持+F_用户体验

其中，Q_t为目标5G终端的目标性能计算结果，F_终端能力为终端能力指标，F_语音感知为语音业务感知指标，F_接入保持为接入保持指标，F_用户体验为用户体验指标。

可选的，处理单元，还用于应用Hadoop大数据平台采集全网各小区中5G终端的历史指标数据；处理单元，具体用于根据历史指标数据，应用随机森林模型训练建立终端能力指标、语音业务感知指标、接入保持指标和用户体验指标各自对应的模型、和终端性能计算模型。

可选的，处理单元，具体用于获取第一终端的指标数据中的第一指标；其中，第一终端为全网各小区中5G终端的任一5G终端；第一指标为终端能力指标、语音业务感知指标、接入保持指标或用户体验指标的任一指标；根据第一指标和预设的指标阈值，确定第一指标的第一标签；根据第一标签，确定所有全网各小区中每个5G终端的每个指标的标签；根据每个指标的标签，生成训练样本集；根据训练样本集，应用随机森林模型，确定每个指标的标杆分数；根据指标数据，应用预设的指标类型得分率公式，确定每个指标的得分率；根据标杆分数和得分率，应用预设的层级评分公式和终端性能评估公式，确定第一指标对应的模型。

第三方面，本申请实施例提供一种电子设备，包括：存储器和处理器，存储器用于存储程序指令，处理器，用于调用并执行存储器中的程序指令，执行如第一方面或第一方面的任一种可能的设计的方法。

第四方面，本申请实施例提供一种可读计算机存储介质，可读计算机存储介质用于存储计算机程序，计算机程序用于实现如第一方面或第一方面的任一种可能的设计的方法。

综上所述，本申请实施例提供一种5G终端性能获取方法和装置，包括：获取目标5G终端的终端能力指标、语音业务感知指标、接入保持指标和用户体验指标；分别利用终端能力指标、语音业务感知指标、接入保持指标和用户体验指标各自对应的模型，计算终端能力指标、语音业务感知指标、接入保持指标和用户体验指标各自对应的性能计算结果；将终端能力指标、语音业务感知指标、接入保持指标和用户体验指标各自对应的性能计算结果输入终端性能计算模型，得到目标5G终端的目标性能计算结果。这样，基于终端能力指标、语音业务感知指标、接入保持指标和用户体验指标等指标可以对5G终端性能进行精准评估，为5G时代的网络或市场等的发展提供新的方法。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1为本申请实施例提供的一种5G终端性能获取方法的流程示意图；

图2为本申请实施例提供的一种基于MapReduce计算框架得到5G终端的目标性能计算结果的流程示意图；

图3为本申请实施例提供的一种基于5G终端评价子任务进行MapReduce计算的流程示意图；

图4为本申请实施例提供的一种5G终端性能获取装置的结构示意图；

图5为本申请实施例提供的一种电子设备的结构示意图。

通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

终端性能评估方法的一种可能的实现为，对网络覆盖区域进行栅格化处理，确定每个栅格内的网络环境；根据目标终端的通信信息确定目标终端所归属的栅格；根据通信信息，计算得到目标终端的初始性能分数；在目标终端所归属和非所属的栅格内，获取与目标终端同属性的通信终端的评价参数；根据与目标终端同属性的通信终端的评价参数，对初始性能分数进行修正，得到目标终端的最终性能分数。

上述基于栅格化的终端性能评估方法，可能存在以下问题，例如：单个栅格数据量不足和终端得分受局部网络质差栅格的影响；上述评估方法主要是终端侧性能指标，其评估维度不够全面；上述评估方法中对于终端各项指标的标杆分数及指标权重的赋值都是采用主观赋值的方法，不具有客观性；上述评估方法没有公开终端评估方法的实现方案。

因此，本申请实施例提供一种5G终端性能获取方法和装置，包括：获取目标5G终端的终端能力指标、语音业务感知指标、接入保持指标和用户体验指标；分别利用终端能力指标、语音业务感知指标、接入保持指标和用户体验指标各自对应的模型，计算终端能力指标、语音业务感知指标、接入保持指标和用户体验指标各自对应的性能计算结果；将终端能力指标、语音业务感知指标、接入保持指标和用户体验指标各自对应的性能计算结果输入终端性能计算模型，得到目标5G终端的目标性能计算结果。

可能的实现方式中，本申请实施例可以用于5G终端接入gNB后的场景中，gNB可以获取5G终端的终端能力指标、语音业务感知指标、接入保持指标和用户体验指标，并基于本申请实施例的方法得到5G终端的性能计算结果。则后续，gNB可以结合各5G终端的性能优化网络架构，或为各5G终端调度与5G终端能力相适应的业务。

示例性的，图1为本申请实施例提供的一种5G终端性能获取方法的流程示意图。如图1所示，该方法包括以下步骤：

S101、获取目标5G终端的终端能力指标、语音业务感知指标、接入保持指标和用户体验指标。

本申请实施例中，终端能力指标用于表示目标5G终端所支持的功能，语音业务感知指标用于表示目标5G终端对语音业务的处理能力，接入保持指标用于表示目标5G终端接入网络的情况，用户体验指标用于表示目标5G终端处理用户指令的能力。

示例性的，获取目标5G终端的终端能力指标、语音业务感知指标、接入保持指标和用户体验指标的方法可以为利用大数据平台获取各指标数据，或者，可以是5G终端接入网络后上报或测试得到的，本申请实施例中对此不做限定。

可以理解的是，5G终端的各项指标可以根据实际场景包括其他对于5G终端评估有效的数据，本申请实施例中对此不做限定。

S102、分别利用终端能力指标、语音业务感知指标、接入保持指标和用户体验指标各自对应的模型，计算终端能力指标、语音业务感知指标、接入保持指标和用户体验指标各自对应的性能计算结果。

S103、将终端能力指标、语音业务感知指标、接入保持指标和用户体验指标各自对应的性能计算结果输入终端性能计算模型，得到目标5G终端的目标性能计算结果。

本申请实施例中，得到目标5G终端的目标性能计算结果的一种可能的实现为，基于MapReduce计算框架建立5G终端性能评分模型的各计算子任务；根据5G终端的各子任务进行MapReduce计算，得到目标5G终端的目标性能计算结果。可以理解的是，得到目标5G终端的目标性能计算结果的方法可以根据实际场景不同包括其他内容，本申请实施例中对此不做限定。

综上，本申请实施例中，基于终端能力指标、语音业务感知指标、接入保持指标和用户体验指标等指标对5G终端性能进行精准评估，为5G时代的网络或市场等的发展提供新的方法。

可选的，终端能力指标包括下述的一种或多种：上行非连续调度能力指标、天线选择能力指标、上下行解调参考信号(demodulation reference sgnal，DMRS)Type能力指标、多输入多输出(multiple input multiple output，MIMO)能力指标、上下行支持256正交振幅调制(quadrature amplitude modulation，QAM)能力指标、以EUTRA为主NR为辅的双连接(EUTRA-NR dual connection，en-DC)能力指标、载波聚合(carrier aggregation，CA)能力指标、信道状态信息(channel state information，CSI)report framework能力指标、非连续接收(discontinuous reception，DRX)能力指标、自动邻区关系(automatic neighborrelation，ANR)支持能力指标、终端支持带宽能力指标、独立组网(standalone，SA)指标、非独立组网(non standalone，NSA)指标或SA-NSA指标。

语音业务感知指标包括下述的一种或多种：语音接通率指标、语音掉话率指标或语音接通时延指标。

接入保持指标包括下述的一种或多种：控制面接入性指标、用户面接入性指标、业务掉线率指标、切换成功率指标或NSA终端在基站(new radio Node，gNB)的演进的无线接入承载(evolved radio access bearer，E-RAB)掉线率指标。

用户体验指标包括下述的一种或多种：终端侧往返时延(round trip time，RTT)指标、(transmission control protocol，TCP)传输控制协议三次握手指标、下行TCP掉线率指标、页面响应时延指标、页面显示成功率指标、视频有效下载速率指标、视频初始缓存时延指标、即时通信业务时延指标、排名前3(TOP3)游戏业务时延指标或TOP3游戏终端侧上行TCP丢包率指标。

可选的，终端能力指标、语音业务感知指标、接入保持指标和用户体验指标中涉及成功率类指标得分率满足下述公式：

其中，x_i为目标5G终端的成功率类指标i的值，x_i，avg为所有5G终端成功率类指标i的平均值，x_i，max为所有5G终端成功率类指标i的最大值。

可以理解的是，该成功率类指标得分率的评估方法可以根据实际场景包括其他内容，本申请实施例中对此不做限定。

可选的，终端能力指标、语音业务感知指标、接入保持指标和用户体验指标中涉及掉线率、时延类指标得分率满足下述公式：

其中，x_j为目标5G终端的掉线率和时延类指标j的值，x_j，avg为所有5G终端掉线率和时延类指标j的平均值，x_j，min为所有5G终端掉线率和时延类指标j的最小值。

可以理解的是，该掉线率和时延类指标得分率的评估方法可以根据实际场景包括其他内容，本申请实施例中对此不做限定。

本申请实施例中，终端能力指标、语音业务感知指标、接入保持指标和用户体验指标中涉及终端能力类指标得分率满足下述公式：

可以理解的是，该终端能力类指标得分率的评估方法可以根据实际场景包括其他内容，本申请实施例中对此不做限定。

本申请实施例中，终端能力指标、语音业务感知指标、接入保持指标和用户体验指标各指标d的层级评分结果满足下述公式：

其中，P_d，k为各指标的标杆分数，f(x_k)为各指标对应的得分率公式，该f(x_k)可以为成功率类指标得分率、掉线率、时延类指标得分率或终端能力类指标得分率。示例性的，当f(x_k)为成功率类指标得分率时，k＝i；当f(x_k)为掉线率或时延类指标得分率时，k＝j；当f(x_k)为终端能力类指标得分率时，k＝t。

可以理解的是，对于各指标的层级评分公式可以根据实际场景包括其他内容，本申请实施例中对此不做限定。

可选的，目标性能计算结果与终端能力指标、语音业务感知指标、接入保持指标和用户体验指标各自对应的性能计算结果之间满足下述公式：

Q_t＝F_终端能力+F_语音感知+F_接入保持+F_用户体验

其中，Q_t为目标5G终端的目标性能计算结果，F_终端能力为终端能力指标，F_语音感知为语音业务感知指标，F_接入保持为接入保持指标，F_用户体验为用户体验指标。

可以理解的是，对于目标5G终端的目标性能计算公式可以根据实际场景包括其他内容，本申请实施例中对此不做限定。

可选的，应用Hadoop大数据平台采集全网各小区中5G终端的历史指标数据；根据历史指标数据，应用随机森林模型训练建立终端能力指标、语音业务感知指标、接入保持指标和用户体验指标各自对应的模型、和终端性能计算模型。

可以理解的是，采集全网各小区中5G终端的历史指标数据的方法可以根据实际场景包括其他内容，本申请实施例中对此不做限定。

可以理解的是，训练建立各指标各自对应的计算模型的方法可以根据实际场景包括其他有效的重要性评估算法，本申请实施例中对此不做限定。

可选的，获取第一终端的指标数据中的第一指标；其中，第一终端为全网各小区中5G终端的任一5G终端；第一指标为终端能力指标、语音业务感知指标、接入保持指标或用户体验指标的任一指标；根据第一指标和预设的指标阈值，确定第一指标的第一标签；根据第一标签，确定所有全网各小区中每个5G终端的每个指标的标签；根据每个指标的标签，生成训练样本集；根据训练样本集，应用随机森林模型，确定每个指标的标杆分数；根据指标数据，应用预设的指标类型得分率公式，确定每个指标的得分率；根据标杆分数和得分率，应用预设的层级评分公式和终端性能评估公式，确定第一指标对应的模型。

本申请实施例中，可以基于机器学习算法的特征重要性计算功能客观评估每个终端指标项的重要性。

示例性的，用随机森林模型训练已知的质差质优的5G终端正负样本，将每个指标作为样本特征，按每个小区每个5G终端作为一条样本，当5G终端在该小区为质优时标签为1，当5G终端在该小区为质差时标签为0，生成训练样本集。将训练样本集输入随机森林模型进行训练，输出每个特征的重要性值(0到1之间的小数)乘以1000作为各项指标的标杆分数记做P_d，k，其中d为评估维度，k为评估维度上的指标项，例如：

P_{终端能力，MIMO能力}＝30

其中，P_{终端能力，MIMO能力}表示终端能力维度下的MIMO能力指标的标杆分数(满分)是30分。

可以理解的是，计算各指标的标杆分数的方法也可以根据实际场景包括其他内容，本申请实施例中对此不做限定。

可以理解的是，5G终端性能评估的思路实现不仅限于本申请实施例中涉及的Hadoop及MapReduce，也适用其他的大数据计算平台框架，本申请实施例中对此不做限定。

示例性的，图2为本申请实施例提供的一种基于MapReduce计算框架得到5G终端的目标性能计算结果的流程示意图。如图2所示，该流程可以包括如下步骤：

S201、构建5G终端评估体系，采集终端指标。

S202、建立5G终端性能评分任务的计算框架。

S203、根据MapReduce计算框架，建立5G终端性能评分的各计算子任务。

本申请实施例中，将5G终端的目标性能计算拆分成5项map计算子任务，包括：终端性能标杆Map子任务、终端能力指标Map子任务、语音业务感知指标Map子任务、接入保持指标Map子任务和用户体验指标Map子任务，以及1项Reduce计算子任务(或称为5G终端的目标终端性能计算子任务)。

S204、根据5G终端子任务进行MapReduce计算。

本申请实施例中，具体每个子任务的计算流程可以如图3所示，

S301、生成key-value键值对。

本申请实施例中，生成key-value键值对<5G终端品牌标识，(终端性能标杆、终端的能力指标、语音业务感知、接入保持指标、用户体验指标)>，其中key为5G终端品牌标识，具有唯一性，value包含全网每个小区下所有该key类型的终端的能力指标、语音业务感知、接入保持指标、用户体验指标。

S302、根据不同的map功能拆分value值，生成map输入参数。

本申请实施例中，根据字段顺序解析value值，终端的评估指标项根据不同map子任务计算目标的不同来切分，形成各map子任务的输入参数，由各子任务进行循环计算。例如，终端能力子任务的输入是终端品牌和终端能力相关的参数，如键值对<5G终端品牌标识，终端的能力指标>。

S303、计算各指标map子任务。

本申请实施例中，每个map子任务计算结果以字符串类型串联形成key-value键值对；key为5G终端品牌标识，value为计算结果，包括每个品牌终端的终端性能标杆P_d,k和对应指标的得分率f(x_k)。

S304、计算最终5G终端性能Reduce子任务。

本申请实施例中，将5个map子任务生成的key-value键值对输入Reduce函数计算最终5G终端性能评分，对每个品牌终端在四个指标维度上的评估得分F_d整合汇总得到Q_t。

基于此，本申请实施例对全网海量小区进行终端大数据分析，规避了数据量不足和局部网络质差栅格的影响，节省了栅格和得分校正等相关计算的开销；本申请实施例除了使用终端侧性能指标外还使用了终端自身的能力指标等指标，评估维度更全面；本申请实施例通过机器学习的方法训练样本数据根据特征重要性获得客观的指标标杆分数，通过挖掘数据的分布情况确定指标权重值；另外，本申请实施例提供了一种基于Hadoop大数据平台的终端评估分数计算方案。

因此，本申请实施例能够对5G终端进行精准评估，为5G时代的网络、市场等发展提供新的方法，还能够构建5G终端性能评估体系，实现5G终端性能评估的大数据分析；结合机器学习算法进行终端评估，为网络运营智能化转型添砖加瓦。

上面已对本申请实施例的5G终端性能获取方法进行了说明，下面对本申请实施例提供的执行上述5G终端性能获取方法的装置进行描述。本领域技术人员可以理解，方法和装置可以相互结合和引用，本申请实施例提供的5G终端性能获取装置可以执行上述5G终端性能获取方法中的步骤。

图4示出了本申请实施例提供的一种5G终端性能获取装置的结构示意图。

示例性的，以该5G终端性能获取装置为终端设备或应用于终端设备中的芯片或芯片系统为例，该处理单元用于支持5G终端性能获取装置执行上述实施例中的处理步骤。

在一种可能的实现方式中，该5G终端性能获取装置可以包括：存储单元。其中，存储单元可以包括一个或者多个存储器，存储器可以是一个或者多个设备、电路中用于存储程序或者数据的器件。

存储单元可以独立存在，通过通信总线与处理单元相连。存储单元也可以和处理单元集成在一起。

以5G终端性能获取装置可以是本申请实施例中的终端设备的芯片或芯片系统为例，存储单元可以存储终端设备的方法的计算机执行指令，以使处理单元执行上述实施例中终端设备的方法。存储单元可以是寄存器、缓存或者随机存取存储器(random accessmemory，RAM)等，存储单元可以和处理单元集成在一起。存储单元可以是只读存储器(read-only memory，ROM)或者可存储静态信息和指令的其他类型的静态存储设备，存储单元可以与处理单元相独立。

示例性的，处理单元，用于获取目标5G终端的终端能力指标、语音业务感知指标、接入保持指标和用户体验指标；其中，终端能力指标用于表示目标5G终端所支持的功能，语音业务感知指标用于表示目标5G终端对语音业务的处理能力，接入保持指标用于表示目标5G终端接入网络的情况，用户体验指标用于表示目标5G终端处理用户指令的能力；处理单元，用于分别利用终端能力指标、语音业务感知指标、接入保持指标和用户体验指标各自对应的模型，计算终端能力指标、语音业务感知指标、接入保持指标和用户体验指标各自对应的性能计算结果；处理单元，用于将终端能力指标、语音业务感知指标、接入保持指标和用户体验指标各自对应的性能计算结果输入终端性能计算模型，得到目标5G终端的目标性能计算结果。

可选的，终端能力指标包括下述的一种或多种：上行非连续调度能力指标、天线选择能力指标、上下行DMRS Type能力指标、MIMO能力指标、上下行支持256QAM能力指标、en-DC双连接能力指标、CA能力指标、csi-report framework能力指标、DRX能力指标、终端ANR支持能力指标、终端支持带宽能力指标、SA指标、NSA指标或SA-NSA指标；语音业务感知指标包括下述的一种或多种：语音接通率指标、语音掉话率指标或语音接通时延指标；接入保持指标包括下述的一种或多种：控制面接入性指标、用户面接入性指标、业务掉线率指标、切换成功率指标或NSA终端在gNB的E-RAB掉线率指标；用户体验指标包括下述的一种或多种：终端侧RTT指标、TCP三次握手指标、下行TCP掉线率指标、页面响应时延指标、页面显示成功率指标、视频有效下载速率指标、视频初始缓存时延指标、即时通信业务时延指标、TOP3游戏业务时延指标或TOP3游戏终端侧上行TCP丢包率指标。

可选的，终端能力指标、语音业务感知指标、接入保持指标和用户体验指标中涉及成功率类指标得分率满足下述公式：

其中，x_i为目标5G终端的成功率类指标i的值，x_i，avg为所有5G终端成功率类指标i的平均值，x_i，max为所有5G终端成功率类指标i的最大值。

可选的，终端能力指标、语音业务感知指标、接入保持指标和用户体验指标中涉及掉线率、时延类指标得分率满足下述公式：

其中，x_j为目标5G终端的掉线率和时延类指标j的值，x_j，avg为所有5G终端掉线率和时延类指标j的平均值，x_j，min为所有5G终端掉线率和时延类指标j的最小值。

可选的，目标性能计算结果与终端能力指标、语音业务感知指标、接入保持指标和用户体验指标各自对应的性能计算结果之间满足下述公式：

Q_t＝F_终端能力+F_语音感知+F_接入保持+F_用户体验

其中，Q_t为目标5G终端的目标性能计算结果，F_终端能力为终端能力指标，F_语音感知为语音业务感知指标，F_接入保持为接入保持指标，F_用户体验为用户体验指标。

可选的，处理单元，还用于应用Hadoop大数据平台采集全网各小区中5G终端的历史指标数据；处理单元，具体用于根据历史指标数据，应用随机森林模型训练建立终端能力指标、语音业务感知指标、接入保持指标和用户体验指标各自对应的模型、和终端性能计算模型。

可选的，处理单元，具体用于获取第一终端的指标数据中的第一指标；其中，第一终端为全网各小区中5G终端的任一5G终端；第一指标为终端能力指标、语音业务感知指标、接入保持指标或用户体验指标的任一指标；根据第一指标和预设的指标阈值，确定第一指标的第一标签；根据第一标签，确定所有全网各小区中每个5G终端的每个指标的标签；根据每个指标的标签，生成训练样本集；根据训练样本集，应用随机森林模型，确定每个指标的标杆分数；根据指标数据，应用预设的指标类型得分率公式，确定每个指标的得分率；根据标杆分数和得分率，应用预设的层级评分公式和终端性能评估公式，确定第一指标对应的模型。

在一种可能的实现方式中，5G终端性能获取装置还可以包括：通信单元。其中，通信单元用于支持5G终端性能获取装置与其它设备交互。示例性的，当该5G终端性能获取装置是终端设备时，该通信单元可以是通信接口或接口电路。当该5G终端性能获取装置是终端设备内的芯片或芯片系统时，该通信单元可以是通信接口。例如通信接口可以为输入/输出接口、管脚或电路等。

本实施例的装置对应地可用于执行上述方法实施例中执行的步骤，其实现原理和技术效果类似，此处不再赘述。

根据本申请实施例的另一个方面，本申请实施例还提供了一种电子设备，包括：存储器，处理器；存储器用于存储处理器可执行指令的存储器；其中，当执行存储器中的指令时，处理器被配置为实现如上述任一实施例的方法。

示例性的，图5为本申请实施例提供的一种电子设备的结构示意图。

如图5所示，该电子设备包括存储器和处理器，该电子设备还可以包括通信接口和总线，其中，处理器、通信接口和存储器通过总线连接；处理器用于执行存储器中存储的可执行模块，例如计算机程序。

其中，存储器可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。

总线可以是工业标准体系结构(industry standard architecture，ISA)总线、外设部件互联标准(peripheral component interconnect，PCI)总线或扩展工业标准结构(extended industry standard architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。

其中，存储器用于存储程序，处理器在接收到执行指令后，执行程序，前述本申请实施例任一实施例揭示的方法可以应用于处理器中，或者由处理器实现。

处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

根据本申请实施例的另一个方面，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现如上任一实施例的方法。

读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

还应理解，在本公开各实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

以上，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种5G终端性能获取方法，其特征在于，包括：

获取目标5G终端的终端能力指标、语音业务感知指标、接入保持指标和用户体验指标；其中，所述终端能力指标用于表示所述目标5G终端所支持的功能，所述语音业务感知指标用于表示所述目标5G终端对语音业务的处理能力，所述接入保持指标用于表示所述目标5G终端接入网络的情况，所述用户体验指标用于表示所述目标5G终端处理用户指令的能力；

分别利用所述终端能力指标、所述语音业务感知指标、所述接入保持指标和所述用户体验指标各自对应的模型，计算所述终端能力指标、所述语音业务感知指标、所述接入保持指标和所述用户体验指标各自对应的性能计算结果；

将所述终端能力指标、所述语音业务感知指标、所述接入保持指标和所述用户体验指标各自对应的性能计算结果输入终端性能计算模型，得到所述目标5G终端的目标性能计算结果。

2.根据权利要求1所述的方法，其特征在于，

所述终端能力指标包括下述的一种或多种：上行非连续调度能力指标、天线选择能力指标、上下行解调参考信号DMRS Type能力指标、多输入多输出MIMO能力指标、上下行支持256正交振幅调制QAM能力指标、以EUTRA为主NR为辅的双连接en-DC能力指标、载波聚合CA能力指标、信道状态信息CSI能力指标、非连续接收DRX能力指标、自动邻区关系ANR支持能力指标、终端支持带宽能力指标、独立组网SA指标、非独立组网NSA指标或SA-NSA指标；

所述语音业务感知指标包括下述的一种或多种：语音接通率指标、语音掉话率指标或语音接通时延指标；

所述接入保持指标包括下述的一种或多种：控制面接入性指标、用户面接入性指标、业务掉线率指标、切换成功率指标或NSA终端在基站gNB的演进的无线接入承载E-RAB掉线率指标；

所述用户体验指标包括下述的一种或多种：终端侧往返时延RTT指标、TCP传输控制协议三次握手指标、下行TCP掉线率指标、页面响应时延指标、页面显示成功率指标、视频有效下载速率指标、视频初始缓存时延指标、即时通信业务时延指标、排名前3TOP3游戏业务时延指标或TOP3游戏终端侧上行TCP丢包率指标。

3.根据权利要求2所述的方法，其特征在于，所述终端能力指标、所述语音业务感知指标、所述接入保持指标和所述用户体验指标中涉及成功率类指标得分率满足下述公式：

其中，x_i为所述目标5G终端的成功率类指标i的值，x_i，avg为所有5G终端成功率类指标i的平均值，x_i，max为所述所有5G终端成功率类指标i的最大值。

4.根据权利要求2所述的方法，其特征在于，所述终端能力指标、所述语音业务感知指标、所述接入保持指标和所述用户体验指标中涉及掉线率、时延类指标得分率满足下述公式：

其中，x_j为所述目标5G终端的掉线率和时延类指标j的值，x_j，avg为所有5G终端掉线率和时延类指标j的平均值，x_j，min为所述所有5G终端掉线率和时延类指标j的最小值。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述目标性能计算结果与所述终端能力指标、所述语音业务感知指标、所述接入保持指标和所述用户体验指标各自对应的性能计算结果之间满足下述公式：

Q_t＝F_终端能力+F_语音感知+F_接入保持+F_用户体验

其中，Q_t为所述目标5G终端的目标性能计算结果，F_终端能力为所述终端能力指标，F_语音感知为所述语音业务感知指标，F_接入保持为所述接入保持指标，F_用户体验为所述用户体验指标。

6.根据权利要求1-4任一项所述的方法，其特征在于，还包括：

应用Hadoop大数据平台采集全网各小区中5G终端的历史指标数据；

根据所述历史指标数据，应用随机森林模型训练建立所述终端能力指标、所述语音业务感知指标、所述接入保持指标和所述用户体验指标各自对应的模型、和所述终端性能计算模型。

7.根据权利要求6所述的方法，其特征在于，所述根据所述历史指标数据，应用随机森林模型训练建立所述终端能力指标、所述语音业务感知指标、所述接入保持指标和所述用户体验指标各自对应的模型、和所述终端性能计算模型，包括：

获取第一终端的指标数据中的第一指标；其中，所述第一终端为所述全网各小区中5G终端的任一5G终端；所述第一指标为所述终端能力指标、所述语音业务感知指标、所述接入保持指标或所述用户体验指标的任一指标；

根据所述第一指标和预设的指标阈值，确定所述第一指标的第一标签；

根据所述第一标签，确定所有全网各小区中每个5G终端的每个指标的标签；

根据所述每个指标的标签，生成训练样本集；

根据所述训练样本集，应用所述随机森林模型，确定所述每个指标的标杆分数；

根据所述指标数据，应用预设的指标类型得分率公式，确定所述每个指标的得分率；

根据所述标杆分数和所述得分率，应用预设的层级评分公式和终端性能评估公式，确定所述第一指标对应的模型。

8.一种5G终端性能获取装置，其特征在于，包括：

处理单元，用于获取目标5G终端的终端能力指标、语音业务感知指标、接入保持指标和用户体验指标；其中，所述终端能力指标用于表示所述目标5G终端所支持的功能，所述语音业务感知指标用于表示所述目标5G终端对语音业务的处理能力，所述接入保持指标用于表示所述目标5G终端接入网络的情况，所述用户体验指标用于表示所述目标5G终端处理用户指令的能力；

所述处理单元，还用于分别利用所述终端能力指标、所述语音业务感知指标、所述接入保持指标和所述用户体验指标各自对应的模型，计算所述终端能力指标、所述语音业务感知指标、所述接入保持指标和所述用户体验指标各自对应的性能计算结果；

所述处理单元，还用于将所述终端能力指标、所述语音业务感知指标、所述接入保持指标和所述用户体验指标各自对应的性能计算结果输入终端性能计算模型，得到所述目标5G终端的目标性能计算结果。

9.一种电子设备，其特征在于，包括：

存储器，用于存储程序指令；

处理器，用于调用并执行所述存储器中的程序指令，执行如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1-7任一项所述的方法。

Images