CN107155192A - 一种用户体验质量评估方法及装置 - Google Patents

一种用户体验质量评估方法及装置 Download PDF

Info

Publication number
CN107155192A
CN107155192A CN201610118942.9A CN201610118942A CN107155192A CN 107155192 A CN107155192 A CN 107155192A CN 201610118942 A CN201610118942 A CN 201610118942A CN 107155192 A CN107155192 A CN 107155192A
Authority
CN
China
Prior art keywords
evaluation index
value
target cell
calculated
kpi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610118942.9A
Other languages
English (en)
Other versions
CN107155192B (zh
Inventor
余冬喜
石艳
周国豪
周智洪
杨晓玲
戴勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Group Guangdong Co Ltd
Original Assignee
China Mobile Group Guangdong Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Group Guangdong Co Ltd filed Critical China Mobile Group Guangdong Co Ltd
Priority to CN201610118942.9A priority Critical patent/CN107155192B/zh
Publication of CN107155192A publication Critical patent/CN107155192A/zh
Application granted granted Critical
Publication of CN107155192B publication Critical patent/CN107155192B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/04—Arrangements for maintaining operational condition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/0231—Traffic management, e.g. flow control or congestion control based on communication conditions
    • H04W28/0236—Traffic management, e.g. flow control or congestion control based on communication conditions radio quality, e.g. interference, losses or delay

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例公开了一种用户体验质量评估方法，所述方法包括：获取目标小区的各项评估指标的值；根据所述目标小区的各项评估指标的值以及预设的各项评估指标的最优值和最差值，计算得出所述目标小区的各项评估指标的得分；根据所述目标小区的各项评估指标的得分以及各项评估指标的权值，计算得出所述目标小区的用户体验质量评估值；在所述目标小区的用户体验质量评估值小于评估阈值时，获取各项评估指标中得分在劣化得分范围内的评估指标。本发明实施例还公开了一种用户体验质量评估装置。

Description

一种用户体验质量评估方法及装置
技术领域
本发明涉及无线通信领域，尤其涉及一种用户体验质量评估方法及装置。
背景技术
目前，全球移动通信系统(Global System for Mobile Communication，GSM)网络依然是承载用户数量最多的网络，由于GSM网络受限于网络制式和网络容量等因素，使得GSM网络中数据业务用户投诉较多，影响用户体验质量(Quality of Experience，QOE)。
当前，用户投诉较多的问题分别是接入时延大和下载速率低，两者的投诉量分别占到投诉总量的46.67％和30.56％，由此可见，用户体验质量主要体现在接入时延和下载速率上。
目前，只有一小部分地市配备了可以监控接入时延与下载速率的信令平台，该信令平台可以采集到各个小区的下载速率和接入时延；然后，提取下载速率超过第一劣化门限或者接入时延超过第二劣化门限的异常小区；这样，该信令平台就可以监控到下载速率和接入时延劣化的异常小区。
信令平台在监控到下载速率和接入时延劣化的异常小区后，还需要准确定位出现劣化问题的原因，由于在处理以往的用户投诉过程中发现，无线侧的劣化问题造成用户体验质量差占比较大，因此，需要对无线侧进行分析，定位无线侧的劣化问题的原因。信令平台在定位无线侧的劣化问题时，需要先提取异常小区的关键性能指标(Key PerformanceIndicator，KPI)，根据异常小区的KPI，从无线侧的容量、覆盖、干扰和故障等方面进行分析，定位无线侧的劣化问题的原因。
然而，无线侧的KPI较多，影响KPI的因素也较多，导致问题定位周期长，不能及时处理出现劣化的小区。
发明内容
有鉴于此，本发明实施例期望提供一种用户体验质量评估方法及装置，可以快速定位引起用户体验质量变差的问题原因。
为达到上述目的，本发明的技术方案是这样实现的：
本发明提供了一种用户体验质量评估方法，所述方法包括：
获取目标小区的各项评估指标的值；
根据所述目标小区的各项评估指标的值以及预设的各项评估指标的最优值和最差值，计算得出所述目标小区的各项评估指标的得分；
根据所述目标小区的各项评估指标的得分以及各项评估指标的权值，计算得出所述目标小区的用户体验质量评估值；
在所述目标小区的用户体验质量评估值小于评估阈值时，获取各项评估指标中得分在劣化得分范围内的评估指标。
在上述方案中，所述获取目标小区的各项评估指标的值包括：
获取各目标小区在相应时刻的各项关键性能指标KPI的值和感知参数的值，所述感知参数为接入时延或者下载速率；
根据各目标小区在相应时刻的各项KPI的值和感知参数的值，计算得出各项KPI的关联系数；
将各项KPI分入相应的感知类别中，从同一感知类别的各项KPI中选出关联系数最高的N个指标作为评估指标，所述N为预设值。
在上述方案中，所述根据各目标小区在相应时刻的各项KPI的值和感知参数的值，计算得出各项KPI的关联系数，包括：
根据各目标小区在相应时刻的各项KPI的值和感知参数的值，利用CORREL函数计算得出各项KPI的关联系数。
在上述方案中，所述计算得出所述目标小区的用户体验质量评估值之前，所述方法还包括：
根据各目标小区的各项评估指标的值，利用熵权法计算得到各项评估指标的权值。
在上述方案中，所述根据各目标小区的各项评估指标的值，利用熵权法计算得到各项评估指标的权值，包括：
根据所述各目标小区的各项评估指标的值，计算各目标小区的各项评估指标的评价值；
根据各目标小区的各项评估指标的评价值，计算得出各目标小区的各项评估指标的比重；
根据各目标小区的各项评估指标的比重，计算得出各项评估指标的信息熵；
根据各项评估指标的信息熵，计算得出各项评估指标的权值。
在上述方案中，所述根据各项评估指标的信息熵，计算得出各项评估指标的权值，包括：
根据各项评估指标的信息熵，计算得出各项评估指标的预估权值；
通过以下公式计算得出第i项评估指标的关联系数的占比Pi：
其中，所述ρi为第i项评估指标的关联系数；所述m为评估指标的项数；所述i、m为大于0的整数；
在Pi-1/m不为0时，获取所述第i项评估指标的权值为：Wi+(Pi-1/m)；
其中，所述Wi为第i项评估指标的预估权值。
在上述方案中，所述获取各项评估指标中得分在劣化得分范围内的评估指标之前，包括：
针对一项评估指标，计算得出各目标小区的一项评估指标的得分，计算所述一项评估指标的平均得分；
根据所述一项评估指标的平均得分计算所述一项评估指标的劣化得分范围；
或者，针对一项评估指标，获取所述一项评估指标的最差值；
根据所述一项评估指标的最差值计算所述一项评估指标的劣化得分范围。
本发明还提供了一种用户体验质量评估装置，所述装置包括：
获取单元，用于获取目标小区的各项评估指标的值；
计算单元，用于根据所述获取单元获取到的所述目标小区的各项评估指标的值以及预设的各项评估指标的最优值和最差值，计算得出所述目标小区的各项评估指标的得分；根据所述目标小区的各项评估指标的得分以及各项评估指标的权值，计算得出所述目标小区的用户体验质量评估值；
所述获取单元，还用于在所述计算单元计算得出的所述目标小区的用户体验质量评估值小于评估阈值时，获取各项评估指标中得分在劣化得分范围内的评估指标。
在上述方案中，所述获取单元包括获取子单元、计算子单元和选择子单元；
所述获取子单元，用于获取各目标小区在相应时刻的各项关键性能指标KPI的值和感知参数的值，所述感知参数为接入时延或者下载速率；
所述计算子单元，用于根据所述获取子单元获取到的各目标小区在相应时刻的各项KPI的值和感知参数的值，计算得出各项KPI的关联系数；
所述选择子单元、用于将所述获取子单元获取到的各项KPI分入相应的感知类别中，从同一感知类别的各项KPI中选出所述计算子单元计算得出的关联系数最高的N个指标作为评估指标，所述N为预设值。
在上述方案中，所述计算子单元，具体用于根据所述获取子单元获取到的各目标小区在相应时刻的各项KPI的值和感知参数的值，利用CORREL函数计算得出各项KPI的关联系数。
在上述方案中，所述计算单元，还用于根据所述获取单元获取到的各目标小区的各项评估指标的值，利用熵权法计算得到各项评估指标的权值。
在上述方案中，所述计算单元，具体用于根据所述获取单元获取到的所述各目标小区的各项评估指标的值，计算各目标小区的各项评估指标的评价值；根据各目标小区的各项评估指标的评价值，计算得出各目标小区的各项评估指标的比重；根据各目标小区的各项评估指标的比重，计算得出各项评估指标的信息熵；根据各项评估指标的信息熵，计算得出各项评估指标的权值。
在上述方案中，所述计算单元，具体用于根据各项评估指标的信息熵，计算得出各项评估指标的预估权值；通过以下公式计算得出第i项评估指标的关联系数的占比Pi：
其中，所述ρi为第i项评估指标的关联系数；所述m为评估指标的项数；所述i、m为大于0的整数；
在Pi-1/m不为0时，获取所述第i项评估指标的权值为：Wi+(Pi-1/m)；其中，所述Wi为第i项评估指标的预估权值。
在上述方案中，所述计算单元，还用于针对一项评估指标，计算得出各目标小区的一项评估指标的得分，计算所述一项评估指标的平均得分；根据所述一项评估指标的平均得分计算所述一项评估指标的劣化得分范围；
或者，所述获取单元，还用于针对一项评估指标，获取所述一项评估指标的最差值；
所述计算单元，还用于根据所述获取单元获取到的所述一项评估指标的最差值计算所述一项评估指标的劣化得分范围。
本发明实施例提供了一种用户体验质量评估方法及装置，所述评估装置首先获取目标小区的各项评估指标的值；然后，根据所述目标小区的各项评估指标的值以及预设的各项评估指标的最优值和最差值，计算得出所述目标小区的各项评估指标的得分；接下来，根据所述目标小区的各项评估指标的得分以及各项评估指标的权值，计算得出所述目标小区的用户体验质量评估值；最后，在所述目标小区的用户体验质量评估值小于评估阈值时，获取各项评估指标中得分在劣化得分范围内的评估指标，该评估指标的值即为造成该目标小区用户体验质量变差的原因，这样就可以快速定位出引起用户体验质量变差的问题原因，方便用户及时处理出现问题的小区。
附图说明
图1为本发明实施例1提供的一种用户体验质量评估方法的流程示意图；
图2为本发明实施例2提供的一种用户体验质量评估装置的结构框图；
图3为本发明实施例2提供的一种用户体验质量评估装置中获取单元的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
实施例1
本实施例提供了一种用户体验质量评估方法，如图1所示，本实施例方法的处理流程包括以下步骤：
步骤101、获取目标小区的各项评估指标的值。
由于下载速率和接入时延是影响数据业务用户体验质量的两个主要方面，因此，分别从下载速率和接入时延两个方面来确定无线侧的KPI所包括的各项指标。
在下载速率方面，通过对整个GSM网络中下载速率最低的预设数目的第一设备小区和相同预设数目的第二设备小区的分析可知，造成这些小区下载速率低的主要原因在于增强型全球分组无线业务(Enhanced Global Racket Radio Service，EGPRS)分组数据信道(EGPRS Packet Data Channel，EPDCH)资源不足；其中，第一设备小区主要是由于EPDCH复用度高、增强型数据速率GSM演进技术(Enhanced Data Rate for GSM Evolution，EDGE)信道配置不足，而导致EPDCH复用度高的原因主要有：业务量大、小区传输不够，numreqegprsbpc(当前的信道组中支持EGPRS的时隙的数量)配置低、载频配置低等；第二设备小区主要是由于无空闲时隙导致的Abis接口申请失败比例高、高编码比例低、EGPRS信道配置太少或没有配置EGPRS信道。
在接入时延方面，经过对无线侧接入时延大的小区的分析可知，造成接入时延大的主要原因在于下行EPDCH复用度高、小区干扰系数高。
这里需要说明的，上述仅仅是举例给出造成下载速率低和接入时延大的部分原因，并不是全部原因。这里还需要说明的，本实施例中的下载速率为GSM网络中移动终端数据业务的平均下载速率，该数据业务不包括数据流量小于100K的会话。
在本实施例中，无线侧的KIP包括上行临时块流(Temporary Block Flow，TBF)建立成功率、下行TBF建立成功率、分组数据信道(Packet Data Channel，PDCH)分配成功率、干扰系数、干扰指数、EDGE上行逻辑链路控制(Logical Link Control，LLC)层速率、EDGE下行LLC层速率、下行EPDCH复用度、EDGE上行无线链路控制(Radio Link Control，RLC)重传率、EDGE下行RLC重传率、上行TBF掉线率、下行TBF掉线率、清空在用的PDCH数。当然，无线侧的KPI也可以根据需要设置为无线侧的其他指标，本发明中不做具体限定。
由于无线侧的KPI中不是所有的指标均与接入时延或者下载速率密切关联，因此，所述评估装置首先需要从无线侧的KPI中筛选出与接入时延或者下载速率密切关联的评估指标，然后获取目标小区的各项评估指标的值。
可选的，所述评估装置从无线侧的KPI中筛选出与接入时延或者下载速率密切关联的评估指标，包括以下步骤：
步骤A1、获取各目标小区在相应时刻的各项关键性能指标KPI的值和感知参数的值，所述感知参数为接入时延或者下载速率。
所述评估装置首先需要获取各目标小区在相应时刻的各项KPI的值和感知参数的值来计算各项KPI和感知参数的关联程度，其中，所述感知参数为接入时延或者下载速率。
步骤A2、根据各目标小区在相应时刻的各项KPI的值和感知参数的值，计算得出各项KPI的关联系数。
所述评估装置根据各目标小区在相应时刻的各项KPI的值和感知参数的值，通过统计函数计算得出各项KPI的关联系数；可选的，所述统计函数可以为CORREL函数，具体包括：
通过以下公式计算得出第i项评估指标的关联系数ρi：
其中，所述Xi为第i项评估指标的平均值，所述Y为感知参数的平均值，所述i为大于0的整数。
更为具体的，可以通过以下公式分别计算出第i项评估指标的平均值Xi和感知参数的平均值Y：
其中，所述KPIijk为第k时刻第j个目标小区的第i个KPI的值；Tjk为第k时刻第j个目标小区的感知参数；所述n为目标小区的个数，所述l为时刻的个数，所述i、j、k、n和l均为大于0的整数。
示例的，通过步骤A2计算得出的各项KPI的关联系数如表1所示。
KPI 关联系数
上行TBF建立成功率 0.2677
下行TBF建立成功率 0.1349
PDCH分配成功率 0.1041
干扰系数 0.3761
干扰指数 0.2061
EDGE上行LLC层速率 0.6239
EDGE下行LLC层速率 0.3276
下行EPDCH复用度 0.5957
EDGE上行RLC重传率 0.3871
EDGE下行RLC重传率 0.2761
上行TBF掉线率 0.2853
下行TBF掉线率 0.2456
清空在用的PDCH数 0.1769
表1
若KPI的关联系数越趋于1，表明该KPI和感知参数的关联程度越大，该KPI对感知参数的影响也就越大；若KPI的关联系数越趋于0，表明该KPI和感知参数的关联程序越小，该KPI对感知参数的影响也就越小。
步骤A3、将各项KPI分入相应的感知类别中，从同一感知类别的各项KPI中选出关联系数最高的N个指标作为评估指标，所述N为预设值。
所述评估装置在计算出各项KPI的关联系数之后，首先将各项KPI分入相应的感知类别中，所述感知类别为用户的数据业务用户体验质量的类别；然后，分别从同一感知类别的各项KPI中选出关联系数最高的N个指标作为评估指标，所述N为预设值，所述预设值为大于0的整数。这样，就可以筛选出与感知参数密切关联的评估指标。
示例的，根据用户上网的流程，可将感知类别分为用户登录感知、上网速率感知和上网持续感知；根据各项KPI与感知类别的关系，将KPI中的上行TBF建立成功率、下行TBF建立成功率、PDCH分配成功率、干扰系数和干扰指数分入网络登录感知中，将EDGE上行LLC层速率、EDGE下行LLC层速率、下行EPDCH复用度、EDGE上行RLC重传率和EDGE下行RLC重传率分入上网速率感知中，将上行TBF掉线率、下行TBF掉线率和清空在用的PDCH数分入上网持续感知中；从网络登录感知中选出关联系数最高的两个指标作为评估指标，分别为干扰系数和上行TBF建立成功率，从上网速率感知中选出关联系数最高的两个指标作为评估指标，分别为EDGE上行LLC层速率和下行EPDCH复用度，从上网持续感知中选出关联系数最高的一个指标作为评估指标，即上行TBF掉线率，如表2所示。
表2
步骤102、根据所述目标小区的各项评估指标的值以及预设的各项评估指标的最优值和最差值，计算得出所述目标小区的各项评估指标的得分。
通过大量的模拟拨打测试，并结合日常的考核要求，在所述评估装置中预先设定各项评估指标的最优值和最差值。示例的，在实际中，上行TBF建立成功率均的值大多在98％以上，很多小区的上行TBF建立成功率为100％，因此，可以预设上行TBF建立成功率的最优值和最差值分别为100％和80％，示例的，预设上述筛选出的各项评估指标的最优值和最差值如表3所示。
评估指标 最优值 最差值
上行TBF建立成功率 100％ 80％
下行EPDCH复用度 1 10
EDGE上行LLC层速率 50kbps 5kbps
上行TBF掉线率 0％ 10％
干扰系数 0 100
表3
当然，各项评估指标的最优值和最差值也可以根据不同的地市、不同的区域、不同的环境、不同的考核标准来灵活设置，本发明中不做具体限定。
在本实施例中，所述评估装置根据所述目标小区的各项评估指标的值以及预设的各项评估指标的最优值和最差值，计算得出所述目标小区的各项评估指标的得分，包括：
对于评估指标的值越大越好的评估指标，如上行TBF建立成功率、EDGE上行LLC层速率等，可以通过以下公式计算得出第j个目标小区的第i项评估指标的得分Fij：
对于评估指标的值越小越好的评估指标，如下行EPDCH复用度、上行TBF掉线率和干扰系数等，可以通过以下公式计算得出第j个目标小区的第i项评估指标的得分Fij：
其中，所述rij'为第j个目标小区的第i项评估指标的值；所述maxi为预设的第i项评估指标的最优值；所述mini为预设的第i项评估指标的最差值；所述Fmax为预设的最高得分；所述Fmin为预设的最低得分；所述i和j均为大于0的整数。
以评估指标的值越大越好的评估指标为例，当第j个目标小区的第i项评估指标的值大于或等于第i项评估指标的最优值时，第j个目标小区的第i项评估指标的得分为预设的最高得分；当第j个目标小区的第i项评估指标的值小于或等于第i项评估指标的最差值时，第j个目标小区的第i项评估指标的得分为预设的最低得分；当第j个目标小区的第i项评估指标的值在第i项评估指标的最优值和最差值之间时，第j个目标小区的第i项评估指标的得分在第i项评估指标的最高得分和最低得分之间线性取值获得相应的得分。所述预设的最低得分和预设的最高得分可以为任意数值，在本实施例中，以预设的最低得分为0，预设的最高得分为100为例来进行说明。
示例的，如果第j个目标小区的上行TBF建立成功率的值为100％时，第j个目标小区的上行TBF建立成功率的得分为100；如果第j个目标小区的上行TBF建立成功率的值为80％时，第j个目标小区的上行TBF建立成功率的得分为0；如果第j个目标小区的上行TBF建立成功率的值为95％，在上行TBF建立成功率的最优值100％和最差值80％至之间，则第j个目标小区的上行TBF建立成功率的得分为100*(95％-80％)/(100％-80％)，即75。
步骤103、根据所述目标小区的各项评估指标的得分以及各项评估指标的权值，计算得出所述目标小区的用户体验质量评估值。
在本实施例中，所述评估装置根据所述目标小区的各项评估指标的得分以及各项评估指标的权值，计算得出各个目标小区的用户体验质量评估值，包括：
通过以下公式计算得出第j个目标小区的用户体验质量评估值QOEj：
其中，所述Fij为第j个目标小区的第i项评估指标的得分；所述Wi为第i项评估指标的权值；所述m为评估指标的项数；所述i、j和m均为大于0的整数。
这里，各项评估指标的权值可以为任意数值，在本实施例中，以各项评估指标的权值之和为1为例来进行说明。
可选的，所述评估装置可以根据各目标小区的各项评估指标的值，利用熵权法计算得到各项评估指标的权值，包括以下步骤：
步骤B1、根据所述各目标小区的各项评估指标的值，计算各目标小区的各项评估指标的评价值。
对于评估指标的值越大越好的评估指标，如上行TBF建立成功率、EDGE上行LLC层速率等，可以通过以下公式计算得出第j个目标小区的第i项评估指标的评价值rij：
rij＝(rij'-min(rij'))/(max(rij')-min(rij'))；
对于评估指标的值越小越好的评估指标，如如下行EPDCH复用度、上行TBF掉线率和干扰系数等，可以通过以下公式计算得出第j个目标小区的第i项评估指标的评价值rij：
rij＝(max(rij')-rij')/(max(rij')-min(rij'))；
其中，所述rij'为第j个目标小区的第i项评估指标的值；所述max(rij')为第i项评估指标的最大值；所述min(rij')为第i项评估指标的最小值；所述i、j为大于0的整数。
步骤B2、根据各目标小区的各项评估指标的评价值，计算得出各目标小区的各项评估指标的比重。
更为具体的，可以通过以下公式计算得出第j个目标小区的第i项评估指标的比重pij：
其中，所述rij为第j个目标小区的第i项评估指标的评价值；所述n为目标小区的个数；所述i、j、n为大于0的整数。
步骤B3、根据各目标小区的各项评估指标的比重，计算得出各项评估指标的信息熵。
更为具体的，可以通过以下公式计算得出第i项评估指标的信息熵Hi：
其中，所述pij为第j个目标小区的第i项评估指标的比重；所述k为1/lnn；所述n为目标小区的个数；所述i、j、n为大于0的整数。
如果第i项评估指标的信息熵的值越小，表明第i项评估指标提供的信息量越多，作用越大，其权值应该越大；如果第i项评估指标的信息熵的值越大，表明第i项评估指标提供的信息量越少，作用越小，其权值应该越大。
步骤B4、根据各项评估指标的信息熵，计算得出各项评估指标的权值。
更为具体的，可以通过以下公式计算得出第i项评估指标的权值Wi：
其中，所述Hi为第i项评估指标的信息熵；所述m为评估指标的项数；所述i、m为大于0的整数。
优选的，为了得出较为客观的权值，所述评估装置根据各项评估指标的信息熵，计算得出各项评估指标的权值包括以下步骤：
步骤b1、根据第i项评估指标的关联系数，通过以下公式计算得出第i项评估指标的关联系数的占比Pi：
其中，所述ρi为第i项评估指标的关联系数；所述m为评估指标的项数；所述i、m为大于0的整数。
步骤b2、在Pi-1/m不为0时，获取所述第i项评估指标的权值为：Wi+(Pi-1/m)；其中，所述Wi为第i项评估指标的预估权值。
在Pi-1/m为0时，所述第i项评估指标的权值不需要修正，仍然为Wi。
当然，各项评估指标的权值也可以通过其他统计学方法计算得出，如专家咨询法、层次分析法(Analytical Hierarchy Process，AHP)等，本发明中不做具体限定。
可选的，为了使各项评估指标的权值更加准确，可以获取各目标小区在相应时刻的各项评估指标的值，分别计算各目标小区在相应时刻的各项评估指标的权值，再将各项评估指标的平均权值作为各项评估指标的权值，示例的，目标小区在T1、T2、T3、T4、T5、T6时刻各项评估指标的权值以及各项评估指标的平均权值如表4所示。
表4
在计算得出各个目标小区的用户体验质量评估值后，所述评估装置可根据该用户体验质量评估值所属的数值区间，判断该用户体验质量评估值对应的用户体验质量评价。其中，所述数值区间是根据用户体验质量评估值的取值范围来划分；所述用户体验质量评价用于表示用户体验质量的好坏。
由于各项评估指标的得分采用的是百分制并且各项评估指标的权值之和为1，因此，各个目标小区的用户体验质量评估值也为百分制。示例的，将用户体验质量评估值的取值范围[0，100]划分为0≤QOEj＜55、55≤QOEj＜65、65≤QOEj＜75、75≤QOEj＜85和85≤QOEj≤100五个数值范围，对应的用户体验质量评价分别为很差、差、一般、好和很好，具体如表5所示。
表5
步骤104、在所述目标小区的用户体验质量评估值小于评估阈值时，获取各项评估指标中得分在劣化得分范围内的评估指标。
在所述目标小区的用户体验质量评估值大于或等于评估阈值时，表明用户体验质量良好，数据业务用户的接入时延和下载速率没有出现问题；在所述目标小区的用户体验质量评估值小于评估阈值时，表明用户体验质量变差，数据业务用户的接入时延或下载速率出现问题，这时，所述评估装置需要获取各项评估指标中得分在劣化得分范围内的评估指标，从而可快速定位到引起用户体验质量变差的问题原因，及时对该问题进行处理。
示例的，假设评估阈值为65，当QOEj＝90时，第j个目标小区的用户体验质量值90大于评估阈值65，通过表2可知，用户体验质量很好，数据业务用户的接入时延和下载速率没有出现问题；当QOEj＝60时，第j个目标小区的用户体验质量值60小于评估阈值65，通过表2可知，用户体验质量差，数据业务用户的接入时延和下载速率出现问题，这时，所述评估装置需要获取各项评估指标中得分在劣化得分范围内的评估指标，若下行EPDCH复用度的得分75在上行TBF建立成功率的劣化得分范围[65，75]内，干扰系数的得分55在干扰系数的劣化得分范围[55，65]内，而其他评估指标没有在相应的劣化得分范围内，则表明下行EPDCH复用度和干扰系数是使用户体验质量差的评估指标，所述评估装置获取引起用户体验质量变差的问题原因：下行EPDCH复用度高和干扰系数高，并及时对该问题进行处理。
示例的，为了解决下行EPDCH复用度高的问题，可对该小区进行话务均衡及进行1块数据业务载频扩容，载频扩容后，EDGE信道从16增加到24，下行EPDCH复用度降低到3以下。下行E-PDCH复用度由4下降到2.39，下降约40.25％；接入时延由1188ms下降至884ms，下降约25.59％；EDGE下行LLC层速率由95kbps提升到128kbps，提升约34.74％；为了解决干扰系数高的问题，可以对对小区干扰频点进行更换，更换后，小区干扰系数由3.25下降到1.82，下降约44％；EDGE下行LLC层速率由101kbps提升到123kbps，提升约21.78％，接入时延由1430ms下降至651ms，下降约54.48％。
这里需要说明的是，各项评估指标中的每项评估指标均具有一个劣化得分范围，在本实施例中，所述获取各项评估指标中得分在劣化得分范围内的评估指标之前，包括：
针对一项评估指标，计算得出各目标小区的一项评估指标的得分，计算所述一项评估指标的平均得分；根据所述一项评估指标的平均得分计算所述一项评估指标的劣化得分范围；其中，所述一项评估指标的劣化得分范围的下限可以为预设的最低得分，所述一项评估指标的劣化得分范围的上限可以为所述一项评估指标的平均得分与第一预设值的差；其中，所述第一预设值可以为预设的最低得分和所述一项评估指标的平均得分之间的任意得分，当然，所述第一预设值也可以根据需要进行设定。
示例的，第1、2、3和4个目标小区的下行EPDCH复用度的得分分别为95、100、75、70，则4个目标小区的下行EPDCH复用度的平均得分为85，若预设的最低得分为0，第一预设值设定为5，则下行EPDCH复用度的劣化得分范围为(0，85-5)，即(0，80)。
或者，针对一项评估指标，获取所述一项评估指标的最差值；根据所述一项评估指标的最差值计算所述一项评估指标的劣化得分范围；其中，所述一项评估指标的劣化得分范围的下限可以为预设的最低得分；对于评估指标的值越大越好的一项评估指标，所述一项评估指标的劣化得分范围的上限可以为预设的所述一项评估指标的最差值与第二预设值的和对应的得分，其中，所述第二预设值下限可以为预设的所述一项评估指标的最差值，所述第二预设值上限可以为预设的所述一项评估指标的最优值与最差值的差，当然，所述第二预设值也可以根据需要进行设定；对于评估指标的值越小越好的一项评估指标，所述一项评估指标的劣化得分范围的上限可以为预设的所述一项评估指标的最差值与第二预设值的差对应的得分；其中，所述第二预设值可以为预设的所述一项评估指标的最优值和最差值之间的任意值，当然，所述第二预设值也可以根据需要进行设定。
示例的，上行TBF建立成功率的最差值为80％，第二预设值设定为15％，则下行EPDCH复用度的劣化得分范围为(0，100*((80％+15％)-80％)/(100％-80％))，即(0，75)；下行EPDCH复用度的最差值为10，设定的第二预设值为3，则下行EPDCH复用度的劣化得分范围为(0，100*(3-10)/(1-10))，即(0，78)。
实施例2
本发明实施例还提供了一种用户体验质量评估装置，如图2所示，所述装置包括：获取单元201和计算单元202；其中，
所述获取单元201，用于获取目标小区的各项评估指标的值；
所述计算单元202，用于根据所述获取单元201获取到的所述目标小区的各项评估指标的值以及预设的各项评估指标的最优值和最差值，计算得出所述目标小区的各项评估指标的得分；根据所述目标小区的各项评估指标的得分以及各项评估指标的权值，计算得出所述目标小区的用户体验质量评估值；
所述获取单元201，还用于在所述计算单元202计算得出的所述目标小区的用户体验质量评估值小于评估阈值时，获取各项评估指标中得分在劣化得分范围内的评估指标。
可选的，如图3所示，所述获取单元201包括获取子单元2011、计算子单元2012和选择子单元2013；其中，
所述获取子单元2011，用于获取各目标小区在相应时刻的各项关键性能指标KPI的值和感知参数的值，所述感知参数为接入时延或者下载速率；
所述计算子单元2012，用于根据所述获取子单元2011获取到的各目标小区在相应时刻的各项KPI的值和感知参数的值，计算得出各项KPI的关联系数；
所述选择子单元2013、用于将所述获取子单元2011获取到的各项KPI分入相应的感知类别中，从同一感知类别的各项KPI中选出所述计算子单元2012计算得出的关联系数最高的N个指标作为评估指标，所述N为预设值。
可选的，所述计算子单元2012，具体用于根据所述获取子单元2011获取到的各目标小区在相应时刻的各项KPI的值和感知参数的值，利用CORREL函数计算得出各项KPI的关联系数。
可选的，所述计算单元202，还用于根据所述获取单元201获取到的各目标小区的各项评估指标的值，利用熵权法计算得到各项评估指标的权值。
可选的，所述计算单元202，具体用于根据所述获取单元201获取到的所述各目标小区的各项评估指标的值，计算各目标小区的各项评估指标的评价值；根据各目标小区的各项评估指标的评价值，计算得出各目标小区的各项评估指标的比重；根据各目标小区的各项评估指标的比重，计算得出各项评估指标的信息熵；根据各项评估指标的信息熵，计算得出各项评估指标的权值。
可选的，所述计算单元202，具体用于根据各项评估指标的信息熵，计算得出各项评估指标的预估权值；通过以下公式计算得出第i项评估指标的关联系数的占比Pi：
其中，所述ρi为第i项评估指标的关联系数；所述m为评估指标的项数；所述i、m为大于0的整数；
在Pi-1/m不为0时，获取所述第i项评估指标的权值为：Wi+(Pi-1/m)；其中，所述Wi为第i项评估指标的预估权值。
可选的，所述计算单元202，还用于针对一项评估指标，计算得出各目标小区的一项评估指标的得分，计算所述一项评估指标的平均得分；根据所述一项评估指标的平均得分计算所述一项评估指标的劣化得分范围；
或者，所述获取单元201，还用于针对一项评估指标，获取所述一项评估指标的最差值；
所述计算单元202，还用于根据所述获取单元201获取到的所述一项评估指标的最差值计算所述一项评估指标的劣化得分范围。
在实际应用中，本实施例中所述的获取单元201和计算单元202可以由用户体验质量评估装置上的中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)、调制解调器等器件实现等器件实现。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (14)

1.一种用户体验质量评估方法，其特征在于，所述方法包括：
获取目标小区的各项评估指标的值；
根据所述目标小区的各项评估指标的值以及预设的各项评估指标的最优值和最差值，计算得出所述目标小区的各项评估指标的得分；
根据所述目标小区的各项评估指标的得分以及各项评估指标的权值，计算得出所述目标小区的用户体验质量评估值；
在所述目标小区的用户体验质量评估值小于评估阈值时，获取各项评估指标中得分在劣化得分范围内的评估指标。
2.根据权利要求1所述的方法，其特征在于，所述获取目标小区的各项评估指标的值包括：
获取各目标小区在相应时刻的各项关键性能指标KPI的值和感知参数的值，所述感知参数为接入时延或者下载速率；
根据各目标小区在相应时刻的各项KPI的值和感知参数的值，计算得出各项KPI的关联系数；
将各项KPI分入相应的感知类别中，从同一感知类别的各项KPI中选出关联系数最高的N个指标作为评估指标，所述N为预设值。
3.根据权利要求2所述的方法，其特征在于，所述根据各目标小区在相应时刻的各项KPI的值和感知参数的值，计算得出各项KPI的关联系数，包括：
根据各目标小区在相应时刻的各项KPI的值和感知参数的值，利用CORREL函数计算得出各项KPI的关联系数。
4.根据权利要求1所述的方法，其特征在于，所述计算得出所述目标小区的用户体验质量评估值之前，所述方法还包括：
根据各目标小区的各项评估指标的值，利用熵权法计算得到各项评估指标的权值。
5.根据权利要求4所述的方法，其特征在于，所述根据各目标小区的各项评估指标的值，利用熵权法计算得到各项评估指标的权值，包括：
根据所述各目标小区的各项评估指标的值，计算各目标小区的各项评估指标的评价值；
根据各目标小区的各项评估指标的评价值，计算得出各目标小区的各项评估指标的比重；
根据各目标小区的各项评估指标的比重，计算得出各项评估指标的信息熵；
根据各项评估指标的信息熵，计算得出各项评估指标的权值。
6.根据权利要求5所述的方法，其特征在于，所述根据各项评估指标的信息熵，计算得出各项评估指标的权值，包括：
根据各项评估指标的信息熵，计算得出各项评估指标的预估权值；
通过以下公式计算得出第i项评估指标的关联系数的占比Pi：
<mrow> <msub> <mi>P</mi> <mi>i</mi> </msub> <mo>=</mo> <msub> <mi>&amp;rho;</mi> <mi>i</mi> </msub> <mo>/</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <msub> <mi>&amp;rho;</mi> <mi>i</mi> </msub> <mo>;</mo> </mrow>
其中，所述ρi为第i项评估指标的关联系数；所述m为评估指标的项数；所述i、m为大于0的整数；
在Pi-1/m不为0时，获取所述第i项评估指标的权值为：Wi+(Pi-1/m)；
其中，所述Wi为第i项评估指标的预估权值。
7.根据权利要求1所述的方法，其特征在于，所述获取各项评估指标中得分在劣化得分范围内的评估指标之前，包括：
针对一项评估指标，计算得出各目标小区的一项评估指标的得分，计算所述一项评估指标的平均得分；
根据所述一项评估指标的平均得分计算所述一项评估指标的劣化得分范围；
或者，针对一项评估指标，获取所述一项评估指标的最差值；
根据所述一项评估指标的最差值计算所述一项评估指标的劣化得分范围。
8.一种用户体验质量评估装置，其特征在于，所述装置包括：
获取单元，用于获取目标小区的各项评估指标的值；
计算单元，用于根据所述获取单元获取到的所述目标小区的各项评估指标的值以及预设的各项评估指标的最优值和最差值，计算得出所述目标小区的各项评估指标的得分；根据所述目标小区的各项评估指标的得分以及各项评估指标的权值，计算得出所述目标小区的用户体验质量评估值；
所述获取单元，还用于在所述计算单元计算得出的所述目标小区的用户体验质量评估值小于评估阈值时，获取各项评估指标中得分在劣化得分范围内的评估指标。
9.根据权利要求8所述的装置，其特征在于，所述获取单元包括获取子单元、计算子单元和选择子单元；
所述获取子单元，用于获取各目标小区在相应时刻的各项关键性能指标KPI的值和感知参数的值，所述感知参数为接入时延或者下载速率；
所述计算子单元，用于根据所述获取子单元获取到的各目标小区在相应时刻的各项KPI的值和感知参数的值，计算得出各项KPI的关联系数；
所述选择子单元、用于将所述获取子单元获取到的各项KPI分入相应的感知类别中，从同一感知类别的各项KPI中选出所述计算子单元计算得出的关联系数最高的N个指标作为评估指标，所述N为预设值。
10.根据权利要求9所述的装置，其特征在于，
所述计算子单元，具体用于根据所述获取子单元获取到的各目标小区在相应时刻的各项KPI的值和感知参数的值，利用CORREL函数计算得出各项KPI的关联系数。
11.根据权利要求8所述的装置，其特征在于，
所述计算单元，还用于根据所述获取单元获取到的各目标小区的各项评估指标的值，利用熵权法计算得到各项评估指标的权值。
12.根据权利要求11所述的装置，其特征在于，
所述计算单元，具体用于根据所述获取单元获取到的所述各目标小区的各项评估指标的值，计算各目标小区的各项评估指标的评价值；根据各目标小区的各项评估指标的评价值，计算得出各目标小区的各项评估指标的比重；根据各目标小区的各项评估指标的比重，计算得出各项评估指标的信息熵；根据各项评估指标的信息熵，计算得出各项评估指标的权值。
13.根据权利要求12所述的装置，其特征在于，
所述计算单元，具体用于根据各项评估指标的信息熵，计算得出各项评估指标的预估权值；通过以下公式计算得出第i项评估指标的关联系数的占比Pi：
<mrow> <msub> <mi>P</mi> <mi>i</mi> </msub> <mo>=</mo> <msub> <mi>&amp;rho;</mi> <mi>i</mi> </msub> <mo>/</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <msub> <mi>&amp;rho;</mi> <mi>i</mi> </msub> <mo>;</mo> </mrow>
其中，所述ρi为第i项评估指标的关联系数；所述m为评估指标的项数；所述i、m为大于0的整数；
在Pi-1/m不为0时，获取所述第i项评估指标的权值为：Wi+(Pi-1/m)；其中，所述Wi为第i项评估指标的预估权值。
14.根据权利要求8所述的装置，其特征在于，
所述计算单元，还用于针对一项评估指标，计算得出各目标小区的一项评估指标的得分，计算所述一项评估指标的平均得分；根据所述一项评估指标的平均得分计算所述一项评估指标的劣化得分范围；
或者，所述获取单元，还用于针对一项评估指标，获取所述一项评估指标的最差值；
所述计算单元，还用于根据所述获取单元获取到的所述一项评估指标的最差值计算所述一项评估指标的劣化得分范围。
CN201610118942.9A 2016-03-02 2016-03-02 一种用户体验质量评估方法及装置 Active CN107155192B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610118942.9A CN107155192B (zh) 2016-03-02 2016-03-02 一种用户体验质量评估方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610118942.9A CN107155192B (zh) 2016-03-02 2016-03-02 一种用户体验质量评估方法及装置

Publications (2)

Publication Number Publication Date
CN107155192A true CN107155192A (zh) 2017-09-12
CN107155192B CN107155192B (zh) 2020-08-18

Family

ID=59792339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610118942.9A Active CN107155192B (zh) 2016-03-02 2016-03-02 一种用户体验质量评估方法及装置

Country Status (1)

Country Link
CN (1) CN107155192B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109257215A (zh) * 2018-09-13 2019-01-22 广东电网有限责任公司肇庆供电局 一种网络应用系统体验数据管理系统及其分值计算方法
CN109362084A (zh) * 2018-12-27 2019-02-19 中国移动通信集团江苏有限公司 通信业务质量优化的方法、装置、设备和介质
CN112489507A (zh) * 2020-11-23 2021-03-12 广西水利电力职业技术学院 基于vr与全息投影的大数据融合式智慧教学法
CN115442833A (zh) * 2021-06-03 2022-12-06 中国移动通信集团四川有限公司 一种投诉根因分析方法、装置及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101783754A (zh) * 2010-02-23 2010-07-21 浪潮通信信息系统有限公司 一种互联网业务客户感知QoE的测量方法
CN103313333A (zh) * 2012-03-13 2013-09-18 中国移动通信集团广东有限公司 在移动网络间进行切换的方法、通信终端、服务器和网络
CN104640137A (zh) * 2015-01-30 2015-05-20 南京邮电大学 一种基于无线泛在网接入选择的QoE优化方法
US20150172941A1 (en) * 2013-06-06 2015-06-18 Seven Networks, Inc. Quality of experience enhancement for wireless networks based on received signal strength at a mobile device
CN105024765A (zh) * 2014-04-17 2015-11-04 中国移动通信集团广东有限公司 一种室内天线分布系统故障快速定位方法及装置
CN105357691A (zh) * 2015-09-28 2016-02-24 中国普天信息产业北京通信规划设计院 Lte无线网络用户感知监测方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101783754A (zh) * 2010-02-23 2010-07-21 浪潮通信信息系统有限公司 一种互联网业务客户感知QoE的测量方法
CN103313333A (zh) * 2012-03-13 2013-09-18 中国移动通信集团广东有限公司 在移动网络间进行切换的方法、通信终端、服务器和网络
US20150172941A1 (en) * 2013-06-06 2015-06-18 Seven Networks, Inc. Quality of experience enhancement for wireless networks based on received signal strength at a mobile device
CN105024765A (zh) * 2014-04-17 2015-11-04 中国移动通信集团广东有限公司 一种室内天线分布系统故障快速定位方法及装置
CN104640137A (zh) * 2015-01-30 2015-05-20 南京邮电大学 一种基于无线泛在网接入选择的QoE优化方法
CN105357691A (zh) * 2015-09-28 2016-02-24 中国普天信息产业北京通信规划设计院 Lte无线网络用户感知监测方法和系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109257215A (zh) * 2018-09-13 2019-01-22 广东电网有限责任公司肇庆供电局 一种网络应用系统体验数据管理系统及其分值计算方法
CN109362084A (zh) * 2018-12-27 2019-02-19 中国移动通信集团江苏有限公司 通信业务质量优化的方法、装置、设备和介质
CN109362084B (zh) * 2018-12-27 2021-11-09 中国移动通信集团江苏有限公司 通信业务质量优化的方法、装置、设备和介质
CN112489507A (zh) * 2020-11-23 2021-03-12 广西水利电力职业技术学院 基于vr与全息投影的大数据融合式智慧教学法
CN112489507B (zh) * 2020-11-23 2023-04-11 广西水利电力职业技术学院 基于vr与全息投影的大数据融合式智慧教学法
CN115442833A (zh) * 2021-06-03 2022-12-06 中国移动通信集团四川有限公司 一种投诉根因分析方法、装置及电子设备

Also Published As

Publication number Publication date
CN107155192B (zh) 2020-08-18

Similar Documents

Publication Publication Date Title
CN109788488B (zh) 一种网络站点的规划方法和装置
CN109803295B (zh) 一种通信小区整改优先级的评价方法和装置
CN107155192A (zh) 一种用户体验质量评估方法及装置
CN102098684B (zh) 认知无线网络中跨层资源分配系统及方法
CN104168588B (zh) 一种lte系统干扰核查方法及装置
CN103209422B (zh) 一种wlan网络精确选点的方法
CN103108382A (zh) 一种基于网络层次分析法的异构网络多属性决策方法
CN102077530B (zh) 检查无线业务及减缓分组删除以避免无线饱和的方法和设备
CN107645393A (zh) 确定黑盒系统输入输出关联度的方法、装置以及系统
CN101562829A (zh) 一种用户感知的测算方法
CN104486772B (zh) 一种端到端多维度归一化的lte网络评估优化系统
CN108243435B (zh) 一种lte小区场景划分中的参数优化方法及装置
CN109495905A (zh) 一种基于mdt的网络覆盖管理方法和mc系统
CN107026750A (zh) 一种用户上网QoE评价方法及装置
CN114095856B (zh) 用于基站节能的处理方法和处理装置
CN106454857B (zh) 一种网络规划的评估方法及装置
CN106535204A (zh) 一种业务覆盖质量评估方法及装置
CN111263389A (zh) 一种Volte语音质量问题的自动化定位的方法及装置
CN110290540A (zh) 一种确定小区容量的方法及装置
CN108243439A (zh) 移动互联网数据业务质量劣化定位的方法及系统
CN103857051B (zh) 一种用户设备上行资源的调度方法和基站
CN103580784B (zh) 基于信道质量指示选择调制方式、码率的方法和基站
CN101835162B (zh) 不同小区应用不同时隙配比时的组网调度方法和装置
CN105898766A (zh) 一种基站规划方法及装置
CN103167510A (zh) 一种覆盖评估方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant