CN107046480A - 一种用户感知评估方法及装置 - Google Patents

Abstract

本发明提供一种用户感知评估方法及装置，该方法包括：获取全网用户的全量运营数据，根据全量运营数据对每一个感知事件进行预测建模，获得每一个感知事件的最佳预测模型；获取待评估用户预设时间段内的全量运营数据，利用每一个最佳预测模型对待评估用户的全量运营数据进行分类预测，获得待评估用户的分类信息。该装置包括：模型建立模块，获取全网用户的全量运营数据，根据全量运营数据对每一个感知事件进行预测建模，获得每一个感知事件的最佳预测模型；预测模块，获取待评估用户预设时间段内的全量运营数据，利用每一个最佳预测模型对待评估用户的全量运营数据进行分类预测，获得待评估用户的分类信息。本发明可具有较高的用户投诉预测准确率。

Description

一种用户感知评估方法及装置

技术领域

本发明涉及通信技术领域，具体的，涉及一种用户感知评估方法，以及应用该方法的装置。

背景技术

随着移动互联网的迅猛发展，网络和业务的进一步分离，传统的网络KPI指标已经不能很好的反映客户真实感知问题,且往往要通过用户投诉，才知道网络存在4G用户感知差的情况，如何快速分析出用户遇到的问题并解决，或在用户投诉之前就能提前发现并解决问题。如何建立一套用户感知评估体系，来实时掌握用户的真实感知情况，成为如今通信网络急需解决的问题。

现有的用户感知评估方法通常采用的信令跟踪分析、话务统计分析、测试分析及用户投诉分析等方法进行，没有综合性的分析，而且单一的评估方法也都存在效率较低、手段缺失、缺少前瞻性等弊端，不能主动预测投诉用户，导致信息反馈慢，用户体验不佳。

发明内容

本发明的主要目的是提供一种具有较高的用户投诉预测准确率，并可提高用户体验度的用户感知评估方法。

本发明的另一目的是提供一种具有较高的用户投诉预测准确率，并可提高用户体验度的用户感知评估装置。

为了实现上述主要目的，本发明提供的用户感知评估方法包括：获取全网用户的全量运营数据，根据全量运营数据对每一个感知事件进行预测建模，获得每一个感知事件的最佳预测模型；获取待评估用户预设时间段内的全量运营数据，利用每一个最佳预测模型对待评估用户的全量运营数据进行分类预测，获得待评估用户的分类信息。

由上述方案可见，本发明通过对影响用户通信体验的感知事件进行预测建模，获得每一个感知事件对应的最佳预测模型，利用最佳模型对待评估用户进行投诉预测，获得待评估用户的分类信息，即待评估用户是投诉用户或非投诉用的的相关信息。通过用户感知的评估及用户投诉的预测，可以发现全网中多少用户存在感知不好及不良可能性，发现多少基站存在感知问题，可以根据存在的问题做到对用户的主动关怀，对问题基站进行网络优化，提升网络质量，提升用户的感知体验。

进一步的方案中，获取全网用户的全量运营数据，根据全量运营数据对每一个感知事件进行预测建模，获得每一个感知事件的最佳预测模型，包括：根据全网用户的全量运营数据获得每一个感知事件所对应的所有特征数据；对每一个感知事件所对应的所有特征数据进行平衡处理及缺省值处理，获得预处理后的特征数据；根据预处理后的特征数据进行模型训练，获得每一个感知事件的最佳预测模型。

由此可见，在对感知事件进行预测模型的建立时，通过采用机器学习的方式，从全量的运营数据中挖掘评估用户感知，通过对事件及相关联的网络指标进行综合、全面分析，获取到最佳的预测模型，从而提升用户感知评估的准确性。

进一步的方案中，根据全网用户的全量运营数据获得每一个感知事件所对应的所有特征数据，包括：以预设方式对每一个感知事件进行特征数据的汇聚。

由此可见，在获取感知事件所对应的特征数据时，由于获取的数据大多属于原始数据，不能够直接获得建立预测模型的直接变量数据，需要经过处理后才可获得需要的特征数据，作为建立预测模型的直接变量数据。

进一步的方案中，对每一个感知事件所对应的所有特征数据进行平衡处理及缺省值处理，包括：利用SMOTE算法对特征数据进行平衡处理；利用平均值填充法对特征数据进行缺省值处理。

由此可见，由于在预测模型建立时获取的特征数据中包含了投诉用户数据和非投诉用户数据，投诉用户数据占少数，非投诉用户数据占大多数，数据间存在较大的差别，使得数据极度不平衡，同时存在大量的缺省值。因此，需要对特征数据进行平衡处理以及缺省值处理，提高数据评估的效果。同时，使用SMOTE算法对数据进行数据平衡处理，利用平均值填充法对特征数据进行缺省值处理，效果更佳。

进一步的方案中，获取待评估用户预设时间段内的全量运营数据，利用每一个最佳预测模型对待评估用户的全量运营数据进行分类预测，获得待评估用户的分类信息，包括：根据待评估用户的全量运营数据获取待评估用户每一个感知事件所对应的待评估特征数据；利用每一个最佳预测模型对相应的感知事件的待评估特征数据进行评估，获得待评估用户的分类信息。

由此可见，利用经过验证的最佳预测模型对待评估用户进行预测，预测的准确性可得到保证，同时利用预测模型中经过优化选择的数据处理方式，可提高数据的处理速度。

为了实现上述另一目的，本发明提供的用户感知评估装置包括：模型建立模块，获取全网用户的全量运营数据，根据全量运营数据对每一个感知事件进行预测建模，获得每一个感知事件的最佳预测模型；预测模块，获取待评估用户预设时间段内的全量运营数据，利用每一个最佳预测模型对待评估用户的全量运营数据进行分类预测，获得待评估用户的分类信息。

由上述方案可见，本发明通过对影响用户通信体验的感知事件进行预测建模，获得每一个感知事件对应的最佳预测模型，利用最佳模型对待评估用户进行投诉预测，获得待评估用户的分类信息，即待评估用户是投诉用户或非投诉用的的相关信息。通过用户感知的评估及用户投诉的预测，可以发现全网中多少用户存在感知不好及不良可能性，发现多少基站存在感知问题，可以根据存在的问题做到对用户的主动关怀，对问题基站进行网络优化，提升网络质量，提升用户的感知体验。

附图说明

图1是本发明用户感知评估方法实施例的流程图。

图2是本发明用户感知评估方法实施例中获得每一个感知事件的最佳预测模型步骤的流程图。

图3是本发明用户感知评估装置实施例的结构框图。

以下结合附图及实施例对本发明作进一步说明。

具体实施方式

本发明的用户感知评估方法是应用于计算机中的软件程序，利用4G网络用户的全量运营数据进行建模并预测待评估用户的投诉概率，获得用户投诉的概率，主动预测用户投诉的可能性，便于改善网络质量，提高提高用户体验度。其中，本发明用户感知评估装置用于实现本发明用户感知评估方法。

用户感知评估方法实施例：

如图1所示，本发明的用户感知评估方法在进行用户投诉预测时，首先执行步骤S1，获取全网用户的全量运营数据，根据全量运营数据对每一个感知事件进行预测建模，获得每一个感知事件的最佳预测模型。其中，感知事件为用户使用通信网络时，会影响用户感知的一些具体事件或具体现象，本实施例中，感知事件包括“无信号或信号弱”、“网速慢”、“有信号无法使用”、“掉线”、“应用打不开”等感知事件。

获得每一个感知事件的最佳预测模型时，先执行步骤S11，根据全网用户的全量运营数据获得每一个感知事件所对应的所有特征数据。其中，根据全网用户的全量运营数据获得每一个感知事件所对应的所有特征数据，包括：以预设方式对感知事件进行特征数据的汇聚。预设方式是指根据数据类型的不同所采用的不同数据处理方式。本实施例中，在获取特征数据时，预设方式是使用均值、方差、分位值、百分比、百分比区间、TOPN以及变异系数等7个维度对用户全量运营数据分别处理，以获得各感知事件对应的特征数据。

每一个感知事件均有对应的特征数据，特征数据可从全网用户的全量运营数据中汇聚得到。本实施例中，用户的全量运营数据包含无线测量报告(MR，MeasurementReport)、无线呼叫详细记录(CDR，Call Detail Record)、无线基础、计费话单、核心网呼叫历史记录(CHR，Call History Record)和业务深度包检测(DPI，Deep Packet Inspection)等数据。用户的全量运营数据中的数据为原始数据，需要根据特征数据的各自的特性获取特征数据，使特征数据可用于预测模型的建立。其中，获取的特征数据中包括来自投诉用户的特征数据和非投诉用户的特征数据，在获取的全量运营数据中，可分别对投诉用户和非投诉用户进行标记，可获知投诉用户的特征数据和非投诉用户的特征数据，有利于在机器学习时进行验证。投诉用户是指已经作出投诉通信网络的用户，非投诉用户是指没有作出投诉通信网络的用户。

本实施例中，在获取“无信号及信号弱”感知事件的特征数据时，如下表所示(变量对应于感知事件的特征)：

在获得“网速慢”感知事件的特征数据时，如下表所示：

在获得“有信号无法使用”感知事件的特征数据时，如下表所示：

在获得“掉线”感知事件的特征数据时，如下表所示：

在获得“应用打不开”感知事件的特征数据时，如下表所示：

获取每一个感知事件所对应的特征数据后，执行步骤S12,对每一个感知事件所对应的所有特征数据进行平衡处理及缺省值处理，获得预处理后的特征数据。优选的，对每一个感知事件所对应的所有特征数据进行平衡处理及缺省值处理，包括：利用SMOTE算法对特征数据进行平衡处理；利用平均值填充法对特征数据进行缺省值处理。由于特征数据中来自投诉用户的特征数据占少数，非投诉用户的特征数据占大多数，两者之间数据不平衡，同时存在大量的缺省值，不利于预测模型的构建，因此需要进行平衡处理以及进行缺省值处理。本实施例中，先对特征数据进行平衡处理，再对平衡处理后的特征数据进行缺省值处理。SMOTE算法可以看作是一种特殊的过采样技术，即把每个样本看成高维空间的一个点，然后用线段连接这个点到某个邻近的点，取线段上的某点作为合成的一个新的点。SMOTE算法通过增加样本数据，使得样本数据更加平衡。利用SMOTE算法进行数据的平衡处理以及利用平均数填充法进行数据的缺省值处理是已知的技术，在此不再赘述。

获得预处理后的特征数据后，执行步骤S13，根据预处理后的特征数据进行模型训练，获得每一个感知事件的最佳预测模型。获得预处理的特征数据后，将特征数据随机分成两份，一份特征数据输入模型，用来训练模型参数；另一份特征数据作为测试集，用来测试训练模型的准确率。在训练模型参数时，利用多种分类预测算法对特征数据进行训练，获得最优的算法进行模型构建，从而获得最佳的预测模型，其中，最佳预测模型即最优的分类预测算法。

本实施例中，根据特征数据的特点，分类预测算法包括逻辑回归算法、决策树算法、随机森林算法、AdaBoost算法和K邻近算法。逻辑回归算法、决策树算法、随机森林算法、AdaBoost算法和K邻近算法是已知算法，在此不再赘述。每一个感知事件对应的特征数据均需要分别利用上述五种分类预测算法进行分类预测学习，从中获取最优的分类预测算法。通过每一个算法对特征数据进行分类预测，获得预测分类的数据，预测分类的数据中存在实际投诉用户的数据和实际不投诉用户的数据，因此，通过算法分类预测后获得的各类别的数量，如下表所示：

其中，TN表示预测不投诉且实际不投诉的用户数量；FP表示预测投诉但实际不投诉的用户数量；FN表示预测不投诉但实际投诉的用户数量；TP表示预测投诉且实际投诉的用户数量。

对特征数据分类后，分别对每一算法的的分类结果进行分类评估。评估的指标包括：精确率、召回率以及综合评价。精确率是指算法分类预测出的用户中实际投诉用户的比例，计算公式如下：P＝TP/(TP+FP)；召回率是指所有实际投诉用户被算法预测出来的比例，计算公式如下：R＝TP/(TP+FN)；综合评价是精确率和召回率的调和均值，计算公式如下：F₁＝2PR/(P+R)。由于精确率和召回率各自含有的信息都很少，它们对算法的分类效果的观察角度不同，精确率和召回率均不能单独作为评估一种算法分类预测优劣，因此需要加入综合评价进行评估，将综合评价指标最优的算法作为最佳的分类预测算法，进而得到最佳预测模型。获得最佳预测模型需要通过分类预测算法对特征数据不断的学习以及验证获得，最终获得每一个感知事件的最佳预测模型。

获得最佳预测模型后，执行步骤S2，获取待评估用户预设时间段内的全量运营数据，利用每一个最佳预测模型对待评估用户的全量运营数据进行分类预测，获得待评估用户的分类信息。其中，预设时间段以一周的时间为周期，即获取预测日期前一周的全量运营数据。

获取待评估用户预设时间段内的全量运营数据，利用每一个最佳预测模型对待评估用户的全量运营数据进行分类预测，获得待评估用户的分类信息，包括：根据待评估用户的全量运营数据获取待评估用户每一个感知事件所对应的待评估特征数据；利用每一个最佳预测模型对相应的感知事件的待评估特征数据进行评估，获得待评估用户的分类信息。

在获取待评估特征数据以及对待评估特征数据进行平衡处理时，处理的方式可采用构建预测模型时获取特征数据。获得待评估特征数据后，利用最佳预测模型对待评估用户进行分类预测，从而获得待评估用户的每一个感知事件对应的分类信息，从而获得待评估用户全部的分类信息。其中，分类信息包括用于表明用户是否会对该感知事件进行投诉的信息。

通过用户感知的评估及用户投诉的预测，可以发现全网中多少用户存在感知不好及不良可能性，发现多少基站存在感知问题，可以根据存在的问题对用户的主动关怀，对问题基站进行网络优化，提升网络质量，提升用户感知。

用户感知评估方装置实施例：

如图2所示，本发明的用户感知评估方装置包括模型建立模块1和预测模块2。

模型建立模块1用于获取全网用户的全量运营数据，根据全量运营数据对每一个感知事件进行预测建模，获得每一个感知事件的最佳预测模型。其中，感知事件为用户使用通信网络时，会影响用户感知的一些具体事件或具体现象，本实施例中，感知事件包括“无信号或信号弱”、“网速慢”、“有信号无法使用”、“掉线”、“应用打不开”等感知事件。

模型建立模块1获取全网用户的全量运营数据，根据全量运营数据对每一个感知事件进行预测建模，获得每一个感知事件的最佳预测模型，包括：根据全网用户的全量运营数据获得每一个感知事件所对应的所有特征数据；对每一个感知事件所对应的所有特征数据进行平衡处理及缺省值处理，获得预处理后的特征数据；根据预处理后的特征数据进行模型训练，获得每一个感知事件的最佳预测模型。

其中，模型建立模块1根据全网用户的全量运营数据获得每一个感知事件所对应的所有特征数据，包括：以预设方式对感知事件进行特征数据的汇聚。本实施例中，在获取特征数据时，预设方式是使用均值、方差、分位值、百分比、百分比区间、TOPN、以及变异系数等7个维度对用户全量运营数据分别处理，以获得各感知事件对应的特征数据。

每一个感知事件均有对应的特征数据，特征数据可从全网用户的全量运营数据中汇聚得到。本实施例中，用户的全量运营数据包含无线测量报告(MR，MeasurementReport)、无线呼叫详细记录(CDR，Call Detail Record)、无线基础、计费话单、核心网呼叫历史记录(CHR，Call History Record)和业务深度包检测(DPI，Deep Packet Inspection)等数据。用户的全量运营数据中的数据为原始数据，需要根据特征数据的各自的特性获取特征数据，使特征数据变量可用于预测模型的建立。其中，获取的特征数据中包括来自投诉用户的特征数据和非投诉用户的特征数据，在获取的全量运营数据中，可分别对投诉用户和非投诉用户进行标记，可获知投诉用户的特征数据和非投诉用户的特征数据，有利于在机器学习时进行验证。

模型建立模块1对每一个感知事件所对应的所有特征数据进行平衡处理及缺省值处理，获得预处理后的特征数据。优选的，对每一个感知事件所对应的所有特征数据进行平衡处理及缺省值处理，包括：利用SMOTE算法对特征数据进行平衡处理；利用平均值填充法对特征数据进行缺省值处理。由于特征数据中来自投诉用户的特征数据占少数，非投诉用户的特征数据占大多数，两者之间数据不平衡，同时存在大量的缺省值，不利于预测模型的构建，因此需要进行平衡处理以及进行缺省值处理。本实施例中，先对特征数据进行平衡处理，再对平衡处理后的特征数据进行缺省值处理。SMOTE算法可以看作是一种特殊的过采样技术，即把每个样本看成高维空间的一个点，然后用线段连接这个点到某个邻近的点，取线段上的某点作为合成的一个新的点。SMOTE算法通过增加样本数据，使得样本数据更加平衡。通过对特征数据的平衡处理，获得每一个感知事件所对应的经过平衡处理的特征数据。

模型建立模块1根据根据预处理后的特征数据进行模型训练，获得每一个感知事件的最佳预测模型。模型建立模块1获得预处理的特征数据后，将特征数据随机分成两份，一份特征数据输入模型，用来训练模型参数；另一份特征数据作为测试集，用来测试训练模型的准确率。模型建立模块1在获取训练模型参数时，利用多种分类预测算法对特征数据进行训练，获得最优的算法进行模型构建，从而获得最佳的预测模型，其中，最佳预测模型即最优的分类预测算法。

本实施例中，根据特征数据的特点，分类预测算法包括逻辑回归算法、决策树算法、随机森林算法、AdaBoost算法和K邻近算法。每一个感知事件对应的特征数据均需要分别利用上述五种分类预测算法进行分类预测学习，从中获取最优的分类预测算法。通过每一个算法对特征数据进行分类预测，获得预测分类的数据，预测分类的数据中存在实际投诉用户的数据和实际不投诉用户的数据，因此，通过算法分类预测后获得的各类别的数量，如下表所示：

其中，TN表示预测不投诉且实际不投诉的用户数量；FP表示预测投诉但实际不投诉的用户数量；FN表示预测不投诉但实际投诉的用户数量；TP表示预测投诉且实际投诉的用户数量。

对特征数据分类后，分别对每一算法的的分类结果进行分类评估。评估的指标包括：精确率、召回率以及综合评价。精确率是指算法分类预测出的用户中实际投诉用户的比例，计算公式如下：P＝TP/(TP+FP)；召回率是指所有实际投诉用户被算法预测出来的比例，计算公式如下：R＝TP/(TP+FN)；综合评价是精确率和召回率的调和均值，计算公式如下：F₁＝2PR/(P+R)。由于精确率和召回率各自含有的信息都很少，它们对算法的分类效果的观察角度不同，精确率和召回率均不能单独作为评估一种算法分类预测优劣，因此需要加入综合评价进行评估，将综合评价指标最优的算法作为最佳的分类预测算法，进而得到最佳预测模型。获得最佳预测模型需要通过分类预测算法对特征数据不断的学习以及验证获得，最终获得每一个感知事件的最佳预测模型

预测模块2用于获取待评估用户预设时间段内的全量运营数据，利用每一个最佳预测模型对待评估用户的全量运营数据进行分类预测，获得待评估用户的分类信息。预测模块2获取待评估用户预设时间段内的全量运营数据，利用每一个最佳预测模型对待评估用户的全量运营数据进行分类预测，获得待评估用户的分类信息，包括：根据待评估用户的全量运营数据获取待评估用户每一个感知事件所对应的待评估特征数据；利用每一个最佳预测模型对相应的感知事件的待评估特征数据进行评估，获得待评估用户的分类信息。

预测模块2在获取待评估特征数据以及对待评估特征数据进行平衡处理时，处理的方式可采用构建预测模型时获取特征数据以及对特征数据进行平衡处理的方式进行处理。获得平衡处理后的待评估特征数据后，利用最佳预测模型对待评估用户进行分类预测，从而获得待评估用户的每一个感知事件对应的分类信息，从而获得待评估用户全部的分类信息。其中，分类信息包括用于表明用户是否会对该感知事件进行投诉的信息。

由上述可知，本发明通过对影响用户通信体验的感知事件进行预测建模，获得每一个感知事件对应的最佳预测模型，利用最佳模型对待评估用户进行投诉预测，获得待评估用户的分类信息。通过用户感知的评估及用户投诉的预测，可以发现全网中多少用户存在感知不好及不良可能性，发现多少基站存在感知问题，可以根据存在的问题做到对用户的主动关怀，对问题基站进行网络优化，提升网络质量，提升用户的感知体验。

需要说明的是，以上仅为本发明的优选实施例，但发明的设计构思并不局限于此，凡利用此构思对本发明做出的非实质性修改，也均落入本发明的保护范围之内。

Claims (10)

1.一种用户感知评估方法，其特征在于，包括：

获取全网用户的全量运营数据，根据所述全量运营数据对每一个感知事件进行预测建模，获得每一个所述感知事件的最佳预测模型；

获取待评估用户预设时间段内的全量运营数据，利用每一个所述最佳预测模型对所述待评估用户的全量运营数据进行分类预测，获得所述待评估用户的分类信息。

2.根据权利要求1所述的用户感知评估方法，其特征在于，所述获取全网用户的全量运营数据，根据所述全量运营数据对每一个感知事件进行预测建模，获得每一个所述感知事件的最佳预测模型，包括：

根据所述全网用户的全量运营数据获得每一个所述感知事件所对应的所有特征数据；

对每一个所述感知事件所对应的所有所述特征数据进行平衡处理及缺省值处理，获得预处理后的所述特征数据；

根据预处理后的所述特征数据进行模型训练，获得每一个所述感知事件的所述最佳预测模型。

3.根据权利要求2所述的用户感知评估方法，其特征在于，所述根据所述全网用户的全量运营数据获得每一个所述感知事件所对应的所有特征数据，包括：

以预设方式对每一个所述感知事件进行所述特征数据的汇聚。

4.根据权利要求2所述的用户感知评估方法，其特征在于，所述对每一个所述感知事件所对应的所有所述特征数据进行平衡处理及缺省值处理，包括：

利用SMOTE算法对所述特征数据进行平衡处理；

利用平均值填充法对所述特征数据进行缺省值处理。

5.根据权利要求1至4任一项所述的用户感知评估方法，其特征在于，所述获取待评估用户预设时间段内的全量运营数据，利用每一个所述最佳预测模型对所述待评估用户的全量运营数据进行分类预测，获得所述待评估用户的分类信息，包括：

根据所述待评估用户的全量运营数据获取所述待评估用户每一个所述感知事件所对应的待评估特征数据；

利用每一个所述最佳预测模型对相应的所述感知事件的所述待评估特征数据进行评估，获得所述待评估用户的分类信息。

6.一种用户感知评估装置，其特征在于，包括：

模型建立模块，获取全网用户的全量运营数据，根据所述全量运营数据对每一个感知事件进行预测建模，获得每一个所述感知事件的最佳预测模型；

预测模块，获取待评估用户预设时间段内的全量运营数据，利用每一个所述最佳预测模型对所述待评估用户的全量运营数据进行分类预测，获得所述待评估用户的分类信息。

7.根据权利要求6所述的用户感知评估装置，其特征在于，所述模型建立模块获取全网用户的全量运营数据，根据所述全量运营数据对每一个感知事件进行预测建模，获得每一个所述感知事件的最佳预测模型，包括：

根据所述全网用户的全量运营数据获得每一个所述感知事件所对应的所有特征数据；

对每一个所述感知事件所对应的所有所述特征数据进行平衡处理及缺省值处理，获得预处理后的所述特征数据；

根据预处理后的所述特征数据进行模型训练，获得每一个所述感知事件的所述最佳预测模型。

8.根据权利要求7所述的用户感知评估装置，其特征在于，所述模型建立模块根据所述全网用户的全量运营数据获得每一个所述感知事件所对应的所有特征数据，包括：

以预设方式对每一个所述感知事件进行所述特征数据的汇聚。

9.根据权利要求7所述的用户感知评估装置，其特征在于，所述模型建立模块对每一个所述感知事件所对应的所有所述特征数据进行平衡处理及缺省值处理，包括：

利用SMOTE算法对所述特征数据进行平衡处理；

利用平均值填充法对所述特征数据进行缺省值处理。

10.根据权利要求6至9任一项所述的用户感知评估装置，其特征在于，所述预测模块获取待评估用户预设时间段内的全量运营数据，利用每一个所述最佳预测模型对所述待评估用户的全量运营数据进行分类预测，获得所述待评估用户的分类信息，包括：

根据所述待评估用户的全量运营数据获取所述待评估用户每一个所述感知事件所对应的待评估特征数据；

利用每一个所述最佳预测模型对相应的所述感知事件的所述待评估特征数据进行评估，获得所述待评估用户的分类信息。