CN114693325A - 基于神经网络的用户口碑智能保障方法及装置 - Google Patents

Abstract

本申请提供人工智能领域中基于神经网络的用户口碑智能保障方法和相关装置。本申请公开了一种基于O域和B域等多类别数据源构建多级指标体系，通过神经网络算法建模，将NPS已有样本与该指标体系进行关系建模，然后对全量用户NPS预测，输出单用户及批量用户的NPS得分预测查询、NPS问题定界定位结果，指导网络感知优化及用户维系，提升了运营商的用户口碑。

Description

基于神经网络的用户口碑智能保障方法及装置

技术领域

本申请涉及人工智能技术领域，尤其涉及一种基于神经网络的用户口碑 智能保障方法。

背景技术

随着移动网络的发展，形成目前2G(2generation，2G)和3G(3generation， 3G)和4G(4generation，4G)和长期演进语音承载(voice over long-term evolution，VOLTE)网络并存现状，这使得网络结构复杂化、业务类型多元 化以及用户数据增长迅速。这种现状下，为了为用户提供更优质的网络服务， 就需要进行网络规划优化。

进行网络规划优化的一些方法中，需要获取网络的用户感知。目前，运 营商集团获取网络用户感知的方案是通过电话回访和问卷调查等方式采集用 户对网络的评分，并基于该评分计算网络的净推荐值(net promoter score， NPS)，以及基于用户的NPS来获取网络用户感知。

但是，通过电话回访和问卷调查等方式只能采集到小样本数量用户的评 分。小样本数量用户的评分不能计算得到网络准确的NPS，进而导致不能获 取准确的网络用户感知，最终导致不能准确地进行网络规划优化。

发明内容

本申请实施例提供一种神经网络的用户口碑智能保障方法及装置，该方 法基于NPS用户感知为核心的网络运营体系和运营商O域B域数据源，运 用大数据技术进行数据清洗汇聚数据挖掘分析、神经网络方法对问题进行分 析，实现对全网用户NPS分类预测，以及对预测贬损用户进行贬损原因定界 定位分析。

第一方面，本申请提供一种用户口碑智能保障方法，该方法包括：采集 样本数据集，所述样本数据集包括调研用户群体中每个用户的B域数据、O 域数据和用户类型；根据所述样本数据集对指定神经网络模型进行训练，得 到目标模型；使用所述目标模型预测用户类型。

本方法中，采用大数据技术，把AI算法引入日常数据分析中，提前预测 用户NPS得分、用户转网的概率，并定位定界导致相关问题的网络原因，快 速高效定向指导网络规划优网工作，提升了运营商的用户口碑。

结合第一方面，在第一种可能的实现方式中，所述根据所述训练样本集 对指定神经网络模型进行训练，包括：对所述样本数据集中缺失字段值的样 本数据进行预处理，所述预处理包括缺失值处理，所述缺失值处理包括删除 所述样本数据或对所述样本数据中缺失字段值的字段进行字段值填充；使用 所述预处理后的样本数据集对所述神经网络模型进行训练。

结合第一方面或第一种可能的实现方式，在第二种可能的实现方式中， 所述预处理还包括异常值处理，所述异常值处理包括删除所述样本数据或对 所述样本数据中字段值异常的字段进行字段值更新。

结合第一方面或上述任意一种可能的实现方式，在第三种可能的实现方 式中，所述预处理还包括去重处理，所述去重处理包括仅保留所述样本数据 集重复样本数据中的一个。

结合第一方面或上述任意一种可能的实现方式，在第四种可能的实现方 式中，所述预处理还包括标准化处理，所述标准化处理包括对所述样本数据 的字段值进行标准化。

结合第一方面或上述任意一种可能的实现方式，在第五种可能的实现方 式中，使用所述预处理后的样本数据集对所述神经网络模块进行训练，包括： 使用所述预处理后的样本数据集中包含满足预设条件的字段的样本数据，对 所述神经网络模型进行训练。

结合第五种可能的实现方式，在第六种可能的实现方式中，所述使用所 述目标模型预测用户类型之前，所述方法还包括：使用从所述样本数据集中 划分得到的验证样本集对所述目标模型进行模型评估，得到评估结果；判断 评估结果是否达标，若不达标则对所述目标模型进行优化，直至所述目标模 型的评估结果达标，若达标，则使用所述目标模型预测用户类型；

结合第六种可能的实现方式，在第七种可能的实现方式中，所述方法还 包括：通过协同过滤推荐方法对所述目标模型预测得到的用户类型进行根因 分析。

第二方面，本申请提供一种用户口碑智能保障装置，该装置包括：采集 模块，采集样本数据集，所述样本数据集包括调研用户群体中每个用户的B 域数据、O域数据和用户类型；训练模块，根据所述样本数据集对指定神经 网络模型进行训练，得到目标模型；预测模块，使用所述目标模型预测用户 类型。

结合第二方面，在第一种可能的实现方式中，所述训练模块，具体用于： 对所述样本数据集中缺失字段值的样本数据进行预处理，所述预处理包括缺 失值处理，所述缺失值处理包括删除所述样本数据或对所述样本数据中缺失 字段值的字段进行字段值填充；使用所述预处理后的样本数据集对所述神经 网络模型进行训练。

结合第二方面或第一种可能的实现方式，在第二种可能的实现方式中， 所述训练模块，还用于：异常值处理，所述异常值处理包括删除所述样本数 据或对所述样本数据中字段值异常的字段进行字段值更新。

结合第二方面或上述任意一种可能的实现方式，在第三种可能的实现方 式中，所述训练模块，还用于：去重处理，所述去重处理包括仅保留所述样 本数据集重复样本数据中的一个。

结合第二方面或上述任意一种可能的实现方式，在第四种可能的实现方 式中，所述训练模块，还用于：标准化处理，所述标准化处理包括对所述样 本数据的字段值进行标准化。

结合第二方面或上述任意一种可能的实现方式，在第五种可能的实现方 式中，所述训练模块，还用于：使用所述预处理后的样本数据集中包含满足 预设条件的字段的样本数据，对所述神经网络模型进行训练。

结合第五种可能的实现方式，在第六种可能的实现方式中，所述使用所 述目标模型预测用户类型之前，所述装置还包括评估模块，用于使用从所述 样本数据集中划分得到的验证样本集对所述目标模型进行模型评估，得到评 估结果；判断模块，判断评估结果是否达标，若不达标则对所述目标模型进 行优化，直至所述目标模型的评估结果达标，若达标，则使用所述目标模型 预测用户类型；

结合第六种可能的实现方式，在第七种可能的实现方式中，所述装置还 包括分析模块：通过协同过滤推荐方法对所述目标模型预测得到的用户类型 进行根因分析。

第三方面，本申请提供一种用户口碑智能保障装置，包括：存储器和处 理器；所述存储器用于存储程序指令；所述处理器用于调用所述存储器中的 程序指令执行如第一方面或其中任意一种可能的实现方式所述的方法。

该装置为计算设备时，在一些实现方式中，该装置还可以包括收发器或 通信接口，用于与其他设备通信。

该装置为用于计算设备的芯片时，在一些实现方式中，该装置还可以包 括通信接口，用于与计算设备中的其他装置通信，例如用于与计算设备的收 发器进行通信。

第四方面，本申请提供一种计算机可读介质，所述计算机可读介质存储 用于计算机执行的程序代码，该程序代码包括用于执行如第一方面或其中任 意一种可能的实现方式所述的方法的指令。

第五方面，本申请提供一种包含指令的计算机程序产品，当该计算机程 序产品在处理器上运行时，使得该处理器实现第一方面或其中任意一种实现 方式中的方法。

附图说明

图1为本申请一个实施例的用户口碑智能保障方法预测流程框图；

图2为本申请一个实施例的用户口碑智能保障方法预测流程示意图；

图3为本申请一个实施例的用户口碑智能保障方法预测装置的结构示意 图；

图4为本申请另一个实施例的用户口碑智能保障方法预测装置的结构示 意图。

具体实施方式

为了更好地介绍本申请的实施例，下面先对本申请实施例中的相关概念 进行介绍。

1、神经网络

人工智能(artificial intelligence，AI)是利用数字计算机或者数字计算机 控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获 得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机 科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能 相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计 原理与实现方法，使机器具有感知、推理与决策的功能。

当今人工智能的关键技术是神经网络(neural networks，NN)。神经网络 通过模拟人脑神经细胞连接，将大量的、简单的处理单元(称为神经元)广 泛互连，形成复杂的网络系统。

一个简单的神经网络包含三个层次，分别是输入层、输出层和隐藏层(也 称中间层)，每一层之间的连接都对应一个权重(其值称为权值、参数)。神 经网络之所以能在计算机视觉、自然语言处理等领域有出色性能，是因为通 过训练算法调整权值，使神经网络的预测结果最佳。

神经网络的训练一般包含两个计算步骤，第一步为前向计算，第二步为 反向计算。其中，前向计算为：输入值与参数经过计算后，再经过一个非线 性函数产生输出值。输出值或作为网络的最终输出，或将作为后续的输入值 继续执行类似的计算。网络的输出值与对应样本的实际标签值的偏差，用模 型损失函数来衡量，损失函数表示为输入样本x和网络参数W的函数f(x,w)， 为了使损失函数降至最小，需要不断调整网络的参数W，而反向计算是为了 得到参数W的更新值，在基于梯度下降的算法中，反向计算从神经网络的最 后一层开始，计算损失函数对每一层参数的偏导数，最后得到全部参数的偏 导数，称为梯度。每次迭代时，把参数W以一定步长η向梯度的反方向更新， 得到新的参数W，即完成一步训练。该更新过程用下式表示：

其中，w_t表示第t次迭代时使用的参数，w_t+1表示更新后的参数，η称为 学习率，B_t表示第t次迭代输入的样本集合。

训练神经网络的过程也就是对神经元对应的权重进行学习的过程，其最 终目的是得到训练好的神经网络模型的每一层神经元对应的权重。

2、净推荐值

净推荐值(net promoter score，NPS)，又称净促进者得分，亦可称口碑， 是一种计量某个客户将会向其他人推荐某个企业或服务可能性的指数。净推 荐值是最流行的顾客忠诚度分析指标，专注于顾客口碑如何影响企业成长。 通过密切跟踪净推荐值，企业可以让自己更加成功。净推荐值(NPS)＝(推荐者 数/总样本数)×100％-(贬损者数/总样本数)×100％。

基于用户的评分可以将用户分为推荐者、被动者和贬损者三种用户类型。 其中，假设评分的满分为10分，评分在9分至10分之间的用户可以称为推 荐者，推荐者通常具有狂热忠诚度，并且会继续购买并引荐给其他人；评分 在7分至8分之间的用户可以称为被动者，被动者通常是总体满意但并不狂 热，将会考虑其他竞争对手的产品；评分在0分至6分之间的用户称为贬损 者，贬损者通常具有使用并不满意或者对企业没有忠诚度的特点。NPS计算 公式的逻辑是推荐者会继续购买并且推荐给其他人来加速企业的成长，而批 评者则能破坏企业的名声，并让企业在负面的口碑中阻止成长。

如果NPS在50％以上，则可以认为用户感知是不错的；如果NPS在70 至80％之间，则说明网络用户感知很好，该网络拥有一批高忠诚度的好客户。

3、操作(operation support system，O)域数据

O域数据包括网络数据，比如包括信令、告警、故障、网络资源等数据。

4、运营(business support system，B)域数据

B数据包括用户数据和业务数据，比如包括用户的消费习惯、终端信息、 每用户平均收入(average revenue per user，ARPU)的分组、业务内容，业务 受众人群等数据。

图1为本申请一个实施例的用户口碑智能保障方法预测流程框图。如图 1所示，本实施例的预测过程可以依次包括如下步骤：对用户进行需求分析； 采集数据，采集的数据包括NPS调研结果用户群体数据、该调研用户群体的 O域数据和B域数据以及时间维度最短周期为一个月的用户相关数据；对采 集到的数据进行数据关联；数据预处理，数据预处理主要包括数据理解(分 析)、缺失值处理、异常值处理、去重处理、数据类型转换、关联性验证、标 准化处理；结合算法分析需求和数据相关性，利用大数据技术机器学习相关 知识对预处理得到的有效数据进行特征筛选；建立模型，并对模型进行训练； 使用模型对测试样本进行预测，得到预测结果；根据预测结果对模型的参数 作进一步优化，得到调优结果；定期对模型进行迭代更新；部署模型，并使 用模型对用户数据进行预测，输出预测结果。

图2为本申请一个实施例的用户口碑智能保障方法预测流程示意图。如 图2所示，该方法可以包括S201、S202、S203、S204、S205、S206、S207 和S208。

S201、采集样本数据集，所述样本数据集包括调研用户群体中每个用户 的B域数据、O域数据和用户类型。

调研用户群体是指被调研的用户群体。例如，网络运营公司有3个呼叫 中心，调研人员可以根据用户套餐、用户年龄等特征均匀选取一批用户，并 给用户打电话以及运用固定的话术让用户给出网络评分。这些被调研的用户 即构成调研用户群体。

采集到用户评分后，调研人员基于用户评分给用户标注用户类型，并采 集调研用户群体的O域数据和B域数据。

用户类型可以分为三类用户或两类用户。作为一种示例，三类用户包括 贬损用户、中立用户和推荐用户。作为一种示例，两类用户包括贬损用户和 非贬损用户。

可以基于用户打分来划分用户类型。例如，用户打分为1到10分(其中， 用户打分为整数，打分越低满意度越低)时，若1<＝用户打分<＝6，则用户为 贬损用户；若6<用户打分<＝8，则用户为中立用户；若8<用户打分<＝10，则 用户为推荐用户。该操作可以称为数据分析或数据理解。

本实施例的一种实现方式中，划分用户类型之后，可以根据用户类型和 预设的用户类型比例从调研用户群体中选取部分用户作为最终的调研用户群 体。作为一种示例，三类用户的样本比例为推荐：中立：贬损＝43.70％：29.13％： 27.18％。作为一种示例，两类用户的样本比例为贬损：推荐＝27.18％：72.82％。

对调研用户群体中每个用户的用户类型、B域数据及O域数据进行整合， 得到样本数据，该样本数据中，用户类型为标签数据，所有样本数据构成样 本数据集。整合可以理解为将用一个用户对应的用户类型、B域数据及O域 数据关联在一起，并将所有用户对应的关联数据记录到同一个数据库中。该 样本数据集可以称为NPS的先验数据。

S202、对样本数据集进行预处理。

预处理主要包括缺失值处理、异常值处理、去重处理、数据类型转换、 关联性验证和标准化处理中一种或多种。

由于真实的海量数据中会存在大量的噪音或缺失值，甚至可能包含异常 数据，影响有效信息的表现，因此需要使用大数据技术对数据进行预处理， 以提高数据质量。

下面分别对缺失值处理、异常值处理、去重处理、数据类型转换、关联 性验证和标准化处理进行介绍。

(1)缺失值处理

每个样本数据中会包括多个字段，每个字段也可以称为一个特征。样本 数据中的字段可以分为离散字段和连续字段。离散字段可以理解为字段值的 取值范围为有限数值的分类字段。连续字段可以理解为字段值为实数的非离 散字段。

对于样本数据中离散字段缺失相应字段值的数据，如用户套餐或用户星 级等字段的值缺失的数据，可以采取删除该数据或重新建立该离散字段与字 段值的映射关系的方法，来对样本数据进行预处理。

建立离散字段与字段值的映射关系的一种示例为：若一个数据中的终端 类型字段中缺失字段值，则将该数据中终端类型字段映射到字段值“其他”， 即给该数据中的终端类型字段重新赋予字段值“其他”，默认该数据中的终端 类型为“其他”类型。

离散字段可以分为二分类离散字段和多分类离散字段。

多分类离散字段的示例如下：

self.multi＝['DEVICE_TYPE','CONSUMPTION_LEVEL','STAR','PACKAGE_NAME']

二分类离散字段的示例如下：

self.binary＝['B_VOICE_CHANGE','B_TRAFFIC_CHANGE']

为用户的终端类型重新建立映射关系，将缺失的终端类型的归类到“其他” 终端的一种示例如下：

device_honor＝data[data['DEVICE_TYPE']＝＝'荣耀'].index.tolist()

data.loc[device_honor,'DEVICE_TYPE']＝'华为'

device_null＝data[data['DEVICE_TYPE'].isnull()].index.tolist()

data.loc[device_null,'DEVICE_TYPE']＝'其他'

device_other＝data[～(data['DEVICE_TYPE'].str.contains('苹果|华为|维沃| 小米|欧珀|三星|其他'))].index.tolist()

data.loc[device_other,'DEVICE_TYPE']＝'其他'

对于样本数据中缺失字段值的连续字段，可以采取插入所有样本数据 (impute)该字段的均值的方法来修复该连续字段的字段值。

连续字段的示例如下：

self.num_columns＝['AGE','DURATION','ENTERTAINMENT','SOCIALIT Y','LIFE','DOWNLOAD','POORCOVER_115','MOU','DOU','CALL_UNICOM',' CALLFREQ_WORKDAY','CALLFREQ_WEEKEND','MO_RATIO','AVG_RSR P','INDOOR_RATE','ARPU','CALLTIME_AVG','CALLTIME_DAY','CALLTIME _AVG_DAY','CALLTIME_NIGHT','CALLTIME_AVG_NIGHT']

对缺失字段值的字段进行均值填充的示例如下：

#fillna with mean

imputer_x＝Imputer(missing_values＝’NaN’,strategy＝’mean’,axis＝0)

imputer_x＝imputer_x.fit(data[self.num_columns])

data[self.num_columns]＝imputer_x.transform(data[self.num_columns])

均值来源于所有该字段非空的样本数据，即可以根据该字段非空的所有 样本数据中该字段中的值计算得到该均值，例如：

#fillna with mean

imputer_x＝Imputer(missing_values＝’NaN’,strategy＝’mean’,axis＝0)

imputer_x＝imputer_x.fit(data[self.num_columns])

data[self.num_columns]＝imputer_x.transform(data[self.num_columns])

该均值可以保存下来，在模型训练之后实际预测时，该均值可以用于对 实测数据的预处理。保存均值的示例如下：

joblib.dump(imputer_x,’./imputer.pkl’)

作为另一种实现方式，若缺失某个离散字段或连续字段的样本数据在整 个样本数据集中的占比较大，可以删除所有样本数据中的该字段。

(2)异常值处理

部分样本数据可能会包含潜在样本偏差导致的极端数值(extreme values)， 如样本数据中某些用户的话费字段对应的话费远远高于平均值，会导致均值 的偏差很大；或因为录入过程的错误、样本数据中的用户信息错填等人为错 误导致样本数据中出现不符合实际逻辑的异常字段值，如样本中某些用户的 年龄为负数，亦会影响该字段的整体均值。

针对存在异常值的样本数据，一种实现方式为删除该样本数据，另一种 实现方式为将异常值设置为“NULL”。

删除包含异常值的样本数据的一种示例如下：

data＝data[data[‘consumption_level’].notnull()]

data＝data[(data[‘B_VOICE_CHANGE’].notnull())]

先将样本数据中的异常值设置为NULL，从而使得该字段可以视为缺失 字段值的字段，然后可以使用前述缺失值处理的方法来进行处理。

例如，样本数据中字段AGE和字段DOU为异常值时，一种异常值处理 示例如下：

ab_age_ind＝data[((data['AGE']<0)|(data['AGE']>100))].index.tolist()

data.loc[ab_age_ind,'AGE']＝np.nan

ab_dou_ind＝data[(data['DOU']<0)].index.tolist()

data.loc[ab_dou_ind,'DOU']＝np.nan

样本数据中字段AGE和字段DOU为异常值时，另一种异常值处理示例 如下：

ab_age_ind＝data[((data['AGE']<0)|(data['AGE']>100))].index.tolist()

data.loc[ab_age_ind,'AGE']＝np.nan

ab_dou_ind＝data[(data['DOU']<0)].index.tolist()

data.loc[ab_dou_ind,'DOU']＝np.nan

ab_cnt_ind＝data[(data['CALL_UNICOM']>100)].index.tolist()

data.loc[ab_cnt_ind,'CALL_UNICOM']＝np.nan

模型用于实际预测是，实测数据用于填充字段的均值源于训练时的样本 数据，例如可以通过如下语句来读取均值和填充均值：

self.imputer_x＝joblib.load('./imputer_3cat.pkl')

df_nps[self.num_columns]＝self.imputer_x.transform(df_nps[self.num_columns])

(3)去重处理

检查样本中是否有重复的样本数据，删除完全重复的样本数据，保证每 个样本的唯一性。

(4)数据类型转换

部分字段的数据类型不符合模型的要求，因此需要进行类型转换。

例如，模型训练时，用户类型作为模型的输出结果，可以设置对应的标 签(Label)值。又如，对于终端类型等带文本信息的离散字段，需要对其进 行编码，以供模型识别。

作为一种示例，中立、推荐、贬损三种用户类型可以分别编码为0、1、 2，供模型识别。

例如，输入的用户类型字段记为x，输出的标签值记为y的一种数据类 型转换示例如下：

#分开x y

df_nps_sca_x＝df_nps_sca.drop(self.user_tag,axis＝1)

df_nps_sca_y＝df_nps_sca['NPS']

#编码y

labelencoder_y＝LabelEncoder()

y＝labelencoder_y.fit_transform(df_nps_sca_y)

y＝pd.DataFrame(y,index＝df_nps_sca.index,columns＝['NPS'])

y＝pd.get_dummies(y,columns＝['NPS'])

对于输入模型的多分类(即字段值有2个以上的类别)的离散字段，还 可以进行独热(One-hot)编码。若该多分类字段的字段值为文字(Object类 型)信息，需先将字段值转换为数字，再进行独热编码。

将多分类字段转换为数字然后保存到LabelEncoder模型文件的一种示例 如下：

for cat_col in self.cat_columns:

#object should be labelencoded

if data[cat_col].dtype＝＝'O':

labelencoder_x＝LabelEncoder()

data[cat_col]＝labelencoder_x.fit_transform(data[cat_col])

pkl_name＝"％s_3cat.pkl"％cat_col

joblib.dump(labelencoder_x,pkl_name)

print(labelencoder_x.classes_)

对多分类的离散字段进行独热编码的一种示例如下：

data_onehot＝pd.get_dummies(data[self.multi],columns＝self.multi)

data_no_multi＝data.drop(self.multi,axis＝1)

data＝pd.concat([data_no_multi,data_onehot],axis＝1)

模型用于实际预测，以及对实测数据进行预测时，可以加载来自训练样 本的LabelEncoder模型文件，以对离散字段进行标签编码。

对离散字段进行编码的示例如下：

data['DEVICE_TYPE']＝self.device_encoder.transform(data['DEVICE_TYPE'])

data['PACKAGE_NAME']＝self.pkg_encoder.transform(data['PACKAGE_NAME'])

对所有的多分类离字段端进行独热编码的示例如下：

data_onehot＝pd.get_dummies(data[self.multi],columns＝self.multi)

data_no_multi＝data.drop(self.multi,axis＝1)

df_nps＝pd.concat([data_no_multi,data_onehot],axis＝1)

(4)关联性验证

由于样本数据量大、字段多且会出现重复的字段，因此容易导致神经网 络模型的训练出现过度拟合的情况，从而导致模型的预测结果不准确。

为了解决该问题，可以计算样本数据中各个字段特征之间的关联性，并 对相关性较强的字段或者重复的字段进行选择性删除。

(5)标准化处理

数据的标准化(normalization)是将数据按比例缩放，使之落入一个小的 特定区间。由于样本数据中的字段较多，各字段的区间跨度差别较大，因此 可以进行标准化处理，去除数据的单位限制，将其转化为无量纲的纯数值， 便于不同单位或量级的指标能够进行比较和加权。

标准化公式的一种示例为：

其中，X为特征，Mean为该特征的均值，Std为该特征的标准差。

分别对每个字段进行标准化处理，最终使得每个字段的值都聚集在0附 近，且方差为1。

对样本数据中的字段进行标准化的一种示例如下：

sc_cols＝data.drop(self.user_tag,axis＝1).columns.tolist()

sc_x＝StandardScaler()

df_nps_sca＝sc_x.fit_transform(data.loc[:,sc_cols])

df_nps_sca＝pd.DataFrame(df_nps_sca,index＝data.index,columns＝sc_cols)

df_nps_sca＝pd.concat([data[self.user_tag],df_nps_sca],axis＝1)

对样本数据的字段进行标准化之后，可以将标准化的值保存到模型文件 sc_X.pkl，以便于用于实际预测数据的字段的标准化。

保存imputer和scaler的标准化值的示例如下：

joblib.dump(sc_x,'./sc_X_3cat.pkl')

joblib.dump(imputer_x,'./imputer_3cat.pkl')

模型预测时

加载来自样本数据的标准化模型文件：

self.sc_x＝joblib.load('./sc_X_3cat.pkl')

对做好缺失和异常值处理的待预测用户数据进行标准化：

sc_cols＝df_nps.drop(self.user_tag,axis＝1).columns.tolist()

df_nps_sca＝self.sc_x.transform(df_nps.loc[:,sc_cols])

df_nps_sca＝pd.DataFrame(df_nps_sca,index＝df_nps.index,columns＝sc_cols)

df_nps_sca＝pd.concat([df_nps[self.user_tag],df_nps_sca],axis＝1)

S203、对预处理后的样本数据集进行筛选，以得到目标样本集，所述目 标样本集中的样本数据包含满足预设条件的字段。

作为一种示例，可以利用机器学习算法选择出与满足预设条件的字段来 进行模型训练。

筛选后的字段通常要满足以下三个条件：字段具有清晰明确的意义，且 缺失、异常数据少；字段与用户类型相关性较强；字段对用户感知影响较大。

确定满足预设条件的字段字后，可以从样本数据集众多的字段集合中剔 除这些字段，从而得到目标样本集。

S204、将目标样本集分为训练样本集和验证样本集。

作为一种示例，训练样本集中的样本数据和验证样本集中的样本数据比 例为8:2。

S205、通过训练样本集对指定神经网络模型进行训练，得到目标模型， 所述目标模型用于输出用户类型的预测结果。

作为一种示例，指定的神经网络模型为TensorFlow搭建前向传播神经网 络(feed-forward neural network)。

例如，可以构建六层的前向传播神经网络，层都包含有若干神经元，层 间的神经元通过权值矩阵连接，下一层神经元接收上层传入的刺激(加权求 和的结果)。该刺激经激励函数(activation function)作用后，输出结果作为 下一层的刺激。这个过程不断地将刺激由前一层传向下一层，故而称之为前 向传递(Forward Propagation)。

作为一种示例，输入层分为六类输入通道，这六类输入通道分别用于输 入来自B域静态信息、XDR-S1U、XDR-S1U类、MR关联定位表类、XDR-MME 类、语音话单数据类的字段。

输入层后依次连接两个隐藏层进行拟合，每个隐藏层的神经元数量由多 次训练调整得出。

第四层为连接层，把六类字段通过第三层的隐藏层后的四类输出，拼接 为一个大类。拼接后的大类经过第五层的隐藏层拟合，由输出层输出三类用 户的可能性，可能性最大的分类即为输入数据对应的用户分类。

前面的隐藏层所用激活函数为sigmoid，输出层前一个隐藏层所用激活函 数为relu。通过relu激活函数后的值为每个分类的概率。

模型训练所产生的模型文件保存于当前文件目录的model目录下，每次 开始迭代训练时，需保证model文件夹为空。模型训练结束后，model文件 夹下将保存最后2次迭代训练生成的模型文件。

S206、对所述目标模型进行模型评估，得到评估结果。

作为一种示例，采用拆分验证方法来评估目标模型。评估指标主要有准 确率(Precision)和召回率(Recall)。

目标模型的评估结果的一种示例如表2所示。

表2模型评估指标

S207、判断评估结果是否达标，若不达标则对目标模型进行优化，直至 目标模型的评估结果达标，若达标，部署所述目标模型，以使用所述目标模 型预测用户类型。

通过验证样本来验证模型的精准度、召回率、F1-Score，并对评估结果进 行检验测试。若不达标则进一步优化，调整神经网络的相关模型参数，按需 对模型反复进行调整，重新进行数据清洗和特征选取，直至得到评估结果达 标的目标模型，并应用目标模型来预测全网的NPS以及区分用户类型。

使用所述目标模型预测用户类型时，可以输入待预测用户的O域数据和 B域数据经过预处理得到的数据，从而预测得到待预测用户的用户类型。

S208、针对预测出的每类用户，通过协同过滤推荐算法进行根因分析。

预测程序主要包括了从数据库中获取待预测的用户数据、进行数据预处 理、NPS预测、NPS预测结果入库、计算用户相似度并进行根因分析、根因 分析标签更新到数据库。

本实施例中，可以定期对目标模型进行迭代更新，模型部署上线，定期 输出预测结果。

通过以上分析，用户NPS分类与目前选择的性能指标和用户属性相关性 较弱，模型预测结果准确率较低。可能影响因素如下：

1)性能指标只是影响用户满意度的其中一个因素，目前已有的网络指标 与Label(用户NPS分类)相关性较小；

2)实际回访时问卷考虑的情况较多，不仅是网络问题，还包括服务、语 音等。

后续提升模型准确率，可考虑：

1)从影响因素的设计方面增加更为细致合理的数据：通过XDR行为的前 期处理，形成新的纬度：支付用，即时通讯用户，游戏用户，视频用户等；

2)扩展NPS调查数据的来源，增大模型数据的数量级，扩展数据的通用 性；

3)省公司随机选取用户，通过本地人员电话调查进行调查；

4)通过公众号、小程序等多途径收集用户调研信息；

5)积累NPS调研用户样本历史数据:用户KQI指标等各类指标趋势。

应用功能迭代开发：

1)建立用户感知(NPS)为中心的运营体系，聚焦价值区域，结合高危携转 用户综合分析；

2)积累更加丰富的数据源，定界定位功能深入下钻，支持运维市场的工 作；

3)与客服数据实现共享，做到全流程的智能分析跟踪处理。

本申请的用户口碑智能保障方法中，可选地，可以不对样本数据集进行 预处理，而是直接使用样本数据集训练神经网络模型。只不过使用预处理后 的样本数据集来训练神经网络模型，去除相关影响，可以提高训练得到的目 标模型的准确率。

本申请的用户口碑智能保障方法中，可选地，可以不对目标模型进行评 估，而是直接使用目标模型预测基于用户的O域和B域等数据预测用户的类 型。只不过使用满足评估标准的目标模型去预测用户类型，可以提高预测结 果的准确率。

图3为本申请一个实施例的用户口碑智能保障方法预测装置的结构示意 图；图3所示的装置可以用于执行前述任意一个实施例所述的方法。如图3 所示，本实施例的装置300可以包括：采集模块301，训练模块302、评估模 块303、判断模块304、预测模块305和分析模块306。

在一种示例中，装置300可以用于执行图2所述的方法。例如，采集模 块301可以用于执行S201，训练模块302可以用于执行S202、S203、S204 和S205，评估模块303可以用于执行S206，判断模块304和预测模块305 可以用于执行S207，分析模块306可以用于执行S208。

图4为本申请另一个实施例的用户口碑智能保障方法预测装置的结构示 意图。图4所示的装置可以用于执行前述任意一个实施例所述的方法。

如图4所示，本实施例的装置400包括：存储器401、处理器402、通信 接口403以及总线404。其中，存储器401、处理器402、通信接口403通过 总线404实现彼此之间的通信连接。

存储器401可以是只读存储器(read only memory，ROM)，静态存储设 备，动态存储设备或者随机存取存储器(random access memory，RAM)。存 储器401可以存储程序，当存储器401中存储的程序被处理器402执行时， 处理器402用于执行图2所示的方法的各个步骤。

处理器402可以采用通用的中央处理器(central processing unit，CPU)， 微处理器，应用专用集成电路(application specific integrated circuit，ASIC)， 或者一个或多个集成电路，用于执行相关程序，以实现本申请各个实施例中 的方法。

处理器402还可以是一种集成电路芯片，具有信号的处理能力。在实现 过程中，本申请各个实施例的方法的各个步骤可以通过处理器402中的硬件 的集成逻辑电路或者软件形式的指令完成。

上述处理器402还可以是通用处理器、数字信号处理器(digital signalprocessing，DSP)、专用集成电路(ASIC)、现成可编程门阵列(field programmable gatearray，FPGA)或者其他可编程逻辑器件、分立门或者晶体 管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各 方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是 任何常规的处理器等。

结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器 执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块 可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写 可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器401，处理器402读取存储器401中的信息，结合其硬件完成本申请的装置包 括的单元所需执行的功能，例如，可以执行图2所示实施例的各个步骤/功能。

通信接口403可以使用但不限于收发器一类的收发装置，来实现装置400 与其他设备或通信网络之间的通信。

总线404可以包括在装置400各个部件(例如，存储器401、处理器402、 通信接口403)之间传送信息的通路。

应理解，本申请实施例所示的装置400可以是计算设备，或者，也可以 是配置于计算设备中的芯片。

还应理解，本申请实施例中的存储器可以是易失性存储器或非易失性存 储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以 是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电 可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性 存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器 (random accessmemory，RAM)可用，例如静态随机存取存储器(static RAM， SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器 (synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器 (double data rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM， DR RAM)。

上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合 来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产 品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程 序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地 产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、 专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储 在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机 可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、 服务器或数据中心通过有线(例如红外、无线、微波等)方式向另一个网站 站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以 是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服 务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软 盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质。半导体介质可 以是固态硬盘。

应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表 示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在 A和B，单独存在B这三种情况，其中A,B可以是单数或者复数。另外，本 文中字符“/”，一般表示前后关联对象是一种“或”的关系，但也可能表示的是 一种“和/或”的关系，具体可参考前后文进行理解。

本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。 “以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个) 或复数项(个)的任意组合。例如，a,b,或c中的至少一项(个)，可以表示： a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。

应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执 行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本 申请实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各 示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结 合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特 定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方 法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描 述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应 过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和 方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示 意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可 以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个 系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间 的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合 或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作 为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方， 或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或 者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中， 也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单 元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用 时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的 技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可 以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中， 包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者 网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的 存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者 光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限 于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易 想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护 范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种用户口碑智能保障方法，其特征在于，包括：

采集样本数据集，所述样本数据集包括调研用户群体中每个用户的B域数据、O域数据和用户类型；

根据所述样本数据集对指定神经网络模型进行训练，得到目标模型；

使用所述目标模型预测用户类型。

2.根据权利要求1所述的方法，其特征在于，所述根据所述训练样本集对指定神经网络模型进行训练，包括：

对所述样本数据集中缺失字段值的样本数据进行预处理，所述预处理包括缺失值处理，所述缺失值处理包括删除所述样本数据或对所述样本数据中缺失字段值的字段进行字段值填充；

使用所述预处理后的样本数据集对所述神经网络模型进行训练。

3.根据权利要求2所述的方法，其特征在于，所述预处理还包括异常值处理，所述异常值处理包括删除所述样本数据或对所述样本数据中字段值异常的字段进行字段值更新。

4.根据权利要求3所述的方法，其特征在于，所述预处理还包括去重处理，所述去重处理包括仅保留所述样本数据集重复样本数据中的一个。

5.根据权利要求4所述的方法，其特征在于，所述预处理还包括标准化处理，所述标准化处理包括对所述样本数据的字段值进行标准化。

6.根据权利要求5所述的方法，其特征在于，使用所述预处理后的样本数据集对所述神经网络模块进行训练，包括：

使用所述预处理后的样本数据集中包含满足预设条件的字段的样本数据，对所述神经网络模型进行训练。

7.根据权利要求6所述的方法，其特征在于，所述使用所述目标模型预测用户类型之前，所述方法还包括：

使用从所述样本数据集中划分得到的验证样本集对所述目标模型进行模型评估，得到评估结果；

判断评估结果是否达标，若不达标则对所述目标模型进行优化，直至所述目标模型的评估结果达标，若达标，则使用所述目标模型预测用户类型。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

通过协同过滤推荐方法对所述目标模型预测得到的用户类型进行根因分析。

9.一种用户口碑智能保障装置，其特征在于，包括用于实现权利要求1至8中任一项所述的方法所需的各个功能模块。

10.一种计算机可读介质，其特征在于，所述计算机可读介质存储用于计算机执行的程序代码，该程序代码包括用于执行如权利要求1至8中任一项所述的方法的指令。

Images