CN104794195A - 一种用于电信潜在换机用户发现的数据挖掘方法 - Google Patents

Abstract

本发明提供用于电信潜在换机用户发现的数据挖掘方法，包括如下步骤：1)数据集构造阶段：a收集用户的消费信息、用户历史换机信息、用户信息、终端信息；b数据预处理，同时产生数据集；c处理类别不均衡的数据集，形成最终的训练集和预测集；挖掘阶段：a)获取步骤1-c中处理生成的数据集；b)实施决策树算法发现潜在换机用户；c)结束。本发明是基于数据挖掘的技术在电信用户中找出潜在的换机用户。和传统的方法相比更精确、更高效，具有实现简单、代价低等一系列的优点。

Description

一种用于电信潜在换机用户发现的数据挖掘方法

技术领域

本发明涉及数据集构建方法、类别不均衡问题解决方法，以及在数据集上采用决策树算法挖掘出电信潜在换机用户的技术。

背景技术

利用数据挖掘技术可以智能分析电信用户数据，发现潜在的用户换机规律。常用的电信潜在换机用户数据挖掘中有一类应用是决策树分类算法，其基于用户的消费数据、换机信息等对用户未来的换机行为进行预测。本发明也使用了KNN算法和聚类算法对类别不均衡数据进行了欠采样处理，构造数据平衡、分布均匀的数据集。同时在数据进行预处理时使用信息增益率进行属性选择，选择合适的属性。也尝试用数据处理技术去除干扰性噪音数据。

电信行业的运营商几乎每分每秒都在产生大量的业务数据，这些实时海量的数据对于运营商就像一座含有无数矿藏的矿山，本身并不能产生价值，但如果开采得当，就可以得到想象不到的价值，而数据挖掘无疑就是最好的开采工具。在激烈的运营商竞争中，运用数据挖掘去分析海量的业务数据，对理解商业行为、了解客户需求、把握产品和服务的走向等等无疑有着不可估量的价值。

基于数据挖掘进行潜在换机用户定位这一思路打破了传统经验总结的换机模型的惯例，采用数据挖掘中的决策树算法可以深入挖掘用户换机的信息，发现用户更换手机的特点以及用户换机的规律，克服了传统地人为经验总结不能更具针对性同时高精确性的不足。

近期以来，随着大数据时代的来临，将数据挖掘技术用于电信行业进行商业价值提升逐渐成为一种趋势。

发明内容

本发明的目的，构造预测用户换机行为所需的训练数据集和预测数据集，并在训练数据集上采用KNN和聚类算法，以处理类别不均衡的数据集。最后在数据集上实施决策树算法，以快速有效地发现潜在换机用户。

为解决上述问题，本发明的技术方案是，用于电信潜在换机用户发现的数据挖掘方法，包括如下步骤：

1)数据集构造阶段：

a收集用户消费信息、用户历史换机信息、用户信息、终端信息；

b数据预处理，同时产生数据集；

c处理类别不均衡的数据集，形成最终的训练集和预测集；

d结束。

2)挖掘阶段：

a获取步骤1)-c中处理生成的数据集；

b实施数据挖掘算法发现潜在换机用户；

c保存结果；

d结束。

步骤1)-a中所说的收集数据为收集电信客户的消费信息等相关数据。

步骤1)-b中所说的数据预处理具体过程如下：

1)选择用户状态表中状态正常的用户作为我们的预测用户，每个用户都有一个唯一的user_id；

2)以时间点为分割，规划出每个用户在该时间点之前的消费信息、换机信息等，并通过user_id关联起来，以当前月为时间分割点的是预测数据集，以前的其他月为时间分割点的是训练数据集；

3)求出每个属性的信息增益率，选择信息增益率大的属性，摒弃信息增益率小的属性 $E\left(S\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}-p_i{\log }_2{p}_i$

其中S表示数据集，n表示数据集的类标中值的个数，p_i表示第i个值出现的概率，E(S)表示数据集S的熵

$E(S,A)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\frac{S_i}{S}E\left(S\right)$

属性A有n个取值C₁,C₂...C_n，将数据集S分为n个不相交的子集S₁,S₂...S_n，|S|为数据集的实例数，|S_i|为数据集的第i个子集的实例数，E(S,A)表示数据集S由属性A分裂后的熵计算公式

InfoGain(S,A)＝E(S)-E(S,A)

InfoGain(S,A)表示属性A的信息增益

$\mathrm{GainRatio}(S,A)=\mathrm{InfoGain}(S,A)/(-\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\frac{S_i}{S}\log \frac{S_i}{S})$

GainRatio(S,A)表示属性A的信息增益率

4)过滤掉消费属性值为空的数据；

5)过滤掉用机时间属性值小于15天的数据；

6)过滤掉历史用机个数属性值超于50个的数据；

7)过滤掉手机imei重复的数据；

8)为训练数据集的每一条记录添加类标；

9)结束。

步骤1)-c具体过程如下：

1)基于KNN算法对训练数据集中的边界数据进行过滤；

2)对训练数据集中大类数据进行聚类；

3)对聚类后的大类数据进行分层抽样；

4)结合小类数据组合成最终的训练集；

5)结束。

步骤2)-b中数据挖掘决策树算法的一次构建过程具体如下：

1)创建一个根节点N；

2)若训练数据集集为空，则标记节点N为空，并将其返回；

3)若训练数据集属于同一个类标C，则将节点N标记为C，并将其作为叶子节点返回；

4)若属性集合A为空，则将节点N标记为训练集中最多的那个类标M，并将其作为叶子节点返回；

5)对属性集合A中的每个属性进行离散型判断；

6)将连续型属性离散化处理；

7)选择属性集合A中信息增益最高的属性a；

8)根据属性a的取值a＝d_i对结点N进行分支划分，确定每个分支的子数据集；

9)建立a＝d_i的分支，并且节点N按该分支建立子结点N_i；

10)以N_i为根节点，属性a以外的属性为属性集，递归构建决策树。

本发明的有益效果，本发明基于数据挖掘技术的电信潜在换机用户定位方法构建了预测所需的数据集，并且利用KNN和聚类算法处理了类别不均衡的数据集，平衡了数据的均匀度，最后使用决策树算法高效、精确地挖掘出潜在换机的人群。

附图说明

图1为潜在换机用户挖掘操作流程图。

图2为本发明的基于数据挖掘技术的电信潜在换机用户定位方法的流程图。

图3为生成换机数据集的流程图。

图4为处理类别不均衡数据集的流程图。

图5为挖掘过程中决策树算法的一次构造过程

具体实施方式

为了更了解本发明的技术内容，特举实例并配合所附图式说明如下。

如图1所示，潜在换机用户挖掘通过电信数据库查询、数据整合获取用户消费、换机等原始数据，经过相关口径以及数据预处理生成训练数据集和预测训练集，然后在KNN和聚类算法下产生更平衡、均匀的数据集，最后在数据集上运行决策树算法以挖掘出潜在换机的用户。

换机数据集构造与决策树算法挖掘换机用户是该发明的主要步骤，本发明的思路就是通过数据集构造和决策树算法有效挖掘潜在换机用户，同时提高算法可扩展性和运行速度。

本发明的基于数据挖掘技术的电信潜在换机用户定位方法的流程图如图2所示。

步骤0为本发明的换机用户发现方法的起始状态；

在数据集构造阶段(步骤1-3)，步骤1是从电信数据库查询、数据整合获取用户消费、换机等原始数据；

步骤2是在原始数据上按照数据集构造口径以及数据预处理形成初始的训练数据集和预测数据集；

步骤3是使用KNN算法和聚类算法欠采样处理类别不均衡的初始数据集。

在挖掘阶段(步骤4-5)，步骤4,在步骤3所生成的训练数据集和预测数据集上运行决策树算法；

步骤5是将挖掘出的结果保存至数据库中；

步骤6是本发明的基于数据挖掘技术的电信潜在换机用户定位方法的结束步骤。

图3是对图2中步骤2的详细描述。

步骤20为起始步骤；

步骤21为选择用户状态表中状态正常的用户user_id；

步骤22为以时间点为分割，通过user_id关联用户相关的信息，构造初始的数据集；

步骤23为通过信息增益率来选择换机预测算法中要用到的属性；

步骤24为过滤掉消费属性值为空的数据；

步骤25为过滤掉用机时间属性值小于15天的数据；

步骤26为过滤掉历史用机个数属性值超于50个的数据；

步骤27为过滤掉手机imei重复的数据；

步骤28为给训练数据集每条记录添加类标；

步骤29为图3的结束。

图4是对图2中步骤3的详细描述。

步骤30为起始步骤；

步骤31为使用KNN算法去除训练数据集中的边界数据；

步骤32为对训练数据集中的大类数据进行聚类操作；

步骤33为对聚类过后的大类数据进行分层抽样；

步骤34为对抽样的数据和小类数据进行合并，构建最终的训练数据集；

步骤35为图4的结束。

图5是对图2中步骤4中决策树算法一次递归的详细描述。

步骤40为起始步骤；

步骤41表示创建一个根节点N；

步骤42判断训练数据集中数据是否为空，是则执行步骤43，否则执行步骤44；

步骤43标记根节点N为空，然后执行步骤53；

步骤44判断训练数据集中所有记录是否属于同一类别，是则执行步骤45，否则执行步骤46；

步骤45标记结点为所属类别C，然后执行步骤53；

步骤46判断属性集合是否为空，是则执行步骤47，否则执行步骤48；

步骤47标记节点为训练集中最多的类标M，然后执行步骤53；

步骤48判断属性集合中属性的离散性，是则执行步骤50，否则执行步骤49；

步骤49表示把连续型属性离散化处理；

步骤50表示选择信息增益率最高的属性a；

步骤51表示根据所选属性a的值，对根结点N进行分支划分；

步骤52表示以分支递归构造决策树；

步骤53为图5的结束步骤；

注：决策树算法是一个递归过程，递归的终止条件是以下其一：a)为给定节点的数据全部属于同一类标；b)属性集已经全部参与划分；c)通过某一属性分裂后的数据集中没有记录。

综上所述，本发明利用决策树算法以及数据挖掘中相关算法的可扩展性和运行速度，以便能在大量电信数据下快速高效运行潜在换机用户挖掘算法，并且能有效且精准地挖掘出换机人群，帮助研究换机规律。

本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (1)

1.用于电信潜在换机用户发现的数据挖掘方法，其特征是包括如下步骤：

1)数据集构造阶段：

a收集用户的消费信息、用户历史换机信息、用户信息、终端信息；

b数据预处理，同时产生数据集；

c处理类别不均衡的数据集，形成最终的训练集和预测集；

d结束；

2)挖掘阶段：

a获取步骤1)-c中处理生成的数据集；

b实施数据挖掘算法发现潜在换机用户；

c保存结果；

d结束；

步骤1)-a中所说的收集数据为收集电信客户的消费信息等相关数据；

步骤1)-b中所说的数据预处理具体过程如下：

1)选择用户状态表中状态正常的用户作为我们的预测用户，每个用户都有一个唯一的user_id；

2)以时间点为分割，规划出每个用户在该时间点之前的消费信息、换机信息等，并通过user_id关联起来，以当前月为时间分割点的是预测数据集，以前的其他月为时间分割点的是训练数据集；

3)求出每个属性的信息增益率，选择信息增益率大的属性，摒弃信息增益率小的属性

$E\left(S\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}-p_i{\log }_2{p}_i$

其中S表示数据集，n表示数据集的类标中值的个数，p_i表示第i个值出现的概率，E(S)表示数据集S的熵

$E(S,A)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\frac{S_i}{S}E\left(S\right)$

属性A有n个取值C₁,C₂...C_n，将数据集S分为n个不相交的子集S₁,S₂...S_n，|S|为数据集的实例数，|S_i|为数据集的第i个子集的实例数，E(S,A)表示数据集S由属性A分裂后的熵计算公式

InfoGain(S,A)＝E(S)-E(S,A)

InfoGain(S,A)表示属性A的信息增益；

4)过滤掉消费属性值为空的数据；

5)过滤掉用机时间属性值小于15天的数据；

6)过滤掉历史用机个数属性值超于50个的数据；

7)过滤掉手机imei重复的数据；

8)为训练数据集的每一条记录添加类标；

9)结束；

步骤1)-c具体过程如下：

1)基于KNN算法对训练数据集中的边界数据进行过滤；

2)对训练数据集中大类数据进行聚类；

3)对聚类后的大类数据进行分层抽样；

4)结合小类数据组合成最终的训练集；

5)结束；

步骤2)-b中数据挖掘决策树算法的一次构建过程具体如下：

1)创建一个根节点N；

2)若训练数据集集为空，则标记节点N为空，并将其返回；

3)若训练数据集属于同一个类标C，则将节点N标记为C，并将其作为叶子节点返回；

4)若属性集合A为空，则将节点N标记为训练集中最多的那个类标M，并将其作为叶子节点返回；

5)对属性集合A中的每个属性进行离散型判断；

6)将连续型属性离散化处理；

7)选择属性集合A中信息增益最高的属性a；

8)根据属性a的取值a＝d_i对结点N进行分支划分，确定每个分支的子数据集；

9)建立a＝d_i的分支，并且节点N按该分支建立子结点N_i；

10)以N_i为根节点，属性a以外的属性为属性集，递归构建决策树。