CN108446964B - 一种基于移动流量dpi数据的用户推荐方法 - Google Patents

Abstract

本发明公开了一种基于移动流量DPI数据的用户推荐方法，包括数据采集模块，所述数据采集模块主要是基于DPI技术来实现数据采集，所述数据采集模块的输出端连接数据预处理模块的输入端，所述数据预处理模块的输出端连接字段选取模块的输入端，所述字段选取模块包括计算模块。该基于移动流量DPI数据的用户推荐方法，通过人为经验、相关性算法、XGBoost算法等抽取比较重要的相关字段，同时分析出每个人的流量数据的使用的分布情况，最后，通过运用最新的机器学习与数据挖掘技术、词向量技术、降维、聚类、相似性技术、可视化技术等实现一种基于移动流量DPI数据的用户推荐方法，侧重于同时实现相似用户的聚类与用户推荐。

Description

一种基于移动流量DPI数据的用户推荐方法

技术领域

本发明涉及移动通信技术领域，具体为一种基于移动流量DPI数据的用户推荐方法。

背景技术

随着移动通信技术的发展，逐渐进入了4G网络时代。也随着互联网技术的发展，QQ、微信、视频APP、支付等各种功能APP涌现，人们越来越多的使用手机来聊天、听音乐、看视频等，单纯的通话业务占比大幅下降，流量也越来越取代通话成为运营商最主要的盈利来源，各大运营商也与互联网企业合作推出了各种手机通讯套餐。

但是运营商对于流量业务的经营也出现了很多的难题。一方面用户的感知更能决定企业的兴衰成败。随着移动互联网数据流量爆炸性增长，业务类型也更加丰富，运营商及相关企业的竞争更加激烈化，所以及时、准确的掌握不同人群的不同需求，进行有针对性的推广，才能使企业得到持续盈利与进步；另一方面LTE等4G技术在技术形态与网络行为方面具有高度的开放性与灵活性，导致对移动网络有限的资源和网络能量消耗的评估、分析及预测带来巨大挑战。所以运营商希望克服以上困难，尽可能准确的把握特定地区特定人群的4G网络使用习惯，不仅可以及时调整业务，而且可以通过相似人群划分，实现业务的定向推广。因此，基于移动LTE移动流量数据的业务分析、用户行为研究等一系列相关技术在网络的改进和运营商企业的发展中具有极其重要的价值。

大数据具有数据量大(Volume)、处理速度快(Velocity)、多样性(Variety)、价值密度低(Value)四个显著特点。从而要解决以上问题，可以将最新的大数据技术、机器学习与数据挖掘技术以及深度学习技术引用到移动流量数据的信息挖掘与业务分析中来。

与本发明最相近似的实现方案是一种移动网络用户群体流量使用行为的分类方法；

首先，根据考虑因素对用户流量使用行为产生的影响程度，对所考虑因素的等级进行划分，所述考虑因素包括数据流量、用户使用业务类型、用户移动性；将用户类别预分为九类：A、即时通信低流量用户(包括沉默用户)；B、即时通信中流量用户；C、即时通信高流量用户；D、网页搜索低流量用户(包括沉默用户)；E、网页搜索中流量用户；F、网页搜索高流量用户；G、视频类低流量用户(包括沉默用户)；H、视频类中流量用户；I:视频类高流量用户。然后，对用户群体进行聚类，仅主要使用模糊C-均值聚类算法完成聚类参与点的划分，然而这种方法存在一些缺陷：一、现有技术划分不够细致；二、现有技术没有充分利用移动的DPI数据，只是利用到很少的信息，不太能够充分描述用户的真实行为。因为借助DPI技术收集的LTE上网数据的维度很高，各个维度都有相应的信息，挖掘尽可多的重要属性来描述一个人的上网习惯；三、现有技术只是人为的选取数据流量、用户使用业务类型、用户移动性字段来划分用户种类，没有用相关技术提取DPI数据各维度的重要性，从而选取相对重要字段来划分种类；四、现有技术只考虑到数据流量的多少，没有考虑到使用数据流量的分布情况。本发明在考虑到数据流量多少的同时也加入各类型数据流量的占比分布情况。

基于以上缺陷，现有技术对于运营商而言，存在难以准确的对特定地区以及特定人群推荐适用的业务套餐。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种基于移动流量DPI数据的用户推荐方法，解决了现有研究方法落后，通信技术难以准确的对特定地区以及特定人群推荐适用的业务套餐的问题。

(二)技术方案

为实现上述目的，本发明提供如下技术方案：一种基于移动流量DPI数据的用户推荐方法，包括数据采集模块，所述数据采集模块主要是借助基于DPI技术完成数据采集，所述数据采集模块的输出端连接数据预处理模块的输入端，所述数据预处理模块的输出端连接字段选取模块的输入端，所述字段选取模块包括计算模块，所述字段选取模块的输出端连接向量化处理模块的输入端，所述向量化处理模块包括字段向量化模块以及向量融合模块，所述向量化处理模块的输出端连接降维模块的输入端，所述降维模块的输出端连接聚类与推荐模块的输入端，所述聚类与推荐模块包括相似性算法模块，所述相似性算法模块的输出端分别与聚类模块、相似性用户推荐模块以及离群点归纳模块的输入端连接。

优选的，所述计算模块包括相关性算法与XGBoost算法。

优选的，所述向量化处理模块词向量处理模块主要借助于包括One-HotEncoding、WordEmbedding技术。

优选的，所述降维模块运用t-SNE进行t分布随机邻域嵌入(t-SNE)方法实现降维，t-SNE是一种用于探索高维数据的非线性降维算法。

优选的，所述聚类模块通过K-Means或相似性算法进行聚类。

优选的，所述相似性算法模块通过夹角余弦与欧式距离等方式进行相似性计算，完成相似用户推荐。

优选的，所述数据预处理模块包括数据清洗模块以及业务划分模块，且业务划分模块根据URL内容，将上网类型划分为18大类，划分粒度更细。

(三)有益效果

本发明提供了一种基于移动流量DPI数据的用户推荐方法。具备以下有益效果：

(1)、该基于移动流量DPI数据的用户推荐方法，本发明是一种基于移动流量DPI数据，通过人为经验、相关性算法、XGBoost算法等抽取比较重要的相关字段，同时分析出每个人的流量数据使用的分布情况，将分布情况以及其他的所需字段都转换成向量的形式，最后，通过运用最新的机器学习与数据挖掘技术、词向量、降维、聚类、相似性技术、可视化技术等实现一种基于移动流量DPI数据的用户推荐方法，同时实现聚类和用户推荐，可以辅助运营商实现业务的更准确推广，相对于传统的方法有以下优点：

1、运用相关性算法和XGBoost技术，计算各个字段的相关性来完成字段重要性的排序，从而为特定的分析需求选取相应的较为重要的字段，字段的选取是依据人为经验和相关算法计算得出。

2、描述一个人的上网行为习惯考虑的字段较多，充分利用了原有的DPI数据。

3、不仅仅将数据流量的多少考虑进去，也把每个人流量数据的分布情况考虑进去，也生成了每个开始时间与结束时间段内的上网时长、上网流量和等新字段。

4、流量使用情况划分粒度更细，分成18大类：即时通信、阅读、微博、视频、音乐、支付、动漫、游戏、邮箱、导航、应用商店、P2P业务、VoIP业务、彩信、浏览下载、财经、安全杀毒、其他业务。

5、将每个字段的数据转换成词向量，这样更有利于运用较新的机器学习与深度学习技术来分析移动流量DPI数据。

6、转换成向量后，如果有新的字段加入，可以将带加入字段转换成向量，然后再与原向量融合，在数据量较大的情况下，简化了处理难度、加快了处理速度。

7、得到高维向量后，引入t-SNE降维技术，高效且准确的实现数据降维。

8、引入多种向量相似性算法，进行用户的聚类与用户推荐。

9、本发明将最新的数据挖掘技术、词向量技术、降维技术、深度学习处理技术、可视化技术运用到用户移动DPI流量数据的分析中来。

附图说明

图1为本发明框图的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明提供一种技术方案：一种基于移动流量DPI数据的用户推荐方法，包括数据采集模块，数据采集模块主要是基于DPI技术完成数据采集，数据采集模块的输出端连接数据预处理模块的输入端，通过数据预处理模块将数据进行清洗，归一化，异常值去除，空缺值处理等，数据预处理模块包括数据清洗模块以及业务划分模块，且业务划分模块根据URL内容，将上网类型划分为18大类，划分粒度更细，一般都是基于自身的数据仓库中的数据利用基本的预处理经验进行数据处理的。没有搭建自己数据仓库的、数据涉密低的，为了方便起见可以选用类似赛凡公司的云梦数据仓软件进行，然后在业务划分模块根据URL内容，将上网类型划分为18大类，划分粒度更细，分成的18大类为：即时通信、阅读、微博、视频、音乐、支付、动漫、游戏、邮箱、导航、应用商店、P2P业务、VoIP业务、彩信、浏览下载、财经、安全杀毒、其他业务。此处推荐选用赛凡公司的云梦数据仓软件进行处理，数据预处理模块的输出端连接字段选取模块的输入端，字段的选取是依据人为经验和相关性算法计算得出，字段选取模块包括计算模块，计算模块包括相关性算法与XGBoost算法，运用相关性算法和XGBoost技术，描述一个人的上网行为习惯考虑的字段较多，充分利用了原有的DPI数据，计算各个字段的相关性来完成字段重要性的排序，从而为特定的分析需求选取相应的较为重要的字段，字段的选取是依据人为经验和相关算法计算得出，用多个字段来描述一个人的上网行为习惯，这样就充分利用了原有DPI数据字段选取模块的输出端连接向量化处理模块的输入端，向量化处理模块包括字段向量化模块以及向量融合模块，将每个字段的数据转换成词向量，这样更有利于运用较新的机器学习与深度学习技术来分析移动流量DPI数据，转换成向量后，如果有新的字段加入，可以将带加入字段转换成向量，然后再与原向量融合，在数据量较大的情况下，简化了处理难度、加快了处理速度，这里不仅仅将数据流量数量、开始时间、结束时间、上网时长和其他的重要字段考虑进去，也把每个人流量数据的分布情况考虑进去，通过对每个人30天内的上网数据进行分析，得到每个人18大类的上网流量数据的分布情况，的多少考虑进去，也把每个人流量数据的分布情况考虑进去，也生成了每个开始时间与结束时间段内的上网时长、上网流量和等新字段，流量使用情况划分粒度更细，把每个人30天的上网数据进行分析，得到18大类的上网流量数据的分布图，并将分布情况通过各个类别的比例情况转换成向量形式，分成18大类：即时通信、阅读、微博、视频、音乐、支付、动漫、游戏、邮箱、导航、应用商店、P2P业务、VoIP业务、彩信、浏览下载、财经、安全杀毒、其他业务，向量化处理模块主要借助块包括One-Hot Encoding、WordEmbedding技术，流量数据处理模块依据URL内容，将上网类型划分为18大类，划分粒度更细，通过One-Hot Encoding、WordEmbedding处理以及向量融合技术，最终将代表每个人的特征的所有字段数据最终转换成相同维度的词向量。可以通过向量的拼接来加入新字段信息，既便于信息的融合也便于引用最新的机器学习或深度学习模型来进行相关研究，也简化了处理难度、加快了处理速度，便于引用最新的机器学习或深度学习模型来进行相关研究；

在很多实际的机器学习的应用任务中，特征数据有时候并不总是连续值，有可能是一些离散的分类值，如性别可分为“male”和“female”。在机器学习任务中，对于类似这样的特征，通常我们需要将对其进行特征数字化，如下面的例子：描述一个研究对象有如下三个特征属性：

性别：["male"，"female"]

地区：["Europe"，"US"，"Asia"]

浏览器：["Firefox"，"Chrome"，"Safari"，"Internet Explorer"]

对于某一个样本，如["male"，"US"，"Internet Explorer"]，我们需要将这个样本中分类值的特征数字化，最直接的方法，我们可以采用序列化的方式：[0,1,3]。但是这样的特征处理后的形式并不能直接放入机器学习算法中使用。

可以采用One-Hot Encoding的处理方法：对于上述的问题，性别的属

性是二维的，同理，地区是三维的，浏览器则是四维的，这样，我们可以

采用One-Hot编码的方式对上述的数据样本“["male"，"US"，"Interne

t Explorer"]”编码，“male”则对应着[1，0]，同理“US”对应着[0，

1，0]，“Internet Explorer”对应着[0,0,0,1]。则完整的特征数字化

的结果为：[1,0,0,1,0,0,0,0,1]，向量化处理模块的输出端连接降维模

块的输入端，降维模块运用t-SNE进行降维，t-SNE是一种用于探索高维

数据的非线性降维算法，它将多维数据映射到适合于人类观察的两个或多

个维度，得到高维向量后，引入t-SNE降维技术，高效且准确的实现数据

降维，降维模块的输出端连接聚类与推荐模块的输入端，聚类与推荐模块

包括相似性算法模块，相似性算法模块通过夹角余弦与欧式距离等方式进

行相似性计算，完成相似用户推荐，两个n维向量a(x11,x12,…,x1n)与

b(x21,x22,…,x2n)间的夹角余弦：

夹角余弦取值范围为[-1,1]。夹角余弦越大表示两个向量的夹角越小，

夹角余弦越小表示两向量的夹角越大。当两个向量的方向重合时夹角余弦

取最大值1，当两个向量的方向完全相反夹角余弦取最小值-1。

两个n维向量a(x₁₁,x₁₂,…,x_1n)与b(x₂₁,x₂₂,…,x_2n)间的欧氏距离公式：

相似性算法模块的输出端分别与聚类模块、相似性用户推荐模块以及离群点归纳模块的输入端连接，聚类模块通过K-Means或相似性算法进行聚类、推荐和离群点挖掘。通过实验，证明本发明可靠、可行，能达到在尽可能利用所有流量DPI数据的同时，采用最新的机器学习与数据挖掘技术、词向量、降维、聚类、相似性技术、可视化技术等，达到依据人们的LTE网络使用习惯进行人群聚类、用户推荐的目的。

使用时，通过人为经验、相关性算法、XGBoost算法等抽取比较重要的相关字段，同时分析出每个人的流量数据使用的分布情况，将分布情况以及其他的所需字段都转换成向量的形式。最后，通过运用最新的机器学习与数据挖掘技术、词向量、降维、聚类、相似性技术、可视化技术等实现一种基于移动流量DPI数据的用户推荐方法，同时实现相似行为习惯用户的聚类与用户推荐。可以辅助运营商实现业务的更准确推广。

通过实验，证明本发明可靠、可行，能达到在尽可能利用所有流量DPI数据的同时，采用最新的机器学习与数据挖掘技术、词向量、降维、聚类、相似性技术、可视化技术等，达到依据人们的LTE网络使用习惯进行人群聚类、用户推荐的目的。

需要说明的是，该文中出现的电器元件均与外界的主控器及220V市电电连接，并且主控器可为计算机等起到控制的常规已知设备，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种基于移动流量DPI数据的用户推荐方法，包括数据采集模块，其特征在于：所述数据采集模块主要是借助基于DPI技术完成数据采集，所述数据采集模块的输出端连接数据预处理模块的输入端，所述数据预处理模块的输出端连接字段选取模块的输入端，所述字段选取模块包括计算模块，计算模块包括相关性算法与XGBoost算法，计算各个字段的相关性来完成字段重要性的排序，从而为特定的分析需求选取相应的较为重要的字段，用多个字段来描述一个人的上网行为习惯，所述字段选取模块的输出端连接向量化处理模块的输入端，所述向量化处理模块包括字段向量化模块以及向量融合模块，所述向量化处理模块的输出端连接降维模块的输入端，所述降维模块的输出端连接聚类与推荐模块的输入端，所述聚类与推荐模块包括相似性算法模块，所述相似性算法模块的输出端分别与聚类模块、相似性用户推荐模块以及离群点归纳模块的输入端连接。

2.根据权利要求1所述的一种基于移动流量DPI数据的用户推荐方法，其特征在于：所述向量化处理模块主要借助于包括One-Hot Encoding、WordEmbedding技术。

3.根据权利要求1所述的一种基于移动流量DPI数据的用户推荐方法，其特征在于：所述降维模块运用t-SNE进行t分布随机邻域嵌入(t-SNE)方法实现降维，t-SNE是一种用于探索高维数据的非线性降维算法。

4.根据权利要求1所述的一种基于移动流量DPI数据的用户推荐方法，其特征在于：所述聚类模块通过K-Means或相似性算法进行聚类。

5.根据权利要求1所述的一种基于移动流量DPI数据的用户推荐方法，其特征在于：所述相似性算法模块通过夹角余弦与欧式距离等方式进行相似性计算，完成相似用户推荐。

6.根据权利要求1所述的一种基于移动流量DPI数据的用户推荐方法，其特征在于：所述数据预处理模块包括数据清洗模块以及业务划分模块，且业务划分模块根据URL内容，将上网类型划分为18大类，划分粒度更细。

Images