CN103248677A - 互联网行为分析系统及其工作方法 - Google Patents

Abstract

本发明涉及一种互联网行为分析系统及其工作方法。该互联网行为分析系统包括分布式云计算处理平台、通信运营商数据通信网络以及接口服务器，该分布式云计算处理平台经由交换机以及防火墙通讯连接该通信运营商数据通信网络，该接口服务器负责下载通信运营商的用户上网日志并且通讯连接该通信运营商数据通信网络；该分布式云计算处理平台包括以分布式并行方式通讯连接的主处理服务器、多个节点服务器以及操作终端。本发明还提供了该互联网行为分析系统的工作方法。本发明的互联网行为分析系统及其工作方法能对海量数据进行处理和加工，实现对用户上网行为的识别，针对客户的互联网行为打上相应的标签。

Description

互联网行为分析系统及其工作方法

技术领域

本发明涉及数据分析处理领域，特别涉及一种互联网行为分析系统及其工作方法。

背景技术

当前移动互联网发展迅猛，3G迎来井喷式发展，移动业务发展市场竞争激烈，3G地位争夺战愈加白热化，流量经营将成为移动互联网3G发展的重中之重。

通信运营商在进行流量经营时，常常面临以下问题和困惑：

1)不知道用户的流量去向，用户每个月的流量主要干了什么，用在哪些方面，目前都不清楚，从而也不能真正了解用户的需求，不知道用户上网喜欢干什么，也不能真正进行针对性的引导和推荐，盲目推荐有时会引起用户反感，导致用户投诉，反而起到不好的效果；

2)不清楚用户的使用场景，不知道用户通常在哪些场景下会使用手机上网，没有准确的把握营销时机，用户反馈率不高，导致很多时候用户对运营商推荐的内容在没看的情况下就直接删除了；

3)不能很好的将用户的宽带上网偏好移植到手机上，如果搞清楚用户的宽带上网偏好，就可以推荐相应的移动客户端，将宽带上网偏好移植到手机上。

发明内容

因此，本发明的目的在于提供一种互联网行为分析系统，能对海量数据进行处理和加工，实现对用户上网行为的识别。

本发明的又一目的在于提供一种互联网行为分析系统的工作方法，能对海量数据进行处理和加工，实现对用户上网行为的识别。

为实现上述目的，本发明提供了一种互联网行为分析系统，其包括基于Hadoop架构搭建的分布式云计算处理平台、通信运营商数据通信网络以及接口服务器，该分布式云计算处理平台经由交换机以及防火墙通讯连接该通信运营商数据通信网络，该接口服务器负责下载通信运营商的用户上网日志并且通讯连接该通信运营商数据通信网络；该分布式云计算处理平台包括以分布式并行方式通讯连接的主处理服务器、多个节点服务器以及操作终端，该主处理服务器负责接口数据存储，所有节点服务器对接口数据同时并行处理，操作终端向操作者提供操作该分布式云计算处理平台的界面，该分布式云计算处理平台将所述用户上网日志分成APP清单和URL清单分别进行处理，将该APP清单与客户端应用库进行匹配进行APP兴趣点汇总，将该URL清单与关键词库和网址分类库进行匹配进行URL兴趣点汇总，综合所述APP兴趣点汇总和URL兴趣点汇总得出反映用户互联网行为的表。

其中，所述反映用户互联网行为的表包括分别对应于用户访问网址、使用APP、在网页上进行搜索、上网时段及使用终端的字段。

其中，所述客户端应用库包括分别对应于IP及端口、域名以及网址的字段。

其中，所述关键词库包括对应于关键词的字段。

其中，所述网址分类库包括对应于网址的字段。

其中，所述分布式云计算处理平台根据APP兴趣点汇总结果生成用户APP清单和用户APP兴趣点汇总表。

其中，所述分布式云计算处理平台根据URL兴趣点汇总结果生成用户URL清单和用户URL兴趣点汇总表。

为实现上述目的，本发明还提供了一种互联网行为分析系统的工作方法，其包括：

步骤1、利用接口服务器下载通信运营商的用户上网日志；

步骤2、将所述用户上网日志交由Hadoop架构的分布式云计算处理平台进行处理并区分为APP清单和URL清单；

步骤3、将所述APP清单与客户端应用库进行匹配，对APP兴趣点打标签，进而对APP兴趣点汇总；

步骤4、将所述URL清单与关键词库和网址分类库进行匹配，对URL兴趣点打标签，进而对URL兴趣点汇总；

步骤5、根据APP兴趣点汇总结果生成用户APP清单和用户APP兴趣点汇总表；

步骤6、根据URL兴趣点汇总结果生成用户URL清单和用户URL兴趣点汇总表；

步骤7、根据用户APP兴趣点汇总表和用户URL兴趣点汇总表得出反映用户互联网行为的表。

其中，所述反映用户互联网行为的表包括分别对应于用户访问网址、使用APP、在网页上进行搜索、上网时段及使用终端的字段。

其中，将所述URL清单与关键词库和网址分类库进行匹配的过程包括：

步骤41、通过网络爬虫爬取对应URL的网页内容，保留文本内容作为待分类文本；

步骤42、通过分词技术对网页内容分词；

步骤43、计算关键词在关键词库中的分布矩阵；

步骤44、计算关键词在关键词库中的分布系数；

步骤45、计算关键词对关键词库中各类的覆盖度、支持度、置信度；

步骤46、准备多个预先已确定分类的待分类文本作为样本，用枚举的方法得到判断文本分类的拟合公式；

步骤47、对于待分类的文本用步骤46得到的拟合公式计算各类的得分，实现对待分类文本的分类。

综上所述，本发明的互联网行为分析系统构建一个基于分布式云计算的大数据处理平台，能对海量数据进行处理和加工，实现对用户上网行为的识别。本发明的互联网行为分析系统的工作方法能对海量数据进行处理和加工，可以实现对用户上网行为的识别，针对客户的互联网行为打上相应的标签。

附图说明

下面结合附图，通过对本发明的具体实施方式详细描述，将使本发明的技术方案及其他有益效果显而易见。

附图中，

图1为本发明互联网行为分析系统一较佳实施例的结构示意图；

图2为本发明互联网行为分析系统的工作方法一较佳实施例的流程图。

具体实施方式

本发明技术方案中所涉及名词的解释：

URL：统一资源定位符（URL，英语Uniform Resource Locator的缩写）也被称为网页地址，是因特网上标准的资源的地址。

APP：是Application的缩写，指运行于手机终端上的应用客户端。

Hadoop:一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。

网络爬虫：被称为网页蜘蛛、网络机器人，是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。

分词：中文分词(Chinese Word Segmentation)指的是将一个汉字序列切分成一个一个单独的词。

参见图1，其为本发明互联网行为分析系统一较佳实施例的结构示意图。本发明的互联网行为分析系统主要包括基于Hadoop架构搭建的分布式云计算处理平台1、通信运营商数据通信网络（DCN）2以及接口服务器3，该分布式云计算处理平台1经由交换机4以及防火墙5通讯连接该通信运营商数据通信网络2，该接口服务器3负责下载通信运营商的用户上网日志并且通讯连接该通信运营商数据通信网络2；该分布式云计算处理平台1主要包括以分布式并行方式通讯连接的主处理服务器11、多个节点服务器12以及操作终端13，该主处理服务器11负责接口数据存储，所有节点服务器12对接口数据同时并行处理，操作终端13通过路由器14接入分布式云计算处理平台1，向操作者提供操作该分布式云计算处理平台1的界面，该分布式云计算处理平台1将所述用户上网日志分成APP清单和URL清单分别进行处理，将该APP清单与客户端应用库进行匹配进行APP兴趣点汇总，将该URL清单与关键词库和网址分类库进行匹配进行URL兴趣点汇总，综合所述APP兴趣点汇总和URL兴趣点汇总得出反映用户互联网行为的表。图1中通过交换机4以及防火墙5进行网络隔离，保证安全，保留一部分节点服务器12作为预留扩展，另外也可以根据需要再增加节点服务器12的数量。

本发明基于Hadoop架构，搭建一个分布式云计算的大数据处理平台，易于扩展，可灵活增加节点服务器，增加节点服务器可实现线性扩展，线性增加存储、查询和加载性能；能进行自动化的并行处理，无需人工分区或优化，加载或访问方式与一般数据库相同，易于操作；最优化的I/O处理，所有节点服务器同时并行处理，节点之间完全无共享，无I/O冲突；海量数据分布在所有的多个节点上，每个节点服务器只处理其中一部分数据，支持TB级乃至PB级数据处理。基于分布式云计算的大数据处理平台构建方法：通过云计算平台，实现对海量数据的存储和处理，易扩展，易维护。

参见图2，其为本发明互联网行为分析系统的工作方法一较佳实施例的流程图，如图1所示的互联网行为分析系统可以参照图2所示的流程图进行工作。参见图2，本发明互联网行为分析系统的工作方法主要包括源数据接口层、数据处理层（Hadoop）及汇总层，图2是以中国电信为例来说明互联网行为分析的具体处理流程，包括：

步骤1、利用接口服务器通过FTP方式下载C网上网日志；

步骤2、C网上网日志交由Hadoop架构的分布式云计算处理平台进行处理，区分为APP清单和URL清单，并进行清单去冗；

步骤3、将APP清单与客户端应用库进行匹配，对APP兴趣点打标签，进而对APP兴趣点汇总，客户端应用库可以包括分别对应于IP及端口、域名以及网址的字段；

步骤4、将URL清单与关键词库和网址分类库进行匹配，对URL兴趣点打标签，进而对URL兴趣点汇总，关键词库可以包括对应于关键词的字段，网址分类库可以包括对应于网址的字段；

步骤5、根据APP兴趣点汇总结果生成C网用户APP清单和C网用户APP兴趣点汇总表；

步骤6、根据URL兴趣点汇总结果生成C网用户URL清单和C网用户URL兴趣点汇总表；

步骤7、根据用户APP兴趣点汇总表和用户URL兴趣点汇总表得出C网用户上网偏好表，该C网用户上网偏好表可以包括分别对应于用户访问网址、使用APP、在网页上进行搜索、上网时段及使用终端的字段。实现了对互联网行为标签体系设计：通过对用户访问网址、使用APP、在网页上进行搜索、上网时段、使用终端等方面，构建用户互联网行为标签库。

其中，步骤4中将所述URL清单与关键词库和网址分类库进行匹配的过程基于网页内容分类的文本挖掘技术和算法：基于对网页文本内容的解析，根据文本中出现的关键词的词义，基于特定的算法，识别该网页所属的分类；包括：

步骤41、通过网络爬虫爬取对应URL的网页内容，保留文本内容作为待分类文本；通过网络爬虫，爬取网页内容，剔除图片、视频等无效资源，保留文本内容；

步骤42、通过分词技术对网页内容分词；

步骤43、计算关键词在关键词库中的分布矩阵（属于某类则填1，否则填0或留空，各类都要进行一一判别），例如下表：

步骤44、计算关键词在关键词库中的分布系数，即上面分布矩阵行列值除以对应行的第L列的值（类别数），例如下表：

步骤45、计算关键词对关键词库中各类的覆盖度、支持度、置信度，其中覆盖度的计算方法是：计算出属于该类中的关键词出现频次之和；支持度的计算方法是：对词库系数向量的各分量进行求和；置信度的计算方法是：

首先计算关键词个数T，然后计算T-名次向量各分量乘以词库系数向量对应分量的值作为单个关键词的置信度分量，然后对所有这些分量求和作为置信度。最后对覆盖度、支持度、置信度分别进行标准化，消除量纲的影响(（x-min(x）/(max(x)-min(x)))，其中x为覆盖度、支持度或置信度；计算结果例如下表：

覆盖度

48.50

161.17

141.50

88.50

217.50

143.17

105.67

201.00

支持度	0.50	1.83	1.50	1.00	2.50	1.83	1.33	2.50
									置信度	2.00	5.73	4.00	5.50	6.60	9.55	9.00	8.80

数据标准化后如下表：

覆盖度	0.2230	0.7410	0.6506	0.4069	1.0000	0.6582	0.4858	0.9241
									支持度	0.2000	0.7333	0.6000	0.4000	1.0000	0.7333	0.5333	1.0000
置信度	0.2094	0.5997	0.4188	0.5759	0.6911	0.9995	0.9424	0.9215

步骤46、准备多个预先已确定分类的待分类文本作为样本，用枚举的方法得到判断文本分类的拟合公式；例如，准备K个建模样本，即K个待分类样本，但是事先要知道其具体属于哪一类，并假设该类得分恰好最大，也就是覆盖度、支持度、置信度的某种加权平均值达到最大，因此就要找到这样的加权系数，使得预测结果和实际结果尽可能多的匹配，这可以用枚举的方法得到拟合公式；

步骤47、对于待分类的文本用步骤46得到的拟合公式计算各类的得分，实现对待分类文本的分类，通过计算各类的得分，将预测文本判到得分最高的那个类即可（或者得分最高的前3个类）。

利用本发明的互联网行为分析系统及其工作方法，可对互联网清单海量数据处理。以目前某国内电信本地网互联网分析平台为例，其每天处理的数据量如下：

数据量：WAP清单9000万，宽带清单3.4亿，共计4.3亿；

文件大小：WAP清单50G，宽带清单30G，共计80G；

本发明的互联网行为分析系统及其工作方法对电信本地网互联网分析平台的数据进行处理，可得到完整的互联网标签（tag）体系，包括：

用户访问网址的偏好分类：

用户访问网站的信息：

用户使用APP的偏好：

用户的搜索行为偏好：

用户的上网时段特征：

利用本发明的互联网行为分析系统及其工作方法得出得出C网用户上网偏好表后，可精确营销支撑，以中国电信的院线通专题营销为例，可实现：

一、记录用户关注点

根据用户日常点击浏览电影信息，从如下方面记录用户关注点：

电影类型：爱情片、战争片、科幻片等；

电影出产国：国产、港台、欧美、韩日等；

是否使用院线通应用；

偏爱明星：刘德华、刘亦菲、周润发等；

是否积分兑换过电影票

二、提取目标用户

在国庆期间，借助新片“铜雀台”推广院线通的使用，按如下条件提取目标用户：

有查阅电影资讯信息的用户；

电影类型：战争片；

电影出产国：国产；

没有使用过院线通应用

偏爱明星：刘德华或刘亦菲；

没有投诉过Push（推送）内容

三、跟踪效果

记录电机Push内容的手机号码和Push内容标识；

记录下载院线通应用的手机号码和Push内容标识；

记录未点击Push内容的手机号码和Push内容标识

四、完善用户关注点

根据用户点击的Push内容标识，给对应手机号码用户打上准确的关注点信息；

对下载院线通的用户，则增加已下载院线通应用的标签，以免下次重复Push相同内容；

根据未点击Push内容的标识，给对应手机号码用户原来的电影标签打上未明确标识。

综上所述，本发明的互联网行为分析系统及其工作方法相对于现有技术，具备以下优点：

1)完整的互联网行为标签体系构建，从用户访问网址、使用APP、在网页上进行搜索、上网时段、使用终端等方面，全面识别用户的互联网行为，构建互联网行为标签库。

2)流量经营精确营销支撑：根据用户的互联网行为特征，结合电信自有业务的产品特征，精确锁定目标用户，进行精细化的推荐，相比目前的粗放式营销，更能提高营销的准确率，节约营销成本。支持营销效果的及时跟踪评估，对推荐的网址或APP应用，能按天跟踪用户数、访问量的变化趋势，便于及时调整营销策略，提高营销效果。

3)基于海量数据处理的技术架构：现有的平台架构无法支撑对用户上网清单等大数据进行存储和加工，无法将现有的数据转化为知识加以利用，只能无奈抛弃，本系统构建基于云计算的海量数据处理平台，对原来无法处理的大数据能够很好的进行分析和处理，最大化的发挥数据的价值。

以上所述，对于本领域的普通技术人员来说，可以根据本发明的技术方案和技术构思作出其他各种相应的改变和变形，而所有这些改变和变形都应属于本发明后附的权利要求的保护范围。

Claims (10)

1.一种互联网行为分析系统，其特征在于，包括基于Hadoop架构搭建的分布式云计算处理平台、通信运营商数据通信网络以及接口服务器，该分布式云计算处理平台经由交换机以及防火墙通讯连接该通信运营商数据通信网络，该接口服务器负责下载通信运营商的用户上网日志并且通讯连接该通信运营商数据通信网络；该分布式云计算处理平台包括以分布式并行方式通讯连接的主处理服务器、多个节点服务器以及操作终端，该主处理服务器负责接口数据存储，所有节点服务器对接口数据同时并行处理，操作终端向操作者提供操作该分布式云计算处理平台的界面，该分布式云计算处理平台将所述用户上网日志分成APP清单和URL清单分别进行处理，将该APP清单与客户端应用库进行匹配进行APP兴趣点汇总，将该URL清单与关键词库和网址分类库进行匹配进行URL兴趣点汇总，综合所述APP兴趣点汇总和URL兴趣点汇总得出反映用户互联网行为的表。

2.如权利要求1所述的互联网行为分析系统，其特征在于，所述反映用户互联网行为的表包括分别对应于用户访问网址、使用APP、在网页上进行搜索、上网时段及使用终端的字段。

3.如权利要求1所述的互联网行为分析系统，其特征在于，所述客户端应用库包括分别对应于IP及端口、域名以及网址的字段。

4.如权利要求1所述的互联网行为分析系统，其特征在于，所述关键词库包括对应于关键词的字段。

5.如权利要求1所述的互联网行为分析系统，其特征在于，所述网址分类库包括对应于网址的字段。

6.如权利要求1所述的互联网行为分析系统，其特征在于，所述分布式云计算处理平台根据APP兴趣点汇总结果生成用户APP清单和用户APP兴趣点汇总表。

7.如权利要求1所述的互联网行为分析系统，其特征在于，所述分布式云计算处理平台根据URL兴趣点汇总结果生成用户URL清单和用户URL兴趣点汇总表。

8.一种如权利要求1所述的互联网行为分析系统的工作方法，其特征在于，包括：

步骤1、利用接口服务器下载通信运营商的用户上网日志；

步骤2、将所述用户上网日志交由Hadoop架构的分布式云计算处理平台进行处理并区分为APP清单和URL清单；

步骤3、将所述APP清单与客户端应用库进行匹配，对APP兴趣点打标签，进而对APP兴趣点汇总；

步骤4、将所述URL清单与关键词库和网址分类库进行匹配，对URL兴趣点打标签，进而对URL兴趣点汇总；

步骤5、根据APP兴趣点汇总结果生成用户APP清单和用户APP兴趣点汇总表；

步骤6、根据URL兴趣点汇总结果生成用户URL清单和用户URL兴趣点汇总表；

步骤7、根据用户APP兴趣点汇总表和用户URL兴趣点汇总表得出反映用户互联网行为的表。

9.如权利要求8所述的互联网行为分析系统的工作方法，其特征在于，所述反映用户互联网行为的表包括分别对应于用户访问网址、使用APP、在网页上进行搜索、上网时段及使用终端的字段。

10.如权利要求8所述的互联网行为分析系统的工作方法，其特征在于，将所述URL清单与关键词库和网址分类库进行匹配的过程包括：

步骤41、通过网络爬虫爬取对应URL的网页内容，保留文本内容作为待分类文本；

步骤42、通过分词技术对网页内容分词；

步骤43、计算关键词在关键词库中的分布矩阵；

步骤44、计算关键词在关键词库中的分布系数；

步骤45、计算关键词对关键词库中各类的覆盖度、支持度、置信度；

步骤46、准备多个预先已确定分类的待分类文本作为样本，用枚举的方法得到判断文本分类的拟合公式；

步骤47、对于待分类的文本用步骤46得到的拟合公式计算各类的得分，实现对待分类文本的分类。

Images