CN104298782A - 互联网用户主动访问行为轨迹的分析方法 - Google Patents

Abstract

本发明涉及一种互联网用户主动访问行为轨迹的分析方法，属于大数据分析领域。本发明根据用户访问互联网的DPI分光数据，构造用户会话（session），通过用户行为分析，分析出用户主动访问互联网的行为轨迹（即Click行为轨迹）以及连带产生的附属页面的方法。本发明的核心技术是如何判断click页面集合中哪些是点击（click）页面，哪些是由点击页面连带产生的附属页面（Hits或PageViews）。通过该方法可以直观、清晰地分析用户主动访问互联网的行为轨迹。

Description

互联网用户主动访问行为轨迹的分析方法

技术领域

本发明属于大数据的数据分析和数据挖掘领域，特别是涉及到一个互联网用户主动访问行为轨迹分析的方法。

背景技术

随着互联网、云计算、大数据的迅猛发展，中国的网民数突破了6亿，截止到2014年6月网民达到了6.32亿，手机网民5.27亿，改变了企业的经营模式和管理方式、也改变了个人的生活方式和出行习惯，使人类社会发生了翻天覆地的变化。不论是政府还是企业、不论是银行还是电信运营商各行各业都非常关注人们在互联网的行为甚至行为轨迹，特别是为用户提供个性化服务需要精准刻画客户的兴趣特征，掌握用户在互联网的行为轨迹，达到实现智能管道、智能营销、个性化服务的目的。

人们在互联网的访问行为轨迹包括用户主动行为和非主动行为，用户主动行为是用户本人点击（Click）页面的行为，而非主动用户行为是用户点击（click）页面的同时连带产生附属页面的行为。一般情况，一个主动点击（click）行为连带附加产生成多个页面，即Hits。在一个用户访问行为中，非主动行为产生的页面数是主动行为产生的页面数的几倍、几十倍、甚至几百倍，造成一个访问行为中产生大量的“垃圾”页面，严重影响了精准刻画用户的兴趣特征。目前，解决的办法都是将“垃圾”页面（即非主动行为）设置成黑名单进行过滤，形成PageViews（通常简称PV）来接近主动行为。

因此，本发明就是要解决用户主动访问互联网的行为轨迹问题。

发明内容

鉴于以上存在的问题，本发明的目的在于：提供一种互联网用户主动访问行为轨迹的分析方法，旨在根据用户访问互联网的DPI分光数据，通过构造用户访问行为的会话（Session），分析出哪些是点击页面、哪些是附属页面，解决准确地分析出用户主动访问行为轨迹的问题。

本发明的目的是通过如下技术方案实现：

互联网用户主动访问行为轨迹的分析方法，其特征在于，包括如下步骤：

（1）    读取原始数据：从运营商的深度包检测DPI分光数据中读取海量的用户互联网访问记录，生成用户访问记录文件，该访问记录以访问时间为序；

（2）    初始赋值：赋值click页面集合中两两页面URL间的最大时间间隔阈值T _max ，同时预置i=1；

（3）    确定click页面集合：对于用户的访问可以模拟成用户会话Session，当会话中两两页面URL间的时间间隔≥T _max 时，此间隔点前的页面集合为该用户会话Session中的第i个click页面集合P_i{URL₁,URL₂,…,URL _j ,…}；

（4）    判断click页面：调用“click点击知识库”的知识，根据“click点击页面推理机”推理集合P_i中有无click点击页面。若推理成功，则确认该页面为click点击页面，即URL(i) _click ← URL(k) _knowledge ,其中k为知识库中第k条知识；若推理不成功，则计算集合P_i中的所有页面referer包含集合内其他页面数Count(URL_j) _referer ，取最大的Count(URL_j) _referer 为点击页面，即URL(i) _click ←Max{Count(URL_j) _referer }；

（5）    生成用户行为轨迹：若在用户会话中还有click页面集合，则赋值i←i+1，返回步骤（3）重复构造click页面集合；若用户会话中没有click页面集合，则用户行为轨迹分析完毕，生成该用户主动访问行为轨迹URL(i)  _click ,其中i=1,2,……,N。

步骤（4）中的“click点击知识库”的构造规则包括：

1）    知识构成：click点击知识为唯一的URL页面，包括两种情况，一种为“完全URL”；一种为URL中间带通配符的页面集合；比如网站的子频道导航页面构成；

2）  知识添加：知识库的初始集建立是通过专业人士大量学习确认构成。新知识的添加是通过Max{Count(URL_j) _referer }计算经人工确认后添加到知识库中；

3）  知识删除：根据用户访问互联网的行为分析，若click点击知识N天没有被使用过，则认定为陈旧知识，从“click点击知识库”中删除；其中，N为预先设置的阈值。

步骤（4）中的“click点击页面推理机”的推理规则包括：

1）  click点击页面知识推理：包括“完全URL”的知识推理、“完整域名”的知识推理和“不完整域名”的知识推理；

2）若click点击页面推理匹配成功，则对“click点击页面知识库”实时更新，更新“完全URL”知识和URL中间带通配符知识的决策顺序。

本发明方案的工作原理及技术效果：

本发明是针对电信运营商DPI（Deep Packet Inspection 深度包检测）分光数据来分析用户访问互联网行为轨迹的，DPI分光数据量巨大，数据包括固网和移动网，用户数过亿，访问量过千亿。其基本HTTP GET报文字段具有如下特点：

序号	字段内容	描述
			1	用户账号	固网：AD账号 移动网：IMSI号或手机号码
2	访问时间	accessTime
			3	完整URL	协议类型+域名+路径及文件名
4	UserAgent	获取用户硬件平台、系统软件、应用软件和个人偏好等信息
			5	Cookie	用户身份识别、session跟踪
6	referer	获取上一个页面的链接信息
			7	源IP	SourceIP
8	目的IP	DestinationIP
			9	源端口	SourcePort
10	目的端口	DestinationPort

本发明在过滤掉海量的“垃圾”页面基础上，汇聚用户访问的页面（URL），模拟用户访问Web Server的会话（session）过程，分析用户在互联网上访问主动访问行为的轨迹，即用户通过鼠标点击链接的轨迹。用户访问Web server只是一个网站，而本发明的用户访问轨迹是多个网站或多 APP应用，其行为轨迹的“长短”取决于DPI数据源的采集时间范围。

本发明数据源DPI分光数据的一个重要特征是时间有序，即访问记录是按照自然时间顺序排序的。首先，根据预置两两页面间的最大时间间隔阈值T _max （时间单位为秒），确定会话（session）第1个点击（click）页面集合，即当会话中两两页面（URL）间的时间间隔≥T _max 时，此间隔点前的页面集合为该用户会话（Session）中的第i个click页面集合P_i{URL₁,URL₂,…,URL _j ,…}，以此类推第2个点击（click）页面集合、第3个点击（click）页面集合、……、第i个点击（click）页面集合、……。

本发明的核心技术是如何判断click页面集合中哪些是点击（click）页面，哪些是连带附属页面（Hits或PageViews）。有两种方法判断哪些页面是click页面，一种是基于知识库的专家推理方法，解决访问量大的click点击页面和连续点击页面的问题；一种是计算访问记录的referer包含其他click页面集合中其他页面的数量方法，解决专家推理方法以外的判断问题。

本发明判断click页面的模型为：调用“click点击知识库”的知识与第i个click页面集合P_i进行匹配。若匹配成功，则确认该页面为click点击页面，即URL(i) _click ← URL(k) _knowledge  ,其中k为知识库中第k条知识；若匹配不成功，则计算集合P_i中的所有页面referer包含集合内其他页面数Count(URL_j) _referer ，取最大的Count(URL_j) _referer 为点击页面，即URL(i) _click ←Max{Count(URL_j) _referer }。

本发明涉及到的“click点击知识库”的初始集是通过用户行为分析Top排名经人工确认获取。新知识的增加是通过用户主动访问行为轨迹分析的URL(i) _click 点击页面的Top排名，经人工确认后增加。

通过该方法可以直观、清晰地分析用户主动访问互联网的行为轨迹。

附图说明

图1是互联网用户主动行为轨迹分析方法的流程图。

图2是采用本发明轨迹分析方法针对点击网页逐级数据处理的过程示意图。

具体实施方式

本发明是根据运营商DPI（Deep Packet Inspection 深度包检测）分光数据，构造用户会话（session），通过用户行为轨迹分析，分析出用户主动访问互联网行为轨迹（即Click行为轨迹）和连带产生附属的页面，下面结合附图进行详细说明：

在图1中，根据DPI分光出来的海量数据、采用人工智能模型，通过构造用户会话来分析用户主动行为轨迹过程如下：

步骤1：调用101模块从102“用户访问互联网DPI数据”数据文件中读取百亿、千亿级别时间有序的访问记录；

步骤2：调用103模块给第1个click页面集合赋值i=1，为click页面集合中两两页面间的时间间隔赋以阈值T _max ；

步骤3：调用104模块构建第i个click页面集合，根据预置的时间间隔阈值T _max ，判断两两页面间的间隔，当该时间间隔≥T _max 时，此间隔点前的页面集合为该用户会话（Session）的第i个click页面集合P_i；

步骤4：调用105模块从106“click点击知识库”读取点击（click）知识，即完整的URL(k) _knowledge 。，k=1,2,3,……,M；

步骤5：调用click点击页面推理机107模块，推理在click页面集合P_i中有无click点击知识URL(k) _knowledge 。若推理成功，则执行108模块；若推理不成功，则执行109模块；

步骤6：调用108模块，计算集合P_i中的所有页面referer包含集合内其他页面数Count(URL_j) _referer ，取最大的Count(URL_j) _referer 为点击页面，即URL(i) _click ←Max{Count(URL_j) _referer }；

步骤7：调用109模块，将匹配成功页面作为点击页面，即URL(i) _click ← URL(k) _knowledge ,其中k为知识库中第k条知识；

步骤8：调用110模块，判断用户会话中还有没有页面。若有，则赋值i←i+1，执行步骤3。若无，则调用111模块生成该用户主动访问行为轨迹URL(i) _click ,其中1=1,2,……,N，存放在112文件内。

采用本发明轨迹分析方法的点击网页逐级数据处理的过程如图2所示。该体现了用户主动访问行为轨迹为浏览点击页面的轨迹；用户非主动访问为连带附属页面集合。

Claims (3)

1.互联网用户主动访问行为轨迹的分析方法，其特征在于，包括如下步骤：

（1）、读取原始数据：从运营商的深度包检测DPI分光数据中读取海量的用户互联网访问记录，生成用户访问记录文件，该访问记录以访问时间为序；

（2）、初始赋值：赋值click页面集合中两两页面URL间的最大时间间隔阈值T _max ，同时预置i=1；

（3）、确定click页面集合：对于用户的访问可以模拟成用户会话Session，当会话中两两页面URL间的时间间隔≥T _max 时，此间隔点前的页面集合为该用户会话Session中的第i个click页面集合P_i{URL₁,URL₂,…,URL _j ,…}；

（4）、判断click页面：调用“click点击知识库”的知识，根据“click点击页面推理机”推理集合P_i中有无click点击页面；若推理成功，则确认该页面为click点击页面，即URL(i) _click ← URL(k) _knowledge ,其中k为知识库中第k条知识；若推理不成功，则计算集合P_i中的所有页面referer包含集合内其他页面数Count(URL_j) _referer ，取最大的Count(URL_j) _referer 为点击页面，即URL(i) _click ←Max{Count(URL_j) _referer }；

（5）、生成用户行为轨迹：若在用户会话中还有click页面集合，则赋值i←i+1，返回步骤（3）重复构造click页面集合；若用户会话中没有click页面集合，则用户行为轨迹分析完毕，生成该用户主动访问行为轨迹URL(i)  _click ,其中i=1,2,……,N。

2.如权利要求1所述的互联网用户主动访问行为轨迹的分析方法，其特征在于，所述步骤（4）中的“click点击知识库”的构造规则包括：

1）知识构成：click点击知识为唯一的URL页面，包括两种情况，一种为“完全URL”；一种为URL中间带通配符的页面集合；

2）知识添加：知识库的初始集建立是通过专业人士大量学习确认构成；新知识的添加是通过Max{Count(URL_j) _referer }计算经人工确认后添加到知识库中；

3）知识删除：根据用户访问互联网的行为分析，若click点击知识N天没有被使用过，则认定为陈旧知识，从“click点击知识库”中删除；其中，N为预先设置的阈值。

3.如权利要求1所述的互联网用户主动访问行为轨迹的分析方法，其特征在于，所述步骤（4）中的“click点击页面推理机”的推理规则包括：

1）click点击页面知识推理：包括“完全URL”的知识推理、“完整域名”的知识推理和“不完整域名”的知识推理；

2）若click点击页面推理匹配成功，则对“click点击页面知识库”实时更新，更新“完全URL”知识和URL中间带通配符知识的决策顺序。