CN104717079A - 网络流量的数据处理方法及装置 - Google Patents
网络流量的数据处理方法及装置 Download PDFInfo
- Publication number
- CN104717079A CN104717079A CN201310683123.5A CN201310683123A CN104717079A CN 104717079 A CN104717079 A CN 104717079A CN 201310683123 A CN201310683123 A CN 201310683123A CN 104717079 A CN104717079 A CN 104717079A
- Authority
- CN
- China
- Prior art keywords
- user
- information
- website
- cookie
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Transfer Between Computers (AREA)
Abstract
本发明涉及一种网络流量的数据处理方法及装置,所述方法包括:从网络流量数据中获取超文本传输协议HTTP头信息和用户账户信息,所述用户账户信息包括用户的手机号码或者上网账号;从所述HTTP头信息中提取用户访问的网站的网络跟踪器cookie信息;将所述cookie信息与所述用户账户信息进行关联,并保存至用户信息数据库,其中,一个所述用户账户信息与至少一个网站的所述cookie信息相关联。本发明可以收集不同网站的cookie信息,可以更完整、准确地收集用户行为数据。
Description
技术领域
本发明涉及互联网技术领域,尤其涉及一种网络流量的数据处理方法及装置。
背景技术
随着互联网的发展,越来越多的用户通过互联网查找自己想要的信息,同时也在互联网上留下大量的用户行为数据。这些数据对电子商务、社区等类型的网站来说,是一块非常有价值的财富,但是如何准确、全面获取用户的这些数据,是一个比较困难的问题。
cookie是网站或应用程序为了辨别用户身份、进行会话session跟踪、提高访问性能而储存在用户本地终端上的数据。现有获取用户行为数据的方法,一般为网站通过网络跟踪器cookie来进行跟踪和记录用户行为,广告中间商(demand side platform,DSP)根据超文本传输协议(Hypertext transferprotocol,HTTP)协议采集用户的cookie数据,通过cookie关联数据,DSP无需知道用户的手机号码,可以避免安全隐私问题。DSP将关联好的数据进行用户数据的交易,提供给电子商务等网站。
然而,出于安全性的考虑,cookie只能针对一个网站域名生效,不同网站之间不能共享cookie数据,每个应用程序只能获取自己的cookie,无法读取其他应用程序的cookie,而且,cookie不能保持连续,例如:一个人清除电脑cookie后就不能连续识别这个用户了。因而现有的方法无法全面了解用户的行为,无法跟踪用户的完整行为。
发明内容
本发明提供一种网络流量的数据处理方法及装置,能够完整地跟踪用户的行为,全面了解用户的行为。
本发明第一方面提供了一种网络流量的数据处理方法,所述方法包括:
从网络流量数据中获取超文本传输协议HTTP头信息和用户账户信息,所述用户账户信息包括用户的手机号码或者上网账号;
从所述HTTP头信息中提取用户访问的网站的网络跟踪器cookie信息,将所述cookie信息与所述用户账户信息进行关联,并保存至用户信息数据库,其中,一个所述用户账户信息与至少一个网站的所述cookie信息相关联。
结合第一方面,在第一方面的第一种可能的实施方式中,所述从所述HTTP头信息中提取用户访问的网站的网络跟踪器cookie信息,具体包括:
根据预先配置的网站列表,从所述HTTP头信息中提取所述网站列表中的网站的所述cookie信息。
结合第一方面或第一方面的第一种可能的实施方式,在第一方面的第二种可能的实施方式中,所述cookie信息包括用户访问的网站信息、用户在访问的网站中的身份标识cookie ID和/或用户在访问的网站中的用户数据。
结合第一方面,在第一方面的第三种可能的实施方式中,在所述从网络流量数据中获取HTTP头信息和用户账户信息之前,还包括:
从所述网络流量数据中解析得到用户访问的网站;
验证所述用户访问的网站是否已经签订安全协议,如果是,则执行所述从网络流量数据中获取HTTP头信息和用户信息。
结合第一方面,在第一方面的第四种可能的实施方式中,在所述用户信息数据库中,如果多个所述用户账户信息属于同一个用户,则将属于同一个用户的多个所述用户账户信息进行关联。
结合第一方面或第一方面的第一种至第四种任一可能的实施方式,在第一方面的第五种可能的实施方式中,所述方法还包括:
当接收到HTTP请求时,获取所述HTTP请求中的cookie信息;
从所述用户信息数据库中匹配得到与所述HTTP请求中的cookie信息相关联的用户账户信息,并提取得到与所述用户账户信息相关联的用户数据。
结合第一方面的第五种可能的实施方式,在第一方面的第六种可能的实施方式中,在所述提取得到与所述用户账户信息相关联的用户数据之后,还包括:
将所述用户数据提供给所述HTTP请求中访问的网站,以便所述网站根据所述用户数据,将符合该用户偏好的内容组装成广告内容推送给所述用户。
第二方面,本发明还提供了一种网络流量的数据处理装置,所述装置包括:
第一处理模块,用于从网络流量数据中获取HTTP头信息和用户账户信息,所述用户账户信息包括用户的手机号码或者上网账号;
信息提取模块,用于从所述第一处理模块获取的所述HTTP头信息中提取网络跟踪器cookie信息;
信息管理模块,用于将所述信息提取模块提取的所述cookie信息与所述第一处理模块获取的所述用户账户信息进行关联,并保存至用户信息数据库,其中,一个所述用户账户信息与至少一个所述cookie信息相关联。
结合第二方面,在第二方面的第一种可能的实施方式中,所述信息提取模块具体用于根据预先配置的网站列表,从所述第一处理模块获取的所述HTTP头信息中提取所述网站列表中的网站的所述cookie信息。
结合第二方面或第二方面的第一种可能的实施方式,在第二方面的第二种可能的实施方式中,所述cookie信息包括用户访问的网站信息、用户在访问的网站中的身份标识cookie ID和/或用户在访问的网站中的用户数据。
结合第二方面,在第二方面的第三种可能的实施方式中,所述第一处理模块还用于从所述网络流量数据中解析得到用户访问的网站;
所述装置还包括:
验证模块,用于验证所述第一处理模块解析得到的所述用户访问的网站是否已经签订安全协议,如果是,则进入所述信息提取模块。
结合第二方面,在第二方面的第四种可能的实施方式中,所述信息管理模块还用于判断所述用户信息数据库中的多个所述用户账户信息是否属于同一个用户,如果多个所述用户账户信息属于同一个用户,则将属于同一个用户的多个所述用户账户信息进行关联。
结合第二方面或第二方面的第一种至第四种任一可能的实施方式,在第二方面的第五种可能的实施方式中,所述装置还包括:
第二处理模块,用于当接收到HTTP请求时,获取所述HTTP请求中的cookie信息;
匹配模块,用于从所述用户信息数据库中匹配得到与所述第二处理模块获取的所述cookie信息相关联的用户账户信息,并提取得到与所述用户账户信息相关联的用户数据。
结合第二方面的第五种可能的实施方式,在第二方面的第六种可能的实施方式中,所述装置还包括:
发送模块,用于将所述匹配模块得到的所述用户数据提供给所述HTTP请求中访问的网站,以便所述网站根据所述匹配模块得到的所述用户数据,将符合该用户偏好的内容组装成广告内容推送给所述用户。
本发明提供的网络流量的数据处理方法及装置,通过解析用户的HTTP流量数据,从网络流量数据中针对不同网站提取网站的cookie,将cookie信息与用户手机号码或上网账号相关联,根据手机号码或上网账号从用户数据库中找出不同网站的任意cookie对应的用户数据,可以更完整、准确地收集用户行为数据。
附图说明
图1是本发明实施例一提供的网络流量的数据处理的一种应用场景;
图2为本发明实施例一提供的网络流量的数据处理方法流程图;
图3为本发明实施例一提供的网络流量的数据处理方法流程图;
图4为本发明实施例二提供的网络流量的数据处理装置示意图;
图5为本发明实施例二提供的网络流量的数据处理装置示意图;
图6是本发明实施例三提供的网络流量的数据处理装置的组成结构示意图。
具体实施方式
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
本发明实施例提供的网络流量的数据处理方法及装置,适用于需要收集用户互联网行为数据、获取用户偏好的场合,可以用于网络运营商、互联网服务提供商(ISP)等的网关设备中,如深度数据包检测(Deep PacketInspection,DPI)等流量检测设备或模块,尤其适用于网络运营商收集用户数据。运营商作为互联网接入的唯一管道,通过运营商的网关设备可以获取所有用户的流量数据,对该些流量数据进行处理可以得到较为完整、准确的用户偏好数据,供以电子商务等网站提供较为准确的个性化推荐的广告内容。
实施例一
图1是本发明实施例提供的网络流量的数据处理的一种应用场景,如图1所示,终端设备200通过网关(Internet Gateway)100访问网站300时,向网关100发送访问请求。网关100中的DPI模块101可以从访问请求中解析得到HTTP头信息(HTTP Header)和用户账户信息,信息提取模块102是cookie信息提取模块(Cookie Capture),可以从HTTP头信息提取得到cookie信息,并将cookie信息和用户账户信息传送给数据管理服务器103。数据管理服务器103用于将用户账户信息与cookie信息进行关联,形成用户数据库,并进行管理和维护。数据管理服务器103可以是用户信息管理模块(CustomerKnowledge Management,CKM)等功能模块。信息提取模块102和数据管理服务器103可以是网关100中的一个模块,也可以是独立于网关100的一个装置或设备,在本发明的实施例中将信息提取模块102和数据管理服务器103作为网关100中的一个模块为例进行说明,但并不以此限制本发明。
图2是本实施例提供的网络流量的数据处理方法流程图,如图2所示,本发明的网络流量的数据处理方法包括:
S101、从网络流量数据中获取HTTP头信息和用户账户信息。
所述用户账户信息包括用户的手机号码或者上网账号。在本发明实施例中以用户通过移动终端访问网络,即用户账户信息为手机号码为例进行详细说明。如果用户通过电脑等终端设备访问网络,则此时用户账户信息为上网账号,具体处理过程与手机号码类似。
当用户的终端设备200通过互联网的网关100访问互联网时,根据http协议,终端设备200发送的访问请求中会包括一个HTTP头信息的消息,网关100的DPI模块101能获取到HTTP头信息和用户手机号码。
为避免用户安全隐私问题,运营商可以先与各电子商务网站,如淘宝、360Buy、amazon等达成协议,签订安全协议。根据访问请求的http协议,运营商的网关能解析出用户访问的网站域名,验证该网站是否签订安全协议。
可选的,在S101之前,还包括:所述网关从所述网络流量数据中解析得到用户访问的网站;所述网关验证所述用户访问的网站是否已经签订安全协议,如果是,则执行S101,否则,结束流程,不分析该网站的数据流量。
S102、从所述HTTP头信息中提取用户访问的网站的cookie信息。
信息提取模块102从DPI模块101获取到的HTTP头信息中提取用户访问的网站的cookie信息。
所述cookie信息包括用户访问的网站信息、用户在访问的网站中的身份标识cookie ID和/或用户在访问的网站中的用户数据。
用户访问的网站信息可以是访问的网站的网址或域名。用户在访问的网站中的身份标识cookie ID是用户访问该网站的临时身份标识,例如,HTTP头信息如下表1所示,在该HTTP头信息的最后一行中包括了cookie ID信息:“Cookie:Customer_ID=210629dddd”。用户数据包括用户浏览、点击等操作记录及用户注册信息等。
表1
S103、将所述cookie信息与所述用户账户信息进行关联,并保存至用户信息数据库。
信息提取模块102在提取到所述cookie信息之后,将所述cookie信息和所述用户账户信息传送给数据管理服务器103。数据管理服务器103将所述cookie信息与所述用户账户信息进行关联,并保存至用户信息数据库。
在所述用户信息数据库中,一个所述用户账户信息与多个网站的所述cookie信息相关联。一个所述用户账户对应多个网站的cookie对应的用户数据。
例如,当用户用手机通过网关访问“360buy.com”这一电子商务网站域名时,该网站360buy会放一个cookie到客户端(HTTP协议自有)。用户这个访问请求经过网关100设备。这个HTTP请求包括前面的HTTP头信息。网关100的DPI模块101获取HTTP Header和用户手机号码,信息提取模块102从HTTP Header提取cookie信息,数据管理服务器103将提取的cookie信息与该手机号码进行关联,并保存至用户信息数据库。
用户信息数据库可以利用用户的手机号码作为身份标识ID,可以管理同一个手机号码在不同网站的cookie信息。这样,对于访问过多个网站的用户的cookie,用户信息数据库中保存了完整的用户数据,具体如下表1所示,包括以用户ID、手机号码、网站、cookie身份标识(cookie ID)和用户数据等信息,其中cookie ID表示用户在访问的网站中的身份标识。
表2
用户ID | 手机号码 | 网站 | cookie ID | 用户数据 |
001 | 13800000001 | vancl | v0001 | … |
001 | 13800000001 | 360buy | j0001 | … |
001 | 13800000001 | taobao | t0001 | … |
002 | 13800000002 | vancl | v0002 | … |
002 | 13800000002 | 360buy | j0003 | … |
… | … | … | … | … |
从上表2中可以看出,一个手机号码对应访问的多个网站及多个网站的cookie信息。例如,手机号码“13800000001”对应访问了vancl、360buy和taobao等网站,对应的cookie ID以及用户数据。
用户在访问的网站中的用户数据可以包括用户的注册信息、历史行为数据和cookie信息的历史分析结果,如用户的年龄、消费档次、购物偏好、游戏偏好、阅读偏好、足球偏好、音乐偏好等等信息。用户数据还可以包括但不限于:用户的人口统计学属性,用户的社交网络信息,用户搜索关键词以及访问的网页(用来判断用户的兴趣偏好),用户的移动支付或购买信息。
可选的,在所述用户信息数据库中,如果多个所述用户账户信息属于同一个用户,则数据管理服务器103将属于同一个用户的多个所述用户账户信息进行关联。可以从运营商内容或其他方式获得某个用户名下多个手机号码的关联关系,根据这些关联关系,将多个手机号码对应的关联的用户数据也进行关联,使该用户的用户行为数据更加完整。
本发明可以提取网络流量数据中所有网站的cookie信息进行分析和跟踪,提取用户行为数据;也可以只针对需要分析的网站进行流量分析和跟踪,提取所需要的用户行为数据。
如果只需分析部分网站的用户行为数据,则具体地,所述从所述HTTP头信息中提取用户访问的网站的网络跟踪器cookie信息,包括:信息提取模块102根据预先配置的网站列表,从所述HTTP头信息中提取所述网站列表中的网站的所述cookie信息。
Cookie搜集就是为了关联用户数据,传统DSP只能获取某个cookie对应的部分用户数据,本发明利用收集的cookie信息与用户账户信息、用户数据相关联,能更准确全面的获取到多个网站的各种数据。
在建立好用户信息数据库之后,则可以利用用户信息数据库中的内容进行广告推荐等个性化服务业务。具体地,如图3所示,本发明的网络流量的数据处理方法还包括:
S104、当接收到新的HTTP请求时,所述网关获取所述HTTP请求中的cookie信息。
当用户上网,请求一个网站的广告时,例如请求网站vancl的广告,或者,当用户看到某个网站的广告图片时,点击图片即可生成访问请求,通过超链接方式访问该广告时,网关100则收到新的HTTP请求。根据HTTP协议,从所述HTTP请求中获取cookie信息。
S105、所述网关从所述用户信息数据库中匹配得到与所述HTTP请求中的cookie信息相关联的用户账户信息,并提取得到与所述用户账户信息相关联的用户数据。
用户信息数据库中已经保存了用户ID与用户手机号码的对应关系。根据cookie信息中的cookie ID匹配到对应的手机号码和用户ID,将该手机号码或用户ID对应的多个网站的cookie对应的用户数据(如38岁、男、高收入、足球爱好者)提取出来。
S106、所述网关将所述用户数据提供给所述HTTP请求中访问的网站,以便所述网站根据所述用户数据,将符合该用户偏好的内容组装成广告内容推送给所述用户。
网关将得到的用户数据,提供给用户访问的网站,即所述HTTP请求中访问的网站。
在将用户数据提供给网站时,可以利用用户ID或者该网站对应的cookieID作为ID,可以不提供用户的电话号码等信息,可以在信息共享过程中避免用户隐私的泄露。
网站在得到所述用户数据之后,根据该用户数据,将符合该用户偏好的内容组装成广告内容推送给所述用户。例如:为京东的cookie提供用户数据,提高京东推荐广告的精准程度。
在向网站提供用户数据时,可以根据提供的次数、单次的数据流量或被提供网站的数量向接收用户数据的网站收费。
本发明实施例提供的网络流量的数据处理方法,由运营商或网络服务提供商的网关设备获取用户的cookie信息,将不同网站的cookie信息与用户手机号码或上网账号相关联,在浏览器cookie被清理后,仍然可以完整的追踪用户的兴趣历史,更完整、准确地收集用户行为数据,从而获取用户的偏好,能够提高推荐广告的精准度。而且在运营商的网关,根据配置采集各应用的cookie,进行分析,并将搜集的数据提供各所有广告应用。这样不仅能完整、准确获取用户的偏好数据;且不需要广告应用修改各自的业务逻辑,也不需要在多个DSP参与方之间同步cookie,因此不会对于网络造成负担。
以上是对本发明所提供的网络流量的数据处理方法进行的详细描述,下面对本发明提供的网络流量的数据处理装置进行详细描述。
实施例二
图4是本实施例提供的网络流量的数据处理装置示意图,如图4所示,本发明的网络流量的数据处理装置包括:第一处理模块401、信息提取模块402和信息管理模块403。
第一处理模块401用于从网络流量数据中获取HTTP头信息和用户账户信息。
所述用户账户信息包括用户的手机号码或者上网账号。
当用户通过互联网网关访问互联网时,根据http协议,发送的访问请求中会包括一个HTTP头信息的消息,第一处理模块401从访问请求中获取到HTTP头信息和用户手机号码。
为避免用户安全隐私问题,运营商可以先与各电子商务网站,如淘宝、360Buy、amazon等达成协议,签订安全协议。根据访问请求的http协议,运营商能解析出用户访问的网站域名,验证该网站是否签订安全协议。
可选的,第一处理模块401还可以用于从所述网络流量数据中解析得到用户访问的网站。所述装置还包括:验证模块(图未示),用于验证所述第一处理模块解析得到的所述用户访问的网站是否已经签订安全协议,如果是,则进入信息提取模块402,否则,结束流程,不分析该网站的数据流量。
信息提取模块402用于从第一处理模块401获取的所述HTTP头信息中提取网络跟踪器cookie信息。
所述cookie信息包括用户访问的网站信息、用户在访问的网站中的身份标识cookie ID和/或用户在访问的网站中的用户数据。
可选的,信息提取模块402可以提取网络流量数据中所有网站的cookie信息进行分析和跟踪,也可以只针对需要分析的网站进行流量分析和跟踪。
如果只需分析部分网站的用户行为数据,信息提取模块402用于具体用于根据预先配置的网站列表,从所述第一处理模块获取的所述HTTP头信息中提取所述网站列表中的网站的所述cookie信息。
信息管理模块403用于将信息提取模块402提取的所述cookie信息与第一处理模块401获取的所述用户账户信息进行关联,并保存至用户信息数据库。
其中,一个所述用户账户信息与至少一个所述cookie信息相关联。
例如,当用户用手机通过网关访问“360buy.com”这一电子商务网站域名时,该网站360buy会放一个cookie到客户端(HTTP协议自有)。第一处理模块401从用户的这个访问请求中获取HTTP Header和用户手机号码,信息提取模块402从HTTP Header提取cookie信息,信息管理模块403将提取的cookie信息与该手机号码进行关联,并保存至用户信息数据库。
用户信息数据库可以利用用户的手机号码作为身份标识ID,可以管理同一个手机号码在不同网站的cookie信息。这样,对于访问过多个网站的用户的cookie,用户信息数据库中保存了完整的用户数据,具体如表1所示,包括以用户ID、手机号码、网站、cookie身份标识(cookie ID)和用户数据等信息,其中cookie ID表示用户在访问的网站中的身份标识。
用户在访问的网站中的用户数据可以包括用户的注册信息、历史行为数据和cookie信息的历史分析结果,如用户的年龄、消费档次、购物偏好、游戏偏好、阅读偏好、足球偏好、音乐偏好等等信息。用户数据还可以包括但不限于:用户的人口统计学属性,用户的社交网络信息,用户搜索关键词以及访问的网页(用来判断用户的兴趣偏好),用户的移动支付或购买信息。
可选的,信息管理模块403还用于判断所述用户信息数据库中的多个所述用户账户信息是否属于同一个用户,如果多个所述用户账户信息属于同一个用户,则将属于同一个用户的多个所述用户账户信息进行关联。信息管理模块403可以从运营商内容或其他方式获得某个用户名下多个手机号码的关联关系,根据这些关联关系,将多个手机号码对应的关联的用户数据也进行关联,使该用户的用户行为数据更加完整。
在建立好用户信息数据库之后,则可以利用用户信息数据库中的内容进行广告推荐等个性化服务业务。如图5所示,本发明实施例提供的网络流量的数据处理装置还包括:第二处理模块404、匹配模块405和发送模块406。
第二处理模块404用于当接收到HTTP请求时,获取所述HTTP请求中的cookie信息。
当用户上网,请求一个网站的广告时,例如请求网站vancl的广告,或者,当用户看到某个网站的广告图片时,点击图片即可生成访问请求,通过超链接方式访问该广告时,则收到新的HTTP请求。第二处理模块404根据HTTP协议,从所述HTTP请求中获取cookie信息。
匹配模块405用于从所述用户信息数据库中匹配得到与第二处理模块404获取的所述cookie信息相关联的用户账户信息,并提取得到与所述用户账户信息相关联的用户数据。
用户信息数据库中已经保存了用户ID与用户手机号码的对应关系。匹配模块405根据cookie信息中的cookie ID匹配到对应的手机号码和用户ID,将该手机号码或用户ID对应的多个网站的cookie对应的用户数据(如38岁、男、高收入、足球爱好者)提取出来。
发送模块406用于将匹配模块405得到的所述用户数据提供给所述HTTP请求中访问的网站,以便所述网站根据匹配模块405得到的所述用户数据,将符合该用户偏好的内容组装成广告内容推送给所述用户。
发送模块406在将用户数据提供给网站时,可以利用用户ID或者该网站对应的cookie ID作为ID,可以不提供用户的电话号码等信息,可以在信息共享过程中避免用户隐私的泄露。
网站在得到所述用户数据之后,根据该用户数据,将符合该用户偏好的内容组装成广告内容推送给所述用户。例如:为京东的cookie提供用户数据,提高京东推荐广告的精准程度。
发送模块406在向网站提供用户数据时,可以根据提供的次数、单次的数据流量或被提供网站的数量向接收用户数据的网站收费。
实施例三
图6是本实施例提供的网络流量的数据处理装置500的组成结构示意图,如图6所示,数据处理装置500包括:处理器501、通信接口502和存储器503。
通信接口502用于与其他装置进行交互。
存储器503可以是永久存储器,例如硬盘驱动器和闪存,存储器503中具有软件模块和设备驱动程序。软件模块能够执行本发明实施例上述方法的各种功能模块;设备驱动程序可以是网络和接口驱动程序。
在启动时,这些软件组件被加载到存储器503中,然后被处理器501访问并执行如下指令:
从网络流量数据中获取超文本传输协议HTTP头信息和用户账户信息,所述用户账户信息包括用户的手机号码或者上网账号;
从所述HTTP头信息中提取用户访问的网站的网络跟踪器cookie信息,将所述cookie信息与所述用户账户信息进行关联,并保存至用户信息数据库,其中,一个所述用户账户信息与至少一个网站的所述cookie信息相关联。
具体地,数据处理装置500还根据所述指令执行上述图1-3所述的数据处理方法,具体在此不再赘述。
本发明提供的网络流量的数据处理方法及装置,通过解析用户的HTTP流量数据,从网络流量数据中针对不同网站提取网站的cookie,将cookie信息与用户手机号码或上网账号相关联,根据手机号码或上网账号从用户数据库中找出不同网站的任意cookie对应的用户数据,可以更完整、准确地收集用户行为数据,从而获取用户的偏好,能够提高推荐广告的精准度。
专业人员应该还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (14)
1.一种网络流量的数据处理方法,其特征在于,所述方法包括:
从网络流量数据中获取超文本传输协议HTTP头信息和用户账户信息,所述用户账户信息包括用户的手机号码或者上网账号;
从所述HTTP头信息中提取用户访问的网站的网络跟踪器cookie信息;
将所述cookie信息与所述用户账户信息进行关联,并保存至用户信息数据库,其中,一个所述用户账户信息与至少一个网站的所述cookie信息相关联。
2.根据权利要求1所述的方法,其特征在于,所述从所述HTTP头信息中提取用户访问的网站的网络跟踪器cookie信息,具体包括:
根据预先配置的网站列表,从所述HTTP头信息中提取所述网站列表中的网站的所述cookie信息。
3.根据权利要求1或2所述的方法,其特征在于,所述cookie信息包括用户访问的网站信息、用户在访问的网站中的身份标识cookie ID和/或用户在访问的网站中的用户数据。
4.根据权利要求1所述的方法,其特征在于,在所述从网络流量数据中获取HTTP头信息和用户账户信息之前,还包括:
从所述网络流量数据中解析得到用户访问的网站;
验证所述用户访问的网站是否已经签订安全协议,如果是,则执行所述从网络流量数据中获取HTTP头信息和用户信息。
5.根据权利要求1所述的方法,其特征在于,在所述用户信息数据库中,如果多个所述用户账户信息属于同一个用户,则将属于同一个用户的多个所述用户账户信息进行关联。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述方法还包括:
当接收到新的HTTP请求时,获取所述HTTP请求中的cookie信息;
从所述用户信息数据库中匹配得到与所述HTTP请求中的cookie信息相关联的用户账户信息,并提取得到与所述用户账户信息相关联的用户数据。
7.根据权利要求6所述的方法,其特征在于,在所述提取得到与所述用户账户信息相关联的用户数据之后,还包括:
将所述用户数据提供给所述HTTP请求中访问的网站,以便所述网站根据所述用户数据,将符合该用户偏好的内容组装成广告内容推送给所述用户。
8.一种网络流量的数据处理装置,其特征在于,所述装置包括:
第一处理模块,用于从网络流量数据中获取HTTP头信息和用户账户信息,所述用户账户信息包括用户的手机号码或者上网账号;
信息提取模块,用于从所述第一处理模块获取的所述HTTP头信息中提取网络跟踪器cookie信息;
信息管理模块,用于将所述信息提取模块提取的所述cookie信息与所述第一处理模块获取的所述用户账户信息进行关联,并保存至用户信息数据库,其中,一个所述用户账户信息与至少一个所述cookie信息相关联。
9.根据权利要求8所述的装置,其特征在于,所述信息提取模块具体用于根据预先配置的网站列表,从所述第一处理模块获取的所述HTTP头信息中提取所述网站列表中的网站的所述cookie信息。
10.根据权利要求8或9所述的装置,其特征在于,所述cookie信息包括用户访问的网站信息、用户在访问的网站中的身份标识cookie ID和/或用户在访问的网站中的用户数据。
11.根据权利要求8所述的装置,其特征在于,所述第一处理模块还用于从所述网络流量数据中解析得到用户访问的网站;
所述装置还包括:
验证模块,用于验证所述第一处理模块解析得到的所述用户访问的网站是否已经签订安全协议,如果是,则进入所述信息提取模块。
12.根据权利要求8所述的装置,其特征在于,所述信息管理模块还用于判断所述用户信息数据库中的多个所述用户账户信息是否属于同一个用户,如果多个所述用户账户信息属于同一个用户,则将属于同一个用户的多个所述用户账户信息进行关联。
13.根据权利要求8-12任一项所述的装置,其特征在于,所述装置还包括:
第二处理模块,用于当接收到HTTP请求时,获取所述HTTP请求中的cookie信息;
匹配模块,用于从所述用户信息数据库中匹配得到与所述第二处理模块获取的所述cookie信息相关联的用户账户信息,并提取得到与所述用户账户信息相关联的用户数据。
14.根据权利要求13所述的装置,其特征在于,所述装置还包括:
发送模块,用于将所述匹配模块得到的所述用户数据提供给所述HTTP请求中访问的网站,以便所述网站根据所述匹配模块得到的所述用户数据,将符合该用户偏好的内容组装成广告内容推送给所述用户。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310683123.5A CN104717079A (zh) | 2013-12-12 | 2013-12-12 | 网络流量的数据处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310683123.5A CN104717079A (zh) | 2013-12-12 | 2013-12-12 | 网络流量的数据处理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104717079A true CN104717079A (zh) | 2015-06-17 |
Family
ID=53416075
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310683123.5A Pending CN104717079A (zh) | 2013-12-12 | 2013-12-12 | 网络流量的数据处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104717079A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105791157A (zh) * | 2016-04-20 | 2016-07-20 | 腾讯科技(深圳)有限公司 | 一种流量的分配方法、分配系统、及服务器 |
CN107066539A (zh) * | 2017-03-09 | 2017-08-18 | 北京网康科技有限公司 | 一种信息处理方法和装置 |
CN107609902A (zh) * | 2017-08-28 | 2018-01-19 | 口碑(上海)信息技术有限公司 | 一种定向广告的展示方法及装置 |
WO2019128378A1 (zh) * | 2017-12-29 | 2019-07-04 | 中国银联股份有限公司 | 一种用户追踪方法、服务器和用户端 |
CN111049818A (zh) * | 2019-12-03 | 2020-04-21 | 北京赋乐科技有限公司 | 一种基于网络流量大数据的异常信息发现方法 |
CN111881157A (zh) * | 2020-07-29 | 2020-11-03 | 光通天下网络科技股份有限公司 | 一种网络靶场作弊行为检测方法、装置和电子设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030018707A1 (en) * | 2001-07-20 | 2003-01-23 | Flocken Philip Andrew | Server-side filter for corrupt web-browser cookies |
CN101431524A (zh) * | 2007-11-07 | 2009-05-13 | 阿里巴巴集团控股有限公司 | 一种定向网络广告投放的实现方法及装置 |
CN102624890A (zh) * | 2012-03-08 | 2012-08-01 | 广州铭信网标网络科技有限公司 | 一种为手机用户终端提供个性网页内容的方法和网标系统 |
CN103051637A (zh) * | 2012-12-31 | 2013-04-17 | 北京亿赞普网络技术有限公司 | 用户识别方法与装置 |
CN103067198A (zh) * | 2012-12-14 | 2013-04-24 | 北京集奥聚合科技有限公司 | 一种关联用户CookieID的方法及系统 |
CN103440588A (zh) * | 2013-09-04 | 2013-12-11 | 华为技术有限公司 | 一种提供广告的方法和提供广告的装置 |
-
2013
- 2013-12-12 CN CN201310683123.5A patent/CN104717079A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030018707A1 (en) * | 2001-07-20 | 2003-01-23 | Flocken Philip Andrew | Server-side filter for corrupt web-browser cookies |
CN101431524A (zh) * | 2007-11-07 | 2009-05-13 | 阿里巴巴集团控股有限公司 | 一种定向网络广告投放的实现方法及装置 |
CN102624890A (zh) * | 2012-03-08 | 2012-08-01 | 广州铭信网标网络科技有限公司 | 一种为手机用户终端提供个性网页内容的方法和网标系统 |
CN103067198A (zh) * | 2012-12-14 | 2013-04-24 | 北京集奥聚合科技有限公司 | 一种关联用户CookieID的方法及系统 |
CN103051637A (zh) * | 2012-12-31 | 2013-04-17 | 北京亿赞普网络技术有限公司 | 用户识别方法与装置 |
CN103440588A (zh) * | 2013-09-04 | 2013-12-11 | 华为技术有限公司 | 一种提供广告的方法和提供广告的装置 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105791157A (zh) * | 2016-04-20 | 2016-07-20 | 腾讯科技(深圳)有限公司 | 一种流量的分配方法、分配系统、及服务器 |
CN107066539A (zh) * | 2017-03-09 | 2017-08-18 | 北京网康科技有限公司 | 一种信息处理方法和装置 |
CN107609902A (zh) * | 2017-08-28 | 2018-01-19 | 口碑(上海)信息技术有限公司 | 一种定向广告的展示方法及装置 |
WO2019128378A1 (zh) * | 2017-12-29 | 2019-07-04 | 中国银联股份有限公司 | 一种用户追踪方法、服务器和用户端 |
US11057483B2 (en) | 2017-12-29 | 2021-07-06 | China Unionpay Co., Ltd. | User tracking method, server, and client |
CN111049818A (zh) * | 2019-12-03 | 2020-04-21 | 北京赋乐科技有限公司 | 一种基于网络流量大数据的异常信息发现方法 |
CN111881157A (zh) * | 2020-07-29 | 2020-11-03 | 光通天下网络科技股份有限公司 | 一种网络靶场作弊行为检测方法、装置和电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20100313009A1 (en) | System and method to enable tracking of consumer behavior and activity | |
CN103218431B (zh) | 一种能识别网页信息自动采集的系统 | |
CN104717079A (zh) | 网络流量的数据处理方法及装置 | |
Hu et al. | Dating with scambots: Understanding the ecosystem of fraudulent dating applications | |
US20120071131A1 (en) | Method and system for profiling data communication activity of users of mobile devices | |
CN101355550B (zh) | 配合电信宽带aaa系统作宽带信息推送的方法和系统 | |
EP2698967A1 (en) | Social network data mining method for terminal user, and relevant method, device and system | |
CN103631957B (zh) | 访客行为数据统计方法及装置 | |
CN104054055A (zh) | 以物理设备或软件应用程序的标识符之间的关联为基础使用联网设备识别和跟踪用户活动 | |
CN106156251A (zh) | 一种微信信息分类推送方法及系统 | |
US20130311283A1 (en) | Data mining method for social network of terminal user and related methods, apparatuses and systems | |
US20190019222A1 (en) | User/group servicing based on deep network analysis | |
US10049369B2 (en) | Group targeting system and method for internet service or advertisement | |
EP2756432A1 (en) | System and method for automated classification of web pages and domains | |
CN107835132A (zh) | 一种流量来源跟踪的方法及装置 | |
US20170011422A1 (en) | Data processing device and data processing method | |
WO2009116723A1 (en) | Method and system for providing url possible new advertising | |
WO2007105909A1 (en) | Method for targeting web advertisement clickers based on click pattern by using a collaborative filtering system with neural networks and system thereof | |
Gonzalez et al. | User profiling by network observers | |
KR20130039179A (ko) | 온라인 쇼핑몰 기반의 타겟 광고 제공 시스템, 그의 타겟 광고 제공 장치 및 방법 | |
CN105354249A (zh) | 多账号关联方法、装置及电子设备 | |
CN103399968A (zh) | 一种微博信息采集方法及系统 | |
KR20050095402A (ko) | 위치 기반 인터넷 광고 서비스 시스템 및 방법 | |
CN106933885A (zh) | 网站传播影响力的获取方法与装置 | |
US10277709B2 (en) | Determining a visitation profile for a user |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20150617 |