CN101729288B - 一种统计互联网用户网络访问行为的方法和装置 - Google Patents

Abstract

本发明提供了一种统计分析互联网用户网络访问行为的方法，依据根域名服务器日志，获取用于统计分析的域名，分析用户访问这些域名对应的网络资源时，对域名服务系统的查询信息与对目标网络服务器访问信息之间的映射关系；这样，依据根域名服务器的查询日志，即可实时推导出用户的全局网络访问行为。满足对用户网络访问行为分析的全局性和实时性需求。

Description

一种统计互联网用户网络访问行为的方法和装置

技术领域

本发明涉及互联网数据分析领域，特别是涉及一种统计互联网用户网络访问行为的方法和装置。

背景技术

随着互联网技术应用的越来越广泛，互联网的普及率也越来越高，人们很多的日常工作、学习和娱乐都在网络上进行，因此，人们越来越关心用户的网上行为，这些信息对国家相关部门来讲，可以掌握互联网络发展动态，作为制定相关法律、法规或规范的重要依据；对企业来讲，可以了解用户的真正需求，充分利用网络资源，开发有吸引力的增值业务，进而构建更好的盈利模式。

目前对互联网用户访问行为方面的统计分析主要有二种方式：

一是人工抽样调查的统计的方法。此类统计内容主要包括对各类网络应用(例如搜索引擎、电子邮件、即时通信、网络媒体、数字娱乐、电子商务、网络社区等等)的使用情况的简单统计，包括其用户规模，使用率，群体特征等等。这些特征所需要的数据：学历、时间、地点、地域等全部来自调查问卷(参考CNNIC发布的《2008年7月中国互联网络发展状况统计报告》的第一章第二节“调查方法”)。其中，人工抽样方法依据随机原理抽取一部分个体作为样本(Sample)，作为研究母群体(Population)之依据。这种方法的优点是：利用抽样技术及机率理论，可获得既定精确估计值，以代表母群体特征；但缺点是需要大量的人力、物力、财力的支持，需要多家机构共同参与合作，每次统计耗时都非常长，对发展特别迅速的互联网行业来讲，时效性相对较差。

二是针对特定网络应用的日志分析方法。这种方法是针对特定的网络应用，如网页浏览、搜索引擎、网络社区等，从该网络应用服务器的系统日志中提取相关的数据，对用户上网的时间、上网的次数、用户访问网站频道的情况等进行统计分析。这种方法的优点是时效性强，能客观反映特定网络应用的用户访问行为；但因该方法的分析对象为特定网络应用服务器的系统日志，所以分析结果只能反映网络用户对特定网络应用服务的访问行为，不能把握整个互联网的热点变化和网络访问行为的全局特征。

总之，需要本领域技术人员迫切解决的一个技术问题就是：如何实时获取互联网用户的全局网络访问行为。

发明内容

本发明所要解决的技术问题是提供一种统计互联网用户网络访问行为的方法，能够实时获取用户的全局网络访问行为。

本发明还提供了一种统计互联网用户网络访问行为的装置，以保证上述方法在实际中的应用。

为了解决上述问题，本发明实施例公开了一种统计互联网用户网络访问行为的方法，包括：

获取根域名服务器的第一域名访问信息；

获取目标网络服务器的第二域名访问信息；

基于域名建立所述第一域名访问信息与第二域名访问信息之间的映射关系；

将所述第一域名访问信息，所述第一域名访问信息与第二域名访问信息的映射关系保存到信息库；

依据所述映射关系，从所述信息库获得网络用户针对相应域名的访问行为。

优选的，所述方法还包括：

从所述根域名服务器日志中提取相关数据，对所述信息库的相应数据记录进行更新。

优选的，所述获取根域名服务器的第一域名访问信息的步骤包括：

从所述根域名服务器的日志中，计算用户对域名访问的幂律分布参数；

根据所述幂律分布参数获取用于统计分析的域名、统计针对这些域名对所述根域名服务器的查询次数，形成第一域名访问信息。

优选的，所述目标网络服务器为递归服务器和/或网络应用服务器。

优选的，当所述目标网络服务器为递归服务器时，所述获取目标网络服务器第二域名访问信息的步骤包括：

从递归服务器的日志中，抽取所述第一域名访问信息中确定的用于统计的域名；

统计针对所述域名在所述递归服务器上的查询次数，形成第二域名访问信息。

优选的，当所述目标网络服务器为网络应用服务器时，所述获取目标网络服务器的第二域名访问信息的步骤包括：

从网络应用服务器的日志中，抽取所述第一域名访问信息中确定的用于统计的域名；

统计针对相应域名在所述网络应用服务器上的查询次数，形成第二域名访问信息。

优选的，所述递归服务器为运营商的递归服务器，或为城域接入服务商的递归服务器，或为发出所述根域名查询请求的国外递归服务器。

优选的，所述网络应用服务器为网络音乐服务器、网络新闻服务器、即时通信服务器、网络视频服务器、搜索引擎服务器、电子邮件服务器、网络游戏服务器、博客服务器、论坛服务器或电子商务服务器。

优选的，对所述信息库进行的数据更新采用定期更新方式，或实时更新方式。

本发明实施例还公开了一种统计互联网用户网络访问行为的装置，包括：

第一域名访问信息获取单元，用于获取根域名服务器的第一域名访问信息；

第二域名访问信息获取单元，用于获取目标网络服务器的第二域名访问信息；

映射关系获取单元，用于基于域名建立所述第一域名访问信息与第二域名访问信息之间的映射关系；

信息库单元，用于保存所述第一域名访问信息、所述第一域名访问信息与第二域名访问信息的映射关系；

数据挖掘与展现单元，用于依据所述映射关系，从所述信息库中获得网络用户的针对相应域名的访问行为。

优选的，所述装置还包括：

信息库数据更新单元，用于从所述根域名服务器日志中提取、加工数据，然后对所述信息库数据记录进行更新。

与现有技术相比，本发明具有以下优点：

首先，本发明方案中，用于统计分析的域名，占据了全局用户网络访问的绝大多数，另外，建立了针对所述域名对根域名服务器查询次数和对所述目标网络服务器查询次数的映射关系，因此，利用该映射关系从根域名服务器日志中推导出的数据，反映了互联网用户的全局网络访问行为。

其次，所述映射关系在一定时间内是相对固定的，所述信息库中用户网络访问行为数据可以实时从根域名服务器日志中获取，并进行更新，因此，本发明可以实时分析用户的网络访问行为。

另外，建立所述映射关系所需要的目标网络服务器日志，只需要有限的网络接入服务商、网络运营商、网络应用服务商等机构支持、配合即可获得，无需最终用户的直接参与，因此本发明方案非常易于实施。

附图说明

图1是本发明统计互联网用户网络访问行为的方法实施例流程图；

图2是本发明统计互联网用户网络访问行为的装置实施例框图。

具体实施方式

在结合附图和具体实施方式对本发明作进一步详细的说明之前，首先介绍一下与互联网用户的网络访问有关的几个概念。

域名系统(Domain Name System，DNS)是互联网基础设施提供的一项核心服务，系统包括有可以将域名和IP地址相互映射的一个分布式数据库，以及实现域名和网络可以识别的IP地址转换功能的软件系统。

中国在国际互联网络信息中心(InterNIC：Intemet Information Center)正式注册并运行的顶级域名是CN，这是中国的一级域名。在顶级域名之下，二级域名又分为类别域名和行政区域名两类。

顶级域名CN域名顶级节点包括运行CN域名解析等相关服务所需的服务器群及相关的网络设备和安全设备，这里的服务器群、域名软件以及全部CN域名和IP地址相互映射的数据库就是CN根域名服务器系统，简称CN根域名服务器。

递归服务器是为网络用户提供因特网接入服务的服务器系统，因其自身没有域名-IP地址映射的数据库，所以当网络用户发出域名访问请求后，递归服务器首先检查本地缓存是否有该域名的解析结果，如果有，则直接把解析结果返回到网络用户的终端上；如果没有，则向根域名服务器发出查询请求，因此，根域名服务器日志中保存的只是部分网络用户(通常为递归服务器)的部分网络访问行为，要全面分析用户的网络访问情况，需要从递归服务器上获得。

网络应用服务器是为网络用户提供搜索引擎、电子邮件、论坛、即时聊天、博客等具体应用服务的服务器系统，网络应用服务器保存有全部网络用户对特定网络资源的使用情况，因此，要全面了解网络用户对特定网络资源的使用情况，需要从特定的网络应用服务器上获得。

本发明的核心构思之一在于，根据网络用户对域名的请求次数符合幂律分布规律的特征，找出一小部分域名作为统计对象，分析用户访问这些域名时，对根域名服务器的查询次数与对递归服务器和各主要应用服务器的访问次数之间的映射关系，这样，从根域名服务器的查询日志中，即可实时推导出用户的全局网络访问行为。满足对用户网络访问行为分析的全局性和实时性需求。

参照图1，示出了本发明统计互联网用户网络访问行为的方法实施例流程图，具体包括以下步骤：

步骤101，从根域名服务器获取第一域名访问信息；

所述第一域名访问信息包括用于统计的域名，及其在根域名服务器的查询次数。

步骤102，从目标网络服务器获取第二域名访问信息；

目标网络服务器有二大类，一类是为网络用户提供接入服务的递归服务器，另一类是为网络用户提供搜索引擎、电子邮件、论坛、即时聊天、博客等特定应用服务的网络应用服务器。

所述第二域名访问信息包括第一域名访问信息中确定的用于统计的域名，以及针对这些域名在所述目标网络服务器上的访问信息。所述第二域名访问信息从目标网络服务器的日志中统计获得。

步骤103，基于域名建立所述第一域名访问信息与第二域名访问信息之间的映射关系；

步骤104，将所述第一域名访问信息，所述第一域名访问信息与第二域名访问信息的映射关系保存到信息库；

步骤105，依据所述映射关系，从所述信息库获得网络用户的针对相应域名的访问行为。

为使本领域技术人员更好地理解本发明，以下通过举例对本发明的优选实施例进行说明。

优选的，所述第一域名访问信息的获取步骤为：

S1，从所述根域名服务器的日志中，计算用户对域名访问的幂律分布参数；

S2，根据所述幂律分布参数和在所述根域名服务器中登记的域名总数，确定用于统计的域名数量，然后根据查询次数按从大到小的顺序选取所述数量的域名；

S3，汇总统计针对相应域名对所述根域名服务器的查询次数。

优选的，从根域名服务器日志中选取相应域名的方法，具体描述如下：

经统计发现，域名被请求的次数与域名数之间有幂律分布特征，且幂律常数是相对固定的，大约为2.124；如，目前注册的CN域名网站大约100万，当99.5％以上的域名被请求的次数均低于100次时，却有万分之四的域名被请求的次数大于1000次，十万分之三的域名被请求的次数大于10万次。因此，只要统计分析总数的千分之五(约5000个)的域名的访问情况，即可覆盖99％以上用户网络访问行为。本方案实施例选取的5000个域名作为分析用户网络访问行为的统计样本。

优选的，用于统计所述第二域名访问信息的递归服务器选取原则为：

选择用户量大，有代表性的递归服务器，如有大量用户的中国电信、中国移动、中国联通等网络运营商的递归服务器，各地城域接入服务商的递归服务器，及其部分对CN域名有查询请求的国外递归服务器的日志作为统计样本。

优选的，用于统计所述第二域名访问信息的网络应用服务器的选取原则为：

选择用户数量大，最具代表性的应用服务系统，如：网络音乐服务器、网络新闻服务器、即时通信服务器、网络视频服务器、搜索引擎服务器、电子邮件服务器、网络游戏服务器、博客服务器、论坛服务器或电子商务服务器。

本发明提供了另一实施例，所述目标网络服务器为递归服务器时，统计互联网用户网络查询行为的步骤如下：

从根域名服务器获取第一域名访问信息；

以第一域名访问信息的相应域名为基准，从递归服务器的日志中抽取相应信息，汇总统计，形成第二域名访问信息；

下面结合DNS服务器查询日志的结构进行详细说明：

DNS查询日志为文本文件，每一行代表一条解析记录，每行记录的格式示例如下：

12-Mar-2008 00:00:46.611 queries:info:client 198.70.193.45#1418:query:beijing2008.cn IN A-

其中，“12-Mar-2008 00:00:46.611”为日志解析时间；“198.70.193.45”为用户的IP地址；“beijing2008.cn”为用户所查询的域名；“IN”是Resource Class中最常见的一种，表示因特网，另有少量CS、CH、HS等资源类型；“A”为Resource Record Type中最常见的一种，表示该域名服务器地址的类型为IPv4类型，另有“AAAA”表示IPv6地址，“MX”表示邮件交换地址。

从上述日志的记录行中，抽取出符合条件的记录，然后根据相应域名，进行分组统计，即可得到针对相应域名在递归服务器上的查询情况。

基于相应域名，对第一域名访问信息与第二域名访问信息进行分析比较，建立第一域名访问信息与第二域名访问信息之间的映射关系；

将所述第一域名访问信息，所述第一域名访问信息与第二域名访问信息的映射关系保存到信息库；

依据所述映射关系，从所述信息库获得网络用户的针对相应域名的访问行为。

通过该实施例，可以基于根域名服务器日志，实时获得网络用户针对相应域名的全部查询行为，也即可以获得用户在互联网上的网络查询情况。

需要说明的是，根域名服务器的日志与递归服务器的日志格式相同，所以针对相应域名对根域名服务器的查询情况的统计方法是相同的。

本发明提供了另一实施例，所述目标网络服务器为网络应用服务器时，统计互联网用户对特定网络应用的访问行为的步骤如下：

从根域名服务器获取第一域名访问信息；

以第一域名访问信息的相应域名为基准，从网络应用服务器的日志中抽取相应信息，汇总统计，形成第二域名访问信息；

下面，以搜索引擎服务器为例进行说明。

针对每一条网络用户的查询，搜索引擎服务器记录如下信息：

用户提交的查询

用户点击的结果地址

用户点击发生时的日期、时间

该URL在返回结果中的排名

用户点击的顺序号

由系统自动分配的用户标识号

浏览器信息

计算机信息

利用查询词和用户点击页面的信息，可以获取用户提交的查询一般有什么特点，如查询词的长短、频度，查询的类别等；而由用户点击结果页面的信息可以获取用户的点击习惯等。

结合网络用户的域名请求行为，可以推断出用户的网络应用访问行为。从而推导出根域名服务器查询与网络应用服务器访问行为的映射关系，即第一域名访问信息与第二域名访问信息之间的映射关系；

将所述第一域名访问信息，所述第一域名访问信息与第二域名访问信息的映射关系保存到信息库；

依据所述映射关系，从所述信息库获得网络用户的针对相应域名的访问行为。

通过该实施例，可以基于根域名服务器日志，实时获得网络用户针对特定网络应用的访问行为。

参照图2，示出了本发明统计用户网络访问行为的装置实施例的框图，具体包括以下单元：

单元201：第一域名访问信息获取单元，用于获取根域名服务器的第一域名访问信息。

首先，第一域名访问信息获取单元201从所述根域名服务器日志中统计查询域名的幂律分布参数，结合在根域名服务器上登记的域名总数，确定用于统计的域名的数量，然后根据查询次数按从大到小的顺序选取所述数量的域名。

其次，汇总相应域名在所述根域名服务器上的查询信息；

最后，把选定的相应域名以及基于这些域名对根域名服务器的查询信息，形成第一域名访问信息，传递给信息库单元205、第二域名访问信息获取单元202和映射关系获取单元203。

单元202：第二域名访问信息获取单元，用于获取目标网络服务器的第二域名访问信息。

根据第一域名访问信息获取单元201选取的相应域名，从所述目标网络服务器日志中抽取针对这些域名在所述目标网络服务器上的访问信息，形成第二域名访问信息，传递给映射关系获取单元203。

单元203：映射关系获取单元，用于建立所述第一域名访问信息与第二域名访问信息之间的映射关系。

将第一域名访问信息获取单元201和第二域名访问信息获取单元202产生的结果进行比较分析，以相应域名为基准，建立第一域名访问信息与第二域名访问信息之间的映射关系，传递给信息库单元203。

单元204：信息库单元，用于保存所述第一域名访问信息、所述第一域名访问信息与第二域名访问信息的映射关系。

将第一域名访问信息获取单元201产生的结果，即第一域名访问信息保存到信息库；

将映射关系获取单元203的产生的结果，即第一域名访问信息和第二域名访问信息之间的映射关系保存到信息库。

单元205：数据挖掘与展现单元。

从信息库单元204中，依据所述映射关系，从所述信息库中获得网络用户的针对相应域名的访问行为，并按预定的格式展现出来。

优选的，统计用户网络访问行为的装置还包括：

信息库数据更新单元206，用于从所述根域名服务器日志中提取数据，然后对所述信息库数据记录进行更新。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上对本发明所提供的一种获取互联网用户网络访问行为的方法和装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种统计互联网用户网络访问行为的方法，其特征在于，包括：

获取根域名服务器的第一域名访问信息；获取目标网络服务器的第二域名访问信息；基于域名建立所述第一域名访问信息与第二域名访问信息之间的映射关系；

将所述第一域名访问信息，所述第一域名访问信息与第二域名访问信息的映射关系保存到信息库；

依据所述映射关系，从所述信息库获得网络用户针对相应域名的访问行为；

其中，所述获取根域名服务器的第一域名访问信息的步骤包括：从所述根域名服务器的日志中，计算用户对域名访问的幂律分布参数；根据所述幂律分布参数获取用于统计分析的域名、统计针对这些域名对所述根域名服务器的查询次数，形成第一域名访问信息；

其中，当所述目标网络服务器为递归服务器时，所述获取目标网络服务器第二域名访问信息的步骤包括：从递归服务器的日志中，抽取所述第一域名访问信息中确定的用于统计的域名；统计针对所述域名在所述递归服务器上的查询次数，形成第二域名访问信息；

当所述目标网络服务器为网络应用服务器时，所述获取目标网络服务器的第二域名访问信息的步骤包括：从网络应用服务器的日志中，抽取所述第一域名访问信息中确定的用于统计的域名；统计针对相应域名在所述网络应用服务器上的查询次数，形成第二域名访问信息。

2.如权利要求1所述的方法，其特征在于，还包括：

从所述根域名服务器日志中提取相关数据，对所述信息库的相应数据记录进行更新。

3.如权利要求1所述的方法，其特征在于，所述目标网络服务器为递归服务器和/或网络应用服务器。

4.如权利要求1所述的方法，其特征在于，所述递归服务器为运营商的递归服务器，或为城域接入服务商的递归服务器，或为发出根域名查询请求的国外递归服务器。

5.如权利要求1所述的方法，其特征在于，所述网络应用服务器为网络音乐服务器、网络新闻服务器、即时通信服务器、网络视频服务器、搜索引擎服务器、电子邮件服务器、网络游戏服务器、博客服务器、论坛服务器或电子商务服务器。

6.如权利要求2所述的方法，其特征在于：

对所述信息库进行的数据更新采用定期更新方式，或实时更新方式。

7.一种统计互联网用户网络访问行为的装置，其特征在于，包括：

第一域名访问信息获取单元，用于获取根域名服务器的第一域名访问信息；第二域名访问信息获取单元，用于获取目标网络服务器的第二域名访问信息；映射关系获取单元，用于基于域名建立所述第一域名访问信息与第二域名访问信息之间的映射关系；

信息库单元，用于保存所述第一域名访问信息、所述第一域名访问信息与第二域名访问信息的映射关系；

数据挖掘与展现单元，用于依据所述映射关系，从所述信息库中获得网络用户的针对相应域名的访问行为；

其中，所述第一域名访问信息获取单元具体用于从所述根域名服务器的日志中，计算用户对域名访问的幂律分布参数；根据所述幂律分布参数获取用于统计分析的域名、统计针对这些域名对所述根域名服务器的查询次数，形成第一域名访问信息；

当所述目标网络服务器为递归服务器时，所述第二域名访问信息获取单元具体用于从递归服务器的日志中，抽取所述第一域名访问信息中确定的用于统计的域名；统计针对所述域名在所述递归服务器上的查询次数，形成第二域名访问信息；

当所述目标网络服务器为网络应用服务器时，所述第二域名访问信息获取单元具体用于从网络应用服务器的日志中，抽取所述第一域名访问信息中确定的用于统计的域名；统计针对相应域名在所述网络应用服务器上的查询次数，形成第二域名访问信息。

8.如权利要求7所述的装置，其特征在于，还包括：

信息库数据更新单元，用于从所述根域名服务器日志中提取、加工数据，然后对所述信息库数据记录进行更新。

Images