CN101261643A - 网站页面信息统计方法及装置 - Google Patents

Abstract

本发明公开了一种网站页面信息统计方法，包括：获取所接收的超文本传输协议(HTTP)请求中的用户代理(UA)字段；将UA字段中的操作系统相关信息，与预先设置的检索树中的机器人禁止列表和浏览器允许列表分别进行匹配，生成匹配结果；将匹配结果为合法的UA字段所在的HTTP请求统计为有效请求。本发明还提供了一种网站页面信息统计装置，将所接收的HTTP请求中的UA字段与检索树进行匹配，并将匹配结果为合法的HTTP请求统计为有效请求。本发明可以屏蔽网络中各种搜索引擎的机器人干扰，对网站页面信息的统计更准确；本发明在服务器端实现，无需客户端的支持；且本发明的匹配效率高，统计操作具有较强的实时性，可以实现实时统计。

Description

网站页面信息统计方法及装置

技术领域

本发明涉及网站统计技术，尤其涉及一种网站页面信息统计方法及装置。

背景技术

在网络应用中，通常需要通过页面信息监测统计的手段，对网站所链接的页面信息的点击率进行统计，其中包括对网站的页面广告点击率统计等等。在目前的页面信息监测统计过程中，存在各种搜索引擎的机器人等非人类活动影响统计准确性的问题。例如：google的网页抓取机器人，在抓取网站的过程中也会抓取到该网站的页面信息。现有的页面信息检测手段，将机器人对网站页面信息的访问也作为页面信息点击的有效数据统计在内，这样显然会影响对网站页面信息的真实统计结果。

现有技术中存在一种JS(JavaScript)编码方式，可以减少网络中的机器人活动对网站页面信息统计结果造成的影响。JS是由Netscape公司开发的一种适用于动态网页制作的脚本语言，如今，JS越来越广泛的应用于网页的制作。所谓JS编码方式，是通过JS的编码函数将页面信息素材链接和监测连接进行编码。例如，在页面上实现如下链接方式：<a href＝″#″onclick＝″javascirpt:window.location.href＝′http://www.xxx.com″′></a>。由于页面链接通过JS代码实现，无法被机器人抓取，从而使得机器人的活动不会对网站页面信息的真实统计结果造成影响。但是，这种方式需要服务器端和客户端都支持JS，实现复杂，如果客户端不支持JS，则会导致网站页面信息无法点击，从而也会造成对网站页面信息点击的统计结果不准确。

发明内容

有鉴于此，本发明的主要目的在于提供一种网站页面信息统计方法及装置，以解决现有技术中网站页面信息统计不准确和实现复杂的问题。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供了一种网站页面信息统计方法，包括：

获取所接收的超文本传输协议(HTTP，Hypertext Transfer Protocol)请求中的用户代理(UA，User Agent)字段；

将所述UA字段中的操作系统相关信息，与预先设置的检索树中的机器人禁止列表和浏览器允许列表分别进行匹配，生成匹配结果；

将所述匹配结果为合法的UA字段所在的HTTP请求统计为有效请求。

所述获取所接收的HTTP请求中的UA字段之前，该方法还包括：建立包括所述机器人禁止列表和浏览器允许列表的检索树。

所述生成匹配结果进一步包括：

根据所述匹配结果判断，如果所述操作系统相关信息对所述浏览器允许列表的匹配成功，且对所述机器人禁止列表的匹配失败，则判定所述匹配结果为合法；否则，判定所述匹配结果为不合法。

所述匹配是将所述操作系统相关信息中的每个字母依次与所述检索树中的节点进行匹配。

在所述检索树中采用不同的标识对所述机器人禁止列表和浏览器允许列表进行区分。

本发明还提供了一种网站页面信息统计装置，包括：UA字段获取单元、检索树匹配单元和统计单元；其中，

所述UA字段获取单元，用于获取所接收的HTTP请求中的UA字段；

所述检索树匹配单元，用于将所述UA字段中的操作系统相关信息，与检索树中的机器人禁止列表和浏览器允许列表分别进行匹配，生成匹配结果；

所述统计单元，用于将匹配结果为合法的UA字段所在的HTTP请求统计为有效请求。

所述装置还包括：检索树建立单元，连接所述检索树匹配单元，用于建立包括所述机器人禁止列表和浏览器允许列表的检索树。

所述检索树匹配单元还包括：相互连接的匹配子单元和结果判定子单元；其中，

所述匹配子单元，用于将所述UA字段中的操作系统相关信息，与检索树中的机器人禁止列表和浏览器允许列表分别进行匹配，生成匹配结果；

所述结果判定子单元，用于根据所述操作系统相关信息与所述浏览器允许列表和机器人禁止列表的匹配结果，判定所述匹配结果为合法或不合法。

本发明所提供的一种网站页面信息统计方法及装置，将机器人禁止列表和浏览器允许列表的信息用检索树的形式进行存储；并将所接收的HTTP请求中的UA字段与检索树进行匹配，如果对浏览器允许列表的匹配成功，且对机器人禁止列表的匹配失败，则判定匹配结果为合法；然后将匹配结果为合法的UA字段所在的HTTP请求统计为有效。采用本发明所提供的网站页面信息统计方法及装置，可以屏蔽网络中各种搜索引擎的机器人干扰，使得对网站页面信息的统计更加准确；本发明在服务器端即可实现，无需客户端的支持；并且，本发明的匹配效率高，使得统计操作具有较强的实时性，可以实现实时统计。

附图说明

图1为本发明一种网站页面信息统计方法的流程图；

图2为本发明实施例的检索树结构示意图；

图3为本发明一种网站页面信息统计装置的组成结构示意图。

具体实施方式

下面结合附图和具体实施例对本发明的技术方案进一步详细阐述。

本发明提供了一种网站页面信息统计方法，将机器人禁止列表和浏览器允许列表的信息用检索树的形式进行存储，并将所接收的HTTP请求中的UA字段与检索树进行匹配，将匹配结果为合法的UA字段所在的HTTP请求统计为有效。本发明的页面信息包括网站广告、网站图片和网站视频等等与链接在网站页面上的信息。

其中，本发明的网站页面信息统计是在服务器端实现的。

本发明所提供的一种网站页面信息统计方法的流程图，如图1所示，主要包括以下步骤：

步骤101，服务器端获取所接收的HTTP请求中的UA字段。

服务器端接收来自用户的HTTP请求，并从HTTP请求的head部分提取UA字段，该UA字段中包括操作系统相关信息，具体包括浏览器信息和操作系统信息。对于来自机器人的HTTP请求，其UA字段中还包括机器人信息。例如，在如下的UA字段中包括：Mozilla/4.0(compatible；MSIE 6.0；Windows NT5.1；SV1；QQDownload 1.7；.NET CLR 1.1.4322；.NET CLR 2.0.50727；.NET CLR3.0.04506.590；.NET CLR 3.5.20706)。

其中，Mozilla为浏览器信息，由于该UA字段中不包括机器人信息，从而可判定该UA字段所在的HTTP请求并非来自机器人。

步骤102，服务器端将UA字段中的操作系统相关信息，与预先设置的检索树中的机器人禁止列表和浏览器允许列表分别进行匹配，生成匹配结果。

需要指出的是，检索树是在上述步骤101之前根据机器人禁止列表和浏览器允许列表的信息建立的，建立的检索树存储在服务器端。建立检索树的过程，如图2所示，图2为本发明实施例的检索树结构示意图，检索树的每个节点包括26个指针，每个指针分别对应一个从a到z的英文字母，当然，检索树中的节点所包括的指针数量可根据实际需要进行配置。

在图2所示实施例中，机器人禁止列表的信息包括：ync、yotta、zealbot、zeus、zibber和zipppbot，浏览器允许列表的信息包括：Microsoft Internet Explorer、Moozilla和Mosaic，服务器端需要对上述列表的信息以检索树的形式进行存储。

下面以存储ync和Mosaic为例，对检索树的建立过程进行详细描述。

首先，创建一个新节点B，使根节点A的m单元的指针指向节点B的头指针，并将根节点A的m单元用F0标识，以表示m单元的指针不为空；

创建一个新节点C，使节点B的o单元的指针指向节点C的头指针，并将节点B的o单元用F0标识，以表示o单元的指针不为空；

创建一个新节点D，使节点C的s单元的指针指向节点D的头指针，并将节点C的s单元用F0标识，以表示s单元的指针不为空；

创建一个新节点E，使节点D的a单元的指针指向节点E的头指针，并将节点D的a单元用F0标识，以表示a单元的指针不为空；

创建一个新节点F，使节点E的i单元的指针指向节点F的头指针，并将节点E的i单元用F0标识，以表示i单元的指针不为空；

最后，将节点F的c单元用F1标识，以表示c单元的指针不为空，且节点F为Mosaic的尾节点。

存储ync的过程为：

创建一个新节点G，使根节点A的y单元的指针指向节点G的头指针，并将根节点A的y单元用F0标识，以表示y单元的指针不为空；

创建一个新节点H，使节点G的n单元的指针指向节点H的头指针，并将节点G的n单元用F0标识，以表示n单元的指针不为空；

最后，将节点H的c单元用F2标识，以表示c单元的指针不为空，且节点H为ync的尾节点。

需要指出的是，本发明实施例中用标识F1和F2分别标识浏览器允许列表中的信息和机器人禁止列表中的信息，以区分浏览器允许列表和机器人禁止列表，即Mosaic的尾节点F用F1标识，表示Mosaic为浏览器允许列表中的信息；而ync的尾节点H用F2标识，表示ync为机器人禁止列表中的信息。

机器人禁止列表和浏览器允许列表中的信息存储到检索树中的操作，都按照上述的操作过程进行，在此不再赘述。

假设UA字段中只包括浏览器信息Mosaic，则服务器端需要将Mosaic中的每个字母依次与检索树中的节点进行匹配，匹配操作从检索树的根节点开始，匹配过程为：

首先匹配字母m，从检索树的根节点A开始匹配，发现根节点A的m单元的指针不为空，则匹配字母m成功；

再匹配字母o，查找根节点A的m单元的指针指向了节点B，且节点B的o单元的指针不为空，则匹配字母o成功；

再匹配字母s，查找节点B的o单元的指针指向了节点C，且节点C的s单元的指针不为空，则匹配字母s成功；

再匹配字母a，查找节点C的s单元的指针指向了节点D，且节点D的a单元的指针不为空，则匹配字母a成功；

再匹配字母i，查找节点D的a单元的指针指向了节点E，且节点E的i单元的指针不为空，则匹配字母i成功；

最后匹配字母c，查找节点E的i单元的指针指向了节点F，且节点F的c单元的指针标识为F1，表明匹配字母c成功，且节点E为尾节点，对Mosaic的匹配操作到此结束，从而也最终成功匹配到了浏览器的信息Mosaic。

由于上述的UA字段中只包括浏览器信息Mosaic，而不包括机器人信息，因此，进行信息匹配时，UA字段对检索树中的浏览器允许列表匹配成功，而对机器人禁止列表匹配失败，从而判定该UA字段所在的HTTP请求为合法的请求。

假设UA字段中包括浏览器信息Mosaic和机器人信息ync，则对Mosaic进行匹配的过程与前述相同，对ync进行匹配的过程为：

首先匹配字母y，从检索树的根节点A开始匹配，发现根节点A的y单元的指针不为空，则匹配字母y成功；

再匹配字母n，查找根节点A的y单元的指针指向了节点G，且节点G的n单元的指针不为空，则匹配字母n成功；

最后匹配字母c，查找节点G的n单元的指针指向了节点H，且节点H的c单元的指针标识为F2，则匹配字母c成功，且节点H为尾节点，对ync的匹配操作到此结束，从而也最终成功匹配到了机器人的信息ync。

由于上述的UA字段中包括浏览器信息Mosaic和机器人信息ync，因此，进行信息匹配时，UA字段对检索树中的浏览器允许列表和机器人禁止列表都能匹配成功，从而可判定该UA字段所在的HTTP请求为不合法的请求。并且，在机器人信息匹配成功的情况下，无论浏览器信息匹配成功与否，都判定UA字段所在的HTTP请求为不合法的请求。

总结上述匹配操作的各种结果，可以得知：只有在操作系统相关信息对检索树中浏览器允许列表的匹配成功，且对机器人禁止列表的匹配失败的情况下，判定匹配结果为合法；否则，判定匹配结果为不合法。

步骤103，服务器端将匹配结果为合法的UA字段所在的HTTP请求统计为有效请求。

服务器端将匹配结果为合法的UA字段所在的HTTP请求作为有效的数据输出，以供后续的统计操作和其他处理。

由上述的匹配操作可以看出，实际应用中，UA字段、浏览器允许列表和机器人禁止列表中的信息都是由英文字母组成的；因此，创建检索树时，最多采用26个节点就能将两个列表中的所有信息都存储进检索树中。而将UA字段与检索树进行匹配时，对于一条操作系统相关信息，最多只需要执行26次节点的匹配操作就可完成，例如：在上述图2所示的实施例中，将Mosaic与检索树进行匹配时，只需进行包括节点A、B、C、D、E、F在内的6次节点匹配操作即可匹配成功；将ync与检索树进行匹配时，只需进行包括节点A、G、H在内的3次节点匹配操作即可匹配成功。从而，本发明的匹配操作花费的时间短，匹配效率高，可适用于实时的匹配，进而实现网站页面信息的实时统计。

为实现上述网站页面信息统计方法，本发明还提出了一种网站页面信息统计装置，该装置应用于服务器端，如图3所示，该装置包括：检索树建立单元10、UA字段获取单元20、检索树匹配单元30和统计单元40。其中，检索树建立单元10，用于建立包括机器人禁止列表和浏览器允许列表的检索树。UA字段获取单元20，用于获取所接收的HTTP请求中的UA字段。检索树匹配单元30，连接检索树建立单元10和UA字段获取单元20，用于将UA字段中的操作系统相关信息，与检索树中的机器人禁止列表和浏览器允许列表分别进行匹配，生成匹配结果。统计单元40，连接检索树匹配单元30，用于将匹配结果为合法的UA字段所在的HTTP请求统计为有效请求。

其中，检索树匹配单元30进一步包括：匹配子单元31和结果判定子单元32。匹配子单元31，连接检索树建立单元10和UA字段获取单元20，用于将UA字段中的操作系统相关信息，与检索树中的机器人禁止列表和浏览器允许列表分别进行匹配，生成匹配结果。结果判定子单元32，连接匹配子单元31和统计单元40，用于根据匹配结果，如果浏览器信息匹配成功，且操作系统信息匹配失败，则判定匹配结果为合法，否则，判定匹配结果为不合法；并将匹配结果为合法的UA字段所在的HTTP请求提供给统计单元40。

需要指出的是，本发明的网站页面信息统计方法及装置，不仅仅用于减弱或消除机器人的活动对统计结果的干扰，并且通过匹配包含禁止列表和允许列表的检索树的方法，也可适用于减弱或消除其他非人类活动对统计结果造成的干扰。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (8)

1、一种网站页面信息统计方法，其特征在于，包括：

获取所接收的超文本传输协议HTTP请求中的用户代理UA字段；

将所述UA字段中的操作系统相关信息，与预先设置的检索树中的机器人禁止列表和浏览器允许列表分别进行匹配，生成匹配结果；

将所述匹配结果为合法的UA字段所在的HTTP请求统计为有效请求。

2、根据权利要求1所述网站页面信息统计方法，其特征在于，所述获取所接收的HTTP请求中的UA字段之前，该方法还包括：建立包括所述机器人禁止列表和浏览器允许列表的检索树。

3、根据权利要求1所述网站页面信息统计方法，其特征在于，所述生成匹配结果进一步包括：

根据所述匹配结果判断，如果所述操作系统相关信息对所述浏览器允许列表的匹配成功，且对所述机器人禁止列表的匹配失败，则判定所述匹配结果为合法；否则，判定所述匹配结果为不合法。

4、根据权利要求1或3所述网站页面信息统计方法，其特征在于，所述匹配是将所述操作系统相关信息中的每个字母依次与所述检索树中的节点进行匹配。

5、根据权利要求1所述网站页面信息统计方法，其特征在于，在所述检索树中采用不同的标识对所述机器人禁止列表和浏览器允许列表进行区分。

6、一种网站页面信息统计装置，其特征在于，包括：UA字段获取单元、检索树匹配单元和统计单元；其中，

所述UA字段获取单元，用于获取所接收的HTTP请求中的UA字段；

所述检索树匹配单元，用于将所述UA字段中的操作系统相关信息，与检索树中的机器人禁止列表和浏览器允许列表分别进行匹配，生成匹配结果；

所述统计单元，用于将匹配结果为合法的UA字段所在的HTTP请求统计为有效请求。

7、根据权利要求6所述网站页面信息统计装置，其特征在于，所述装置还包括：检索树建立单元，连接所述检索树匹配单元，用于建立包括所述机器人禁止列表和浏览器允许列表的检索树。

8、根据权利要求6或7所述网站页面信息统计装置，其特征在于，所述检索树匹配单元还包括：相互连接的匹配子单元和结果判定子单元；其中，

所述匹配子单元，用于将所述UA字段中的操作系统相关信息，与检索树中的机器人禁止列表和浏览器允许列表分别进行匹配，生成匹配结果；

所述结果判定子单元，用于根据所述操作系统相关信息与所述浏览器允许列表和机器人禁止列表的匹配结果，判定所述匹配结果为合法或不合法。

Images