CN109145179B - 一种爬虫行为检测方法及装置 - Google Patents

Abstract

本发明公开了一种爬虫行为检测方法及装置，此方法包括：获取用户的日志信息，从所述日志信息中提取出用户访问的各统一资源定位器URL，确定各URL的信息模式；在预设时段内根据用户访问的各URL的信息模式的分布情况判断此用户是否为爬虫。本发明可以有效提高爬虫检测准确度和检测效率，保护网络信息内容。

Description

一种爬虫行为检测方法及装置

技术领域

本发明涉及互联网技术领域，尤其涉及一种爬虫行为检测方法及装置。

背景技术

网络爬虫技术是从一个或多个网页的URL(Uniform Resource Locator，统一资源定位符)开始，获得初始网页上的URL，抓取网页信息的技术。

现有技术中检测爬虫的方法多是通过设置阈值的方法实现的，即统计同一时刻客户端的IP地址访问服务器端的IP地址时的会话连接数，若访问时的会话连接数超过了设置的阈值，则认为该IP地址对应的客户端正在通过网络爬虫抓取网页。

现有的方法中，当客户端的IP地址正常访问服务器IP地址时，也会导致会话连接数超过阈值，所以现有的方法容易造成错误检测。

发明内容

为了解决上述技术问题，本发明提供了一种爬虫行为检测方法及装置。

本发明提供的爬虫行为检测方法，包括：

获取用户的日志信息，

从所述日志信息中提取出用户访问的各统一资源定位器URL，确定各URL的信息模式；

在预设时段内根据用户访问的各URL的信息模式的分布情况判断此用户是否为爬虫。

上述爬虫行为检测方法还具有以下特点：

所述确定URL的信息模式包括：根据URL分隔符将URL划分为不同部分，从各部分中提取出关键字，将各关键字组合为信息模式。

上述爬虫行为检测方法还具有以下特点：

所述根据URL分隔符将URL划分为不同部分包括根据URL分隔符将URL划分为以下部分：协议部分、网站名称部分、路径部分、目标部分；

所述协议部分的关键字包括协议类型；所述网站名称部分的关键字包括服务器类型、域名名称；所述路径部分的关键字包括：各级目录的标识；所述目标部分的关键字包括：操作类型、目标文件的后缀类型。

上述爬虫行为检测方法还具有以下特点：

所述根据日志信息分析用户访问的统一资源定位器URL确定用户访问的URL的信息模式包括：统计所述用户在预设历史时段内访问的URL，按分隔符提取URL各位置的字符串，统计各字符串的历史出现次数；确定用户访问的URL的信息模式时，按分隔符提取URL各位置的字符串，确定各字符串的历史出现次数，按出现次数排序，选择字符串排序中出现次数最大的前N个字符串作为关键字，将选择出的关键字组合为此URL的信息模式，N为正整数。

上述爬虫行为检测方法还具有以下特点：

所述在预设时段内根据用户访问的各URL的信息模式的分布情况判断此用户是否为爬虫包括以下方式中的一种：

方式一，在预设时段内，确定不同信息模式的个数，所述用户访问的URL的个数与不同模式的个数的比值大于预设门限值时，判定此用户为爬虫；

方式二，在预设时段内，确定不同信息模式的个数，所述用户访问的所述用户访问的URL的个数与不同模式的个数的比值大于预设门限值时，并且对应URL个数最多的信息模式所对应的URL的个数与所述预设时段内此用户访问的所有URL的个数比例大于预设比例时，判定此用户为爬虫。

本发明还提供了一种爬虫行为检测装置，包括：

日志信息获取模块，用于获取用户的日志信息；

信息模式确定模块，用于从所述日志信息中提取出用户访问的各统一资源定位器URL，确定各URL的信息模式；

判断模块，用于在预设时段内根据用户访问的各URL的信息模式的分布情况判断此用户是否为爬虫。

上述爬虫行为检测装置还具有以下特点：

所述信息模式确定模块包括划分单元、处理单元；

所述划分单元，用于根据URL分隔符将URL划分为不同部分；

所述处理单元，用于从各部分中提取出关键字，将各关键字组合为信息模式。

上述爬虫行为检测装置还具有以下特点：

所述划分单元，用于根据URL分隔符将URL划分为以下部分：协议部分、网站名称部分、路径部分、目标部分；所述协议部分的关键字包括协议类型；所述网站名称部分的关键字包括服务器类型、域名名称；所述路径部分的关键字包括：各级目录的标识；所述目标部分的关键字包括：操作类型、目标文件的后缀类型。

上述爬虫行为检测装置还具有以下特点：

所述信息模式确定模块包括统计单元、判断单元；

所述统计单元，用于统计所述用户在预设历史时段内访问的URL，按分隔符提取URL各位置的字符串，统计各字符串的历史出现次数；

所述处理单元，用于确定用户访问的URL的信息模式时，按分隔符提取URL各位置的字符串，确定各字符串的历史出现次数，按出现次数排序，选择字符串排序中出现次数最大的前几个字符串作为关键字，将选择出的关键字组合为此URL的信息模式。

上述爬虫行为检测装置还具有以下特点：

所述判断模块用于使用以下方式中的一种在预设时段内根据用户访问的各URL的信息模式的分布情况判断此用户是否为爬虫：

方式一，在预设时段内，确定不同信息模式的个数，所述用户访问的URL的个数与不同模式的个数的比值大于预设门限值时，判定此用户为爬虫；

方式二，在预设时段内，确定不同信息模式的个数，所述用户访问的所述用户访问的URL的个数与不同模式的个数的比值大于预设门限值时，并且对应URL个数最多的信息模式所对应的URL的个数与所述预设时段内此用户访问的所有URL的个数比例大于预设比例时，判定此用户为爬虫。

本发明可以有效提高爬虫检测准确度和检测效率，保护网络信息内容。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是实施例中爬虫行为检测方法的流程图；

图2是实施例中爬虫行为检测装置的结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

图1是实施例中爬虫行为检测方法的流程图；此方法包括：

步骤101，获取用户的日志信息，

步骤102，从所述日志信息中提取出用户访问的各统一资源定位器URL，确定各URL的信息模式；

步骤103，在预设时段内根据用户访问的各URL的信息模式的分布情况判断此用户是否为爬虫。

其中，

步骤102中确定URL的信息模式的方法包括两种方法。

方法一，确定URL的信息模式时根据URL分隔符将URL划分为不同部分，从各部分中提取出关键字，将各关键字组合为信息模式。

根据URL分隔符将URL划分为不同部分包括根据URL分隔符将URL划分为以下部分：协议部分、网站名称部分、路径部分、目标部分。协议部分的关键字包括协议类型；网站名称部分的关键字包括服务器类型、域名名称；路径部分的关键字包括：各级目录的标识；目标部分的关键字包括：操作类型、目标文件的后缀类型。

例如：URL为http://www.abcde.com/music1/122674119.mp3

协议部分包括http://，此部分的关键字包括http。

网站名称部分包括www.abcde.com，此部分的关键字包括服务器类型www，和域名名称abcde.com。

路径部分的关键字包括music/，此部分的关键字包括music1。

目标部分的关键字包括122674119.mp3，此部分的关键字包括目标文件的后缀类型mp3。

方法二

根据日志信息分析用户访问的统一资源定位器URL确定用户访问的URL的信息模式包括：统计所述用户在预设历史时段内访问的URL，按分隔符(包括“://”、“/”、“.”)，提取URL各位置的字符串，统计各字符串的历史出现次数；确定用户访问的URL的信息模式时，按分隔符提取URL各位置的字符串，确定各字符串的历史出现次数，按出现次数排序，选择字符串排序中出现次数最大的前N个字符串作为关键字，将选择出的关键字组合为此URL的信息模式，N为正整数。

N的值可以是个固定值，例如：用户访问的URL为http://www.abcde.com/music1/122674119.mp3。统计此用户的历史信息，确定此用户在预设历史时段内访问的URL的个数为1000。此URL的信息模式中的关键字包括：http、www、abcde.com、music1、mp3。每个关键字在预设历史时段内出现的次数均为800、1000、1000、500、1000，字符串排序中出现次数最大的前3个字符串作为关键字，包括：www、abcde.com、mp3，将此3个关键字的组合作为此URL的信息模式，或者，将URL中不是关键字的字符串用特殊符号代替，例如用*代替。例如URL为http://www.baishancloud.com/docs/12344556.xls？mobile＝ios&verbose＝2，最终得到的信息模式为：

http://www.baishancloud.com/docs/*.xls？mobile＝ios&verbose＝*。

N的值也可以是根据字符串排序计算出来的，例如：字符串排序中前X个字符串的历史出现次数之和是字符串排序中所有字符串的历史出现次数之和的比例大于预设比例时，将此X的值作为N。

步骤103，在预设时段内根据用户访问的各URL的信息模式的分布情况判断此用户是否为爬虫包括以下方式中的一种：

方式一，在预设时段内，确定不同信息模式的个数，所述用户访问的URL的个数与不同模式的个数的比值大于预设门限值时，判定此用户为爬虫；

方式二，在预设时段内，确定不同信息模式的个数，所述用户访问的所述用户访问的URL的个数与不同模式的个数的比值大于预设门限值时，并且对应URL个数最多的信息模式所对应的URL的个数与所述预设时段内此用户访问的所有URL的个数比例大于预设比例时，判定此用户为爬虫。

图2是爬虫行为检测装置的结构图，此装置包括日志信息获取模块、信息模式确定模块、判断模块。

日志信息获取模块用于获取用户的日志信息；

信息模式确定模块用于从所述日志信息中提取出用户访问的各统一资源定位器URL，确定各URL的信息模式；

判断模块用于在预设时段内根据用户访问的各URL的信息模式的分布情况判断此用户是否为爬虫。

信息模式确定模块可以具有两种结构。

第一种，信息模式确定模块包括划分单元、处理单元。

划分单元用于根据URL分隔符将URL划分为不同部分；具体的，根据URL分隔符将URL划分为以下部分：协议部分、网站名称部分、路径部分、目标部分；所述协议部分的关键字包括协议类型；所述网站名称部分的关键字包括服务器类型、域名名称；所述路径部分的关键字包括：各级目录的标识；所述目标部分的关键字包括：操作类型、目标文件的后缀类型。

处理单元用于从各部分中提取出关键字，将各关键字组合为信息模式

第二种，信息模式确定模块包括统计单元、处理单元。

统计单元用于统计所述用户在预设历史时段内访问的URL，按分隔符提取URL各位置的字符串，统计各字符串的历史出现次数；

处理单元用于确定用户访问的URL的信息模式时，按分隔符提取URL各位置的字符串，确定各字符串的历史出现次数，按出现次数排序，选择字符串排序中出现次数最大的前几个字符串作为关键字，将选择出的关键字组合为此URL的信息模式。

判断模块用于使用以下方式中的一种在预设时段内根据用户访问的各URL的信息模式的分布情况判断此用户是否为爬虫：

方式一，在预设时段内，确定不同信息模式的个数，所述用户访问的URL的个数与不同模式的个数的比值大于预设门限值时，判定此用户为爬虫；

方式二，在预设时段内，确定不同信息模式的个数，所述用户访问的所述用户访问的URL的个数与不同模式的个数的比值大于预设门限值时，并且对应URL个数最多的信息模式所对应的URL的个数与所述预设时段内此用户访问的所有URL的个数比例大于预设比例时，判定此用户为爬虫。

本发明可以有效提高爬虫检测准确度和检测效率，保护网络信息内容。

上面描述的内容可以单独地或者以各种方式组合起来实施，而这些变型方式都在本发明的保护范围之内。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现，相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案而非限制，仅仅参照较佳实施例对本发明进行了详细说明。本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种爬虫行为检测方法，其特征在于，包括：

获取用户的日志信息，

从所述日志信息中提取出用户访问的各统一资源定位器URL，确定各URL的信息模式；

在预设时段内根据用户访问的各URL的信息模式的分布情况判断此用户是否为爬虫，

其中，所述确定URL的信息模式包括：根据URL分隔符将URL划分为不同部分，从各部分中提取出关键字，将各关键字组合为信息模式，

所述在预设时段内根据用户访问的各URL的信息模式的分布情况判断此用户是否为爬虫包括以下方式中的一种：

方式一，在预设时段内，确定不同信息模式的个数，所述用户访问的URL的个数与不同模式的个数的比值大于预设门限值时，判定此用户为爬虫；

方式二，在预设时段内，确定不同信息模式的个数，所述用户访问的所述用户访问的URL的个数与不同模式的个数的比值大于预设门限值时，并且对应URL个数最多的信息模式所对应的URL的个数与所述预设时段内此用户访问的所有URL的个数比例大于预设比例时，判定此用户为爬虫。

2.如权利要求1所述的爬虫行为检测方法，其特征在于，包括：

所述根据URL分隔符将URL划分为不同部分包括根据URL分隔符将URL划分为以下部分：协议部分、网站名称部分、路径部分、目标部分；

所述协议部分的关键字包括协议类型；所述网站名称部分的关键字包括服务器类型、域名名称；所述路径部分的关键字包括：各级目录的标识；所述目标部分的关键字包括：操作类型、目标文件的后缀类型。

3.如权利要求1所述的爬虫行为检测方法，其特征在于，所述确定URL的信息模式还包括：

统计所述用户在预设历史时段内访问的URL，按分隔符提取URL各位置的字符串，统计各字符串的历史出现次数；确定用户访问的URL的信息模式时，按分隔符提取URL各位置的字符串，确定各字符串的历史出现次数，按出现次数排序，选择字符串排序中出现次数最大的前N个字符串作为关键字，将选择出的关键字组合为此URL的信息模式，N为正整数。

4.一种爬虫行为检测装置，其特征在于，包括：

日志信息获取模块，用于获取用户的日志信息；

信息模式确定模块，用于从所述日志信息中提取出用户访问的各统一资源定位器URL，确定各URL的信息模式；

判断模块，用于在预设时段内根据用户访问的各URL的信息模式的分布情况判断此用户是否为爬虫，

其中，所述信息模式确定模块包括划分单元、处理单元；

所述划分单元，用于根据URL分隔符将URL划分为不同部分；

所述处理单元，用于从各部分中提取出关键字，将各关键字组合为信息模式，

所述判断模块用于使用以下方式中的一种在预设时段内根据用户访问的各URL的信息模式的分布情况判断此用户是否为爬虫：

方式一，在预设时段内，确定不同信息模式的个数，所述用户访问的URL的个数与不同模式的个数的比值大于预设门限值时，判定此用户为爬虫；

方式二，在预设时段内，确定不同信息模式的个数，所述用户访问的所述用户访问的URL的个数与不同模式的个数的比值大于预设门限值时，并且对应URL个数最多的信息模式所对应的URL的个数与所述预设时段内此用户访问的所有URL的个数比例大于预设比例时，判定此用户为爬虫。

5.如权利要求4所述的爬虫行为检测装置，其特征在于，

所述划分单元，用于根据URL分隔符将URL划分为以下部分：协议部分、网站名称部分、路径部分、目标部分；所述协议部分的关键字包括协议类型；所述网站名称部分的关键字包括服务器类型、域名名称；所述路径部分的关键字包括：各级目录的标识；所述目标部分的关键字包括：操作类型、目标文件的后缀类型。

6.如权利要求4所述的爬虫行为检测装置，其特征在于，

所述信息模式确定模块包括统计单元、判断单元；

所述统计单元，用于统计所述用户在预设历史时段内访问的URL，按分隔符提取URL各位置的字符串，统计各字符串的历史出现次数；

所述处理单元，用于确定用户访问的URL的信息模式时，按分隔符提取URL各位置的字符串，确定各字符串的历史出现次数，按出现次数排序，选择字符串排序中出现次数最大的前几个字符串作为关键字，将选择出的关键字组合为此URL的信息模式。