CN1537377A - 实现防止自动检索程序侵入的Web网站的系统和方法 - Google Patents

Abstract

本发明允许防止自动搜索程序浏览Web网站中除欢迎页面以外的内容。当从未确定的发起方接收到初始请求时，Web网站用含有询问的欢迎页面应答该请求。接着，当从未确定的发起方接收到进一步请求时，Web网站可以检查询问是否回答正确。如果回答正确，则认为未确定的发起方是人，并且批准继续访问。如果询问没有回答正确，则认为未确定的发起方是自动搜索程序，在这种情况下拒绝进一步的访问。本发明在不需要用户进行登录的情况下防止自动搜索程序调查Web网站的内容。

Description

实现防止自动检索程序侵入 的Web网站的系统和方法

技术领域

本发明涉及互联网，尤其适用于那些在欢迎人们访问的同时，防止自动检索程序(robots)访问和收集其信息的万维网(WWW)网站。

背景技术

WWW自动检索程序，也叫做Web Wanderers，Web Crawlers或者Web Spiders，经常被称作bot(bot是自动检索程序的简称)，是用来自动遍历Web网站的超文本结构的程序，因而在检索完一个文件时，可以递归检索所有链接的网页。特别地，这是许多搜索引擎及其漫游在万维网上的自动检索程序寻找和索引内容以加入到其数据库中的方式。虽然大部分自动检索程序提供的是有价值的服务，但已有一定数量的网站管理员关注这些引擎究竟需要多少宝贵的服务时间和带宽。即使大部分的自动检索程序都设计的很好，被专业地运用并且没有问题，还是有Web服务器不欢迎自动检索程序的访问。有时是因为自动检索程序的行为方式。有些自动检索程序快速发起请求或重复寻找同样的文件，会使服务器疲于应付。如果故意如此，这就是拒绝服务(DoS)攻击的一种形式，尽管这种情况多数是由于自动检索程序设计不好或有缺陷造成的。在其它情况下，自动检索程序遍历一部分不适合搜索的WWW服务器，例如，含有重复或临时信息，包括大文件或CGI脚本(CGI是从万维网HTTP服务器运行外部程序的标准)的WWW服务器。在后一个例子中以及类似的情况下，在访问和执行脚本时，脚本会在产生动态网页时消耗大量的服务器资源，从而降低系统速度。认识到这些问题后，许多Web自动检索程序为Web网站管理员和内容提供商提供了限制自动检索程序的允许工作范围的手段。其中提供了两种机制。一种被称作“自动检索程序排斥协议(Robots Exclusion Protocol)”，它不是真正实施的协议，而是国际互联网工程任务组(IETF)在1996年以“Web自动检索程序控制方法”为题制订的国际互联网草案，是有效的文件。根据该文件，Web网站管理员可以通过在提供位于http：//.../robots.txt的特殊格式文件来指定网站的那些部分不可以让自动检索程序访问。另一种机制是假定Web作者可以通过使用特殊的超文本标记语言(HTML)META标记符，例如用Robots META标记符’来指出网页是否允许被索引或进行链接分析。然而，这些机制依赖于自动检索程序的合作，甚至不保证对每种自动检索程序都有效。此外，就像上面(DoS)介绍过的，有些自动检索程序并不那么友好。例如，它们会恶意攻击Web网站(于是，他们并不理会robots.txt文件和robots meta标记符)使得Web网站过载并开始拒绝对合法用户，即试图正常使用Web网站的人们提供服务。并且，虽然Web网站上的可用信息并不是机密，但Web网站管理员可能希望防止信息无限制地散布以致被各种自动检索程序索引和引用。实现这个目的的标准方式是通过某种形式的身份验证保护Web网站，普遍的方式是管理拥有密码的注册用户列表，使得他们在访问Web网站前必须先登录。这么做的一个很明显的缺陷是系统管理员必须管理、更新非公开的用户列表，因而需要第一次查询Web网站的用户进行注册，而且假设用户在以后查询时可以记得密码。这可能完全不是系统管理员初衷，甚至起到了反作用，因为要求用户注册会阻碍一些喜欢浏览Web网站的人深入浏览。

发明内容

本发明的基本目的是防止自动检索程序调查Web网站的内容。

本发明的另一个目的是不使试图访问自动检索程序保护的Web网站的人，对在第一次访问时注册并在以后的每次访问都登录的方式失望。

本发明的另一个目的是不依赖于自动检索程序的合作，限制它们访问Web网站的内容。

本领域技术人员通过下面结合附图进行的描述可以理解本发明的其它目的、特征和优点。本文期望涉及到任何其它的优点。

这里描述了防止自动检索程序浏览欢迎页面之外的Web网站的方法和系统。在收到了由未确定的发起方发出的初始请求时，Web网站应答一个带有询问(challenge)的欢迎页面。然后，在收到未确定的发起方发送的进一步请求时，Web网站检查询问是否被正确回答。如果回答正确，则认为未确定的发起方是人，并且Web网站继续处理进一步请求和所有后续的请求。然而，如果询问没有回答正确，则认为未确定的发起方是自动检索程序，在这种情况下该发起方的所有请求都不被响应。

在终端用户不需要注册并且Web网站管理员不必管理授权用户访问列表的情况下，本发明可以防止自动检索程序调查Web网站的内容。

附图说明

图1是本发明的示范欢迎页面。

图2示出对应的HTML代码。

图3示出本发明的方法的步骤。

图4示出了在计时器启动的情况下，当针对带有记录的IP地址的请求拒绝对基于本发明的网页的访问时的方法步骤。

图5带有询问的示范欢迎页面的其他例子。

具体实施方式

图1图解了本发明防止自动检索程序访问Web网站除欢迎页面之外的内容的方法。如图所示，人们在访问Web网站时会看到示范的欢迎页面，例如，在下列URL[100](统一资源定位符)http：//www.anysite.com/welcome.html’上的欢迎页面。可以通过任何网络浏览器访问Web网站，例如，可以使用Netscape公司，501E.Middlefield Road，Mountain View，CA94043，USA的netscape浏览器[110]。然后，根据这个禁止自动检索程序的第一种方法，欢迎页面提出一个虚构询问，这个询问对于访问者很简单但是自动检索程序一定会出错。对于各种不同的可能性，图1图解了基于本发明的典型询问。在这个例子里，欢迎页面还显示包含几个几何图形的图像[120]，这些几何图形可以用网页访问者假定能够阅读的语言的单词或语句明确表达出来。那么，在这里与图像相关的包括正方形，圆形，叉形和三角形，所有对Web网站的访问都会被提示[130]点击某图形，例如，点击叉形。希望继续访问的人自然就会照做，而自动检索程序则什么也不做或做错，仅仅是因为它不知道什么是叉形。因此，根据人的抽象思维能力高或很高而自动检索程序则完全不具备抽象思维能力，可以轻易地区分人和自动检索程序。这就可以达到本发明的目的，即既不需要强迫访问Web网站的人注册和登录，也不需要Web网站管理员管理合法用户列表，就可以禁止自动检索程序访问Web网站中除欢迎页面之外的其他内容。

为了使Web网站更能够抵抗针对给定询问或可预知的询问组而定制的自动检索程序的浏览，提示可以设成随机的，使得在每次有人进入时，询问都有所不同。例如，叉形可以移到图中的不同位置，使得当点击它时，返回的坐标就会不一样。或者，提示的要求可以改变一下，例如，要求点击三角形。

图2示出了这个例子的HTML(超文本标记语言)的源代码[140]，它使用服务器端映射，例如，ismap[142]，包含在使用HTML语言<A..>..</A>结构格式[149]的锚(anchor)标志中。因而，当访问者点击叉形[121]时，浏览器将含有在ismap[142]中的点击的X和Y的坐标值的请求返回服务器URL(/cgi-bin/challenge.exe)[141]，使得服务器可以检查点击的坐标是否与叉形的位置匹配。锚标志也带有标识字段，即id＝XD34F739[143]，当如上所述询问根据不同用户而改变时，该字段使包含点击坐标的答案与当前的询问联系起来。

图3描述了当用询问应答对Web网站发起初始请求的发起方时基于本发明的方法的步骤。在收到这个初始请求[300]后，Web网站服务器应答[310]。通过与发起方建立TCP/IP连接来完成(Web网站使用的国际互联网TCP/IP系列协议中的可靠传输协议)。应答具有包含询问的网页的形式，例如，图1中的那种形式。收到服务器的应答后，发起方继续与Web网站进行新的会话[320]。收到新的会话后，Web网站服务器检查询问是否被正确回答[330]。如果回答正确[340]，则认为发起方是人并且让其通过。然而，如果Web网站发现询问没有被正确回答，则发起方一定是自动检索程序[350]。随后停止现有的和可能的更进一步的处理[351]，包括断开TCP连接或重定向至另一Web网站[352]。并且可以记住IP源地址[361]，并且计时器开始计时，使得从该IP源地址发出的访问请求会被暂时禁止，如图4所示。

图4示出了认为发起方为自动检索程序而将其IP地址记住的情况。可以暂时决定立即断开或重定向以这个特定IP地址发来的所有请求，和认为来自自动检索程序的所有请求(虽然这并不总是正确的，因为自动检索程序可能隐藏在对其所有转发的IP源地址进行网络地址转换的代理服务器或防火墙的后面)。由于如图3提到的那样，请求的IP源地址被记录下来而且启动了计时器，每次收到新的请求后[410]，首先检查是否是同样的IP源地址[420]。如果不是，则正常继续下去[450]。如果是的话，就检查计时器[430]，如果超时了，清除记录的IP地址[440]，并按正常程序处理请求[450]。然而，如果没有超时，则在继续处理新接收的请求[410]之前，断开或重定向TCP连接[460]。

图5是人们可以很容易回答出来的询问的另一些例子。

图5-a具有测验[510]的形式，可以和图中所示[500]的一样简单，也可以根据需要具有复杂形式，用来防范精心制作的自动检索程序，或者可选地，用以适应具有同类技能的特定终端用户群。

图5-b是另一种以更抽象方式组合图像[520]和文本[530]的可选例子，其中暗示出答案，因此更适合于区分人与自动检索程序。然而值得一提的是，这种询问依赖于文化背景，并可以区分不同社会基础上的或不同宗教信仰的人。

Claims (11)

1.防止自动检索程序浏览Web网站中除欢迎页面之外的内容的方法[110]，所述Web网站中的所述方法包括步骤：

在从未确定的发起方接收到初始请求时，用所述带有询问的欢迎页面[310]应答所述的初始请求[300]；

在从所述未确定的发起方接收到进一步请求时，检查[330]所述询问是否被正确回答，

如果正确回答，则认为所述未确定的发起方是人[340]，继续处理所述的进一步请求和可能的后续请求[341]；

如果没有正确回答，认为所述未确定的发起方是自动检索程序[350]，停止处理所述进一步请求和可能的后续请求[351]。

2.根据权利要求1的方法，还包含步骤：

记录所述未确定的发起方的IP源地址[361]；

启动计时器[362]。

3.根据前面任何一个权利要求的方法，其中停止处理所述进一步请求的所述步骤还包括以下步骤：

断开或重定向与所述的未确定的发起方建立的TCP连接。

4.根据前面任何一个权利要求的方法，每当接收到新的请求时[410]，还包括以下步骤：

检查[420]所述新请求的IP源地址是否和记录的IP源地址匹配，

如果匹配，则检查[430]所述的计时器是否超时，

如果超时，清除[440]所述记录的IP地址；并正常处理[450]所述新请求；

如果没有超时，断开或重定向所述TCP连接[460]；

如果不匹配，则正常处理[450]所述新请求；

对每个新请求[410]继续执行上述步骤。

5.根据前面任何一个权利要求的方法，其中所述询问包括提示所述未确定的发起方执行特定操作[130]。

6.根据前面任何一个权利要求的方法，其中在后续每次访问所述Web网站时，提示都不相同。

7.根据前面任何一个权利要求的方法，其中所述操作包括必须在多外选项[120]中做出选择。

8.根据前面任何一个权利要求的方法，其中所述操作要求对测验[510]做出应答。

9.根据前面任何一个权利要求的方法，其中所述操作得到暗示[530]。

10.一种系统，位于实现询问式访问的特定Web网站中，该系统包括适于执行根据前面任何一个权利要求的方法的装置。

11.一种计算机类设备可读介质，包括用于执行根据权利要求1到9中任何一个的方法的指令。

Images