CN102917053B - 一种用于判断网页网址重写的方法、设备和系统 - Google Patents

Abstract

本发明公开了一种用于判断网页网址重写的方法、网络检测设备、以及网络检测系统，其中所述方法包括以下步骤：获取目标网页的内容以及对应的状态代码；获取与所述目标网页的网址相对应的错误网址所指向的错误网页的内容以及对应的状态代码；以及根据所述错误网页的内容与所述目标网页的内容之间的区别、或者所述错误网页对应的状态代码、或者所述错误网页对应的状态代码与所述目标网页对应的状态代码之间的区别，判断所述目标网页是否为网址重写的网页。根据本发明的实施例，可以利用目标网页以及与其相对应的错误网页的内容和状态代码，来准确有效地判断目标网页是否为网址重写的网页，能够适用于各种形式的网址重写的网页。

Description

一种用于判断网页网址重写的方法、设备和系统

技术领域

本发明涉及计算机安全，尤其涉及一种用于判断网页网址重写的方法、设备和系统。

背景技术

随着互联网技术的快速发展，提供各种网络服务的网站大量出现，这些网站可能因为诸如操作系统漏洞、应用程序漏洞、权限配置之类的问题，而存在各种安全隐患。因此，需要对这些网站进行安全检测。

一种网站安全检测的方式是从网站外部去抓取网站的所有网页，分析这些网页的内容是否存在安全隐患。在网站的安全检测过程中，需要判断所抓取的页面是真实的页面、还是网址重写的页面。

网址重写是指在网络服务器上，为了让网站更容易被访问并且更容易被搜索引擎收录，将网址重写成网站可以处理的另一个网址的过程。例如，如果原先网址是“www.a.com/UserProfile.aspx?ID=1”，则可以将其重写为“www.a.com/UserProfile/1.aspx”这样的网址。

如何准确判断页面是否是网址重写页面是一大技术难点，现有的网站安全检测方法不能判断出页面是否为网址重写页面。而且，网址重写的方法随着网站数量的增加，也在急剧增加，每个不同的网站都有可能使用不同的网址重写规则，也就增加了判断网址重写页面的规则的数量。因此，如何准确识别页面是正常页面还是网址重写页面存在很大的难度。

发明内容

鉴于上述问题，提出了本发明，以便提供一种克服上述问题或者至少部分地解决上述问题的用于判断网页网址重写的方法以及相应的设备和系统。

依据本发明的一个方面，提供了一种用于判断网页网址重写的方法，包括以下步骤：获取目标网页的内容以及对应的状态代码；获取与所述目标网页的网址相对应的错误网址所指向的错误网页的内容以及对应的状态代码；以及根据所述错误网页的内容与所述目标网页的内容之间的区别、或者所述错误网页对应的状态代码、或者所述错误网页对应的状态代码与所述目标网页对应的状态代码之间的区别，判断所述目标网页是否为网址重写的网页。

可选地，在根据本发明的实施例的用于判断网页网址重写的方法中，所述获取目标网页的内容以及对应的状态代码的步骤包括：访问所述目标网页一次或多次，并且保存每次访问的内容以及对应的状态代码。

可选地，在根据本发明的实施例的用于判断网页网址重写的方法中，所述获取与所述目标网页的网址相对应的错误网址所指向的错误网页的内容以及对应的状态代码的步骤包括：访问所述错误网页一次或多次，并且保存每次访问的内容以及对应的状态代码。

可选地，在根据本发明的实施例的用于判断网页网址重写的方法中，所述根据所述错误网页的内容与所述目标网页的内容之间的区别判断所述目标网页是否为网址重写的网页的步骤包括：比较所述错误网页的内容与所述目标网页的内容；以及在所述错误网页的内容与所述目标网页的内容相同的情况下，将所述目标网页判断为网址重写的网页；或者在所述错误网页的内容与所述目标网页的内容不同的情况下，从所述错误网页与所述目标网页相比特有的内容中获取错误关键字，并且根据所述错误关键字来判断所述目标网页是否为网址重写的网页。

可选地，在根据本发明的实施例的用于判断网页网址重写的方法中，所述根据所述错误关键字来判断所述目标网页是否为网址重写的网页的步骤包括：在所述错误关键字的长度小于预先定义的长度的情况下，将所述目标网页判断为网址重写的网页。

可选地，在根据本发明的实施例的用于判断网页网址重写的方法中，所述从所述错误网页与所述目标网页相比特有的内容中获取错误关键字的步骤包括：从保存所述错误网页一次或多次得到的内容与保存所述目标网页一次或多次得到的内容中，分别提取每次保存的错误网页与相应的目标网页相比特有的内容；从所述特有的内容的交集中提取潜在错误关键字；以及获取出现次数最多的一个或多个潜在错误关键字作为错误关键字。

可选地，在根据本发明的实施例的用于判断网页网址重写的方法中，所述根据所述错误网页对应的状态代码判断所述目标网页是否为网址重写的网页的步骤包括：在所述错误网页对应的状态代码指示该错误网页的网址不可访问的情况下，将所述目标网页判断为非网址重写的网页。

可选地，所述与所述目标网页的网址相对应的错误网址是与所述目标网页的网址相对应的、实际不存在的网址。

可选地，所述网址是统一资源定位符。

依据本发明的另一方面，提供了一种用于判断网页网址重写的网络检测设备，包括网络接口，适于获取目标网页的内容以及对应的状态代码、以及与所述目标网页的网址相对应的错误网址所指向的错误网页的内容以及对应的状态代码。

所述网络检测设备还包括网址重写判断器，适于根据所述错误网页的内容与所述目标网页的内容之间的区别、或者所述错误网页对应的状态代码、或者所述错误网页对应的状态代码与所述目标网页对应的状态代码之间的区别，判断所述目标网页是否为网址重写的网页。

可选地，根据本发明的实施例的所述网络检测设备还包括网址构造器，适于构造与所述目标网页的网址相对应的、实际不存在的所述错误网址，并将所述目标网页的网址和错误网址发送给所述网络接口。

可选地，根据本发明的实施例的所述网络检测设备还包括网页存储器，适于存储由所述网络接口获取的目标网页的内容及其对应的状态代码、以及所述错误网页的内容以及对应的状态代码，并提供给所述网址重写判断器。

可选地，在根据本发明的实施例的所述网络检测设备中，所述网络接口访问所述目标网页一次或多次，并且将每次访问的目标网页的内容以及对应的状态代码保存到所述网页存储器中。

可选地，在根据本发明的实施例的所述网络检测设备中，所述网络接口访问所述错误网页一次或多次，并且将每次访问的错误网页的内容以及对应的状态代码保存到所述网页存储器中。

可选地，在根据本发明的实施例的所述网络检测设备中，所述网址重写判断器包括：网页内容比较器，适于比较所述错误网页的内容与所述目标网页的内容；错误关键字获取器，适于在所述错误网页的内容与所述目标网页的内容不同的情况下，从所述错误网页与所述目标网页相比特有的内容中获取错误关键字；以及网址重写子判断器，适于在所述错误网页的内容与所述目标网页的内容相同的情况下，将所述目标网页判断为网址重写的网页，并且在所述错误网页的内容与所述目标网页的内容不同的情况下，根据所述错误关键字来判断所述目标网页是否为网址重写的网页。

可选地，在根据本发明的实施例的所述网络检测设备中，在所述错误关键字的长度小于预先定义的长度的情况下，所述网址重写子判断器将所述目标网页判断为网址重写的网页。

可选地，在根据本发明的实施例的所述网络检测设备中，在所述错误网页的内容与所述目标网页的内容不同的情况下，所述网址重写子判断器：从保存所述错误网页一次或多次得到的内容与保存所述目标网页一次或多次得到的内容中，分别提取每次保存的错误网页与相应的目标网页相比特有的内容；从所述特有的内容的交集中提取潜在错误关键字；并且获取出现次数最多的一个或多个潜在错误关键字作为错误关键字。

可选地，在根据本发明的实施例的所述网络检测设备中，在所述错误网页对应的状态代码指示该错误网页的网址不可访问的情况下，所述网址重写判断器将所述目标网页判断为非网址重写的网页。

可选地，所述与所述目标网页的网址相对应的错误网址是与所述目标网页的网址相对应的、实际不存在的网址。

可选地，所述网址是统一资源定位符。

依据本发明的又一方面，提供了一种用于判断网页网址重写的网络检测系统，包括根据本发明的实施例的上述网络检测设备、以及一个或者多个目标服务器，适于响应于所述网络检测设备提供的所述目标网页的网址和所述错误网址，向所述网络检测设备提供所述目标网页的内容以及对应的状态代码、以及所述错误网页的内容以及对应的状态代码。

本发明提供了用于判断网页网址重写的方法以及相应的设备和系统。根据本发明的实施例，可以利用目标网页以及与其相对应的错误网页的内容和状态代码，来准确有效地判断目标网页是否为网址重写的网页，能够适用于各种形式的网址重写的网页。在网页为网址重写的网页的情况下，在网站的安全检测过程中，就不再需要对该网页相关目录下的链接进行进一步的分析和判断，可以很大程度地节省安全检测所需要的扫描时间。而在网页为非网址重写的网页时，可以准确提取错误关键字以进行漏洞判断，从而减少漏洞误报。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是根据本发明的实施例的用于判断网页网址重写的方法的流程图；

图2是根据本发明的实施例的根据错误网页的内容与目标网页的内容之间的区别判断目标网页是否为网址重写的网页的步骤的流程图；

图3是根据本发明的实施例的用于判断网页网址重写的网络检测设备的框图；

图4是根据本发明的实施例的网址重写判断器的框图；以及

图5是根据本发明的实施例的用于判断网页网址重写的网络检测系统的框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1示意性地图示了根据本发明的实施例的用于判断网页网址重写的方法100的流程图。如图1所示，在根据本发明的实施例的用于判断网页网址重写的方法100中，一开始，执行步骤S101：获取目标网页的内容以及对应的状态代码；接着，执行步骤S103：获取与目标网页的网址相对应的错误网址所指向的错误网页的内容以及对应的状态代码；最后，执行步骤S105：根据错误网页的内容与目标网页的内容之间的区别、或者错误网页对应的状态代码、或者错误网页对应的状态代码与目标网页对应的状态代码之间的区别，判断目标网页是否为网址重写的网页。

根据本发明的实施例，网址例如可以是URL（UniformResourceLocator，统一资源定位符），下文中以URL为例进行描述，但网址并不仅限于URL，而是可以包括任何标识网站地址的方式。

在步骤S101中，获取目标网页的内容以及对应的状态代码。可选地，可以访问目标网页一次或多次，并且保存每次访问的内容以及对应的状态代码。例如，在访问目标网页多次的情况下，可以将多次访问的内容保存为html_ok1、html_ok2、…、html_okn，将这些次访问结果的状态代码保存为http_status_ok1、http_status_ok2、…、http_status_okn。

接下来，在步骤S103中，获取与目标网页的网址相对应的错误网址所指向的错误网页的内容以及对应的状态代码。根据本发明的实施例，与目标网页的网址相对应的错误网址是与目标网页的网址相对应的、实际不存在的网址，例如，如果目标网页的网址是/site/content/1/，则错误网址则可以是/site/content/1/neverexistpage。

可选地，同样，可以访问错误网页一次或多次，并且保存每次访问的内容以及对应的状态代码。例如，在访问错误网页多次的情况下，可以将多次访问的内容保存为html_err1、html_err2、…、html_errn，将这些次访问结果的状态代码保存为http_status_err1、http_status_err2、…、http_status_errn。

随后，在步骤S105中，可以根据以下三者之一来判断目标网页是否为网址重写的网页：（1）错误网页对应的状态代码、或者（2）错误网页对应的状态代码与目标网页对应的状态代码之间的区别、或者（3）错误网页的内容与目标网页的内容之间的区别。下面分别针对以上三种情况进行描述。

第一，可以根据错误网页对应的状态代码来判断目标网页是否为网址重写的网页。例如，根据本发明的实施例，如果访问错误URL的访问结果的状态代码指示该错误URL不可访问（例如状态代码为404：“服务器找不到请求的网页”），则可以判断出目标网页不是网址重写的网页，即非网址重写的网页。

第二，可以根据错误网页对应的状态代码与目标网页对应的状态代码之间的区别来判断目标网页是否为网址重写的网页。例如，根据本发明的实施例，如果访问错误URL的访问结果的状态代码为200（“服务器已成功处理了请求”），而访问对应的正常URL的访问结果的状态代码为302（“服务器目前从不同位置的网页响应请求，但请求者应继续使用原有位置来进行以后的请求”），则可以判断目标网页是网址重写的网页。

第三，可以根据错误网页的内容与目标网页的内容之间的区别来判断目标网页是否为网址重写的网页。图2示意性地图示了根据本发明的实施例的根据错误网页的内容与目标网页的内容之间的区别判断目标网页是否为网址重写的网页的步骤的流程图，如图2所示，首先执行步骤S105a1：比较错误网页的内容与目标网页的内容。之后，在错误网页的内容与目标网页的内容相同的情况下，执行步骤S105a2：将目标网页判断为网址重写的网页。而在错误网页的内容与目标网页的内容不同的情况下，则执行步骤S105a2’：从错误网页与目标网页相比特有的内容中获取错误关键字，并且根据错误关键字来判断目标网页是否为网址重写的网页。

其中，可以通过如下方式从错误网页与目标网页相比特有的内容中获取错误关键字。

首先，可以从保存错误网页一次或多次得到的内容与保存目标网页一次或多次得到的内容中，分别提取每次保存的错误网页与相应的目标网页相比特有的内容。

仍以访问目标网页多次并且访问错误网页多次为例进行描述，可以分别比较上述的html_err1<==>html_ok1到html_errn<==>html_okn，并且将错误网页所特有的内容分别保存为html_err_special1、…、html_err_specialn。具体而言，可以采用本领域常用的一种开源（opensource）项目“dtl::Diff”（请参见http://code.google.com/p/dtl-cpp/），利用该项目，可以提取出每个错误网页特有的一段或者多段内容（字符串），并且每段特有的内容之间用分割标记分隔开。

之后，可以从特有的内容的交集中提取潜在错误关键字，例如，可以从上述的html_err_special1、…、html_err_specialn中提取交集，保存为html_err_join。具体而言，同样可以采用开源项目“dtl::Diff”来从html_err_special1、…、html_err_specialn中提取交集，并保存为html_err_join，这里是提取内容一致的部分，每段相同的内容（字符串）之间同样有分割标记分割开。

然后，可以从交集html_err_join中提取错误关键字，也就是从一段一段的文本中提取关键字（不区分语言），提取出的结构是错误关键字列表。举例而言，所提取出来的错误关键字包括但不限于：“网页未找到”（或者“pagenotfound”）、“页面不存在”（或者“pagedoesnotexist”）、“404错误”（或者“404error”）、“找不到文件”（或者“filenotfound”）等等。

之后，可选地，还可以对所提取出来的错误关键字进行排序和去重等处理，以保证错误关键字列表中每个错误关键字的唯一性，排序例如可以采用错误关键字出现的次数来作为排序条件。并且，可选地，作为复查，从错误关键字列表中排除正确页面中存在的关键字，以确保错误关键字的正确性。然后，可选地，可以从错误关键字列表中提取排名第一（或者根据需要，提取排名前n）的错误关键字作为有效错误关键字。即，获取出现次数最多的一个或多个潜在错误关键字作为最终的错误关键字。

如果依据上述步骤，没有获取到错误关键字，则可以判断目标网页为网址重写的网页。

在获取了错误关键字之后，可以根据其来判断目标网页是否为网址重写的网页。可选地，在错误关键字的长度小于预先定义的长度的情况下，将目标网页判断为网址重写的网页。预先定义的长度可以根据实际需要来进行选择，例如2或3个字符，即，在错误关键字的长度小于2或3个字符的情况下，将目标网页判断为网址重写的网页。

在不满足上述条件的情况下，可以将目标网页判断为非网址重写的网页，并且保存错误关键字。

随后，根据本发明的网站安全检测系统可以利用上述错误关键字来确定该网站存在的问题，错误关键字是在网站处理错误请求时产生的页面中的特定内容。在对网站进行安全检测时，会构造一些恶意攻击链接，如果网站同样对其进行了处理，并返回了包括特定关键字的内容，则说明网站已经注意到这种恶意攻击并且进行了相应的处理，因此可以认为该网站对这种恶意攻击进行了防范，就可以不再进行进一步的检测，从而节省了检测时间。

本发明提供了一种用于判断网页网址重写的方法。根据本发明的实施例，可以利用目标网页以及与其相对应的错误网页的内容和状态代码，来准确有效地判断目标网页是否为网址重写的网页，能够适用于各种形式的网址重写的网页。在网页为网址重写的网页的情况下，在网站的安全检测过程中，就不再需要对该网页相关目录下的链接进行进一步的分析和判断，可以很大程度地节省安全检测所需要的扫描时间。而在网页为非网址重写的网页时，可以准确提取错误关键字以进行漏洞判断，从而减少漏洞误报。

与上述的方法100相对应，本发明还提供了一种用于判断网页网址重写的网络检测设备200。图3示意性地图示了根据本发明的实施例的用于判断网页网址重写的网络检测设备200的框图，参见图3，网络检测设备200主要包括网络接口201以及网址重写判断器203，并且可选地还可以包括网址构造器205以及网页存储器207。

根据本发明的实施例，网络接口201适于利用目标网页的网址和与目标网页的网址相对应的错误网址向例如一个或者多个目标服务器请求网页，并且从一个或者多个目标服务器获取目标网页的内容以及对应的状态代码、以及错误网址所指向的错误网页的内容以及对应的状态代码。网络接口201可以用于执行上述方法100中的步骤S101和步骤S103。网址重写判断器203适于根据错误网页的内容与目标网页的内容之间的区别、或者错误网页对应的状态代码、或者错误网页对应的状态代码与目标网页对应的状态代码之间的区别，判断目标网页是否为网址重写的网页，网址重写判断器203可以用于执行上述方法100中的步骤S105。

根据本发明的实施例，网络检测设备200还可以包括网址构造器205，其适于构造与目标网页的网址相对应的、实际不存在的错误网址，并将目标网页的网址和错误网址发送给网络接口201。可选地，网络检测设备200还可以包括网页存储器207，其适于存储由网络接口201获取的目标网页的内容及其对应的状态代码、以及错误网页的内容以及对应的状态代码，并提供给网址重写判断器203。

根据本发明的实施例，网络接口201可以访问目标网页一次或多次，并且将每次访问的目标网页的内容以及对应的状态代码保存到网页存储器207中。类似地，网络接口201也可以访问错误网页一次或多次，并且将每次访问的错误网页的内容以及对应的状态代码保存到网页存储器207中。

在网址重写判断器203从网页存储器207获取到目标网页的内容及其对应的状态代码、以及错误网页的内容以及对应的状态代码之后，就可以根据错误网页的内容与目标网页的内容之间的区别、或者错误网页对应的状态代码、或者错误网页对应的状态代码与目标网页对应的状态代码之间的区别，判断目标网页是否为网址重写的网页。

其中，在错误网页对应的状态代码指示该错误网页的网址不可访问（例如状态代码为404：“服务器找不到请求的网页”）的情况下，网址重写判断器203将目标网页判断为非网址重写的网页。

另外，根据本发明的实施例，例如，如果访问错误URL的访问结果的状态代码为200（“服务器已成功处理了请求”），而访问对应的正常URL的访问结果的状态代码为302（“服务器目前从不同位置的网页响应请求，但请求者应继续使用原有位置来进行以后的请求”），则网址重写判断器203可以判断目标网页是网址重写的网页。

图4示意性地图示了根据本发明的实施例的网址重写判断器203的框图。根据本发明的实施例，如图4所示，网址重写判断器203可以包括：网页内容比较器203a，适于比较错误网页的内容与目标网页的内容，可以用于执行上述方法100中的步骤S105a1；错误关键字获取器203b，适于在错误网页的内容与目标网页的内容不同的情况下，从错误网页与目标网页相比特有的内容中获取错误关键字；以及网址重写子判断器203c，适于在错误网页的内容与目标网页的内容相同的情况下，将目标网页判断为网址重写的网页，并且在错误网页的内容与目标网页的内容不同的情况下，根据错误关键字来判断目标网页是否为网址重写的网页。错误关键字获取器203b和网址重写子判断器203c可以用于执行上述方法100中的步骤S105a2以及步骤S105a2’。

根据本发明的实施例，在错误网页的内容与目标网页的内容不同的情况下，网址重写子判断器203c从保存错误网页一次或多次得到的内容与保存目标网页一次或多次得到的内容中，分别提取每次保存的错误网页与相应的目标网页相比特有的内容，从特有的内容的交集中提取潜在错误关键字，并且获取出现次数最多的一个或多个潜在错误关键字作为错误关键字。

如果依据上述步骤，没有获取到错误关键字，则网址重写判断器203可以判断目标网页为网址重写的网页。

在获取了错误关键字之后，网址重写判断器203可以根据其来判断目标网页是否为网址重写的网页。可选地，在错误关键字的长度小于预先定义的长度的情况下，网址重写判断器203将目标网页判断为网址重写的网页。预先定义的长度可以根据实际需要来进行选择，例如2或3个字符，即，在错误关键字的长度小于2或3个字符的情况下，网址重写判断器203将目标网页判断为网址重写的网页。在不满足上述条件的情况下，网址重写判断器203可以将目标网页判断为非网址重写的网页，并且保存错误关键字。

由于上述各设备（装置）实施例与前述各方法实施例相对应，因此不再对各装置实施例进行详细描述。

根据本发明的又一方面，还提供了一种用于判断网页网址重写的网络检测系统1000。图5示意性地图示了根据本发明的实施例的用于判断网页网址重写的网络检测系统1000的框图，参见图5，网络监测系统1000可以包括上述的网络检测设备200、以及一个或者多个目标服务器300-1，…，300-n，这一个或者多个目标服务器可以响应于网络检测设备200通过其中的网络接口201提供的目标网页的网址和错误网址，来向网络检测设备200中的网络接口201提供目标网页的内容以及对应的状态代码、以及错误网页的内容以及对应的状态代码，以供网络检测设备200中的网址重写判断器203根据错误网页的内容与目标网页的内容之间的区别、或者错误网页对应的状态代码、或者错误网页对应的状态代码与目标网页对应的状态代码之间的区别，判断目标网页是否为网址重写的网页。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的装置中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个装置中。可以把实施例中的若干模块组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者模块中的至少一些是相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个装置实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器（DSP）来实现根据本发明实施例的装置中的一些或者全部模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序（例如，计算机程序和计算机程序产品）。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (17)

1.一种用于判断网页网址重写的方法(100)，包括以下步骤：

获取目标网页的内容以及对应的状态代码(S101)；

获取与所述目标网页的网址相对应的错误网址所指向的错误网页的内容以及对应的状态代码(S103)；以及

根据所述错误网页的内容与所述目标网页的内容之间的区别、或者所述错误网页对应的状态代码、或者所述错误网页对应的状态代码与所述目标网页对应的状态代码之间的区别，判断所述目标网页是否为网址重写的网页(S105)；

其中所述根据所述错误网页的内容与所述目标网页的内容之间的区别判断所述目标网页是否为网址重写的网页的步骤包括：

比较所述错误网页的内容与所述目标网页的内容(S105a1)；以及

在所述错误网页的内容与所述目标网页的内容相同的情况下，将所述目标网页判断为网址重写的网页(S105a2)；或者

在所述错误网页的内容与所述目标网页的内容不同的情况下，从所述错误网页与所述目标网页相比特有的内容中获取错误关键字，并且根据所述错误关键字来判断所述目标网页是否为网址重写的网页(S105a2’)；并且

其中所述根据所述错误网页对应的状态代码判断所述目标网页是否为网址重写的网页的步骤包括：在所述错误网页对应的状态代码指示该错误网页的网址不可访问的情况下，将所述目标网页判断为非网址重写的网页。

2.如权利要求1所述的方法，其中所述获取目标网页的内容以及对应的状态代码(S101)的步骤包括：访问所述目标网页一次或多次，并且保存每次访问的内容以及对应的状态代码。

3.如权利要求1所述的方法，其中所述获取与所述目标网页的网址相对应的错误网址所指向的错误网页的内容以及对应的状态代码(S103)的步骤包括：访问所述错误网页一次或多次，并且保存每次访问的内容以及对应的状态代码。

4.如权利要求1所述的方法，其中所述根据所述错误关键字来判断所述目标网页是否为网址重写的网页的步骤包括：在所述错误关键字的长度小于预先定义的长度的情况下，将所述目标网页判断为网址重写的网页。

5.如权利要求1所述的方法，其中所述从所述错误网页与所述目标网页相比特有的内容中获取错误关键字的步骤包括：

从保存所述错误网页一次或多次得到的内容与保存所述目标网页一次或多次得到的内容中，分别提取每次保存的错误网页与相应的目标网页相比特有的内容；

从所述特有的内容的交集中提取潜在错误关键字；以及

获取出现次数最多的一个或多个潜在错误关键字作为错误关键字。

6.如权利要求1至5中的任一项所述的方法，其中所述与所述目标网页的网址相对应的错误网址是与所述目标网页的网址相对应的、实际不存在的网址。

7.如权利要求1至5中的任一项所述的方法，其中所述网址是统一资源定位符。

8.一种用于判断网页网址重写的网络检测设备(200)，包括：

网络接口(201)，适于获取目标网页的内容以及对应的状态代码、以及与所述目标网页的网址相对应的错误网址所指向的错误网页的内容以及对应的状态代码；以及

网址重写判断器(203)，适于根据所述错误网页的内容与所述目标网页的内容之间的区别、或者所述错误网页对应的状态代码、或者所述错误网页对应的状态代码与所述目标网页对应的状态代码之间的区别，判断所述目标网页是否为网址重写的网页；

其中所述网址重写判断器(203)包括：

网页内容比较器(203a)，适于比较所述错误网页的内容与所述目标网页的内容；

错误关键字获取器(203b)，适于在所述错误网页的内容与所述目标网页的内容不同的情况下，从所述错误网页与所述目标网页相比特有的内容中获取错误关键字；以及

网址重写子判断器(203c)，适于在所述错误网页的内容与所述目标网页的内容相同的情况下，将所述目标网页判断为网址重写的网页，并且在所述错误网页的内容与所述目标网页的内容不同的情况下，根据所述错误关键字来判断所述目标网页是否为网址重写的网页；并且

其中在所述错误网页对应的状态代码指示该错误网页的网址不可访问的情况下，所述网址重写判断器(203)将所述目标网页判断为非网址重写的网页。

9.如权利要求8所述的网络检测设备(200)，还包括网址构造器(205)，适于构造与所述目标网页的网址相对应的、实际不存在的所述错误网址，并将所述目标网页的网址和错误网址发送给所述网络接口(201)。

10.如权利要求8所述的网络检测设备(200)，还包括网页存储器(207)，适于存储由所述网络接口(201)获取的目标网页的内容及其对应的状态代码、以及所述错误网页的内容以及对应的状态代码，并提供给所述网址重写判断器(203)。

11.如权利要求10所述的网络检测设备(200)，其中所述网络接口(201)访问所述目标网页一次或多次，并且将每次访问的目标网页的内容以及对应的状态代码保存到所述网页存储器(207)中。

12.如权利要求10-11中的任一项所述的网络检测设备(200)，其中所述网络接口(201)访问所述错误网页一次或多次，并且将每次访问的错误网页的内容以及对应的状态代码保存到所述网页存储器(207)中。

13.如权利要求8所述的网络检测设备(200)，其中在所述错误关键字的长度小于预先定义的长度的情况下，所述网址重写子判断器(203c)将所述目标网页判断为网址重写的网页。

14.如权利要求8或13所述的网络检测设备(200)，其中在所述错误网页的内容与所述目标网页的内容不同的情况下，所述网址重写子判断器(203c)：

从保存所述错误网页一次或多次得到的内容与保存所述目标网页一次或多次得到的内容中，分别提取每次保存的错误网页与相应的目标网页相比特有的内容；

从所述特有的内容的交集中提取潜在错误关键字；并且

获取出现次数最多的一个或多个潜在错误关键字作为错误关键字。

15.如权利要求8至10中的任一项所述的网络检测设备(200)，其中所述与所述目标网页的网址相对应的错误网址是与所述目标网页的网址相对应的、实际不存在的网址。

16.如权利要求8至10中的任一项所述的网络检测设备(200)，其中所述网址是统一资源定位符。

17.一种用于判断网页网址重写的网络检测系统(1000)，包括：

如权利要求8-16所述的网络检测设备(200)；以及

一个或者多个目标服务器(300-1，…，300-n)，适于响应于所述网络检测设备(200)提供的所述目标网页的网址和所述错误网址，向所述网络检测设备(200)提供所述目标网页的内容以及对应的状态代码、以及所述错误网页的内容以及对应的状态代码。