CN103870590B - 具有报错特征的网页识别方法和装置 - Google Patents

Abstract

本发明公开了一种具有报错特征的网页识别方法和装置，其中，方法包括：将多个网页进行聚类，得到一个或多个网页集合；判断网页集合中各网页内容是否都包含预设的否定词，将网页集合中的各网页内容都包含否定词的网页集合作为待验证报错网页集合；提取待验证报错网页集合的一个或多个属性特征，根据属性特征验证待验证报错网页集合得到报错网页集合，并提取报错网页集合的相关信息；根据报错网页集合识别报错网页。根据该方案，无需结合每个页面和其特定的报错句子，效率更高，并且，通过实时地自动挖掘生成报错网页集合，并且对网页报错词句的变化不敏感，降低了识别的滞后性。

Description

具有报错特征的网页识别方法和装置

技术领域

本发明涉及互联网技术领域，具体涉及一种具有报错特征的网页识别方法和装置。

背景技术

互联网中充斥着各种低质量的网页，这类页面中不具备实际内容。搜索引擎在抓取、分析、建库、索引时需要识别并且剔除这些低质量的网页。这些低质量网页不仅占用了搜索引擎的资源、降低引擎效率，而且如果未被及时识别、剔除，还会出现在搜索结果页面中，而用户点击访问后无法获得有效信息，这严重影响了用户体验。

低质量网页种类较多，其中一种是具有报错特征的网页，即具有明显的报错词句的网页。比如打开网页后提示：“网页已删除”、“404 not found”、“页面不存在”等等。

现有技术中对这类具有报错特征的网页的识别方法主要依靠人工识别网站下的报错句子，各站点的报错句子，可能互不相同，采取站点和报错句子结合的方法来挖掘报错网页，一旦站点匹配并且网页中含有已经识别的报错句子则认为这个网页为报错网页。

人工识别报错句子的缺点是覆盖面有限而且不及时。人工识别一般是发现一种报错类型的句子则添加生效一种，主站点下各个子站点页面的报错特征可能不同而且可能随时变化，每个子站点对应的页面都需要采用结合站点和报错句子进行识别，因此，采用这种方式进行大面积的识别报错句子时，人工代价太大，效率很低。并且这种方法具有滞后性，一旦页面改变了报错句子则无法识别，需要人工重新添加新的报错词句。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的具有报错特征的网页识别方法和装置。

根据本发明的一个方面，提供了一种具有报错特征的网页识别方法，包括：将多个网页进行聚类，得到一个或多个网页集合；判断网页集合中各网页内容是否都包含预设的否定词，将网页集合中的各网页内容都包含否定词的网页集合作为待验证报错网页集合；提取待验证报错网页集合的一个或多个属性特征，根据属性特征验证待验证报错网页集合得到报错网页集合，并提取报错网页集合的相关信息；根据报错网页集合识别报错网页。

可选地，所述将所述网页集合中的各网页内容都包含所述否定词的网页集合作为待验证报错网页集合具体为：将所述网页集合中每个网页均包含同一否定词的网页集合作为待验证报错网页集合；

所述方法还包括：将包含所述否定词的句子作为该待验证报错网页集合的报错句子。

可选地，所述对多个网页进行聚类具体为：针对一主站点，根据路径信息对该主站点中的各个链接网页进行聚类；

所述报错网页集合的相关信息包括以下信息中的一项或多项：所述报错网页集合在主站点中的路径信息、主站点信息、报错句子以及其签名信息。

可选地，所述根据路径信息对该主站点中的各个链接网页进行聚类进一步包括：

计算所述主站点中的各个链接网页的路径信息；

对计算得到的路径信息进行去重处理，计算所述去重处理后获得的路径信息的签名；

根据所述路径信息的签名进行聚类，将路径信息的签名相同的链接网页加入同一网页集合中。

可选地，所述待验证报错网页集合的属性特征包括以下特征的一项或多项的组合：

所述待验证报错网页集合中包含的不同网页数量；

所述待验证报错网页集合中全部网页和/或单个网页所包含的句子的总数；

所述待验证报错网页集合中全部网页中包含的不同句子的数量；

所述待验证报错网页集合的报错句子的长度；

同一主站点包含同一报错句子的不同网页集合数量。

可选地，所述根据所述属性特征验证所述待验证报错网页集合得到报错网页集合具体为：选取属性特征符合以下预设策略中一项或多项的待验证报错网页集合作为报错网页集合：

报错句子在待验证报错网页集合中所有的网页中被包含；

待验证报错集合中包含的不同网页数量大于对应预设阈值的网页集合；

待验证报错集合中全部网页和/或单个网页所包含的句子的总数小于对应预设阈值的网页集合；

待验证报错集合中全部网页包含的不同句子的数量小于对应预设阈值的网页集合；

所述报错句子长度小于对应预设阈值的网页集合；

同一主站点包含同一报错句子的不同网页集合数量小于对应预设阈值。

可选地，所述根据所述报错网页集合识别报错网页具体包括：

获取待识别网页对应的主站点、所述待识别网页在所述主站点中的路径信息、以及所述待识别网页中包含预设否定词的句子和该句子的签名；

查询所述待识别网页对应的主站点、所述待识别网页在所述主站点中的路径信息、以及所述待识别网页中包含预设否定词的句子是否与所述主站点中的任一报错网页集合的信息匹配，若匹配，则确定所述待识别网页为报错网页。

根据本发明的另一方面，提供了一种具有报错特征的网页识别装置，包括：聚类模块，用于将多个网页进行聚类，得到一个或多个网页集合；判断模块，用于判断聚类模块得到的一个或多个网页集合中是否都包含预设的否定词，将集合中的各网页内容都包含所述否定词的网页集合作为待验证报错网页集合；报错集合生成模块，用于提取待验证报错网页集合的一个或多个属性特征，根据属性特征验证待验证报错网页集合得到报错网页集合，并提取报错网页集合的相关信息；识别模块，用于根据所述报错网页集合识别报错网页。

可选地，所述判断模块具体用于：判断所述网页集合中各网页内容是否都包含同一预设的否定词，将所述网页集合中每个网页均包含同一否定词的网页集合作为待验证报错网页集合。

可选地，所述聚类模块具体用于：针对一主站点，根据路径信息对该主站点中的各个链接网页进行聚类；

所述报错网页集合的相关信息包括以下信息中的一项或多项：所述报错网页集合在主站点中的路径信息、主站点信息、报错句子以及其签名信息。

可选地，所述聚类模块具体包括：

路径信息计算单元，用于计算所述主站点中的各个链接网页的路径信息；

签名计算单元，用于对计算得到的路径信息进行去重处理，计算所述去重处理后获得的路径信息的签名；

聚类单元，用于根据所述路径信息的签名进行聚类，将路径信息的签名相同的链接网页加入同一网页集合中。

可选地，所述待验证报错网页集合的属性特征包括以下特征的一项或多项的组合：

所述待验证报错网页集合中包含的不同网页数量；

所述待验证报错网页集合中全部网页和/或单个网页所包含的句子的总数；

所述待验证报错网页集合中全部网页中包含的不同句子的数量；

所述待验证报错网页集合的报错句子的长度；

同一主站点包含同一报错句子的不同网页集合数量。

可选地，所述报错集合生成模块具体用于：选取属性特征符合以下预设策略中一项或多项的待验证报错网页集合作为报错网页集合：

报错句子在网页集合中所有的网页中被包含；

待验证报错集合中包含的不同网页数量大于对应预设阈值的网页集合；

待验证报错集合中全部网页和/或单个网页所包含的句子的总数小于对应预设阈值的网页集合；

待验证报错集合中全部网页包含的不同句子的数量小于对应预设阈值的网页集合；

所述报错句子长度小于对应预设阈值的网页集合；

同一主站点包含同一报错句子的不同网页集合数量小于对应预设阈值。

可选地，所述识别模块具体包括：

提取单元，用于提取所述报错网页集合的相关信息；

获取单元，用于获取待识别网页对应的主站点、所述待识别网页在所述主站点中的路径信息、以及所述待识别网页中包含预设否定词的句子；

查询单元，用于查询所述待识别网页对应的主站点、所述待识别网页在所述主站点中的路径信息、以及所述待识别网页中包含预设否定词的句子是否与所述提取单元提取的主站点中的任一条报错网页集合的信息匹配，若匹配，则确定所述待识别网页为报错网页。

根据本发明的具有报错特征的网页识别方法和装置，对大量网页进行聚类分析，形成多个网页集合。通过聚类方法生成的每个网页集合中的网页具有相同的报错特征，包含相同的否定词或报错句子，如果一个网页集合中的每个网页内容都包含否定词，将该集合作为一个待验证的报错网页集合，通过分析该待验证报错网页集合的属性特征，确定真正的报错网页集合，并提取出相关信息。然后，根据报错网页集合及相关信息对任意给定的网页进行识别。根据该方案，以具有相同报错特征的网页集合作为识别的参照，每个报错集合可用于识别多个报错网页，而无需结合每个页面和其特定的报错句子，效率更高，并且，通过实时地自动挖掘生成报错网页集合，并且对网页报错词句的变化不敏感，降低了识别的滞后性。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的具有报错特征的网页识别方法的流程图；

图2示出了根据本发明一个实施例的生成报错集合的方法的流程图；

图3示出了根据本发明一个实施例的利用报错集合对具有报错特征的网页进行识别的方法的流程图；

图4示出了根据本发明一个实施例的具有报错特征的网页识别装置的结构框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1示出了根据本发明一个实施例的具有报错特征的网页识别方法的流程图，如图1所示，该方法包括如下步骤：

步骤S110，将多个网页进行聚类，得到一个或多个网页集合。

该步骤在服务器进行，服务器采用一定的网页聚类方法对抓取、收录的网页，或一定目标范围内的网页进行聚类。该步骤中聚类的目的是将具有相同报错特征的网页加入到同一个集合中，而不同集合内之间的报错特征相异。

可通过多种聚类方法实现该目的，例如，基于域名和文本内容的聚类，将同一主站点域名下文本内容相似的网页形成一个集合，认为集合中的网页具有相同的报错特征；或者根据页面链接和页面标签进行聚类，页面标签可反映页面的标题等描述信息，也能够提供页面的结构信息，因此，可以认为在页面结构中位于相似节点、位置的链接指向同类页面，而同类页面具有相同的报错特征。其他能实现此目的的聚类方法不再一一列举。

步骤S120，判断网页集合中各网页内容是否都包含预设的否定词，将网页集合中的各网页内容都包含否定词的网页集合作为待验证报错网页集合。

具有报错特征的网页一般通过包含否定词的句子提示用户，否定词可以是“已删除”、“页面不存在”、“不可用”、“Not Found”等。

对集合中的每个网页提取页面内容，将页面内容与上述预设的否定词相匹配，如果存在一个网页集合，该集合中的每个网页都能与一个或多个否定词匹配，将该网页集合作为待验证的报错网页集合。

步骤S130，提取待验证报错网页集合的一个或多个属性特征，根据属性特征验证待验证报错网页集合得到报错网页集合，并提取报错网页集合的相关信息。

网页内容丰富多样，上述否定词在网页中可能作为正常的文字内容而并不用于报错提示。该步骤结合网页集合的多个属性特征对待验证的报错网页集合进行判断。作为示例，可以获取集合内的不同网页数量作为属性特征，为该属性特征预设一个阈值，例如，阈值设为20。如果该集合中的网页数量大于20，并且每个网页中都包含预设的否定词，则将该待验证报错集合确认为报错集合。

步骤S140，提取报错网页集合的相关信息并根据报错网页集合的相关信息识别报错网页。

利用得到的报错网页集合进行报错网页的识别，该步骤的具体过程对应于步骤S110，例如，步骤S110中对一主站点根据页面标签对其中的链接进行了聚类，则上述相关信息可以包括该报错网页集合对应的否定词，标签的节点、位置信息，主站点域名等。

则识别过程是：对一给定的待识别网页，获取该网页中的否定词，标签节点信息和主站点域名，查看是否与任意报错集合的相关信息匹配，将匹配的待识别网页识别为报错网页。

根据本发明上述实施例提供的方法，对大量网页进行聚类分析，形成多个网页集合。通过聚类方法生成的每个网页集合中的网页具有相同的报错特征，包含相同的否定词或报错句子，如果一个网页集合中的每个网页内容都包含否定词，将该集合作为一个待验证的报错网页集合，通过分析该待验证报错网页集合的属性特征，确定真正的报错网页集合，并提取出相关信息。然后，根据报错网页集合及相关信息对任意给定的网页进行识别。根据该方案，以具有相同报错特征的网页集合作为识别的参照，每个报错集合可用于识别多个报错网页，而无需结合每个页面和其特定的报错句子，效率更高，并且，报错网页集合的生成过程实时地自动进行，因此对网页报错词句的变化不敏感，降低了识别的滞后性。

图2示出了根据本发明另一个实施例的生成报错网页集合的方法的流程图，如图2所示，该方法以一个主站点为例，示出了对该站点下的网页进行聚类、筛选得到报错网页集合的方法，该方法包括如下步骤：

步骤S210，针对一主站点，根据路径信息对该主站点中的各个链接进行聚类。

路径信息指该主站点下各链接的在页面中的位置信息。一般地，格式良好的页面的样式和布局是有规律的，具有相同或相似路径信息的链接指向同类的页面，或参数不同的同一页面，这些页面具有相同的报错特征。

具体地，该步骤中采用Xpath聚类方法对一主站点下的链接网页进行聚类，Xpath可用于遍历页面中的标签和属性，表示标签和属性在页面中的路径信息。Xpath方法将页面表示为DOM树结构，页面中的每个标签作为DOM树的一个叶节点，采用深度优先的遍历策略，提取DOM树中的每一个叶节点，通过比较其Xpath，将其添加到具有最大相似度的Xpath聚类中，在本发明中，即是遍历主站点源码中包含的全部URL链接，获取每个链接的路径信息，添加到两个Xpath节点相同的聚类中。

下面以一主站点的源码为例，说明Xpath聚类过程，假设页面的主站点源码为：

从上述主站点的源码可以看出，该主站点中具有2个<a>标签，用于定义超链接，其中，链接的目标由分别由标签下的href属性指定。

Xpath聚类方法包括：

(1)计算主站点中的各个链接网页的Xpath值；

在上述主站点下的聚类中，以<html>标签为根节点，<head>、<title>、<body>标签为所述根节点下并列的子节点，2个<a>标签为<body>标签下一级的子节点，则超链接1，超链接2的Xpath路径分别为：html/body/a，html/body/a。

(2)对计算得到的Xpath值进行去重处理，计算去重处理后获得的Xpath值的签名；

上述2个链接的Xpath路径相同，去重后处理为html/body/a。

(3)根据Xpath值的签名进行聚类，将Xpath值的签名相同的链接网页加入同一网页集合中。

通过签名算法计算全部Xpath值的签名，签名与Xpath值唯一对应。

上述的Xpath聚类方法过程与其他的聚类方法相比，不需要复杂分析计算，十分简便。并且，Xpath路径信息直接关联页面的结构，具有相同Xpath路径的链接位于显示页面的同一位置，属于同一类别，这使聚类具有更高的准确性。

步骤S220，判断该站点下的一个网页集合中的每个网页内容是否都包含同一预设的否定词，如果是，执行步骤S230，否则，取下一个网页集合继续执行该步骤。

通过步骤S210，得到主站点下的多个网页集合。依次对多个网页集合匹配预设的否定词。

具有报错特征的网页一般通过包含否定词的句子提示用户，否定词可以是“已删除”、“不存在”、“不可用”、“Not Found”等。

对主站点下的任意网页集合，提取集合中每个网页的页面内容，将页面内容与上述预设的否定词相匹配，如果该集合中的每个网页都能与一个或多个否定词匹配，则该集合可能是一个报错网页的集合，执行步骤S230。否则，对站点中的下一个网页集合继续执行步骤S220。

步骤S230，将该网页集合作为待验证的报错网页集合。

步骤S240，将该集合中包含否定词的句子作为该待验证的报错网页集合的报错句子。

报错句子是含有上述否定词的，并用于访问提示的句子。例如，对应于上述否定词，报错句子可以是“页面已删除，稍后返回”，“您想访问的页面不存在”，“页面暂时不可用”等，不一一列举。

优选地，获取集合中每个网页均包含匹配同一否定词的同一报错句子的网页集合作为待验证的报错网页集合。为便于说明，以下步骤中这对该情况进行描述。对于网页中包含不同报错词，报错句子的情况，处理方式类似。

如同在下文步骤S250中所述的，报错句子的相关信息可作为网页集合的属性特征用于确认报错集合。由于网页内容丰富多变，预设的否定词可能属于页面自身的正常内容，而不用于报错提示，因此，采用报错句子的方式，能进一步提高判断的准确率。进一步地，还可以计算每个报错句子的签名。

步骤S250，提取该待验证报错网页集合的一个或多个属性特征。

待验证报错网页集合的属性特征包括以下特征的一项或多项的组合：待验证报错网页集合中包含的不同网页数量；待验证报错网页集合中全部网页和/或单个网页所包含的句子的总数；待验证报错网页集合中全部网页中包含的不同句子的数量；待验证报错网页集合的报错句子的长度；同一主站点包含同一报错句子的不同网页集合数量。

步骤S260，判断该待验证报错网页集合的一个或多个属性特征是否符合预设的策略；若是，执行步骤S270。

具体地，选取属性特征符合以下预设策略中一项或多项的待验证报错网页集合作为报错网页集合：

报错句子在网页集合中所有的网页中被包含；集合中包含的不同网页数量大于对应预设阈值的网页集合；集合中全部网页和/或单个网页所包含的句子的总数小于对应预设阈值的网页集合；集合中全部网页包含的不同句子的数量小于对应预设阈值的网页集合；所述报错句子长度小于对应预设阈值的网页集合；同一主站点包含同一报错句子的不同网页集合数量小于对应预设阈值。

上述预设阈值的大小可根据召回率和准确率进行调整。

步骤S270，将该待验证报错网页集合作为报错网页集合并提取该报错网页集合的相关信息。对该主站点，重复步骤S220-步骤S270，直至所有网页集合处理完成。

相关信息包括：报错网页集合在主站点中的路径信息、主站点信息、报错句子以及其签名信息。记录相关信息，用于报错网页的识别。具体地，可以以报错词典的形式，将路径信息、主站点信息、报错句子及其签名信息作为报错词典的一条记录，下标示出了一个示意性的报错词典。

对互联网中大量网页主站点进行执行上述步骤S210-S270，得到包含目标范围的报错词典。

图3示出了根据本发明一个实施例的利用报错集合对具有报错特征的网页进行识别的方法的流程图，如图3所示，该方法包括如下步骤：

步骤S310，获取待识别网页对应的主站点、待识别网页在主站点中的路径信息、以及待识别网页中包含预设否定词的句子和该句子的签名。

以上文所示报错词典的第一条记录为例，现给定一个待识别网页，其url为bbs.dacai.com，则可以获知该网页的主站点为dacai.com。

在主站点dacai.com页面中查找bbs.dacai.com，得到其所在的标签，获取其路径信息，例如，Xpath值，该Xpath值对应主站点dacai.com中的一个网页集合。

从该网页的内容中获取包含否定词的句子，计算该句子的签名。

步骤S320，查询待识别网页对应的主站点、待识别网页在主站点中的路径信息、以及待识别网页中包含预设否定词的句子是否与主站点中的任一报错集合的信息匹配，如果匹配，执行步骤S330，否则，执行步骤S340。

步骤S330，将待识别网页确定为报错网页。

步骤S340，将待识别网页确定为非报错网页。

根据本发明上述实施例提供的方法，通过Xpath聚类方法，根据网页在其主站点源码中的路径、位置信息进行聚类，得到多个网页集合，将集合中每个网页都包含预设否定词的网页集合作为待验证的报错网页集合，并获取报错句子，将属性特征符合预设策略的待验证网页集合作为报错网页集合。获取并记录报错网页集合的相关信息，生成报错词典，用于识别待识别的网页。根据该方案，无需结合每个页面和其特定的报错句子，效率更高。报错网页集合的生成过程实时地自动进行，因此对网页报错词句的变化不敏感，降低了识别的滞后性。此外，Xpath路径信息直接关联页面结构，使聚类及识别有更高的准确性。

图4示出了根据本发明一个实施例的具有报错特征的网页识别装置的结构框图，如图4所示，该装置包括：

聚类模块410，用于将多个网页进行聚类，得到一个或多个网页集合。

聚类模块410具体用于：针对一主站点，根据路径信息对该主站点中的各个链接进行聚类。

路径信息指该主站点下各链接的在页面中的位置信息。一般地，格式良好的页面的样式和布局是有规律的，具有相同或相似路径信息的链接指向同类的页面，或参数不同的同一页面，这些页面具有相同的报错特征。

聚类模块410具体包括：

路径信息计算单元4101，用于计算主站点中的各个链接网页的路径信息；这里路径信息可以为Xpath值。

签名计算单元4102，用于对计算得到的路径信息进行去重处理，计算去重处理后获得的路径信息的签名；

聚类单元4103，用于根据路径信息的签名进行聚类，将路径信息的签名相同的链接网页加入同一网页集合中。

判断模块420，用于判断聚类模块410得到的一个或多个网页集合中是否都包含预设的否定词，将集合中的各网页内容都包含否定词的网页集合作为待验证报错网页集合。

判断模块420具体用于：判断聚类模块410得到的网页集合中各网页内容是否都包含同一预设的否定词，将网页集合中每个网页均包含同一否定词的网页集合作为待验证报错网页集合。

具有报错特征的网页一般通过包含否定词的句子提示用户，否定词可以是“已删除”、“不存在”、“不可用”、“Not Found”等

判断模块420还用于：将包含预设否定词的句子作为该待验证报错网页集合的报错句子。

报错集合生成模块430，用于提取待验证报错网页集合的一个或多个属性特征，根据属性特征验证待验证报错网页集合得到报错网页集合。

待验证报错网页集合的属性特征包括以下特征的一项或多项的组合：待验证报错网页集合中包含的不同网页数量；待验证报错网页集合中全部网页和/或单个网页所包含的句子的总数；待验证报错网页集合中全部网页中包含的不同句子的数量；待验证报错网页集合的报错句子的长度；同一主站点包含同一报错句子的不同网页集合数量。

报错集合生成模块430具体用于：选取属性特征符合以下预设策略中一项或多项的待验证报错网页集合作为报错网页集合：报错句子在网页集合中所有的网页中被包含；待验证报错集合中包含的不同网页数量大于对应预设阈值的网页集合；待验证报错集合中全部网页和/或单个网页所包含的句子的总数小于对应预设阈值的网页集合；待验证报错集合中全部网页包含的不同句子的数量小于对应预设阈值的网页集合；报错句子长度小于对应预设阈值的网页集合；同一主站点包含同一报错句子的不同网页集合数量小于对应预设阈值。

识别模块440，用于提取报错网页集合的相关信息并根据报错网页集合的相关信息识别报错网页。

报错网页集合的相关信息包括以下信息中的一项或多项：报错网页集合在主站点中的路径信息、主站点信息、报错句子以及其签名信息。

识别模块440具体包括：

提取单元4401，用于提取报错网页集合的相关信息。

获取单元4402，用于获取待识别网页对应的主站点、待识别网页在主站点中的路径信息、以及待识别网页中包含预设否定词的句子。

查询单元4403，用于查询待识别网页对应的主站点、待识别网页在主站点中的路径信息、以及待识别网页中包含预设否定词的句子是否与提取单元提取的主站点中的任一条报错集合的信息匹配，若匹配，则确定待识别网页为报错网页。

根据本发明上述实施例提供的装置，聚类模块通过聚类方法，根据网页在其主站点源码中的路径、位置信息进行聚类，得到多个网页集合，判断模块将集合中每个网页都包含预设否定词的网页集合作为待验证的报错网页集合，并获取报错句子，报错集合生成模块将属性特征符合预设策略的待验证网页集合作为报错网页集合。识别模块，获取并记录报错网页集合的相关信息，生成报错词典，用于识别待识别的网页。根据该方案，无需结合每个页面和其特定的报错句子，效率更高。报错网页集合的生成过程实时地自动进行，因此对网页报错词句的变化不敏感，降低了识别的滞后性。此外，由于Xpath路径信息直接关联页面结构，使聚类及识别有更高的准确性。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的具有报错特征的网页识别装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (14)

1.一种具有报错特征的网页识别方法，包括：

将多个网页进行聚类，得到一个或多个网页集合；

判断所述网页集合中各网页内容是否都包含预设的否定词，将所述网页集合中的各网页内容都包含所述否定词的网页集合作为待验证报错网页集合；

提取所述待验证报错网页集合的一个或多个属性特征，根据所述属性特征验证所述待验证报错网页集合得到报错网页集合；

提取所述报错网页集合的相关信息并根据所述报错网页集合的相关信息识别报错网页。

2.根据权利要求1所述的方法，所述将所述网页集合中的各网页内容都包含所述否定词的网页集合作为待验证报错网页集合具体为：将所述网页集合中每个网页均包含同一否定词的网页集合作为待验证报错网页集合；

所述方法还包括：将包含所述否定词的句子作为该待验证报错网页集合的报错句子。

3.根据权利要求1所述的方法，所述对多个网页进行聚类具体为：针对一主站点，根据路径信息对该主站点中的各个链接网页进行聚类；

所述报错网页集合的相关信息包括以下信息中的一项或多项：所述报错网页集合在主站点中的路径信息、主站点信息、报错句子以及其签名信息。

4.根据权利要求3所述的方法，所述根据路径信息对该主站点中的各个链接网页进行聚类进一步包括：

计算所述主站点中的各个链接网页的路径信息；

对计算得到的路径信息进行去重处理，计算所述去重处理后获得的路径信息的签名；

根据所述路径信息的签名进行聚类，将路径信息的签名相同的链接网页加入同一网页集合中。

5.根据权利要求1-4任一项所述的方法，所述待验证报错网页集合的属性特征包括以下特征的一项或多项的组合：

所述待验证报错网页集合中包含的不同网页数量；

所述待验证报错网页集合中全部网页和/或单个网页所包含的句子的总数；

所述待验证报错网页集合中全部网页中包含的不同句子的数量；

所述待验证报错网页集合的报错句子的长度；

同一主站点包含同一报错句子的不同网页集合数量。

6.根据权利要求1-4任一项所述的方法，所述根据所述属性特征验证所述待验证报错网页集合得到报错网页集合具体为：选取属性特征符合以下预设策略中一项或多项的待验证报错网页集合作为报错网页集合：

报错句子在待验证报错网页集合中所有的网页中被包含；

待验证报错集合中包含的不同网页数量大于对应预设阈值的网页集合；

待验证报错集合中全部网页和/或单个网页所包含的句子的总数小于对应预设阈值的网页集合；

待验证报错集合中全部网页包含的不同句子的数量小于对应预设阈值的网页集合；

所述报错句子长度小于对应预设阈值的网页集合；

同一主站点包含同一报错句子的不同网页集合数量小于对应预设阈值。

7.根据权利要求1-4任一项所述的方法，所述根据所述报错网页集合识别报错网页具体包括：

获取待识别网页对应的主站点、所述待识别网页在所述主站点中的路径信息、以及所述待识别网页中包含预设否定词的句子和该句子的签名；

查询所述待识别网页对应的主站点、所述待识别网页在所述主站点中的路径信息、以及所述待识别网页中包含预设否定词的句子是否与所述主站点中的任一报错网页集合的信息匹配，若匹配，则确定所述待识别网页为报错网页。

8.一种具有报错特征的网页识别装置，包括：

聚类模块，用于将多个网页进行聚类，得到一个或多个网页集合；

判断模块，用于判断所述聚类模块得到的一个或多个网页集合中是否都包含预设的否定词，将集合中的各网页内容都包含所述否定词的网页集合作为待验证报错网页集合；

报错集合生成模块，用于提取所述待验证报错网页集合的一个或多个属性特征，根据所述属性特征验证所述待验证报错网页集合得到报错网页集合；识别模块，用于提取所述报错网页集合的相关信息并根据所述报错网页集合的相关信息识别报错网页。

9.根据权利要求8所述的装置，所述判断模块具体用于：判断所述网页集合中各网页内容是否都包含同一预设的否定词，将所述网页集合中每个网页均包含同一否定词的网页集合作为待验证报错网页集合。

10.根据权利要求8所述的装置，所述聚类模块具体用于：针对一主站点，根据路径信息对该主站点中的各个链接网页进行聚类；

所述报错网页集合的相关信息包括以下信息中的一项或多项：所述报错网页集合在主站点中的路径信息、主站点信息、报错句子以及其签名信息。

11.根据权利要求10所述的装置，所述聚类模块具体包括：

路径信息计算单元，用于计算所述主站点中的各个链接网页的路径信息；

签名计算单元，用于对计算得到的路径信息进行去重处理，计算所述去重处理后获得的路径信息的签名；

聚类单元，用于根据所述路径信息的签名进行聚类，将路径信息的签名相同的链接网页加入同一网页集合中。

12.根据权利要求8-11任一项所述的装置，所述待验证报错网页集合的属性特征包括以下特征的一项或多项的组合：

所述待验证报错网页集合中包含的不同网页数量；

所述待验证报错网页集合中全部网页和/或单个网页所包含的句子的总数；

所述待验证报错网页集合中全部网页中包含的不同句子的数量；

所述待验证报错网页集合的报错句子的长度；

同一主站点包含同一报错句子的不同网页集合数量。

13.根据权利要求8-11任一项所述的装置，所述报错集合生成模块具体用于：选取属性特征符合以下预设策略中一项或多项的待验证报错网页集合作为报错网页集合：

报错句子在网页集合中所有的网页中被包含；

待验证报错集合中包含的不同网页数量大于对应预设阈值的网页集合；

待验证报错集合中全部网页和/或单个网页所包含的句子的总数小于对应预设阈值的网页集合；

待验证报错集合中全部网页包含的不同句子的数量小于对应预设阈值的网页集合；

所述报错句子长度小于对应预设阈值的网页集合；

同一主站点包含同一报错句子的不同网页集合数量小于对应预设阈值。

14.根据权利要求8-11任一项所述的装置，所述识别模块具体包括：

提取单元，用于提取所述报错网页集合的相关信息；

获取单元，用于获取待识别网页对应的主站点、所述待识别网页在所述主站点中的路径信息、以及所述待识别网页中包含预设否定词的句子；

查询单元，用于查询所述待识别网页对应的主站点、所述待识别网页在所述主站点中的路径信息、以及所述待识别网页中包含预设否定词的句子是否与所述提取单元提取的主站点中的任一条报错网页集合的信息匹配，若匹配，则确定所述待识别网页为报错网页。