CN102541937B - 一种网页信息探测方法及系统 - Google Patents

Abstract

本发明公开了一种网页信息探测方法及系统。本发明预先抽取网页正文的关键词，将从该网页正文中抽取的关键词与该网页URL的对应关系存储到数据库中；探测网页信息时，先获取待探测网页的源文件，然后从数据库中检索出与待探测网页相同URL的关键词，用所述关键词与待探测网页的源文件内容进行匹配，根据匹配程度确定待探测网页信息是否存在。本发明能够提高网页信息探测的准确率。

Description

一种网页信息探测方法及系统

技术领域

本发明属于数据监控技术领域，具体涉及一种网页信息探测方法及系统。

背景技术

随着国际互联网在全球范围内的迅猛发展，利用互联网传播和获取各种信息，特别是新闻信息成为现代人的主要手段。人们通过国际互联网，可以很方便地在计算机屏幕上访问他们所需要的任何文字、图片。同时，网上新闻服务内容与方式也日益增多，电子邮件、网络新闻组、万维网浏览、网络论坛等等，使得互联网日渐成为大众传媒新兴的重要载体之一。

互联网信息内容庞杂多样，既有大量进步、健康、有益的信息，也有不少反动、迷信、黄色的内容。互联网作为一块正在加速膨胀的思想阵地，加上其虚拟性、隐蔽性、发散性、渗透性和随意性等特点，越来越多的人们愿意通过这类渠道表达自己的个人想法，因此网络舆情的爆发将以“内容威胁”的形式逐渐对社会公共安全形成威胁。

应用网络舆情监控系统可以对繁杂的互联网信息进行有效的监控，但大多数舆情监控系统对不良信息的URL存在，内容不停的删除恢复、恢复删除的“躲猫猫”式的经营方式束手无策。因此网络舆情急需一种新的Web信息探测系统，以提高Web信息探测的准确率。

目前，国内外针对Web信息探测的方式主要包括以下几种：

1.主要利用了XMLHTTP的一些方法和属性来获取服务器的信息，获取请求返回的状态码来检测所访问URL的网页是否被删除。这种方法只能探测URL是否被删除，而不能探测URL存在，内容被删除或改变这种情况，探测的准确率较低。

2.从HTTP响应消息获取状态码，通过判断状态码是200或401来检测URL是否被删除，无法鉴别只是内容被删除的情况，准确率较低。

3.把域名解析成IP地址时，通过判断Sockets是否异常来检测URL是否被删除，同样无法应对内容被删除的情况。

现有的Web信息探测方式的准确率普遍较低，基本上都是依靠返回状态码来检测URL是否被删除，无法应对URL存在，内容被删除或改变的情况。

发明内容

针对现有技术中存在的缺陷，本发明要解决的技术问题是提供一种准确率高的网页信息探测方法及系统。

为解决上述技术问题，本发明采用的技术方案如下：

一种网页信息探测方法，所述方法预先抽取网页正文的关键词，将从该网页正文中抽取的关键词与该网页URL的对应关系存储到数据库中；探测网页信息时，先获取待探测网页的源文件，然后从数据库中检索出与待探测网页相同URL的关键词，用所述关键词与待探测网页的源文件内容进行匹配，根据匹配程度P确定待探测网页信息是否存在。

一种网页信息探测系统，包括用于抽取网页正文关键词的抽取装置；

用于将从网页正文中抽取的关键词与该网页URL的对应关系存储到数据库中的存储装置；

用于获取待探测网页源文件的获取装置；

用于从数据库中检索出与待探测网页相同URL的关键词，用所述关键词与待探测网页的源文件内容进行匹配，根据匹配程度P确定待探测网页信息是否存在的探测装置。

本发明所述的方法及系统，将从网页信息中提取的关键词作为探测该网页信息是否存在的依据，可以有力地探测到URL存在、信息发生变化的情况，大大提高了网页信息探测的准确率，有效地维护了良好的网络环境，为互联网的安全提供了保障。而且，能够从结构复杂、形态各异的HTML信息中提取较为准确的正文信息，根据正文及标题信息获取与网页内容较为相关的段落摘要、关键词等信息，供其它网络产品显示正文、摘要及关键词时所用。

附图说明

图1是具体实施方式中网页信息探测系统的结构框图；

图2是具体实施方式中网页信息探测方法的流程图；

图3是具体实施方式中抽取网页信息关键词的方法流程；

图4是具体实施方式中采用数组存储文字块的示意图。

具体实施方式

下面结合具体实施方式和附图对本发明进行详细描述。

本发明主要应用于网页地址存在、网页内容发生变化的情况下探测网页信息是否存在，其核心思想是：预先抽取网页信息的关键词，将从该网页信息中抽取的关键词与该网页URL的对应关系存储到数据库中，作为探测该网页信息的证据；探测网页信息时，先获取待探测网页的源文件，然后从数据库中检索出与待探测网页相同URL的关键词，用该关键词与待探测网页的源文件内容进行匹配，根据匹配程度确定待探测网页信息是否存在。

图1示出了本实施方式中网页信息探测系统的结构。如图1所示，该系统包括抽取装置11，与抽取装置11连接的存储装置12；获取装置13，与获取装置13连接的过滤装置15，与过滤装置15连接的匹配装置14。

抽取装置11用于抽取网页信息的关键词。

存储装置12用于将从网页信息中抽取的关键词与该网页URL的对应关系存储到数据库中，作为探测依据。

获取装置13用于获取待探测网页的源文件。

过滤装置15用于过滤待探测网页源文件中的无用信息，包括标题。

探测装置14用于从数据库中检索出与待探测网页相同URL的关键词，用所述关键词与待探测网页的源文件内容进行匹配，根据匹配程度确定待探测网页信息是否存在。

图2示出了采用图1所示系统探测网页信息的方法流程。如图2所示，该方法包括以下步骤：

(1)获取装置13获取待探测网页的HTML源文件。

(2)过滤装置15过滤待探测网页源文件中的无用信息，包括标题，获取一个较为干净的文字信息源文件。

先预定义无用HTML标签库，存储无用的HTML标签。所述无用的HTML标签包括头标签类、程式语句类、多媒体语句类、修饰类、表单输入类、链接类等类型标签。

根据源文件信息并结合无用HTML标签库，通过组织特定的正则表达式语句的方式删除无用标签及标签所修饰的内容，只保留可划分区域类的标签及标签中的内容。

此处过滤掉标题标签内的内容，是为了防止页面信息被删除、标题存在的情况干扰探测。

(3)匹配装置14从数据库中读取与待探测网页相同URL的关键词，然后匹配读取的关键词与过滤后的待探测网页源文件信息。

用数据库中留存的关键词证据与文字信息源文件进行匹配，根据匹配程度P探测网页信息是否存在。匹配程度P可以根据具体应用环境来决定是完全匹配还是部分匹配。

图3示出了本实施方式中抽取网页信息关键词的方法流程。如图3所示，抽取过程包括以下步骤：

(a)读取网页的源文件信息。

读取网页源文件时，首先通过模拟HTTP请求返回信息状态码。如果状态码非200或有异常出现，则可以直接断定该URL的网页信息已被删除；如果正常返回200，则通过HttpMethodBase的getResponseBody()方法获取网页源文件的字节数组及其编码格式，通过编码格式将源文件字节数组转化为字符形式的源文件信息。

(b)从源文件信息中获取网页的标题信息。

根据源文件信息，通过标签匹配或者正则表达式的方式获取标题标签中的标题信息，并用Lucene“庖丁解牛”的分词方法，对标题进行分词。如果无标题，或者标题简短、无法分词，则后续探测操作可以不用标题作为参照，返回的标题可以为空。

(c)从源文件信息中提取正文，具体过程如下：

(i)过滤源文件中的无用信息。

根据源文件信息并结合无用HTML标签库，通过组织特定的正则表达式语句的方式删除无用标签及标签所修饰的内容，依次删除头标签类、程式语句类、多媒体语句类、修饰类、表单输入类、链接类等标签及标签中信息内容，只保留可划分区域类的标签及标签中信息内容。

(ii)拆分过滤后的源文件信息。

根据划分区域类标签对过滤后的源文件信息执行现有的字符截取算法，截取过滤后的源文件信息为各个文字块，并可获取任意两相邻文字块之间各种划分区域类标签的数量。

例如：假设过滤后源文件A仅由A₁和A₂两文字块组成，A₁和A₂之间仅随机排列B₁和B₂两种划分区域类标签，数量分别为n₁和n₂。根据字符截取算法，可先依据标签B₁截取A，获取A_B1和A_B2两块，以及两块之间标签B₁数n₁，组合A_B1和A_B2两块，得到无标签B₁的源文件块A，继续依据标签B₂截取A，获取新的A_B1和A_B2两块，以及两块之间标签B₂数n₂，依此类推。

将过滤后的源文件信息拆分成若干文字块后，存储各文字块中的文字内容(不含标签)，及其与下一个文字块块之间的距离。具体可采用如下两种存储方式之一：

①通过链表(list)存储，存储类型可包含两个属性，分别为文字块中的文字内容和与相邻的下一个文字块之间的距离。

②通过字符数组存储，将文字块中的文字内容(简称文字块)离散地存放在数组中，两相邻文字块之间的距离可用两文字块存储位置在数组中相隔的空值数标识。如图4所示，在文字块1和文字块2之间的空值数为2，即表示文字块1和文字块2之间的距离为2。

相邻文字块之间的距离可以由划分区域类标签在源文件信息中出现的频率为权重，结合其数量决定。具体的计算方法为：假设两相邻文字块为A₁和A₂，划分区域类标签有B₁…B_n，标签权重为w_B1…w_B2，在A₁和A₂之间划分区域类标签数量分别为n_B1…n_Bn，则A₁和A₂之间距离d_A1A2的计算公式为：d_A1A2＝n_B1×w_B1+n_B2×w_B2+…+n_Bn×w_Bn。

上述权重值也可以由用户结合具体应用环境配置。两相邻文字块之间的距离也可以采用其他方法计算，只要能够表示出文字块之间的相对距离大小即可。

拆分文字块的原因在于网页信息的繁杂性，正文信息中间往往会插入一些例如广告等无用信息，致使从源文件的角度上看正文并不一定是一个完整的块，可能比较分散。

(iii)确定正文样本。

选取文字块中包含文字内容最多的一块(该块需要满足设定的长度等条件限制，可由用户依据具体应用环境确定，例如不少于20个文字)，以该块为基准向上下辐射，根据上下各块的文字数与该块的距离比值(即文字密集度)与设定阈值之间的关系(阈值可通过抽样实验获得)限定正文上极限块和下极限块，将上下极限块及其中间的内容作为正文样本。

具体的，假设包含文字内容最多的文字块为A，包含的文字数为a；与其相邻的上一个文字块为A₁，包含的文字数为a₁；与其相邻的下一个文字块为A₂，包含的文字数为a₂。文字块A₁与文字块A的距离为d₁，文字块A与文字块A₂的距离为d₂。阈值为M，阈值M的大小可根据具体应用环境由用户设定。

如果a₁/d₁＝M₁≥M并且a₂/d₂＝M₂≥M，则表明与文字块A上下相邻的文字块A₁和A₂都达到了可以聚合为正文的标准。取M₁和M₂的均值M_avg作为计算上下极限块的衡量标准。这样，衡量标准实际是根据探测网页的具体情况提取的，具体问题具体分析，可以提高探测效率。

如果M₁和M₂中只有一个不小于阈值M，则可取不小于M的值与M均值M_avg作为计算上下极限块的衡量标准。

如果都不符合，则表明正文没有分块无需上下辐射聚合，直接将文字块A作为正文样本。

计算出M_avg后，可对文字块A进行整合。如果a₁/d₁＝M₁≥M并且a₂/d₂＝M₂≥M，则令A′＝A₁+A+A₂，即将文字块A₁和文字块A₂中的文字内容整合到文字块A中。然后以A₁为基准向上辐射，以其相邻的上一个文字块A_s1包含的文字数和A₁A_s1距离d_s1的比值与M_avg比较。如果比值大于M_avg，则将A_s1中的文字内容整合到A中，继续以A_s1为基准向上辐射，直至不符合条件的文字块为止。同样，再以A₂为基准向下辐射，直到不符合条件的文字块为止。将最终的文字块A作为正文样本。

如果M₁和M₂中只有一个不小于阈值M，如M₁≥M，则将文字块A₁的内容整合到A中，即令A′＝A₁+A。然后以A₁为基准向上辐射，直至不符合条件的文字块。由于M₂＜M，不符合辐射条件，因此无需向下辐射。将最终的文字块A′作为正文样本。

一般情况下，文字数越多，文字块与文字块之间宏观距离越小，为正文的概率越高。这里主要是依据文字数和距离的比值与是正文的概率成正比。

(iv)验证正文样本。

用标题分词与正文样本进行比较，以匹配程度作为依据来验证正文样本是否为正文。所述匹配程度即标题分词在正文样本中出现的数量及频率的综合值(数量及频率的权重可由用户确定)。

具体的，假设标题可切分出W₁…W_n个分词，样本训练后得出权重为w₁…w_n，在正文中的匹配数量分别为n_w1…n_wn。样本训练为现有算法，基本实现原理是将正文切词，以各词在正文中出现的次数和样本训练软件维护的一个关键词库及各关键词权重(此关键词库主要维护互联网上一些常用关键词，各关键词在长期统计中会保存一个权重值。另外，“你、我、他”等常用词不包含在内)综合计算出若干关键词及各词权重。

匹配程度P′的计算公式如下：

P′＝n_w1×w₁+n_w2×w₂+…+n_wn×w_n。(记为公式1)

如果P′不小于设定的阈值M′，则通过验证；否则验证失败。阈值M′可根据具体应用环境由用户设定。

如果验证失败，则返回步骤(iii)，忽略包含文字内容最多的文字块A，以文字内容次多的文字块B为基准，按照步骤(iii)中的方法，确定正文样本。但保留文字块A与上下块的距离，防止干扰以文字块B为基准的文字密集程度的精确性。例如，文字块A的上下文字块分别为B和C，文字块A为基准的正文样本没有通过验证，但A与B、C之间的距离仍然存在，这样B、C之间的距应该是A、B与A、C的距离之和，若忽略这部分距离则造成B、C之间的距离为0，势必会影响精确性。以此类推，直到正文样本通过验证，将该正文样本作为正文。如果所有正文样本都没有通过验证，即所有文字块都无法结合成有意义的正文，则表明该URL的网页信息无正文或正文简略无实际含义，可视为已删除。

如果无法获取标题，则取消标题分词验证正文样本这一步骤，直接将正文样本作为正文。这时弱化正文的显示含义，强调正文提取关键词探测网页信息是否存在的作用。

(d)从正文中提取关键词。

首先截取已确定正文中的各段，统计每段中包含的文字数，以文字数、与标题匹配程度为根据抽取摘要。所述摘要并非正文的概要，而是正文中的一部分内容，用于从中抽取关键词。摘要可作为其它网络产品的信息摘要使用。摘要的具体抽取方法如下：

如果无标题，则直接将正文中包含文字数最多的段落作为摘要。

如果有标题，则采用下述公式计算正文中包含文字数最多的段落与标题的匹配程度P″：

$P^{\′\′}=n_{w1}^{\′}\×w_1+n_{w2}^{\′}\×w_2+\·\·\·+n_{\mathrm{wn}}^{\′}\×w_n.$

其中，w₁…w_n分别表示标题分词W₁…W_n的权重，与公式1中该参数表示的含义及数值相同；

分别表示标题分词在包含文字数最多的段落中的匹配数量。如果匹配程度P″大于0，则通过验证，将该段作为摘要。否则验证正文中包含文字数次多的文字块，依此类推。

提取出摘要后，对摘要进行分词，结合摘要分词和标题分词抽取出若干关键词，具体的抽取过程如下：

以标题分词为基准，采用下述公式计算标题分词在摘要中的匹配程度P′″：

$P^{\′\′\′}=n_{w1}^{\′\′}\×w_1+n_{w2}^{\′\′}\×w_2+\·\·\·+n_{\mathrm{wn}}^{\′\′}\×w_n.$

其中，w₁…w_n分别表示标题分词W₁…W_n的权重，与公式1中该参数表示的含义及数值相同；

分别表示标题分词在摘要中的匹配数量。按照P′″从大到小的顺序取出若干个标题分词。

再以摘要分词为基准，计算各个摘要分词在摘要中出现的次数，按照次数从多到少的顺序取出若干个摘要分词。

删除抽取出的两部分分词中的重复分词，从剩下的分词中取出若干个作为关键词。如果无标题，则无需结合标题分词，按照摘要分词在摘要中出现次数从多到少的顺序取出若干个分词作为关键词。

(e)将本次探测获取到的摘要、关键词及其所属网页的URL信息存储到数据库中，以留存证据。

上述提取网页信息中的正文、摘要和关键词的方法是利用某些比值与正文概率成正比的一般原则，并结合特定的算法，无需基于任何模板，便能够获取到概率较高的正文及作为探测依据的关键词。

本发明通过留存网页信息的关键词来探测该网页信息是否存在，可以在相当程度上提高网页信息探测的准确率，有效地维护良好的网络环境，为互联网的安全性提供保障。而且，比较准确地提取出了网页信息的正文、段落摘要、关键词等信息，又可以为其它网络系统、采集软件等提供强有力的信息基础。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其同等技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (14)

1.一种网页信息探测方法，其特征在于：所述方法预先抽取网页信息的关键词，将从该网页信息中抽取的关键词与该网页URL的对应关系存储到数据库中；探测网页信息时，先获取待探测网页的源文件，然后从数据库中检索出与待探测网页相同URL的关键词，用所述关键词与待探测网页的源文件内容进行匹配，根据匹配程度P确定待探测网页信息是否存在；

所述抽取网页信息的关键词的方法如下：

（1）获取网页的源文件信息；

（2）从源文件信息中提取正文；从源文件信息中提取正文之前，先对源文件信息进行过滤，只保留划分区域类标签及标签中的信息；提取正文的方法如下：

（a）根据划分区域类标签将过滤后的源文件信息拆分成若干文字块，并存储每个文字块中的文字内容及与相邻的下一个文字块之间的距离；

（b）选取文字块中包含文字信息最多的一块，将该块作为基准文字块；

（c）以基准文字块为基准，根据上下各文字块中的文字数与该基准文字块的距离比值与设定阈值的关系确定正文上极限块和下极限块，将上下极限块及其之间的内容作为正文样本；

（3）从正文中提取关键词。

2.如权利要求1所述的网页信息探测方法，其特征在于：步骤（1）中获取网页源文件信息的过程如下：

首先通过模拟Http请求返回信息状态码；如果状态码非200或有异常出现，则认定该网页信息已被删除；否则，获取网页源文件的字节数组及其编码格式，通过编码格式将源文件字节数组转化为字符形式的源文件信息。

3.如权利要求2所述的网页信息探测方法，其特征在于：步骤（1）中获取网页源文件信息后，提取网页源文件信息中的标题，并对标题进行分词；如果无标题或者标题无法分词，则设定标题为空。

4.如权利要求1所述的网页信息探测方法，其特征在于：步骤（a）中，通过链表存储每个文字块中的文字内容及下一个文字块之间的距离，存储类型包含两个属性，分别为文字块中的文字内容和与相邻的下一个文字块之间的距离。

5.如权利要求1所述的网页信息探测方法，其特征在于：步骤（a）中，通过字符数组存储每个文字块中的文字内容及下一个文字块之间的距离，将文字块中的文字内容离散地存放在数组中，两相邻文字块之间的距离用两文字块中的文字内容存储位置在数组中相隔的空值数标识。

6.如权利要求1～5中任一项所述的网页信息探测方法，其特征在于：步骤（a）中，文字块和与其相邻的下一个文字块之间的距离计算方法如下：

假设两相邻文字块为A₁和A₂，划分区域类标签有B₁…B_n，标签权重为w_B1…w_B2，在A₁和A₂之间划分区域类标签数量分别为n_B1…n_Bn，则A₁和A₂之间距离d_A1A2的计算公式为：d_A1A2=n_B1×w_B1+n_B2×w_B2+…+n_Bn×w_Bn。

7.如权利要求1～5中任一项所述的网页信息探测方法，其特征在于：步骤（c）中所述根据上下各文字块中的文字数与基准文字块的距离比值与设定阈值的关系确定正文上极限块和下极限块的方法如下：

设基准文字块为A，包含的文字数为a；与其相邻的上一个文字块为A₁，包含的文字数为a₁；与其相邻的下一个文字块为A₂，包含的文字数为a₂；文字块A₁与文字块A之间的距离为d₁，文字块A与文字块A₂之间的距离为d₂；阈值为M；

如果a₁/d₁=M₁≥M并且a₂/d₂=M₂≥M，则取M₁和M₂的均值M_avg作为计算上下极限块的衡量标准；

如果M₁和M₂中只有一个不小于M，则取大于M的值与M均值M_avg作为计算上下极限块的衡量标准；

如果都不符合，则直接将文字块A作为正文样本；

计算出M_avg后，对文字块A进行如下整合：

如果a₁/d₁=M₁≥M并且a₂/d₂=M₂≥M，则令A＇=A₁+A+A₂；然后以A₁为基准向上辐射，以其相邻的上一个文字块A_s1包含的文字数和A₁A_s1距离d_s1的比值与M_avg比较，如果比值大于M_avg，则将A_s1中的文字内容整合到A中，继续以A_s1为基准向上辐射，直至不符合条件的文字块为止；同样，再以A₂为基准向下辐射，直到不符合条件的文字块为止；将最终的文字块A作为正文样本；

如果M₁和M₂中只有一个不小于M，假设M₁≥M，则令A＇=A₁+A；然后以A₁为基准向上辐射，直至不符合条件的文字块；将最终的文字块A＇作为正文样本。

8.如权利要1～5中任一项所述的网页信息探测方法，其特征在于：如果标题为空，则直接将步骤（c）中所述正文样本作为正文；否则，进行如下操作：

（i）根据标题分词对正文样本进行验证；

（ii）如果验证失败，则以文字数次多的文字块为基准文字块，重复步骤（c）后，转至步骤（i）；如果验证成功，则将正文样本作为正文。

9.如权利要求8所述的网页信息探测方法，其特征在于：步骤（i）所述根据标题分词对正文样本进行验证的方法如下：

将标题分词与正文样本进行匹配，以匹配程度P′为依据验证正文样本是否为正文；如果匹配程度P′不小于设定阈值M＇，则通过验证；否则，验证失败。

10.如权利要求9所述的网页信息探测方法，其特征在于：所述匹配程度P′的计算方法如下：

假设标题分词分别为W₁…W_n，标题分词的权重分别为w₁…w_n，标题分词在正文中的匹配数量分别为n_w1…n_wn；

P′=n_w1×w₁+n_w2×w₂+…+n_wn×w_n。

11.如权利要求1所述的网页信息探测方法，其特征在于：步骤（3）中，所述从正文中提取关键词的方法如下：

①截取正文中的各段，统计每段中包含的文字数；

②从正文中提取出摘要：

如果标题为空，则直接将正文中包含文字数最多的段落作为摘要；

如果标题非空，则对标题进行分词，采用如下公式计算正文中包含文字数最多的段落与标题的匹配程度P′′：

P′′=n′_w1×w₁+n′_w2×w₂+…+n′_wn×w_n

其中，w₁…w_n分别表示标题分词W₁…W_n的权重，与公式1中的表示的含义及数值相同；n′_w1…n′_wn分别表示标题分词在包含文字数最多的段落中的匹配数量；如果匹配程度P′′大于0，则将该段作为摘要；否则验证正文中包含文字数次多的文字块，依次类推；

③对摘要进行分词，从摘要中提取出关键词：

如果标题为空，按照摘要分词在摘要中出现次数从多到少的顺序取出若干个分词作为关键词；

如果标题非空，则采用如下公式计算标题分词在摘要中的匹配程度P′′′：

P′′′=n′′_w1×w₁+n′′_w2×w₂+…+n′′_wn×w_n；

其中，w₁…w_n分别表示标题分词W₁…W_n的权重；n′′_w1…n′′_wn分别表示标题分词在摘要中的匹配数量；按照P′′′从大到小的顺序取出若干个标题分词；

再计算各个摘要分词在摘要中出现的次数，按照次数从多到少的顺序取出若干个摘要分词；

删除抽取出的两部分分词中的重复分词，从剩下的分词中取出若干个作为关键词。

12.如权利要求1所述的网页信息探测方法，其特征在于：在用所述关键词与待探测网页的源文件内容进行匹配之前，先对待探测网页的源文件内容进行过滤，过滤掉无用信息；所述无用信息包括标题。

13.一种网页信息探测系统，包括用于抽取网页正文关键词的抽取装置（11）；

用于将从网页正文中抽取的关键词与该网页URL的对应关系存储到数据库中的存储装置（12）；从源文件信息中提取正文之前，先对源文件信息进行过滤，只保留划分区域类标签及标签中的信息；从网页正文中抽取关键词的方法如下：

（1）获取网页的源文件信息；

（2）从源文件信息中提取正文；提取正文的方法如下：

（a）根据划分区域类标签将过滤后的源文件信息拆分成若干文字块，并存储每个文字块中的文字内容及与相邻的下一个文字块之间的距离；

（b）选取文字块中包含文字信息最多的一块，将该块作为基准文字块；

（c）以基准文字块为基准，根据上下各文字块中的文字数与该基准文字块的距离比值与设定阈值的关系确定正文上极限块和下极限块，将上下极限块及其之间的内容作为正文样本；

（3）从正文中提取关键词；

用于获取待探测网页源文件的获取装置（13）；

用于从数据库中检索出与待探测网页相同URL的关键词，用所述关键词与待探测网页的源文件内容进行匹配，根据匹配程度P确定待探测网页信息是否存在的匹配装置（14）。

14.如权利要求13所述的网页信息探测系统，其特征在于：所述系统还包括用于过滤网页源文件中的无用信息的过滤装置（15）。

Images