CN101093485A

CN101093485A - 一种网页重复内容过滤方法

Info

Publication number: CN101093485A
Application number: CNA2006100280597A
Authority: CN
Inventors: 胡创义; 金骏
Original assignee: XINNA ADVERTISEMENT MEDIA CO Ltd SHANGHAI
Current assignee: XINNA ADVERTISEMENT MEDIA CO Ltd SHANGHAI
Priority date: 2006-06-22
Filing date: 2006-06-22
Publication date: 2007-12-26

Abstract

本发明涉及一种网页重复内容过滤方法，包括文件服务器、网页内容提取服务器、网页过滤服务器、爬虫服务器。与现有技术相比，本发明有效的遏制利用拷贝别人的作品来谋求利益的行为，而且减少了大量重复的信息，使搜索结果更精简，提高了用户的搜索效率，同时也保护了原作者的版权不受肆意侵犯。

Description

一种网页重复内容过滤方法

技术领域

本发明涉及网页内容，特别是涉及一种网页重复内容过滤方法。

背景技术

在互联网上，很多人网站都转载别人的文章，这种势头在博客出来之后越来越加剧。大量的重复信息加大了信息采集的工作量，也占用了很多存储空间。在对这些信息的检索中，用户在搜索同一个关键字的时候往往会出现大量同样的结果，用户需要翻多个页面之后才能找到所要的信息，这个使用户感到不方便。同时这个也是对原作者的版权的不尊重，面对这种情况，现有的搜索引擎还没有出现好的解决方法。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种网页重复内容过滤方法。

本发明的目的可以通过以下技术方案来实现：一种网页重复内容过滤方法，其特征在于，包括文件服务器、网页内容提取服务器、网页过滤服务器、爬虫服务器，该方法包括以下步骤：

a.爬虫服务器把从网页抓取下来的数据发送到网页内容提取服务器；

b.网页内容提取服务器分析来自爬虫服务器的数据，把内容提取出来，并且使用哈希算法对所提取的内容进行哈希获得哈希码，然后把哈希码和内容、抓取的时间等信息一起存入放到文件服务器；

c.网页过滤服务器分析内容服务器里面的信息，对每个由步骤b中获得的哈希码出现冲突的网站中出现冲突的数量，对冲突的数量和该网站的网页数量设定一个阀值，如果一个网站的冲突的数量和该网站的网页数量高于该阀值，则直接通知爬虫服务器，禁止该网站，并过滤掉该网页的所有内容，如果低于该阀值而且抓取的时间较早，则提高该网页的重要性，否则降低该网页的重要性或过滤掉。

所述的文件服务器可以采用NDFS(Distributed Nutch File System，分布式Nutch文件系统)或Google File System(Google文件系统)，也可以采用其它普通的文件系统。

所述的爬虫服务器采用开源爬虫程序larbin。

所述的哈希算法可以采用MD4或SHA1哈希算法，也可以采用私有的哈希算法。

所述的私有的哈希算法可以采用在文章中采样部分文字进行内码相加。

该方法通过用转载文章数量除以网站网页数量的方法计算出每个出现哈希值有冲突网站的转载率，并与阀值相比较，把高于阀值的网站列入黑名单，通知larbin禁止对该网站的抓取，删除文件服务器上有关该网站的数据；否则对剩下的网站按抓取时间进行排序，抓取时间早的则提高这个网站拥有该哈希值的网页的得分，对抓取时间晚的则降低得分。

与现有技术相比，本发明有效的遏制利用拷贝别人的作品来谋求利益的行为，而且减少了大量重复的信息，使搜索结果更精简，提高了用户的搜索效率，同时也保护了原作者的版权不受肆意侵犯。

附图说明

图1为本发明的原理框图；

图2为本发明的网页内容过滤的原理框图。

具体实施方式

下面结合附图对本发明作进一步说明。

如图1、图2所示，本实施例由文件服务器、网页内容提取服务器、网页过滤器服务器以及爬虫服务器组成。这些服务器是指服务器程序而不是指硬件。

文件服务器可以是NDFS(Distributed Nutch File System，分布式Nutch文件系统)或google公司的Google File System(Google文件系统)，也可以是其它普通的文件系统。用来存放提取的内容等等。

内容提取服务器用于分析网页布局，提取网页内容。

网页过滤服务器比较网页内容是否存重复，统计某个网站重复网页的数量，对每个网站的原创性进行评价，降低转载的信息特别突出的网站的网页的重要性指数，过滤一些重复的信息，严重者禁止爬虫服务器到该网站抓取信息。

爬虫服务器主要是用来抓取信息，比如下载网页等。

本方案的硬件系统可以是在一个网络内的多个计算机组成，也可以是一台计算机。所用的计算机可以是联想，IBM，戴尔，神舟等品牌的计算机。

本实施例内容如下：

1)爬虫服务器把网页抓取下来后把下载下来的数据发送到内容提取服务器。

2)内容服务器分析提取出来的数据，把内容提取出来，这里指的内容是指去除网页所要表现的主题信息。并且使用哈希算法对所提取的内容进行哈希获得哈希码，然后把哈希码和内容、抓取的时间等信息一起存入放到文件服务器。这里的哈希算法可以是MD4，SHA1等著名的哈希算法，也可以是私有的哈希算法如把每个文章的每个字节的值加起来等等。

3)网页过滤程序分析内容服务器里面的信息，计算出每个由2)中获得的哈希码出现冲突的网站中出现冲突的数量，对冲突的数量和该网站的网页数量设定一个阀值，如果一个网站的冲突的数量和该网站的网页数量高于该阀值，则直接通知爬虫服务器，禁止该网站，并过滤掉该网页的所有内容，如果低于该阀值而且抓取的时间较早，则提高该网页的重要性，否则降低该网页的重要性或过滤掉。

爬虫程序采用了开源爬虫程序larbin，文件系统采用了Nutch NDFS。由于larbin是用c++开发的，执行效率很高，一个简单的larbin的爬虫可以每天获取500万的网页。而Nutch NDFS分布式文件系统有很强的伸缩性，是用Java写的。为了让这两个用不同语言写的程序一起工作，这里做了一些修改。还有，内容取程序没有什么现成的程序，需要自己写新的提取程序。

实施过程为：

1)larbin爬虫从网上抓取网页，由于对它进行修改，它的输出进入到了内容提取程序里面。

2)内容根据网页的布局和其他特征提取了网页所发布的文章的内容，计算每个文章的哈希值。由于文章在转载过程中很容易丢失内容或被转载者加入一些内容，甚至广告等，在这里采用了一种哈希算法，具体是在文章中采样部分文字进行内码相加，如每隔10个字采样一次。把哈希值和章内容，抓取时间存入NDFS。

3)对2)中的哈希值进行统计，用转载文章数量除以网站网页数量的方法计算出每个出现哈希值有冲突网站的转载率。

4)对于步骤3)中获得的转载率与阀值相比较，高于阀值的进入步骤5)，否则跳过步骤5)。因为很多门户网站都有大量的转载行为，应此在这里可以把阀值调高一点，也可以采用其它智能算法。

5)把高于阀值的网站列入黑名单，通知larbin禁止对该网站的抓取，删除NDFS上有关该网站的数据，流程结束。

6)对剩下的网站按抓取时间进行排序，抓取时间早的则提高这个网站拥有该哈希值的网页的得分，流程结束。

7)对抓取时间晚的则降低得分，流程结束。

Claims

1.一种网页重复内容过滤方法，其特征在于，包括文件服务器、网页内容提取服务器、网页过滤服务器、爬虫服务器，该方法包括以下步骤：

2.根据权利要求1所述的一种网页重复内容过滤方法，其特征在于，所述的文件服务器可以采用NDFS(Distributed Nutch File System，分布式Nutch文件系统)或Google File System(Google文件系统)，也可以采用其它普通的文件系统。

3.根据权利要求1所述的一种网页重复内容过滤方法，其特征在于，所述的爬虫服务器采用开源爬虫程序larbin。

4.根据权利要求1所述的一种网页重复内容过滤方法，其特征在于，所述的哈希算法可以采用MD4或SHAl哈希算法，也可以采用私有的哈希算法。

5.根据权利要求4所述的一种网页重复内容过滤方法，其特征在于，所述的私有的哈希算法可以采用在文章中采样部分文字进行内码相加。

6.根据权利要求1所述的一种网页重复内容过滤方法，其特征在于，该方法通过用转载文章数量除以网站网页数量的方法计算出每个出现哈希值有冲突网站的转载率，并与阀值相比较，把高于阀值的网站列入黑名单，通知larbin禁止对该网站的抓取，删除文件服务器上有关该网站的数据；否则对剩下的网站按抓取时间进行排序，抓取时间早的则提高这个网站拥有该哈希值的网页的得分，对抓取时间晚的则降低得分。