CN107315799A - 一种互联网重复信息筛选方法及系统 - Google Patents

Abstract

本发明公开了一种互联网重复信息筛选方法及系统，所述系方法包括：根据预设关键字，获取互联网的相关文本信息；从所述文本信息中选取信息源样本和对比样本；分别对所述信息源样本和所述对比样本进行分解；根据分解后的所述信息源样本和所述对比样本，计算文本相似度；根据所述文本相似度，对相应的文本进行分类处理和存储。本发明通过对大量重复信息进行筛选和分类，可提高搜索效率、优化信息存储方式和节省硬件资源开销。

Description

一种互联网重复信息筛选方法及系统

技术领域

本发明涉及计算机搜索领域，尤其涉及一种互联网重复信息筛选方法及系统。

背景技术

在海量的互联网文本、文章和新闻中，信息总是在很多个网站和服务器上重复存在，计算机搜索系统在获取到信息时，通常用全文获取的方式对信息进行保存。在进行全网搜索时，这种信息保存方法将产生大量的重复信息和混淆信息，并大量占用计算资源开销。

发明内容

针对现有技术中的缺陷，本发明提供一种互联网重复信息筛选方法及系统，在计算机自动获取互联网信息时，对大量重复信息进行筛选和分类，使计算机执行搜索任务时提高搜索效率、优化信息存储方式和节省硬件资源开销。

第一方面，本发明提供了一种互联网重复信息筛选方法，所述系方法包括：

根据预设关键字，获取互联网的相关文本信息；

从所述文本信息中选取信息源样本和对比样本；

分别对所述信息源样本和所述对比样本进行分解；

根据分解后的所述信息源样本和所述对比样本，计算文本相似度；

根据所述文本相似度，对相应的文本进行分类处理和存储。

进一步地，所述根据预设关键字，获取互联网的相关文本信息，具体包括：通过网络爬虫从互联网上获取含有所述关键字的文本信息；其中，所述文本信息至少包括：信息来源，信息获取时间，标题，作者，正文内容。

进一步地，所述从所述文本信息中选取信息源样本和对比样本，具体包括：

从所述文本信息中取出任意一条信息，作为信息源样本；

从剩余的所述文本信息中取任意一条信息，作为对比样本。

进一步地，所述分别对所述信息源样本和所述对比样本进行分解，具体包括：

对所述信息源样本的正文内容进行分解；

对所述对比样本的正文内容进行分解。

进一步地，所述对所述信息源样本的正文内容进行分解，具体包括：以标点符号为分隔符，将所述信息源样本的正文内容分解为多个句子。

进一步地，所述对所述对比样本的正文内容进行分解，具体包括：以标点符号为分隔符，将所述对比样本的正文内容分解为多个句子。

进一步地，根据分解后的所述信息源样本和所述对比样本，计算文本相似度，具体包括：

将分解后的所述信息源样本的正文内容，与分解后的所述对比样本的正文内容进行遍历比对，得出相同句子数量和不同句子数量；

根据所述相同句子数量与所述不同句子数量的比值，得出文本相似度。

进一步地，所述根据所述文本相似度，对相应的文本进行分类处理和存储，具体包括：

根据所述文本相似度的计算结果，按照相同文本、关联文本、相似文本三种类别，对相应的文本进行分类处理和分类存储。

第二方面，本发明还提供了一种互联网重复信息筛选系统，所述系统包括：信息获取模块，样本选取模块，样本分解模块，相似度计算模块，分类处理模块；

所述信息获取模块，用于根据预设关键字，获取互联网的相关文本信息；

所述样本选取模块，用于从所述文本信息中选取信息源样本和对比样本；

所述样本分解模块，用于分别对所述信息源样本和所述对比样本进行分解；

所述相似度计算模块，用于根据分解后的所述信息源样本和所述对比样本，计算文本相似度；

所述分类处理模块，用于根据所述文本相似度，对相应的文本进行分类处理和存储。

进一步地，所述信息获取模块为网络爬虫模块。

由上述技术方案可知，本发明提供一种互联网重复信息筛选方法及系统，在计算机自动获取互联网信息时，对大量重复信息进行筛选和分类，使计算机执行搜索任务时提高搜索效率、优化信息存储方式和节省硬件资源开销。

附图说明

图1示出了本发明提供的互联网重复信息筛选方法的流程示意图。

图2示出了本发明提供的互联网重复信息筛选系统的结构示意图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只是作为示例，而不能以此来限制本发明的保护范围。

实施例一

图1示出了本发明实施例一提供的互联网重复信息筛选方法的流程示意图。所述方法包括：

步骤S1，根据预设关键字，获取互联网的相关文本信息；

步骤S2，从所述文本信息中选取信息源样本和对比样本；

步骤S3，分别对所述信息源样本和所述对比样本进行分解；

步骤S4，根据分解后的所述信息源样本和所述对比样本，计算文本相似度；

步骤S5，根据所述文本相似度，对相应的文本进行分类处理和存储。

本发明实施例一的具体技术方案为：

步骤S1，根据预设关键字，获取互联网的相关文本信息。

优选地，通过网络爬虫从互联网上获取含有所述关键字的文本信息；其中，所述文本信息至少包括：信息来源，信息获取时间，标题，作者，正文内容。

步骤S2，从所述文本信息中选取信息源样本和对比样本。

步骤S2具体包括：从所述文本信息中取出任意一条信息，作为信息源样本；从剩余的所述文本信息中取任意一条信息，作为对比样本。

其中，所述信息源样本的存储结构如下：信息源样本＝{发布时间，来源域名，标题，作者，正文内容}；所述对比样本的存储结构与信息源样本一致，具体如下：对比样本＝{发布时间，来源域名，标题，作者，正文内容}。

步骤S2可多次执行，每次均可重新选取新的样本，以达到对每一条文本信息进行对比、分类的目的。

步骤S3，分别对所述信息源样本和所述对比样本进行分解。

步骤S3具体包括：对所述信息源样本的正文内容进行分解；对所述对比样本的正文内容进行分解。

其中，优选地，对所述信息源样本的正文内容进行分解的具体方式为：以标点符号为分隔符，将所述信息源样本的正文内容分解为多个句子，以便于后续步骤中进行整句比对，其表达如下：正文内容An＝{句子a1，句子a2，……句子an}。

优选地，对所述对比样本的正文内容进行分解的具体方式为：以标点符号为分隔符，将所述对比样本的正文内容分解为多个句子，以便于后续步骤中进行整句比对，其表达如下：正文内容Bn＝{句子b1，句子b2，……句子bn}。

步骤S4，根据分解后的所述信息源样本和所述对比样本，计算文本相似度。

步骤S4具体包括：提取上述两个分解后样本的正文内容，将分解后的所述信息源样本的正文内容An，与分解后的所述对比样本的正文内容Bn进行遍历比对，得出相同句子数量N和不同句子数量M，也称为整句比对方法；通过N和M的比值，得出文本相似度，也即信息重合度，该文本相似度以百分比(％)来表示。

上述计算过程需满足如下计算规则：

规则一，若相同句子数量N＝信息源样本的句子数量an，且an＝bn，则两样本为相同文本；

规则二，若相同句子的数量N＝信息源样本的句子数量an，且an<bn，则两样本为包含相同文本；

规则三，若相同句子的数量N<信息源样本句子数量an，则文本相似度＝N/M*100％。

通过统计相同文本的数量、信息来源和时间，还可以有效统计一个文本信息在网络中的传播面积、传播途径和时间线，在信息溯源和多源信息收集时会取得更好的效果。

步骤S5，根据所述文本相似度，对相应的文本进行分类处理和存储。

根据上述相似度的计算结果，对文本进行分类处理，将文本分为相同文本、关联文本、相似文本三种类别，并按照该类别对文本进行分类存储。

优选地，对文本进行分类处理的规则如下：

若相似度满足上述规则一，两个样本即为完全相同的文本，将对比样本归类为与信息源样本相同的文本；

若相似度满足上述规则二，即为包含相同的文本，将对比样本归类为与信息源样本关联的文本；

若相似度满足上述规则三，即为相似文本，将对比样本归类为与信息源样本相似的文本；其相似度为一个百分比数值(％)，在实际操作中可定义相似度的的取值范围，以满足用户的不同需求。

可选地，在存储过程中还可建立特征索引，使三种类别的信息建立关联关系，用作后续计算和文本处理。具体地，可利用唯一特征编码(IndexCode)记录每一个信息源样本和对比样本，在数据库中采用用唯一编号或建立索引关系。

其中，对文本进行分类存储，具体包括：对相同文本进行过滤保存，对关联文本和相似文本进行增量保存。

过滤保存过程能够在保留文本信息的基础上，过滤掉完全重复的信息；增量保存过程能够记录关联文本和相似文本的增量信息进行保存。

具体地，对相同文本，在数据库中存储该文本的记录方式为：

DATA＝{IndexCode，发布时间，来源域名，标题，作者}。

对关联文本，在数据库中存储该文本的记录方式为：

DATA＝{IndexCode+(Bn-An)，发布时间，来源域名，标题，作者}。

对相似文本，在数据库中存储该文本的记录方式为：

DATA＝{IndexCode+(Bn-N)，发布时间，来源域名，标题，作者}。

通过步骤S2至步骤S5，可实现对每一条文本信息进行分类。

基于以上内容，本发明实施例一可以实现的技术效果为：采用整句比对的方法，可对完全相同网络文本信息进行分析和归类，并格式化保留发布时间，来源域名，标题，作者等信息；采用文本相似度计算方法，可将文本分为相同文本、关联文本和相似文本，便于对不同类型的文本进行更好的分类处理和筛选；将相似文本和关联文本用增量记录的方式保存，并且每条信息用唯一特征编码记录(IndexCode)记录关联关系，此关联关系可为持续文本信息的搜索和查询提供可靠的特征条件；因此，在计算机自动获取互联网信息时，可对大量重复信息、变造信息进行筛选和分类，使计算机执行搜索任务时提高搜索效率、优化信息存储方式和节省硬件资源开销。

实施例二

对本发明实施例一对应地，图2示出了本发明实施例提供的一种互联网重复信息筛选系统的结构示意图。所述系统包括：信息获取模块101，样本选取模块102，样本分解模块103，相似度计算模块104，分类处理模块105。

所述信息获取模块101，用于根据预设关键字，获取互联网的相关文本信息。所述信息获取模块101优选为网络爬虫模块，网络爬虫模块可根据一定的规则自动抓取互联网上的信息，在本发明实施例中，可设置规则为抓取含有预设关键字的信息，则网络爬虫模块可从互联网上抓取含有该关键字的文本信息。

所述样本选取模块102，用于利用样本标记程序从所述文本信息中选取信息源样本和对比样本。具体地，所述样本选取模块102从所述文本信息中取出任意一条信息，作为信息源样本；从剩余的所述文本信息中取任意一条信息，作为对比样本。

所述样本分解模块103，用于分别对所述信息源样本和所述对比样本进行分解。所述样本分解模块103可采用整句解析器对上述两个样本进行分解。具体地，所述样本分解模块103以标点符号为分隔符，分别将信息源样本和对比样本的正文内容分解为多个句子。

所述相似度计算模块104，用于根据分解后的所述信息源样本和所述对比样本，计算文本相似度。所述相似度计算模块104可采用对比分类器进行样本对比。具体地，所述相似度模块提取上述两个分解后样本的正文内容，将分解后的所述信息源样本的正文内容An，与分解后的所述对比样本的正文内容Bn进行遍历比对，得出相同句子数量N和不同句子数量M；通过N和M的比值，得出文本相似度。

所述分类处理模块105，用于根据所述文本相似度，对相应的文本进行分类处理和存储。所述分类处理模块105可采用对比分类器对文本进行分类处理和存储。具体地，所述分类处理模块105根据上述相似度的计算结果，对文本进行分类处理，将文本分为相同文本、关联文本、相似文本三种类别，并按照该类别对文本进行分类存储。

可选地，所述分类处理模块105在存储过程中还可建立特征索引，使三种类别的信息建立关联关系，用作后续计算和文本处理。具体地，可利用唯一特征编码(IndexCode)记录每一个信息源样本和对比样本，在数据库中采用用唯一编号或建立索引关系。

所述系统还包括数据库模块，所述数据库模块包括索引数据库和增量文本数据库，索引数据库用于存储唯一特征编码和索引关系，增量文本数据库用于存储关联文本和相似文本的增量信息。所述分类处理模块105对文本进行分类之后，将唯一特征编码和索引关系存储于索引数据库中，将关联文本和相似文本的增量信息存储于增量文本数据库中。

基于以上内容，本发明实施例二可以达到的技术效果是：样本分解模块103和相似度计算模块104采用整句比对的方法，可对完全相同网络文本信息进行分析和归类，并格式化保留发布时间，来源域名，标题，作者等信息；相似度计算模块104采用文本相似度计算方法，可将文本分为相同文本、关联文本和相似文本，便于对不同类型的文本进行更好的分类处理和筛选；分类处理模块105将相似文本和关联文本用增量记录的方式保存，并且每条信息用唯一特征编码记录(IndexCode)记录关联关系，此关联关系可为持续文本信息的搜索和查询提供可靠的特征条件；因此，所述系统在计算机自动获取互联网信息时，可对大量重复信息、变造信息进行筛选和分类，使计算机执行搜索任务时提高搜索效率、优化信息存储方式和节省硬件资源开销。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种互联网重复信息筛选方法，其特征在于，所述系方法包括：

根据预设关键字，获取互联网的相关文本信息；

从所述文本信息中选取信息源样本和对比样本；

分别对所述信息源样本和所述对比样本进行分解；

根据分解后的所述信息源样本和所述对比样本，计算文本相似度；

根据所述文本相似度，对相应的文本进行分类处理和存储。

2.根据权利要求1所述的互联网重复信息筛选方法，其特征在于，所述根据预设关键字，获取互联网的相关文本信息，具体包括：通过网络爬虫从互联网上获取含有所述关键字的文本信息；其中，所述文本信息至少包括：信息来源，信息获取时间，标题，作者，正文内容。

3.根据权利要求1所述的互联网重复信息筛选方法，其特征在于，所述从所述文本信息中选取信息源样本和对比样本，具体包括：

从所述文本信息中取出任意一条信息，作为信息源样本；

从剩余的所述文本信息中取任意一条信息，作为对比样本。

4.根据权利要求1所述的互联网重复信息筛选方法，其特征在于，所述分别对所述信息源样本和所述对比样本进行分解，具体包括：

对所述信息源样本的正文内容进行分解；

对所述对比样本的正文内容进行分解。

5.根据权利要求4所述的互联网重复信息筛选方法，其特征在于，所述对所述信息源样本的正文内容进行分解，具体包括：以标点符号为分隔符，将所述信息源样本的正文内容分解为多个句子。

6.根据权利要求4所述的互联网重复信息筛选方法，其特征在于，所述对所述对比样本的正文内容进行分解，具体包括：以标点符号为分隔符，将所述对比样本的正文内容分解为多个句子。

7.根据权利要求1所述的互联网重复信息筛选方法，其特征在于，根据分解后的所述信息源样本和所述对比样本，计算文本相似度，具体包括：

将分解后的所述信息源样本的正文内容，与分解后的所述对比样本的正文内容进行遍历比对，得出相同句子数量和不同句子数量；

根据所述相同句子数量与所述不同句子数量的比值，得出文本相似度。

8.根据权利要求7所述的互联网重复信息筛选方法，其特征在于，所述根据所述文本相似度，对相应的文本进行分类处理和存储，具体包括：

根据所述文本相似度的计算结果，按照相同文本、关联文本、相似文本三种类别，对相应的文本进行分类处理和分类存储。

9.一种互联网重复信息筛选系统，其特征在于，所述系统包括：信息获取模块，样本选取模块，样本分解模块，相似度计算模块，分类处理模块；

所述信息获取模块，用于根据预设关键字，获取互联网的相关文本信息；

所述样本选取模块，用于从所述文本信息中选取信息源样本和对比样本；

所述样本分解模块，用于分别对所述信息源样本和所述对比样本进行分解；

所述相似度计算模块，用于根据分解后的所述信息源样本和所述对比样本，计算文本相似度；

所述分类处理模块，用于根据所述文本相似度，对相应的文本进行分类处理和存储。

10.根据权利要求9所述的互联网重复信息筛选系统，其特征在于，所述信息获取模块为网络爬虫模块。