CN101158963A - 一种情报收集处理和检索系统 - Google Patents

Abstract

本发明公开了情报收集处理和检索系统，包括：策略管理模块，对数据挖掘处理模块的抓取策略、模式设置以及情报特征进行配置管理；数据挖掘处理模块，根据互联网资源进行搜索，并保存抓取的数据，识别后提取有效信息，进行筛选，将保留的情报信息写入情报数据库保存；检索模块，对情报数据库中情报信息进行加工，生成摘要信息，并对情报信息进行归类，形成索引库；情报数据库，用于存储数据挖掘处理模块传来的情报信息、以及检索模块写回的情报信息，并提供给浏览检索界面进行检索；浏览检索界面，接收用户查询请求，通过情报数据库进行检索。本系统可以比较全面地、及时地收集情报信息，自动进行情报的后续加工处理，并可以集中的检索和浏览。

Description

一种情报收集处理和检索系统

技术领域

本发明涉及一种情报收集处理和检索系统，具体地涉及网络信息处理系统中一种利用网络数据挖掘和自然语言处理及搜索引擎进行情报收集、处理和检索的系统。

背景技术

情报信息分析，是商业活动中的重要环节。而情报信息收集和处理是情报信息得以利用的第一步，也是关键的一步。情报信息收集处理工作的好坏，直接关系到整个情报信息管理工作的质量。为了保证情报信息收集的质量，应做到准确，全面，和时效性。

目前情报信息收集有如下一些手段：社会调查，运用观察、询问等方法直接从社会中了解情况，收集资料和数据；收集新闻媒体情报，包括一般书报的相关记载，业界书报的新制品介绍、业界的动向、商品动向、市场状况等相关记事，有关消费者动态和倾向之杂志报告记事，政府及地方公共团体所发行的消费者调查报告，业界研讨会、讲习会等情报，各种研究机关的调查及建议案等；收集各种专业技术刊物，会议文献，论文，文章，文档等技术和商业资料；收集其他公司内部的市场资料，销售资料，技术资料，人员资料等。

目前的情报信息收集方式主要存在以下问题：1)投入人力物力耗费大。采用社会调查和收集其他公司内部的资料都需要付出额外的人力或者物力，因此通常都作为单次的补充手段或者临时手段；2)难以保障情报信息收集的全面性。通过人员收集新闻媒体情报或者专业刊物上的情报资料，难以保障情报信息收集的全面性。因为相关的媒体情报信息资料与互联网信息资料庞大，通过手工方式很难保障收集的全面性；3)难以保障情报信息收集的及时性。通过人工方式收集，通常效率比较低，周期长，因此难以保障情报信息收集的及时性；4)情报信息的汇总，摘要，整理，分类困难。由于人工方式收集到的资料形式各异，包括电子的，纸质的等形式很难进行汇总，摘要，整理，分类，给后续的分析处理带来困难。

专利200610038392.6中提出了仿人工细粒度网页信息采集方法，能够提高细分采集信息价值，所采集到的细分信息可以直接用于商务情报的分析、各类数据库系统的数据源。但该专利并没有形成完备的情报处理检索系统。

发明内容

本发明要解决的技术问题是提供一种情报收集处理和检索系统，可以比较全面地、及时地收集情报信息，自动进行情报的后续加工处理，并可以集中的检索和浏览，节省大量费用。

为了解决上述问题，本发明提供了一种情报收集处理和检索系统，包括：

策略管理模块，对数据挖掘处理模块的抓取策略、模式设置以及情报特征进行配置管理；

数据挖掘处理模块，根据互联网提供的资源，进行爬行搜索，并将抓取到网络数据保存下来，识别后提取出其中的有效信息，之后进行筛选过滤，将保留的情报信息内容写入情报数据库中保存；

检索模块，对所述情报数据库中情报信息的完整内容进行加工，生成摘要信息，并对情报信息进行归类处理，形成用于搜索的索引库，并提供检索功能；

情报数据库，用于存储所述数据挖掘处理模块传来的情报信息、以及所述检索模块处理后写回的情报信息，并提供给浏览检索界面进行检索；

浏览检索界面，接收使用者查询请求，通过所述情报数据库进行检索，分类查看、浏览摘要及全文内容；

进一步的，本发明所述的系统，其中，所述数据挖掘处理模块的抓取策略，包括：抓取的页面类型、文档类型、抓取站点列表、以及扫描间隔；所述模式设置，包括：页面数据的格式；所述情报特征，包括：所述保留的情报信息的文本文字特征；

进一步的，本发明所述的系统，其中，所述数据挖掘处理模块，还包括：

网络抓取子模块，根据所述抓取策略中互联网页面列表、站点列表或者网段列表，对站点进行爬行搜索，并根据策略中配置的页面类型和文档类型将抓取到的匹配的页面、文档、数据保存下来，并交给模式识别子模块进行处理，同时根据配置的时间策略，定时对抓取结果进行增量更新，或者进行完全的重新抓取；

模式识别子模块，根据所述策略管理模块配置的模式设置，对所述网络抓取子模块抓取下来的内容进行识别，按信息域提取出有效信息，完毕后通知特征识别子模块进行处理；

特征识别子模块，按所述策略管理模块配置的情报特征，对所述模式识别子模块传来的有效信息按信息域进行筛选过滤，过滤掉非情报信息、和非关注情报，保留关注的情报信息内容，将其写入所述情报数据库中保存；

进一步的，本发明所述的系统，其中，所述网络抓取子模块，对指定站点进行爬行搜索的过程，由系统定期自动进行或者手动触发；

进一步的，本发明所述的系统，其中，所述网络抓取子模块，还用于对地址段进行大范围的扫描收集；

进一步的，本发明所述的系统，其中，所述检索模块，还包括：

自动摘要子模块，读取所述情报数据库中的情报信息的完整内容，对内容字段中的文本信息进行加工，生成整个情报内容的摘要信息，并保存回所述情报数据库中；

自动分类子模块，读取所述情报数据库中的情报信息的完整内容，根据内容字段中的文本信息进行归类处理、生成分类类别，并将生成的类别信息保存回所述情报数据库中；

搜索引擎子模块，读取所述情报数据库中的情报信息的完整内容，并根据内容字段中的文本信息生成用于搜索的索引库，该索引库独立保存，提供检索功能；

进一步的，本发明所述的系统，其中，所述自动摘要子模块，使用自然语言处理方式的摘要生成方法，根据所述文本信息自动生成摘要信息；

进一步的，本发明所述的系统，其中，所述自动分类子模块，使用自然语言处理方式的文章分类方法，根据所述文本信息自动进行情报信息的归类；

进一步的，本发明所述的系统，其中，所述浏览检索界面，包括：普通窗口界面、以及网页界面。

与现有技术相比，本发明所述系统，实现了以下有益效果：

(1)费用节省。通过互联网信息抓取方式，可以免费地获取情报信息，除某些站点和资料需要协议付费外，大量的站点和资料可以免费访问；

(2)可以比较全面地收集情报信息。由于可以指定页面，站点，甚至网段进行爬行抓取，因此系统可以针对这些站点的内容进行全面的爬行抓取，并通过特征识别模块获取较准确的情报信息。对于站点中的新信息，系统能够在爬行遍历中捕获到和模式识别自动提取出来；

(3)可以及时地收集情报信息。网络抓取模块根据配置的策略，定时地对站点进行爬行抓取，对变化的信息进行更新，同时发现新的信息，使情报数据库中的记录能够保持最新状态；

(4)系统自动进行情报的后续加工处理。系统中，摘要模块和分类模块可以对情报数据库中的情报信息进行加工处理，搜索引擎系统对情报信息创建索引，便于情报分析时分类检索和查询；

(5)可以集中的检索和浏览，由于收集和加工处理的情报信息都存储在情报数据库中，因此便于通过浏览检索界面进行分类检索和搜索查询浏览。

附图说明

图1是本发明实施例中提出的一种情报收集和处理系统的结构示意图；

图2是本发明实施例中情报信息的检索和浏览过程的方法流程图。

具体实施方式

本发明为了解决传统技术方案存在的弊端，通过以下具体实施例进一步阐述本发明所述的一种情报收集处理和检索系统，以下对具体实施方式进行详细描述，但不作为对本发明的限定。

如图1所示，是本发明实施例中提出的一种情报收集和处理系统的结构示意图，其中虚框部分是系统外部模块，其他是系统内部模块，该系统包括：

策略管理模块102，完成配置管理功能，包括抓取模块的抓取策略配置，模式识别模块的模式设置，特征识别模块的情报特征配置；系统管理员通过策略管理模块配置抓取模块的策略，包括抓取的页面类型，文档类型，抓取站点列表，扫描间隔等策略，策略配置好后会传送给抓取模块；模式设置主要是页面数据的格式数据，设置后会传送给模式识别模块；特征配置是所关心的情报信息的文本文字特征，设置后会传送给特征识别模块；

网络抓取模块104，基于现有的成熟的网络爬虫技术，根据设置的抓取策略中的站点列表、站点列表或者网段列表，逐一对站点进行访问，在站点内部，从入口地址进入后，按爬行策略对关联网址进行抓取。网络抓取模块根据策略中配置的页面类型和文档类型，抓取匹配的内容。网络抓取模块根据配置的时间策略，定时对抓取结果进行增量更新，或者进行完全的重新抓取；

模式识别模块106，是对网络抓取模块所抓取内容的提取过程；由于互联网页面上所抓取的内容很复杂，同时包含大量的格式，排版，广告等无用的信息，因此模式识别首先就是要将有用的信息提取出来，将无用信息去除掉；目前的模式识别的商用模块不仅能完成上述步骤，还能完成从文本信息中完成信息域的提取，如商品名称，价格，型号等信息域，这些信息域能为后续的情报过滤和加工及检索提高更有效的方式；

特征识别模块108，对有效信息进行进一步的识别过滤，按所述策略管理模块配置的情报特征，过滤掉非情报信息、和非关注情报，找出系统所关心的情报信息，本模块需要按信息域，对各信息域中的内容按条件进行筛选，并将筛选出的关注的情报信息内容写入所述情报数据库110中保存；

情报数据库110，用来存储特征识别模块108传来的情报内容，后续的如自动摘要模块112、自动分类模块114和搜索引擎模块116都要从情报数据库中提取情报内容，处理后的结果包括各条情报的摘要信息等，各条情报处理后的结果也写入情报数据库中，浏览检索界面118可以依据数据库内容进行检索，分类浏览；

自动摘要模块112，利用自然语言处理的摘要生成方法，根据文章信息自动生成摘要信息；商用系统中已经能够提供实用化的摘要模块，在情报收集和分类系统中自动摘要模块读取所述情报数据库110中的情报信息的完整内容，对内容字段中的文本信息进行加工，生成情报信息的摘要，生成的情报信息的摘要保存在情报数据库110中；

自动分类模块114，利用自然语言处理的文章分类方法，根据文章信息自动进行文章的归类；商用系统中已经能够提供实用化的分类模块，在情报收集和分类系统中自动分类模块用来完成情报信息的归类，读取所述情报数据库110中的情报信息的完整内容，根据内容字段中的文本信息进行归类处理，生成的情报信息的类别信息保存在情报数据库110中；

搜索引擎模块116，利用搜索引擎全文检索技术，读取所述情报数据库110中的情报信息的完整内容，并根据内容字段中的文本信息生成索引库，该索引库独立保存，并为浏览检索界面提供搜索信息的功能；

浏览检索界面118，浏览检索界面一般有普通窗口界面或者网页界面等形式；接收使用者的请求和输入，对情报数据库的内容进行检索，使用者可以分类检索，可以浏览情报的摘要信息或完整内容，可以采用数据库信息检索或者搜索引擎检索方式来实现。

如图2所示，是本发明实施例中情报信息的检索和浏览过程的方法流程图，以从互联网抓取情报信息，进行模式识别，特征识别，写入数据库，进行自动摘要，进行自动分类处理，通过界面进行情报信息的检索和浏览过程为例，详细说明与本发明所述系统对应的方法，包括以下步骤：

步骤201，系统管理员通过策略管理模块设置抓取模块的策略，设置模式识别模块的模式，设置特征识别模块的特征；

步骤202，网络抓取模块根据配置的时间策略，启动，开始抓取指定站点的页面数据及文档；

步骤203，网络抓取模块抓取完毕后，通知模式识别模块进行识别处理；

步骤204，模式识别模块开始识别，从抓取内容中提取有效信息，识别出信息域；

步骤205，模式识别模块处理完毕后，通知特征识别模块开始识别处理；

步骤206，特征识别模块根据所设置的情报的信息域特征对情报信息逐条处理，过滤掉非情报信息，和非关注情报；

步骤207，特征识别模块处理完毕后，得到多条系统所关注的情报信息，特征识别模块将信息逐条写入数据库中；

步骤208，自动摘要模块从情报数据库中逐条读出情报记录，并根据内容字段中的文本信息生成内容摘要，然后将内容摘要写回数据库，填入对应的情报记录的摘要字段中；

步骤209，自动分类模块从情报数据库中逐条读出情报记录，并根据内容字段中的文本信息生成分类类别，然后将类别写回数据库，填入对应的情报记录的类别字段中；

步骤210，搜索引擎模块从情报数据库中逐条读出情报记录，并根据内容字段中的文本信息生成索引库，索引库独立保存；

步骤211，浏览检索界面接收使用者查询请求，从索引库进行全文检索，从数据库中提取情报信息记录，并展示给使用者。

利用网络数据挖掘技术，系统可以自动地对指定的互联网页面，互联网站点进行定期的扫描和跟踪，通过模式识别的方式收集站点中的页面信息、电子文档、站点数据库中信息，并通过情报特征识别的提取所需的情报信息。除了指定站点列表收集外，还可以进行地址段方式的大范围的扫描收集。除了能收集中文情报资料外，还能收集其他语言的情报资料；

收集到的情报信息保存在情报数据库中，对收集到的情报信息进行自动摘要处理，生成情报信息的摘要，进行情报信息的自动归类，在此基础上情报分析人员可以通过浏览客户端方便地检索情报库中的情报信息。

综上所述，通过上述方式，用户通过自动情报收集和自动处理系统，完成情报的自动搜集、更新、入库，完成情报的处理，包括自动摘要，自动分类和创建搜索引擎索引库。在检索系统的帮助下，用户可以很方便地进行搜索、检索、浏览情报信息。

当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (9)

1.一种情报收集处理和检索系统，其特征在于，包括：

策略管理模块，对数据挖掘处理模块的抓取策略、模式设置以及情报特征进行配置管理；

数据挖掘处理模块，根据互联网提供的资源，进行爬行搜索，并将抓取到网络数据保存下来，识别后提取出其中的有效信息，之后进行筛选过滤，将保留的情报信息内容写入情报数据库中保存；

检索模块，对所述情报数据库中情报信息的完整内容进行加工，生成摘要信息，并对情报信息进行归类处理，形成用于搜索的索引库，并提供检索功能；

情报数据库，用于存储所述数据挖掘处理模块传来的情报信息、以及所述检索模块处理后写回的情报信息，并提供给浏览检索界面进行检索；

浏览检索界面，接收使用者查询请求，通过所述情报数据库进行检索，分类查看、浏览摘要及全文内容。

2.如权利要求1所述的系统，其特征在于，所述数据挖掘处理模块的抓取策略，包括：抓取的页面类型、文档类型、抓取站点列表、以及扫描间隔；

所述模式设置，包括：页面数据的格式；

所述情报特征，包括：所述保留的情报信息的文本文字特征。

3.如权利要求2所述的系统，其特征在于，所述数据挖掘处理模块，还包括：

网络抓取子模块，根据所述抓取策略中互联网页面列表、站点列表或者网段列表，对站点进行爬行搜索，并根据策略中配置的页面类型和文档类型将抓取到的匹配的页面、文档、数据保存下来，并交给模式识别子模块进行处理，同时根据配置的时间策略，定时对抓取结果进行增量更新，或者进行完全的重新抓取；

模式识别子模块，根据所述策略管理模块配置的模式设置，对所述网络抓取子模块抓取下来的内容进行识别，按信息域提取出有效信息，完毕后通知特征识别子模块进行处理；

特征识别子模块，按所述策略管理模块配置的情报特征，对所述模式识别子模块传来的有效信息按信息域进行筛选过滤，过滤掉非情报信息、和非关注情报，保留关注的情报信息内容，将其写入所述情报数据库中保存。

4.如权利要求3所述的系统，其特征在于，所述网络抓取子模块，对指定站点进行爬行搜索的过程，由系统定期自动进行或者手动触发。

5.如权利要求3所述的系统，其特征在于，所述网络抓取子模块，还用于对地址段进行大范围的扫描收集。

6.如权利要求1所述的系统，其特征在于，所述检索模块，还包括：

自动摘要子模块，读取所述情报数据库中的情报信息的完整内容，对内容字段中的文本信息进行加工，生成整个情报内容的摘要信息，并保存回所述情报数据库中；

自动分类子模块，读取所述情报数据库中的情报信息的完整内容，根据内容字段中的文本信息进行归类处理、生成分类类别，并将生成的类别信息保存回所述情报数据库中；

搜索引擎子模块，读取所述情报数据库中的情报信息的完整内容，并根据内容字段中的文本信息生成用于搜索的索引库，该索引库独立保存，提供检索功能。

7.如权利要求6所述的系统，其特征在于，所述自动摘要子模块，使用自然语言处理方式的摘要生成方法，根据所述文本信息自动生成摘要信息。

8.如权利要求6所述的系统，其特征在于，所述自动分类子模块，使用自然语言处理方式的文章分类方法，根据所述文本信息自动进行情报信息的归类。

9.如权利要求1所述的系统，其特征在于，所述浏览检索界面，包括：普通窗口界面、以及网页界面。

Images