CN101840432A

CN101840432A - 一种基于Deep Web深层动态数据的数据挖掘装置及方法

Info

Publication number: CN101840432A
Application number: CN 201010168286
Authority: CN
Inventors: 张振海; 雷华平
Original assignee: TONGFANG KNOWLEDGE NETWORK (BEIJING) TECHNOLOGY Co Ltd
Current assignee: TONGFANG KNOWLEDGE NETWORK (BEIJING) TECHNOLOGY Co Ltd
Priority date: 2010-05-11
Filing date: 2010-05-11
Publication date: 2010-09-22
Anticipated expiration: 2030-05-11
Also published as: CN101840432B

Abstract

本发明公开了一种基于Deep Web深层动态数据的数据挖掘装置及方法，所述装置包括：商用服务器、数据存储服务器、数据索引服务器及文件服务器，基于所述装置的装置系统包括：采集模拟主题词库管理系统、采集任务调度管理系统、采集服务器及采集存储调度系统。本发明提供了一种数量大、数据质量高、实时性强、易于深度分析的动态数据获取手段，弥补了常规搜索引擎获取数据的数量质量均有限的不足；而且本发明操作简便实用，定制功能丰富，可扩展性健壮性好，用户可以根据特定或者专题性强的需求定制采集并重建管理数据库，很大程度的提供了数据的利用效率，扩展了数据来源和信息资源。

Description

一种基于Deep Web深层动态数据的数据挖掘装置及方法

技术领域

本发明涉及数据挖掘装置及方法，尤其涉及一种基于Deep Web(暗网)互联网深层动态数据的数据挖掘装置及方法。

背景技术

对于企业竞争情报领域，用户需要从广泛的互联网领域里寻找对自己有用的或者不利的信息，而通过普通的搜索引擎很难达到用户的目的，原因之一是搜索引擎分散导致很难获取完整的数据，二是搜索引擎只能获取静态的网页数据，而不能获得动态数据，也不能获取通过检索引擎等查询接口的数据，更不能获取企业内部数据或者购买的商业数据，这些数据都是Deep Web数据。而且，静态的网页数据只是占了整个WEB数据的很小一部分，远远不能满足用户的需求。

对于学术研究领域，用户希望获取资源的范围越广泛越好，越专业越好。而专业领域的数据大多是属于Deep Web数据，往往不能通过普通的搜索引擎获取，而是通过自建数据库、专业的搜索引擎或者购买的商业数据库获取。

现有相关的其他技术比较少见，现有文献中几乎没有同样的技术方案，另外，大部分方案是针对普通网页WEB(即浅层网页)数据的采集系统，和采集深层网页数据的模式是截然不同的，其WEB(即浅层网页)数据的采集系统图如图1所示。

发明内容

为解决上述中存在的问题与缺陷，本发明提供了一种基于Deep Web深层动态数据的数据挖掘装置及方法。所述技术方案如下：

一种基于Deep Web深层动态数据的数据挖掘装置，该装置包括商用服务器、数据存储服务器、数据索引服务器及文件服务器，基于所述装置的装置系统包括：

采集模拟主题词库管理系统，用于输入数据挖掘的检索条件或需采集的词库；

采集任务调度管理系统，用于读取采集模拟主题词库管理系统中的词库数据，并根据读取的词库数据对采集任务进行调度和管理；

采集服务器，根据配置和管理生成的检索条件，对目标数据源进行模拟访问并解析，将获取的数据通过所述采集任务调度管理系统返回到采集存储调度系统；

采集存储调度系统，用于将接收到的数据进行存储并根据索引设置进行字段索引处理，以获得数据采集结果并发送到采集库发布管理平台；

采集库发布管理平台，将获取的数据进行分类管理和应用。

一种基于Deep Web深层动态数据的数据挖掘方法，包括：

A、导入采集的特征词词典；

B、创建数据挖掘采集任务；

C、启动数据挖掘采集任务；

D、对采集的数据进行发布与应用。

本发明提供的技术方案的有益效果是：

本发明提供了一种数量大、数据质量高、实时性强、易于深度分析的动态数据获取手段，弥补了常规搜索引擎获取数据的数量质量均有限的不足；而且本发明操作简便实用，定制功能丰富，可扩展性健壮性好，用于企业竞争情报领域和科研院所学术研究领域，用户可以根据特定或者专题性强的需求定制采集并重建管理数据库，很大程度的提供了数据的利用效率，扩展了数据来源和信息资源。

附图说明

图1是现有技术提供的普通网页WEB数据采集系统结构图；

图2是基于深层WEB网页的数据挖掘装置系统图；

图3是分布式DEEP WEB动态数据采集系统图；

图4是Deep Web深层动态数据的数据挖掘方法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述：

实施例1

本实施例提供了一种基于Deep Web(暗网)深层动态网页数据的数据挖掘装置。该装置包括至少一台商用服务器，硬件基本配置为4CPU，8G内存，1T磁盘空间，包括预装Windows 2003/2000 Server操作系统和ASP.NET应用服务器，虚拟操作系统三个并可以扩展，用于操作系统级别的分布式采集系统的部署；采用服务器级别的分布式采集功能，则可以按照需要扩展到多台商用服务器。至少三台数据存储服务器，以数据存储和集成为中心的数据库存储系统，预装支持海量存储和全文索引功能的关系型数据库系统，比如微软的SQLServer系统。至少一台数据索引服务器，主要存储采集数据的索引信息，目的是加快数据集成、检索速度和效率。至少一台文件服务器，主要存储采集的文件格式的信息，包括图片、网页等。

参见图2，提供了基于深层WEB网页的数据挖掘装置系统图，包括WEB深层数据挖掘装置，该WEB深层数据挖掘装置分别通过WEB检索引擎(如百度)、专业检索引擎(如Sicrus学术数据库搜索平台)、本地检索引擎(如关系型数据库、局域网系统)来检索Web浅层网页数据、Web深层网页数据包括局域网本地自建或采购数据。

参见图3，提供了分布式DEEP WEB动态数据采集系统，该系统包括：采集模拟主题词库管理系统、采集任务调度管理系统、采集服务器、采集存储调度系统及采集库发布管理平台。其中，采集模拟主题词库管理系统，用于输入数据挖掘的检索条件或需采集的词库，该词库也可以通过采集器自动创建，也可以通过词典表自动导入导出。采集任务调度管理系统，用于读取采集模拟主题词库管理系统中的词库数据，并根据读取的词库数据对采集任务进行调度和管理，其用户按照预先设定的需求，通过系统的导航功能，创建数据挖掘采集任务。采集服务器，系统在规定的时间执行数据挖掘采集任务，自动启动采集服务器程序进行采集，其采集服务器根据配置和管理生成的检索条件，对目标数据源进行模拟访问并解析，将获取的数据通过所述采集任务调度管理系统返回到采集存储调度系统。采集存储调度系统，接收采集服务器中获取的数据，将获取的数据存储并根据索引设置进行字段索引处理，以获得数据采集结果并发送到采集库发布管理平台。采集库发布管理平台，用户可以根据特定的需求，对获取的数据进行分类管理或者应用等等，比如建设某个学科如化学类的专家主体数据库。

上述采集库发布管理平台还用于创建采集任务和调度信息并将所述调度信息输出到采集任务调度管理系统，所述的调度信息是根据调度策略进行的，其调度策略包括任务优先级、任务复杂系数及任务等待时间。所述采集服务器中还设置有分布式负载均衡调度逻辑控制器，该负载均衡调度逻辑控制器根据接收到的任务并基于智能分析算法对采集服务器进行均衡调度。其采集服务器包括面向互联网浅层WEB资源的采集器和面向DEEP WEB深层数据资源的采集器两大类，所述面向DEEP WEB深层数据资源包括包括关系型数据库资源、协议资源等。

实施例2

本实施例提供了一种基于Deep Web深层动态数据的数据挖掘方法，参见图4，该方法包括以下步骤：

步骤101导入采集的特征词词典；

通过采集发布管理平台，在采集模拟主题词库管理系统中，输入数据挖掘的特定检索条件或者需要采集的词库。所述词库也可以通过采集器自动创建，也可以是通过词典表自动导入导出。

步骤102创建数据挖掘采集任务；

通过采集发布管理平台，在采集任务调度管理系统中，用户按照预先设定的需求，通过系统的导航功能，创建数据挖掘采集任务，如表1，这个过程比较灵活，可个性化的选择数据来源、格式，参见表2，选择执行采集任务的时间、周期、采集策略，参见表3，选择数据存储目标地址，过滤条件等等。

表1

表2

表3

步骤103启动数据挖掘采集任务；

系统在规定时间执行数据挖掘采集任务，自动启动采集服务器程序进行采集。采集过程基本流程是这样的：采集任务调度管理系统获取模拟词库系统的关键词，自动组合成用于采集的检索条件，然后，对目标数据源进行模拟检索并解析返回的数据，然后根据采集任务中用户设定的过滤规则对数据进行过滤，最后按照指定格式和设置进行存储，并根据索引设置进行字段索引处理，将非结构化数据进行规范，并以结构化格式存储。

采集过程中用户可以随时查看采集任务的进度，暂停或者重启采集的子任务，或者调整采集的时间、存储策略，分布式均衡调度逻辑控制器基于智能分析算法进行调度。

当采集任务执行完成，系统会自动生成采集结果报告供用户查看。

步骤104采集数据的发布应用；

在数据库发布管理平台，用户可以根据特定的需求，对获取的数据进行分类管理或者应用等等，比如建设某个学科如化学类的专家主题数据库。

本实施例包括了面向WEB资源的采集、针对WEB资源页面分析技术和结果抽取、面向协议方式访问资源的采集、基于智能分析的分布式调度及数据索引存储技术等。

本实施例所述数据的挖掘采集任务包括：

按照主题的数据采集功能，用户可以通过界面录入或者文件导入的方式规定数据采集的主题词表，采集系统自动按照词表进行采集，并生成目标数据库。

按照检索条件的数据采集功能，用户规定数据采集的条件，采集的条件可以是一个逻辑表达式，也可以是个简单的自然描述语句，系统可以自动解析输入规则，比如需要从数据源的全文字段中获取包含“某产品名称”的信息，而不需要包括“某公司名称”的信息，采集系统自动解析并生成对应的检索条件如全文＝“某产品名称”and not全文＝“某公司名称”，然后进行采集，并生成目标数据库。

自定义数据来源的数据采集功能，对于采集的数据源，系统在安装过程中已经为用户预先配置了可以采集的数据源列表，用户可以定制，可以在采集任务管理界面做出类似超市购物的选择，根据需要选择哪些数据来源，不需要哪些数据来源；而且还可以定制采集该数据源的哪些字段。

自定义目标数据的过滤、分类和存储等功能，对于采集的目标数据，用户可以定义一些简单的过滤规则，可以进行分类和存储管理，指定索引字段、存储方式和位置等，对文件信息包括网页和图片，还可以存储到指定的文件服务器中。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims

1.一种基于Deep Web深层动态数据的数据挖掘装置，该装置包括商用服务器、数据存储服务器、数据索引服务器及文件服务器，其特征在于，基于所述装置的装置系统包括：

采集库发布管理平台，将获取的数据进行分类管理和应用。

2.根据权利要求1所述的基于Deep Web深层动态数据的数据挖掘装置，其特征在于，采集库发布管理平台还用于创建采集任务和调度信息并将所述调度信息输出到采集任务调度管理系统；

所述的调度信息是根据调度策略进行的，其调度策略包括任务优先级、任务复杂系数及任务等待时间。

3.根据权利要求1所述的基于Deep Web深层动态数据的数据挖掘装置，其特征在于，所述采集服务器中还设置有分布式负载均衡调度逻辑控制器，该负载均衡调度逻辑控制器根据接收到的任务并基于智能分析算法对采集服务器进行均衡调度。

4.根据权利要求1所述的基于Deep Web深层动态数据的数据挖掘装置，其特征在于，所述采集服务器包括面向互联网浅层WEB资源的采集器和面向DEEP WEB深层数据资源的采集器，所述面向DEEP WEB深层数据资源包括关系型数据库资源与协议资源；其采集服务器在采集数据时还根据其过滤规则对解析后的数据源进行过滤。

5.根据权利要求1所述的基于Deep Web深层动态数据的数据挖掘装置，其特征在于，所述商用服务器至少包括一台，数据存储服务器至少包括三台，数据索引服务器至少包括一台，文件服务器至少包括一台。

6.一种基于Deep Web深层动态数据的数据挖掘方法，其特征在于，该方法包括：

A、导入采集的特征词词典；

B、创建数据挖掘采集任务；

C、启动数据挖掘采集任务；

D、对采集的数据进行发布与应用。

7.根据权利要求6所述的基于Deep Web深层动态数据的数据挖掘方法，其特征在于，所述步骤C之前还包括：对采集任务进行调度。

8.根据权利要求6所述的基于Deep Web深层动态数据的数据挖掘方法，其特征在于，所述步骤C具体包括：

对接收到的目标数据源进行模拟访问并解析；

根据用户的过滤规则对数据进行过滤，将获取的过滤后的数据按照用户指定格式和设置进行存储。

9.根据权利要求6所述的基于Deep Web深层动态数据的数据挖掘方法，其特征在于，所述步骤D还包括：根据需要，对获取的数据进行分类管理和应用。

10.根据权利要求6所述的基于Deep Web深层动态数据的数据挖掘方法，其特征在于，所述数据的挖掘采集任务包括按照主题的数据采集、按照检索条件的数据采集、自定义数据来源的数据采集及自定义目标数据的过滤、分类和存储。