CN101944113B - 一种基于云计算系统的智能数据采集系统 - Google Patents

Abstract

本发明提供一种基于云计算系统的智能数据采集系统及其数据采集方法，包括分别部署在云计算系统的主节点和从节点上主节点子系统、从节点子系统，主节点子系统包括连接智能库模块、处理智能库模块、存储智能库模块、智能分析决策模块、云计算辅助管理主节点模块；从节点子系统包括前台连接模块、数据处理模块、后台存储模块、云计算辅助管理从节点模块。本发明的优点在于采用智能分析决策，为用户的任务决策提供有效的信息；同时利用云计算系统超大规模的特点进行海量数据处理，解决了数据不断增长对系统性能造成的影响。

Description

一种基于云计算系统的智能数据采集系统

技术领域

 本发明涉及计算机网络的数据采集系统，尤其是针对具有海量数据的数据库的智能化采集。

背景技术

云计算（cloud computing），分布式计算技术的一种，其最基本的概念，是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统经搜寻、计算分析之后将处理结果回传给用户。透过这项技术，网络服务提供者可以在数秒之内，达成处理数以千万计甚至亿计的信息，达到和“超级计算机”同样强大效能的网络服务。

一个基于云计算技术的计算机集群称为“云”。云计算具有以下特

点： 

(1) 超大规模。“云”具有相当的规模，企业私有云一般拥有数百上千台服务器。“云”能赋予用户前所未有的计算能力； 

(2) 虚拟化。云计算支持用户在任意位置、使用各种终端获取应用服务。所请求的资源来自“云”，而不是固定的有形的实体。应用在“云”中某处运行，但实际上用户无需了解、也不用担心应用运行的具体位置；　　

(3) 高可靠性。“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性，使用云计算比使用本地计算机可靠； 

(4) 通用性。云计算不针对特定的应用，在“云”的支撑下可以构造出千变万化的应用，同一个“云”可以同时支撑不同的应用运行；

(5) 高可扩展性。“云”的规模可以动态伸缩，满足应用和用户规模增长的需要； 

(6) 极其廉价。由于“云”的特殊容错措施可以采用极其廉价的节点来构成云。

数据采集指从一个系统或者终端获取数据，并按照一定的格式存储进入另一个系统或者终端的过程。计算机科学中的数据采集根据终端和系统的不同可以进行不同划分，其中一种就是从异构的分散的数据库中采集数据，然后进行统一的数据管理和存储。在移动搜索中，需要采集大量的用户数据和移动环境数据。移动数据具有两个主要特点，分散化和海量性。分散化指移动数据存在于运营商的各种异构数据库中，且分散于各个数据中心。海量性是指由于时间的累积和用户的增长，移动用户的消费记录和无线环境数据都会呈现海量的特点。

各个结点采集的数据，可以通过定义统一的数据格式而达到分散数据整合的目的，云计算透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统经搜寻、计算分析之后将处理结果回传给用户的特点，可以将分散的移动数据整合到一个统一的平台上加以利用，这是其他计算模式无法提供的优点。对于单个结点采集到的海量数据，云计算通过自己的超大规模和高容错能力，更好的发挥整个系统的处理能力而不是单个结点的处理能力。

此外，21世纪是智能化的时代，包括三大智能化，信息的智能化——信息搜索，能源的智能化——低碳能源，物体的智能化——物联网。目前智能化的进步飞速，各种智能的系统和方法应允而生。目前，数据采集系统还有很多不足。第一，前台系统的改变，尤其是前台数据库系统由于业务或者升级等原因的改变，导致采集系统的不能适应这种变化。第二，很多数据采集系统设计的ETL工具的灵活度低，尤其是不能对系统的情况形成很好的反馈。鉴于以上情况，本发明提供了一种有效的系统和方法来解决这些问题。

发明内容

为了实现移动数据的海量智能化的采集和存储，本发明提供了一种基于云计算系统的智能数据采集系统，部署在云计算系统中，其特征是：所述系统包括分别部署在云计算系统主节点和从节点的主节点子系统和从节点系统，其中，所述主节点子系统包括：

连接智能库模块：主要用于前台连接，包括：提供预连接的SQL语句，生成预连接任务化参数，生成前台连接任务化参数；

处理智能库模块：用于选择数据的处理方式，定义统一的数据格式，确定数据内容的筛选策略，生成数据处理任务化参数；生成数据处理任务输出；

存储智能库模块：用于选择后台存储的策略，生成预存储任务化参数，生成存储任务化参数；生成后台预存储任务输出；

智能分析决策模块：主要用于调用所述连接智能库模块、处理智能库模块、处理智能库模块，分别生成针对从节点的预连接任务、预处理任务、预存储任务，提交给云计算辅助管理主节点模块；接收云计算辅助管理主节点模块的预连接反馈信息，包括预连接信息、预处理信息、预存储信息，根据该反馈信息生成数据采集任务，或者用户报告，提交云计算辅助管理主节点模块；

云计算辅助管理主节点模块：是主节点子系统与云计算系统的接口界面，用于接收用户提交的数据采集任务，提交给智能分析决策模块，然后接受智能分析决策模块的任务输出，通过给云计算系统提交给从节点的云计算辅助管理从节点模块； 

所述从节点子系统包括：

前台连接模块：用于通过JDBC接口连接前台的各种异构数据库，并反馈前台连接信息；

数据处理模块：根据前台预连接的信息为各种异构数据库的表生成相应的数据表格处理类和函数，对采集的数据进行必要的处理，包括数据格式转化、文本处理，并反馈数据处理信息；

后台存储模块：实现将经过预处理的数据，存储到云计算系统的文件系统中，或者通过JDBC接口存储到新建数据库中，并反馈存储信息；

云计算辅助管理从节点模块：是从节点子系统与云计算系统的接口界面，用于接收云计算辅助管理主节点模块的预连接任务、预处理任务、预存储任务，数据采集任务，调用所述前台连接模块、数据处理模块、后台存储模块，并将各种反馈信息通过云计算系统返回给云计算辅助管理主节点模块。

一种基于云计算系统的智能数据采集系统的数据采集方法，其特征在于，包括以下步骤：

步骤1：云计算辅助管理主节点模块接收用户提交的一个数据采集请求，提交给智能分析决策模块；

步骤2：智能分析决策模块调用连接智能库模块，生成预连接任务输出到云计算辅助管理主节点模块；

步骤3：云计算辅助管理主节点模块将预连接任务通过云计算系统提交给从节点上的云计算辅助管理从节点模块；

步骤4：云计算辅助管理从节点模块调用前台连接模块，通过JDBC接口连接前台的各种异构数据库，并向云计算辅助管理从节点模块反馈前台连接信息；

步骤5：云计算辅助管理从节点模块将前台预连接反馈信息通过云计算系统返回给云计算辅助管理主节点模块，并最终反馈智能分析决策模块，智能分析决策模块根据反馈的信息进行分支判断选择：

如果反馈的预连接信息表示预连接任务执行成功，则由智能分析决策模块调用处理智能库模块，生成预处理任务输出到云计算辅助管理主节点模块；云计算辅助管理主节点模块通过给云计算系统提交给从节点的云计算辅助管理从节点模块；云计算辅助管理从节点模块调用数据处理模块，根据前台预连接的信息为各种异构数据库的表生成相应的数据表格处理类和函数，对采集的数据进行必要的处理，包括数据格式转化、文本处理，并反馈数据处理信息，并向云计算辅助管理从节点模块反馈预处理信息；

否则，生成预连接失败信息，反馈用户；

步骤6：云计算辅助管理从节点模块将数据预处理反馈信息通过云计算系统返回给云计算辅助管理主节点模块，并最终反馈智能分析决策模块，智能分析决策模块根据反馈的信息进行分支判断选择：

如果反馈的预处理信息表示数据预处理任务执行成功，则由智能分析决策模块调用存储智能库模块，生成后台预存储任务输出到云计算辅助管理主节点模块；云计算辅助管理主节点模块通过给云计算系统提交给从节点的云计算辅助管理从节点模块；云计算辅助管理从节点模块调用后台存储模块，实现将经过预处理的数据，存储到云计算系统的文件系统中，或者通过JDBC接口存储到新建数据库中，并向云计算辅助管理从节点模块反馈后台预存储信息；

否则，生成预处理失败信息，反馈用户；

步骤7：云计算辅助管理从节点模块将预存储反馈信息通过云计算系统返回给云计算辅助管理主节点模块，并最终反馈智能分析决策模块，智能分析决策模块根据后台预存储反馈信息进行分支判断选择：

如果反馈的预存储信息表示后台预存储任务执行成功，则由智能分析决策模块生成数据采集任务输出到云计算辅助管理主节点模块；云计算辅助管理主节点模块通过给云计算系统提交给从节点的云计算辅助管理从节点模块；云计算辅助管理从节点模块调用所述前台连接模块、数据处理模块、后台存储模块，并将相应反馈信息通过云计算系统返回给云计算辅助管理主节点模块；

否则，生成预储存失败信息，反馈用户。

本发明的优点在于：第一，采用智能分析决策，尤其是对了解不深或者未知系统利用反馈决策机制，将前台数据库的基本情况和后台存储遇到的问题形成一份完成的反馈报告，可以为用户的任务决策提供有效的信息；第二，采用云计算网络，利用云计算将大程序分解成小程序然后整合形成结果的特点，实现分散的数据的统一整合，对单个结点采集到的海量数据可以通过上传到云计算系统，进而利用云计算网络超大规模的特点进行海量数据处理，解决了数据不断增长对系统性能造成的影响。第三，采用分级决策机制，各个决策都是以前一个决策成功的基础上继续进行，保证各个决策都是有逻辑先后的顺序，实现科学智能的决策。第四，各个不同数据库采集的数据是分散没有统一的数据格式，通过本系统之后定义统一的格式可以实现不同数据的整合。

附图说明

图1 为本发明的一种基于云计算系统的智能数据采集系统示意图。

图2 为本发明的一种基于云计算系统的智能数据采集系统方法流程图的前部分。

图3 为本发明的一种基于云计算系统的智能数据采集系统方法流程图的后续部分。

具体实施方式

有关本发明的技术内容及详细说明，现结合附图说明如下：

请参阅图1，一种基于云计算系统的智能数据采集系统，部署在云计算系统中，其特征是：所述系统包括分别部署在云计算系统主节点和从节点的主节点子系统和从节点系统，其中，所述主节点子系统包括：

连接智能库模块：主要用于前台连接，包括：提供预连接的SQL语句，生成预连接任务化参数，生成前台连接任务化参数；

处理智能库模块：用于选择数据的处理方式，定义统一的数据格式，确定数据内容的筛选策略，生成数据处理任务化参数；生成数据处理任务输出；

存储智能库模块：用于选择后台存储的策略，生成预存储任务化参数，生成存储任务化参数；生成后台预存储任务输出；

智能分析决策模块：主要用于调用所述连接智能库模块、处理智能库模块、处理智能库模块，分别生成针对从节点的预连接任务、预处理任务、预存储任务，提交给云计算辅助管理主节点模块；接收云计算辅助管理主节点模块的预连接反馈信息，包括预连接信息、预处理信息、预存储信息，根据该反馈信息生成数据采集任务，或者用户报告，提交云计算辅助管理主节点模块；

云计算辅助管理主节点模块：是主节点子系统与云计算系统的接口界面，用于接收用户提交的数据采集任务，提交给智能分析决策模块，然后接受智能分析决策模块的任务输出，通过给云计算系统提交给从节点的云计算辅助管理从节点模块； 

所述从节点子系统包括：

前台连接模块：用于通过JDBC接口连接前台的各种异构数据库，并反馈前台连接信息；

数据处理模块：根据前台预连接的信息为各种异构数据库的表生成相应的数据表格处理类和函数，对采集的数据进行必要的处理，包括数据格式转化、文本处理，并反馈数据处理信息；

后台存储模块：实现将经过预处理的数据，存储到云计算系统的文件系统中，或者通过JDBC接口存储到新建数据库中，并反馈存储信息；

云计算辅助管理从节点模块：是从节点子系统与云计算系统的接口界面，用于接收云计算辅助管理主节点模块的预连接任务、预处理任务、预存储任务，数据采集任务，调用所述前台连接模块、数据处理模块、后台存储模块，并将各种反馈信息通过云计算系统返回给云计算辅助管理主节点模块。

结合图2和图3所示的基于云计算系统的智能数据采集系统的数据采集方法，包括如下步骤：

步骤S101：云计算辅助管理主节点模块接收用户提交的一个数据采集请求，提交给智能分析决策模块；

步骤S102：智能分析决策模块调用连接智能库模块，生成预连接任务输出到云计算辅助管理主节点模块；

步骤S103：云计算辅助管理主节点模块将预连接任务通过云计算系统提交给从节点上的云计算辅助管理从节点模块；

步骤S104：云计算辅助管理从节点模块调用前台连接模块，通过JDBC接口连接前台的各种异构数据库，并向云计算辅助管理从节点模块反馈前台连接信息；

步骤S105：云计算辅助管理从节点模块将前台预连接反馈信息通过云计算系统返回给云计算辅助管理主节点模块，并最终反馈智能分析决策模块，智能分析决策模块根据反馈的信息进行分支判断选择：

如果反馈的预连接信息表示预连接任务执行成功，则步骤S107，由智能分析决策模块调用处理智能库模块，生成预处理任务输出到云计算辅助管理主节点模块；步骤S108，云计算辅助管理主节点模块通过给云计算系统提交给从节点的云计算辅助管理从节点模块；步骤S109，云计算辅助管理从节点模块调用数据处理模块，根据前台预连接的信息为各种异构数据库的表生成相应的数据表格处理类和函数，对采集的数据进行必要的处理，包括数据格式转化、文本处理，并反馈数据处理信息，并向云计算辅助管理从节点模块反馈预处理信息；

否则，生成预连接失败信息，反馈用户（步骤S106）；

步骤S110：云计算辅助管理从节点模块将数据预处理反馈信息通过云计算系统返回给云计算辅助管理主节点模块，并最终反馈智能分析决策模块，智能分析决策模块根据反馈的信息进行分支判断选择：

如果反馈的预处理信息表示数据预处理任务执行成功，则由智能分析决策模块调用存储智能库模块（步骤S111），生成后台预存储任务输出到云计算辅助管理主节点模块；云计算辅助管理主节点模块通过给云计算系统提交给从节点的云计算辅助管理从节点模块（步骤S112）；云计算辅助管理从节点模块调用后台存储模块（步骤S113），实现将经过预处理的数据，存储到云计算系统的文件系统中，或者通过JDBC接口存储到新建数据库中，并向云计算辅助管理从节点模块反馈后台预存储信息；

否则，返回步骤S106，生成预处理失败信息，反馈用户；

步骤S114：云计算辅助管理从节点模块将预存储反馈信息通过云计算系统返回给云计算辅助管理主节点模块，并最终反馈智能分析决策模块，智能分析决策模块根据后台预存储反馈信息进行分支判断选择：

如果反馈的预存储信息表示后台预存储任务执行成功，则步骤S115，由智能分析决策模块生成数据采集任务输出到云计算辅助管理主节点模块；步骤S116，云计算辅助管理主节点模块通过给云计算系统提交给从节点的云计算辅助管理从节点模块；步骤S117，云计算辅助管理从节点模块调用所述前台连接模块、数据处理模块、后台存储模块，并将相应反馈信息通过云计算系统返回给云计算辅助管理主节点模块；

否则，返回步骤S106，生成预储存失败信息，反馈用户。

本发明所述系统主要是在云计算系统上建立智能的一个采集系统，该系统与云计算系统密切联系，但并不影响云计算系统的基本功能。云计算系统的文件系统、各种参数配置，以及基于云计算的后台存储数据库都是云计算系统固有特性，本系统在实现中可以加以利用。同时，本系统由于下面的决策是以上面的决策正确为前提的，上面的决策正确获取的参数，又可以作为下面决策的参考的依据，这样不仅可以保证决策的逻辑顺序，同时可以大大提高决策的质量和正确，保证系统最后产生的决策结果是可以在系统上运行的。就大大提高系统的智能化水平和成功率，减少不必要的操作失误和系统盲区导致的低效问题。

由于云计算是现有的技术并且有统一的技术规范，本发明仅就系统进行阐述，其他具体实现的技术细节，不再赘述。

Claims (2)

1.一种基于云计算系统的智能数据采集系统，部署在云计算系统中，其特征是：所述系统包括分别部署在云计算系统主节点和从节点的主节点子系统和从节点子系统，其中，所述主节点子系统包括：

连接智能库模块：用于前台连接，包括：提供预连接的SQL语句，生成预连接任务化参数，生成前台连接任务化参数；

处理智能库模块：用于选择数据的处理方式，定义统一的数据格式，确定数据内容的筛选策略，生成数据处理任务化参数；生成数据处理任务输出；

存储智能库模块：用于选择后台存储的策略，生成预存储任务化参数，生成存储任务化参数；生成后台预存储任务输出；

智能分析决策模块：用于调用所述连接智能库模块、处理智能库模块、存储智能库模块，分别生成针对从节点的预连接任务、预处理任务、预存储任务，提交给云计算辅助管理主节点模块；接收云计算辅助管理主节点模块的预连接反馈信息，包括预连接信息、预处理信息、预存储信息，根据该反馈信息生成数据采集任务或者用户报告，提交云计算辅助管理主节点模块；

云计算辅助管理主节点模块：是主节点子系统与云计算系统的接口界面，用于接收用户提交的数据采集任务，提交给智能分析决策模块，然后接受智能分析决策模块的任务输出，通过云计算系统提交给从节点的云计算辅助管理从节点模块；

所述从节点子系统包括：

前台连接模块：用于通过JDBC接口连接前台的各种异构数据库，并反馈前台连接信息；

数据处理模块：根据前台预连接的信息为各种异构数据库的表生成相应的数据表格处理类和函数，对采集的数据进行必要的处理，包括数据格式转化、文本处理，并反馈数据处理信息；

后台存储模块：实现将经过预处理的数据，存储到云计算系统的文件系统中，或者通过JDBC接口存储到新建数据库中，并反馈存储信息；

云计算辅助管理从节点模块：是从节点子系统与云计算系统的接口界面，用于接收云计算辅助管理主节点模块的预连接任务、预处理任务、预存储任务，数据采集任务，调用所述前台连接模块、数据处理模块、后台存储模块，并将各种反馈信息通过云计算系统返回给云计算辅助管理主节点模块。

2.一种权利要求1所述的基于云计算系统的智能数据采集系统的数据采集方法，其特征在于，包括以下步骤：

步骤1：云计算辅助管理主节点模块接收用户提交的一个数据采集请求，提交给智能分析决策模块；

步骤2：智能分析决策模块调用连接智能库模块，生成预连接任务输出到云计算辅助管理主节点模块；

步骤3：云计算辅助管理主节点模块将预连接任务通过云计算系统提交给从节点上的云计算辅助管理从节点模块；

步骤4：云计算辅助管理从节点模块调用前台连接模块，通过JDBC接口连接前台的各种异构数据库，并向云计算辅助管理从节点模块反馈前台连接信息；

步骤5：云计算辅助管理从节点模块将前台预连接反馈信息通过云计算系统返回给云计算辅助管理主节点模块，并最终反馈智能分析决策模块，智能分析决策模块根据反馈的信息进行分支判断选择：

如果反馈的预连接信息表示预连接任务执行成功，则由智能分析决策模块调用处理智能库模块，生成预处理任务输出到云计算辅助管理主节点模块；云计算辅助管理主节点模块通过云计算系统将所述预处理任务提交给从节点的云计算辅助管理从节点模块；云计算辅助管理从节点模块调用数据处理模块，根据前台预连接的信息为各种异构数据库的表生成相应的数据表格处理类和函数，对采集的数据进行必要的处理，包括数据格式转化、文本处理，并反馈数据处理信息，并向云计算辅助管理从节点模块反馈预处理信息；

否则，生成预连接失败信息，反馈用户；

步骤6：云计算辅助管理从节点模块将数据预处理反馈信息通过云计算系统返回给云计算辅助管理主节点模块，并最终反馈智能分析决策模块，智能分析决策模块根据反馈的信息进行分支判断选择：

如果反馈的预处理信息表示数据预处理任务执行成功，则由智能分析决策模块调用存储智能库模块，生成后台预存储任务输出到云计算辅助管理主节点模块；云计算辅助管理主节点模块通过云计算系统将所述后台预存储任务提交给从节点的云计算辅助管理从节点模块；云计算辅助管理从节点模块调用后台存储模块，实现将经过预处理的数据，存储到云计算系统的文件系统中，或者通过JDBC接口存储到新建数据库中，并向云计算辅助管理从节点模块反馈后台预存储信息；

否则，生成预处理失败信息，反馈用户；

步骤7：云计算辅助管理从节点模块将预存储反馈信息通过云计算系统返回给云计算辅助管理主节点模块，并最终反馈智能分析决策模块，智能分析决策模块根据后台预存储反馈信息进行分支判断选择：

如果反馈的预存储信息表示后台预存储任务执行成功，则由智能分析决策模块生成数据采集任务输出到云计算辅助管理主节点模块；云计算辅助管理主节点模块通过云计算系统将所述数据采集任务提交给从节点的云计算辅助管理从节点模块；云计算辅助管理从节点模块调用所述前台连接模块、数据处理模块、后台存储模块，并将相应反馈信息通过云计算系统返回给云计算辅助管理主节点模块；

否则，生成预储存失败信息，反馈用户。

Images