CN104850583A - 海量气候模式输出数据的分布式协同分析系统及方法 - Google Patents

Abstract

本发明具体涉及一种海量气候模式输出数据的分布式协同分析系统及方法。所述系统包括：中心服务器、多个节点服务器和至少一个Web前端服务设备；所述中心服务器用于存储全局数据信息以及节点服务器信息；所述节点服务器用于节点数据信息的存储和管理、任务分析调度管理以及进行数据分析处理；所述Web前端服务设备用于用户信息维护、数据信息检索、任务提交、分析任务状态查询以及分析结果查询查看与下载。数据分析工作在各个节点服务器完成，因此减少了数据冗余。多个节点服务器之间能够协同工作，所以海量气候模式输出数据的对比分析能够分布式地执行，分析结果能够在线获取。最终，此发明大大提高研究工作的效率。

Description

海量气候模式输出数据的分布式协同分析系统及方法

技术领域

本发明涉及数据分析处理技术领域，具体涉及一种海量气候模式输出数据的分布式协同分析系统及方法。

背景技术

地球系统模式是进行全球变化研究最重要的科学工具之一。它采用数值模拟方法研究地球各个圈层之间联系及其演变规律，理解过去气候演变过程并预测未来可能的全球气候变化。模式模拟不同的地球系统过程会产生大量的输出数据。据统计，在政府间气候变化专门委员会(Intergovernmental Panel on Climate Change，简称IPCC)第五次评估报告(the Fifth Assessment Report，简称AR5)的耦合模式比较计划(The Program for Climate Model Diagnosis andIntercomparison，简称CMIP)中，各模式数据中心共贡献了超过1.5PB的输出数据。研究者需要通过对不同模式的输出数据进行定性与定量的对比分析研究,了解不同模式模拟结果的差异与优劣，为更好地模拟地球系统过程提供依据。

耦合模式对比计划第五阶段(the fifth phase of the Coupled ModelIntercomparison Project，简称CMIP5)目前通过采用分布式存储构架的地球系统网格联盟(Earth System Grid Federation，简称ESGF)站点存储并发布模式数据。这些数据节点分布在全球各地，而我国在清华大学和中科院均有数据节点。这些数据为NetCDF格式的空间数据，数据内部包含了格网数值，时间信息，格网空间信息等。气候模式诊断与对比项目(The Program for Climate Model Diagnosis andIntercomparison，简称PCMDI)的网站(http://pcmdi9.llnl.gov/esgf-Web-fe/)提供了集中查询和检索下载等功能。通过传统方式，研究人员需要通过数据查询，下载等步骤，而后在本地完成分析工作。由于需要将大量的模式输出数据下载到本地，再完成一系列的对比分析，目前模式数据的对比分析工作费时费力，不仅耗费了大量的网络资源，而且有大量的数据冗余。

发明内容

针对现有技术中需要将大量的模式输出数据下载到本地造成时间过长以及容易造成大量数据冗余的缺陷，本发明提供了一种海量气候模式输出数据的分布式协同分析系统及方法。

一方面，本发明提供的一种海量气候模式输出数据的分布式协同分析系统，包括：

中心服务器、多个节点服务器和至少一个Web前端服务设备；

所述中心服务器用于存储全局数据信息以及节点服务器信息；

所述节点服务器用于节点数据信息的存储和管理、任务分析调度管理以及进行数据分析处理；

所述Web前端服务设备用于用户信息维护、数据信息检索、任务提交、分析任务状态查询以及分析结果查看与下载；

其中，任意两个所述节点服务器之间进行P2P通信，并且与所述中心服务器连接，每一个所述Web前端服务设备与距离最近的任一个所述节点服务器连接。

进一步地，所述中心服务器包括：全局数据信息库和节点服务器信息库；

所述全局数据信息库用于存储所有节点服务器中的所有数据信息；所述节点服务器信息库用于存储所述节点服务器信息。

进一步地，所述节点服务器包括：候选项获取单元、数据集查询单元、数据信息管理单元、任务解析调度单元、数据分析处理单元、分析结果查看单元以及存储单元；

所述候选项获取单元，用于从中心服务器获取全部可选的模式数据的属性项形成可选的候选项并发送给所述Web前端服务设备；

所述数据集查询单元，用于查询所述中心服务器获取每个节点服务器对应的数据集信息；

所述数据信息管理单元，用于定期更新该节点服务器上的节点数据信息，并且当该节点服务器有节点数据信息更新时向所述中心服务器发送更新请求，对所述中心服务器中的全局数据信息进行同步更新；

所述任务解析调度单元，用于将所述Web前端服务设备提交到该节点服务器的任务信息根据所述任务信息中包含的数据集信息划分为多个子任务，并将各个子任务分配给所对应的节点服务器；

所述数据分析处理单元，用于调用分析工具包根据针对分配给本节点服务器对应的子任务进行数据分析处理；

所述分析结果查询查看单元，用于获取每一个节点服务器的数据分析结果对应的URL或JSON格式文本，并进行合并后发送给所述Web前端服务设备；

所述存储单元，用于存储本节点服务器上的节点数据信息、所述Web前端服务设备提交本节点服务器的任务信息、各个子任务与节点服务器的对应信息、在本节点服务器执行的子任务的状态信息以及分析工具包信息。

进一步地，所述存储单元包括：

节点数据信息库，用于存储本节点服务器上的节点数据信息；

任务库，用于存储所述Web前端服务设备提交本节点服务器的任务信息；

任务分配信息库，用于存储各个子任务与节点服务器的对应信息；

子任务状态信息库，用于存储在本节点服务器执行的子任务的状态信息；

分析工具库，用于存储本节点服务器进行数据分析所调用的分析工具包信息，所述分析工具包具有可扩展性。

另一方面，本发明还提供了一种海量气候模式输出数据的分布式协同分析方法，包括：

Web前端服务设备根据用户输入的指令将任务信息提交到与所述Web前端服务设备连接的节点服务器上；

所述与所述Web前端服务设备连接的节点服务器将接收到的任务信息进行分解得到子任务信息，并将所述子任务信息分配给对应的节点服务器；

每一个节点服务器执行接收到的子任务得到分析结果；

Web前端服务设备通过与该Web前端服务设备连接的节点服务器从各个节点服务器上获取数据分析结果。

进一步地，所述Web前端服务设备根据用户输入的指令将任务信息提交到与所述Web前端服务设备连接的节点服务器上的步骤之前，还包括：

所述Web前端服务设备获取候选项，以及根据用户选取的候选项查询所述中心服务器的全局数据信息库获得数据集，并且根据所述数据集以及用户输入的指令生成任务信息，所述用户输入的指令包括用户选取的分析工具包信息和分析参数。

进一步地，所述与所述Web前端服务设备连接的节点服务器将接收到的任务信息进行分解得到子任务信息的步骤，包括：

所述节点服务器根据所述任务信息中的各个数据集将对接收到的所述任务信息进行分解得到多个子任务信息。

进一步地，所述将所述子任务信息分配给对应的节点服务器的步骤，包括：

所述与所述Web前端服务设备连接的节点服务器查询所述中心服务器的全局数据信息库，得到每个子任务信息所对应的数据集所在的节点服务器，并将所述子任务信息分配给对应的所述节点服务器。

进一步地，所述每一个节点服务器执行接收到的子任务得到分析结果的步骤，包括：

每一个节点服务器通过调用预先存储的分析工具包执行接收到的子任务，得到分析结果。

进一步地，所述Web前端服务设备通过与该Web前端服务设备连接的节点服务器从各个节点服务器上获取数据分析结果的步骤，包括：

每一个节点服务器通过API将所述分析结果的URL或JSON格式文本返回给与所述Web前端服务设备连接的节点服务器上；

与所述Web前端服务设备连接的节点服务器将接收到的全部分析结果的URL或JSON格式文本进行合并处理，并利用API将合并后的分析结果的URL或JSON格式文本发送给所述Web前端服务设备；

所述Web前端服务设备根据接收到分析结果的URL或JSON格式文本通过图像或图表形式输出分析结果数据，并提供多种格式的结果数据下载。

本发明提供的一种海量气候模式输出数据的分布式协同分析系统及方法，数据分析工作在各个节点服务器完成，因此减少了数据冗余。多个节点服务器之间能够协同工作，所以海量气候模式输出数据的对比分析能够分布式地执行，分析结果能够在线获取。最终，此发明大大提高研究工作的效率。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1是本发明一个实施例中海量气候模式输出数据的分布式协同分析系统的结构示意图；

图2是本发明一个实施例中海量气候模式输出数据的分布式协同分析方法的流程示意图；

图3是本发明一个实施例中采用海量气候模式输出数据的分布式协同分析系统进行数据分析逻辑示意图。

具体实施方式

现结合附图和实施例对本发明技术方案作进一步详细阐述。

图1示出了本实施例中海量气候模式输出数据的分布式协同分析系统的结构示意图，如图1所示，本实施例提供的一种海量气候模式输出数据的分布式协同分析系统，包括：

中心服务器、多个节点服务器和至少一个Web前端服务设备；

所述中心服务器用于存储全局数据信息以及节点服务器信息；

所述节点服务器用于节点数据信息的存储和管理、任务分析调度管理以及进行数据分析处理；

所述Web前端服务设备用于用户信息维护、数据信息检索、任务提交、分析任务状态查询以及分析结果查看与下载；

其中，任意两个所述节点服务器之间进行P2P通信，并且与所述中心服务器连接，每一个所述Web前端服务设备与距离最近的任一个所述节点服务器连接。

所述中心服务器包括：全局数据信息库和节点服务器信息库；所述全局数据信息库用于存储所有节点服务器中的所有数据信息，包括每条模式数据的属性信息，数据信息所在的节点服务器信息以及数据信息在该节点服务器上的绝对存储路径；所述节点服务器信息库用于存储所述节点服务器信息，所述节点服务器信息包括全部节点服务器的节点IP、端口、数据根目录以及节点名。

每个分布式的节点服务器都是一个数据存储节点，同时具有任务调度管理和数据分析的功能。每个节点服务器都是完全对等的，通过配置页面对节点服务器进行配置并对数据节点进行注册。

所述节点服务器包括：候选项获取单元、数据集查询单元、数据信息管理单元、任务解析调度单元、数据分析处理单元、分析结果查看单元以及存储单元；

所述候选项获取单元，用于从中心服务器获取全部可选的模式数据的属性项形成可选的候选项并发送给所述Web前端服务设备；

所述数据集查询单元，用于查询所述中心服务器获取每个节点服务器对应的数据集信息；

所述数据信息管理单元，用于定期更新该节点服务器上的节点数据信息，并且当该节点服务器有节点数据信息更新时向所述中心服务器发送更新请求，对所述中心服务器中的全局数据信息进行同步更新；

所述任务解析调度单元，用于将所述Web前端服务设备提交到该节点服务器的任务信息根据所述任务信息中包含的数据集信息划分为多个子任务，并将各个子任务分配给所对应的节点服务器；

所述数据分析处理单元，用于调用分析工具包根据针对分配给本节点服务器对应的子任务进行数据分析处理；

所述分析结果查看单元，用于获取每一个节点服务器的数据分析结果对应的URL或JSON格式文本，并进行合并后发送给所述Web前端服务设备；

所述存储单元，用于存储本节点服务器上的节点数据信息、所述Web前端服务设备提交本节点服务器的任务信息、各个子任务与节点服务器的对应信息、在本节点服务器执行的子任务的状态信息以及分析工具包信息。

其中所述存储单元包括：

节点数据信息库，用于存储本节点服务器上的节点数据信息；

任务库，用于存储所述Web前端服务设备提交本节点服务器的任务信息；

任务分配信息库，用于存储各个子任务与节点服务器的对应信息；

子任务状态信息库，用于存储在本节点服务器执行的子任务的状态信息，包括子任务中的数据集、方法、提交时间、执行状态和完成比例等；本地子任务库中提交但未执行的子任务进入本地的执行队列，由本地的数据分析服务调用分析工具包依次对队列中的子任务进行分析得出结果。

分析工具库，用于存储本节点服务器进行数据分析所调用的分析工具包信息，所述分析工具包具有可扩展性，可在后台便捷地添加分析功能。

上述系统实现了基于HTTP协议的数据查询，分析功能调用，分析结果自动汇总和合并等功能，支持多个模式的模式模拟结果进行在线查询，可视化，对比分析。目前系统原型针对海冰的模式输出数据提供了5大功能模块，即长时间平均(Long Term Mean)，季节循环分析，变化趋势分析，EOF分析，时间序列分析(年度分析，季节性分析)。用户可检索需要的数据集，指定时间范围，空间范围，选择不同的功能和绘图方式进行任务提交。

举例来说，如图3所示，本实施例中海量气候模式输出数据的分布式协同分析系统具体包括：

1.中心服务器提供的功能

1)中心服务器配置

步骤:要求MySQL/Tomcat等具备，部署App到Tomcat下，在配置页面设置接收数据库的参数，自动化建表，并设置好自身提供服务的IP,端口和路径。

2)维护全局数据信息库

步骤:由节点服务器不定期发起数据索引信息更新的请求，各节点服务器中数据增删改的情况会定时反馈到全局数据信息库中。

3)维护节点服务器信息

步骤:节点服务器配置时需通过指定页面配置数据节点信息，这些信息包括节点ID、节点名、IP、端口、根目录路径等。在配置页面提交后，发出请求到中心服务器，中心服务器将这些信息存储到节点服务器信息库中。

2.节点服务器提供的功能

节点服务器上服务程序的架构采用Java编写的基于maven的Spring+Spring MVC+Mybatis环境。数据层使用的mybatis3.2.3与mysql数据库交互，服务层采用spring4.0，与前段交互的API层使用的Spring MVC4.0，利用REST风格的API通过json格式将需要的结果传回Web前端服务设备。

节点服务器的配置：

步骤1:要求服务器上NCL/NCO/CDO/NetCDF/MySQL/Tomcat具备，需要部署NCL脚本到指定目录，并将服务程序包部署到Tomcat下。接下来在指定的配置页面上进行配置和提交。

步骤2:设置分析脚本(如NCL脚本)的目录。

步骤3:设置接收数据库参数，自动化建库和建表。

步骤4:设置数据文件根目录，设置节点服务器的IP、端口和路径以及中心服务器的IP和端口信息。

步骤5:配置数据扫描服务，初始化扫描所有文件，更新入库，并设置定时扫描参数，在数据更新时及时更新本地数据库，并发出请求更新全局数据信息库。

获取候选项服务，此服务为Web前端服务设备载入页面提供用户可供选择的选项。当Web前端服务设备发出请求后，该服务会访问全局数据信息库，获取所有可选的属性项，通过API返回给Web前端服务设备。

查询数据集服务，当Web前端服务设备应用提交查询请求时，该服务将查询全局数据信息库，返回所有符合用户查询条件的数据集。事实上，每个数据集是一组时间连续的存储在同一文件夹下的小文件，而呈现给用户的则是数据集的名称和起止时间等信息。

3.Web前端服务设备提供的功能

Web前端程序部署于所述Web前端服务设备上，为最终用户提供交互接口。Web前端程序采用PHP语言编写，采用MVC框架yii。整个程序包含了站点，查询和用户三个控制器，站点控制器负责用户的注册登录和index页面，查询控制器负责用户检索数据并提交任务，其下又有表单载入，数据查询，数据选择，任务表单提交等几个action。用户控制器负责用户的任务列表查询和任务详情查看，任务结果查看与下载。Web前端程序可以部署在任意Web前端服务设备上，选择最合适的节点服务器进行连接并提供服务。

1)Web前端服务设备的配置与初始化

要求MySQL/PHP/Web服务器(如Apache等)具备。部署App到Web服务器(如Apache)下，首先通过配置页面接收数据库参数，自动化建表，之后设置默认连接的节点服务器的ID、IP、端口等信息，同时也需设置中心服务器的IP，端口等信息。程序执行时，首先初始化自身，然后初始化远程连接到设定的节点服务器，之后请求form数据并根据节点服务器返回的初始化候选项构造页面。

2)用户注册登陆服务

用户注册信息存储在Web前端服务设备的数据库中，用户可在页面上注册，注册后方可登录检索数据并提交分析任务，此外，还可查看自己提交的分析任务以及查看任务的详情。

3)数据检索

用户选择页面上的institude，model，experiment等参数后，提交表单发出数据检索请求，该请求传送到中心服务器，由中心服务器查询全局数据信息库通过API返回结果。

4)任务表单提交

用户可从查询到的数据集中选择一个或多个数据集，选择时触发选择的action,程序向节点服务器请求符合条件的分析功能列表。当用户选择某一分析功能时，程序向节点服务器发出请求，根据分析功能的XML描述信息更新参数输入表单的布局，用户填写好表单后，提交时程序会首先会根据选择的数据集的时间范围以及节点服务器中分析功能的XML描述对提交表单中各值得范围进行验证，验证通过即触发任务提交的action，否则返回页面。

5)查询任务列表及状态

用户的任务提交和任务执行时异步的，每个用户可以登录后看到自己提交的所有任务列表，任务列表查询界面可以查看所有任务的执行状态。用户进入该页面后，程序开始自动定时向节点服务器发出任务状态的请求，并在页面上通过异步刷新的方式对各个任务的状态进行实时更新。

6)查看任务详情及结果获取

用户从任务列表界面可点击进入某一任务的详情界面，由此触发任务查看的action，程序向节点服务器发出请求查询到任务的详细信息，包括选择的数据集，分析方法，时间范围，空间范围，已经所有子任务的执行进度的信息。程序在后台异步定时请求任务状态信息，当有任务状态更新为“完成”时，程序即可向节点服务器请求任务结果，节点服务器通过API返回结果文件URL或JSON格式的结果信息，Web前端服务设备应用图像或图表的形式在页面上将分析结果展现出来，并可提供相关数据文件格式的下载，如png，txt，nc等格式。

另一方面，如图2所示，本实施例还提供了一种海量气候模式输出数据的分布式协同分析方法，包括：

S1，Web前端服务设备根据用户输入的指令将任务信息提交到与所述Web前端服务设备连接的节点服务器上。

用户在选择数据集时动态向节点服务器发出请求，节点服务器端查询分析功能XML库，根据分析脚本的XML描述对数据集可用的分析功能进行筛选并在Web前端服务设备显示供用户选择并输入参数。用户在Web前端服务设备选定数据集并设置好分析参数后即可发出提交任务请求，提交后的任务信息存储到Web前端服务设备所连接节点服务器的任务库中。

S2，所述与所述Web前端服务设备连接的节点服务器将接收到的任务信息进行分解得到子任务信息，并将所述子任务信息分配给对应的节点服务器；

所述节点服务器根据所述任务信息中的各个数据集将对接收到的所述任务信息进行分解得到多个子任务信息；所述与所述Web前端服务设备连接的节点服务器查询所述中心服务器的全局数据信息库，得到每个子任务信息所对应的数据集所在的节点服务器，并将所述子任务信息分配给对应的所述节点服务器

S3，每一个节点服务器执行接收到的子任务得到分析结果；

S4，Web前端服务设备通过与该Web前端服务设备连接的节点服务器从各个节点服务器上获取数据分析结果。

进一步地，所述S1中Web前端服务设备根据用户输入的指令将任务信息提交到与所述Web前端服务设备连接的节点服务器上的步骤之前，还包括：

所述Web前端服务设备获取候选项，以及根据用户选取的候选项查询所述中心服务器的全局数据信息库获得数据集，并且根据所述数据集以及用户输入的指令生成任务信息，所述用户输入的指令包括用户选取的分析工具包信息和分析参数。

进一步地，所述S3中每一个节点服务器执行接收到的子任务得到分析结果的步骤，包括：每一个节点服务器通过调用预先存储的分析工具包执行接收到的子任务，得到分析结果。

任务的提交与分解过程和任务的执行过程是异步的。相应的节点服务器首先把这些子任务记录在它的子任务状态信息库中，形成子任务执行队列，由相应服务器进行调度，根据数据库中的状态信息择机执行尚未执行的子任务。执行任务时，各个子任务调用相应节点服务器上的分析脚本，同时不断更新数据库中子任务的状态信息和完成比例。在任务执行过程中，每个子任务的状态不断更新，由API传回Web前端服务设备，Web前端服务设备即可显示出任务的完成进度。

本实施例提供了调用NCL分析脚本的方法，并且能够增加调用其他工具的方法，同时提供执行任务的接口，每新增一个分析功能，只需要实现这个接口，重写执行任务的run()方法，通过几个简单的调用即可形成一个新的完整分析工具包，封装成一个java类，由最终用户从Web前端服务设备输入最终传入分析参数进行调用。某一节点服务器分析工具包更新后发出全局更新通知，所有节点服务器更新同步最新的分析工具包和功能描述XML库。

进一步地，所述S4中Web前端服务设备通过与该Web前端服务设备连接的节点服务器从各个节点服务器上获取数据分析结果的步骤，包括：

每一个节点服务器通过API将所述分析结果的URL或JSON格式文本返回给与所述Web前端服务设备连接的节点服务器上；

与所述Web前端服务设备连接的节点服务器将接收到的全部分析结果的URL或JSON格式文本进行合并处理，并利用API将合并后的分析结果的URL或JSON格式文本发送给所述Web前端服务设备；

所述Web前端服务设备根据接收到分析结果的URL或JSON格式文本通过图像或图表形式输出分析结果数据，并提供多种格式的结果数据下载。

本实施例提供的一种海量气候模式输出数据的分布式协同分析系统及方法，数据分析工作在各个节点服务器完成，因此减少了数据冗余。多个节点服务器之间能够协同工作，所以海量气候模式输出数据的对比分析能够分布式地执行，分析结果能够在线获取。最终，此发明大大提高研究工作的效率。

虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种海量气候模式输出数据的分布式协同分析系统，其特征在于，所述系统包括：中心服务器、多个节点服务器和至少一个Web前端服务设备；

所述中心服务器用于存储全局数据信息以及节点服务器信息；

所述节点服务器用于节点数据信息的存储和管理、任务分析调度管理以及进行数据分析处理；

所述Web前端服务设备用于用户信息维护、数据信息检索、任务提交、分析任务状态查询以及分析结果查看与下载；

其中，任意两个所述节点服务器之间进行P2P通信，并且与所述中心服务器连接，每一个所述Web前端服务设备与任一个所述节点服务器连接。

2.根据权利要求1所述的系统，其特征在于，所述中心服务器包括：全局数据信息库和节点服务器信息库；

所述全局数据信息库用于存储所有节点服务器中的所有数据信息；所述节点服务器信息库用于存储所述节点服务器信息。

3.根据权利要求1所述的系统，其特征在于，所述节点服务器包括：候选项获取单元、数据集查询单元、数据信息管理单元、任务解析调度单元、数据分析处理单元、分析结果查看单元以及存储单元；

所述候选项获取单元，用于从中心服务器获取全部模式数据的属性项形成可选的候选项并发送给所述Web前端服务设备；

所述数据集查询单元，用于查询所述中心服务器获取每个节点服务器对应的数据集信息；

所述数据信息管理单元，用于定期更新该节点服务器上的节点数据信息，并且当该节点服务器有节点数据信息更新时向所述中心服务器发送更新请求，对所述中心服务器中的全局数据信息进行同步更新；

所述任务解析调度单元，用于将所述Web前端服务设备提交到该节点服务器的任务信息根据所述任务信息中包含的数据集信息划分为多个子任务，并将各个子任务分配给所对应的节点服务器；

所述数据分析处理单元，用于调用分析工具包针对分配给本节点服务器的子任务进行数据分析处理；

所述分析结果查看单元，用于获取每一个节点服务器的数据分析结果对应的URL或JSON格式文本，并进行合并后发送给所述Web前端服务设备；

所述存储单元，用于存储本节点服务器上的节点数据信息、所述Web前端服务设备提交本节点服务器的任务信息、各个子任务与节点服务器的对应信息、在本节点服务器执行的子任务的状态信息以及分析工具包信息。

4.根据权利要求3所述的系统，其特征在于，所述存储单元包括：

节点数据信息库，用于存储本节点服务器上的节点数据信息；

任务库，用于存储所述Web前端服务设备提交本节点服务器的任务信息；

任务分配信息库，用于存储各个子任务与节点服务器的对应信息；

子任务状态信息库，用于存储在本节点服务器执行的子任务的状态信息；

分析工具库，用于存储本节点服务器进行数据分析所调用的分析工具包信息，所述分析工具包具有可扩展性。

5.一种海量气候模式输出数据的分布式协同分析方法，其特征在于，所述方法包括：

Web前端服务设备根据用户输入的指令将任务信息提交到与所述Web前端服务设备连接的节点服务器上；

所述与所述Web前端服务设备连接的节点服务器将接收到的任务信息进行分解得到子任务信息，并将所述子任务信息分配给对应的节点服务器；

每一个节点服务器执行接收到的子任务得到分析结果；

Web前端服务设备通过与该Web前端服务设备连接的节点服务器从各个节点服务器上获取数据分析结果。

6.根据权利要求5所述的方法，其特征在于，所述Web前端服务设备根据用户输入的指令将任务信息提交到与所述Web前端服务设备连接的节点服务器上的步骤之前，还包括：

所述Web前端服务设备获取候选项，以及根据用户选取的候选项查询所述中心服务器的全局数据信息库获得数据集，并且根据所述数据集以及用户输入的指令生成任务信息，所述用户输入的指令包括用户选取的分析工具包信息和分析参数。

7.根据权利要求6所述的方法，其特征在于，所述与所述Web前端服务设备连接的节点服务器将接收到的任务信息进行分解得到子任务信息的步骤，包括：

所述节点服务器根据所述任务信息中的各个数据集对接收到的所述任务信息进行分解得到多个子任务信息。

8.根据权利要求6所述的方法，其特征在于，所述将所述子任务信息分配给对应的节点服务器的步骤，包括：

所述与所述Web前端服务设备连接的节点服务器查询所述中心服务器的全局数据信息库，得到每个子任务信息所对应的数据集所在的节点服务器，并将所述子任务信息分配给对应的所述节点服务器。

9.根据权利要求5所述的方法，其特征在于，所述每一个节点服务器执行接收到的子任务得到分析结果的步骤，包括：

每一个节点服务器通过调用预先存储的分析工具包执行接收到的子任务，得到分析结果。

10.根据权利要求5所述的方法，其特征在于，所述Web前端服务设备通过与该Web前端服务设备连接的节点服务器从各个节点服务器上获取数据分析结果的步骤，包括：

每一个节点服务器通过API将所述分析结果的URL或JSON格式文本返回给与所述Web前端服务设备连接的节点服务器上；

与所述Web前端服务设备连接的节点服务器将接收到的全部分析结果的URL或JSON格式文本进行合并处理，并利用API将合并后的分析结果的URL或JSON格式文本发送给所述Web前端服务设备；

所述Web前端服务设备根据接收到分析结果的URL或JSON格式文本通过图像或图表形式输出分析结果数据，并提供多种格式的结果数据下载。