CN106357426A - 一种基于工业云的大规模分布式智能数据采集系统及方法 - Google Patents

Abstract

本发明提出一种基于工业云的大规模分布式智能数据采集系统及方法，属于数据采集技术领域，本发明加入用户管理模块对系统用户进行权限验证；加入日志管理功能，对各采集周期的采集结果、存储结果以及报警日志进行记录；加入资源调度功能，根据用户设定的采集任务量确定初始工作的采集节点，其余采集节点作为冗余热备，同时在系统异常时对采集节点进行调度；加入监控报警功能，对系统各方面进行实时监控，且能够对系统异常进行实时报警；加入数据压缩功能，对采集数据进行压缩，节省空间提高效率；当存在采集节点异常时在当前采集周期，备份的采集节点将对应的备份采集任务的采集结果存入数据库，保证了当前采样周期采集的容错性和可靠性。

Description

一种基于工业云的大规模分布式智能数据采集系统及方法

技术领域

本发明属于数据采集技术领域，具体涉及一种基于工业云的大规模分布式智能数据采集系统及方法。

背景技术

如图1所示为当前工业数据采集系统结构图，图中，(1)-(4)分别表示不同传输过程中采用的传输方式及相应的传输协议或传输信号，其中(1)表示RS232/RS485串行通信或CAN总线通信；(2)表示无线传输(wirelesshart协议)；(3)表示现场总线(4-20mA电流信号)；(4)表示工业以太网(OPC协议)。①-⑦分别表示当前工业数据采集系统存在的问题，其中①表示采集客户端1∶1冗余，资源利用率低；②表示采集节点失效；③表示数据组采集失败；④表示数据项采集失败；⑤表示采集速率低，实时性差；⑥表示数据存储失败，传输速率低，数据占用空间大；⑦表示无线传输问题。

当前工业数据采集系统主要分为PCS过程控制系统、MES制造执行系统、ERP企业资源计划三层结构。其中，MES制造执行系统和ERP企业资源计划作为管理层实现对工业数据的管理、统计和查询，PCS过程控制系统可分为设备层、控制层和监控层：设备层主要由工业过程中的各种工序组成，负责将工业现场的物理信号转换成数字或标准的模拟信号传入控制层；控制层主要包括由PLC、DCS或嵌入式系统等组成的控制站，用于连接设备层和监控层，将设备层的实时数据发送到监控层的数据采集节点，并对设备层的现场信号做简单的处理；监控层主要由一些数据采集节点、数据库、监控节点组成，数据采集节点通过OPC/OPC-UA协议对控制层的数据进行实时采集后存入数据库和监控节点，完成监控生产运行过程的目的。

在图1所示的当前工业数据采集系统中，主要存在如下具体问题：

1、如图1中①所示，在传统数据采集系统中，为保证数据采集的可靠性，某些重要生产环节数据采集节点通常采用1∶1冗余配置，硬件资源利用率较小。

2、如图1中②所示，生产过程中数据采集节点容易出现故障，如何对采集节点的故障信息进行监测，并提供相应的解决方案以提高采集节点的可靠性是当前工业数据采集领域亟待解决的问题之一；

3、如图1中③所示，采用OPC/OPC-UA协议进行采集时，即使数据采集节点正常运行，也常常出现某个或某些数据组采集失败的状况，应如何捕获采集失败的数据组并对其提供相应的解决方案以保证数据组的采集可靠性也是当前工业数据采集过程中存在的一大问题；

4、如图1中④所示，即使采集节点正常运行，数据组都能正常采集，也时常会出现某一数据组中的某个或某些数据项采集失败的状况，应如何捕获采集失败的数据项并提供相应的解决方案以提高数据项的采集可靠性是当前工业数据采集过程中存在的又一问题；

5、如图1中⑤所示，当前工业数据采集系统在数据采集过程中，虽然底层的数据通过PLC/DCS系统采集保存到了数据库中，但是由于上层MES等系统的采样频率较低，因此对上位机的采样要求并不是很严格，时常出现实际数据采集时间大于所设定的采集周期的情况，对于一般的对实时性要求不是很严格的监控或MES等应用场景，这种情况可以满足要求，然而，在工业大数据环境中，常常需要对各采集周期所采数据进行实时性关联分析，因此对数据的时序性有着较为严格的要求，现有上位机数据采集的效率和可靠性还不足以满足要求。

6、如图1中⑥所示，随着存储数据量的不断增大以及历史数据对于企业分析的重要性，数据存储所占用的存储空间越来越大，数据传输速度亟待提高，数据存储资源的有效利用和数据传输效率的提高对数据压缩提出了新的要求。

7、如图1中⑦所示，随着物联网技术在工业的广泛应用以及许多无线传输设备的接入，对数据采集方式也提出了更高的要求和挑战。

目前在工业大规模分布式数据采集系统方面的专利主要有“CN105527948A(一种基于工业过程的大规模分布式数据采集系统及方法)”该专利所述系统利用一个数据采集调度模块将现场控制站的采集任务分配给多个数据采集客户端，当采集客户端出现故障时，在下一个采集周期，数据采集调度模块可以根据检测到的数据采集客户端的故障信息来分配其他数据采集客户端对该部分数据进行数据采集，进而保证数据采集客户端对数据采集的高容错性，当某一个或某几个采集客户端上采集时间超过用户设定的采集周期或存在采集客户端过载时，数据采集调度模块重新开启新的采集客户端，并将采集任务在所有开启的采集客户端上重新分配；虽然该专利中数据采集调度模块在进行数据采集任务分配时考虑了现场控制站运行状态信息、数据采集客户端运行状态信息、采集周期等因素，一定程度上保证了数据采集客户端的高可靠性，但该专利所述系统功能还不够全面，存在如下几点局限性：

1、该专利所述系统只能保证故障后下一采集周期及以后采集的可靠性，故障当前采集周期的数据仍然会丢失；

2、该专利所述系统只保证了采集客户端故障或过载情况下采集的可靠性，对于采集客户端上某个数据组或数据项采集失败的情况，没有提出相应的解决办法保证采集可靠性；

3、该专利仅能实现对有线数据的采集，对于无线传输数据，没有提供相应的方式进行采集；

4、该专利所述系统中，初始工作的采集节点个数由用户人为开启，系统无法根据采集任务量自动确定初始工作的采集节点以进行资源的优化配置，从而最大限度提高资源利用率；

5、该专利所述系统功能不够完善，缺乏用户管理功能，难以对用户身份进行验证，从而保证系统安全；缺乏日志管理功能，难以对历史采集和存储结果及历史报警信息进行查询，从而检查系统历史故障所留下的痕迹，并根据该历史记录对系统进行升级维护等；缺乏采集任务备份和数据本地持久化功能，数据采集失败或存储失败时，无法保证数据采集和存储的容错性；缺乏数据压缩功能，数据传输量大，存储占用空间大从而导致数据存储效率低，资源利用率低；缺乏监控报警功能，故障发生时工作人员难以在第一时间发现故障，从而进行相关的故障处理；

综上所述，当前工业数据采集系统在可靠性、资源有效利用以及系统功能等方面存在明显不足，难于满足目前制造企业向智能化转型过程中对实时数据进行可靠采集的需求。

发明内容

针对现有技术的不足，本发明提出一种基于工业云的大规模分布式智能数据采集系统及方法，以达到提高工业数据采集的可靠性和资源利用率的目的。

一种基于工业云的大规模分布式智能数据采集系统，包括用户管理模块、日志管理模块、资源管理模块、数据采集模块、数据压缩和存储模块、监控报警模块、现场控制站、无线设备和现场设备；

所述的用户管理模块：用于完成用户注册、用户登录及身份验证、用户注销、用户信息查询和用户信息修改；

所述的日志管理模块：用于将每个采集节点每个采集周期采集任务的采集结果信息和存储结果信息、报警信息写入日志，对采集结果信息、存储结果信息和报警信息进行查询，并打印日志；

所述的资源管理模块：用于对各采集节点的运行状态阈值和过载运行等待时间进行设定；进行调度信息预处理，即从数据采集模块的任务管理子模块获取设定的采集任务，从监控报警模块中的节点监控子模块获取各现场控制站运行状态信息、无线设备运行状态信息、各采集节点的运行状态信息，根据各现场控制站、无线设备运行状态信息判断有线采集任务对应的现场控制站和无线采集任务对应的无线设备是否均正常运行，并在有线采集任务对应的现场控制站或无线采集任务对应的无线设备处于故障或未开启状态时，提示用户重新设置任务；根据各采集节点的运行状态信息和采集任务量进行资源分配，确定工作的采集节点，并将资源分配结果发送到数据采集模块的任务调度子模块；当出现采集节点异常时，进行异常后资源调度，即从冗余热备的采集节点中选择新的采集节点进行工作，将调度结果发送到数据采集模块的任务调度子模块；

所述的数据采集模块包括：任务管理子模块、任务调度子模块和采集子模块，其中，

所述的任务管理子模块：用于对采集任务进行添加、删除和修改；采集任务的设置包括：采集数据组的设置，每个数据组包含的采集数据项的设置，以及每个采集任务的采集周期、采集优先级、采集等级和采集模式的设置；一个采集任务为一个数据组或一个数据项；

所述的任务调度子模块：用于从任务管理子模块中获取设置的采集任务，根据采集任务和资源管理模块的调度结果进行任务分配，并将分配给目标采集节点的高等级的主采集任务作为备份任务循环分配给与其编号相邻的下两个工作采集节点，将任务分配结果发送到采集子模块的相应采集节点；当存在采集节点异常时，将异常采集节点上的全部或部分采集任务迁移至资源管理模块所选择的新加入的采集节点上；当存在采集节点上采集任务异常时，将该采集任务的第一个成功采集的备份采集节点设为该采集任务的主采集节点，同时获取各工作采集节点的运行状态信息并按照CPU、内存、硬盘、网络带宽的利用率对其进行排序，将采集节点上异常的采集任务作为备份任务迁移至其他正常运行的工作采集节点；

所述的采集子模块包括多个采集节点，各采集节点根据任务调度子模块发送的采集任务的不同采集模式，采用不同的方式实现采集任务的采集；

所述的数据压缩和存储模块：用于将每个采集节点采集到的数据在内存缓存区进行缓存，并持久化到本地磁盘，将内存缓存区中缓存的数据进行压缩后存入数据库，当内存缓存区因模块失效导致数据丢失时，将丢失数据从本地磁盘读入内存缓存区；当数据经压缩成功存入数据库后，将内存缓存区中对应的数据删除以节省内存空间，并将本地磁盘中对应的数据删除以节省磁盘空间；当存在采集节点的某一主采集任务采集失败时，将失败主采集任务的备份采集任务的采集结果从该主采集任务的备份采集节点存入内存缓存区，当存在采集节点故障时，将故障采集节点所有主采集任务的备份采集节点上相应备份采集任务的采集结果存入内存缓存区；

所述的监控报警模块包括：结果监控子模块、任务监控子模块、节点监控子模块、网络监控子模块和报警子模块，其中，

所述的结果监控子模块：用于从任务管理子模块中获取各采集任务的采集周期，对各采集节点的采集结果信息和存储结果信息进行实时监控，将采集结果信息和存储结果信息发送至日志管理模块中，当存在采集节点上的采集任务采集失败时，将采集节点采集任务采集失败的信息发送至报警子模块、数据压缩和存储模块；当存在采集节点上的采集任务异常时，将该采集任务异常的信息发送至任务调度子模块；当采集节点上经压缩后的采集数据成功存入数据库时，将存储成功的信息发送至数据压缩和存储模块；当存在采集节点上采集任务存储失败时，将采集节点采集任务存储失败的信息发送至报警子模块、数据压缩和存储模块；将各采集节点上采集任务的实际采集时间与设置的采集周期进行对比，当存在采集节点上采集任务的实际采集时间大于设置的采集周期时，将该采集节点上采集任务实际采集时间不满足采集周期要求的信息发送至报警子模块、资源管理模块和任务调度子模块中；

所述的任务监控子模块：用于对采集任务的数量、任务队列、任务分配、任务执行和任务等待情况进行监控，并在采集任务对应的现场控制站和无线设备故障时，暂停相应任务的执行；

所述的节点监控子模块：用于接收各现场控制站、无线设备以及各采集节点的注册信息，并按照注册顺序对各采集节点进行编号，从资源管理模块中获取各采集节点的运行状态阈值信息和过载运行等待时间信息，实时获取各现场控制站的运行状态信息、无线设备的运行状态信息、采集节点的运行状态信息并对其运行状态进行实时监控，当现场控制站或无线设备故障时，将对应故障信息发送给任务监控子模块和报警子模块，当存在采集节点故障时，将采集节点故障信息发送至报警子模块、资源管理模块、任务调度子模块以及数据压缩和存储模块中；将各采集节点的实际运行状态与其运行状态阈值进行对比，判断采集节点是否过载，当存在采集节点过载且在过载运行等待时间之后仍然过载时，将该采集节点过载信息发送至报警子模块、资源管理模块和任务调度子模块中；

所述的网络监控子模块：用于监控系统当前网络连接是否正常，若网络连接异常，将异常信息发送到报警子模块；

所述的报警子模块：用于对系统异常进行实时报警，同时将报警信息发送至日志管理模块。

所述的用户信息包括：用户个人账号、用户名、密码、电子邮箱、联系电话、联系地址和个人标签；

所述的采集结果信息，包括每个采集节点每个采集周期数据开始采集时刻、结束采集时刻、采集时间、该采集周期采集是否成功，若采集不成功，还包括未成功采集的采集任务个数、未成功采集的采集任务列表；

所述的存储结果信息，包括每个采集节点每个采集周期数据开始存入数据库时刻、结束存入数据库时刻、该采集周期存储是否成功，若存储不成功，还包括未成功存储的采集任务个数、未成功存储的采集任务列表；

所述的报警信息，包括报警时刻和报警原因；

所述采集节点的运行状态阈值，包括CPU正常运行状态阈值、CPU过载状态阈值、内存正常运行状态阈值、内存过载状态阈值、硬盘正常运行状态阈值、硬盘过载状态阈值、网络带宽正常运行状态阈值、网络带宽过载状态阈值；

所述的采集节点异常，包括采集节点故障、过载或采集节点上采集任务实际采集时间不满足用户设置的采集周期要求；

所述的采集节点上采集任务异常，是指连续多个采集周期，采集节点上一个或几个采集任务采集失败，但该采集任务的备份采集节点上该采集任务能够成功采集的情况；

所述的采集优先级：根据采集任务被要求采集的先后顺序分为高优先级、中优先级、低优先级，同一优先级的任务按照任务在任务列表的排列顺序进行采集；

所述的采集等级：根据采集任务的重要性程度分为高等级、中等级、低等级；

所述的采集模式：包括有线采集模式和无线采集模式，若为有线采集模式，则采集节点通过有线采集方式对该采集任务对应的现场控制站中的数据进行采集，若为无线采集模式，则采集节点采用无线采集方式对该采集任务对应的无线设备中的数据进行采集；

所述的现场控制站的运行状态信息，包括每个现场控制站的运行、故障或未开启状态；

所述的无线设备的运行状态信息，包括每个无线设备的运行、故障或未开启状态；

所述的采集节点的运行状态信息，包括每个采集节点的运行、故障或未开启状态，以及每个处于运行状态的采集节点的CPU总量、使用率和余量，内存总量、使用率和余量，硬盘总量、使用率和余量，网络宽带总量、使用率和余量；

所述的系统异常，包括现场控制站故障、无线设备故障、采集节点故障、采集节点过载、采集任务采集失败、采集任务存储失败、采集节点上采集任务的实际采集时间不能满足用户设定的采集周期要求和网络连接异常。

所述的日志管理模块包括：结果日志子模块、报警日志子模块、日志打印子模块；其中，

所述的结果日志子模块：用于将每个采集节点每个采集周期采集任务的采集结果信息和存储结果信息写入日志，对采集结果和存储结果进行查询；

所述的报警日志子模块：用于将报警信息写入日志，对报警信息进行查询；

所述的日志打印子模块：用于打印日志。

所述的资源管理模块包括：初始化子模块和资源调度子模块，其中，

所述的初始化子模块：用于对各采集节点的运行状态阈值和过载运行等待时间进行设定；

所述的资源调度子模块：用于进行调度信息预处理，即从任务管理子模块获取设定的采集任务，从节点监控子模块获取各现场控制站运行状态信息、无线设备运行状态信息、各采集节点的运行状态信息，根据各现场控制站、无线设备运行状态信息判断有线采集任务对应的现场控制站和无线采集任务对应的无线设备是否均正常运行，并在有线采集任务对应的现场控制站或无线采集任务对应的无线设备处于故障或未开启状态时，提示用户重新设置任务；根据各采集节点的运行状态信息和采集任务量进行资源分配，确定工作的采集节点，并将资源分配结果发送到任务调度子模块；当出现采集节点异常时，进行异常后资源调度，即从冗余热备的采集节点中选择新的采集节点进行工作，将调度结果发送到任务调度子模块。

所述的数据压缩和存储模块包括：数据缓存子模块、数据持久化子模块、数据压缩子模块和数据存储子模块，其中，

所述的数据缓存子模块：用于将每个采集节点采集到的数据在内存缓存区进行缓存，当数据经压缩成功存入数据库后，将内存缓存区中对应的数据删除以节省内存空间，当存在采集节点的某一主采集任务采集失败时，将失败主采集任务的备份采集任务的采集结果从该主采集任务的备份采集节点存入内存缓存区，当存在采集节点故障时，则将故障采集节点所有主采集任务的备份采集节点上相应备份采集任务的采集结果存入内存缓存区；

所述的数据持久化子模块：用于将每个采集节点采集到的数据持久化到本地磁盘，当数据缓存子模块失效导致数据丢失时，将丢失数据从本地磁盘读入内存缓存区，当数据经压缩成功存入数据库后，将本地磁盘中对应的数据删除以节省磁盘空间；

所述的数据压缩子模块：用于检测数据缓存子模块是否失效，若未失效，则将内存缓存区中缓存的数据进行压缩，若失效，则将数据缓存子模块的失效信息发送给数据持久化子模块；

所述的数据存储子模块：用于将数据压缩子模块压缩后的数据存入数据库。

采用基于工业云的大规模分布式智能数据采集系统进行的采集方法，包括以下步骤：

步骤1、开启各现场设备及其对应的现场控制站和无线设备，各现场控制站和无线设备开启后自动向监控报警模块的节点监控子模块注册信息；

步骤2、开启各采集节点，各采集节点开启后自动向节点监控子模块注册信息，节点监控子模块按照注册顺序分别为每个采集节点进行编号；

步骤3、设置各采集节点的时钟同步；

步骤4、采用用户管理模块注册用户信息并登录；

步骤5、采用资源管理模块设置各采集节点的运行状态阈值及其过载运行等待时间；

步骤6、采用数据采集模块的任务管理子模块设置采集任务；

采集任务的设置包括采集数据组的设置，每个数据组包含的采集数据项的设置，以及每个采集任务的采集周期、采集优先级、采集等级、采集模式的设置；一个采集任务为一个数据组或一个数据项；

步骤7、采用资源管理模块进行调度信息预处理，并进行资源分配获得分配结果，确定工作的采集节点，将分配结果发送到任务调度子模块；

步骤8、任务调度子模块从任务管理子模块获取采集任务，并根据采集任务和资源管理模块的分配结果进行任务分配，并将分配给目标采集节点的高等级主采集任务作为备份任务循环分配给与其编号相邻的下两个工作采集节点，将分配给各个采集节点的任务发送至采集子模块的相应采集节点上；

步骤9、各个采集节点根据自身获取到的采集任务完成对相应现场控制站和无线设备中数据的采集，采用结果监控子模块对采集结果进行实时监控，采用节点监控子模块对节点运行状态进行实时监控，采用任务监控子模块对任务执行情况进行实时监控，并将异常信息发送至报警子模块进行实时报警，报警子模块将报警信息发送至日志管理模块中进行记录；

具体步骤如下：

步骤9.1、各采集节点根据自身获取到的每条采集任务的采集模式，对相应现场控制站或无线设备中的数据进行采集；

步骤9.2、采用结果监控子模块从任务管理子模块获取各采集任务的采集周期，对各采集节点的采集结果进行实时监控，将采集结果信息发送到日志管理模块中，并将异常信息发送至报警子模块进行实时报警，报警子模块将报警信息发送到日志管理模块中进行记录；

步骤9.3、采用节点监控子模块从资源管理模块中获取各采集节点的运行状态阈值和过载运行等待时间，实时监控各现场控制站、无线设备、采集节点的运行状态，并将异常信息发送至报警子模块进行实时报警，报警子模块将报警信息发送到日志管理模块中进行记录；

步骤9.4、采用任务监控子模块对设定的采集任务数量、任务队列、任务分配、任务等待和任务执行情况进行实时监控，并将异常信息发送至报警子模块进行实时报警，报警子模块将报警信息发送到日志管理模块中进行记录；

步骤10、采用数据压缩和存储模块将每个采集节点采集到的数据进行缓存、持久化、压缩后存入数据库，采用结果监控子模块对各采集节点上采集数据的存储情况进行实时监控，并将采集任务存储失败的异常信息发送到报警子模块进行实时报警，报警子模块将报警信息发送到日志管理模块中进行记录；

步骤11、采用网络监控子模块实时监控系统网络连接情况，若系统网络连接异常，将异常信息发送给报警子模块进行实时报警，报警子模块将报警信息发送到日志管理模块中进行记录。

步骤7所述的采用资源管理模块进行调度信息预处理，并进行资源分配获得分配结果，确定工作的采集节点，将分配结果发送到任务调度子模块；具体如下：

步骤7.1、采用资源管理模块的资源调度子模块从任务管理子模块中获取设定的采集任务，从节点监控子模块中获取各现场控制站运行状态信息、无线设备运行状态信息以及各采集节点的运行状态信息；

步骤7.2、资源调度子模块判断有线采集任务对应的现场控制站和无线采集任务对应的无线设备是否均正常运行，若是，则执行步骤7.3，若现场控制站中有一台或几台处于故障或未开启状态，或无线设备中有一台或几台处于故障或未开启状态，则提示对应的现场控制站或无线设备异常，需重新设置任务，返回执行步骤6；

步骤7.3、采用资源调度子模块根据采集任务量以及各采集节点的运行状态信息进行资源分配，优先选择CPU、内存、硬盘、网络带宽余量大的采集节点进行工作，从而确定工作的采集节点，其余采集节点作为冗余热备，将该调度结果发送到数据采集模块的任务调度子模块。

步骤9.2所述的采用结果监控子模块从任务管理子模块获取各采集任务的采集周期，对各采集节点的采集结果进行实时监控，将采集结果信息发送到日志管理模块中，并将异常信息发送至报警子模块进行实时报警，报警子模块将报警信息发送到日志管理模块中进行记录，具体步骤如下：

步骤9.2.1、采用结果监控子模块从任务管理子模块获取各采集任务的采集周期，对各采集节点的采集结果进行实时监控，将采集结果信息发送至日志管理模块的结果日志子模块中；

步骤9.2.2、若存在某采集节点上某个或某几个主采集任务采集失败，则在当前采集周期，结果监控子模块将采集节点上主采集任务采集失败的信息发送到数据压缩和存储模块的数据缓存子模块中；

步骤9.2.3、数据缓存子模块将失败主采集任务的备份采集任务的采集结果从该主采集任务的第一号备份采集节点存入内存缓存区，数据压缩子模块将内存缓存区缓存的数据进行压缩，数据存储子模块将压缩后的数据存入数据库；

所述的第一号备份采集节点为：主采集任务的备份采集节点中，与主采集任务所在的采集节点编号相近的第一个备份采集节点；

步骤9.2.4、当第一号备份采集节点上该主采集任务的备份采集任务也采集失败时，数据缓存子模块将该主采集任务的备份采集任务的采集结果从第二号备份采集节点存入内存缓存区，数据压缩子模块将内存缓存区缓存的数据进行压缩，数据存储子模块将压缩后的数据存入数据库；

所述的第二号备份采集节点为：主采集任务的备份采集节点中，与主采集任务所在的采集节点编号相近的第二个备份采集节点；

步骤9.2.5、当第二号备份采集节点上该主采集任务的备份采集任务依然采集失败时，结果监控子模块将该采集任务采集失败的信息发送至报警子模块进行实时报警，报警子模块将报警信息发送至日志管理模块的报警日志子模块中进行记录；

步骤9.2.6、若存在采集节点上主采集任务异常，则在下一个采集周期，结果监控子模块将该采集节点上该主采集任务异常的信息发送至任务调度子模块中，任务调度子模块将该采集任务的第一个成功采集的备份采集节点设为该采集任务的主采集节点，同时任务调度子模块获取剩余各工作采集节点的运行状态信息并以CPU利用率为主要关键字、以内存利用率为第一次要关键字、硬盘利用率为第二次要关键字、网络带宽利用率为第三次要关键字对剩余各工作采集节点进行排序，将采集节点上异常的采集任务作为备份任务迁移到当前CPU、内存、硬盘、网络带宽利用率最低的正常运行的工作采集节点进行采集，若此时不存在剩余工作采集节点，则资源调度子模块从冗余热备的采集节点中选择一个CPU、内存、硬盘、网络带宽利用率最低的采集节点作为新加入的工作采集节点，任务调度子模块将采集节点上异常采集任务作为备份任务迁移到该新加入的工作采集节点进行采集；结果监控子模块监控迁移到的工作采集节点上该采集任务的采集情况，若连续多个采集周期该采集节点上该采集任务依然采集失败，则按照CPU、内存、硬盘、网络带宽利用率从低到高的顺序继续进行任务迁移，直至迁移到的工作采集节点上该采集任务能够采集成功为止；若连续迁移多次，该采集任务依然采集失败，则结果监控子模块将该采集任务异常的信息发送至报警子模块进行实时报警，报警子模块将报警信息发送至日志管理模块的报警日志子模块中进行记录；

所述的剩余各工作采集节点是指除该异常采集任务所属的主采集节点及其备份采集节点之外的其余各工作采集节点。

步骤9.2.7、结果监控子模块将各采集节点采集任务的实际采集时间与设置的采集周期进行对比，若实际采集时间大于设置的采集周期，则执行步骤9.2.8，否则，执行步骤9.3；

步骤9.2.8、将该采集节点上采集任务的实际采集时间不满足采集周期要求的信息发送至任务调度子模块和资源管理模块的资源调度子模块中，在下一采集周期，资源调度子模块根据该信息从冗余热备的节点中选择一个作为新的工作采集节点，任务调度子模块根据资源调度子模块的调度结果，将该采集节点上的一部分采集任务迁移给新加入的工作采集节点，并返回执行步骤9.1；

步骤9.2.9、当所有冗余热备的采集节点均加入工作，仍存在采集节点实际采集时间大于设置的采集周期，则将实际采集时间不能满足采集周期的信息发送到报警子模块进行实时报警，同时报警子模块将报警信息发送到报警日志子模块中进行记录。

步骤9.3所述的采用节点监控子模块从资源管理模块中获取各采集节点的运行状态阈值和过载运行等待时间，实时监控各现场控制站、无线设备、采集节点的运行状态，并将异常信息发送至报警子模块进行实时报警，报警子模块将报警信息发送到日志管理模块中进行记录，具体步骤如下：

步骤9.3.1、采用节点监控子模块从资源管理模块的初始化子模块中获取各采集节点的运行状态阈值和过载运行等待时间，实时监控各现场控制站、无线设备、采集节点的运行状态；

步骤9.3.2、当存在现场控制站故障时，节点监控子模块将该现场控制站故障的信息发送至任务监控子模块中，任务监控子模块终止对应有线采集任务的采集，并提示该现场控制站对应的采集任务采集失败，同时节点监控子模块将该现场控制站故障信息发送到报警子模块进行实时报警，报警子模块将报警信息发送到报警日志子模块进行记录；

步骤9.3.3、当存在无线设备故障时，则节点监控子模块将该无线设备故障的信息发送至任务监控子模块，任务监控子模块终止对应的无线采集任务的采集，并提示该无线设备对应的采集任务采集失败，同时节点监控子模块将该无线设备故障信息发送到报警子模块进行实时报警，报警子模块将报警信息发送到报警日志子模块进行记录；

步骤9.3.4、当存在采集节点故障时，在当前采集周期，节点监控子模块将采集节点故障信息发送至数据缓存子模块中；

步骤9.3.5、数据缓存子模块将该采集节点所有主采集任务的第一号备份采集节点上相应备份采集任务的采集结果在内存缓存区进行缓存，数据压缩子模块将内存缓存区缓存的数据进行压缩，数据存储子模块将压缩后的数据存入数据库；

所述的第一号备份采集节点为：主采集任务的备份采集节点中，与主采集任务所在的采集节点编号相近的第一个备份采集节点；

步骤9.3.6、当第一号备份采集节点也发生故障时，数据缓存子模块将第二号备份采集节点相应备份采集任务的采集结果在内存缓存区进行缓存，数据压缩子模块将内存缓存区缓存的数据进行压缩，数据存储子模块将压缩后的数据存入数据库；

所述的第二号备份采集节点为：主采集任务的备份采集节点中，与主采集任务所在的采集节点编号相近的第二个备份采集节点；

步骤9.3.7、下一采集周期，节点监控子模块将该采集节点故障信息发送至资源调度子模块和任务调度子模块中，资源调度子模块从冗余热备的采集节点中选择一个作为新的工作采集节点，任务调度子模块根据资源调度子模块的调度结果，将故障采集节点的采集任务迁移到新加入的工作采集节点进行采集，同时，节点监控子模块将该采集节点的故障信息发送至报警子模块进行实时报警，报警子模块将报警信息发送到报警日志子模块进行记录；

步骤9.3.8、节点监控子模块将各采集节点的实际运行状态与其运行状态阈值信息进行对比，判断采集节点是否过载，若存在采集节点过载且在过载运行等待时间之后仍然过载，则执行步骤9.3.9，否则，执行步骤9.4；

步骤9.3.9、节点监控子模块将其过载信息发送给资源调度子模块和任务调度子模块，在下一采集周期，资源调度子模块根据该信息从冗余热备的节点中选择一个作为新的工作采集节点，任务调度子模块根据资源调度子模块的调度结果，将该采集节点上的一部分采集任务迁移给新加入的工作采集节点，并返回执行步骤9.1；

步骤9.3.10、当所有冗余热备的采集节点均加入工作，仍存在采集节点过载，则节点监控子模块将该采集节点过载信息发送到报警子模块进行实时报警，报警子模块将报警信息发送到报警日志子模块进行记录。

步骤10所述的采用数据压缩和存储模块将每个采集节点采集到的数据进行缓存、持久化、压缩后存入数据库，采用结果监控子模块对各采集节点上采集数据的存储情况进行实时监控，并将采集任务存储失败的异常信息发送到报警子模块进行实时报警，报警子模块将报警信息发送到日志管理模块中进行记录，具体步骤如下：

步骤10.1、数据缓存子模块将每个采集节点采集到的数据在内存缓存区进行缓存；

步骤10.2、数据持久化子模块将每个采集节点采集到的数据持久化到本地磁盘；

步骤10.3、数据压缩子模块将内存缓存区中缓存的数据进行压缩；

步骤10.4、数据存储子模块将压缩后的数据存入数据库；

步骤10.5、结果监控子模块对各采集节点上采集数据的存储情况进行实时监控，并将存储结果信息发送到结果日志子模块中；

步骤10.6、当数据存储子模块将数据成功存入数据库时，结果监控子模块将该数据存储成功的信息发送到数据缓存子模块和数据持久化子模块，数据缓存子模块将该部分数据从内存缓存区删除以节省内存空间，数据持久化子模块将该部分数据从采集节点本地磁盘删除以节省磁盘空间；

步骤10.7、当存在采集节点上采集数据存入数据库失败时，结果监控子模块将该采集节点上采集任务存储失败的信息发送到数据压缩子模块，数据压缩子模块将内存缓存区中的该部分数据重新进行压缩，返回执行步骤10.4；

步骤10.8、当数据压缩子模块检测到由于数据缓存子模块失效导致内存缓存区中数据丢失时，将丢失信息发送到数据持久化子模块中，数据持久化子模块将丢失数据从本地磁盘读入内存缓存区，返回执行步骤10.3；

步骤10.9、当本地磁盘中的持久化数据也存入数据库失败时，结果监控子模块将采集任务存储失败的异常信息发送到报警子模块进行实时报警，报警子模块将报警信息发送到报警日志子模块中进行记录。

本发明优点：

本发明和现有技术相比具有如下优点：本发明提出一种大规模分布式智能数据采集系统及方法，用户可以根据需求设定采集任务的采集模式，并根据采集数据的重要程度不同，对不同采集任务设置不同的采集等级；加入用户管理模块对系统用户进行权限验证，提高了系统的安全性；加入日志管理功能，对各采集周期的采集结果信息、存储结果信息以及报警日志信息进行记录，便于用户对历史信息进行查询；加入资源调度功能，能够根据用户设定的采集任务量确定初始工作的采集节点，其余采集节点作为冗余热备，提高了资源的利用率，同时在系统异常时，能够在一定程度上对采集节点进行调度，保证了系统的可靠性；加入监控报警功能，能够对各采集节点、现场控制站、无线设备的运行状态、各采集节点上任务的采集结果和存储结果、各采集任务的分配、执行、等待情况以及系统网络连接情况等进行实时监控，且能够对系统异常进行实时报警；加入数据压缩功能，对采集数据进行压缩，提高了数据传输效率，节省了数据存储空间，进而提高了采集系统的实时性和硬件资源的利用率；当存在采集节点故障或采集节点上数据组或数据项采集失败时，在当前采集周期，由于存在采集任务的备份，备份的采集节点将采集失败的数据组或数据项对应的备份采集任务的采集结果存入数据库，保证了当前采样周期的数据组和数据项采集的容错性和可靠性；加入无线采集功能，能够对无线传输设备上的数据进行采集。

附图说明

图1为当前工业数据采集系统结构图；

图2为本发明一种实施例大规模分布式智能数据采集系统结构示意图；

图3为本发明一种实施例的基于工业云的大规模分布式智能数据采集方法流程图；

具体实施方式

下面结合附图对本发明一种实施例做进一步说明。

本发明实施例中，如图2所示，一种基于工业云的大规模分布式智能数据采集系统，包括用户管理模块、日志管理模块、资源管理模块、数据采集模块、数据压缩和存储模块、监控报警模块、现场控制站、无线设备和现场设备；

本发明实施例中，用户管理模块、日志管理模块、资源管理模块、数据采集模块、数据压缩和存储模块、监控报警模块均基于MyEclipse 2014开发平台，采用java语言开发；数据采集模块的采集子模块由6个采集节点组成，选用的6个采集节点均运行于Windows7 64位操作系统，8G运行内存的计算机上，用于对现场控制站和无线设备中的数据进行采集；本发明选用的9台现场控制站均为Foxboro公司的PLC，用于连接9组风机；选用的9台无线设备均采用WSN-03 1W大功率无线数据传输模块；本发明选用的现场设备为9组风机，用于产生风机的相关数据；9组风力发电机的名称分别为：F15、F16、F17、F18、F20、F21、F22、F23、F24；本发明中选用的工业云平台为浪潮云海服务器虚拟化系统V4.0，用户管理模块、日志管理模块、资源管理模块、数据采集模块、数据压缩和存储模块、监控报警模块均部署在该工业云平台上；

本发明实施例中，用户管理模块用于完成用户注册、用户登录及身份验证、用户注销、用户信息查询和用户信息修改等功能；

所述的用户信息包括：用户个人账号、用户名、密码、电子邮箱、联系电话、联系地址和个人标签；

本发明实施例中，日志管理模块，包括：结果日志子模块、报警日志子模块和日志打印子模块；其中，所述的结果日志子模块用于将每个采集节点每个采集周期采集任务的采集结果信息和存储结果信息写入日志，对采集结果和存储结果进行查询；所述的报警日志子模块用于将报警信息写入日志，对报警信息进行查询；所述的日志打印子模块用于打印日志。

本发明实施例中，所述的采集结果信息，包括每个采集节点每个采集周期数据开始采集时刻、结束采集时刻、采集时间、该采集周期采集是否成功，若采集不成功，还包括未成功采集的采集任务个数、未成功采集的采集任务列表；

本发明实施例中，所述的存储结果信息，包括每个采集节点每个采集周期数据开始存入数据库时刻、结束存入数据库时刻、该采集周期存储是否成功，若存储不成功，还包括未成功存储的采集任务个数、未成功存储的采集任务列表；

本发明实施例中，所述的报警信息，包括报警时刻和报警原因；

本发明实施例中，资源管理模块，包括：初始化子模块和资源调度子模块，其中，所述的初始化子模块用于对各采集节点的运行状态阈值和过载运行等待时间进行设定；所述的资源调度子模块用于进行调度信息预处理，即从任务管理子模块获取设定的采集任务，从节点监控子模块获取各现场控制站运行状态信息、无线设备运行状态信息、各采集节点的运行状态信息，根据各现场控制站、无线设备运行状态信息判断有线采集任务对应的现场控制站和无线采集任务对应的无线设备是否均正常运行，并在有线采集任务对应的现场控制站或无线采集任务对应的无线设备处于故障或未开启状态时，提示用户重新设置任务；根据各采集节点的运行状态信息和采集任务量进行资源分配，确定工作的采集节点，并将资源分配结果发送到任务调度子模块；当出现采集节点异常时，进行异常后资源调度，即从冗余热备的采集节点中选择新的采集节点进行工作，将调度结果发送到任务调度子模块。

本发明实施例中，所述采集节点的运行状态阈值，包括CPU正常运行状态阈值、CPU过载状态阈值、内存正常运行状态阈值、内存过载状态阈值、硬盘正常运行状态阈值、硬盘过载状态阈值、网络带宽正常运行状态阈值、网络带宽过载状态阈值；

本发明实施例中，所述的现场控制站的运行状态信息，包括每个现场控制站的运行、故障或未开启状态；所述的无线设备的运行状态信息，包括每个无线设备的运行、故障或未开启状态；所述的采集节点的运行状态信息，包括每个采集节点的运行、故障或未开启状态，以及每个处于运行状态的采集节点的CPU总量、使用率和余量，内存总量、使用率和余量，硬盘总量、使用率和余量，网络宽带总量、使用率和余量；

本发明实施例中，所述的采集节点异常，包括采集节点故障、过载或采集节点上采集任务实际采集时间不满足用户设置的采集周期要求；

本发明实施例中，数据采集模块，包括：任务管理子模块、任务调度子模块和采集子模块，其中，任务管理子模块用于对采集任务进行添加、删除和修改；采集任务的设置包括：采集数据组的设置，每个数据组包含的采集数据项的设置，以及每个采集任务的采集周期、采集优先级、采集等级和采集模式的设置；一个采集任务为一个数据组或一个数据项；任务调度子模块用于从任务管理子模块中获取设置的采集任务，根据采集任务和资源管理模块的调度结果进行任务分配，并将分配给目标采集节点的高等级的主采集任务作为备份任务循环分配给与其编号相邻的下两个工作采集节点，将任务分配结果发送到采集子模块的相应采集节点；当存在采集节点异常时，将异常采集节点上的全部或部分采集任务迁移至资源管理模块所选择的新加入的采集节点上；当存在采集节点上采集任务异常时，将该采集任务的第一个成功采集的备份采集节点设为该采集任务的主采集节点，同时获取各工作采集节点的运行状态信息并按照CPU、内存、硬盘、网络带宽的利用率对其进行排序，将采集节点上异常的采集任务作为备份任务迁移至其他正常运行的工作采集节点；采集子模块包括6个采集节点，各采集节点根据任务调度子模块发送的采集任务的不同采集模式，采用不同的方式实现采集任务的采集；

本发明实施例中，所述的采集优先级：根据采集任务被要求采集的先后顺序分为高优先级、中优先级、低优先级，同一优先级的任务按照任务在任务列表的排列顺序进行采集；

本发明实施例中，所述的采集等级：根据采集任务的重要性程度分为高等级、中等级、低等级；

本发明实施例中，所述的采集模式：包括有线采集模式和无线采集模式，若为有线采集模式，则采集节点通过有线采集方式对该采集任务对应的现场控制站中的数据进行采集，若为无线采集模式，则采集节点采用无线采集方式对该采集任务对应的无线设备中的数据进行采集；

本发明实施例中，所述的采集节点上采集任务异常，是指连续多个采集周期，采集节点上一个或几个采集任务采集失败，但该采集任务的备份采集节点上该采集任务能够成功采集的情况；

本发明实施例中，数据压缩和存储模块，包括：数据缓存子模块、数据持久化子模块、数据压缩子模块和数据存储子模块，其中，数据缓存子模块用于将每个采集节点采集到的数据在内存缓存区进行缓存，当数据经压缩成功存入数据库后，将内存缓存区中对应的数据删除以节省内存空间，当存在采集节点的某一主采集任务采集失败时，将失败的主采集任务的备份采集任务的采集结果从该主采集任务的备份采集节点存入内存缓存区；当存在采集节点故障时，则将故障采集节点所有主采集任务的备份采集节点上相应备份采集任务的采集结果存入内存缓存区；数据持久化子模块用于将每个采集节点采集到的数据持久化到本地磁盘，当数据缓存子模块失效导致数据丢失时，将丢失数据从本地磁盘读入内存缓存区，当数据经压缩成功存入数据库后，将本地磁盘中对应的数据删除以节省磁盘空间；数据压缩子模块用于检测数据缓存子模块是否失效，若未失效，则将内存缓存区中缓存的数据进行压缩，若失效，则将数据缓存子模块的失效信息发送给数据持久化子模块；数据存储子模块用于将数据压缩子模块压缩后的数据存入数据库。

本发明实施例中，监控报警模块，包括：结果监控子模块、任务监控子模块、节点监控子模块、网络监控子模块和报警子模块，其中，结果监控子模块用于从任务管理子模块中获取各采集任务的采集周期，对各采集节点的采集结果信息和存储结果信息进行实时监控，将采集结果信息和存储结果信息发送至日志管理模块中，当存在采集节点上的采集任务采集失败时，将采集节点采集任务采集失败的信息发送至报警子模块、数据压缩和存储模块；当存在采集节点上的采集任务异常时，将该采集任务异常的信息发送至任务调度子模块；当采集节点上经压缩后的采集数据成功存入数据库时，将存储成功的信息发送至数据压缩和存储模块；当存在采集节点上采集任务存储失败时，将采集节点采集任务存储失败的信息发送至报警子模块、数据压缩和存储模块；将各采集节点上采集任务的实际采集时间与设置的采集周期进行对比，当存在采集节点上采集任务的实际采集时间大于设置的采集周期时，将该采集节点上采集任务实际采集时间不满足采集周期要求的信息发送至报警子模块、资源管理模块和任务调度子模块中；任务监控子模块用于对采集任务的数量、任务队列、任务分配、任务执行和任务等待情况进行监控，并在采集任务对应的现场控制站和无线设备故障时，暂停相应任务的执行；节点监控子模块用于接收各现场控制站、无线设备以及各采集节点的注册信息，并按照注册顺序对各采集节点进行编号，从资源管理模块中获取各采集节点的运行状态阈值信息和过载运行等待时间信息，实时获取各现场控制站的运行状态信息、无线设备的运行状态信息、采集节点的运行状态信息并对其运行状态进行实时监控，当现场控制站或无线设备故障时，将对应故障信息发送给任务监控子模块和报警子模块，当存在采集节点故障时，将采集节点故障信息发送至报警子模块、资源管理模块、任务调度子模块以及数据压缩和存储模块中；将各采集节点的实际运行状态与其运行状态阈值进行对比，判断采集节点是否过载，当存在采集节点过载且在过载运行等待时间之后仍然过载时，将该采集节点过载信息发送至报警子模块、资源管理模块和任务调度子模块中；网络监控子模块用于监控系统当前网络连接是否正常，若网络连接异常，将异常信息发送到报警子模块；报警子模块用于对系统异常进行实时报警，同时将报警信息发送至日志管理模块。

本发明实施例中，所述的系统异常，包括现场控制站故障、无线设备故障、采集节点故障、采集节点过载、采集任务采集失败、采集任务存储失败、采集节点上采集任务的实际采集时间不能满足用户设定的采集周期要求和网络连接异常。

本发明实施例中，采用基于工业云的大规模分布式智能数据采集系统进行的采集方法，方法流程图如图3所示，包括以下步骤：

步骤1、依次开启9台风机及其对应的现场控制站和无线设备，9个现场控制站和9个无线设备开启后自动向监控报警模块的节点监控子模块注册信息；

步骤2、依次开启6个采集节点，6个采集节点开启后自动向节点监控子模块注册信息，节点监控子模块按照注册顺序分别为每个采集节点编号为1，2，3，4，5，6；

步骤3、设置6个采集节点的时钟同步；

步骤4、采用用户管理模块注册用户信息并登录；

本发明实施例中，所述的用户信息包括：用户个人账号、用户名、密码、电子邮箱、联系电话、联系地址和个人标签；

步骤5、采用资源管理模块设置各采集节点的运行状态阈值及其过载运行等待时间；

本发明实施例中，设置6个采集节点的运行状态阈值均为默认值，包括CPU正常运行状态阈值为3％-70％、CPU过载状态阈值为75％-80％，内存正常运行状态阈值为20％-70％、内存过载状态阈值为75％-80％，硬盘正常运行状态阈值为21％-70％、硬盘过载状态阈值为75％-80％，网络带宽正常运行状态阈值为2％-70％、网络带宽过载状态阈值为75％-80％；设置6个采集节点的过载运行等待时间均为10s；

步骤6、采用数据采集模块的任务管理子模块设置采集任务；采集任务的设置包括采集数据组的设置，每个数据组包含的采集数据项的设置，以及每个采集任务的采集周期、采集优先级、采集等级、采集模式的设置；一个采集任务为一个数据组或一个数据项；

本发明实施例中，所述的采集优先级：根据采集任务被要求采集的先后顺序分为高优先级、中优先级、低优先级，同一优先级的任务按照任务在任务列表的排列顺序进行采集；所述的采集等级：根据采集任务的重要性程度分为高等级、中等级、低等级；所述的采集模式：包括有线采集模式和无线采集模式，若为有线采集模式，则采集节点通过有线采集方式对该采集任务对应的现场控制站中的数据进行采集，若为无线采集模式，则采集节点采用无线采集方式对该采集任务对应的无线设备中的数据进行采集；

本发明实施例中，共设置F15、F16、F17、F18、F20、F21、F22、F23、F24这9个数据组，即9个采集任务，分别对应F15、F16、F17、F18、F20、F21、F22、F23、F24这9台风机上数据的采集，每个数据组包含404个数据项，其中Single Float型数据31个、Double Float型数据52个、Boolean型数据319个、Unsigned Integer型数据2个，将F15、F16、F17、F18、F20、F21这6个采集任务的采集模式设置为有线采集模式，将F22、F23、F24这3个采集任务的采集模式设置为无线采集模式，将F15、F16、F17、F22、F23这5个采集任务的优先级设置为1，表示高优先级任务，将F18、F20这两个采集任务的优先级设置为2，表示中优先级任务，将F21、F24这2个采集任务的优先级设置为3，表示低优先级任务。将所有采集任务的采样周期均设置为1000ms，所有采集任务的采集等级均设置为1，表示所有采集任务均为高等级任务，需要对所有采集任务均进行备份。

步骤7、采用资源管理模块进行调度信息预处理，并进行资源分配获得分配结果，确定工作的采集节点，将分配结果发送到任务调度子模块；具体如下：

步骤7.1、采用资源管理模块的资源调度子模块从任务管理子模块中获取设定的采集任务，从节点监控子模块中获取各现场控制站运行状态信息、无线设备运行状态信息以及各采集节点的运行状态信息；

本发明实施例中，所述的现场控制站的运行状态信息，包括每个现场控制站的运行、故障或未开启状态；所述的无线设备的运行状态信息，包括每个无线设备的运行、故障或未开启状态；所述的采集节点的运行状态信息，包括每个采集节点的运行、故障或未开启状态，以及每个处于运行状态的采集节点的CPU总量、使用率和余量，内存总量、使用率和余量，硬盘总量、使用率和余量，网络宽带总量、使用率和余量；

步骤7.2、资源调度子模块判断有线采集任务对应的现场控制站和无线采集任务对应的无线设备是否均正常运行，若F15、F16、F17、F18、F20、F21这6台风机所对应的现场控制站都正常运行，F22、F23、F24这3台风机对应的无线设备都正常运行，则执行步骤7.3，若现场控制站中有一台或几台处于故障或未开启状态，或无线设备中有一台或几台处于故障或未开启状态，则提示对应的现场控制站或无线设备异常，需重新设置任务，返回执行步骤6；

步骤7.3、采用资源调度子模块根据采集任务量以及各采集节点的运行状态信息进行资源分配，优先选择CPU、内存、硬盘、网络带宽余量大的采集节点进行工作，从而确定工作的采集节点，其余采集节点作为冗余热备，将该调度结果发送到数据采集模块的任务调度子模块；

本发明实施例中，根据所设定的采集任务，资源调度子模块确定的初始工作的采集节点个数为3个，分别为1、2、3号采集节点，4、5、6号采集节点作为冗余热备的采集节点；

步骤8、任务调度子模块从任务管理子模块获取采集任务，并根据采集任务和资源管理模块的分配结果进行任务分配，并将分配给目标采集节点的高等级主采集任务作为备份任务循环分配给与其编号相邻的下两个工作采集节点，将分配给各个采集节点的任务发送至采集子模块的相应采集节点上；

本发明实施例中，根据所设定的采集任务，任务调度子模块所确定的任务分配方案为：F15、F17、F20这3个有线采集任务作为1号采集节点的主采集任务进行采集，F16、F18、F21这3个有线采集任务作为2号采集节点的主采集任务进行采集，F22、F23、F24这3个无线采集任务作为3号采集节点的主采集任务进行采集。同时将1号采集节点上的高等级主采集任务即F15、F17、F20作为备份采集任务分配给2、3号采集节点，其中，2号采集节点为1号采集节点上主采集任务即F15、F17、F20的第一号备份采集节点，3号采集节点为1号采集节点上主采集任务即F15、F17、F20的第二号备份采集节点，将2号采集节点上的高等级主采集任务即F16、F18、F21作为备份采集任务分配给3、1号采集节点，其中，3号采集节点为2号采集节点上主采集任务即F16、F18、F21的第一号备份采集节点，1号采集节点为2号采集节点上主采集任务即F16、F18、F21的第二号备份采集节点，将3号采集节点上的高等级主采集任务即F22、F23、F24作为备份采集任务分配给1、2号采集节点，其中，1号采集节点为3号采集节点上主采集任务即F22、F23、F24的第一号备份采集节点，2号采集节点为3号采集节点上主采集任务即F22、F23、F24的第二号备份采集节点；

步骤9、各个采集节点根据自身获取到的采集任务完成对相应现场控制站和无线设备中数据的采集，采用结果监控子模块对采集结果进行实时监控，采用节点监控子模块对节点运行状态进行实时监控，采用任务监控子模块对任务执行情况进行实时监控，并将异常信息发送至报警子模块进行实时报警，报警子模块将报警信息发送至日志管理模块中进行记录；

本发明实施例中，所述的报警信息，包括报警时刻和报警原因；

具体步骤如下：

步骤9.1、各采集节点根据自身获取到的每条采集任务的采集模式，对相应现场控制站或无线设备中的数据进行采集；若为有线采集模式，则采用有线采集方式对采集任务对应的现场控制站中的数据进行采集，若为无线采集模式，则采用无线采集方式对采集任务对应的无线设备中的数据进行采集；

本发明实施例中，1号采集节点，采用有线采集方式对F15、F16、F17、F18、F20、F21这6条采集任务对应的现场控制站中的数据进行采集，采用无线采集方式对F22、F23、F24这3条采集任务对应的无线设备中的数据进行采集，其中F16、F18、F21这3条采集任务为2号采集节点上主采集任务的备份采集任务，F22、F23、F24这3条采集任务为3号采集节点上主采集任务的备份采集任务；2号采集节点，采用有线采集方式对F15、F16、F17、F18、F20、F21这6条采集任务对应的现场控制站中的数据进行采集，采用无线采集方式对F22、F23、F24这3条采集任务对应的无线设备中的数据进行采集，其中F15、F17、F20这3条采集任务为1号采集节点上主采集任务的备份采集任务，F22、F23、F24这3条采集任务为3号采集节点上主采集任务的备份采集任务；3号采集节点，采用有线采集方式对F15、F16、F17、F18、F20、F21这6条采集任务对应的现场控制站中的数据进行采集，采用无线采集方式对F22、F23、F24这3条采集任务对应的无线设备中的数据进行采集，其中F15、F17、F20这3条采集任务为1号采集节点上主采集任务的备份采集任务，F16、F18、F21这3条采集任务为2号采集节点上主采集任务的备份采集任务；

步骤9.2、采用结果监控子模块从任务管理子模块获取各采集任务的采集周期，对各采集节点的采集结果进行实时监控，将采集结果信息发送到日志管理模块中，并将异常信息发送至报警子模块进行实时报警，报警子模块将报警信息发送到日志管理模块中进行记录；

本发明实施例中，所述的采集结果信息，包括每个采集节点每个采集周期数据开始采集时刻、结束采集时刻、采集时间、该采集周期采集是否成功，若采集不成功，还包括未成功采集的采集任务个数、未成功采集的采集任务列表；

具体步骤如下：

步骤9.2.1、采用结果监控子模块从任务管理子模块获取各采集任务的采集周期，对各采集节点的采集结果进行实时监控，将采集结果信息发送至日志管理模块的结果日志子模块中；

步骤9.2.2、若存在某采集节点上某个或某几个主采集任务采集失败，则在当前采集周期，结果监控子模块将采集节点上主采集任务采集失败的信息发送到数据压缩和存储模块的数据缓存子模块中；

本发明实施例中，假设1号采集节点中采集任务F15采集失败，或采集任务F15中的某个数据项采集失败，则在当前采集周期，结果监控子模块将1号采集节点上采集任务F15采集失败的信息发送到数据压缩和存储模块的数据缓存子模块中；

步骤9.2.3、数据缓存子模块将采集任务F15的备份采集任务的采集结果从2号采集节点存入内存缓存区，数据压缩子模块将内存缓存区缓存的数据进行压缩，数据存储子模块将压缩后的数据存入数据库；

步骤9.2.4、若此时2号采集节点上采集任务F15也采集失败，则数据缓存子模块将采集任务F15的备份采集任务的采集结果从3号采集节点存入内存缓存区，数据压缩子模块将内存缓存区缓存的数据进行压缩，数据存储子模块将压缩后的数据存入数据库；

步骤9.2.5、若此时3号采集节点上采集任务F15依然采集失败，则结果监控子模块将采集任务F15采集失败的信息发送至报警子模块进行实时报警，报警子模块将报警信息发送至日志管理模块的报警日志子模块中进行记录；

步骤9.2.6、若存在采集节点上主采集任务异常，则在下一个采集周期，结果监控子模块将该采集节点上该主采集任务异常的信息发送至任务调度子模块中，任务调度子模块将该采集任务的第一个成功采集的备份采集节点设为该采集任务的主采集节点，同时任务调度子模块获取剩余各工作采集节点的运行状态信息并以CPU利用率为主要关键字、以内存利用率为第一次要关键字、硬盘利用率为第二次要关键字、网络带宽利用率为第三次要关键字对剩余各工作采集节点进行排序，将采集节点上异常的采集任务作为备份任务迁移到当前CPU、内存、硬盘、网络带宽利用率最低的正常运行的工作采集节点进行采集，若此时不存在剩余工作采集节点，则资源调度子模块从冗余热备的采集节点中选择一个CPU、内存、硬盘、网络带宽利用率最低的采集节点作为新加入的工作采集节点，任务调度子模块将采集节点上异常采集任务作为备份任务迁移到该新加入的工作采集节点进行采集；结果监控子模块监控迁移到的工作采集节点上该采集任务的采集情况，若连续多个采集周期该采集节点上该采集任务依然采集失败，则按照CPU、内存、硬盘、网络带宽利用率从低到高的顺序继续进行任务迁移，直至迁移到的工作采集节点上该采集任务能够采集成功为止；若连续迁移多次，该采集任务依然采集失败，则结果监控子模块将该采集任务异常的信息发送至报警子模块进行实时报警，报警子模块将报警信息发送至日志管理模块的报警日志子模块中进行记录；

本发明实施例中，所述的采集节点上采集任务异常，是指连续多个采集周期均存在某采集节点上一个或几个采集任务采集失败，但该采集任务的备份采集节点上该采集任务能够成功采集的情况；所述的剩余各工作采集节点是指除该异常采集任务所属的主采集节点及其备份采集节点之外的其余各工作采集节点。

本发明实施例中，若连续3个采集周期，1号采集节点上采集任务F15均采集失败，但2号和3号采集节点中至少有一个节点该任务能够成功采集，这里假设2号和3号采集节点该任务均能够成功采集，则在下一个采集周期，结果监控子模块将1号采集节点上采集任务F15异常的信息发送至任务调度子模块中，任务调度子模块将2号采集节点设为采集任务F15的主采集节点，同时任务调度子模块获取剩余工作采集节点的运行状态信息，由于此时没有剩余工作采集节点，故资源调度子模块选择CPU、内存、硬盘、网络带宽利用率最低的4号采集节点作为新加入的工作采集节点，任务调度子模块将1号采集节点上采集任务F15作为备份采集任务迁移至4号采集节点进行采集；结果监控子模块监控4号采集节点上采集任务F15的采集情况，若连续3个采集周期4号采集节点上采集任务F15依然采集失败，则按照CPU、内存、硬盘、网络带宽利用率从低到高的顺序继续迁移，将任务迁移到CPU、内存、硬盘、网络带宽利用率最低的5号采集节点，直至迁移到的工作采集节点上该采集任务能够采集成功为止；若连续迁移3次，采集任务F15依然采集失败，则结果监控子模块将采集任务F15异常的信息发送至报警子模块进行实时报警，报警子模块将报警信息发送至日志管理模块的报警日志子模块中进行记录；

步骤9.2.7、结果监控子模块将各采集节点采集任务的实际采集时间与设置的采集周期进行对比，若实际采集时间大于设置的采集周期，则执行步骤9.2.8，否则，执行步骤9.3；

本发明实施例中，假设1号采集节点采集任务F17的实际采集时间大于1000ms；

步骤9.2.8、将1号采集节点上采集任务F17实际采集时间不满足采集周期要求的信息发送至任务调度子模块和资源管理模块的资源调度子模块中，在下一采集周期，资源调度子模块根据该信息从当前冗余热备的4，5，6号采集节点中选择4号采集节点作为新的工作采集节点，任务调度子模块将1号采集节点上的采集任务F15、F17、F21迁移至4号工作采集节点，并返回执行步骤9.1；

步骤9.2.9、当所有冗余热备的4，5，6号采集节点均加入工作，仍存在采集节点实际采集时间大于设置的采集周期，则将实际采集时间不能满足采集周期的信息发送到报警子模块进行实时报警，同时报警子模块将报警信息发送到报警日志子模块中进行记录；

步骤9.3、采用节点监控子模块从资源管理模块中获取各采集节点的运行状态阈值和过载运行等待时间，实时监控各现场控制站、无线设备、采集节点的运行状态，并将异常信息发送至报警子模块进行实时报警，报警子模块将报警信息发送到日志管理模块中进行记录；

具体步骤如下：

步骤9.3.1、采用节点监控子模块从资源管理模块的初始化子模块中获取各采集节点的运行状态阈值和过载运行等待时间，实时监控各现场控制站、无线设备、采集节点的运行状态；

步骤9.3.2、当存在现场控制站故障时，节点监控子模块将该现场控制站故障的信息发送至任务监控子模块中，任务监控子模块终止对应有线采集任务的采集，并提示该现场控制站对应的采集任务采集失败，同时节点监控子模块将该现场控制站故障信息发送到报警子模块进行实时报警，报警子模块将报警信息发送到报警日志子模块进行记录；

步骤9.3.3、当存在无线设备故障时，则节点监控子模块将该无线设备故障的信息发送至任务监控子模块，任务监控子模块终止对应的无线采集任务的采集，并提示该无线设备对应的采集任务采集失败，同时节点监控子模块将该无线设备故障信息发送到报警子模块进行实时报警，报警子模块将报警信息发送到报警日志子模块进行记录；

步骤9.3.4、当存在采集节点故障时，在当前采集周期，节点监控子模块将采集节点故障信息发送至数据缓存子模块中；

本发明实施例中，人为关闭2号采集节点，以模仿2号采集节点故障情况，则在当前采集周期，节点监控子模块将2号采集节点故障信息发送至数据缓存子模块中；

步骤9.3.5、数据缓存子模块将2号采集节点上所有主采集任务，即F16，F18，F21的第一号备份采集节点，即3号采集节点上相应备份采集任务，即F16，F18，F21的采集结果在内存缓存区进行缓存，数据压缩子模块将内存缓存区缓存的数据进行压缩，数据存储子模块将压缩后的数据存入数据库；

步骤9.3.6、若此时3号采集节点也发生故障，则数据缓存子模块将第二号备份采集节点，即1号采集节点相应备份采集任务，即F16，F18，F21的采集结果在内存缓存区进行缓存，数据压缩子模块将内存缓存区缓存的数据进行压缩，数据存储子模块将压缩后的数据存入数据库；

步骤9.3.7、下一采集周期，节点监控子模块将2号采集节点故障信息发送至资源调度子模块和任务调度子模块中，资源调度子模块从冗余热备的4，5，6号采集节点中选择4号采集节点作为新的采集节点，任务调度子模块将2号采集节点的采集任务迁移至4号采集节点进行采集，同时，节点监控子模块将2号采集节点的故障信息发送至报警子模块进行实时报警，报警子模块将报警信息发送到报警日志子模块进行记录；

步骤9.3.8、节点监控子模块比较每个在线采集节点的CPU、内存、硬盘、网络带宽的使用率及初始对其设置的CPU、内存、硬盘、网络带宽正常运行状态阈值和过载运行状态阈值，分别判断每个工作采集节点是否过载，若工作采集节点的CPU、内存、硬盘、网络带宽的使用率均处于初始对其设置的正常运行状态阈值范围内，则判断该工作采集节点未过载，执行步骤9.4；若工作采集节点的CPU、内存、硬盘、网络带宽的使用率中任意一项处于初始对其设置的过载运行状态阈值范围内，则判断该工作采集节点过载，此时等待10s后再进行判断，若过载运行等待时间10s后，该工作采集节点依然过载，则执行步骤9.3.9；

步骤9.3.9、节点监控子模块将其过载信息发送给资源调度子模块和任务调度子模块，在下一采集周期，资源调度子模块根据该信息从冗余热备的采集节点中选择一个作为新的工作采集节点，任务调度子模块根据资源调度子模块的调度结果，将该采集节点上的一部分采集任务迁移给新加入的工作采集节点，并返回执行步骤9.1；

步骤9.3.10、当所有冗余热备的4，5，6号采集节点均加入工作，仍存在采集节点过载，则节点监控子模块将该采集节点过载信息发送到报警子模块进行实时报警，报警子模块将报警信息发送到报警日志子模块进行记录；

步骤9.4、采用任务监控子模块对设定的采集任务数量、任务队列、任务分配、任务等待和任务执行情况进行实时监控，并将异常信息发送至报警子模块进行实时报警，报警子模块将报警信息发送到日志管理模块中进行记录；

步骤10、采用数据压缩和存储模块将每个采集节点采集到的数据进行缓存、持久化、压缩后存入数据库，采用结果监控子模块对各采集节点上采集数据的存储情况进行实时监控，并将采集任务存储失败的异常信息发送到报警子模块进行实时报警，报警子模块将报警信息发送到日志管理模块中进行记录；

具体步骤如下：

步骤10.1、数据缓存子模块将每个采集节点采集到的数据在内存缓存区进行缓存；

步骤10.2、数据持久化子模块将每个采集节点采集到的数据持久化到本地磁盘；

步骤10.3、数据压缩子模块将内存缓存区中缓存的数据进行压缩；

步骤10.4、数据存储子模块将压缩后的数据存入数据库；

步骤10.5、结果监控子模块对各采集节点上采集数据的存储情况进行实时监控，并将存储结果信息发送到结果日志子模块中；

本发明实施例中，所述的存储结果信息，包括每个采集节点每个采集周期数据开始存入数据库时刻、结束存入数据库时刻、该采集周期存储是否成功，若存储不成功，还包括未成功存储的采集任务个数、未成功存储的采集任务列表；

步骤10.6、当数据存储子模块将数据成功存入数据库时，结果监控子模块将该数据存储成功的信息发送到数据缓存子模块和数据持久化子模块，数据缓存子模块将该部分数据从内存缓存区删除以节省内存空间，数据持久化子模块将该部分数据从采集节点本地磁盘删除以节省磁盘空间；

步骤10.7、当存在采集节点上采集数据存入数据库失败时，结果监控子模块将该采集节点上采集任务存储失败的信息发送到数据压缩子模块，数据压缩子模块将内存缓存区中的该部分数据重新进行压缩，返回执行步骤10.4；

步骤10.8、当数据压缩子模块检测到由于数据缓存子模块失效导致内存缓存区中数据丢失时，将丢失信息发送到数据持久化子模块中，数据持久化子模块将丢失数据从本地磁盘读入内存缓存区，返回执行步骤10.3；

步骤10.9、当本地磁盘中的持久化数据也存入数据库失败时，结果监控子模块将采集任务存储失败的异常信息发送到报警子模块进行实时报警，报警子模块将报警信息发送到报警日志子模块中进行记录；

步骤11、采用网络监控子模块实时监控系统网络连接情况，若系统网络连接异常，将异常信息发送给报警子模块进行实时报警，报警子模块将报警信息发送到日志管理模块中进行记录。

Claims (10)

1.一种基于工业云的大规模分布式智能数据采集系统，其特征在于，包括用户管理模块、日志管理模块、资源管理模块、数据采集模块、数据压缩和存储模块、监控报警模块、现场控制站、无线设备和现场设备；

所述的用户管理模块：用于完成用户注册、用户登录及身份验证、用户注销、用户信息查询和用户信息修改；

所述的日志管理模块：用于将每个采集节点每个采集周期采集任务的采集结果信息和存储结果信息、报警信息写入日志，对采集结果信息、存储结果信息和报警信息进行查询，并打印日志；

所述的资源管理模块：用于对各采集节点的运行状态阈值和过载运行等待时间进行设定；进行调度信息预处理，即从数据采集模块的任务管理子模块获取设定的采集任务，从监控报警模块中的节点监控子模块获取各现场控制站运行状态信息、无线设备运行状态信息、各采集节点的运行状态信息，根据各现场控制站、无线设备运行状态信息判断有线采集任务对应的现场控制站和无线采集任务对应的无线设备是否均正常运行，并在有线采集任务对应的现场控制站或无线采集任务对应的无线设备处于故障或未开启状态时，提示用户重新设置任务；根据各采集节点的运行状态信息和采集任务量进行资源分配，确定工作的采集节点，并将资源分配结果发送到数据采集模块的任务调度子模块；当出现采集节点异常时，进行异常后资源调度，即从冗余热备的采集节点中选择新的采集节点进行工作，将调度结果发送到数据采集模块的任务调度子模块；

所述的数据采集模块包括：任务管理子模块、任务调度子模块和采集子模块，其中，

所述的任务管理子模块：用于对采集任务进行添加、删除和修改；采集任务的设置包括：采集数据组的设置，每个数据组包含的采集数据项的设置，以及每个采集任务的采集周期、采集优先级、采集等级和采集模式的设置；一个采集任务为一个数据组或一个数据项；

所述的任务调度子模块：用于从任务管理子模块中获取设置的采集任务，根据采集任务和资源管理模块的调度结果进行任务分配，并将分配给目标采集节点的高等级的主采集任务作为备份任务循环分配给与其编号相邻的下两个工作采集节点，将任务分配结果发送到采集子模块的相应采集节点；当存在采集节点异常时，将异常采集节点上的全部或部分采集任务迁移至资源管理模块所选择的新加入的采集节点上；当存在采集节点上采集任务异常时，将该采集任务的第一个成功采集的备份采集节点设为该采集任务的主采集节点，同时获取各工作采集节点的运行状态信息并按照CPU、内存、硬盘、网络带宽的利用率对其进行排序，将采集节点上异常的采集任务作为备份任务迁移至其他正常运行的工作采集节点；

所述的采集子模块包括多个采集节点，各采集节点根据任务调度子模块发送的采集任务的不同采集模式，采用不同的方式实现采集任务的采集；

所述的数据压缩和存储模块：用于将每个采集节点采集到的数据在内存缓存区进行缓存，并持久化到本地磁盘，将内存缓存区中缓存的数据进行压缩后存入数据库，当内存缓存区因模块失效导致数据丢失时，将丢失数据从本地磁盘读入内存缓存区；当数据经压缩成功存入数据库后，将内存缓存区中对应的数据删除以节省内存空间，并将本地磁盘中对应的数据删除以节省磁盘空间；当存在采集节点的某一主采集任务采集失败时，将失败主采集任务的备份采集任务的采集结果从该主采集任务的备份采集节点存入内存缓存区，当存在采集节点故障时，将故障采集节点所有主采集任务的备份采集节点上相应备份采集任务的采集结果存入内存缓存区；

所述的监控报警模块包括：结果监控子模块、任务监控子模块、节点监控子模块、网络监控子模块和报警子模块，其中，

所述的结果监控子模块：用于从任务管理子模块中获取各采集任务的采集周期，对各采集节点的采集结果信息和存储结果信息进行实时监控，将采集结果信息和存储结果信息发送至日志管理模块中，当存在采集节点上的采集任务采集失败时，将采集节点采集任务采集失败的信息发送至报警子模块、数据压缩和存储模块；当存在采集节点上的采集任务异常时，将该采集任务异常的信息发送至任务调度子模块；当采集节点上经压缩后的采集数据成功存入数据库时，将存储成功的信息发送至数据压缩和存储模块；当存在采集节点上采集任务存储失败时，将采集节点采集任务存储失败的信息发送至报警子模块、数据压缩和存储模块；将各采集节点上采集任务的实际采集时间与设置的采集周期进行对比，当存在采集节点上采集任务的实际采集时间大于设置的采集周期时，将该采集节点上采集任务实际采集时间不满足采集周期要求的信息发送至报警子模块、资源管理模块和任务调度子模块中；

所述的任务监控子模块：用于对采集任务的数量、任务队列、任务分配、任务执行和任务等待情况进行监控，并在采集任务对应的现场控制站和无线设备故障时，暂停相应任务的执行；

所述的节点监控子模块：用于接收各现场控制站、无线设备以及各采集节点的注册信息，并按照注册顺序对各采集节点进行编号，从资源管理模块中获取各采集节点的运行状态阈值信息和过载运行等待时间信息，实时获取各现场控制站的运行状态信息、无线设备的运行状态信息、采集节点的运行状态信息并对其运行状态进行实时监控，当现场控制站或无线设备故障时，将对应故障信息发送给任务监控子模块和报警子模块，当存在采集节点故障时，将采集节点故障信息发送至报警子模块、资源管理模块、任务调度子模块以及数据压缩和存储模块中；将各采集节点的实际运行状态与其运行状态阈值进行对比，判断采集节点是否过载，当存在采集节点过载且在过载运行等待时间之后仍然过载时，将该采集节点过载信息发送至报警子模块、资源管理模块和任务调度子模块中；

所述的网络监控子模块：用于监控系统当前网络连接是否正常，若网络连接异常，将异常信息发送到报警子模块；

所述的报警子模块：用于对系统异常进行实时报警，同时将报警信息发送至日志管理模块。

2.根据权利要求1所述的基于工业云的大规模分布式智能数据采集系统，其特征在于，

所述的用户信息包括：用户个人账号、用户名、密码、电子邮箱、联系电话、联系地址和个人标签；

所述的采集结果信息，包括每个采集节点每个采集周期数据开始采集时刻、结束采集时刻、采集时间、该采集周期采集是否成功，若采集不成功，还包括未成功采集的采集任务个数、未成功采集的采集任务列表；

所述的存储结果信息，包括每个采集节点每个采集周期数据开始存入数据库时刻、结束存入数据库时刻、该采集周期存储是否成功，若存储不成功，还包括未成功存储的采集任务个数、未成功存储的采集任务列表；

所述的报警信息，包括报警时刻和报警原因；

所述采集节点的运行状态阈值，包括CPU正常运行状态阈值、CPU过载状态阈值、内存正常运行状态阈值、内存过载状态阈值、硬盘正常运行状态阈值、硬盘过载状态阈值、网络带宽正常运行状态阈值、网络带宽过载状态阈值；

所述的采集节点异常，包括采集节点故障、过载或采集节点上采集任务实际采集时间不满足用户设置的采集周期要求；

所述的采集节点上采集任务异常，是指连续多个采集周期，采集节点上一个或几个采集任务采集失败，但该采集任务的备份采集节点上该采集任务能够成功采集的情况；

所述的采集优先级：根据采集任务被要求采集的先后顺序分为高优先级、中优先级、低优先级，同一优先级的任务按照任务在任务列表的排列顺序进行采集；

所述的采集等级：根据采集任务的重要性程度分为高等级、中等级、低等级；

所述的采集模式：包括有线采集模式和无线采集模式，若为有线采集模式，则采集节点通过有线采集方式对该采集任务对应的现场控制站中的数据进行采集，若为无线采集模式，则采集节点采用无线采集方式对该采集任务对应的无线设备中的数据进行采集；

所述的现场控制站的运行状态信息，包括每个现场控制站的运行、故障或未开启状态；

所述的无线设备的运行状态信息，包括每个无线设备的运行、故障或未开启状态；

所述的采集节点的运行状态信息，包括每个采集节点的运行、故障或未开启状态，以及每个处于运行状态的采集节点的CPU总量、使用率和余量，内存总量、使用率和余量，硬盘总量、使用率和余量，网络宽带总量、使用率和余量；

所述的系统异常，包括现场控制站故障、无线设备故障、采集节点故障、采集节点过载、采集任务采集失败、采集任务存储失败、采集节点上采集任务的实际采集时间不能满足用户设定的采集周期要求和网络连接异常。

3.根据权利要求1所述的基于工业云的大规模分布式智能数据采集系统，其特征在于，所述的日志管理模块包括：结果日志子模块、报警日志子模块、日志打印子模块；其中，

所述的结果日志子模块：用于将每个采集节点每个采集周期采集任务的采集结果信息和存储结果信息写入日志，对采集结果和存储结果进行查询；

所述的报警日志子模块：用于将报警信息写入日志，对报警信息进行查询；

所述的日志打印子模块：用于打印日志。

4.根据权利要求1所述的基于工业云的大规模分布式智能数据采集系统，其特征在于，所述的资源管理模块包括：初始化子模块和资源调度子模块，其中，

所述的初始化子模块：用于对各采集节点的运行状态阈值和过载运行等待时间进行设定；

所述的资源调度子模块：用于进行调度信息预处理，即从任务管理子模块获取设定的采集任务，从节点监控子模块获取各现场控制站运行状态信息、无线设备运行状态信息、各采集节点的运行状态信息，根据各现场控制站、无线设备运行状态信息判断有线采集任务对应的现场控制站和无线采集任务对应的无线设备是否均正常运行，并在有线采集任务对应的现场控制站或无线采集任务对应的无线设备处于故障或未开启状态时，提示用户重新设置任务；根据各采集节点的运行状态信息和采集任务量进行资源分配，确定工作的采集节点，并将资源分配结果发送到任务调度子模块；当出现采集节点异常时，进行异常后资源调度，即从冗余热备的采集节点中选择新的采集节点进行工作，将调度结果发送到任务调度子模块。

5.根据权利要求1所述的基于工业云的大规模分布式智能数据采集系统，其特征在于，所述的数据压缩和存储模块包括：数据缓存子模块、数据持久化子模块、数据压缩子模块和数据存储子模块，其中，

所述的数据缓存子模块：用于将每个采集节点采集到的数据在内存缓存区进行缓存，当数据经压缩成功存入数据库后，将内存缓存区中对应的数据删除以节省内存空间，当存在采集节点的某一主采集任务采集失败时，将失败主采集任务的备份采集任务的采集结果从该主采集任务的备份采集节点存入内存缓存区，当存在采集节点故障时，则将故障采集节点所有主采集任务的备份采集节点上相应备份采集任务的采集结果存入内存缓存区；

所述的数据持久化子模块：用于将每个采集节点采集到的数据持久化到本地磁盘，当数据缓存子模块失效导致数据丢失时，将丢失数据从本地磁盘读入内存缓存区，当数据经压缩成功存入数据库后，将本地磁盘中对应的数据删除以节省磁盘空间；

所述的数据压缩子模块：用于检测数据缓存子模块是否失效，若未失效，则将内存缓存区中缓存的数据进行压缩，若失效，则将数据缓存子模块的失效信息发送给数据持久化子模块；

所述的数据存储子模块：用于将数据压缩子模块压缩后的数据存入数据库。

6.采用权利要求1所述的基于工业云的大规模分布式智能数据采集系统进行的采集方法，其特征在于，包括以下步骤：

步骤1、开启各现场设备及其对应的现场控制站和无线设备，各现场控制站和无线设备开启后自动向监控报警模块的节点监控子模块注册信息；

步骤2、开启各采集节点，各采集节点开启后自动向节点监控子模块注册信息，节点监控子模块按照注册顺序分别为每个采集节点进行编号；

步骤3、设置各采集节点的时钟同步；

步骤4、采用用户管理模块注册用户信息并登录；

步骤5、采用资源管理模块设置各采集节点的运行状态阈值及其过载运行等待时间；

步骤6、采用数据采集模块的任务管理子模块设置采集任务；

采集任务的设置包括采集数据组的设置，每个数据组包含的采集数据项的设置，以及每个采集任务的采集周期、采集优先级、采集等级、采集模式的设置；一个采集任务为一个数据组或一个数据项；

步骤7、采用资源管理模块进行调度信息预处理，并进行资源分配获得分配结果，确定工作的采集节点，将分配结果发送到任务调度子模块；

步骤8、任务调度子模块从任务管理子模块获取采集任务，并根据采集任务和资源管理模块的分配结果进行任务分配，并将分配给目标采集节点的高等级主采集任务作为备份任务循环分配给与其编号相邻的下两个工作采集节点，将分配给各个采集节点的任务发送至采集子模块的相应采集节点上；

步骤9、各个采集节点根据自身获取到的采集任务完成对相应现场控制站和无线设备中数据的采集，采用结果监控子模块对采集结果进行实时监控，采用节点监控子模块对节点运行状态进行实时监控，采用任务监控子模块对任务执行情况进行实时监控，并将异常信息发送至报警子模块进行实时报警，报警子模块将报警信息发送至日志管理模块中进行记录；

具体步骤如下：

步骤9.1、各采集节点根据自身获取到的每条采集任务的采集模式，对相应现场控制站或无线设备中的数据进行采集；

步骤9.2、采用结果监控子模块从任务管理子模块获取各采集任务的采集周期，对各采集节点的采集结果进行实时监控，将采集结果信息发送到日志管理模块中，并将异常信息发送至报警子模块进行实时报警，报警子模块将报警信息发送到日志管理模块中进行记录；

步骤9.3、采用节点监控子模块从资源管理模块中获取各采集节点的运行状态阈值和过载运行等待时间，实时监控各现场控制站、无线设备、采集节点的运行状态，并将异常信息发送至报警子模块进行实时报警，报警子模块将报警信息发送到日志管理模块中进行记录；

步骤9.4、采用任务监控子模块对设定的采集任务数量、任务队列、任务分配、任务等待和任务执行情况进行实时监控，并将异常信息发送至报警子模块进行实时报警，报警子模块将报警信息发送到日志管理模块中进行记录；

步骤10、采用数据压缩和存储模块将每个采集节点采集到的数据进行缓存、持久化、压缩后存入数据库，采用结果监控子模块对各采集节点上采集数据的存储情况进行实时监控，并将采集任务存储失败的异常信息发送到报警子模块进行实时报警，报警子模块将报警信息发送到日志管理模块中进行记录；

步骤11、采用网络监控子模块实时监控系统网络连接情况，若系统网络连接异常，将异常信息发送给报警子模块进行实时报警，报警子模块将报警信息发送到日志管理模块中进行记录。

7.根据权利要求6所述的采集方法，其特征在于，步骤7所述的采用资源管理模块进行调度信息预处理，并进行资源分配获得分配结果，确定工作的采集节点，将分配结果发送到任务调度子模块；具体如下：

步骤7.1、采用资源管理模块的资源调度子模块从任务管理子模块中获取设定的采集任务，从节点监控子模块中获取各现场控制站运行状态信息、无线设备运行状态信息以及各采集节点的运行状态信息；

步骤7.2、资源调度子模块判断有线采集任务对应的现场控制站和无线采集任务对应的无线设备是否均正常运行，若是，则执行步骤7.3，若现场控制站中有一台或几台处于故障或未开启状态，或无线设备中有一台或几台处于故障或未开启状态，则提示对应的现场控制站或无线设备异常，需重新设置任务，返回执行步骤6；

步骤7.3、采用资源调度子模块根据采集任务量以及各采集节点的运行状态信息进行资源分配，优先选择CPU、内存、硬盘、网络带宽余量大的采集节点进行工作，从而确定工作的采集节点，其余采集节点作为冗余热备，将该调度结果发送到数据采集模块的任务调度子模块。

8.根据权利要求6所述的采集方法，其特征在于，步骤9.2所述的采用结果监控子模块从任务管理子模块获取各采集任务的采集周期，对各采集节点的采集结果进行实时监控，将采集结果信息发送到日志管理模块中，并将异常信息发送至报警子模块进行实时报警，报警子模块将报警信息发送到日志管理模块中进行记录，具体步骤如下：

步骤9.2.1、采用结果监控子模块从任务管理子模块获取各采集任务的采集周期，对各采集节点的采集结果进行实时监控，将采集结果信息发送至日志管理模块的结果日志子模块中；

步骤9.2.2、若存在某采集节点上某个或某几个主采集任务采集失败，则在当前采集周期，结果监控子模块将采集节点上主采集任务采集失败的信息发送到数据压缩和存储模块的数据缓存子模块中；

步骤9.2.3、数据缓存子模块将失败主采集任务的备份采集任务的采集结果从该主采集任务的第一号备份采集节点存入内存缓存区，数据压缩子模块将内存缓存区缓存的数据进行压缩，数据存储子模块将压缩后的数据存入数据库；

所述的第一号备份采集节点为：主采集任务的备份采集节点中，与主采集任务所在的采集节点编号相近的第一个备份采集节点

步骤9.2.4、当第一号备份采集节点上该主采集任务的备份采集任务也采集失败时，数据缓存子模块将该主采集任务的备份采集任务的采集结果从第二号备份采集节点存入内存缓存区，数据压缩子模块将内存缓存区缓存的数据进行压缩，数据存储子模块将压缩后的数据存入数据库；

所述的第二号备份采集节点为：主采集任务的备份采集节点中，与主采集任务所在的采集节点编号相近的第二个备份采集节点；

步骤9.2.5、当第二号备份采集节点上该主采集任务的备份采集任务依然采集失败时，结果监控子模块将该采集任务采集失败的信息发送至报警子模块进行实时报警，报警子模块将报警信息发送至日志管理模块的报警日志子模块中进行记录；

步骤9.2.6、若存在采集节点上主采集任务异常，则在下一个采集周期，结果监控子模块将该采集节点上该主采集任务异常的信息发送至任务调度子模块中，任务调度子模块将该采集任务的第一个成功采集的备份采集节点设为该采集任务的主采集节点，同时任务调度子模块获取剩余各工作采集节点的运行状态信息并以CPU利用率为主要关键字、以内存利用率为第一次要关键字、硬盘利用率为第二次要关键字、网络带宽利用率为第三次要关键字对剩余各工作采集节点进行排序，将采集节点上异常的采集任务作为备份任务迁移到当前CPU、内存、硬盘、网络带宽利用率最低的正常运行的工作采集节点进行采集，若此时不存在剩余工作采集节点，则资源调度子模块从冗余热备的采集节点中选择一个CPU、内存、硬盘、网络带宽利用率最低的采集节点作为新加入的工作采集节点，任务调度子模块将采集节点上异常采集任务作为备份任务迁移到该新加入的工作采集节点进行采集；结果监控子模块监控迁移到的工作采集节点上该采集任务的采集情况，若连续多个采集周期该采集节点上该采集任务依然采集失败，则按照CPU、内存、硬盘、网络带宽利用率从低到高的顺序继续进行任务迁移，直至迁移到的工作采集节点上该采集任务能够采集成功为止；若连续迁移多次，该采集任务依然采集失败，则结果监控子模块将该采集任务异常的信息发送至报警子模块进行实时报警，报警子模块将报警信息发送至日志管理模块的报警日志子模块中进行记录；

所述的剩余各工作采集节点是指除该异常采集任务所属的主采集节点及其备份采集节点之外的其余各工作采集节点。

步骤9.2.7、结果监控子模块将各采集节点采集任务的实际采集时间与设置的采集周期进行对比，若实际采集时间大于设置的采集周期，则执行步骤9.2.8，否则，执行步骤9.3；

步骤9.2.8、将该采集节点上采集任务的实际采集时间不满足采集周期要求的信息发送至任务调度子模块和资源管理模块的资源调度子模块中，在下一采集周期，资源调度子模块根据该信息从冗余热备的节点中选择一个作为新的工作采集节点，任务调度子模块根据资源调度子模块的调度结果，将该采集节点上的一部分采集任务迁移给新加入的工作采集节点，并返回执行步骤9.1；

步骤9.2.9、当所有冗余热备的采集节点均加入工作，仍存在采集节点实际采集时间大于设置的采集周期，则将实际采集时间不能满足采集周期的信息发送到报警子模块进行实时报警，同时报警子模块将报警信息发送到报警日志子模块中进行记录。

9.根据权利要求6所述的采集方法，其特征在于，步骤9.3所述的采用节点监控子模块从资源管理模块中获取各采集节点的运行状态阈值和过载运行等待时间，实时监控各现场控制站、无线设备、采集节点的运行状态，并将异常信息发送至报警子模块进行实时报警，报警子模块将报警信息发送到日志管理模块中进行记录，具体步骤如下：

步骤9.3.1、采用节点监控子模块从资源管理模块的初始化子模块中获取各采集节点的运行状态阈值和过载运行等待时间，实时监控各现场控制站、无线设备、采集节点的运行状态；

步骤9.3.2、当存在现场控制站故障时，节点监控子模块将该现场控制站故障的信息发送至任务监控子模块中，任务监控子模块终止对应有线采集任务的采集，并提示该现场控制站对应的采集任务采集失败，同时节点监控子模块将该现场控制站故障信息发送到报警子模块进行实时报警，报警子模块将报警信息发送到报警日志子模块进行记录；

步骤9.3.3、当存在无线设备故障时，则节点监控子模块将该无线设备故障的信息发送至任务监控子模块，任务监控子模块终止对应的无线采集任务的采集，并提示该无线设备对应的采集任务采集失败，同时节点监控子模块将该无线设备故障信息发送到报警子模块进行实时报警，报警子模块将报警信息发送到报警日志子模块进行记录；

步骤9.3.4、当存在采集节点故障时，在当前采集周期，节点监控子模块将采集节点故障信息发送至数据缓存子模块中；

步骤9.3.5、数据缓存子模块将该采集节点所有主采集任务的第一号备份采集节点上相应备份采集任务的采集结果在内存缓存区进行缓存，数据压缩子模块将内存缓存区缓存的数据进行压缩，数据存储子模块将压缩后的数据存入数据库；

所述的第一号备份采集节点为：主采集任务的备份采集节点中，与主采集任务所在的采集节点编号相近的第一个备份采集节点；

步骤9.3.6、当第一号备份采集节点也发生故障时，数据缓存子模块将第二号备份采集节点相应备份采集任务的采集结果在内存缓存区进行缓存，数据压缩子模块将内存缓存区缓存的数据进行压缩，数据存储子模块将压缩后的数据存入数据库；

所述的第二号备份采集节点为：主采集任务的备份采集节点中，与主采集任务所在的采集节点编号相近的第二个备份采集节点；

步骤9.3.7、下一采集周期，节点监控子模块将该采集节点故障信息发送至资源调度子模块和任务调度子模块中，资源调度子模块从冗余热备的采集节点中选择一个作为新的工作采集节点，任务调度子模块根据资源调度子模块的调度结果，将故障采集节点的采集任务迁移到新加入的工作采集节点进行采集，同时，节点监控子模块将该采集节点的故障信息发送至报警子模块进行实时报警，报警子模块将报警信息发送到报警日志子模块进行记录；

步骤9.3.8、节点监控子模块将各采集节点的实际运行状态与其运行状态阈值信息进行对比，判断采集节点是否过载，若存在采集节点过载且在过载运行等待时间之后仍然过载，则执行步骤9.3.9，否则，执行步骤9.4；

步骤9.3.9、节点监控子模块将其过载信息发送给资源调度子模块和任务调度子模块，在下一采集周期，资源调度子模块根据该信息从冗余热备的节点中选择一个作为新的工作采集节点，任务调度子模块根据资源调度子模块的调度结果，将该采集节点上的一部分采集任务迁移给新加入的工作采集节点，并返回执行步骤9.1；

步骤9.3.10、当所有冗余热备的采集节点均加入工作，仍存在采集节点过载，则节点监控子模块将该采集节点过载信息发送到报警子模块进行实时报警，报警子模块将报警信息发送到报警日志子模块进行记录。

10.根据权利要求6所述的采集方法，其特征在于，步骤10所述的采用数据压缩和存储模块将每个采集节点采集到的数据进行缓存、持久化、压缩后存入数据库，采用结果监控子模块对各采集节点上采集数据的存储情况进行实时监控，并将采集任务存储失败的异常信息发送到报警子模块进行实时报警，报警子模块将报警信息发送到日志管理模块中进行记录，具体步骤如下：

步骤10.1、数据缓存子模块将每个采集节点采集到的数据在内存缓存区进行缓存；

步骤10.2、数据持久化子模块将每个采集节点采集到的数据持久化到本地磁盘；

步骤10.3、数据压缩子模块将内存缓存区中缓存的数据进行压缩；

步骤10.4、数据存储子模块将压缩后的数据存入数据库；

步骤10.5、结果监控子模块对各采集节点上采集数据的存储情况进行实时监控，并将存储结果信息发送到结果日志子模块中；

步骤10.6、当数据存储子模块将数据成功存入数据库时，结果监控子模块将该数据存储成功的信息发送到数据缓存子模块和数据持久化子模块，数据缓存子模块将该部分数据从内存缓存区删除以节省内存空间，数据持久化子模块将该部分数据从采集节点本地磁盘删除以节省磁盘空间；

步骤10.7、当存在采集节点上采集数据存入数据库失败时，结果监控子模块将该采集节点上采集任务存储失败的信息发送到数据压缩子模块，数据压缩子模块将内存缓存区中的该部分数据重新进行压缩，返回执行步骤10.4；

步骤10.8、当数据压缩子模块检测到由于数据缓存子模块失效导致内存缓存区中数据丢失时，将丢失信息发送到数据持久化子模块中，数据持久化子模块将丢失数据从本地磁盘读入内存缓存区，返回执行步骤10.3；

步骤10.9、当本地磁盘中的持久化数据也存入数据库失败时，结果监控子模块将采集任务存储失败的异常信息发送到报警子模块进行实时报警，报警子模块将报警信息发送到报警日志子模块中进行记录。