CN107222360A - 一种基于分布式集群的数据采集系统及方法 - Google Patents

Abstract

本发明公开了一种基于分布式集群的数据采集系统，所述系统包括主采集节点、数据解析模块和多个子采集节点；所述主采集节点连接多个所述子采集节点，所述子采集节点用于采集数据，所述主采集节点用于接收各个所述子采集节点采集的数据；所述数据解析模块用于分别计算各个所述子采集节点采集的数据的变化速率，根据所述变化速率调节各个所述子采集节点的数据采集频率；本发明所公开的系统，能通过变化速率调节各个所述子采集节点的数据采集频率，从而使得各个子采集节点的采集频率与其所采集到的数据的变化速率相适应；本发明还公开了一种基于上述数据采集系统的数据采集方法，同样具有上述有益效果。

Description

一种基于分布式集群的数据采集系统及方法

技术领域

本发明涉及网络通信技术领域，尤其涉及一种基于分布式集群的数据采集系统；本发明还涉及一种基于分布式集群的数据采集方法。

背景技术

当前，随着网络信息技术的不断发展，大数据时代已经到来。针对海量数据的挖掘与分析已经成为当今的研究热点，而数据采集是数据挖掘与分析的基础。

在数据采集的过程中，数据采集的实时性与采集数据时系统所消耗的资源是一对相互矛盾的量，当需要提高数据的实时性时，需要加快对数据的扫描速率，但同时会产生更多的数据，从而增加系统消耗所需要的资源。

在当今社会中，通常是通过分布式集群数据采集系统对大量数据进行采集。在现有技术中，通常是有一个主采集节点和若干个子采集节点，其中主采集节点用于控制各子采集节点进行数据的采集，以及对数据进行储存等等，而子采集节点通常仅用于对数据进行采集。主采集节点通常是通过统一的频率获取各个子采集节点所采集的数据。

但是在现有技术中，通常会出现对于变化较快的数据进行采集时，其实时性较差；或者是对于变化较慢的数据进行采集时，其系统资源发生了浪费。

发明内容

有鉴于此，本发明的主要目的在于提供一种数据采集系统，可以针对不同变化速率的数据采用不同的采集频率；本发明的另一目的在于提供一种数据采集方法，可以提高数据采集的实时性或者是减少系统资源的浪费。

为了解决上述问题，本发明提供了一种基于分布式集群的数据采集系统，所述系统包括主采集节点、数据解析模块和多个子采集节点；

所述主采集节点连接多个所述子采集节点，所述子采集节点用于采集数据，所述主采集节点用于接收各个所述子采集节点采集的数据；

所述数据解析模块用于分别计算各个所述子采集节点采集的数据的变化速率；

所述数据解析模块根据所述变化速率调节各个所述子采集节点的数据采集频率。

可选的，所述数据解析模块为多个，所述数据解析模块与所述子采集节点一一对应的连接。

可选的，所述数据解析模块为一个，所述数据解析模块连接每个所述子采集节点。

可选的，所述子采集节点还用于存储自身当前采集数据的频率。

可选的，所述系统进一步包括数据库配置同步模块；

所述数据库配置同步模块用于向各个所述子采集节点采集的数据添加统一的时间坐标。

本发明还提供了一种基于分布式集群的数据采集方法，所述方法包括：

数据解析模块获取子采集节点采集的数据；

所述数据解析模块计算各个所述子采集节点所采集的各组数据的变化速率；

所述数据解析模块根据所述变化速率调节各个所述子采集节点的数据采集频率，所述子采集节点将采集的数据发送至主采集节点。

可选的，所述数据解析模块根据所述变化速率改变所述子采集节点的数据采集频率包括：

所述数据解析模块根据所述变化速率和预先设定的对应关系得到所述子采集节点的理论数据采集频率；

所述数据解析模块将所述数据采集频率调节至所述理论数据采集频率。

可选的，所述数据解析模块根据所述变化速率改变所述子采集节点的数据采集频率包括：

所述数据解析模块判断所述变化速率是否大于预先设定的第一阈值，若是，则降低所述数据采集频率；

所述数据解析模块判断所述变化速率是否小于预先设定的第二阈值，若是，则提高所述数据采集频率。

可选的，所述方法进一步包括：

数据库配置同步模块向各个所述子采集节点采集的数据添加统一的时间坐标。

本发明所提供的系统，包括了数据解析模块，所述数据解析模块会计算各个子采集节点所采集的各组数据的变化速率，并根据变化速率调节各个所述子采集节点的数据采集频率，从而使得各个子采集节点的采集频率与其所采集到的数据的变化速率相适应，以此来增加对于变化速率较快的数据采集的实时性，或者是减少当采集的数据的变化速率较慢时，所述采集到的数据对于系统资源的占用。本发明还提供了一种基于分布式集群的数据采集方法，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其它的附图。

图1为本发明实施例所提供的第一种数据采集系统的结构示意图；

图2为本发明实施例所提供的第二种数据采集系统的结构示意图；

图3为本发明实施例所提供的第三种数据采集系统的结构示意图；

图4为本发明实施例所提供的一种数据采集方法的流程图；

图5为步骤103中第一种具体是实现方法的流程图；

图6为步骤103中第二种具体是实现方法的流程图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明为一种基于分布式集群的数据采集系统，在现有技术中，通常是由一个主采集节点101控制若干的子采集节点103进行数据的采集，其中，主采集节点101通常是通过统一的频率获取各个子采集节点103所采集的数据。而各个子采集节点103所采集的数据通常是不同的，对于不同的数据所需要的采集频率也是不一样的，例如对于外界温度的变化，其需要的采集频率相对较慢，若采用较快的数据采集频率会增加对系统资源的占用，但这是一种不必要的浪费；而对于CPU的负载，其需要的采集频率相对较快，若采用较慢的数据采集频率会影响其实时性，会影响用户的使用。

而在本发明所提供的数据采集系统中，添加了数据解析模块102，所述数据解析模块102会计算各个子采集节点103所采集的各组数据的变化速率，并根据变化速率调节各个所述子采集节点103的数据采集频率，从而使得各个子采集节点103的采集频率与其所采集到的数据的变化速率相适应，以此来增加对于变化速率较快的数据采集的实时性，或者是减少当采集的数据的变化速率较慢时，所述采集到的数据对于系统资源的占用。

下面将结合附图对本发明做详细描述。

请参考图1，图1为本发明实施例所提供的第一种数据采集系统的结构示意图，该系统包括：

主采集节点101、数据解析模块102和多个子采集节点103；所述主采集节点101连接多个所述子采集节点103，所述子采集节点103用于采集数据，所述主采集节点101用于接收各个所述子采集节点103采集的数据；

在本发明实施例中，子采集节点103用于采集数据，子采集节点103通过安装在其内部的传感器，例如温度传感器，压力传感器等等一系列的传感器来获取被采集数据。各个子采集节点103中设置的传感器通常各不相同，例如当需要侧温度时，就安装温度传感器等等，视具体情况而定。而被采集的数据可以是温度，压力，还可以是CPU(中央处理器)温度，汽车行驶速度等等，在现实操作中视具体的需要而定，在此不做限定。

主采集节点101是整个系统的控制核心，其用于接收各个子采集节点103所采集的各组数据，并可以对各组数据进行存储，分类等操作，主采集节点101还可以用于控制各个子采集节点103，例如控制子采集节点103的运行时间，开启或关闭，数据采集频率等。主采集节点101是整个系统的控制核心，其具有多种功能，除了上述功能之外还可以有其他功能，在此不再赘述。

在本发明实施例中，所述数据解析模块102可以只有一个，也可以有多个，并且数据解析模块102可以连在主采集节点101上，并通过主采集节点101向子采集节点103发送信号来控制各个子采集节点103；数据解析模块102还可以是连在各个子采集节点103上，直接控制各个子采集节点103。上述两种连接方式将在下述发明实施例中做详细描述，在此不再赘述。

所述数据解析模块102用于分别计算各个所述子采集节点103采集的数据的变化速率；

数据解析模块102在收到各个子采集节点103所采集的数据之后，会先分别计算各组数据自己的变化速率，通常情况下，是用前一个数据减去相邻的后一个数据，所得差值即变化速率；当然还可以将上述差值除以前一个数据，所得的比例作为变化速率；还可以是直接用后一个数据除以相邻的前一个数据，所得的比例也可以算作是变化速率。除了上述三个方法，还可以有其他计算变化速率的方法，无论使用哪种计算方法，只要能得到每组数据的变化速率均可。

根据所述变化速率调节各个所述子采集节点103的数据采集频率。

在本发明实施例中，根据数据解析模块102计算得到的各组数据的变化速率调节各个对应的子采集节点103的数据采集频率的方法，可以有下述几种：

第一，预先在数据解析模块102中写入各个变化速率的对应关系，例如，当数据解析模块102所计算的变化速率为1.1时，该变化速率所对应的理论数据采集频率为每30秒采集数据一次，当计算的变化速率为10.0时，该变化速率所对应的理论数据采集频率为每1秒采集数据一次，之后在将子采集节点103当前的数据采集频率调整到理论数据采集频率。

当然上述出现在对应关系中的具体数据仅为解释本发明实施例中的具体思想，在现实操作过程中，视具体的情况而定，在此不做具体限定。

除了预先在数据解析模块102中写入各个变化速率的对应关系，为了更加精确的控制各个子采集节点103的数据采集频率，可以设置一个函数，其中自变量是各组数据的变化速率，因变量是对应于各个子采集节点103的数据采集频率，通过函数计算得到具体各个子采集节点103的理论数据采集频率，之后在将子采集节点103当前的数据采集频率调整到理论数据采集频率。

第二，可以设定一个区间，其中第一阈值是该区间的上限，第二阈值是该区间的下限。当数据解析模块102测得的某一组数据的变化速率不在上述区间时，即某一组数据的变化规律大于第一阈值时，数据解析模块102就将采集该组数据的采集频率调低；某一组数据的变化规律小于第二阈值时，数据解析模块102就将采集该组数据的采集频率调高；更具体的讲，具体调节某一个子采集节点103的数据采集频率的幅度可以是一个预先设定的固定的值，也可以是通过某一个函数计算出来的，其中在该函数中，数据的变化速率是自变量，数据采集频率变化的大小是因变量；除了上述方法之外，还可以有其他的调节方法，在此不做具体限定。

当然，对于不在预先设定的区间内的变化速率，可以在每次改变之后，继续测量该组数据的变化速率。若数据的变化速率依然不在预先设定的区间内，可以重复上述步骤，直到所述变化速率处在预先设定的区间内。当然还可以仅仅设置一个预先设定的值，当数据的变化速率大于预先设定的值时，减小其子采集节点103的数据采集频率；当数据的变化速率小于预先设定的值时，增加其子采集节点103的数据采集频率。

除了上述两种方法之外，还可以有其他的方法通过各组数据的变化速率调节各个子采集节点103的数据采集频率，上述两种方法仅仅是举例说明本发明的思想，本发明实施例并不局限于仅通过上述两种方法调整子采集节点103的数据采集频率。

本发明实施例所提供的是一种基于分布式集群的数据采集系统，在本系统中包括了数据解析模块102，所述数据解析模块102会计算各个子采集节点103所采集的各组数据的变化速率，并根据变化速率调节各个所述子采集节点103的数据采集频率，从而使得各个子采集节点103的采集频率与其所采集到的数据的变化速率相适应，以此来增加对于变化速率较快的数据采集的实时性，或者是减少当采集的数据的变化速率较慢时，所述采集到的数据对于系统资源的占用。

在本发明中，数据解析模块102可以只有一个，也可以有多个，并且数据解析模块102可以连在主采集节点101上，并通过主采集节点101向子采集节点103发送信号来控制各个子采集节点103；数据解析模块102还可以是连在各个子采集节点103上，直接控制各个子采集节点103。上述情况将在下述实施例中做详细描述。

请参考图2，图2为本发明实施例所提供的第二种数据采集系统的结构示意图，在本发明实施例中，所述数据解析模块102为多个，所述数据解析模块102与所述子采集节点103一一对应的连接。

在本发明实施例中，每个子采集节点103均有一个专用的数据解析模块102，每个数据解析模块102只用来计算自己连接的子采集节点103所采集的数据的变化速率，并根据计算得到变化速率调节所连接的子采集节点103的数据采集频率。具体的关于变化速率的计算方式以及如何得出新的数据采集的方法已在上述实施例中做出详细描述，在此不再进行展开叙述。

在本发明实施例中，存在多个数据解析模块102，每个数据解析模块102仅负责调节一个子采集节点103，这样可以大大的减少单个数据解析模块102的工作负担，从而大大的延长单个数据解析模块102的工作时间。

由于数据解析模块102需要负责大量的数据计算以及调节子采集节点103的任务，其计算量较大。若由一个数据解析模块102计算多个子采集节点103所采集的各组数据的变化速率，并根据计算得到的变化速率调节各个子采集节点103的数据采集频率，对于数据解析模块102来说，其工作量较大，容易发生故障；当故障发生时，这会影响整个系统的运行。当然，若每一个子采集节点103均连接有一个数据解析模块102，其整个系统的成本偏高；当只有一个数据采集模块时，其用来计算全部子采集节点103所采集的各组数据的变化速率，并通过所述变化速率调节各个子采集节点103的数据采集频率，上述只有一个数据采集模块的系统的成本是最低的。具体在本发明实施例所提供的系统中，设置有几个数据解析模块102视实际情况而定，在此不做限定。

当每一个子采集节点103均设置有数据解析模块102时，数据解析模块102通常是与各个子采集节点103直接相连接，直接从子采集节点103获取数据，并直接调节各个子采集节点103的数据采集频率；这样连接数据解析模块102可以直接调节各个子采集节点103而不用通过主采集节点101，从而节省了子采集节点103与主采集节点101之间的带宽，节省了整个系统的资源。当然，子采集节点103可以将采集到的数据同时发送给数据解析模块102和主采集节点101，还可以先将采集到的数据发送给数据解析模块102，再通过数据解析模块102发送给主采集节点101，在此不做具体限定。

当整个数据采集系统中只设置了一个数据解析模块102时，为了简化数据解析模块102的工作量，可以将数据解析模块102直接连接到主采集节点101，这样数据解析模块102可以通过主采集节点101获取各个子采集节点103所采集的各组数据，而不用数据解析模块102自己去收集各个子采集节点103所采集的数据；同时在得出各个子采集节点103的理论数据采集频率时，可以通过主采集节点101去控制各个子采集节点103的数据采集频率，其只需要将指令发送给主采集节点101即可。

除了上述两种情况之外，还可以有其他的情况，例如一个数据解析模块102连接两个子采集节点103等等，无论出现那种情况，在系统中存在数据解析模块102，并且该数据解析模块102可以用来调节子采集节点103的数据采集频率，均能实现本发明的目的，具体所搭建的系统视具体的情况而定。

在本发明实施例中，子采集节点103可以更进一步的存储自身当前采集数据的频率。

在子采集节点103储存了自身当前采集数据的频率之后，可以在下次启动时直接按上次存储的数据采集频率进行数据的采集，由于子采集节点103在不同时刻所采集的数据在大部分情况下是由同一个物体产生的，在一次数据采集结束时存储当前采集数据的频率，在下一次开始采集数据时，可以直接按照上次所调整的数据采集频率进行数据的采集，这样可以减少数据解析模块102的工作量，减少子采集节点103的数据采集频率的调整时间。当然，储存当前子采集节点103的数据采集频率可以是由子采集节点103自己进行存储，也可以是由数据解析模块102存储，还可以是由主采集节点101进行存储，还可以是由专门的存储设备进行存储，在此不做具体限定。

本发明实施例所提供的是一种基于分布式集群的数据采集系统，在本发明实施例中，每一个子采集节点103均连接由数据解析模块102，通过上述连接方式，可以大大的减少单个数据解析模块102的工作负担，从而大大的延长单个数据解析模块102的工作时间；同时这样连接数据解析模块102可以直接调节各个子采集节点103而不用通过主采集节点101，从而节省了子采集节点103与主采集节点101之间的带宽，节省了整个系统的资源。在本发明实施例中，子采集节点103可以进一步的存储自身当前采集数据的频率，以此来减少子采集节点103的数据采集频率的调整时间，加快整个系统的数据采集效率。

由于主采集节点101所接收到的各组数据是通过不同的子采集节点103所采集的，采集到的各组数据之间可能会存在时间的不一致，这不利于数据的整理与储存，这是可以增加数据库配置同步模块301以解决上述问题。

请参考图3，图3为本发明实施例所提供的第三种数据采集系统的结构示意图，本发明实施例所提供的系统与前两个发明实施例所提供的系统的不同之处在于，在本发明实施例中添加了数据库配置同步模块301，所述数据库配置同步模块301用于向各个所述子采集节点103采集的数据添加统一的时间坐标。

由于主采集节点101所接收到的各组数据是通过不同的子采集节点103所采集的，而各个子采集节点103会有自己的时间坐标，各个子采集节点103之间所使用的时间可能是不一致的，例如有的子采集节点103中的时间相对于标准时间快一分钟，而有的子采集节点103中的时间相对于标准时间慢30秒，这样各个子采集节点103之间的时间坐标是不一致的。在多组数据之间，可能会存在需要对不同组之间的数据进行数据的分析，整理等动作，此时仅靠各个子采集节点103所上传数据时自带的时间就可能会产生误差，这样会对数据的分析造成极大的影响。例如当需要分析汽车车速与汽车刹车片温度之间的关系，此时需要不同的子采集节点103采集两组数据，一个是汽车当前的时速，一个是汽车刹车时刹车片的温度，此时若两个子采集节点103的时间坐标不一致，会对汽车性能造成极大的误判，会威胁到驾驶人员的人身安全。此时就需要在数据采集系统中添加数据库配置同步模块301，用于向各个所述子采集节点103采集的数据添加统一的时间坐标，以此来保证各组数据之间的时间一致性，方便对不同组数据之间进行分析等。

本发明实施例所提供的是一种基于分布式集群的数据采集系统，在本发明实施例中，添加了数据库配置同步模块301，所述数据库配置同步模块301用于向各个所述子采集节点103采集的数据添加统一的时间坐标。当需要对不同组数据之间进行数据分析时，通过添加统一的时间坐标可以减少由于不用子采集节点103之间的时间坐标的不一致所给数据分析带来的误差。

请参考图4、图5以及图6。图4为本发明实施例所提供的一种数据采集方法的流程图；图5为步骤103中第一种具体是实现方法的流程图；图6为步骤103中第二种具体是实现方法的流程图。

本发明实施例所提供的数据采集方法应用于任一个上述实施例中所描述的一种基于分布式集群的数据采集系统，所述数据采集系统在上述实施例中以作详细描述，在此不再赘述，具体情况参见上述实施例。

本发明实施例所提供的数据采集方法，具体包括：

步骤101：数据解析模块获取子采集节点采集的数据。

在本发明实施例中，数据解析模块获取子采集节点的方式通常有两种，一种是数据解析模块从各个子采集节点直接获取各组数据，此时数据解析模块通常是直接与子采集节点进行连接；另一种是数据解析模块通过主采集节点来获取各个子采集节点的各组数据，此时数据解析模块通常是直接与主采集节点进行连接。

在本发明实施例中，数据解析模块的个数可以是一个，还可以是多个，具体情况以及数据解析模块与子采集节点和主采集节点的各种连接方式已在上述实施例中做详细描述，在此不再赘述。

步骤102：所述数据解析模块计算各个所述子采集节点所采集的各组数据的变化速率。

数据解析模块在收到各个子采集节点所采集的各组数据之后，会先计算各组数据自己的变化速率，通常情况下，是用前一个数据减去相邻的后一个数据，所得差值即变化速率；当然还可以将上述差值除以前一个数据，所得的比例作为变化速率；还可以是直接用后一个数据除以相邻的前一个数据，所得的比例也可以算作是变化速率。除了上述三个方法，还可以有其他计算变化速率的方法，无论使用哪种计算方法，只要能得到每组数据的变化速率均可。

步骤103：所述数据解析模块根据所述变化速率调节各个所述子采集节点的数据采集频率，所述子采集节点将采集的数据发送至主采集节点。

数据解析模块会根据在步骤102中计算得到的各组数据的变化速率去调节各个子采集节点数据采集频率，从而使得各个子采集节点的采集频率与其所采集到的数据的变化速率相适应，以此来增加对于变化速率较快的数据采集的实时性，或者是减少当采集的数据的变化速率较慢时，所述采集到的数据对于系统资源的占用。

在本发明实施例中，根据数据解析模块计算得到的各组数据的变化速率调节各个对应的子采集节点的数据采集频率的方法，可以有下述两种：

第一种，请参考图5：

步骤301：所述数据解析模块根据所述变化速率和预先设定的对应关系得到所述子采集节点的理论数据采集频率。

在本步骤中，可以预先在数据解析模块中写入各个变化速率的对应关系，例如，当数据解析模块所计算的变化速率为1.1时，该变化速率所对应的理论数据采集频率为每30秒采集数据一次，当计算的变化速率为10.0时，该变化速率所对应的理论数据采集频率为每1秒采集数据一次。

当然上述出现在对应关系中的具体数据仅为解释本发明实施例中的具体思想，在现实操作过程中，视具体的情况而定，在此不做具体限定。

除了预先在数据解析模块中写入各个变化速率的对应关系，为了更加精确的控制各个子采集节点的数据采集频率，可以设置一个函数，其中自变量是各组数据的变化速率，因变量是对应于各个子采集节点的数据采集频率，通过函数计算得到具体各个子采集节点的理论数据采集频率。

步骤302：所述数据解析模块将所述数据采集频率调节至所述理论数据采集频率。

上述第一种方法可以快速的将各个子采集节点的数据采集频率调节至合适的数据采集频率，但是需要在数据解析模块中存入大量对应关系，或者需要对理论数据解析模块进行大量的计算。

第二种，请参考图6：

步骤311：所述数据解析模块判断所述变化速率是否大于预先设定的第一阈值，若是，则降低所述数据采集频率。

步骤312：所述数据解析模块判断所述变化速率是否小于预先设定的第二阈值，若是，则提高所述数据采集频率。

上述步骤311与步骤312之间没有固定的顺序，步骤312可以在步骤311之前也可以在步骤311之后。

上述第二种方法是设定一个区间，其中第一阈值是该区间的上限，第二阈值是该区间的下限。当数据解析模块测得的某一组数据的变化速率不在上述区间时，即某一组数据的变化规律大于第一阈值时，数据解析模块就将采集该组数据的采集频率调低；某一组数据的变化规律小于第二阈值时，数据解析模块就将采集该组数据的采集频率调高；更具体的讲，具体调节某一个子采集节点的数据采集频率的幅度可以是一个预先设定的固定的值，也可以是通过某一个函数计算出来的，其中在该函数中，数据的变化速率是自变量，数据采集频率变化的大小是因变量；除了上述方法之外，还可以有其他的调节方法，在此不做具体限定。

当然，对于不在预先设定的区间内的变化速率，可以在每次改变之后，继续测量该组数据的变化速率。若数据的变化速率依然不在预先设定的区间内，可以重复上述步骤，直到所述变化速率处在预先设定的区间内。当然还可以仅仅设置一个预先设定的值，当数据的变化速率大于预先设定的值时，减小其子采集节点的数据采集频率；当数据的变化速率小于预先设定的值时，增加其子采集节点的数据采集频率。

上述第二种方法不需要再数据解析模块中存入大量的数据，仅需要存入第一阈值和第二阈值，但是需要多次对采集到的数据进行计算与分析之后才能交接完数据采集频率，其调节所需要的时间相比于第一种方法来说较长。

由于主采集节点所接收到的各组数据是通过不同的子采集节点所采集的，而各个子采集节点会有自己的时间坐标，各个子采集节点之间所使用的时间可能是不一致的，在多组数据之间，可能会存在需要对不同组之间的数据进行数据的分析，整理等，此时仅靠各个子采集节点所上传数据时自带的时间就可能会产生误差，这样会对数据的分析造成极大的影响。此时可以在本发明实施例中添加步骤104，用于保证各组数据之间的时间一致性。

步骤104：数据库配置同步模块向各个所述子采集节点采集的数据添加统一的时间坐标。

在步骤中，所述数据库配置同步模块用于向各个所述子采集节点采集的数据添加统一的时间坐标。当需要对不同组数据之间进行数据分析时，通过添加统一的时间坐标可以保证各组数据之间的时间一致性，减少由于不用子采集节点之间的时间坐标的不一致所给数据分析带来的误差。

本发明实施例所提供的一种基于分布式集群的数据采集方法，数据解析模块可以在接收到各个子采集节点所采集的各组数据之后，先计算出各组数据的变化速率，在根据所述变化速率调整各个子采集节点的数据采集频率，以此来使得各个子采集节点的采集频率与其所采集到的数据的变化速率相适应，增加对于变化速率较快的数据采集的实时性，或者是减少当采集的数据的变化速率较慢时，所述采集到的数据对于系统资源的占用。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (9)

1.一种基于分布式集群的数据采集系统，其特征在于，所述系统包括主采集节点、数据解析模块和多个子采集节点；

所述主采集节点连接多个所述子采集节点，所述子采集节点用于采集数据，所述主采集节点用于接收各个所述子采集节点采集的数据；

所述数据解析模块用于分别计算各个所述子采集节点采集的数据的变化速率；所述数据解析模块根据所述变化速率调节各个所述子采集节点的数据采集频率。

2.根据权利要求1所述系统，其特征在于，所述数据解析模块为多个，所述数据解析模块与所述子采集节点一一对应连接。

3.根据权利要求1所述系统，其特征在于，所述数据解析模块为一个，所述数据解析模块连接每个所述子采集节点。

4.根据权利要求3所述系统，其特征在于，所述子采集节点还用于存储自身当前采集数据的频率。

5.根据权利要求1至4任一项权利要求所述系统，其特征在于，所述系统进一步包括数据库配置同步模块；

所述数据库配置同步模块用于向各个所述子采集节点采集的数据添加统一的时间坐标。

6.一种基于分布式集群的数据采集方法，其特征在于，所述方法包括：

数据解析模块获取子采集节点采集的数据；

所述数据解析模块计算各个所述子采集节点所采集的各组数据的变化速率；

所述数据解析模块根据所述变化速率调节各个所述子采集节点的数据采集频率，所述子采集节点将采集的数据发送至主采集节点。

7.根据权利要求6所述方法，其特征在于，所述数据解析模块根据所述变化速率调节所述子采集节点的数据采集频率包括：

所述数据解析模块根据所述变化速率和预先设定的对应关系得到所述子采集节点的理论数据采集频率；

所述数据解析模块将所述数据采集频率调节至所述理论数据采集频率。

8.根据权利要求6所述方法，其特征在于，所述数据解析模块根据所述变化速率调节所述子采集节点的数据采集频率包括：

所述数据解析模块判断所述变化速率是否大于预先设定的第一阈值，若是，则降低所述数据采集频率；

所述数据解析模块判断所述变化速率是否小于预先设定的第二阈值，若是，则提高所述数据采集频率。

9.根据权利要求6至8任一项权利要求所述方法，其特征在于，所述方法进一步包括：

采用数据库配置同步模块向各个所述子采集节点采集的数据添加统一的时间坐标。