CN111124673A - 数据采集系统及方法 - Google Patents

Abstract

本发明公开了一种数据采集系统及方法，其中，该系统包括：多个存储器、监控器、任务分配器和多个采集器；其中，多个存储器用于：获得多个待采集任务，将多个待采集任务的信息进行分布式存储；监控器用于：监控各个采集器的实时状态；任务分配器用于：根据各个采集器的实时状态和多个待采集任务，确定每个采集器的目标待采集任务；每个采集器用于：根据目标待采集任务，在多个存储器中查找目标待采集任务的信息；根据目标待采集任务的信息，采集数据，本发明可以提高数据采集的效率。

Description

数据采集系统及方法

技术领域

本发明涉及数据处理技术领域，特别涉及一种数据采集系统及方法。

背景技术

目前，随着物联网、大数据等技术的兴起和发展，数据采集的数量大幅提高，当需要采集数据的设备数量达到百万级别时，单台采集服务器无法完成数据采集，这就需要多台采集服务器协作完成数据采集，多台采集服务器协作时会存在分配的采集任务与服务器的采集能力不匹配的情况，导致数据采集的效率较低。

此外，采集服务器需要通过查询数据库获得任务的详细信息，当采集任务量增多时，采集服务器查询数据库的频率也会增多，这会对数据库造成很大的压力。

针对上述问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供一种数据采集系统，用以提高数据采集的效率，该系统包括：多个存储器、监控器、任务分配器和多个采集器；

其中，多个存储器用于：获得多个待采集任务，将多个待采集任务的信息进行分布式存储；

监控器用于：监控各个采集器的实时状态；

任务分配器用于：根据各个采集器的实时状态和多个待采集任务，确定每个采集器的目标待采集任务；

每个采集器用于：根据目标待采集任务，在多个存储器中查找目标待采集任务的信息；根据目标待采集任务的信息，采集数据。

本发明实施例还提供一种数据采集方法，用以提高数据采集的效率，该方法包括：

多个存储器获得多个待采集任务，将多个待采集任务的信息进行分布式存储；

监控器监控各个采集器的实时状态；

任务分配器根据各个采集器的实时状态和多个待采集任务，确定每个采集器的目标待采集任务；

每个采集器根据目标待采集任务，在多个存储器中查找目标待采集任务的信息；根据目标待采集任务的信息，采集数据。

本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述数据采集方法。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有执行上述数据采集方法的计算机程序。

本发明实施例通过：多个存储器获得多个待采集任务，将多个待采集任务的信息进行分布式存储；监控器监控各个采集器的实时状态；任务分配器根据各个采集器的实时状态和多个待采集任务，确定每个采集器的目标待采集任务；每个采集器根据目标待采集任务，在多个存储器中查找目标待采集任务的信息；根据目标待采集任务的信息，采集数据，可以避免多个采集器频繁访问数据库对数据库造成的压力，可以实现待采集任务与各个采集器的实时状态的匹配，提高了数据采集的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例中数据采集系统结构的示意图；

图2为本发明实施例中数据采集方法流程的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了提高数据采集的效率，本发明实施例提供一种数据采集系统，图1为本发明实施例中数据采集系统结构的示意图，如图1所示，该系统包括：

多个存储器01、监控器02、任务分配器03和多个采集器04；

其中，多个存储器01用于：获得多个待采集任务，将多个待采集任务的信息进行分布式存储；

监控器02用于：监控各个采集器的实时状态；

任务分配器03用于：根据各个采集器的实时状态和多个待采集任务，确定每个采集器的目标待采集任务；

每个采集器04用于：根据目标待采集任务，在多个存储器01中查找目标待采集任务的信息；根据目标待采集任务的信息，采集数据。

如图1所示，本发明实施例通过：多个存储器获得多个待采集任务，将多个待采集任务的信息进行分布式存储；监控器监控各个采集器的实时状态；任务分配器根据各个采集器的实时状态和多个待采集任务，确定每个采集器的目标待采集任务；每个采集器根据目标待采集任务，在多个存储器中查找目标待采集任务的信息；根据目标待采集任务的信息，采集数据，可以避免多个采集器频繁访问数据库对数据库造成的压力，可以实现待采集任务与各个采集器的实时状态的匹配，提高了数据采集的效率。

具体实施时，多个存储器01可以是多台服务器，可以将数据库中的待采集任务的信息进行分布式存储，这样采集器可以通过多个存储器01查询待采集任务的详细信息，避免了采集器对数据库的直接调用，减轻数据库的压力。其中，待采集任务的信息可以包括：待采集任务的数目、详细内容、ID信息等，例如：待采集任务为收集100w台设备的端口流量信息，则任务的数目为100w台设备，任务的详细内容为设备端口流量信息，任务的ID信息是各个设备的ID信息。

具体实施时，监控器02可以监控各个采集器的实时状态，监控器02可以获取各个采集器的心跳信息，采集器的心跳信息可以包括：CPU的平均负载、CPU的使用率、磁盘I/O速率、正在运行的任务数、剩余内存的大小等信息，可以将采集器的心跳信息与预设阈值进行比较，根据比较结果，确定可用的采集器和不可用的采集器。

在一个实施例中，任务分配器03具体用于：

根据各个采集器的实时状态，确定可用的采集器；

将多个待采集任务按照预设规则划分为多组目标待采集任务；

根据可用的采集器和多组目标待采集任务，确定每个采集器的目标待采集任务。

具体实施时，任务分配器03根据各个采集器的实时状态和多个待采集任务，确定每个采集器的目标待采集任务，任务分配器03接收到多个待采集任务后，可以首先通过监控器02确定可用的采集器的数目，预设规则可以是：按照多个待采集任务的数目与可用的采集器的数目之比将多个待采集任务划分为多组目标待采集任务，进而确定每个采集器的目标待采集任务。例如，任务分配器03收到的采集任务是要采集100台设备的端口流量数据，任务分配器03通过监控器02确定可用的采集器的数目为10，那么按照待采集任务的数目100与可用的采集器的数目10之比，将100台设备划分为10组目标待采集任务，每个可用的采集器的目标待采集任务是采集10台设备的端口流量数据。

具体实施时，任务分配器03中的预设规则还可以包括：例如，待分配任务为：收集100w台设备的端口流量信息，预设规则可以是将这100w台设备按照设备ID开头的两个字符分成62×62＝3844组，其中，设备ID可以通过计算设备名的MD5值获得，设备ID样例为：0ca175b9c0f726a831d895e269332461，设备ID开头的两个字符可能是大写字母或小写字母或数字，这样每个字符有26+26+10＝62种情况，设备ID开头的两个字符共有62×62＝3844种情况。可以通过一致性哈希算法将这个3844组设备分配到各个可用的采集器。一致性哈希算法的目标是：平衡性，把对象均匀地分布在所有桶中；单调性，当桶的数量变化时，只需要把一些对象从旧桶移动到新桶，不需要做其它移动。因此，通过上述一致性哈希算法能将3844组采集任务均匀分布于各个可用的采集器中，且后续当可用的采集器的数目发生变化时，只需要移动一部分采集任务即可。由于可用的采集器的数目是通过监控器02实时获取的，如果增加了可用采集器的数目，不会影响任务分配器03的逻辑，这样可以实现采集器的水平拓展。

具体实施时，采集器04部署在信息收集服务器上，多个采集器04可以协调采集同一台信息收集服务器的数据，采集器04在接收到任务分配器03发送的目标待采集任务时，首先根据目标待采集任务的ID在多个存储器中查找目标待采集任务的详细信息，详细信息可以是：收集设备端口流量信息；根据目标待采集任务的信息，采集器0可以采集到特定设备的端口流量信息。多个采集器04可以将采集到的数据发送至一个消息队列，其他应用可以通过订阅这个消息队列来获取设备的端口流量信息。

在一个实施例中，多个采集器04还用于：在待采集任务完成后，向任务分配器上报待采集任务的执行状态。

在一个实施例中，任务分配器03还用于：

根据待采集任务的执行状态，确定采集失败的任务；

根据各个采集器的实时状态，确定可用的采集器；

根据可用的采集器和采集失败的任务，将采集失败的任务分配至各个可用的采集器。

具体实施时，采集器04执行完当前采集任务后，会向任务分配器03上报此次任务的执行情况是成功还是失败。任务分配器03统计多个采集任务的执行情况，将采集失败的任务重新分配至各个可用的采集器。

在一个实施例中，该系统还包括：调度器05，用于设置任务分配器03的调度周期；

任务分配器03还用于：根据调度周期，将多个待采集任务分配至各个采集器。

具体实施时，调度器05可以实现linux系统里cron的功能，cron有两个配置文件，一个是一个全局配置文件，是针对系统任务的；一组是crontab命令生成的配置文件，是针对某个用户的定时任务配置。调度器05能够周期性的调度任务分配器03，例如，调度器05设置的调度周期为5分钟，则任务分配器03每5分钟进行一次任务分配。调度器05还可以统计任务的执行成功次数和执行失败次数。

基于同一发明构思，本发明实施例中还提供了一种数据采集方法，如下面的实施例。由于数据采集方法解决问题的原理与数据采集装置相似，因此方法的实施可以参见装置的实施，重复之处不再赘述。

为了提高数据采集的效率，本发明实施例还提供一种数据采集方法，图2为本发明实施例中数据采集方法流程的示意图，如图2所示，该方法包括：

步骤101：多个存储器获得多个待采集任务，将多个待采集任务的信息进行分布式存储；

步骤102：监控器监控各个采集器的实时状态；

步骤103：任务分配器根据各个采集器的实时状态和多个待采集任务，确定每个采集器的目标待采集任务；

步骤104：每个采集器根据目标待采集任务，在多个存储器中查找目标待采集任务的信息；根据目标待采集任务的信息，采集数据。

在一个实施例中，步骤103根据各个采集器的实时状态和多个待采集任务，确定每个采集器的目标待采集任务，可以包括：

步骤1031：根据各个采集器的实时状态，确定可用的采集器；

步骤1032：将多个待采集任务按照预设规则划分为多组目标待采集任务；

步骤1033：根据可用的采集器和多组目标待采集任务，确定每个采集器的目标待采集任务。

在一个实施例中，该方法还可以包括：

多个采集器在待采集任务完成后，向任务分配器上报待采集任务的执行状态；

任务分配器根据待采集任务的执行状态，确定采集失败的任务；

根据各个采集器的实时状态，确定可用的采集器；

根据可用的采集器和采集失败的任务，将采集失败的任务分配至各个可用的采集器。

在一个实施例中，该方法还可以包括：

调度器设置任务分配器的调度周期；

任务分配器根据调度周期，将多个待采集任务分配至各个采集器。

下面给出一个具体实施例，以便于理解本发明如何实施。

第一步：待采集任务为任务A，包括：收集100w台设备的端口流量信息，将任务A的信息存储在多个存储器中，可以通过设备ID查找对应设备的详细信息；

第二步：调度器设置任务分配器的调度周期，每5分钟调用任务分配器执行一次任务A；

第三步：任务分配器收到任务A的调度命令后，首先从监控器中获取可用的采集器的数目，然后通过多个存储器获得任务A的信息，包括：任务数目：100w台设备，任务详细内容：采集设备的端口流量，以及各个设备的ID，接着将这100w台设备按照设备ID开头的两个字符分成62×62＝3844组任务，通过一致性哈希算法将3844组任务分配到各个可用的采集器中，并将每个采集器需要采集的设备ID发送至对应的采集器；

第四步：每个采集器接收到需要采集的设备ID时，首先通过设备ID在多个存储器中查询需要采集的设备的端口信息，接着根据端口信息采集对应端口的端口流量信息。各个采集器将采集到的端口流量信息发送至一个消息队列，其他应用可以通过订阅这个消息队列来获取设备的端口流量信息；

第五步：每个采集器执行完当前采集任务后，向任务分配器上报此次任务的执行情况是成功还是失败。任务分配器统计采集任务的执行情况，将采集失败的任务重新分配至各个可用的采集器。

本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述数据采集方法。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有执行上述数据采集方法的计算机程序。

综上所述，本发明实施例通过：多个存储器获得多个待采集任务，将多个待采集任务的信息进行分布式存储；监控器监控各个采集器的实时状态；任务分配器根据各个采集器的实时状态和多个待采集任务，确定每个采集器的目标待采集任务；每个采集器根据目标待采集任务，在多个存储器中查找目标待采集任务的信息；根据目标待采集任务的信息，采集数据，可以避免多个采集器频繁访问数据库对数据库造成的压力，可以实现待采集任务与各个采集器的实时状态的匹配，提高了数据采集的效率。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据采集系统，其特征在于，包括：多个存储器、监控器、任务分配器和多个采集器；

其中，所述多个存储器用于：获得多个待采集任务，将多个待采集任务的信息进行分布式存储；

所述监控器用于：监控各个采集器的实时状态；

所述任务分配器用于：根据所述各个采集器的实时状态和所述多个待采集任务，确定每个采集器的目标待采集任务；

每个采集器用于：根据所述目标待采集任务，在所述多个存储器中查找目标待采集任务的信息；根据所述目标待采集任务的信息，采集数据。

2.如权利要求1所述的系统，其特征在于，根据所述各个采集器的实时状态和所述多个待采集任务，确定每个采集器的目标待采集任务，包括：

根据所述各个采集器的实时状态，确定可用的采集器；

将所述多个待采集任务按照预设规则划分为多组目标待采集任务；

根据所述可用的采集器和所述多组目标待采集任务，确定每个采集器的目标待采集任务。

3.如权利要求1所述的系统，其特征在于，所述多个采集器还用于：在待采集任务完成后，向所述任务分配器上报待采集任务的执行状态。

4.如权利要求3所述的系统，其特征在于，所述任务分配器还用于：

根据所述待采集任务的执行状态，确定采集失败的任务；

根据所述各个采集器的实时状态，确定可用的采集器；

根据所述可用的采集器和所述采集失败的任务，将采集失败的任务分配至各个可用的采集器。

5.如权利要求1所述的系统，其特征在于，所述系统还包括：调度器，用于设置所述任务分配器的调度周期；

所述任务分配器还用于：根据所述调度周期，将多个待采集任务分配至各个采集器。

6.一种数据采集方法，其特征在于，包括：

多个存储器获得多个待采集任务，将多个待采集任务的信息进行分布式存储；

监控器监控各个采集器的实时状态；

任务分配器根据所述各个采集器的实时状态和所述多个待采集任务，确定每个采集器的目标待采集任务；

每个采集器根据所述目标待采集任务，在所述多个存储器中查找目标待采集任务的信息；根据所述目标待采集任务的信息，采集数据。

7.如权利要求6所述的方法，其特征在于，根据所述各个采集器的实时状态和所述多个待采集任务，确定每个采集器的目标待采集任务，包括：

根据所述各个采集器的实时状态，确定可用的采集器；

将所述多个待采集任务按照预设规则划分为多组目标待采集任务；

根据所述可用的采集器和所述多组目标待采集任务，确定每个采集器的目标待采集任务。

8.如权利要求6所述的方法，其特征在于，还包括：

多个采集器在待采集任务完成后，向所述任务分配器上报待采集任务的执行状态；

所述任务分配器根据所述待采集任务的执行状态，确定采集失败的任务；

根据所述各个采集器的实时状态，确定可用的采集器；

根据所述可用的采集器和所述采集失败的任务，将采集失败的任务分配至各个可用的采集器。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求6至8任一所述方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求6至8任一所述方法的计算机程序。

Images