CN106383764B - 一种数据采集方法和设备 - Google Patents

Abstract

本发明公开了一种数据采集方法和设备，包括接收用户发送的数据采集信息，所述数据采集信息中包含待采集的数据类型和用于采集所述数据类型对应的系统资源数据的插件标识；根据预设的数据类型与用于采集所述数据类型对应的系统资源数据的插件标识之间的映射关系，匹配与所述数据采集信息中包含的所述待采集的数据类型对应的插件标识；调用所述插件标识对应的插件采集所述数据类型对应的系统资源数据；并将采集到的所述系统资源数据发送至数据库。这样，通过根据用户发送的数据采集信息调用对应插件，实现对服务器系统资源数据的采集，使用户能够方便地从数据库中获取到满足需求的系统资源数据，增加了数据获取的灵活性，提升了用户的使用体验。

Description

一种数据采集方法和设备

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据采集方法和设备。

背景技术

随着计算机技术的飞速发展，计算机设备(例如：服务器)能够为用户提供越来越多的网络服务。例如：服务器在接收到用户发送的服务请求时，利用服务器的各种系统资源，如中央处理器(CPU)、内存(Memory)等对该服务请求进行处理，以便于给用户提供高质量的网络服务。

通常为了保证服务器的服务质量，避免服务器在运行过程中出现故障，需要对服务器的内存使用情况、待处理服务占用CPU时间以及服务运行状态等系统资源数据进行采集与监控，进而使服务器的系统管理员或运维人员(以下简称用户)能够及时地对出现故障的系统资源进行维护，确保服务器的正常运行。

在现有技术中，为了实现对服务器中系统资源数据的采集与监控，常用的方法是在每个服务器上部署数据采集程序，由数据采集程序对服务器中系统资源数据进行采集，并将采集到的系统资源数据发送给数据库，以供用户根据采集到的系统资源数据对系统资源进行维护。

经研究发现，上述方式存在以下缺陷：数据采集程序在开发阶段，开发者预先确定数据采集类型，这样，当服务器中部署了该数据采集程序，那么该数据采集程序仅能够采集与预先确定的数据采集类型相匹配的系统资源数据，使得在利用采集到的系统资源数据对系统资源进行维护时，无法满足系统维护的需要，进而降低系统维护效率。

发明内容

有鉴于此，本发明实施例提供了一种数据采集方法和设备，用于解决现有技术中出现的开发者在数据采集程序中预先确定的数据采集类型无法满足用户需求，当用户希望获取更多或者更为精简的系统资源数据时，需要开发者按照用户需求对数据采集程序的代码进行更新而带来的由于流程繁琐，人力投入太大导致成本升高以及时间效率下降的问题。

本发明实施例提供了一种数据采集方法，包括：

接收用户发送的数据采集信息，所述数据采集信息中包含待采集的数据类型和用于采集所述数据类型对应的系统资源数据的插件标识；

根据预设的数据类型与用于采集所述数据类型对应的系统资源数据的插件标识之间的映射关系，匹配与所述数据采集信息中包含的所述待采集的数据类型对应的插件标识；

调用所述插件标识对应的插件采集所述数据类型对应的系统资源数据；并将采集到的所述系统资源数据发送至数据库。

本发明实施例还提供了一种数据采集设备，包括：

接收模块，用于接收用户发送的数据采集信息，所述数据采集信息中包含待采集的数据类型和用于采集所述数据类型对应的系统资源数据的插件标识；

匹配模块，用于根据预设的数据类型与用于采集所述数据类型对应的系统资源数据的插件标识之间的映射关系，匹配与所述数据采集信息中包含的所述待采集的数据类型对应的插件标识；

采集模块，用于调用所述插件标识对应的插件采集所述数据类型对应的系统资源数据；并将采集到的所述系统资源数据发送至数据库。

本发明的有效效果如下：

本发明实施例通过接收用户发送的数据采集信息，所述数据采集信息中包含待采集的数据类型和用于采集所述数据类型对应的系统资源数据的插件标识；根据预设的数据类型与用于采集所述数据类型对应的系统资源数据的插件标识之间的映射关系，匹配与所述数据采集信息中包含的所述待采集的数据类型对应的插件标识；调用所述插件标识对应的插件采集所述数据类型对应的系统资源数据；并将采集到的所述系统资源数据发送至数据库。这样，通过根据用户发送的数据采集信息调用对应插件，实现对服务器系统资源数据的采集，使用户能够方便地从数据库中获取到满足需求的系统资源数据，增加了数据获取的灵活性，提升了用户的使用体验。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种数据采集方法的流程示意图；

图2为本发明实施例提供的一种数据采集设备的结构示意图；

图3为本发明实施例提供的一种数据采集设备的结构示意图。

具体实施方式

为了使本发明的目的，本发明实施例提供了一种数据采集方法和设备，通过接收用户发送的数据采集信息，所述数据采集信息中包含待采集的数据类型和用于采集所述数据类型对应的系统资源数据的插件标识；根据预设的数据类型与用于采集所述数据类型对应的系统资源数据的插件标识之间的映射关系，匹配与所述数据采集信息中包含的所述待采集的数据类型对应的插件标识；调用所述插件标识对应的插件采集所述数据类型对应的系统资源数据；并将采集到的所述系统资源数据发送至数据库。这样，通过根据用户发送的数据采集信息调用对应插件，实现对服务器系统资源数据的采集，使用户能够方便地从数据库中获取到满足需求的系统资源数据，增加了数据获取的灵活性，提升了用户的使用体验。

下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1是本发明实施例提供的一种数据采集方法的流程示意图，所述方法可以如下所示。

本发明实施例提供的数据采集方法，可以基于linux操作系统，使用shell和python编程语言实现，也可以通过基于其他操作系统，使用其他编程语言实现，这里不做具体限定。

此外，本发明实施例中记载的数据采集控制器，可以通过一个web程序实现，可以通过其他方式实现，这里不做具体限定。

步骤101：接收用户发送的数据采集信息，所述数据采集信息中包含待采集的数据类型和用于采集所述数据类型对应的系统资源数据的插件标识。

在步骤101中，当服务器中部署的数据采集程序无法采集到用户需要的系统资源数据时，用户按照自身需求对待采集的数据类型和用于采集所述数据类型对应的系统资源数据的插件标识进行编辑，并在编辑完毕后向数据采集控制器发送上述数据采集信息，数据采集控制器在接收所述数据采集信息后，将所述数据采集信息的数据格式转换为所述数据采集程序可识别的数据格式。

步骤102：根据预设的数据类型与用于采集所述数据类型对应的系统资源数据的插件标识之间的映射关系，匹配与所述数据采集信息中包含的所述待采集的数据类型对应的插件标识。

在步骤102中，由于数据采集程序中预先设置了多个插件，并且每个预设插件的插件标识与这个预设插件能够采集到的系统资源数据的数据类型之间具有映射关系，所以调用不同的预设插件能够采集到服务器中不同数据类型的系统资源数据。

需要说明的是，所述预设插件具体包括basic、codis、data_show、example、Hadoop、hbase、input、jstorm、kafka、lib、mongodb、nginx、redis、storm、zookeeper等其中的一种或多种，这里不做具体限定。

具体地，数据采集控制器在接收到用户发送的数据采集信息后，根据预设的数据类型与用于采集所述数据类型对应的系统资源数据的插件标识之间的映射关系，判断所述数据采集信息中包含的待采集的数据类型是否能够与当前所述数据采集程序中的预设插件的插件标识匹配。

进一步地，数据采集控制器将所述数据采集信息中包含的用于采集所述数据类型对应的系统资源数据的插件标识和所述数据采集程序中的多个预设插件(如第一预设插件、第二预设插件、第三预设插件……)的插件标识进行对比。

第一种情况：当用于采集所述数据类型对应的系统资源数据的插件标识与数据采集控制器中的某个预设插件(如第二预设插件)的插件标识一致时，确定所述数据采集信息中包含的待采集的数据类型能够与当前所述数据采集程序中的第二预设插件的插件标识匹配。

需要说明的是，预设的数据类型与用于采集所述数据类型对应的系统资源数据的插件标识之间可以是一对一的映射关系，还可以是一对多的映射关系。对于一对多的映射关系，可以理解为数据采集程序中的一个预设插件能够与多个不同的系统资源数据的数据类型进行匹配，这样，有利于数据采集控制器根据用户需求，对与所述预设插件匹配的数据类型进行变更，实现对同一预设插件对不同数据类型的系统资源数据的采集。

例如：表1为数据采集程序中预先设置的不同预设插件的插件标识以及与所述预设插件的插件标识建立映射关系的数据类型。

表1

由表1可知，当数据采集控制器接收到的所述数据采集信息中包含的待采集的数据类型为a，而数据采集程序的预设插件中存在能够与所述a数据类型建立映射关系的A插件标识时，确定所述数据采集信息中包含的待采集的数据类型a能够与当前所述数据采集程序中的预设插件的插件标识A匹配。

当确定所述数据采集信息中包含的待采集的数据类型能够与当前所述数据采集程序中的预设插件的插件标识匹配时，所述数据采集控制器进一步判断当前与所述待采集的数据类型相匹配的预设插件采集到的系统资源数据的数据类型与所述待采集的数据类型是否一致。

若确定与待采集的数据类型相匹配的预设插件采集到的系统资源数据的数据类型与所述待采集的数据类型一致，则执行步骤103；

若确定与待采集的数据类型相匹配的预设插件采集到的系统资源数据的数据类型与所述待采集的数据类型不一致，则先按照所述数据采集信息对与所述预设插件匹配的数据类型进行变更，再执行步骤103。

例如：基于上述表1，当数据采集控制器接收到的所述数据采集信息中包含的待采集的数据类型为a，确定所述数据类型a与插件标识A具有映射关系，此时，数据采集控制器进一步判断当前与插件标识为A的预设插件相匹配的数据类型是否为a，若是，则执行步骤103；若不是，则按照所述数据采集信息对与所述预设插件匹配的数据类型进行变更，使所述预设插件的插件标识A与数据类型a匹配。

第二种情况：当用于采集所述数据类型对应的系统资源数据的插件标识与数据采集控制器中的预设插件的插件标识不一致时，确定所述数据采集信息中包含的待采集的数据类型与当前所述数据采集程序中的预设插件的插件标识之间不匹配。

此时，数据采集控制器首先根据用户发送的待采集的数据类型获取配置信息，然后根据所述配置信息，创建与所述数据类型匹配的新插件，最后存储创建的所述新插件的插件标识与所述待采集的数据类型之间的映射关系。

例如：基于表1，当数据采集控制器接收到的所述数据采集信息中包含的待采集的数据类型为m，而数据采集程序中没有与数据类型m建立映射关系的插件标识时，所述数据采集控制器获取与数据类型m相关的配置信息，并根据所述配置信息创建与所述数据类型m匹配的新插件(插件标识为D)，并建立所述新插件的插件标识D与所述待采集的数据的数据类型m之间的映射关系。

步骤103：调用所述插件标识对应的插件采集所述数据类型对应的系统资源数据；并将采集到的所述系统资源数据发送至数据库。

在步骤103中，数据采集控制器维护了两个队列，分别为插件执行队列与数据发送队列，当所述数据采集控制器确定了与所述数据采集信息中包含的所述待采集的数据类型匹配的插件标识时，数据采集控制器启动调用所述插件标识对应的插件的线程，并将所述插件写入插件执行队列中，使得所述插件执行队列中的插件按照设定顺序采集所述数据类型对应的系统资源数据。

其中，所述插件执行队列可以基于“先进先出”的原则，使最先写入至所述插件执行队列的插件采集与所述数据类型对应的系统资源数据，然后依次使后续写入插件执行队列的插件采集与所述数据类型对应的系统资源数据；也可以基于“后进先出”的原则，使最后写入至所述插件执行队列的插件采集与所述数据类型对应的系统资源数据，然后依次使之前写入插件执行队列的插件采集与所述数据类型对应的系统资源数据，还可以基于其他设定顺序采集所述数据类型对应的系统资源数据，这里不做具体限定。

优选地，如果接收到的所述数据采集信息中还包含待采集的数据类型对应的系统资源数据的地址，那么调用所述插件标识对应的插件根据所述地址采集所述数据类型对应的系统资源数据。

在本发明实施例中，插件执行队列中的插件采集所述数据类型对应的系统资源数据的具体操作至少包括读取所述服务器的磁盘信息和/或服务的运行状态信息和/或计算某个端口的连接数目其中的一种或多种，这里不做具体限定。优选地，所述插件执行队列中的插件按照设定周期依序采集所述数据类型对应的系统资源数据。

其中，所述设定周期可以是数据采集程序中初始设定的某个周期值，也可以根据不同用户需求对所述设定周期进行动态变更。

在所述插件执行队列中的插件采集到所述数据类型对应的系统资源数据后，所述数据采集控制器将采集到的所述系统资源数据写入数据发送队列，并调用所述数据发送队列对应的线程将所述系统资源数据发送至数据库。

优选地，如果所述数据采集控制器接收到的所述数据采集信息中还包含数据库地址，那么数据采集控制器根据所述数据库地址信息，调用数据发送队列中对应的线程，将采集到的所述系统资源数据发送至所述数据库地址对应的数据库。

本发明实施例提供了一种数据采集方法，通过接收用户发送的数据采集信息，所述数据采集信息中包含待采集的数据类型和用于采集所述数据类型对应的系统资源数据的插件标识；根据预设的数据类型与用于采集所述数据类型对应的系统资源数据的插件标识之间的映射关系，匹配与所述数据采集信息中包含的所述待采集的数据类型对应的插件标识；调用所述插件标识对应的插件采集所述数据类型对应的系统资源数据；并将采集到的所述系统资源数据发送至数据库。这样，通过根据用户发送的数据采集信息调用对应插件，实现对服务器系统资源数据的采集，使用户能够方便地从数据库中获取到满足需求的系统资源数据，增加了数据获取的灵活性，提升了用户的使用体验。

图2是本发明实施例提供的一种数据采集设备的结构示意图。所述数据采集设备包括：

接收模块21，用于接收用户发送的数据采集信息，所述数据采集信息中包含待采集的数据类型和用于采集所述数据类型对应的系统资源数据的插件标识；

匹配模块22，用于根据预设的数据类型与用于采集所述数据类型对应的系统资源数据的插件标识之间的映射关系，匹配与所述数据采集信息中包含的所述待采集的数据类型对应的插件标识；

采集模块23，用于调用所述插件标识对应的插件采集所述数据类型对应的系统资源数据；并将采集到的所述系统资源数据发送至数据库。

在本发明的另一个实施例中，如图3所示，所述数据采集设备还包括创建模块24，其中：

所述创建模块24，用于在未匹配到与所述数据采集信息中包含的所述待采集的数据类型对应的插件标识时，创建与所述数据类型对应的插件；存储创建的所述插件的插件标识与所述待采集的数据类型之间的映射关系。

在本发明的另一个实施例中，所述采集模块23调用所述插件标识对应的插件采集所述数据类型对应的系统资源数据，包括：

启动调用所述插件标识对应的插件的线程，并将所述插件写入插件执行队列中，使得所述插件执行队列中的插件按照设定顺序采集所述数据类型对应的系统资源数据。

在本发明的另一个实施例中，所述采集模块23将采集到的所述系统资源数据发送至数据库，包括：

将采集到的所述系统资源数据写入数据发送队列；

若所述数据采集信息中还包含数据库地址，那么调用所述数据发送队列对应的线程，根据所述数据库地址，将采集到的所述系统资源数据发送至所述数据库地址对应的数据库。

通过本发明实施例中所记载的数据采集设备，数据采集设备包括：接收模块，用于接收用户发送的数据采集信息，所述数据采集信息中包含待采集的数据类型和用于采集所述数据类型对应的系统资源数据的插件标识；匹配模块，用于根据预设的数据类型与用于采集所述数据类型对应的系统资源数据的插件标识之间的映射关系，匹配与所述数据采集信息中包含的所述待采集的数据类型对应的插件标识；采集模块，用于调用所述插件标识对应的插件采集所述数据类型对应的系统资源数据；并将采集到的所述系统资源数据发送至数据库。这样，通过根据用户发送的数据采集信息调用对应插件，实现对服务器系统资源数据的采集，使用户能够方便地从数据库中获取到满足需求的系统资源数据，增加了数据获取的灵活性，提升了用户的使用体验。

本领域的技术人员应明白，本发明的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种数据采集方法，其特征在于，包括：

接收用户发送的数据采集信息，所述数据采集信息中包含待采集的数据类型和用于采集所述数据类型对应的系统资源数据的插件标识；

根据预设的数据类型与用于采集所述数据类型对应的系统资源数据的插件标识之间的映射关系，匹配与所述数据采集信息中包含的所述待采集的数据类型对应的插件标识；

调用所述插件标识对应的插件采集所述数据类型对应的系统资源数据；并将采集到的所述系统资源数据发送至数据库；其中，所述方法还包括：

若未匹配到与所述数据采集信息中包含的所述待采集的数据类型对应的插件标识，则创建与所述数据类型对应的插件；

存储创建的所述插件的插件标识与所述待采集的数据类型之间的映射关系。

2.如权利要求1所述的数据采集方法，其特征在于，

创建与所述数据类型对应的插件，包括：

根据所述数据类型，获取配置信息；

根据所述配置信息，创建与所述数据类型对应的插件。

3.如权利要求1所述的数据采集方法，其特征在于，

调用所述插件标识对应的插件采集所述数据类型对应的系统资源数据，包括：

启动调用所述插件标识对应的插件的线程，并将所述插件写入插件执行队列中，使得所述插件执行队列中的插件按照设定顺序采集所述数据类型对应的系统资源数据。

4.如权利要求1所述的数据采集方法，其特征在于，

调用所述插件标识对应的插件采集所述数据类型对应的系统资源数据，包括：

若所述数据采集信息中还包含待采集的数据类型对应的系统资源数据的地址，那么调用所述插件标识对应的插件根据所述地址采集所述数据类型对应的系统资源数据。

5.如权利要求1至4任一项所述的数据采集方法，其特征在于，

将采集到的所述系统资源数据发送至数据库，包括：

将采集到的所述系统资源数据写入数据发送队列；

若所述数据采集信息中还包含数据库地址，那么调用所述数据发送队列对应的线程，根据所述数据库地址，将采集到的所述系统资源数据发送至所述数据库地址对应的数据库。

6.一种数据采集设备，其特征在于，包括：

接收模块，用于接收用户发送的数据采集信息，所述数据采集信息中包含待采集的数据类型和用于采集所述数据类型对应的系统资源数据的插件标识；

匹配模块，用于根据预设的数据类型与用于采集所述数据类型对应的系统资源数据的插件标识之间的映射关系，匹配与所述数据采集信息中包含的所述待采集的数据类型对应的插件标识；

采集模块，用于调用所述插件标识对应的插件采集所述数据类型对应的系统资源数据；并将采集到的所述系统资源数据发送至数据库；其中，所述数据采集设备还包括创建模块，其中：

所述创建模块，用于在未匹配到与所述数据采集信息中包含的所述待采集的数据类型对应的插件标识时，创建与所述数据类型对应的插件；以及

存储创建的所述插件的插件标识与所述待采集的数据类型之间的映射关系。

7.如权利要求6所述的数据采集设备，其特征在于，

所述采集模块调用所述插件标识对应的插件采集所述数据类型对应的系统资源数据，包括：

启动调用所述插件标识对应的插件的线程，并将所述插件写入插件执行队列中，使得所述插件执行队列中的插件按照设定顺序采集所述数据类型对应的系统资源数据。

8.如权利要求6至7任一项所述的数据采集设备，其特征在于，

所述采集模块将采集到的所述系统资源数据发送至数据库，包括：

将采集到的所述系统资源数据写入数据发送队列；

若所述数据采集信息中还包含数据库地址，那么调用所述数据发送队列对应的线程，根据所述数据库地址，将采集到的所述系统资源数据发送至所述数据库地址对应的数据库。