CN115706697A - 数据采集方法与系统 - Google Patents

Abstract

本申请提供一种数据采集方法与系统，涉及通信技术领域。该数据采集方法，由于对多个第一运行参数标识计算节点服务器的服务器ID；对多个第二运行参数标识管理节点服务器的服务器ID；对多个第三运行参数标识存储节点服务器的服务器ID；每个聚合中心的聚合服务器对聚合后生成的每个数据组标识数据中心ID，且同一数据组中的每条数据携带有采集该条数据的服务器的服务器ID，实现了对各个数据中心的数据规范管理。再者，由于每个数据中心的聚合服务器，将聚合后的标识有数据中心ID的数据组上传至第一kafka集群存储；进而，第二kafka集群存储有来自各个数据中线的数据组。如此，当用户可以根据故障类型查询到多个数据中心的数据，查询到的数据更加全面。

Description

数据采集方法与系统

技术领域

本申请涉及通信技术，尤其涉及一种数据采集方法与系统。

背景技术

随着云服务技术的快速发展，政府、企业、公司等单位机构已经广泛采用云服务技术管理数据。通过云服务技术管理数据，数据的建设、维护、运营成本低，因而，云服务技术正逐渐成为未来IT架构的主流发展方向。目前，为了降低不同区域用户的时延，提升用户体验，公有云运营商通常在不同区域建设有多个数据中心，以便为各个区域的用户就近分配资源服务。多个数据中心具有海量的服务器，海量的服务器在运行时，会产生多个不同类别的运行参数。当多个数据中心出现运行故障时，运维人员可以根据故障类型，查询指定类别的运行参数；然后根据查询到的指定类别的服务器的运行参数，确定多个数据中心出现运行故障的原因。

目前，只能对单个数据中心的数据进行采集，并且对单个数据中心采集到的数据管理不规范。当多个数据中心出现运行故障时，由于单个数据中心的数据管理不规范，运维人员需要根据故障类型，花费大量的时间查询一个数据中心中指定类别的运行参数，效率低。又由于根据故障类型只能查询到单个数据中心的数据，导致查询到的数据不够全面，进而，使得运维人员也无法准确的定位多个数据中心出现运行故障的原因。

发明内容

本申请提供一种数据采集方法与系统，用以解决对数据中心采集的数据管理不规范以及不全面问题。

第一方面，本申请实施例提供了一种数据采集方法，应用于数据采集系统，数据采集系统包括多个数据中心与第一kafka集群，每个数据中心与第一kafka集群通信连接，每个数据中心包括依次通信连接的数据采集服务群、第二kafka集群以及聚合服务器，其中，数据采集服务群包括计算节点服务器、管理节点服务器、以及存储节点服务器，所述方法包括：

在每个数据中心内，计算节点服务器采集自身的多个第一运行参数，并对多个第一运行参数标识计算节点服务器的服务器ID；管理节点服务器采集自身的多个第二运行参数，并对多个第二运行参数标识管理节点服务器的服务器ID；存储节点服务器采集自身的多个第三运行参数，并对多个第三运行参数标识存储节点服务器的服务器ID；

第二kafka集群接收并存储来自计算节点服务器的多个第一运行参数、来自管理节点服务器的多个第二运行参数、以及来自存储节点的服务器的多个第三运行参数；

聚合服务器从第二kafka集群中，提取多个第一运行参数、多个第二运行参数、以及多个第三运行参数，对多个第一运行参数、多个第二运行参数、以及多个第三运行参数聚合，对聚合后生成的每个数据组标识数据中心ID，且同一数据组中的每条数据携带有采集该条数据的服务器的服务器ID；

每个数据中心的聚合服务器，将聚合后的标识有数据中心ID的数据组上传至第一kafka集群存储。

第二方面，本申请实施例提供了一种数据采集系统，数据采集系统包括多个数据中心与第一kafka集群，每个数据中心与第一kafka集群通信连接，每个数据中心包括依次通信连接的数据采集服务群、第二kafka集群以及聚合服务器，其中，数据采集服务群包括计算节点服务器、管理节点服务器、以及存储节点服务器，其中，

在每个数据中心内，计算节点服务器，被配置成采集自身的多个第一运行参数，并对多个第一运行参数标识计算节点服务器的服务器ID；

管理节点服务器，被配置成采集自身的多个第二运行参数，并对多个第二运行参数标识管理节点服务器的服务器ID；存储节点服务器采集自身的多个第三运行参数，并对多个第三运行参数标识存储节点服务器的服务器ID；

第二kafka集群，被配置成接收并存储来自计算节点服务器的多个第一运行参数、来自管理节点服务器的多个第二运行参数、以及来自存储节点的服务器的多个第三运行参数；

聚合服务器，被配置成从第二kafka集群中，提取多个第一运行参数、多个第二运行参数、以及多个第三运行参数，对多个第一运行参数、多个第二运行参数、以及多个第三运行参数聚合，对聚合后生成的每个数据组标识数据中心ID，且同一数据组中的每条数据携带有采集该条数据的服务器的服务器ID；

每个数据中心的聚合服务器，被配置成将聚合后的标识有数据中心ID的数据组上传至第一kafka集群存储。

本申请提供的数据采集方法与系统，由于对多个第一运行参数标识计算节点服务器的服务器ID；对多个第二运行参数标识管理节点服务器的服务器ID；对多个第三运行参数标识存储节点服务器的服务器ID；每个聚合中心的聚合服务器对聚合后生成的每个数据组标识数据中心ID，且同一数据组中的每条数据携带有采集该条数据的服务器的服务器ID，实现了对各个数据中心的数据规范管理。如此，当运维人员需要根据故障类型时，可以基于指定的服务器ID或数据中心ID，迅速查询到与指定的服务器ID或数据中心ID关联的数据，效率高；再者，由于每个数据中心的聚合服务器，将聚合后的标识有数据中心ID的数据组上传至第一kafka集群存储；进而，第二kafka集群存储有来自各个数据中线的数据组。如此，当用户可以根据故障类型查询到多个数据中心的数据，查询到的数据更加全面，进而使得运维人员能够准确的定位多个数据中心出现运行故障的原因。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1为本申请实施例提供的数据采集系统的交互示意图；

图2为本申请实施例提供的数据采集方法的流程图；

图3为本申请实施例提供的数据的标签格式之一；

图4为本申请实施例提供的数据的标签格式之二；

图5为本申请实施例提供的数据的标签格式之三；

图6为本申请实施例提供的数据的标签格式之四；

图7为本申请实施例提供的数据的标签格式之五；

图8为本申请实施例提供的数据的标签格式之六；

图9为本申请实施例提供的数据的标签格式之七；

图10为本申请实施例提供的数据的标签格式之八。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

首先对本申请所涉及的名词进行解释：

Kafka集群：是一个分布式消息系统，具有高水平扩展和高吞吐量的特点。在Kafka集群中，没有“中心主节点”的概念，集群中所有的节点都是对等的。

计算节点服务器：在数据中心中负责虚拟机运行。

存储节点服务器：在数据中心中存储节点负责对虚拟机的额外存储管理等。

管理节点服务器：控制节点负责对其余节点服务器的控制，包含虚拟机建立，迁移，网络分配，存储分配等等。

本申请提供的数据采集的方法，旨在解决现有技术的如上技术问题。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

请参阅图1，本申请实施例提供了一种数据采集方法，应用于数据采集系统。如图1所示，数据采集系统包括多个数据中心100与第一kafka集群107，每个数据中心100与第一kafka集群107通信连接。每个数据中心100包括依次通信连接的数据采集服务群101、第二kafka集群105以及聚合服务器106，其中，数据采集服务群101包括计算节点服务器102、管理节点服务器103、以及存储节点服务器104。如图2所示，所述方法包括：

S21：在每个数据中心100内，计算节点服务器102采集自身的多个第一运行参数，并对多个第一运行参数标识计算节点服务器102的服务器ID；管理节点服务器103采集自身的多个第二运行参数，并对多个第二运行参数标识管理节点服务器103的服务器ID；存储节点服务器104采集自身的多个第三运行参数，并对多个第三运行参数标识存储节点服务器104的服务器ID。

一种可选的实施方式中，多个第一运行参数可以包括计算节点服务器102的宿主机的核心监控数据和虚拟机的核心监控数据。其中，宿主机的核心监控数据被标识有计算节点服务器102的服务器ID，且宿主机的核心监控数据包括宿主机的CPU使用率、内存使用率、以及磁盘使用率。如图3所示，宿主机的核心监控数据标签方式可以为：cpu、mem、disk，以及宿主机uuid(即计算节点服务器102的服务器ID)。另外，宿主机的核心监控数据还可以包括读写iops、读写带宽、读写等待时间、网络流入流出速率、网络流入流出包数、丢包率、以及丢包数量。虚拟机的核心监控数据被标识有计算节点服务器102的服务器ID和虚拟机的虚拟机ID，且虚拟机的核心监控数据包括虚拟机的CPU使用率、内存使用率、以及磁盘使用率。如图4所示，虚拟机的核心监控数据的标签格式可以为：vm_cpu、vm_mem、vm_disk，以及虚拟机uuid(即虚拟机ID)、宿主机uuid(即计算节点服务器102的服务器ID)。

另外，计算节点服务器102在宿主机中预先建立有与虚拟机交互的第一数据通道、以及加载数据通道监控插件和宿主机的监控插件，数据通道监控插件用于通过第一数据通道监听来自第二数据通道的虚拟机的核心监控数据。如此，虚拟机可以将虚拟机的核心监控数据输出到第一数据通道，宿主机可以通过数据通道监控插件监听第一数据通道虚拟机的核心监控数据。进而，实现了虚拟机的监控数据传输与业务数据传输的解耦，避免了虚拟机的监控数据占用用户带宽导致数据丢失的问题。

一种可选的实施方式中，多个第二运行参数可以包括第二核心监控数据和第二类型监控数据，第二核心监控数据被标识有管理节点服务器103的服务器ID，且第二核心监控数据包括：管理节点服务器103的CPU使用率、内存使用率、以及磁盘使用率。另外，二核心监控数据的核心监控数据还可以包括读写iops、读写带宽、读写等待时间、网络流入流出速率、网络流入流出包数、丢包率、以及丢包数量。第二类型监控数据包括：部署在管理节点服务器103的mysql数据库的工作参数、部署在管理节点服务器103的rabbitmq消息队列的工作参数、以及部署在管理节点服务器103的redis数据库的工作参数，其中，mysql数据库的工作参数被标识有管理节点服务器103的服务器ID，rabbitmq消息队列的工作参数被标识有管理节点服务器103的服务器ID，redis数据库的工作参数被标识有管理节点服务器103的服务器ID。如图5所示，第二核心监控数据的标签方式可以为：cpu、mem、disk，以及管理节点服务器103的服务器ID。第二类型监控数据的标签格式可以包括：Mysql和管理节点服务器103的服务器ID，redis和管理节点服务器103的服务器ID，以及rabbitmq和管理节点服务器103的服务器ID。另外，部署在管理节点服务器103的mysql数据库的工作参数可以包括但不限于每秒连接数、连接流量、以及锁定表数量。部署在管理节点服务器103的redis数据库的工作参数可以包括但不限于：对redis数据库每分钟请求数据大小、响应时延、以及内存使用率。

一种可选的实施方式中，存储节点服务器104可以为ceph集群，多个第三运行参数包括第三核心监控数据和第三类型监控数据，第三核心监控数据被标识有存储节点服务器104的服务器ID，且第三核心监控数据包括：ceph集群的CPU使用率、内存使用率、以及磁盘使用率。第三类型监控数据被标识有存储节点服务器104的服务器ID，且第三类型监控数据包括：ceph集群的osd状态和osd间时延。如图6所示，第三类型监控数据的标签格式可以包括：ceph和存储节点服务器104的服务器ID，第三核心监控数据的标签格式可以包括：cpu、mem、disk，以及存储节点服务器104的服务器ID。

S22：第二kafka集群105接收并存储来自计算节点服务器102的多个第一运行参数、来自管理节点服务器103的多个第二运行参数、以及来自存储节点的服务器的多个第三运行参数。

S23：聚合服务器106从第二kafka集群105中，提取多个第一运行参数、多个第二运行参数、以及多个第三运行参数，对多个第一运行参数、多个第二运行参数、以及多个第三运行参数聚合，对聚合后生成的每个数据组标识数据中心，且同一数据组中的每条数据携带有采集该条数据的服务器的服务器ID。

其中，聚合的方式可以为将数据类型相同的数据构成一个数据组，并标识数据中心。例如，将同一数据中心100中的n个管理服务器的mysql数据库的工作参数构成一个第一数据组，并标识数据中心。如图7所示，第一数据组中包括mysql1和服务器ID1、mysql2和服务器ID2、...,...，mysqln和服务器IDn。再例如，将同一数据中心100中的n个存储服务器的第三类型监控数据构成一个第二数据组，如图8所示，第二数据组包括ceph1和服务器ID1，ceph2和服务器ID2，...，cephn和服务器IDn。再例如，将同一数据中心100中的n个服务器的核心监控数据构成一个第三数据组，如图9所示，第三数据组中包括(cpu、mem、disk)1和服务器ID1，(cpu、mem、disk)2和服务器ID2，...，(cpu、mem、disk)n和服务器IDn。再例如，将同一数据中心100中的n个虚拟机的核心监控数据构成一个第四数据组，如图10所示，第四数据组中包括(vm_cpu、vm_mem、vm_disk)1、虚拟机ID1和宿主机ID1，(vm_cpu、vm_mem、vm_disk)2、虚拟机ID2和服务器ID2，...，(vm_cpu、vm_mem、vm_disk)n、虚拟机IDn和服务器IDn。

S24：每个数据中心100的聚合服务器106，将聚合后的标识有数据中心的数据组上传至第一kafka集群107存储。

本申请提供的数据采集方法，由于对多个第一运行参数标识计算节点服务器102的服务器ID；对多个第二运行参数标识管理节点服务器103的服务器ID；对多个第三运行参数标识存储节点服务器104的服务器ID；每个聚合中心的聚合服务器106对聚合后生成的每个数据组标识数据中心，且同一数据组中的每条数据携带有采集该条数据的服务器的服务器ID，实现了对各个数据中心100的数据规范管理。如此，当运维人员需要根据故障类型时，可以基于指定的服务器ID或数据中心，迅速查询到与指定的服务器ID或数据中心关联的数据，效率高；再者，由于每个数据中心100的聚合服务器106，将聚合后的标识有数据中心的数据组上传至第一kafka集群107存储；进而，第二kafka集群105存储有来自各个数据中线的数据组。如此，当用户可以根据故障类型查询到多个数据中心100的数据，查询到的数据更加全面，进而使得运维人员能够准确的定位多个数据中心100出现运行故障的原因。

可以理解地，在数据中心100投入使用之前，需要对计算节点服务器102、存储节点服务器104以及管理节点服务器103部署。进一步地，为了提供部署效率，可以分别对计算节点服务器102、存储节点服务器104以及管理节点服务器103自动化部署。如此，在S21之前，所述方法还可以包括：

步骤111：计算节点服务器102接收来自终端设备的监控部署指令，监控部署指令携带有虚拟机建立请求。

步骤112：计算节点服务器102在宿主机中建立与虚拟机交互的第一数据通道、以及加载数据通道监控插件和宿主机的监控插件，数据通道监控插件用于通过第一数据通道监听来自第二数据通道的虚拟机的核心监控数据，宿主机的监控插件用于采集宿主机的核心监控数据。

步骤113：计算节点服务器102识别虚拟机建立请求中携带的虚拟机类型，启动与虚拟机类型关联的虚拟机，并在虚拟机中加载虚拟机的监控插件，其中，虚拟机的监控插件用于采集虚拟机的核心监控数据。

加载虚拟机的监控插件的方式具体可以为：计算节点服务器102识别虚拟机建立请求中携带的虚拟机类型；若虚拟机类型为linux类型，则启动linux虚拟机，在linux虚拟机中注入linux版监控配置文件，并加载虚拟机的监控插件；若虚拟机类型为windows类型，则启动windows虚拟机，在windows虚拟机中注入windows版监控配置文件，并加载虚拟机的监控插件。

步骤114：计算节点服务器102在虚拟机中建立与第一数据通道交互的第二数据通道。

步骤115：计算节点服务器102配置用于标识宿主机的核心监控数据和虚拟机的核心监控数据的计算节点服务器102的服务器ID，以及从管理节点服务器103的mysql数据库中，获取用于标识虚拟机的核心监控数据的虚拟机ID。

可以理解地，通过步骤111-步骤115可以实现对计算节点服务器102的自动化部署，部署效率高。

在步骤S21之前，所述方法还可以包括：

步骤121：管理节点服务器103接收来自终端设备的监控部署指令。

步骤122：管理节点服务器103加载第一监控插件、第二监控插件、第三监控插件及第四监控插件。其中，第一监控插件用于采集第二核心监控数据，第二监控插件用于采集mysql数据库的工作参数，第三监控插件用于采集rabbitmq消息队列的工作参数，第四监控插件用于采集redis数据库的工作参数。

步骤123：管理节点服务器103配置用于标识多个第二运行参数的服务器ID。

步骤124：管理节点服务器103配置多个第二运行参数的输出地址为第二kafka集群105的IP地址。

可以理解地，通过步骤121-步骤125可以实现对管理节点服务器103的自动化部署，部署效率高。

在步骤S21之前，所述方法还可以包括：

步骤131：存储节点服务器104接收来自终端设备的监控部署指令。

步骤132：存储节点服务器104加载第五监控插件和第六监控插件，第五监控插件用于采集第三核心监控数据，第六监控插件用于采集第三类型监控数据。

步骤133：存储节点服务器104配置用于标识多个第三运行参数的服务器ID。

步骤134：存储节点服务器104配置多个第三运行参数的输出地址为：第二kafka集群105的IP地址。

可以理解地，通过步骤131-步骤134可以实现对存储节点服务器104的自动化部署，部署效率高。

在S24之后，用户可以通过终端设备向第一kafka集群107发送数据查询指令。

第一kafka集群107接收来自终端设备的数据查询指令，数据查询指令携带有目标数据类别ID；第一kafka集群107从存储的多个数据组中，查找出与目标数据类别ID关联的多个数据；第一kafka集群107向终端设备发送查找出的与目标数据类别ID关联的多个数据。用户可以在终端设备查看到与目标数据类别ID关联的多个数据，查询到的数据更加全面，进而使得运维人员能够准确的定位多个数据中心100出现运行故障的原因。

请参阅图1，本申请实施例还提供了一种数据采集系统，数据采集系统包括多个数据中心100与第一kafka集群107，每个数据中心100与第一kafka集群107通信连接，每个数据中心100包括依次通信连接的数据采集服务群101、第二kafka集群105以及聚合服务器106，其中，数据采集服务群101包括计算节点服务器102、管理节点服务器103、以及存储节点服务器104。其中，

在每个数据中心100内，计算节点服务器102，被配置成采集自身的多个第一运行参数，并对多个第一运行参数标识计算节点服务器102的服务器ID。

管理节点服务器103，被配置成采集自身的多个第二运行参数，并对多个第二运行参数标识管理节点服务器103的服务器ID；存储节点服务器104采集自身的多个第三运行参数，并对多个第三运行参数标识存储节点服务器104的服务器ID。

第二kafka集群105，被配置成接收并存储来自计算节点服务器102的多个第一运行参数、来自管理节点服务器103的多个第二运行参数、以及来自存储节点的服务器的多个第三运行参数。

聚合服务器106，被配置成从第二kafka集群105中，提取多个第一运行参数、多个第二运行参数、以及多个第三运行参数，对多个第一运行参数、多个第二运行参数、以及多个第三运行参数聚合，对聚合后生成的每个数据组标识数据中心，且同一数据组中的每条数据携带有采集该条数据的服务器的服务器ID。

每个数据中心100的聚合服务器106，被配置成将聚合后的标识有数据中心的数据组上传至第一kafka集群107存储。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (10)

1.一种数据采集方法，其特征在于，应用于数据采集系统，所述数据采集系统包括多个数据中心与第一kafka集群，每个所述数据中心与所述第一kafka集群通信连接，每个所述数据中心包括依次通信连接的数据采集服务群、第二kafka集群以及聚合服务器，其中，所述数据采集服务群包括计算节点服务器、管理节点服务器、以及存储节点服务器，所述方法包括：

在每个所述数据中心内，所述计算节点服务器采集自身的多个第一运行参数，并对所述多个第一运行参数标识所述计算节点服务器的服务器ID；所述管理节点服务器采集自身的多个第二运行参数，并对所述多个第二运行参数标识所述管理节点服务器的服务器ID；所述存储节点服务器采集自身的多个第三运行参数，并对所述多个第三运行参数标识所述存储节点服务器的服务器ID；

所述第二kafka集群接收并存储来自所述计算节点服务器的多个第一运行参数、来自所述管理节点服务器的多个第二运行参数、以及来自所述存储节点的服务器的多个第三运行参数；

所述聚合服务器从所述第二kafka集群中，提取所述多个第一运行参数、所述多个第二运行参数、以及多个所述第三运行参数，对所述多个第一运行参数、所述多个第二运行参数、以及所述多个第三运行参数聚合，对聚合后生成的每个数据组标识数据中心ID，且同一数据组中的每条数据携带有采集该条数据的服务器的服务器ID；

每个所述数据中心的聚合服务器，将聚合后的标识有数据中心ID的数据组上传至所述第一kafka集群存储。

2.根据权利要求1所述的方法，其特征在于，所述多个第一运行参数包括所述计算节点服务器的宿主机的核心监控数据和虚拟机的核心监控数据，

其中，所述宿主机的核心监控数据被标识有所述计算节点服务器的服务器ID，且所述宿主机的核心监控数据包括所述宿主机的CPU使用率、内存使用率、以及磁盘使用率；

其中，所述虚拟机的核心监控数据被标识有所述计算节点服务器的服务器ID和所述虚拟机的虚拟机ID，且所述虚拟机的核心监控数据包括所述虚拟机的CPU使用率、内存使用率、以及磁盘使用率。

3.根据权利要求2所述的方法，其特征在于，在所述计算节点服务器采集自身的多个第一运行参数，对多个第一运行参数标识所述计算节点服务器的服务器ID之前，所述方法还包括：

所述计算节点服务器接收来自终端设备的监控部署指令，所述监控部署指令携带有虚拟机建立请求；

所述计算节点服务器在宿主机中建立与所述虚拟机交互的第一数据通道、以及加载数据通道监控插件和宿主机的监控插件，所述数据通道监控插件用于通过所述第一数据通道监听来自第二数据通道的所述虚拟机的核心监控数据，所述宿主机的监控插件用于采集宿主机的核心监控数据；

所述计算节点服务器识别所述虚拟机建立请求中携带的虚拟机类型，启动与虚拟机类型关联的虚拟机，并在所述虚拟机中加载虚拟机的监控插件，其中，所述虚拟机的监控插件用于采集虚拟机的核心监控数据；

所述计算节点服务器在所述虚拟机中建立与所述第一数据通道交互的第二数据通道；

所述计算节点服务器配置用于标识所述宿主机的核心监控数据和所述虚拟机的核心监控数据的计算节点服务器的服务器ID，以及从所述管理节点服务器的mysql数据库中，获取用于标识所述虚拟机的核心监控数据的虚拟机ID。

4.根据权利要求3所述的方法，其特征在于，所述计算节点服务器识别所述虚拟机建立请求中携带的虚拟机类型，启动与虚拟机类型关联的虚拟机，并在所述虚拟机中加载虚拟机的监控插件，包括：

所述计算节点服务器识别所述虚拟机建立请求中携带的虚拟机类型；

若虚拟机类型为linux类型，则启动linux虚拟机，在linux虚拟机中注入linux版监控配置文件，并加载虚拟机的监控插件；

若虚拟机类型为windows类型，则启动windows虚拟机，在windows虚拟机中注入windows版监控配置文件，并加载虚拟机的监控插件。

5.根据权利要求1所述的方法，其特征在于，所述多个第二运行参数包括第二核心监控数据和第二类型监控数据，

所述第二核心监控数据被标识有所述管理节点服务器的服务器ID，且所述第二核心监控数据包括：所述管理节点服务器的CPU使用率、内存使用率、以及磁盘使用率，

所述第二类型监控数据包括：部署在所述管理节点服务器的mysql数据库的工作参数、部署在所述管理节点服务器的rabbitmq消息队列的工作参数、以及部署在所述管理节点服务器的redis数据库的工作参数，其中，所述mysql数据库的工作参数被标识有所述管理节点服务器的服务器ID，所述rabbitmq消息队列的工作参数被标识有所述管理节点服务器的服务器ID，所述redis数据库的工作参数被标识有所述管理节点服务器的服务器ID。

6.根据权利要求5所述的方法，其特征在于，在所述管理节点服务器采集自身的多个第二运行参数，对多个第二运行参数标识所述管理节点服务器的第二服务器ID之前，所述方法还包括：

所述管理节点服务器接收来自终端设备的监控部署指令；

所述管理节点服务器加载第一监控插件、第二监控插件、第三监控插件及第四监控插件，其中，所述第一监控插件用于采集所述第二核心监控数据，所述第二监控插件用于采集所述mysql数据库的工作参数，所述第三监控插件用于采集所述rabbitmq消息队列的工作参数，所述第四监控插件用于采集所述redis数据库的工作参数；

所述管理节点服务器配置用于标识所述多个第二运行参数的服务器ID；

所述管理节点服务器配置所述多个第二运行参数的输出地址为第二kafka集群的IP地址。

7.根据权利要求1所述的方法，其特征在于，所述存储节点服务器为ceph集群，所述多个第三运行参数包括第三核心监控数据和第三类型监控数据，

所述第三核心监控数据被标识有所述存储节点服务器的服务器ID，且所述第三核心监控数据包括：所述ceph集群的CPU使用率、内存使用率、以及磁盘使用率；

所述第三类型监控数据被标识有所述存储节点服务器的服务器ID，且所述第三类型监控数据包括：所述ceph集群的osd状态和osd间时延。

8.根据权利要求7所述的方法，其特征在于，在所述存储节点服务器采集自身的多个第三运行参数，对多个第三运行参数标识所述存储节点服务器的服务器ID之前，所述方法还包括：

所述存储节点服务器接收来自终端设备的监控部署指令；

所述存储节点服务器加载第五监控插件和第六监控插件，所述第五监控插件用于采集所述所述第三核心监控数据，所述第六监控插件用于采集所述第三类型监控数据；

所述存储节点服务器配置用于标识所述多个第三运行参数的服务器ID；

所述存储节点服务器配置所述多个第三运行参数的输出地址为：所述第二kafka集群的IP地址。

9.根据权利要求1-8任一所述的方法，其特征在于，在所述每个所述数据中心的聚合服务器，将聚合后的标识有数据中心ID的数据组上传至所述第一kafka集群存储之后，所述方法还包括：

所述第一kafka集群来自终端设备的数据查询指令，所述数据查询指令携带有目标数据类别ID；

所述第一kafka集群从存储的多个数据组中，查找出与所述目标数据类别ID关联的多个数据；

所述第一kafka集群向所述终端设备发送查找出的与所述目标数据类别ID关联的多个数据。

10.一种数据采集系统，其特征在于，所述数据采集系统包括多个数据中心与第一kafka集群，每个所述数据中心与所述第一kafka集群通信连接，每个所述数据中心包括依次通信连接的数据采集服务群、第二kafka集群以及聚合服务器，其中，所述数据采集服务群包括计算节点服务器、管理节点服务器、以及存储节点服务器，其中，

在每个所述数据中心内，所述计算节点服务器，被配置成采集自身的多个第一运行参数，并对所述多个第一运行参数标识所述计算节点服务器的服务器ID；

所述管理节点服务器，被配置成采集自身的多个第二运行参数，并对所述多个第二运行参数标识所述管理节点服务器的服务器ID；所述存储节点服务器采集自身的多个第三运行参数，并对所述多个第三运行参数标识所述存储节点服务器的服务器ID；

所述第二kafka集群，被配置成接收并存储来自所述计算节点服务器的多个第一运行参数、来自所述管理节点服务器的多个第二运行参数、以及来自所述存储节点的服务器的多个第三运行参数；

所述聚合服务器，被配置成从所述第二kafka集群中，提取所述多个第一运行参数、所述多个第二运行参数、以及多个所述第三运行参数，对所述多个第一运行参数、所述多个第二运行参数、以及所述多个第三运行参数聚合，对聚合后生成的每个数据组标识数据中心ID，且同一数据组中的每条数据携带有采集该条数据的服务器的服务器ID；

每个所述数据中心的聚合服务器，被配置成将聚合后的标识有数据中心ID的数据组上传至所述第一kafka集群存储。

Images