CN107015872A - 监控数据的处理方法及装置 - Google Patents

Abstract

本发明涉及一种监控数据的处理方法及装置。上述方法，包括：采集目标数据源的监控数据；将所述监控数据写入分布式发布订阅消息系统；通过消费机从所述分布式发布订阅消息系统读取所述监控数据；使所述消费机获取所述监控数据中的目标数据源标识；使所述消费机根据所述目标数据源标识获取与所述目标数据源对应的分布式时序数据库，所述分布式时序数据库为单机版本；通过所述消费机将所述监控数据发送至所述对应的分布式时序数据库中进行存储。上述监控数据的处理方法及装置，保证了分布式时序数据库集群的稳定性及高可用性。

Description

监控数据的处理方法及装置

技术领域

本发明涉及计算机技术领域，特别是涉及一种监控数据的处理方法及装置。

背景技术

InfluxDB是Go语言开发的一个开源分布式时序数据库，非常适合存储指标、事件、分析等数据，常用于存储业务、系统等的监控数据。InfluxDB提供集群服务，从各个业务服务器采集监控数据后直接存储在InfluxDB集群中。在InfluxDB集群中可选取一个InfluxDB作为Leader(领导)节点对整个InfluxDB集群进行统一管理，控制集群中各个InfluxDB的数据存储及读取等操作。而当Leader节点发生故障时，需要从集群中其它的InfluxDB中选取新的Leader节点，并将原Leader节点中存储的管理信息同步至新的Leader节点，实现新旧Leader节点间的切换，整体InfluxDB集群的稳定性较差，容易造成监控数据丢失等问题。

发明内容

基于此，有必要提供一种监控数据的处理方法，能有效减少监控数据丢失的情况，并保证分布式时序数据库集群的稳定性及高可用性。

此外，还有必要提供一种监控数据的处理装置，能有效减少监控数据丢失的情况，并保证分布式时序数据库集群的稳定性及高可用性。

一种监控数据的处理方法，包括：

采集目标数据源的监控数据；

将所述监控数据写入分布式发布订阅消息系统；

通过消费机从所述分布式发布订阅消息系统读取所述监控数据；

使所述消费机获取所述监控数据中的目标数据源标识；

使所述消费机根据所述目标数据源标识获取与所述目标数据源对应的分布式时序数据库，所述分布式时序数据库为单机版本；

通过所述消费机将所述监控数据发送至所述对应的分布式时序数据库中进行存储。

在其中一个实施例中，所述采集目标数据源的监控数据，包括：

通过代理节点采集目标数据源的监控数据；

通过所述代理节点将所述监控数据缓存在环形消息队列中；

所述将所述监控数据写入分布式发布订阅消息系统，包括：

通过预先建立的线程从所述环形消息队列中逐一读取所述监控数据，并将读取的监控数据写入分布式发布订阅消息系统。

在其中一个实施例中，所述将所述监控数据写入分布式发布订阅消息系统，包括：

获取所述监控数据的主键，并根据所述主键计算分区号；

对所述监控数据进行序列化处理，得到统一格式的数据流；

将所述数据流写入分布式发布订阅消息系统中与所述分区号匹配的分区中，并对所述数据流分配有序标识。

在其中一个实施例中，所述通过消费机从所述分布式发布订阅消息系统读取所述监控数据，包括：

根据所述有序标识从与所述分区号匹配的分区中读取所述数据流；

对所述数据流进行反序列化处理，得到所述监控数据；

在所述使所述消费机获取所述监控数据中的目标数据源标识的步骤之后，还包括：

根据所述目标数据源标识判断所述监控数据是否属于黑名单中的数据；

若属于，则丢弃所述监控数据，不进行处理。

在其中一个实施例中，所述使所述消费机根据所述目标数据源标识获取与所述目标数据源对应的分布式时序数据库，包括：

根据所述目标数据源标识获取与所述目标数据源对应的主用分布式时序数据库；

检测所述主用分布式时序数据库是否发生故障；

若所述主用分布式时序数据库发生故障，则获取与所述主用分布式时序数据库匹配的备用分布式时序数据库；

所述通过所述消费机将所述监控数据发送至所述对应的分布式时序数据库中进行存储，包括：

将所述监控数据发送至所述备用分布式时序数据库中进行存储。

一种监控数据的处理装置，包括：

采集模块，用于采集目标数据源的监控数据；

写入模块，用于将所述监控数据写入分布式发布订阅消息系统；

读取模块，用于通过消费机从所述分布式发布订阅消息系统读取所述监控数据；

数据源标识获取模块，用于使所述消费机获取所述监控数据中的目标数据源标识；

时序数据库获取模块，用于使所述消费机根据所述目标数据源标识获取与所述目标数据源对应的分布式时序数据库，所述分布式时序数据库为单机版本；

存储模块，用于通过所述消费机将所述监控数据发送至所述对应的分布式时序数据库中进行存储。

在其中一个实施例中，所述采集模块，包括：

采集单元，用于通过代理节点采集目标数据源的监控数据；

缓存单元，用于通过所述代理节点将所述监控数据缓存在环形消息队列中；

所述写入模块，还用于通过预先建立的线程从所述环形消息队列中逐一读取所述监控数据，并将读取的监控数据写入分布式发布订阅消息系统。

在其中一个实施例中，所述写入模块，包括：

计算单元，用于获取所述监控数据的主键，并根据所述主键计算分区号；

序列化单元，用于对所述监控数据进行序列化处理，得到统一格式的数据流；

写入单元，用于将所述数据流写入分布式发布订阅消息系统中与所述分区号匹配的分区中，并对所述数据流分配有序标识。

在其中一个实施例中，所述读取模块，包括：

读取单元，用于根据所述有序标识从与所述分区号匹配的分区中读取所述数据流；

反序列化单元，用于对所述数据流进行反序列化处理，得到所述监控数据；

所述装置还包括：

判断模块，用于根据所述目标数据源标识判断所述监控数据是否属于黑名单中的数据；

丢弃模块，用于若所述监控数据属于黑名单中的数据，则丢弃所述监控数据，不进行处理。

在其中一个实施例中，所述时序数据库获取模块，包括：

获取单元，用于根据所述目标数据源标识获取与所述目标数据源对应的主用分布式时序数据库；

检测单元，用于检测所述主用分布式时序数据库是否发生故障；

所述获取单元，还用于若所述主用分布式时序数据库发生故障，则获取与所述主用分布式时序数据库匹配的备用分布式时序数据库；

所述存储模块，还用于将所述监控数据发送至所述备用分布式时序数据库中进行存储。

上述监控数据的处理方法及装置，采集目标数据源的监控数据，将监控数据写入分布式发布订阅消息系统，消费机从分布式发布订阅消息系统读取监控数据，并根据监控数据的目标数据源标识获取与目标数据源对应的分布式时序数据库，再将监控数据存储在该对应的分布式时序数据库中，先将监控数据写入分布式发布订阅消息系统中再发送至分布式时序数据库，可有效减少监控数据丢失的情况，且利用单机版本的分布式时序数据库搭建分布式时序数据库集群，使集群中的各个分布式时序数据库相互独立、互不影响，保证了分布式时序数据库集群的稳定性及高可用性。

附图说明

图1为一个实施例中服务器的内部结构示意图；

图2为一个实施例中监控数据的处理方法的应用场景图；

图3为一个实施例中监控数据的处理方法的流程示意图；

图4为一个实施例中采集监控数据的流程示意图；

图5为一个实施例中将监控数据写入分布式发布订阅消息系统的流程示意图；

图6为一个实施例中消费机从分布式发布订阅消息系统读取监控数据的流程示意图；

图7为一个实施例中消费机将监控数据存储在与目标数据源对应的分布式时序数据库中的流程示意图；

图8为一个实施例中监控数据的处理装置的结构示意图；

图9为一个实施例中采集模块的内部结构示意图；

图10为一个实施例中写入模块的内部结构示意图；

图11为另一个实施例中监控数据的处理装置的结构示意图；

图12为一个实施例中时序数据库获取模块的内部结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

图1为一个实施例中服务器的内部结构示意图。如图1所示，该服务器包括通过系统总线连接的处理器、非易失性存储介质、内存储器和网络接口。其中，该服务器的非易失性存储介质存储有操作系统、数据库和监控数据的处理装置，数据库中存储有监控数据，该监控数据的处理装置用于实现适用于服务器的一种监控数据的处理方法。该服务器的处理器用于提供计算和控制能力，支撑整个服务器的运行。该服务器的内存储器为非易失性存储介质中的监控数据的处理装置的运行提供环境，该内存储器中可储存有计算机可读指令，该计算机可读指令被所述处理器执行时，可使得所述处理器执行监控数据的处理方法。该服务器的网络接口用于据以与外部的终端通过网络连接通信，比如向终端发送监控数据以使终端通过界面进行展示等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的服务器的限定，具体地服务器可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

图2为一个实施例中监控数据的处理方法的应用场景图。如图2所示，安装在各个目标数据源202上的代理节点采集目标数据源202的监控数据，并将采集的监控数据写入分布式发布订阅消息系统204。分布式时序数据库集群由一个或多个单机版本的分布式时序数据库208构成，消费机206从分布式发布订阅消息系统204读取监控数据，获取监控数据中的目标数据源标识，并根据该目标数据源标识获取与目标数据源202对应的分布式时序数据库208，再将监控数据发送至该对应的分布式时序数据库208中进行存储。

如图3所示，提供了一种监控数据的处理方法，包括以下步骤：

步骤S310，采集目标数据源的监控数据。

具体地，目标数据源指的是需要进行监控的各个业务系统的服务器，监控数据可包括服务器的CPU(Central Processing Unit，中央处理器)负载情况、内存信息、磁盘使用率、请求个数、响应时间及业务情况等，其中，业务情况可包括订单统计、销售额统计等。

如图4所示，在一个实施例中，步骤S310采集目标数据源的监控数据，包括：

步骤S402，通过代理节点采集目标数据源的监控数据。

具体地，可在每个目标数据源上分别设置Agent(代理节点)，Agent可每隔第一预设时间采集对应的目标数据源上的监控数据，例如每隔1分钟、2分钟等，对监控数据进行采集。

步骤S404，通过代理节点将监控数据缓存在环形消息队列中。

具体地，目标数据源上的Agent采集监控数据后，可将监控数据写入环形消息队列中进行缓存，其中，环形消息队列是一种首尾相连的队列数据结构，可通过两个指针read_pos和write_pos分别指向环形消息队列读取位置和写入位置。将监控数据写入环形消息队列时，可先判断环形消息队列中是否为满，若是，则无法写入监控数据，需等待环形消息队列中的监控数据被读取才可正常写入，若否，则将监控数据写入环形消息队列中。

步骤S320，将监控数据写入分布式发布订阅消息系统。

具体地，可建立多个线程用于从环形消息队列中逐一读取监控数据，并将读取的监控数据写入分布式发布订阅消息系统。预先建立的线程可每隔第二预设时间从环形消息队列中读取监控数据，例如每隔100毫秒、200毫秒等，或是当根据write_pos指针判断出环形消息队列中的消息数达到预设阈值时，则从环形消息队列中读取监控数据写入分布式发布订阅消息系统，并不限于此。环形消息队列可设立锁机制控制多个线程的访问，当有一个线程获取锁时，其它线程要访问环形消息队列时需要进行等待直至持有锁的线程释放锁，则下一个线程被唤醒并读取监控数据。

在本实施例中，分布式发布订阅消息系统可为Kafka，Kafka是一种高水平拓展和高吞吐量的分布式发布订阅消息系统。预先建立线程从环形消息队列中读取监控数据后，可将监控数据写入Kafka，并在Kafka中对监控数据进行分区及副本存储等。通过分布式发布订阅消息系统的副本存储，可防止监控数据直接传输至分布式时序数据库发生数据丢失的情况，且可减少网络传输的压力。

步骤S330，通过消费机从分布式发布订阅消息系统读取监控数据。

具体地，消费机指的是从Kafka中消费读取数据的服务器，消费机可在Kafka中订阅与监控数据对应的Topic(主题)，当监控数据被写入Kafka进行存储时，消费机可根据自身的数据处理能力从Kafka中主动读取与订阅的Topic关联的监控数据并进行处理。

步骤S340，使消费机获取监控数据中的目标数据源标识。

具体地，目标数据源标识可包括业务型标识及采集的服务器的IP(InternetProtocol，网际协议)地址等，其中，业务型标识可为业务名称、编号等。消费机从Kafka读取监控数据后，可从监控数据中提取目标数据源标识。

步骤S350，使消费机根据目标数据源标识获取与目标数据源对应的分布式时序数据库。

具体地，在本实施例中，分布式时序数据库可为InfluxDB，与传统的InfluxDB集群不同，本实施例中利用单机版本的InfluxDB搭建InfluxDB集群，每个InfluxDB单独运行，各个InfluxDB之间相互独立、互不影响。每个目标数据源均有其对应的InfluxDB，消费机中的配置信息存储有目标数据源及InfluxDB的对应关系，消费机根据监控数据中的目标数据源标识可从配置信息中查找到与采集的目标数据源对应的InfluxDB。

在其它的实施例中，当需要扩展InfluxDB集群的容量时，只需在消费机的配置信息中添加新增加的InfluxDB与目标数据源的对应关系即可，扩容方便且成本低，InfluxDB集群的扩展性好。

步骤S360，通过消费机将监控数据发送至对应的分布式时序数据库中进行存储。

具体地，消费机获取与目标数据源对应的InfluxDB后，可将从Kafka读取的监控数据发送至该对应的InfluxDB进行存储。系统管理员可在终端通过Grafana等可视化工具实时访问InfluxDB，从InfluxDB中获取监控数据，并以报表、图表等形式进行展示，可使系统管理员实时获取到各个业务系统的服务器的各个状态，保证服务器的正常运行。

上述监控数据的处理方法，采集目标数据源的监控数据，将监控数据写入分布式发布订阅消息系统，消费机从分布式发布订阅消息系统读取监控数据，并根据监控数据的目标数据源标识获取与目标数据源对应的分布式时序数据库，再将监控数据存储在该对应的分布式时序数据库中，先将监控数据写入分布式发布订阅消息系统中再发送至分布式时序数据库，可有效减少监控数据丢失的情况，且利用单机版本的分布式时序数据库搭建分布式时序数据库集群，使集群中的各个分布式时序数据库相互独立、互不影响，保证了分布式时序数据库集群的稳定性及高可用性。

如图5所示，在一个实施例中，步骤S320将监控数据写入分布式发布订阅消息系统，包括以下步骤：

步骤S502，获取监控数据的主键，并根据主键计算分区号。

具体地，预先建立的线程从环形消息队列中读取监控数据，将监控数据写入Kafka中，可先获取监控数据的主键(key)，并根据主键计算分区号，其中，监控数据的主键用于标识监控数据，可设定同一目标数据源的监控数据的主键相同，使得同一目标数据源的监控数据被写入同一分区中。可通过轮询调度算法或哈希算法等计算监控数据对应的分区号，其中，哈希算法的计算公式为Partition＝hash(key)％N，其中，Partition指的是分区号，key为监控数据的主键，N为Kafka中的分区数，根据分区号可确定监控数据应该存储在Kafka的第几个分区。

步骤S502，对监控数据进行序列化处理，得到统一格式的数据流。

具体地，在将监控数据写入Kafka之前，可对监控数据进行序列化处理，其中，序列化指的是将对象的状态信息转换为可以存储或传输的形式的过程。在进行序列化处理时，可先计算监控数据中包含的所有字段序列化所需占用的字节长度，再输出字段列表，输出的字段可包含key(键)及value(值)的字节数据。监控数据进行序列化处理后，可得到二进制数据流，该流中的数据为一系列的key-value对，每个key-value对对应一个字段，此处的key用于标识具体的字段。

步骤S506，将数据流写入分布式发布订阅消息系统中与分区号匹配的分区中，并对数据流分配有序标识。

具体地，可根据计算得到的分区号，将序列化处理得到的二进制数据流写入Kafka中对应的分区中，写入成功后，Kafka可为该二进制数据流分配有序标识，该有序标识用于标注该二进制数据流在消息日志中的位置。消费机在每次从Kafka读取数据时，可先获取监控数据对应的有序标识，通过有序标识即可准确读取所需的数据。此外，在将二进制数据流写入Kafka中相应的分区后，可进行冗余备份，当发生监控数据丢失时，可获取备份的监控数据，保证数据完整。

在本实施例中，可根据监控数据的主键计算分区号，并对监控数据进行序列化处理，方便进行数据传输，减少网络传输压力，且先将监控数据写入分布式发布订阅消息系统，可有效防止监控数据直接传输至分布式时序数据库发生数据丢失的情况。

如图6所示，在一个实施例中，上述监控数据的处理方法，还包括：

步骤S602，根据有序标识从与分区号匹配的分区中读取数据流。

具体地，当Kafka中与消费机订阅的Topic对应的消息日志的有序标识发生变化，说明有新的监控数据进行序列化后处理后得到的数据流被写入Kafka中，Kafka可向消费机发送消息，消费机获取该消息后，可根据有序标识准确定位数据流的位置，并从分区中读取该数据流。

步骤S604，对数据流进行反序列化处理，得到监控数据。

具体地，消费机读取数据流后，可对数据流进行反序列化处理，可先获取整个数据流对应的字节长度，并根据字节长度读取一个完整数据包的数据流，再对数据流中的各个key-value对逐一进行解析，根据key可确定value对应于哪一个字段，根据value的字节长度读取对应的字节数据并转换为value对应的类型，得到原始的监控数据。

步骤S606，获取监控数据中的目标数据源标识。

步骤S608，根据目标数据源标识判断监控数据是否属于黑名单中的数据，若是，则执行步骤S610，若否，则执行步骤S350。

具体地，消费机中可设立黑名单，当业务系统的服务器发生故障时，可将该发生故障的服务器添加到黑名单中，黑名单中记录有该发生故障的服务器的IP等信息。消费机可根据读取的监控数据的目标数据源标识判断目标数据源是否存在于黑名单中，若是，则说明监控数据属于黑名单中的数据，消费机可丢弃该监控数据不进行处理，若否，则可将监控数据存储到与目标数据源对应的InfluxDB中。

步骤S610，丢弃监控数据，不进行处理。

步骤S350，根据目标数据源标识获取与目标数据源对应的分布式时序数据库。

在本实施例中，消费机中可设立黑名单，自动过滤黑名单中的服务器的监控数据，加快监控数据的处理效率。

如图7所示，在一个实施例中，在步骤S340使消费机获取监控数据中的目标数据源标识之后，还包括以下步骤：

步骤S702，使消费机根据目标数据源标识获取与目标数据源对应的主用分布式时序数据库。

具体地，一个目标数据源可对应于一组InfluxDB，一组InfluxDB中可包含有一个主用InfluxDB及一个或多个备用InfluxDB。消费机从Kafka读取监控数据后，可根据监控数据中的目标数据源标识获取与目标数据源对应的主用InfluxDB。

步骤S704，通过消费机检测主用分布式时序数据库是否发生故障，若是，则执行步骤S706，若否，则执行步骤S710。

具体地，消费机获取与目标数据源对应的主用InfluxDB后，可通过该主用InfluxDB的地址向该主用InfluxDB发送心跳包，检测该主用InfluxDB是否发生故障，若主用InfluxDB在时间阈值内未响应，例如在5毫秒、7毫秒内未响应，则说明该主用InfluxDB发生故障，可切换至与该主用InfluxDB对应的备用InfluxDB进行存储。若主用InfluxDB未发生故障，消费机则直接将监控数据发送至该主用InfluxDB进行存储。

步骤S706，通过消费机获取与主用分布式时序数据库匹配的备用分布式时序数据库。

步骤S708，通过消费机将监控数据发送至备用分布式时序数据库中进行存储。

具体地，若与目标数据源对应的主用InfluxDB发生故障，则可获取与该主用InfluxDB对应的备用InfluxDB，并将监控数据写入该备用InfluxDB中进行存储。

步骤S710，通过消费机将监控数据发送至主用分布式时序数据库中进行存储。

在本实施例中，一个目标数据源可对应于一组分布式时序数据库，当主用分布式时序数据库发生故障时，则将监控数据存储在对应的备用分布式时序数据库时，保证了分布式时序数据库集群的高可用性。

如图8所示，提供了一种监控数据的处理装置，包括采集模块810、写入模块820、读取模块830、数据源标识获取模块840、时序数据库获取模块850及存储模块860。

采集模块810，用于采集目标数据源的监控数据。

如图9所示，在一个实施例中，采集模块810包括采集单元812及缓存单元814。

采集单元812，用于通过代理节点采集目标数据源的监控数据。

缓存单元814，用于通过代理节点将监控数据缓存在环形消息队列中。

写入模块820，用于将监控数据写入分布式发布订阅消息系统。

写入模块820，还用于通过预先建立的线程从环形消息队列中逐一读取监控数据，并将读取的监控数据写入分布式发布订阅消息系统。

读取模块830，用于通过消费机从分布式发布订阅消息系统读取监控数据。

数据源标识获取模块840，用于使消费机获取监控数据中的目标数据源标识。

时序数据库获取模块850，用于使消费机根据目标数据源标识获取与目标数据源对应的分布式时序数据库，该分布式时序数据库为单机版本。

存储模块860，用于通过消费机将监控数据发送至对应的分布式时序数据库中进行存储。

上述监控数据的处理装置，采集目标数据源的监控数据，将监控数据写入分布式发布订阅消息系统，消费机从分布式发布订阅消息系统读取监控数据，并根据监控数据的目标数据源标识获取与目标数据源对应的分布式时序数据库，再将监控数据存储在该对应的分布式时序数据库中，先将监控数据写入分布式发布订阅消息系统中再发送至分布式时序数据库，可有效减少监控数据丢失的情况，且利用单机版本的分布式时序数据库搭建分布式时序数据库集群，使集群中的各个分布式时序数据库相互独立、互不影响，保证了分布式时序数据库集群的稳定性及高可用性。

如图10所示，在一个实施例中，写入模块820包括计算单元822、序列化单元824及写入单元826。

计算单元822，用于获取监控数据的主键，并根据主键计算分区号。

序列化单元824，用于对监控数据进行序列化处理，得到统一格式的数据流。

写入单元826，用于将数据流写入分布式发布订阅消息系统中与分区号匹配的分区中，并对数据流分配有序标识。

在本实施例中，可根据监控数据的主键计算分区号，并对监控数据进行序列化处理，方便进行数据传输，减少网络传输压力，且先将监控数据写入分布式发布订阅消息系统，可有效防止监控数据直接传输至分布式时序数据库发生数据丢失的情况。

如图11所示，在一个实施例中，上述监控数据的处理装置，除了包括采集模块810、写入模块820、读取模块830、数据源标识获取模块840、时序数据库获取模块850及存储模块860，还包括判断模块870及丢弃模块880。

读取模块830，包括读取单元832及反序列化单元834。

读取单元832，用于根据有序标识从与分区号匹配的分区中读取数据流。

反序列化单元834，用于对数据流进行反序列化处理，得到监控数据。

判断模块870，用于根据目标数据源标识判断监控数据是否属于黑名单中的数据。

丢弃模块880，用于若监控数据属于黑名单中的数据，则丢弃监控数据，不进行处理。

在本实施例中，消费机中可设立黑名单，自动过滤黑名单中的服务器的监控数据，加快监控数据的处理效率。

如图12所示，在一个实施例中，时序数据库获取模块850包括获取单元852及检测单元854。

获取单元852，用于根据目标数据源标识获取与目标数据源对应的主用分布式时序数据库。

检测单元854，用于检测主用分布式时序数据库是否发生故障。

获取单元852，还用于若主用分布式时序数据库发生故障，则获取与主用分布式时序数据库匹配的备用分布式时序数据库。

存储模块860，还用于将监控数据发送至备用分布式时序数据库中进行存储。

在本实施例中，一个目标数据源可对应于一组分布式时序数据库，当主用分布式时序数据库发生故障时，则将监控数据存储在对应的备用分布式时序数据库时，保证了分布式时序数据库集群的高可用性。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种监控数据的处理方法，包括：

采集目标数据源的监控数据；

将所述监控数据写入分布式发布订阅消息系统；

通过消费机从所述分布式发布订阅消息系统读取所述监控数据；

使所述消费机获取所述监控数据中的目标数据源标识；

使所述消费机根据所述目标数据源标识获取与所述目标数据源对应的分布式时序数据库，所述分布式时序数据库为单机版本；

通过所述消费机将所述监控数据发送至所述对应的分布式时序数据库中进行存储。

2.根据权利要求1所述的监控数据的处理方法，其特征在于，所述采集目标数据源的监控数据，包括：

通过代理节点采集目标数据源的监控数据；

通过所述代理节点将所述监控数据缓存在环形消息队列中；

所述将所述监控数据写入分布式发布订阅消息系统，包括：

通过预先建立的线程从所述环形消息队列中逐一读取所述监控数据，并将读取的监控数据写入分布式发布订阅消息系统。

3.根据权利要求1所述的监控数据的处理方法，其特征在于，所述将所述监控数据写入分布式发布订阅消息系统，包括：

获取所述监控数据的主键，并根据所述主键计算分区号；

对所述监控数据进行序列化处理，得到统一格式的数据流；

将所述数据流写入分布式发布订阅消息系统中与所述分区号匹配的分区中，并对所述数据流分配有序标识。

4.根据权利要求3所述的监控数据的处理方法，其特征在于，所述通过消费机从所述分布式发布订阅消息系统读取所述监控数据，包括：

根据所述有序标识从与所述分区号匹配的分区中读取所述数据流；

对所述数据流进行反序列化处理，得到所述监控数据；

在所述使所述消费机获取所述监控数据中的目标数据源标识的步骤之后，还包括：

根据所述目标数据源标识判断所述监控数据是否属于黑名单中的数据；

若属于，则丢弃所述监控数据，不进行处理。

5.根据权利要求1至4任一所述的监控数据的处理方法，其特征在于，所述使所述消费机根据所述目标数据源标识获取与所述目标数据源对应的分布式时序数据库，包括：

根据所述目标数据源标识获取与所述目标数据源对应的主用分布式时序数据库；

检测所述主用分布式时序数据库是否发生故障；

若所述主用分布式时序数据库发生故障，则获取与所述主用分布式时序数据库匹配的备用分布式时序数据库；

所述通过所述消费机将所述监控数据发送至所述对应的分布式时序数据库中进行存储，包括：

将所述监控数据发送至所述备用分布式时序数据库中进行存储。

6.一种监控数据的处理装置，其特征在于，包括：

采集模块，用于采集目标数据源的监控数据；

写入模块，用于将所述监控数据写入分布式发布订阅消息系统；

读取模块，用于通过消费机从所述分布式发布订阅消息系统读取所述监控数据；

数据源标识获取模块，用于使所述消费机获取所述监控数据中的目标数据源标识；

时序数据库获取模块，用于使所述消费机根据所述目标数据源标识获取与所述目标数据源对应的分布式时序数据库，所述分布式时序数据库为单机版本；

存储模块，用于通过所述消费机将所述监控数据发送至所述对应的分布式时序数据库中进行存储。

7.根据权利要求6所述的监控数据的处理装置，其特征在于，所述采集模块，包括：

采集单元，用于通过代理节点采集目标数据源的监控数据；

缓存单元，用于通过所述代理节点将所述监控数据缓存在环形消息队列中；

所述写入模块，还用于通过预先建立的线程从所述环形消息队列中逐一读取所述监控数据，并将读取的监控数据写入分布式发布订阅消息系统。

8.根据权利要求6所述的监控数据的处理装置，其特征在于，所述写入模块，包括：

计算单元，用于获取所述监控数据的主键，并根据所述主键计算分区号；

序列化单元，用于对所述监控数据进行序列化处理，得到统一格式的数据流；

写入单元，用于将所述数据流写入分布式发布订阅消息系统中与所述分区号匹配的分区中，并对所述数据流分配有序标识。

9.根据权利要求8所述的监控数据的处理装置，其特征在于，所述读取模块，包括：

读取单元，用于根据所述有序标识从与所述分区号匹配的分区中读取所述数据流；

反序列化单元，用于对所述数据流进行反序列化处理，得到所述监控数据；

所述装置还包括：

判断模块，用于根据所述目标数据源标识判断所述监控数据是否属于黑名单中的数据；

丢弃模块，用于若所述监控数据属于黑名单中的数据，则丢弃所述监控数据，不进行处理。

10.根据权利要求6至9任一所述的监控数据的处理装置，其特征在于，所述时序数据库获取模块，包括：

获取单元，用于根据所述目标数据源标识获取与所述目标数据源对应的主用分布式时序数据库；

检测单元，用于检测所述主用分布式时序数据库是否发生故障；

所述获取单元，还用于若所述主用分布式时序数据库发生故障，则获取与所述主用分布式时序数据库匹配的备用分布式时序数据库；

所述存储模块，还用于将所述监控数据发送至所述备用分布式时序数据库中进行存储。