CN113595776B - 监控数据处理方法与系统 - Google Patents

Abstract

本发明公开了一种监控数据处理方法与系统，涉及计算机技术领域。监控数据处理系统包括：数据采集模块，用于监控内容分发网络，生成监控日志数据；数据存储模块，用于存储所述监控日志数据；数据流状态分析模块，用于统计所述监控日志数据的存储状态信息，获得所述监控日志数据的监控结果，并将所述监控结果发送至所述数据存储模块；数据应用模块，用于监控到所述数据存储模块中的所述监控结果为异常结果时，发出告警信息。本发明可及时发现异常监控日志数据。

Description

监控数据处理方法与系统

技术领域

本发明涉及计算机技术领域，尤其涉及监控数据处理方法与系统。

背景技术

相关技术中，CDN服务质量监测系统一般会涉及时序监控指标数据的采集、中转、存储及应用。CDN服务质量监测系统的有效可靠性严重依赖时序指标数据流的数据是否准确完整及时的写入指定服务中。

但是CDN服务质量监测系统在采集监控数据时，由于其中部分边缘节点的日志格式与约定的日志格式不一致，导致脏数据呈指数级的产生，浪费大量带宽及存储资源。

发明内容

本发明的主要目的在于提供一种监控数据处理方法与系统，旨在解决相关技术中CDN日志数据存储状态存在异常导致带宽及存储资源被浪费的技术问题。

为实现上述目的，本发明提供一种监控数据处理系统，包括：

数据采集模块，用于监控内容分发网络，生成监控日志数据；

数据存储模块，用于存储所述监控日志数据；

数据流状态分析模块，用于统计所述监控日志数据的存储状态信息，获得所述监控日志数据的监控结果，并将所述监控结果发送至所述数据存储模块；

数据应用模块，用于监控到所述数据存储模块中的所述监控结果为异常结果时，发出告警信息。

在一些实施例中，所述数据流状态分析模块还用于获取所述监控日志数据的各个状态指标的实际参数，将所述实际参数与对应的指标参考参数进行比对，获得所述状态指标的监控结果，并将所述监控结果发送至所述数据存储模块。

在一些实施例中，所述系统还包括：

运维管理模块，用于存储各个节点的部署信息；

所述数据流状态分析模块，还用于根据所述部署信息，从所述监控日志数据中筛选出各个节点的监控指标信息，并根据所述监控指标信息，确定所述节点的运行状态，并将所述运行状态发送至所述数据存储模块；

所述数据应用模块还用于监控到所述数据存储模块中的所述运行状态为异常状态时，发出告警信息。

在一些实施例中，所述数据流状态分析模块还用于采集所述数据存储模块的读写访问能力信息，并根据所述读写访问能力信息，确定所述数据存储模块的实时运行状态；

所述数据应用模块还用于监控到所述数据存储模块中的所述实时运行状态为异常状态时，发出告警信息。

在一些实施例中，所述数据存储模块对同一所述监控日志数据存储有多个副本；

所述数据流状态分析模块还用于记录每个所述副本的数据到达率；

数据应用模块还用于在接收到调度指令时，获取所述数据到达率，并根据所述数据到达率，从多个所述副本中确定出目标副本。

在一些实施例中，所述系统还包括：

数据接收模块，用于将所述数据采集模块生成的监控日志数据备份，获得备份监控日志数据，并将所述备份监控日志数据发送到数据队列模块；

数据队列模块，用于将所述备份监控日志数据存储预设时长；

数据聚合模块，用于对所述备份监控日志数据中的第一预设数据进行聚合处理，并将聚合处理结果发送至所述数据存储模块。

在一些实施例中，所述数据采集模块还用于对所述监控日志数据中的第二预设数据进行预聚合处理，并将预聚合结果发送至所述数据存储模块。

在一些实施例中，所述数据采集模块，数据存储模块，数据流状态分析模块以及数据应用模块中的各个模块之间通过数据回连机制连通。

在一些实施例中，所述监控日志数据包括：服务器系统指标、内容分发网络业务指标、健康度指标、调度指标、自监控指标以及预聚合指标数据中的至少一项。

第二方面，本发明还提供了一种监控数据处理方法，包括：

统计所述监控日志数据在所述数据存储模块中的存储状态信息；

获得所述存储状态信息的监控结果；

将所述监控结果发送至所述数据存储模块中存储，以使数据应用模块监控到所述监控结果为异常结果是，发出告警信号。

本发明实施例提出的本发明实施例提出了一种监控数据处理系统，该系统通过新增的数据流状态分析模块统计监控日志数据在数据存储模块中的存储状态信息，获得监控日志数据的监控结果，从而加强对监控日志数据的自监测能力建设，保障监控日志数据的可靠性，及时发现异常监控日志数据，进而减少带宽及存储资源的浪费，同时为监控日志数据的应用服务提供数据支持。

附图说明

图1为本发明监控数据处理系统的功能模块示意图；

图2为本发明监控数据处理方法的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

相关技术中，CDN(Content Delivery Network，内容分发网络)的核心功能是通过部署在各地的边缘服务器及中心平台的调度分发服务，实现用户就近获取网络资源，从而提高用户访问速度，同时提高服务站点的稳定性。其中，CDN上部署有服务质量监测系统，用于时序监控指标数据的采集、中转、存储及应用。时序监控指标一般包含系统类指标，比如CPU、内存、磁盘存储、网卡流量等指标的使用率；设备类指标，比如设备可用性情况；业务类指标，比如域名的流量带宽、回源情况、请求数、状态码请求数等。可以理解的，CDN服务质量监测系统的有效可靠性严重依赖时序指标数据流的数据是否准确、完整以及及时的写入指定服务中。

但是，随着CDN服务规模的不断扩展，监控数据的量级会逐步递升，服务质量监测系统的压力会越来越大，尤其是存储监控数据环节的压力会越来越大，而后面的两个关键环节监控可视化和预警机制都依赖监控数据存储的及时性，完整性和可靠性。如在采集监控数据方面，发明人在实践过程中发现因部分边缘节点的日志格式与约定的不一致导致监测系统中存在产生大量脏数据的现象。比如协议字段一般只有3种类型：all、http、https，如果字段格式与预期不一致，协议字段是一串随机数字，则会导致产生指数倍的无用的监控数据。如果不及时对这些无用监控数据进行处理，将浪费存储模块的大量带宽及存储资源。

因此，本发明实施例提出了一种监控数据处理系统，该系统通过新增的数据流状态分析模块统计监控日志数据在数据存储模块中的存储状态信息，获得监控日志数据的监控结果，从而加强对监控日志数据的自监测能力建设，保障监控日志数据的可靠性，及时发现异常监控日志数据，进而减少带宽及存储资源的浪费，同时为监控日志数据的应用服务提供数据支持。

下面结合一些具体实施例进一步阐述本申请的发明构思。

参阅图1，本发明提供了一种监控数据处理系统。监控数据处理系统可部署于服务质量监测系统中，或者监控数据处理系统可直接部署于CDN服务中，以用于时序监控指标数据的采集、中转、存储及应用。

该监控数据处理系统包括数据采集模块10、数据接收模块20、数据队列模块30、数据聚合模块40、数据存储模块50、数据流状态分析模块60、运维管理模块70和数据应用模块80。

数据采集模块10用于监控内容分发网络，生成监控日志数据。数据采集模块10生成的监控日志数据包含多种类型，包括但不限于：

(1)服务器系统指标：如CPU、内存、swap、磁盘、网卡、负载、进程、连接数等。

(2)内容分发网络业务指标：如内容分发网络的请求数、带宽、状态码及占比、请求成功率、请求命中率、首字节时延、回源请求数以及回源带宽等。

(3)健康度指标：如边缘主机健康度、节点健康度、区域健康度等。其

(4)调度指标：调度数、调度状态码、调度成功数、调度成功率、主机维度调度成功率等。

(5)自监控指标：如采集器运行时间、采集器发送队列堆积数量等。其

(6)预聚合指标数据，比如CDN边缘主机计算的该主机上所有域名的请求成功率等。

数据采集模块10可通过http请求的形式将采集并生成的监控日志数据发送给数据接收模块20。如果请求失败，则采用Hinted-handoff(提示可移交)的策略将失败请求缓存到数据采集模块10的本地硬盘上，并周期性尝试重传。其中，Hinted-handoff失败请求堆积大小属于自监控指标，会有定时任务对其进行监控并将监控结果发送给数据接收模块20。

数据采集模块10还用于对监控日志数据中的第二预设数据进行预聚合处理，并将预聚合结果发送至数据存储模块50。第二预设数据即为前述的预聚合指标数据。

数据接收模块20用于将数据采集模块10生成的监控日志数据备份，获得备份监控日志数据，并将备份监控日志数据发送到数据队列模块30。

数据接收模块20在收到数据采集模块10的http请求后，一方面将接收到的监控日志数据以http请求的形式转发给数据存储模块50，另一方面根据预先定义的规则将接收到的数据备份后，将备份监控日志数据以socket请求的形式发送给对应的数据队列模块30。

如果请求失败，数据接收模块20则采用Hinted-handoff的策略将失败请求缓存到数据接收模块20本地硬盘上，并周期性尝试重传。Hinted-handoff失败请求堆积大小属于自监控指标，会有定时任务对其进行监控并将监控结果发送给数据存储模块50。

数据队列模块30，用于将备份监控日志数据存储预设时长。

数据队列模块30按需设置保留时长，保留时长一般设置为1天。队列中的数据被数据聚合模块40消费后，备份监控日志数据仍然存在于队列中，只有超过了设置的保留时间，队列中的备份监控日志数据才会被自动清除。数据队列模块30中存储的数据主要提供给数据聚合模块40使用。

数据聚合模块40，用于对备份监控日志数据中的第一预设数据进行聚合处理，并将聚合处理结果发送至数据存储模块50。

数据聚合模块40采用实时流计算框架去消费数据队列模块30中的队列。对备份监控日志数据指定的第一预设数据进行聚合计算，并将聚合处理结果以http请求的形式发送给数据存储模块50。如果请求失败，则采用Hinted-handoff的策略将失败请求缓存到本地硬盘上，并周期性尝试重传。Hinted-handoff失败请求堆积大小属于自监控指标，会有定时任务对其进行监控并将监控结果发送给数据存储模块50。

需要说明的是，数据聚合模块40聚合的第一预设数据与数据采集模块10计算的第二预设数据有所区别。数据聚合模块40聚合的维度可以是针对数据采集层无法做聚合的指标数据，比如节点、区域维度的请求成功率等指标，这类监控日志数据在数据采集模块10的边缘主机上无法做预聚合计算，数据采集模块10的边缘主机上只能对主机维度的相关监控日志数据的指标数据，即第二预设数据进行聚合运算。

即本实施例中，监控数据处理系统分层进行预聚合计算，即分别在数据采集模块10和数据聚合模块40做聚合处理，提高预聚合计算效率。数据采集模块10一般部署在监控对象CDN上，而监控对象有高达千万的实例，即将聚合运算分散到千万个实例上进行，可以大幅度提高聚合的计算效率。对于无法在数据采集模块10上做聚合的第一预设数据，则通过数据聚合模块40采用实时流计算框架做聚合运算。

如以分发带宽值这一监控指标为例，数据采集模块10分析边缘服务器的日志，计算出基于时间(time)、域名(domain)、主机名称(host)、节点ID(nodeID)、协议(protocol)、区域(serverArea)等维度组合的分发带宽值，同时可以计算出基于时间(time)、主机名称(host)、节点ID(nodeID)、协议(protocol)、区域(serverArea)维度组合的分发带宽值，也即是预聚合处理了该台主机(host)上在某一时间(time)所有域名的带宽总和。

将预聚合后的监控日志数据发往数据队列模块30，经数据聚合模块40进一步聚合处理后，可以计算出某个节点(nodeID)或者某个区域(serverArea)下所有主机(host)所有域名(domain)的带宽总和。

数据存储模块50用于存储监控日志数据。其包含多种类型数据库，比如缓存型数据库、内存型时间序列数据库、闪存型时间序列数据库、大规模集群型时间序列数据库中的至少一种。它们都是高可用架构的可动态扩容的集群，可根据监控日志数据中各项数据的指标特点及存取需求选择合适的存储类型。

运维管理模块70用于存储各个节点的部署信息。即数据流状态分析模块60可通过运维管理模块70获取整个数据流中所有节点的部署拓扑信息。

数据流状态分析模块60负责对监控日志数据的存储状态信息进行分析，并将得到的监控结果以监控指标的输出形式发送到数据存储模块50。同时数据流状态分析模块60还可提供若干个的API给数据应用模块80调用。如，数据应用模块80通过API调用数据流分析模块中记录的数据到达率。

具体而言，数据流状态分析模块60用于统计监控日志数据的存储状态信息，获得监控日志数据的监控结果，并将监控结果发送至数据存储模块50。

数据流状态分析模块60用于加强对监控日志数据的存储状态信息的采集，实现对服务质量监测系统的自监测。

数据应用模块80，用于监控到数据存储模块50中的监控结果为异常结果时，发出告警信息。

即本发明实施例提供的监控数据处理系统，该系统通过新增的数据流状态分析模块60统计监控日志数据在数据存储模块50中的存储状态信息，获得监控日志数据的监控结果，从而加强对监控日志数据的自监测能力建设，保障监控日志数据的可靠性，及时发现异常监控日志数据，进而减少带宽及存储资源的浪费，同时为监控日志数据的应用服务提供数据支持。

在一些实施例中，数据流状态分析模块60还用于获取监控日志数据的各个状态指标的实际参数，将实际参数与对应的指标参考参数进行比对，获得状态指标的监控结果，并将监控结果发送至数据存储模块50。

数据流状态分析模块60获取各个状态指标的维度基数。如对一段时间内的带宽指标进行统计，统计计算得到这段时间内出现多少个域名的带宽指标，即计算带宽指标的域名维度基数的实际参数。将计算结果与运维管理模块70中存储的指标参考参数，如域名分发数量做比对，判断数据存储模块50中的域名维度基数是否合理。如果不合理，则将不合理的监控结果发送至数据存储模块50。数据应用模块80监控到数据存储模块50中的监控结果为异常结果时，发出告警信息，提示相关工作人员排查原因。

或者如，对一段时间内的带宽指标进行统计，统计得到这段时间内出现多少种协议字段，根据指标参考参数，应该只有all、http、https三种字段，如果统计后发现数据存储模块50中超过这三种类型，则说明数据采集模块10生成的监控日志数据存在异常。比如边缘节点的日志格式与约定格式不一致等异常。

本实施例中，在内容分发网络业务的监控日志数据中，还可包括以下状态指标：主机数、域名数、节点数、区域数、协议数、设备数等。通过对状态指标的实际参数进行监控，可以及早发现数据流中隐藏的各类异常现象。

在一些实施例中，数据流状态分析模块60，还用于根据部署信息，从监控日志数据中筛选出各个节点的监控指标信息，并根据监控指标信息，确定节点的运行状态，并将运行状态发送至数据存储模块50。

数据应用模块80还用于监控到数据存储模块50中的运行状态为异常状态时，发出告警信息。

本实施例中，根据部署信息从数据存储模块50中获取监控日志数据中各个节点的相关监控指标信息，比如各个节点所在服务器的CPU、内存、swap、磁盘、网卡、负载、进程、连接数、各组件Hinted-handoff失败请求堆积大小等信息。

本实施例中，通过运维管理模块70获取节点的部署信息，再根据部署信息获取监控日志数据中各个节点的相关监控指标信息，进而推算各节点的健康度，进一步推算数据流健康度。

本实施例中，通过数据流状态分析模块60，不仅实现了系统的自监测功能，保障了数据应用层中各类应用服务的正常运行，还可以监测到CDN部署拓扑结构中所有节点的健康情况。

在一实施例中，数据流状态分析模块60还用于采集数据存储模块50的读写访问能力信息，并根据读写访问能力信息，确定数据存储模块50的实时运行状态。

数据应用模块80还用于监控到数据存储模块50中的实时运行状态为异常状态时，发出告警信息。

本实施例中，数据流分析模块用于分析数据存储模块50存储性能的使用情况。数据流分析模块可定时分析或者响应于指令分析数据存储模块50最近接收读写请求的状态，比如写失败的数据点数量、写成功的数据点数量、读写吞吐量tps等读写访问能力信息。如通过比对当前读写吞吐量tps和数据存储模块50理论上可承载的tps，可及时发现存储瓶颈问题。如当前读写tps达到可承载tps的80％以上，则触发告警通知。

即本实施例中通过分析前述的读写访问能力信息，可准确实时地了解数据存储模块50的实时运行状态。

在一些实施例中，数据存储模块50对同一监控日志数据存储有多个副本。

数据流状态分析模块60还用于记录每个副本的数据到达率，并将数据到达率发送至数据存储模块50；

数据应用模块80还用于在接收到调度指令时，根据数据到达率，从多个副本中确定出目标副本。

本实施例中，数据流分析模块用于分析监控数据系统的数据延迟情况。数据存储模块50对同一份监控日志数据存储有多个副本，但是同一份指标数据到达各个副本的时间不尽相同，也即是，各个副本在同一时刻的数据到达率不尽相同。因此，针对每个副本分析其数据到达率，分别记录各个副本1分钟、5分钟、10分钟数据到达率。

在CDN服务质量监测系统中负载的对监控数据完整性和实时性要求比较高的应用，比如调度应用需要调用数据存储模块50中存储的监控日志数据时，则可以先调用数据流状态分析模块60提供的API接口，获取各个副本的1分钟、5分钟、10分钟数据到达率，根据数据达到率挑选时延低的副本来获取调度应用需要使用的监控日志数据，保证调度策略得以正常使用。方便对监控数据时延要求高的应用调用并处理数据。

上述实施例中，数据采集模块10、数据接收模块20、数据队列模块30、数据聚合模块40、数据存储模块50、数据流状态分析模块60、运维管理模块70和数据应用模块80中的模块之间均采用基于Hinted-handoff的数据回传方法，解决部分节点短暂失效或网络抖动等问题，实现失败请求自动重试机制。

此外，基于上述监控数据处理系统，本发明还提供了一种监控数据处理方法，包括：

步骤101、统计监控日志数据在数据存储模块中的存储状态信息；

步骤102、获得存储状态信息的监控结果；

步骤103、将监控结果发送至数据存储模块中存储，以使数据应用模块监控到监控结果为异常结果是，发出告警信号。

本实施例中，数据流状态分析模块统计监控日志数据在数据存储模块中的存储状态信息，获得监控日志数据的监控结果，从而加强对监控日志数据的自监测能力建设，保障监控日志数据的可靠性，及时发现异常监控日志数据，进而减少带宽及存储资源的浪费，同时为监控日志数据的应用服务提供数据支持。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的节点来完成，上述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，上述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。

另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用节点的方式来实现，当然也可以通过专用节点包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的节点来实现，而且，用来实现同一功能的具体节点结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本发明而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种监控数据处理系统，包括：

数据采集模块，用于监控内容分发网络，生成监控日志数据；

数据存储模块，用于存储所述监控日志数据；

数据流状态分析模块，用于统计所述监控日志数据的存储状态信息，获得所述监控日志数据的监控结果，并将所述监控结果发送至所述数据存储模块；

数据应用模块，用于监控到所述数据存储模块中的所述监控结果为异常结果时，发出告警信息；

运维管理模块，用于存储各个节点的部署信息；

所述数据流状态分析模块，还用于根据所述部署信息，从所述监控日志数据中筛选出各个节点的监控指标信息，并根据所述监控指标信息，确定所述节点的运行状态，并将所述运行状态发送至所述数据存储模块；

所述数据应用模块，还用于监控到所述数据存储模块中的所述运行状态为异常状态时，发出告警信息。

2.根据权利要求1所述的监控数据处理系统，其特征在于，所述数据流状态分析模块还用于获取所述监控日志数据的各个状态指标的实际参数，将所述实际参数与对应的指标参考参数进行比对，获得所述状态指标的监控结果，并将所述监控结果发送至所述数据存储模块。

3.根据权利要求1所述的监控数据处理系统，其特征在于，所述数据流状态分析模块还用于采集所述数据存储模块的读写访问能力信息，并根据所述读写访问能力信息，确定所述数据存储模块的实时运行状态；

所述数据应用模块还用于监控到所述数据存储模块中的所述实时运行状态为异常状态时，发出告警信息。

4.根据权利要求1所述的监控数据处理系统，其特征在于，所述数据存储模块对同一所述监控日志数据存储有多个副本；

所述数据流状态分析模块还用于记录每个所述副本的数据到达率；

数据应用模块还用于在接收到调度指令时，获取所述数据到达率，并根据所述数据到达率，从多个所述副本中确定出目标副本。

5.根据权利要求1所述的监控数据处理系统，其特征在于，所述系统还包括：

数据接收模块，用于将所述数据采集模块生成的监控日志数据备份，获得备份监控日志数据，并将所述备份监控日志数据发送到数据队列模块；

数据队列模块，用于将所述备份监控日志数据存储预设时长；

数据聚合模块，用于对所述备份监控日志数据中的第一预设数据进行聚合处理，并将聚合处理结果发送至所述数据存储模块。

6.根据权利要求5所述的监控数据处理系统，其特征在于，所述数据采集模块还用于对所述监控日志数据中的第二预设数据进行预聚合处理，并将预聚合结果发送至所述数据存储模块。

7.根据权利要求1至6任一项所述的监控数据处理系统，其特征在于，所述数据采集模块，数据存储模块，数据流状态分析模块以及数据应用模块中的各个模块之间通过数据回连机制连接。

8.根据权利要求1至6任一项所述的监控数据处理系统，其特征在于，所述监控日志数据包括：服务器系统指标、内容分发网络业务指标、健康度指标、调度指标、自监控指标以及预聚合指标数据中的至少一项。

9.一种监控数据处理方法，其特征在于，包括：

统计监控日志数据在数据存储模块中的存储状态信息；

获得所述存储状态信息的监控结果；

将所述监控结果发送至所述数据存储模块中存储，以使数据应用模块监控到所述监控结果为异常结果时，发出告警信号；

所述方法还包括：

根据运维管理模块中存储的各个节点的部署信息，从所述监控日志数据中筛选出各个节点的监控指标信息；

根据所述监控指标信息，确定所述节点的运行状态，并将所述运行状态发送至所述数据存储模块，以使所述数据应用模块监控到所述数据存储模块中的所述运行状态为异常状态时，发出告警信息。

Images