CN111381768A

CN111381768A - 一种数据监控的方法和装置

Info

Publication number: CN111381768A
Application number: CN201811632497.3A
Authority: CN
Inventors: 李鹤林
Original assignee: Beijing Boco Inter Telecom Technology Co ltd
Current assignee: Beijing Boco Inter Telecom Technology Co ltd
Priority date: 2018-12-29
Filing date: 2018-12-29
Publication date: 2020-07-07
Anticipated expiration: 2038-12-29

Abstract

本发明公开一种数据监控的方法，所述方法包括：根据需求配置并存储监控规则，所述监控规则包含指标、指标间运算规则、阈值；采集数据，并将采集的数据转换为特定格式的数据对象；根据所述监控规则获取相应所述数据对象中的指标和值；根据所述监控规则中指标间运算规则对所述获取的数据对象中的指标和值进行运算；根据所述监控指标中的所述阈值判定运算的结果。本发明还公开一种数据监控的装置。通过本发明可实现数据监控的灵活可配置，提高效率减小成本。

Description

一种数据监控的方法和装置

技术领域

本发明涉及计算机软件行业，更具体的说，涉及一种数据监控的技术。

背景技术

系统监控包括两个处理服务层次，底层服务和中层服务，底层服务负责数据采集和数据整合。

数据采集是通过采集指标和编写的采集脚本采集指标，采集脚本确定了，产生的指标就固定下来了。这种固定的指标值对不同的用户需要和数据精度会的很大的局限性。例如，数据容量类指标在面对不同的场景可能会有不同的精度要求，如磁盘容量在不同场景可能需以K或M或G为单位，但采集脚本确定后，数据的单位也就相应的确定了。另一方面检查结果自带指标随着用户的监控精度、维度，角度，需求的变化，需要通过一定额外的运算处理来满足需求的变化。而且如果检查指标在不同的主机，会有不同数量输出，如磁盘，进程，文件等，每个输出项都相当于一个独立的指标，不能按照一组数据进行处理。

对上述变化的要求，通常需要修改采集脚本或者修改数据分析的阈值设定和增加数据计算处理。对于系统自带指标的监控，只能在处理时按具体内容增加计算处理，对产品的标准化和系统流程标准化具有很大的影响。采集脚本采集的指标，需要通过修改采集脚本增加新指标，这种方式对于系统维护人员的技术水平有较高的要求，大大的降低了系统的可用性和易用性。

因此一种可灵活适应各种数据需求的数据监控技术亟待出现。

发明内容

本发明提供了如下技术方案一种数据监控的方法和装置，包括：

根据需求配置并存储监控规则，所述监控规则包含指标、指标间运算规则、阈值；

采集数据，并将采集的数据转换为特定格式的数据对象；

根据所述监控规则获取相应所述数据对象中的指标和值；

根据所述监控规则中指标间运算规则对所述获取的数据对象中的指标和值进行运算；

根据所述监控指标中的所述阈值判定运算的结果。

优选的：

以表达式描述所述监控规则；

在所述监控规则中以数组描述相同类型相同运算的指标；

根据所述监控规则中的指标数组进行批量运算。

进一步的，所述将采集的数据转换为特定格式的数据对象具体为：

将采集的数据转换为PB格式数据；

将所述PB格式数据转换为二级键值数据对象，所述指标数据对象描述指标名称、指标的属性名称以及属性值。

优选的：

所述阈值为具体值或阈值表达式；

对于所述运算结果超出阈值的指标生成告警。

优选的：

所述指标间的运算规则包含算数运算规则、逻辑运算规则；

所述算数运算规则包含数学运算规则和宏定义；

所述逻辑运算规则为表达式。

优选的：

在所述根据所述监控规则获取相应所述数据对象中的指标和值的步骤之前，所述方法还包含：

解析所述监控规则，根据操作系统抽取所述监控规则中的表达式；

将所述表达式根据数据监控的目标进行宏替换处理。

本发明还公开一种数据监控的装置，所述装置包括：

监控规则配置存储单元，用于根据需求配置并存储监控规则，所述监控规则包含指标、指标间运算规则、阈值；

数据采集转换单元，用于采集数据，并将采集的数据转换为特定格式的数据对象；

监控数据解析单元，用于根据所述监控规则获取相应所述数据对象中的指标和值；

监控数据运算单元，用于根据所述监控规则中指标间运算规则对所述获取的数据对象中的指标和值进行运算；

监控结果输出单元，根据所述监控指标中的所述阈值判定运算的结果。

优选的：

所述监控规则配置单元以表达式描述所述监控规则；

在所述监控规则中以数组描述相同类型相同运算的指标；

根据所述监控规则中的指标数组进行批量运算。

具体的，所述数据采集转换单元进一步包含：

数据采集模块，用于采集数据；

PB格式转换模块，用于将所述数据采集模块采集的数据转换为PB格式数据；

数据对象转换模块，用于将所述PB格式转换模块转换的PB格式数据转换为二级键值数据对象，所述指标数据对象描述指标名称、指标的属性名称以及属性值。

优选的：

所述监控规则配置存储单元中的所述阈值为具体值或阈值表达式；

对于所述运算结果超出阈值的指标生成告警。

优选的：

所述监控规则配置存储单元中的所述指标间的运算规则包含所述指标间的运算规则包含算数运算规则、逻辑运算规则；

所述算数运算规则包含数学运算规则和宏定义；

所述逻辑运算规则为表达式。

优选的：

所述装置还包含：解析引擎，用于解析所述监控规则；根据操作系统抽取所述监控规则配置存储单元存储监控规则中的表达式；将所述表达式根据数据监控的目标进行宏替换处理。

经由上述的技术方案可知，本发明实施例公开的一种数据监控的技术，通过灵活配置监控规则，对单个指标、多个指标可以进行按需配置，采集的结果可以直接使用、调整精度后使用、计算使用，无需修改采集脚本。通过二级的键值的数据存储，使得数据读取效率更高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种数据监控的方法流程示意图；

图2为本申请实施例二提供的方法流程图；

图3为本申请实施例三提供的方法流程图；

图4为本申请实施例四提供的一种数据监控的装置结构示意图；

图5为本申请实施例五提供的装置结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，给出本发明的实施例一，一种数据监控的方法。

步骤S01：根据需求配置并存储监控规则，所述监控规则包含指标、指标间运算规则、阈值。

步骤S02：采集数据，并将采集的数据转换为特定格式的数据对象。

步骤S03：根据所述监控规则获取相应所述数据对象中的指标和值。

步骤S04：根据所述监控规则中指标间运算规则对所述获取的数据对象中的指标和值进行运算。

步骤S05：根据所述监控指标中的所述阈值判定运算的结果。

为了更好的说明本发明，给出实施例二，如图2所示，详细阐述本发明的进行数据监控的过程。

步骤S201：根据需求配置并存储监控规则，所述监控规则包含指标、指标间运算规则、阈值。

以表达式描述所述监控规则。

优选的情况，对于相似的数据，可采用数组的形式进行批量处理，提高处理的效率。即在所述监控规则中以数组描述相同类型相同运算的指标；根据所述监控规则中的指标数组进行批量运算。

所述指标间的运算规则包含算数运算规则、逻辑运算规则。

指标间的运算规则可使用多种运算方法，算数运算方法和逻辑运算方法，其使用的运算符可以是"|","&","+","-","*","/","％"。

其中所述算数运算规则包含数学运算规则和宏定义。数学运算规则即理解为简单的加减乘除等，宏定义则是宏替换的过程，即将某字段批量替换为相应的部分。

所述逻辑运算规则为表达式。包含但不限于“与”、“或”、“非”等逻辑运算规则。

所述阈值为具体值或阈值表达式。

具体值的情况下，仅需要使用结果比对值即可。

根据需求设置表达式，以CPU和磁盘数据为例，需要获取的指标可以是CPU负荷、硬盘使用率、硬盘总空间、硬盘使用空间、硬盘剩余空间、硬盘总空间、磁盘使用空间等，那么其定义的监控规则可以是：

CPU负荷：(单个指标的监控规则配置)

100.00-cpu_idle

硬盘使用率：

disk_chk_$CHECK_ITEM_ID$_[1..disk_chk_$CHECK_ITEM_ID$_1{total_num}]{use*1.00

+$CR$$LF$}；Windows:part_max_used

硬盘总空间：

disk_chk_$CHECK_ITEM_ID$_[1..disk_chk_$CHECK_ITEM_ID$_1{total_num}]{1k_blocks/1024.00/1024.00+$CR$$LF$}

硬盘使用空间：

disk_chk_$CHECK_ITEM_ID$_[1..disk_chk_$CHECK_ITEM_ID$_1{total_num}]{used/102

4.00/1024.00+$CR$$LF$}

硬盘剩余空间：

disk_chk_$CHECK_ITEM_ID$_[1..disk_chk_$CHECK_ITEM_ID$_1{total_num}]{available/

1024.00/1024.00+$CR$$LF$}

磁盘总空间：

disk_chk_$CHECK_ITEM_ID$_1{all_total/1024.00/1024.00}；Windows:disk_total

磁盘使用空间：

disk_chk_$CHECK_ITEM_ID$_1{all_used/1024.00/1024.00}；Windows:disk_total-disk_free

可以看出，通过上述表达式的不同运算过程，可按需获取不同的运算结果，达到灵活配置的目的。

其中$CHECK_ITEM_ID$是采用的宏替换的方式，在使用规则时，用相应的CHECK_ITEM_ID替换这部分内容，即可实现对不同项目使用该监控规则。如果$CHECK_ITEM_ID$＝10012320010228，则上述磁盘使用空间的监控规则具体变为：

disk_chk_10012320010228_1{all_used/1024.00/1024.00}；Windows:disk_total-disk_free

同理，还可以根据操作系统的不同配置监控规则：

disk_chk_$CHECK_ITEM_ID$_1{all_total/1024.00/1024.00}；

Windows:disk_total

上述规则中配置了LINUX和windows两种操作系统下的不同表达式。

由于对众多磁盘的处理方法都相似，因此可以对这些磁盘数据的监控配置数组指标值和运算的监控规则：

disk_chk_$CHECK_ITEM_ID$_[1..disk_chk_$CHECK_ITEM_ID$_1{total_num}]{used/1024

.00/1024.00+$CR$$LF$}

步骤S202：采集数据，将采集的数据转换为PB格式数据。

采集数据即获取原始的数据，通常是通过底层数据采集模块从目标主机上从采集监控数据，这里以节选采集上来的XML格式的CPU和磁盘数据为例。

采集上来的原始数据包含单个指标和各指标的详细值。

步骤S203：将所述PB格式数据转换为二级键值数据对象，所述指标数据对象描述指标名称、指标的属性名称以及属性值。

通过对采集上来的原始数据进行解析，将其按照二级键值的模式转换为数据对象，其存储结构为Map<String,Map<String,String>>

其中，指标对象数据结构为Map<属性名称,属性值>，指标对象集合数据结构为Map<指标名称,指标对象>，因此获得了Map<String,Map<String,String>>。

通过对原始数据进行转换为指标对象后，其形式也发生了变化，依然以上文中的CPU和磁盘数据为例，其转换为指标对象后：

由此可见，指标对象的存储方式更简单，明确，仅保留了各指标名称和对应的值，大大节省了存储的空间，也节省了获取查找数据和运算的时间，进一步的提高了效率。

步骤S204：根据所述监控规则获取相应所述数据对象中的指标和值。

根据监控规则中表达式涉及的指标，在转换后的指标对象中进行获取。

步骤S205：根据所述监控规则中指标间运算规则对所述获取的数据对象中的指标和值进行运算。

将获取的指标值代入监控规则的表达式中，按照表达式记载的运算法则进行运算，获得运算结果。

对于CPU负荷的监控规则，需要在数据对象中读取CPU_idle的值，按照算数运算100-CPU_idle的监控规则进行计算，则获得54.8的运算结果。那么对于CPU负荷的监控规则，就可以直接获得CPU的负荷值，不需要在进行额外的脚本运算了。

优选的，对于上文中所提到磁盘监控规则，基于磁盘资源具有相似性，各磁盘指标相同，运算方式相同，因此采用数组规则进行处理disk_chk_$CHECK_ITEM_ID$_[1..disk_chk_$CHECK_ITEM_ID$_1{total_num}]{used/1024.00/1024.00+$CR$$LF$}

输出数组监控规则的处理结果：

再通过for(disk_chk_10012320010228_1:disk_chk_10012320010228_7)

used/1024.00/1024.00

输出如下结果：

used数据是通过df命令采集，单位为KB，经表达式处理后单位变为GB。如果需要变更输出单位为MB只需修改表达式中used/1024.00/1024.00→used/1024.00。

由此可见通过一个数组处理监控规则，可获取各磁盘的运算结果，无需进行额外的脚本开发。

步骤S206：对于所述运算结果超出阈值的指标生成告警。

因此通过本发明可以灵活的配置表达式，真正实现按需配置，完成多种多样的数据监控任务。无需进行复杂的二次开发，直接输出配置的结果，即节约了成本，又提高了效率，增加了灵活性。

为了详细说明本发明的解析监控规则的工作原理，给出本发明的实施例三，如图3所示。

步骤S301：解析所述监控规则，根据操作系统抽取所述监控规则中的表达式。

在进行监控规则解析时，优选的按照主机读取所有监控规则，逐个解析监控规则中的表达式。

由于存在操作系统的差异，因此需要根据操作系统的类型对所述监控规则进行抽取。

步骤S302：将所述表达式根据数据监控的目标进行宏替换处理。

本发明还公开了一种数据监控的装置，给出本发明的实施例四，如图4所示，用以说明该装置的结构特点。

该装置包括：

监控规则配置存储单元1，用于根据需求配置并存储监控规则，所述监控规则包含指标、指标间运算规则、阈值。

所述监控规则配置单元以表达式描述所述监控规则。

在所述监控规则中以数组描述相同类型相同运算的指标。

根据所述监控规则中的指标数组进行批量运算。

所述监控规则配置存储单元中的所述阈值为具体值或阈值表达式。

所述监控规则配置存储单元中的所述指标间的运算规则包含所述指标间的运算规则包含算数运算规则、逻辑运算规则。

所述算数运算规则包含数学运算规则和宏定义。

所述逻辑运算规则为表达式。

数据采集转换单元2，用于采集数据，并将采集的数据转换为特定格式的数据对象。

监控数据解析单元3，用于根据所述监控规则获取相应所述数据对象中的指标和值。

监控数据运算单元4，用于根据所述监控规则中指标间运算规则对所述获取的数据对象中的指标和值进行运算。

监控结果输出单元5，根据所述监控指标中的所述阈值判定运算的结果。

为了更详细的说明本装置的各个部分，给出本发明的实施例5，如图5所示：

数据采集转换单元2进一步包含：

数据采集模块21，用于采集数据；

PB格式转换模块22，用于将所述数据采集模块采集的数据转换为PB格式数据；

数据对象转换模块23，用于将所述PB格式转换模块转换的PB格式数据转换为二级键值数据对象，所述指标数据对象描述指标名称、指标的属性名称以及属性值。

解析引擎6，用于解析所述监控规则；根据操作系统抽取所述监控规则中的表达式；将所述表达式根据数据监控的目标进行宏替换处理。

告警生成单元7，用于对所述运算结果超出阈值的指标生成告警。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置实施例中的对应过程，可以参考前述方法的具体工作过程，在此不再赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的部分，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请实施例能够在除了这里图示的以外的顺序实施。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种数据监控的方法，其特征在于，所述方法包括：

采集数据，并将采集的数据转换为特定格式的数据对象；

根据所述监控规则获取相应所述数据对象中的指标和值；

根据所述监控指标中的所述阈值判定运算的结果。

2.根据权利要求1所述的方法，其特征在于：

以表达式描述所述监控规则；

在所述监控规则中以数组描述相同类型相同运算的指标；

根据所述监控规则中的指标数组进行批量运算。

3.根据权利要求2所述的方法，其特征在于，所述将采集的数据转换为特定格式的数据对象的方法具体为：

将采集的数据转换为PB格式数据；

4.根据权利要求3所述的方法，其特征在于：

所述阈值为具体值或阈值表达式；

对于所述运算结果超出阈值的指标生成告警。

5.根据权利要求1-3中任一所述的方法，其特征在于：

所述指标间的运算规则包含算数运算规则、逻辑运算规则；

所述算数运算规则包含数学运算规则和宏定义；

所述逻辑运算规则为表达式。

6.根据权利要求5所述的方法，其特征在于，在所述根据所述监控规则获取相应所述数据对象中的指标和值的步骤之前，所述方法还包含：

将所述表达式根据数据监控的目标进行宏替换处理。

7.一种数据监控的装置，其特征在于，所述装置包括：

8.根据权利要求7所述的装置，其特征在于：

所述监控规则配置单元以表达式描述所述监控规则；

在所述监控规则中以数组描述相同类型相同运算的指标；

根据所述监控规则中的指标数组进行批量运算。

9.根据权利要求8所述的装置，其特征在于，所述数据采集转换单元进一步包含：

数据采集模块，用于采集数据；

10.根据权利要求9所述的装置，其特征在于：

所述装置还包括告警生成单元用于对所述运算结果超出阈值的指标生成告警。

11.根据权利要求7-10中任一所述的装置，其特征在于：

所述算数运算规则包含数学运算规则和宏定义；

所述逻辑运算规则为表达式。

12.根据权利要求11所述的装置，其特征在于，所述装置还包含：

解析引擎，用于解析所述监控规则；根据操作系统抽取所述监控规则配置存储单元存储监控规则中的表达式；将所述表达式根据数据监控的目标进行宏替换处理。