CN110069379B - 监控指标的筛选方法及筛选装置 - Google Patents

Abstract

本发明涉及计算机应用技术领域，本发明公开了一种监控指标的筛选方法及筛选装置，所述监控指标的筛选方法包括：获取所述监控指标的指标数据；对所述指标数据进行突变频繁度统计；根据进行所述突变频繁度统计的统计结果，采用预先构建的概率模型计算所述指标数据的突变频繁度小于预先设定的突变频繁度的概率；以及在所述概率小于设定阈值的情况下，判定与所述指标数据相应的所述监控指标为无用指标，通过上述技术方案，基于指标数据突变频繁程度，自动筛选出监控指标中的无用指标并进行下线处理，排除了人工筛选无用指标的过程对工作经验的依赖性，提高了监控指标筛选的可靠性和准确度，并且降低存储系统压力和人工成本投入，有效提高了工作效率。

Description

监控指标的筛选方法及筛选装置

技术领域

本发明涉及计算机应用技术领域，具体地涉及一种监控指标的筛选方法及筛选装置。

背景技术

为了更好地实时了解和分析服务的运行状况，互联网公司通常会采集各种监控数据，甚至针对部分重要数据可能会附上更多的属性标签，如UA (User Agent用户代理)、网络制式、地理位置等。随着业务规模扩大，互联网公司需要监控的监控指标越来越多，监控数据量呈爆炸式增长，这给存储系统造成了较大的压力。如果监控指标配置不合理，监控指标的变化趋势并不能体现设备或服务的健康状态，则会给存储系统带来不必要的存储压力。但是对该类指标的筛选目前并没有行之有效的方法，大多数公司采用人工筛选无用指标，并对无用指标进行下线操作的方法。如此，又带来了大量的人工成本投入，大大降低公司工作效率，增加运行成本。

发明内容

本发明的目的提供一种监控指标的筛选方法，该方法可以自动筛选监控指标中的无用指标，进而指导用户将无用指标下线，从而降低存储系统压力并减少人工成本投入。

为了实现上述目的，本发明实施例提供一种监控指标的筛选方法，所述监控指标的筛选方法包括：获取所述监控指标的指标数据；对所述指标数据进行突变频繁度统计；根据进行所述突变频繁度统计的统计结果，采用预先构建的概率模型计算所述指标数据的突变频繁度小于预先设定的突变频繁度的概率；以及在所述概率小于设定阈值的情况下，判定与所述指标数据相应的所述监控指标为无用指标。

可选的，在所述获取所述监控指标的指标数据之后，所述监控指标的筛选方法还包括：将所述指标数据按照预定规则划分为数据片段。

可选的，所述对所述指标数据进行突变频繁度统计包括：从所述数据片段中随机选取的若干个数据片段，并记录所选取的数据片段的个数；以及统计所述若干个数据片段中存在数据突变的数据片段的个数。

可选的，所述计算所述指标数据的突变频繁度小于预先设定的突变频繁度的概率利用以下概率模型进行计算：P(p_x≤p₀；M,N)，其中，P表示所述指标数据的突变频繁度小于预先设定的突变频繁度的概率；N表示所选取的数据片段的个数；M表示所述若干个数据片段中存在数据突变的数据片段的个数；p_x表示所述指标数据的突变频繁度；以及p₀表示预先设定的突变频繁度。

可选的，对所述指标数据进行突变频繁度统计之前，所述监控指标的筛选方法还包括：判定所述指标数据中具有确定的数据变化规律的所述监控指标为无用指标。

相应地，本发明实施例还提供一种监控指标的筛选装置，所述监控指标的筛选装置包括：获取模块，用于获取所述监控指标的指标数据；统计模块，用于对所述指标数据进行突变频繁度统计；计算模块，根据所述指标数据和预先构建的概率模型，计算所述指标数据的突变频繁度小于预先设定的突变频繁度的概率；以及判断模块，用于在所述概率小于设定阈值的情况下，判定与所述指标数据相应的所述监控指标为无用指标。

可选的，所述获取模块还用于在获取所述监控指标的指标数据之后，将所述指标数据按照预定规则划分为数据片段。

可选的，所述统计模块对所述指标数据进行突变频繁度统计包括：从所述数据片段中随机选取的若干个数据片段，并记录所选取的数据片段的个数；以及统计所述若干个数据片段中存在数据突变的数据片段的个数。

可选的，所述计算模块计算所述指标数据的突变频繁度小于预先设定的突变频繁度的概率利用以下概率模型进行计算：P(p_x≤p₀；M,N)，其中，P 表示所述指标数据的突变频繁度小于预先设定的突变频繁度的概率；N表示所选取的数据片段的个数；M表示所述若干个数据片段中存在数据突变的数据片段的个数；p_x表示所述指标数据的突变频繁度；以及p₀表示预先设定的突变频繁度。

可选的，所述判断模块还用于在所述统计模块对所述指标数据进行突变频繁度统计之前，判定所述指标数据中具有确定的数据变化规律的所述监控指标为无用指标。

相应地，本发明实施例还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述监控指标的筛选方法。

相应地，本发明实施例还提供一种处理器，用于运行程序，其中，所述程序被运行时用于执行上述监控指标的筛选方法。

通过上述技术方案，本发明实施例基于指标数据突变频繁程度，自动筛选出监控指标中的无用指标并进行下线处理，排除了人工筛选无用指标的过程对工作经验的依赖性，提高了监控指标筛选的可靠性和准确度，并且降低存储系统压力和人工成本投入，有效提高了工作效率。

本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：

图1是本发明一实施例提供的监控指标的筛选方法的流程图；以及

图2是本发明一实施例提供的监控指标的筛选装置的结构框图。

附图标记说明

10、获取模块 20、统计模块

30、计算模块 40、判断模块

具体实施方式

以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。

图1是本发明一实施例提供的监控指标的筛选方法的流程图。如图1所示，可包括如下步骤：

S101、获取所述监控指标的指标数据。

为了更好地实时了解和分析设备的运行状况和服务的质量，互联网公司通常会设置多个监控指标，对设备状况和服务质量等进行监控，例如，监控服务器的CPU占用率、系统的平均负荷等作为用来了解和分析设备运行状况的监控指标，监控某网站的访问量、每个用户的登录时间、每个用户的空闲时间等用来作为了解和分析服务的质量的监控指标，当然随着互联网行业的发展，可监控和需要监控的监控指标越来越多，本发明对此不作限定。

针对上述多个监控指标中的每一者进行监控都会获取到相应的指标数据。

S102、对所述指标数据进行突变频繁度统计。

在第一优选的实施例中，经步骤S101获取到监控指标的指标数据之后，先将所述指标数据按照预定规则划分为数据片段。

优选的，通常根据监控指标对应的指标数据的字符长度，确定数据片段的字符长度，进而将指标数据划分为多个数据片段。

进一步的，也可以在对监控指标的指标数据获取过程中设置标识位，进而根据标识位将指标数据划分为多个数据片段。

接下来针对每一个指标数据进行突变频繁度统计，具体来说，首先从指标数据的多个数据片段中随机选取若干个数据片段，并记录所选取的数据片段的个数；其次统计所选取的若干个数据片段中存在数据突变的数据片段的个数。

举例说明，从指标数据的多个数据片段中随机挑选N个数据片段，对N 个数据片段分别进行数据突变检测，统计发生数据突变的数据片段的数量为 M，其中，统计发生数据突变的数据片段是指以一个数据片段为统计对象，只要所选取的数据片段中存在数据突变现象，无论该数据片段中存在几次数据突变，都记为一个存在数据突变的数据片段。

在第二优选的实施例中，对指标数据进行突变频繁度统计之前，还将指标数据中具有确定的数据变化规律的所述监控指标判定为无用指标，并进行指标数据的剔除。

具体来讲，在监控指标中存在一些对设备运行状况和服务质量的分析具有重要意义，但是监控指标对应的指标数据具有确定的变化规律，主要反应在指标数据的可以描绘成具有特定模式的曲线。例如：反映服务在线时长的监控指标，当用户登录时，在线时长就是随时间变化的确定曲线，该类指标表现为：在无变更的时间段，指标数据的值与时间正相关。可以利用皮尔森相关系数对该类监控指标筛选，将筛选出的该类监控指标判定为无用指标，并剔除相应的指标数据，以减少对指标数据进行突变频繁度统计和判断的数据处理量。其中，皮尔森相关系数是一种线性相关系数，是用来反映两个变量线性相关程度的统计量，可以很好地筛选出该类指标，可以理解的是，本发明并不对此处所选用的筛选方法进行限定。

S103、计算所述指标数据的突变频繁度小于预先设定的突变频繁度的概率。

根据进行所述突变频繁度统计的统计结果，采用预先构建的概率模型计算指标数据的突变频繁度小于预先设定的突变频繁度的概率。

具体来讲，可以采用Beta分布进行建模，利用以下概率模型计算指标数据的突变频繁度小于预先设定的突变频繁度的概率：

P(p_x≤p₀；M,N)

其中，P表示指标数据的突变频繁度小于预先设定的突变频繁度的概率； N表示所选取的数据片段的个数；M表示若干个数据片段中存在数据突变的数据片段的个数；p_x表示指标数据的突变频繁度，也即所选取的N个数据片段中有M个存在数据突变的数据片段的概率；以及p₀表示预先设定的突变频繁度，也即常态下指标数据的突变概率。

S104、在所述概率小于设定阈值的情况下，判定与所述指标数据相应的所述监控指标为无用指标。

指标数据突变频繁度越高，则代表相应的监控指标可能无用，上述计算得到的概率表示指标数据的突变频繁度小于预先设定的突变频繁度的概率，计算所得到的概率越小表示指标数据的突变频繁度与预先设定的差距越大，反映出相应的指标数据突变频繁度越高，从而可以据此判定相应的监控指标为无用指标。实际应用过程中，根据有限次的统计和计算可以确定一个较为合理的设定阈值。

举例说明，参考S103中的概率模型，首先需要理解的是Beta分布(BetaDistributio，贝塔分布)是一个作为伯努利分布和二项式分布的共轭先验分布的概率密度函数，在概率论中，是指一组定义在(0，1)区间的连续概率分布。将指标数据的突变频繁度p_x作为Beta分布中的一个概率，指对一个概率的分布在某一个区域的可能性进行计算，如果该指标数据对应的监控指标为一个有效监控指标，正常情况下p_x应该与预先设定的突变频繁度p₀无限接近，多次统计得到的p_x应该分布在p₀附近，最理想的状态是p_x始终等于p₀。通过计算得到的概率P则表示指标数据的突变频繁度小于预先设定的突变频繁度的概率，具体如下：针对一个指标数据多次统计结果得到变量p_x的值 p_x1、p_x2……p_xn，利用Beta分布计算得到p_x<p₀的概率。

实际应用过程中，运维人员可以根据筛选结果进行二次确认，确认相应的监控指标为无用指标后进行下线处理，以降低系统的存储压力，提高监控数据的处理速度和效率，提供服务质量。

利用Beta分布指标数据的突变频繁度小于预先设定的突变频繁度的概率，能够更加客观地评价将实际统计的指标数据的突变频繁度与预先设定的突变频繁度进行比较。更加合理地筛选出监控指标中的无用指标。

相应地，如图2所示，本发明实施例还提供一种监控指标的筛选装置，该监控指标的筛选装置包括：获取模块10，用于获取监控指标的指标数据；统计模块20，用于对指标数据进行突变频繁度统计；计算模块30，根据指标数据和预先构建的概率模型，计算指标数据的突变频繁度小于预先设定的突变频繁度的概率；以及判断模块40，用于在概率小于设定阈值的情况下，判定与指标数据相应的监控指标为无用指标。

优选的，获取模块10还用于在获取监控指标的指标数据之后，将指标数据按照预定规则划分为数据片段。

优选的，统计模块20对指标数据进行突变频繁度统计包括：从数据片段中随机选取的若干个数据片段，并记录所选取的数据片段的个数；以及统计若干个数据片段中存在数据突变的数据片段的个数。

优选的，计算模块30计算指标数据的突变频繁度小于预先设定的突变频繁度的概率利用以下概率模型进行计算：P(p_x≤p₀；M,N)，其中，P表示指标数据的突变频繁度小于预先设定的突变频繁度的概率；N表示所选取的数据片段的个数；M表示若干个数据片段中存在数据突变的数据片段的个数； p_x表示指标数据的突变频繁度；以及p₀表示预先设定的突变频繁度。

优选的，判断模块40还用于在统计模块30对指标数据进行突变频繁度统计之前，判定指标数据中具有确定的数据变化规律的监控指标为无用指标。

有关本发明实施例提供的监控指标的筛选装置的具体细节及益处可参阅上述针对监控指标的筛选方法的描述，于此不再赘述。

相应地，本发明实施例还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述监控指标的筛选方法。

相应地，本发明实施例还提供一种处理器，用于运行程序，其中，该程序被运行时用于执行上述监控指标的筛选方法。

通过上述技术方案，基于指标数据突变频繁程度，自动筛选出监控指标中的无用指标并进行下线处理，排除了人工筛选无用指标的过程对工作经验的依赖性，提高了监控指标筛选的可靠性和准确度，并且降低存储系统压力和人工成本投入，有效提高了工作效率。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/ 或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/ 输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器 (CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (8)

1.一种监控指标的筛选方法，其特征在于，所述监控指标的筛选方法包括：

获取所述监控指标的指标数据；

将所述指标数据按照预定规则划分为数据片段；

对所述指标数据进行突变频繁度统计，其包括：

从所述数据片段中随机选取的若干个数据片段，并记录所选取的数据片段的个数；以及

统计所述若干个数据片段中存在数据突变的数据片段的个数；

根据进行所述突变频繁度统计的统计结果，采用预先构建的概率模型计算所述指标数据的突变频繁度小于预先设定的突变频繁度的概率；以及

在所述概率小于设定阈值的情况下，判定与所述指标数据相应的所述监控指标为无用指标。

2.根据权利要求1所述的监控指标的筛选方法，其特征在于，所述计算所述指标数据的突变频繁度小于预先设定的突变频繁度的概率利用以下概率模型进行计算：

P(p_x≤p₀；M，N)

其中，P表示所述指标数据的突变频繁度小于预先设定的突变频繁度的概率；

N表示所选取的数据片段的个数；

M表示所述若干个数据片段中存在数据突变的数据片段的个数；

p_x表示所述指标数据的突变频繁度；以及

p₀表示预先设定的突变频繁度。

3.根据权利要求1所述的监控指标的筛选方法，其特征在于，对所述指标数据进行突变频繁度统计之前，所述监控指标的筛选方法还包括：

判定所述指标数据中具有确定的数据变化规律的所述监控指标为无用指标。

4.一种监控指标的筛选装置，其特征在于，所述监控指标的筛选装置包括：

获取模块，用于获取所述监控指标的指标数据以及还用于在获取所述监控指标的指标数据之后，将所述指标数据按照预定规则划分为数据片段；

统计模块，用于对所述指标数据进行突变频繁度统计，其包括：

从所述数据片段中随机选取的若干个数据片段，并记录所选取的数据片段的个数；以及

统计所述若干个数据片段中存在数据突变的数据片段的个数；

计算模块，根据所述指标数据和预先构建的概率模型，计算所述指标数据的突变频繁度小于预先设定的突变频繁度的概率；以及判断模块，用于在所述概率小于设定阈值的情况下，判定与所述指标数据相应的所述监控指标为无用指标。

5.根据权利要求4所述的监控指标的筛选装置，其特征在于，所述计算模块计算所述指标数据的突变频繁度小于预先设定的突变频繁度的概率利用以下概率模型进行计算：

P(p_x≤p₀；M，N)

其中，P表示所述指标数据的突变频繁度小于预先设定的突变频繁度的概率；

N表示所选取的数据片段的个数；

M表示所述若干个数据片段中存在数据突变的数据片段的个数；

p_x表示所述指标数据的突变频繁度，也即所选取的N个数据片段中有M个存在数据突变的数据片段的概率；以及

p₀表示预先设定的突变频繁度，也即常态下数据的突变概率。

6.根据权利要求4所述的监控指标的筛选装置，其特征在于，所述判断模块还用于在所述统计模块对所述指标数据进行突变频繁度统计之前，判定所述指标数据中具有确定的数据变化规律的所述监控指标为无用指标。

7.一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行权利要求1-3中任一项权利要求所述的监控指标的筛选方法。

8.一种处理器，其特征在于，用于运行程序，其中，所述程序被运行时用于执行权利要求1-3中任一项权利要求所述的监控指标的筛选方法。

Images