CN112131075B - 一种用于存储监控数据异常检测的方法及设备 - Google Patents

一种用于存储监控数据异常检测的方法及设备 Download PDF

Info

Publication number
CN112131075B
CN112131075B CN202010970607.8A CN202010970607A CN112131075B CN 112131075 B CN112131075 B CN 112131075B CN 202010970607 A CN202010970607 A CN 202010970607A CN 112131075 B CN112131075 B CN 112131075B
Authority
CN
China
Prior art keywords
event
current
data
change rate
period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010970607.8A
Other languages
English (en)
Other versions
CN112131075A (zh
Inventor
韦帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Suninfo Technology Co ltd
Original Assignee
Shanghai Suninfo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Suninfo Technology Co ltd filed Critical Shanghai Suninfo Technology Co ltd
Priority to CN202010970607.8A priority Critical patent/CN112131075B/zh
Publication of CN112131075A publication Critical patent/CN112131075A/zh
Application granted granted Critical
Publication of CN112131075B publication Critical patent/CN112131075B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G06F11/3093—Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请的目的是提供一种存储监控数据异常检测的方法及设备，本申请通过以时间序列获取当前周期的监控数据以及前一个周期的监控数据，根据所述当前周期的监控数据确定当前事件；根据所述当前周期的监控数据和所述前一个周期的监控数据判断所述当前事件是否为新增事件，根据判断结果确定各事件类别对应的训练集；当所述训练集的新增事件数量大于等于n时，获取与最后一个事件相邻的m个事件的数据，根据所述m个事件的数据更新事件变化率和事件变化量，其中，n和m均为正整数，且n小于m；根据更新后的事件变化率和更新后的事件变化量对所述当前事件进行异常判定处理，确定异常判定结果。从而算法精简，占用资源少，大大提升了异常检测效果。

Description

一种用于存储监控数据异常检测的方法及设备
技术领域
本申请涉及计算机领域，尤其涉及一种用于存储监控数据异常检测的方法及设备。
背景技术
针对存储设备的时间序列数据进行检测，现有技术中，均采用机器学习的方式完成对存储设备的时间序列数据的异常检测。具体地，对已有的大批量数据进行深度学习，通过算法建模的方式对后续指定时间范围内的数据进行预测得到预测数据，接着通过比对实际数据与预测数据的差异来发现存储设备的异常事件，例如异于平常的大文件写入事件和非正常的大批量数据删除事件。
上述传统的监督式异常检测方法，由于其技术特点，存在以下问题：
1.异常检测建模用的算法复杂度高，需占用大量设备资源；
2.建模训练需要积累大量训练数据，通常以月为单位完成数据积累，导致数据积累时期无法进行异常检测；
3.针对周期性差的数据异常检测效果不理想；
4.由于其训练建模耗费资源及时间过长，无法应用于大数量级的监控项异常检测；
5.针对局部小范围数据的异常检测效果不理想。
发明内容
本申请的一个目的是提供一种用于存储监控数据异常检测的方法及设备，解决现有技术中异常检测算法复杂度高浪费设备资源、长期数据积累无法进行异常检测、对周期性差的数据和局部小范围数据检测效果差以及无法应用于大数量级的监控项异常检测的问题。
根据本申请的一个方面，提供了一种用于存储监控数据异常检测的方法，该方法包括：
以时间序列获取当前周期的监控数据以及前一个周期的监控数据，根据所述当前周期的监控数据确定当前事件；
根据所述当前周期的监控数据和所述前一个周期的监控数据判断所述当前事件是否为新增事件，根据判断结果确定各事件类别对应的训练集；
当所述训练集的新增事件数量大于等于n时，获取与最后一个事件相邻的m个事件的数据，根据所述m个事件的数据更新事件变化率和事件变化量，其中，n和m均为正整数，且n小于m；
根据更新后的事件变化率和更新后的事件变化量对所述当前事件进行异常判定处理，确定异常判定结果。
进一步地，所述根据所述当前周期的监控数据和所述前一个周期的监控数据判断所述当前事件是否为新增事件，包括：
根据所述当前周期的监控数据和所述前一个周期的监控数据确定当前周期的数据变化率和前一个周期的数据变化率；
当所述前一个周期的数据变化率的绝对值小于变更阈值时，通过比较所述当前周期的数据变化率与所述变更阈值来确定所述当前事件的事件类别；
当所述前一个周期的监控数据的绝对值大于变更阈值时，计算所述前一个周期的数据变化率与所述当前周期的数据变化率的差值绝对值，比较所述前一个周期的数据变化率与当前周期的数据变化率的差值绝对值与预设差异值得到比较结果，根据所述比较结果判断所述当前事件是否为新增事件。
进一步地，所述比较所述前一个周期的数据变化率与当前周期的数据变化率的差值绝对值与预设差异值得到比较结果，根据所述比较结果判断所述当前事件是否为新增事件，包括：
当所述比较结果为所述前一个周期的数据变化率与当前周期的数据变化率的差值绝对值大于所述预设差异值时，所述当前事件为新增事件；
当所述比较结果为所述前一个周期的数据变化率与当前周期的数据变化率的差值绝对值小于所述预设差异值时，所述当前事件不是新增事件。
进一步地，所述方法包括：
根据所述当前周期的监控数据和所述前一个周期的监控数据判断所述当前事件是否为新增事件，若否，则将所述当前周期的监控数据与所述前一个周期的监控数据合并为一个事件。
进一步地，所述根据判断结果确定各事件类别对应的训练集，包括：
若判断结果为所述当前事件为新增事件，则将所述新增事件计入当前事件的事件类别对应的训练集中；
结束上一个事件并重新判断当前事件的事件类别。
进一步地，所述事件变化量包括事件增长量和事件减少量，所述方法包括：
当所述训练集的事件数量首次为m时，使用五数概括法计算事件变化率的上限界定值或下限界定值，其中，m为正整数；
使用五数概括法计算事件增长量的上限界定值或事件减少量的下限界定值。
进一步地，所述根据所述m个事件的数据更新事件变化率和事件变化量，包括：
根据所述m个事件的数据更新事件变化率的上限界定值或下限界定值；
根据所述m个事件的数据更新事件增长量的上限界定值或事件减少量的下限界定值。
进一步地，所述根据更新后的事件变化率和更新后的事件变化量对所述当前事件进行异常判定处理，确定异常判定结果，包括：
计算当前事件的当前事件变化率以及当前事件变化量；
通过比较所述当前事件变化率与更新后的事件变化率、所述当前事件变化量与更新后的事件变化量来判断所述当前事件是否异常，确定异常判定结果。
进一步地，所述事件类别包括写入事件和删除事件，所述通过比较所述当前事件变化率与更新后的事件变化率、所述当前事件变化量与更新后的事件变化量来判断所述当前事件是否异常，确定异常判定结果，包括：
当所述当前事件为写入事件时，当所述当前事件变化率大于更新后的事件变化率的上限界定值时，判断所述当前事件增长量是否大于更新后的事件变化量的上限界定值，若是，则所述当前事件为异常写入事件；
当所述当前事件为删除事件时，当所述当前事件变化率小于更新后的事件变化率的下限界定值时，判断所述当前事件减少量是否小于更新后的事件变化量的下限界定值，若是，则所述当前事件为异常删除事件。
根据本申请的另一个方面，还提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如前述任一项所述的方法。
根据本申请的再一个方面，还提供了一种用于存储监控数据异常检测的设备，其中，所述设备包括：
一个或多个处理器；以及
存储有计算机可读指令的存储器，所述计算机可读指令在被执行时使所述处理器执行如前述任一项所述方法的操作。
与现有技术相比，本申请通过以时间序列获取当前周期的监控数据以及前一个周期的监控数据，根据所述当前周期的监控数据确定当前事件；根据所述当前周期的监控数据和所述前一个周期的监控数据判断所述当前事件是否为新增事件，根据判断结果确定各事件类别对应的训练集；当所述训练集的新增事件数量大于等于n时，获取与最后一个事件相邻的m个事件的数据，根据所述m个事件的数据更新事件变化率和事件变化量，其中，n和m均为正整数，且n小于m；根据更新后的事件变化率和更新后的事件变化量对所述当前事件进行异常判定处理，确定异常判定结果。通过以事件为单位进行数据收集及异常判断且无训练建模过程，从而对前期数据的需求量小，算法精简，占用资源少，大大提升了针对周期性差的数据以局部小范围数据的异常检测效果，无需建模可以应用于大数量级的监控项异常检测。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出根据本申请的一个方面提供的一种用于存储监控数据异常检测的方法流程示意图；
图2示出本申请一优选实施例中的一种存储监控数据异常检测的方法流程图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
图1示出根据本申请的一个方面提供的一种用于存储监控数据异常检测的方法流程示意图，该方法包括：步骤S11～S14，其中，步骤S11，以时间序列获取当前周期的监控数据以及前一个周期的监控数据，根据所述当前周期的监控数据确定当前事件；步骤S12，根据所述当前周期的监控数据和所述前一个周期的监控数据判断所述当前事件是否为新增事件，根据判断结果确定各事件类别对应的训练集；步骤S13，当所述训练集的新增事件数量大于等于n时，获取与最后一个事件相邻的m个事件的数据，根据所述m个事件的数据更新事件变化率和事件变化量，其中，n和m均为正整数，且n小于m；步骤S14，根据更新后的事件变化率和更新后的事件变化量对所述当前事件进行异常判定处理，确定异常判定结果。通过以事件为单位进行数据收集及异常判断且无训练建模过程，从而对前期数据的需求量小，算法精简，占用资源少，大大提升了针对周期性差的数据以局部小范围数据的异常检测效果，无需建模可以应用于大数量级的监控项异常检测。
具体地，步骤S11，以时间序列获取当前周期的监控数据以及前一个周期的监控数据，根据所述当前周期的监控数据确定当前事件。在此，所述周期为监控周期，可以由用户自行设置，例如设置监控周期60秒。在本申请中，存储数据写入速度有其上限，正常存储写入速度为50M/s～60M/s，单个监控周期内最大写入数据为3GB左右，此特点完全区别于其他类似cpu、内存等监控项，其特点为不存在短期内大百分比的数据变化，此外，存储数据删除速度同样有其上限，但删除速度就比写入速度快的多了，单个监控周期内，可以删除几百GB甚至TB量级的数据，其变化特征又异于数据写入；目标设备的监控数据，其写入和删除速度与目标设备的硬件和负载有很大关系，因此无法设定固定值作为基准，存储数据由于其数据特点，存在大量监控周期内无变化或微小变化的监控数据。基于上述存储数据的变化特点，本申请以事件为单位对存储数据进行监控检测。以预设置的监控周期获取监控数据，所述监控数据以时间序列排列，获取多个周期的监控数据，根据所述多个周期的监控数据确定当前周期的监控数据以及前一个周期的监控数据，将当前周期的监控数据作为当前事件。
步骤S12，根据所述当前周期的监控数据和所述前一个周期的监控数据判断所述当前事件是否为新增事件，根据判断结果确定各事件类别对应的训练集。在此，对于时间上连续的监控周期内获取到的监控数据，可以通过对比前后两个监控周期的数据变化率差异来判定两个周期是否为同一事件。当前后两个周期的监控数据并非同一事件时，后一个周期的监控数据则为新增事件。例如，计算当前周期的监控数据的数据变化率以及前一个周期的监控数据的数据变化率，根据两者间的变化率差值是否大于某个值来判断当前事件是否为新增事件。在判断当前事件是否为新增事件的过程中，可以确定当前事件的事件类别，比如当前周期的监控数据为数据增长，上一个周期的监控数据没有变化，则当前事件为写入事件且为新增事件，此时将当前事件归入写入事件对应的训练集中。其中，所述事件类别包括写入事件和删除事件，则各事件类别对应的训练集包括写入事件训练集和删除事件训练集。
步骤S13，当所述训练集的新增事件数量大于等于n时，获取与最后一个事件相邻的m个事件的数据，根据所述m个事件的数据更新事件变化率和事件变化量，其中，n和m均为正整数，且n小于m。在此，所述事件变化率和事件变化量可以根据训练集中的数据计算确定，例如通过五数概括法计算训练集中的数据确定训练集的事件变化率和事件变化量。本申请中所述的训练集为所有事件类别对应的训练集，单一训练集的新增事件数量大于等于n时，计算训练集中时间上与最后的一个事件最邻近的m个事件的数据得到新的事件变化率和新的事件变化量，以更新原有的事件变化率和事件变化量，以使得事件变化率和事件变化量能够实时反映当前的存储数据特点。
步骤S14，根据更新后的事件变化率和更新后的事件变化量对所述当前事件进行异常判定处理，确定异常判定结果。在此，通过将更新后的事件变化率和事件变化量与当前事件的特征值进行对比来判断当前事件是否异常，例如所述当前事件是写入事件，将当前事件的事件增长率和更新后的事件变化率的上限界定值进行对比，如果当前事件的事件增长率大于更新后的事件变化率的上限界定值就可以判定当前事件为异常事件，存在异常大文件写入。从而对前期数据的需求量小，算法精简，占用资源少，大大提升了针对周期性差的数据以局部小范围数据的异常检测效果，无需建模可以应用于大数量级的监控项异常检测。
在本申请一优选实施例中，在步骤S12中，根据所述当前周期的监控数据和所述前一个周期的监控数据确定当前周期的数据变化率和前一个周期的数据变化率；当所述前一个周期的数据变化率的绝对值小于变更阈值时，通过比较所述当前周期的数据变化率与所述变更阈值来确定所述当前事件的事件类别；当所述前一个周期的监控数据的绝对值大于变更阈值时，计算所述前一个周期的数据变化率与所述当前周期的数据变化率的差值绝对值，比较所述前一个周期的数据变化率与当前周期的数据变化率的差值绝对值与预设差异值得到比较结果，根据所述比较结果判断所述当前事件是否为新增事件。在此，根据所述当前周期的监控数据与前一个周期监控数据的差值确定当前周期数据变化量，根据当前周期数据变化量确定当前周期的数据变化率，例如将当前周期数据变化量与所述当前周期的数据的比值作为当前周期的数据变化率。
接着，所述变更阈值优选为微量变更阈值，当所述前一个周期的数据变化率的绝对值小于变更阈值时，说明上个周期的监控数据无变化，此时比较所述当前周期的数据变化率与所述变更阈值可以确定当前周期的时间类别，且当前周期为新增事件。例如，当前周期的数据变化率大于所述变更阈值，则当前周期为新的写入事件；当前周期的数据变化率小于所述变更阈值的负值，则当前周期为新的删除事件。当所述前一个周期的数据变化率的绝对值大于变更阈值时，则当所述前一个周期的数据变化率大于变更阈值时，前一个周期的监控数据为写入事件，当所述前一个周期的数据变化率小于变更阈值的负值时，前一个周期的监控数据为删除事件。
接上述实施例，计算所述前一个周期的数据变化率与所述当前周期的数据变化率的差值绝对值，根据所述前一个周期的数据变化率与当前周期的数据变化率的差值绝对值是否大于预设差异值来判断当前事件是否为新增事件，并可以根据当前事件是否为新增事件来对所述当前事件做相应的处理。
在本申请一优选实施例中，在步骤S12中，当所述比较结果为所述前一个周期的数据变化率与当前周期的数据变化率的差值绝对值大于所述预设差异值时，所述当前事件为新增事件；当所述比较结果为所述前一个周期的数据变化率与当前周期的数据变化率的差值绝对值小于所述预设差异值时，所述当前事件不是新增事件。在此，所述预设差异值用于标识事件变化率允许存在的差异值，前一个周期的数据变化率与当前周期的数据变化率的差值绝对值大于所述预设差异值，也就是说当前周期与上一个周期不是同一个事件，判定当前事件为新增事件；所述前一个周期的数据变化率与当前周期的数据变化率的差值绝对值小于所述预设差异值，则当前周期与上一个周期是同一个事件，可以将当前周期的监控数据与前一个周期的监控数据合并入同一个事件中。
在本申请一优选实施例中，根据所述当前周期的监控数据和所述前一个周期的监控数据判断所述当前事件是否为新增事件，若否，则将所述当前周期的监控数据与所述前一个周期的监控数据合并为一个事件。在此，当前周期与前一个周期为同一个事件时，将当前周期的监控数据与所述前一个周期的监控数据合并入同一个事件中。例如，当本周期与上一个周期为同一写入事件，则两个周期的监控数据合并为同一写入事件。
在本申请一优选实施例中，在步骤S12中，若判断结果为所述当前事件为新增事件，则将所述新增事件计入当前事件的事件类别对应的训练集中；结束上一个事件并重新判断当前事件的事件类别。在此，当当前事件为新增事件时，结束上一个事件，根据当前事件对应的数据重新判断当前事件的事件类别，根据所述事件类别将当前事件计入所述事件类别对应的训练集中，例如将新增的写入事件计入写入事件训练集中。
在本申请一优选实施例中，所述事件变化量包括事件增长量和事件减少量，当所述训练集的事件数量首次为m时，使用五数概括法计算事件变化率的上限界定值或下限界定值，其中，m为正整数；使用五数概括法计算事件增长量的上限界定值或事件减少量的下限界定值。在此，训练事件集优选为写入事件训练集和删除事件训练集，在写入事件训练集和删除事件训练集分别首次累计事件量达到m时，使用五数概括法计算出写入事件变化率的上限界定值及删除事件变化率的下限界定值，使用五数概括法计算出近期写入事件中增长量的上限界定值，使用五数概括法计算出近期删除事件中减少量的下限界定值。
在本申请一优选实施例中，在步骤S13中，根据所述m个事件的数据更新事件变化率的上限界定值或下限界定值；根据所述m个事件的数据更新事件增长量的上限界定值或事件减少量的下限界定值。在此，在原有的首次累计事件量达到m个事件的时候计算得到的事件变化率的上限界定值或下限界定值以及事件增长量的上限界定值或事件减少量的下限界定值的基础上，使用五数概括法计算达到n个事件的最后一个事件相邻的m个事件对应的监控数据，以更新事件变化率的上限界定值或下限界定值和事件增长量的上限界定值或事件减少量的下限界定值。在写入事件训练集中的新增事件每次达到n个事件后，根据达到n个事件的最后一个事件相邻的m个事件对应的监控数据计算更新后的更新事件变化率的上限界定值以及事件增长量的上限界定值；在删除事件训练集中的新增事件每次达到n个事件后，根据达到n个事件的最后一个事件相邻的m个事件对应的监控数据计算更新后的更新事件变化率的下限界定值以及事件减少量的下限界定值，以实时反映的当前的数据特点。
在本申请一优选实施例中，在步骤S14中，计算当前事件的当前事件变化率以及当前事件变化量；通过比较所述当前事件变化率与更新后的事件变化率、所述当前事件变化量与更新后的事件变化量来判断所述当前事件是否异常，确定异常判定结果。在此，计算当前事件的当前事件变化率和当前事件变化量，其中，更新后的事件变化率以及更新后的事件变化量反映了当前数据特点。比较所述当前事件变化率与更新后的事件变化率得到第一比较结果，比较所述当前事件变化量与更新后的事件变化量得到第二比较结果，结合第一比较结果与第二比较结果判断所述当前事件为异常事件，还可以确定当前事件的异常事件类别。
在本申请一优选实施例中，在步骤S14中，所述事件类别包括写入事件和删除事件，当所述当前事件为写入事件时，当所述当前事件变化率大于更新后的事件变化率的上限界定值时，判断所述当前事件增长量是否大于更新后的事件变化量的上限界定值，若是，则所述当前事件为异常写入事件；当所述当前事件为删除事件时，当所述当前事件变化率小于更新后的事件变化率的下限界定值时，判断所述当前事件减少量是否小于更新后的事件变化量的下限界定值，若是，则所述当前事件为异常删除事件。在此，确定当前事件的事件类别之后再进行判断是否为异常事件，根据更新后的事件变化量以及更新后的事件变化率能够更准确地判断当前事件是否为异常事件。
图2示出本申请一优选实施例中的一种存储监控数据异常检测的方法流程图，对于时间上连续的监控周期，通过比对前后两个监控周期的数据变化率差异来判定其是否为同一事件，具体判定规则如下：设定前一个监控周期变化率为P1，当前监控周期变化率为P2，微量变更阈值L，事件变化率允许的差异值Q，如|P1|<L则说明上个监控周期内存储数据无变化；|P1|<L则上个周期数据无变化，P2>L，则当前监控周期写入事件开始；|P1|<L则上个周期数据无变化，P2<-L，则当前监控周期删除事件开始。当|P1|>L，P1>L，则上个周期为写入事件，|P1-P2|<Q，当前周期与上个周期为同一写入事件，两个周期的监控数据合并为同一写入事件；|P1|>L，P1<-L，则上个周期为删除事件，|P1-P2|<Q，当前周期与上个周期为同一删除事件，两个周期的监控数据合并为同一删除事件；|P1|>L，P1>L，则上个周期为写入事件，|P1-P2|>Q，当前周期与上个周期不是同一事件，结束上一个写入事件并计入训练集，重新判定当前周期事件状态；|P1|>L，P1<L则上个周期为删除事件，|P1-P2|>Q，当前周期与上个周期不是同一事件，结束上一个删除事件并计入训练集，重新判定当前周期事件状态。
接着，写入事件、删除事件分属两个训练事件集，存入训练事件集中的时间均存入历史事件集，在训练事件集积累事件量首次达到m时(m为正整数)，使用五数概括法计算出写入事件变化率的上限界定值S1及删除事件变化率的下限界定值S2；使用五数概括法计算出m个写入事件中增长量的上限界定值U1；使用五数概括法计算出m个删除事件中减少量的下限界定值U2。在首次获得动态阈值后，其后训练事件集每当新增事件量达到n(n<m，且n为正整数)时，将重新计算时间上最临近的m个训练事件的数据，更新S1、S2、U1、U2，以实时反应当前的数据特点。
然后，将被判定事件的特征值与当前动态阈值的进行比对。如遇到写入事件增长率Px>S1，且其增长量Mx>U1，则判定当前事件为异常大文件写入事件；如遇到删除事件减少率Ps<-S2，且其减少量Ms<-U2，则判定当前事件为非正常大批量删除事件。在确定异常事件后，将所有异常事件存入异常事件集内。通过以事件为单位进行数据收集及异常判断且无训练建模过程，从而对前期数据的需求量小，算法精简，占用资源少，大大提升了针对周期性差的数据以局部小范围数据的异常检测效果，无需建模可以应用于大数量级的监控项异常检测。
在本申请中包含四个可控参数：
训练事件数量m：其数值影响了训练数据的范围，其值越小则算法对局部变化越敏感；其值越大则越能体现长期性整体特征。
阈值更新频率n：其数值影响了动态阈值S1、S2、U1、U2的更新频率，其值越小则动态阈值更新越快，但同时其算法所耗时间就越长。
微量变更阈值L：其数值限定了微量变化事件的界定范围，定义了事件是否存在变化。
判定事件的变化率允许差异值Q：其值指定了判断两相邻监控周期是否为同一事件的标准。
实际应用环境中，可通过调整以上四个参数，对算法的敏感度及算法复杂度等进行调整。
本申请实施例还提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现前述一种存储监控数据异常检测的方法。
与上文所述的方法相对应的，本申请还提供一种终端，其包括能够执行上述图1或图2或各个实施例所述的方法步骤的模块或单元，这些模块或单元可以通过硬件、软件或软硬结合的方式来实现，本申请并不限定。例如，在本申请一实施例中，还提供了一种用于存储监控数据异常检测的设备，其中，所述设备包括：
一个或多个处理器；以及
存储有计算机可读指令的存储器，所述计算机可读指令在被执行时使所述处理器执行前述所述方法的操作。
例如，计算机可读指令在被执行时使所述一个或多个处理器：以时间序列获取当前周期的监控数据以及前一个周期的监控数据，根据所述当前周期的监控数据确定当前事件；根据所述当前周期的监控数据和所述前一个周期的监控数据判断所述当前事件是否为新增事件，根据判断结果确定各事件类别对应的训练集；当所述训练集的新增事件数量大于等于n时，获取与最后一个事件相邻的m个事件的数据，根据所述m个事件的数据更新事件变化率和事件变化量，其中，n和m均为正整数，且n小于m；根据更新后的事件变化率和更新后的事件变化量对所述当前事件进行异常判定处理，确定异常判定结果。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (11)

1.一种用于存储监控数据异常检测的方法，其中，所述方法包括：
以时间序列获取当前周期的监控数据以及前一个周期的监控数据，将所述当前周期的监控数据作为当前事件；
根据所述当前周期的监控数据和所述前一个周期的监控数据确定当前周期的数据变化率和前一个周期的数据变化率；
当所述前一个周期的数据变化率的绝对值大于变更阈值时，计算所述前一个周期的数据变化率与所述当前周期的数据变化率的差值绝对值；
当所述前一个周期的数据变化率与当前周期的数据变化率的差值绝对值大于预设差异值时，所述当前事件为新增事件；
将所述新增事件计入当前事件的事件类别对应的训练集中，并根据所述当前事件的事件类别对应的训练集中的数据确定所述训练集的事件变化率和事件变化量；
当所述训练集的新增事件数量大于等于n时，获取与最后一个事件相邻的m个事件的数据，根据所述m个事件的数据更新所述训练集的事件变化率和事件变化量，其中，n和m均为正整数，且n小于m；
根据更新后的事件变化率和更新后的事件变化量对所述当前事件进行异常判定处理，确定异常判定结果。
2.根据权利要求1所述的方法，其中，所述方法包括：
当所述前一个周期的数据变化率的绝对值小于变更阈值时，通过比较所述当前周期的数据变化率与所述变更阈值来确定所述当前事件的事件类别。
3.根据权利要求1所述的方法，其中，所述方法包括：
当所述前一个周期的数据变化率与当前周期的数据变化率的差值绝对值小于所述预设差异值时，所述当前事件不是新增事件。
4.根据权利要求3所述的方法，其中，所述方法包括：
若所述当前事件不是新增事件，则将所述当前周期的监控数据与所述前一个周期的监控数据合并为一个事件。
5.根据权利要求1所述的方法，其中，所述将所述新增事件计入当前事件的事件类别对应的训练集中之后，所述方法包括：结束上一个事件并重新判断当前事件的事件类别。
6.根据权利要求1所述的方法，其中，所述事件变化量包括事件增长量和事件减少量，所述方法包括：
当所述训练集的事件数量首次为m时，使用五数概括法计算事件变化率的上限界定值或下限界定值，其中，m为正整数；
使用五数概括法计算事件增长量的上限界定值或事件减少量的下限界定值。
7.根据权利要求6所述的方法，其中，所述根据所述m个事件的数据更新所述训练集的事件变化率和事件变化量，包括：
根据所述m个事件的数据更新所述训练集的事件变化率的上限界定值或下限界定值；
根据所述m个事件的数据更新所述训练集的事件增长量的上限界定值或事件减少量的下限界定值。
8.根据权利要求1所述的方法，其中，所述根据更新后的事件变化率和更新后的事件变化量对所述当前事件进行异常判定处理，确定异常判定结果，包括：
计算当前事件的当前事件变化率以及当前事件变化量；
通过比较所述当前事件变化率与更新后的事件变化率、所述当前事件变化量与更新后的事件变化量来判断所述当前事件是否异常，确定异常判定结果。
9.根据权利要求8所述的方法，其中，所述事件类别包括写入事件和删除事件，所述通过比较所述当前事件变化率与更新后的事件变化率、所述当前事件变化量与更新后的事件变化量来判断所述当前事件是否异常，确定异常判定结果，包括：
当所述当前事件为写入事件时，当所述当前事件变化率大于更新后的事件变化率的上限界定值时，判断所述当前事件增长量是否大于更新后的事件变化量的上限界定值，若是，则所述当前事件为异常写入事件；
当所述当前事件为删除事件时，当所述当前事件变化率小于更新后的事件变化率的下限界定值时，判断所述当前事件减少量是否小于更新后的事件变化量的下限界定值，若是，则所述当前事件为异常删除事件。
10.一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如权利要求1至9中任一项所述的方法。
11.一种用于存储监控数据异常检测的设备，其中，所述设备包括：
一个或多个处理器；以及
存储有计算机可读指令的存储器，所述计算机可读指令在被执行时使所述处理器执行如权利要求1至9中任一项所述方法的操作。
CN202010970607.8A 2020-09-15 2020-09-15 一种用于存储监控数据异常检测的方法及设备 Active CN112131075B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010970607.8A CN112131075B (zh) 2020-09-15 2020-09-15 一种用于存储监控数据异常检测的方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010970607.8A CN112131075B (zh) 2020-09-15 2020-09-15 一种用于存储监控数据异常检测的方法及设备

Publications (2)

Publication Number Publication Date
CN112131075A CN112131075A (zh) 2020-12-25
CN112131075B true CN112131075B (zh) 2023-04-28

Family

ID=73846464

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010970607.8A Active CN112131075B (zh) 2020-09-15 2020-09-15 一种用于存储监控数据异常检测的方法及设备

Country Status (1)

Country Link
CN (1) CN112131075B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113535516B (zh) * 2021-07-06 2023-05-30 上海上讯信息技术股份有限公司 一种监控cpu占用率异常的方法及设备
CN113535454B (zh) * 2021-07-15 2023-05-30 上海上讯信息技术股份有限公司 一种日志数据异常检测的方法及设备
CN113806113B (zh) * 2021-09-28 2023-09-01 山东中创软件商用中间件股份有限公司 一种事件处理方法、装置、设备及存储介质
US11847038B1 (en) * 2022-07-15 2023-12-19 Vmware, Inc. System and method for automatically recommending logs for low-cost tier storage

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815255A (zh) * 2015-11-27 2017-06-09 阿里巴巴集团控股有限公司 检测数据访问异常的方法及装置
JP2018180703A (ja) * 2017-04-06 2018-11-15 三菱電機株式会社 監視制御装置
CN109213654A (zh) * 2018-07-05 2019-01-15 北京奇艺世纪科技有限公司 一种异常检测方法及装置
CN109213651A (zh) * 2017-06-29 2019-01-15 北京三快在线科技有限公司 一种对象监控方法及装置、电子设备
CN109697207A (zh) * 2018-12-25 2019-04-30 苏州思必驰信息科技有限公司 时序数据的异常监控方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11017298B2 (en) * 2016-09-21 2021-05-25 Scianta Analytics Llc Cognitive modeling apparatus for detecting and adjusting qualitative contexts across multiple dimensions for multiple actors

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815255A (zh) * 2015-11-27 2017-06-09 阿里巴巴集团控股有限公司 检测数据访问异常的方法及装置
JP2018180703A (ja) * 2017-04-06 2018-11-15 三菱電機株式会社 監視制御装置
CN109213651A (zh) * 2017-06-29 2019-01-15 北京三快在线科技有限公司 一种对象监控方法及装置、电子设备
CN109213654A (zh) * 2018-07-05 2019-01-15 北京奇艺世纪科技有限公司 一种异常检测方法及装置
CN109697207A (zh) * 2018-12-25 2019-04-30 苏州思必驰信息科技有限公司 时序数据的异常监控方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Using Wavelets for Compression and Detecting Events in Anomalous Network Traffic;Konstantinos G. Kyriakopoulos等;《ACM》;20090920;第195-200页 *
分布式环境中的性能异常预测监控;仇沂;《中国优秀硕士学位论文全文数据库信息科技辑》;20130715(第07期);第I137-136页 *

Also Published As

Publication number Publication date
CN112131075A (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
CN112131075B (zh) 一种用于存储监控数据异常检测的方法及设备
US20180365085A1 (en) Method and apparatus for monitoring client applications
JP6378207B2 (ja) カラムナデータベース内のヒストグラムを使用した効率的なクエリー処理
CN108205424B (zh) 基于磁盘的数据迁移方法、装置及电子设备
CN113535454B (zh) 一种日志数据异常检测的方法及设备
US8560506B2 (en) Automatic selection of blocking column for de-duplication
CN110515795A (zh) 一种大数据组件的监控方法、装置、电子设备
EP3432158A1 (en) Data aggregation method and device
US10614215B2 (en) Malware collusion detection
CN112131078B (zh) 一种监控磁盘容量的方法及设备
CN108920326A (zh) 确定系统耗时异常的方法、装置及电子设备
CN110297845B (zh) 基于货物装载率加速度的装卸点识别方法及装置
CN109558548A (zh) 一种消除css样式冗余的方法及相关产品
CN110020744A (zh) 动态预测方法及其系统
US9952773B2 (en) Determining a cause for low disk space with respect to a logical disk
CN115659045A (zh) 用户操作的识别方法、装置、存储介质以及电子设备
US8656066B2 (en) Monitoring input/output operations to specific storage locations
US6795096B2 (en) Method to refresh view of a collection of objects
CN102414567A (zh) 校正装置、概率密度函数测量装置、抖动测量装置、抖动分离装置、电子器件、校正方法、程序以及记录介质
US11294788B2 (en) Predicting performance of a computer system
CN106970833A (zh) 作业调度方法及装置
CN113535516B (zh) 一种监控cpu占用率异常的方法及设备
CN109508446A (zh) 一种日志处理方法和装置
US20040080849A1 (en) Storage device, program for controlling storage device, method for controlling storage device and recording medium
CN113298377B (zh) 企业研发费用加计扣除中项目筛查的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant