CN109815088A - 一种监控辅助方法及装置 - Google Patents
一种监控辅助方法及装置 Download PDFInfo
- Publication number
- CN109815088A CN109815088A CN201910013107.2A CN201910013107A CN109815088A CN 109815088 A CN109815088 A CN 109815088A CN 201910013107 A CN201910013107 A CN 201910013107A CN 109815088 A CN109815088 A CN 109815088A
- Authority
- CN
- China
- Prior art keywords
- monitoring
- monitoring data
- data
- value
- time window
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Testing And Monitoring For Control Systems (AREA)
Abstract
本申请实施例涉及一种监控辅助方法及装置，涉及计算机软件技术领域。其中，监控辅助方法包括：确定监控数据集中监控数据对应的特征向量和标签；将监控数据对应的特征向量作为预设的学习模型的输入，将监控数据对应的标签作为所述学习模型的输出，对所述学习模型进行训练；基于训练后的所述学习模型中的特征向量对应的权重值，确定所述监控对象的报警触发阈值；将所述报警触发阈值配置至所述监控系统，使得监控系统在监控到所述监控对象的监控数据值达到或超出所述报警触发阈值时，执行报警流程。本申请的方案能够智能化动态配置监控系统中监控对象对应的报警触发阈值，由于不需要借助人力，因此降低了监控系统的维护难度和维护成本。
Description
技术领域
本申请实施例涉及计算机软件技术领域，尤其涉及一种监控辅助方法及装置。
背景技术
在传统的监控系统中，当监控对象对应的监控数据达到或超出预先设置的报警触发阈值后，执行报警流程。目前，报警触发阈值是依靠工程师的经验，对监控对象的指标与事件之间的关联关系进行推导确定的，在简单的工作环境下监控效果良好。
但是对于复杂多样的监控环境，监控对象对应的报警触发阈值也会动态发生变化。在这种情况下，报警触发阈值的配置会越来越多、越来越复杂化，导致维护成本加剧。
有鉴于此，如何在不基于人力的基础上，为监控系统的监控对象配置报警触发阈值，是本申请所要解决的技术问题。
发明内容
本申请实施例目的是提供一种监控辅助方法及装置，能够在不基于人力的基础上，为监控系统中的监控对象配置报警触发阈值。
为了实现上述目的，本申请实施例是这样实现的：
第一方面，提供一种监控辅助方法，包括：
获取监控系统中监控对象的监控数据集；
确定监控数据集中监控数据对应的特征向量和标签；
将监控数据对应的特征向量作为预设的学习模型的输入，将监控数据对应的标签作为所述学习模型的输出，对所述学习模型进行训练；
基于训练后的所述学习模型中的特征向量对应的权重值，确定所述监控对象的报警触发阈值；
将所述报警触发阈值配置至所述监控系统，使得所述监控系统在监控到所述监控对象的监控数据值达到或超出所述报警触发阈值时，执行报警流程。
第二方面，提供了一种监控辅助装置，包括：
获取模块，用于获取监控系统中监控对象的监控数据集；
第一确定模块，用于确定监控数据集中监控数据对应的特征向量和标签；
训练模块，用于将监控数据对应的特征向量作为预设的学习模型的输入，将监控数据对应的标签作为所述学习模型的输出，对所述学习模型进行训练；
第二确定模块，用于基于训练后的所述学习模型中的特征向量对应的权重值，确定所述监控对象的报警触发阈值；
配置模块，用于将所述报警触发阈值配置至所述监控系统，使得所述监控系统在监控到所述监控对象的监控数据值达到或超出所述报警触发阈值时，执行报警流程。
由以上本申请实施例提供的技术方案可见，本申请实施例获取监控系统中监控对象的监控数据集，并利用监控数据集对学习模型进行训练，以对监控数据集中特征向量的权重值进行优化。之后，基于优化后的特征向量的权重值量化得到监控对象对应的报警触发阈值，并配置至监控系统，从而实现了报警触发阈值的动态配置。由于本申请实施的方案不需要借助人力，因此降低了监控系统的维护难度以及维护成本，具有较高的实用价值。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的监控辅助方法的第一种流程示意图。
图2为本申请实施例提供的监控辅助方法的第二种流程示意图。
图3为本申请实施例提供的监控辅助方法在实际应用中的逻辑结构示意图。
图4为本申请实施例提供的监控辅助装置的结构示意图。
图5为本申请实施例提供的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
在本发明的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
如前所述，在传统的监控系统中，监控对象的报警触发阈值是工程师依靠自身经验，对监控对象的指标与事件之间的关联关系进行推导确定出的。对于复杂多样的监控环境，监控对象的报警触发阈值是动态变化的，在这种情况下，报警触发阈值的配置会越来越多、越来越复杂化，导致维护成本加剧。有鉴于此，本申请旨在不基于人力的基础上，为监控系统中的监控对象配置报警触发阈值。
一方面，本申请实施例提供一种监控辅助方法，如图1所示，包括：
步骤S102，获取监控系统中监控对象的监控数据集。
针对步骤S102而言：
监控数据是反映监控指标值的数据，本步骤可以获取监控对象的历史监控数据和/或实时监控数据，构建监控数据集。
步骤S104，确定监控数据集中监控数据对应的特征向量和标签。
针对步骤S104而言：
监控数据集中的监控数据用于作为学习模型的训练数据。
其中，特征向量是监控数据经编译后的数据形式，在模型训练过程中，作为学习模型的输入数据；标签是监控数据的结果，在模型训练过程中，作为学习模型的输出数据。
步骤S106，将监控数据对应的特征向量作为预设的学习模型的输入，将监控数据对应的标签作为所述学习模型的输出，对所述学习模型进行训练。
针对步骤S106而言：
本步骤以有监督的训练方式对学习模型进行训练。特征向量在输入至学习模型后，可以得到学习模型输出的训练结果。在训练过程中，可以基于最大似然估计推导得到的学习模型的损失函数。之后根据损失函数计算训练过程中训练结果与期望结果(期望结果为标签指示的结果)的损失，并以降低损失为目的，调整学习模型中特征向量对应的权重值。
步骤S108，基于训练后的学习模型中的特征向量对应的权重值，确定监控对象的报警触发阈值。
针对步骤S108而言：
本申请实施例不具体限定报警触发阈值的具体计算方式，但凡是基于学习模型中的特征向量的权重值确定得到报警触发阈值的方案都应视为本申请的保护范围。
作为示例性介绍。
本步骤可以对监控对象在学习模型中的各个特征向量的权重值进行加权计算，得到监控对象对应的报警触发阈值。
或者，可以结合经验累积分布函数(empirical cumulative distributionfunction，ECDF)来对监控对象在学习模型中的各个特征向量对应的权重值进行逻辑计算，得到监控对象的报警触发阈值。
步骤S110，将报警触发阈值配置至监控系统，使得监控系统在监控到监控对象的监控数据值达到或超出报警触发阈值时，执行报警流程。
通过图1所示的监控辅助方法可以知道，本申请实施例获取监控系统中监控对象的监控数据集，并利用监控数据集对学习模型进行训练，以对监控数据集中特征向量的权重值进行优化。之后，基于优化后的特征向量的权重值量化得到监控对象对应的报警触发阈值，并配置至监控系统，从而实现了报警触发阈值的动态配置。由于本申请实施的方案不需要借助人力，因此降低了监控系统的维护难度以及维护成本，具有较高的实用价值。
下面对本申请实施例的监控辅助方法进行详细介绍。
具体地，本申请实施例的监控辅助方法可以确定监控对象在不同监控场景下所对应的报警触发阈值。
以确定监控对象在目标监控场景下所对应的报警触发阈值为例，主要流程包括：
步骤S201，获取监控系统中监控对象在目标监控场景下的监控数据集；
其中，监控数据以时间窗口为粒度划分，本步骤具体获取监控对象针对不同时间窗口的监控数据。
步骤S202，确定监控数据集中监控数据对应的特征向量和标签；
在确定特征向量的过程中，本步骤可以基于卡方特征选择算法，提取监控数据集中监控数据对应的特征向量；由于卡方特征选择属于现有技术，本文不再对其赘述。
在确定标签的过程中，本步骤可以判断监控数据集中监控数据是否异常，并根据判断结果来对监控数据进行打标签处理；若监控数据未异常，则监控数据对应第一标签，作为学习模型的正例训练数据；若监控数据异常，则确定监控数据对应第二标签，作为学习模型的反例训练数据。
应理解，不同类型的监控数据，对于异常的判定标准是不同。因此本步骤可以先确定监控数据集中监控数据的数据类型；之后，使用与数据类型匹配的异常评估算法，来确定监控数据是否异常。
具体地，本申请实施例的监控辅助方法结合监控数据在时间维度上的变化特点，将监控数据分为三种类型，包括：
第一数据类型，第一数据类型的监控数据为周期性数据，呈现有周期性的波动。针对第一数据类型的监控数据，匹配的异常评估算法用于基于标准分数Z-Score模型，计算监控数据集中目标时间窗口的监控数据的Z-Score分值；若Z-Score分值大于第一预设阈值，则确定监控数据集中目标时间窗口的监控数据异常，否则确定监控数据集中目标时间窗口的监控数据未异常；
第二数据类型，第二数据类型的监控数据为单位时间内(单位时间由既定数量的时间窗口组成)变化幅度值小于或等于第二预设阈值的数据，第二数据类型的监控数据为非周期数据。第二数据类型的监控数据没有规律的波动，但基本在一个较小的波动范围。针对第二数据类型的监控数据，匹配的异常评估算法用于计算监控数据集中目标时间窗口的监控数据的平均值；若平均值大于或等于第三预设阈值，则确定监控数据集中目标时间窗口的监控数据异常，否则确定监控数据集中目标时间窗口的监控数据未异常。
第三数据类型，第三数据类型的监控数据为单位时间内变化幅度值大于或等于第四预设阈值的数据，第三数据类型的监控数据为非周期性数据。第三数据类型的监控数据长期来看波动幅度较大，但短期波动幅度较小。针对第三数据类型的监控数据，匹配的异常评估算法用于计算监控数据集中目标时间窗口的监控数据值与监控对象针对目标时间窗口相邻的其他时间窗口的监控数据值之间的变化比值；若变化比值大于或等于第五预设阈值，则确定监控数据集中目标时间窗口的监控数据异常，否则确定监控数据集中目标时间窗口的监控数据未异常。
在具体实现时，本步骤可以使用分类模型，对监控数据按照数据类型进行分类。其中，分类模型可以由作为样本的监控数据训练得到。将步骤S201获取到的监控数据输入至分类模型，可以得到分类模型输出的监控数据所对应的数据类型，比如上述第一数据类型、第二数据类型、第三数据类型中的一者。
显然，本申请实施例的监控辅助方法以机器语言实现监控数据的异常评估，因此可以通过计算机程序准确地为监控数据配置标签。
步骤S203，将监控数据对应的特征向量作为预设的学习模型的输入，将监控数据对应的标签作为所述学习模型的输出，对学习模型进行训练。
需要说明的是，本申请实施例并不对学习模型作具体限定。作为示例性介绍，学习模型可以迭代决策树模型、逻辑回归模型等。只要能够在训练过程中对特征向量的权重值进行优化的学习模型，均可适用于本申请实施例的方案。
步骤S204，基于训练后的学习模型中的特征向量对应的权重值，确定监控对象针对目标监控场景的报警触发阈值；
应理解，本步骤可以根据任意量化标准，对特征向量对应的权重值进行量化，得到监控对象针对目标监控场景的报警触发阈值。
步骤S205，将报警触发阈值配置至监控系统。
其中，监控系统在目标监控场景下监控到所述监控对象的监控数据值达到或超出所述报警触发阈值时，执行报警流程。
下面结合实际应用对申请实施例的监控辅助方法进行详细介绍。
本实际应用如图3所示，监控系统用于监控数据库中各个监控对象是否出现异常，对应流程如下：
步骤1：从数据库中的数据日志data中，获取各个监控节点下的不同监控对象的监控数据集，data中记录有各个监控对象的历史监控数据，以纯文本方式保存在hdfs文件系统中，有效期3年。
监控数据收集从指标上可划分系统指标、系统软件指标、应用指标、业务指标。
系统指标如cpu、内存memory、磁盘容量disk、应用程序编程接口API响应时长、AII错误率、磁盘IO、网络IO、Tcp连接数、正在运行的进程数、上下文切换、系统负载等；
应用指标如服务可用性、异常数、吞吐量、响应时长、资源使用率、请求数、日志大小、线程数、服务调用次数等；
业务监控指标如流水明细、订单明细、响应时间、响应成功或失败笔数等；系统软件指标如流量、错误数、饱和度等。
步骤2：将不同监控场景的监控数据集发送至卡法算法模型，由卡法算法模型对收集的一段历史窗口(比如：最近3天、最近7天、最近1个月等)监控数据进行特征选择采样，选出与监控场景相关性较高的若干维特征向量verctor＝{特征1＝值，特征2＝值，特征3＝值，…}。
其中，针对不同监控场景，监控系统可以配置对应的标识信息，监控数据携带有其所属的监控场景的标识信息，从而标示出属于哪个监控场景。
步骤3:将不同监控场景的监控数据集发送至异常评估算法决策模型，由异常评估算法决策模型根据监控数据集中监控数据的数据类型匹配出合适的异常评估算法，并基于匹配出的异常评估算法对监控数据进行打标签处理。
步骤4:基于不同监控场景的监控数据集中监控数据对应的特征向量和标签，对学习模型进行训练，得到不同监控场景中特征向量的权重值。
步骤5:将不同监控场景中特征向量的权重值输入至经验累积分布模型，由值经验累积分布模型以故障概率对特征向量的权重值进行量化，得到监控对象在不同监控场景中对应的报警触发阈值。在量化过程中，经验累积分布模型可以为特征向量的权重值配置报警比率系数，随着监控数据集的增多，报警比率系数模型值会相应变小最后收敛到0.2。
步骤6：监控阈值引擎将步骤5确定得到的各个监控场景中监控对象的报警触发阈值配置至监控系统。
一方面，监控系统根据步骤5生成监控对象的报警触发阈值对监控对象进行在线监控。另一方面，监控系统对配置新的报警触发阈值产生的效果进行反馈，对于确定为异常的事件进行标注，并将标注后数据反馈至步骤4，以用于重新训练学习模型。
以上是对本申请实施例的播放方法的示例性介绍，在不脱离本文上述原理基础之上，还可以进行适当的变化，这些变化也应视为本申请实施例的保护范围。
与之对应地，本申请实施例还提供一种监控辅助方装置，如图4所示，包括：
获取模块41，用于获取监控系统中监控对象的监控数据集。
其中，监控数据是监控对象对应的监控指标的数据，本步骤可以获取监控对象的历史监控数据和/或实时监控数据，构建监控数据集。
第一确定模块42，用于确定监控数据集中监控数据对应的特征向量和标签。
其中，监控数据集中的监控数据用于作为学习模型的训练数据。
特征向量是监控数据经编译后的数据形式，在模型训练过程中，作为学习模型的输入数据；标签是监控数据的结果，在模型训练过程中，作为学习模型的输出数据。
训练模块43，用于将监控数据对应的特征向量作为预设的学习模型的输入，将监控数据对应的标签作为所述学习模型的输出，对所述学习模型进行训练。
其中，训练模块43，以有监督的训练方式对学习模型进行训练。在训练过程中，特征向量作为input输入至学习模型后，得到学习模型输出的code，这个code就是input的一个表示。之后，基于最大似然估计推导得到的学习模型的损失函数，根据损失函数计算训练过程中学习模型对特征向量对应的训练结果与期望结果(标签指示的结果为期望结果)的损失，并以降低损失为目的，调整特征向量对应的权重值。
第二确定模块44，用于基于训练后的所述学习模型中的特征向量对应的权重值，确定所述监控对象的报警触发阈值。
应理解，本申请实施例并不具体限定报警触发阈值的具体计算方式，但凡基于学习模型中的特征向量对应的权重值确定得到报警触发阈值都应属于本申请的保护范围。
其中，作为示例性介绍。
本步骤可以对监控对象在学习模型中的各个特征向量对应的权重值进行加权计算，得到监控对象对应的报警触发阈值。
或者，可以结合经验累积分布函数(ECDF)算法来对对监控对象在学习模型中的各个特征向量对应的权重值进行逻辑计算，得到监控对象的报警触发阈值。
配置模块45，用于将所述报警触发阈值配置至所述监控系统，使得所述监控系统在监控到所述监控对象的监控数据值达到或超出所述报警触发阈值时，执行报警流程。
通过图4所示的监控辅助装置可以知道，本申请实施例获取监控系统中监控对象的监控数据集，并利用监控数据集对学习模型进行训练，以对监控数据集中特征向量的权重值进行优化。之后，基于优化后的特征向量的权重值量化得到监控对象对应的报警触发阈值，并配置至监控系统，从而实现了报警触发阈值的动态配置。由于本申请实施的方案不需要借助人力，因此降低了监控系统的维护难度以及维护成本，具有较高的实用价值。
可选地，所述获取模块具体用于，获取监控系统中监控对象在目标监控场景下的监控数据集；所述第二确定模块具体用于，基于训练后的所述学习模型中的特征向量对应的权重值，确定所述监控对象针对所述目标监控场景的报警触发阈值；其中，在将所述报警触发阈值配置至所述监控系统后，所述监控系统在所述目标监控场景下监控到所述监控对象的监控数据值达到或超出所述报警触发阈值时，执行报警流程。
可选地，所述第一确定模块包括：
判断单元，用于判断监控数据集中监控数据是否异常。
第一确定单元，若未异常，则确定监控数据对应第一标签。
第二确定单元，若异常，则确定监控数据对应第二标签。
可选地，所述判断单元具体用于,确定监控数据集中监控数据的数据类型；基于与所述数据类型匹配的异常评估算法，确定监控数据是否异常。
具体地，所述监控数据集包括至少一个时间窗口的监控数据。
在上述基础之上，所述数据类型包括：第一数据类型，所述第一数据类型的监控数据为周期性数据。
所述第一数据类型匹配的异常评估算法用于基于标准分数Z-Score模型，计算所述监控数据集中目标时间窗口的监控数据的Z-Score分值；以及若所述Z-Score分值大于第一预设阈值，则确定所述监控数据集中目标时间窗口的监控数据异常，否则确定所述监控数据集中目标时间窗口的监控数据未异常。
其中，所述Z-Score分值为所述监控数据中目标时间窗口的监控数据的平均值减去所述监控对象针对目标时间窗口的监控数据的历史平均值后，与所述监控对象针对目标时间窗口的监控数据的标准差之比。
此外，所述数据类型还包括：第二数据类型，所述第二数据类型的监控数据为单位时间内变化幅度值小于或等于第二预设阈值的数据，所述第二数据类型的监控数据为非周期数据，所述单位时间由既定数量的时间窗口组成。
所述第二数据类型匹配的异常评估算法用于计算所述监控数据集中目标时间窗口的监控数据的平均值；以及若平均值大于或等于第三预设阈值，则确定所述监控数据集中目标时间窗口的监控数据异常，否则确定所述监控数据集中目标时间窗口的监控数据未异常。
此外，所述数据类型还包括：第三数据类型，所述第三数据类型的监控数据为单位时间内变化幅度值大于或等于第四预设阈值的数据，所述第三数据类型的监控数据为非周期性数据，所述单位时间由既定数量的时间窗口组成。
所述第三数据类型匹配的异常评估算法用于计算所述监控数据集中目标时间窗口的监控数据值与所述监控对象针对目标时间窗口相邻的其他时间窗口的监控数据值之间的变化比值；以及若变化比值大于或等于第五预设阈值，则确定所述监控数据集中目标时间窗口的监控数据异常，否则确定所述监控数据集中目标时间窗口的监控数据未异常。
可选地，第二确定模块具体用于，基于经验累积分布算法，对训练后的所述学习模型中的特征向量对应的权重值进行逻辑计算，得到所述监控对象的报警触发阈值。
显然，本申请实施例的搜索辅助装置可以作为上述搜索辅助方法的执行主体，因此该搜索辅助装置能够实现搜索辅助方法在图1-图4所实现的功能。由于原理相同，本文不再赘述。
此外，如图5所示，本申请实施例还提供一种电子设备。在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成问答对数据挖掘装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
获取监控系统中监控对象的监控数据集；
确定监控数据集中监控数据对应的特征向量和标签；
将监控数据对应的特征向量作为预设的学习模型的输入，将监控数据对应的标签作为所述学习模型的输出，对所述学习模型进行训练；
基于训练后的所述学习模型中的特征向量对应的权重值，确定所述监控对象的报警触发阈值；
将所述报警触发阈值配置至所述监控系统，使得所述监控系统在监控到所述监控对象的监控数据值达到或超出所述报警触发阈值时，执行报警流程。
本申请实施例的方案收集监控对象的监控数据，并利用机器学习技术，学习各监控对象的特征数据，动态分析并做出决策，以智能化配置监控对象对应的报警触发阈值。由于不需要借助人力，因此可降低监控系统的维护难度以及维护成本，具有较高的实用价值。
本申请图1所示实施例揭示的监控辅助方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
可选地，处理器执行存储器所存放的程序以获取监控系统中监控对象的监控数据集，包括：获取监控系统中监控对象在目标监控场景下的监控数据集；处理器执行存储器所存放的程序以基于训练后的所述学习模型中的特征向量对应的权重值，确定所述监控对象的报警触发阈值，包括：基于训练后的所述学习模型中的特征向量对应的权重值，确定所述监控对象针对所述目标监控场景的报警触发阈值；其中，在将所述报警触发阈值配置至所述监控系统后，所述监控系统在所述目标监控场景下监控到所述监控对象的监控数据值达到或超出所述报警触发阈值时，执行报警流程。
可选地，处理器执行存储器所存放的程序以确定监控数据集中监控数据对应的标签，包括：判断监控数据集中监控数据是否异常；若未异常，则确定监控数据对应第一标签；若异常，则确定监控数据对应第二标签。
可选地，处理器执行存储器所存放的程序以判断监控数据集中监控数据是否异常，包括:确定监控数据集中监控数据的数据类型；基于与所述数据类型匹配的异常评估算法，确定监控数据是否异常。
可选地，所述监控数据集包括至少一个时间窗口的监控数据。
应理解，本申请实施例的电子设备还可执行图1所示的监控辅助方法，并实现监控装置在图1-图3所示实施例的功能，本文不再进行赘述。
当然，除了软件实现方式之外，本申请的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
所述数据类型包括：第一数据类型，所述第一数据类型的监控数据为周期性数据。
所述第一数据类型匹配的异常评估算法用于基于标准分数Z-Score模型，计算所述监控数据集中目标时间窗口的监控数据的Z-Score分值；以及若所述Z-Score分值大于第一预设阈值，则确定所述监控数据集中目标时间窗口的监控数据异常，否则确定所述监控数据集中目标时间窗口的监控数据未异常；
其中，所述Z-Score分值为所述监控数据中目标时间窗口的监控数据的平均值减去所述监控对象针对目标时间窗口的监控数据的历史平均值后，与所述监控对象针对目标时间窗口的监控数据的标准差之比。
可选地，所述数据类型包括：第二数据类型，所述第二数据类型的监控数据为单位时间内变化幅度值小于或等于第二预设阈值的数据，所述第二数据类型的监控数据为非周期数据，所述单位时间由既定数量的时间窗口组成。
所述第二数据类型匹配的异常评估算法用于计算所述监控数据集中目标时间窗口的监控数据的平均值；以及若平均值大于或等于第三预设阈值，则确定所述监控数据集中目标时间窗口的监控数据异常，否则确定所述监控数据集中目标时间窗口的监控数据未异常。
可选地，所述数据类型包括：第三数据类型，所述第三数据类型的监控数据为单位时间内变化幅度值大于或等于第四预设阈值的数据，所述第三数据类型的监控数据为非周期性数据，所述单位时间由既定数量的时间窗口组成；
所述第三数据类型匹配的异常评估算法用于计算所述监控数据集中目标时间窗口的监控数据值与所述监控对象针对目标时间窗口相邻的其他时间窗口的监控数据值之间的变化比值；以及若变化比值大于或等于第五预设阈值，则确定所述监控数据集中目标时间窗口的监控数据异常，否则确定所述监控数据集中目标时间窗口的监控数据未异常。
可选地，处理器执行存储器所存放的程序以基于训练后的所述学习模型中的特征向量对应的权重值，确定所述监控对象的报警触发阈值，包括：基于经验累积分布算法，对训练后的所述学习模型中的特征向量对应的权重值进行逻辑计算，得到所述监控对象的报警触发阈值。
应理解，本申请实施例的电子设备还可执行图1所示的监控辅助方法，并实现监控辅助装置在图1-图4所示实施例的功能，本文不再进行赘述。
本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的便携式电子设备执行时，能够使该便携式电子设备执行图1所示实施例的方法，并具体用于执行以下方法：
获取监控系统中监控对象的监控数据集。
确定监控数据集中监控数据对应的特征向量和标签。
将监控数据对应的特征向量作为预设的学习模型的输入，将监控数据对应的标签作为所述学习模型的输出，对所述学习模型进行训练。
基于训练后的所述学习模型中的特征向量对应的权重值，确定所述监控对象的报警触发阈值。
将所述报警触发阈值配置至所述监控系统，使得所述监控系统在监控到所述监控对象的监控数据值达到或超出所述报警触发阈值时，执行报警流程。
在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
需要说明的是，在本文中，术语"包括"、"包含"或者其任何其它变体意在涵盖非排它性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句"包括一个……"限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (16)
1.一种监控辅助方法，其特征在于，包括：
获取监控系统中监控对象的监控数据集；
确定监控数据集中监控数据对应的特征向量和标签；
将监控数据对应的特征向量作为预设的学习模型的输入，将监控数据对应的标签作为所述学习模型的输出，对所述学习模型进行训练；
基于训练后的所述学习模型中的特征向量对应的权重值，确定所述监控对象的报警触发阈值；
将所述报警触发阈值配置至所述监控系统，使得所述监控系统在监控到所述监控对象的监控数据值达到或超出所述报警触发阈值时，执行报警流程。
2.如权利要求1所述的监控辅助方法，其特征在于，
获取监控系统中监控对象的监控数据集，包括：
获取监控系统中监控对象在目标监控场景下的监控数据集；
基于训练后的所述学习模型中的特征向量对应的权重值，确定所述监控对象的报警触发阈值，包括：
基于训练后的所述学习模型中的特征向量对应的权重值，确定所述监控对象针对所述目标监控场景的报警触发阈值；
其中，在将所述报警触发阈值配置至所述监控系统后，所述监控系统在所述目标监控场景下监控到所述监控对象的监控数据值达到或超出所述报警触发阈值时，执行报警流程。
3.如权利要求1所述的监控辅助方法，其特征在于，
确定监控数据集中监控数据对应的标签，包括：
判断监控数据集中监控数据是否异常；
若未异常，则确定监控数据对应第一标签；
若异常，则确定监控数据对应第二标签。
4.如权利要求3所述的监控辅助方法，其特征在于，
判断监控数据集中监控数据是否异常，包括:
确定监控数据集中监控数据的数据类型；
基于与所述数据类型匹配的异常评估算法，确定监控数据是否异常。
5.如权利要求4所述的监控辅助方法，其特征在于，
所述监控数据集包括至少一个时间窗口的监控数据；
所述数据类型包括：第一数据类型，所述第一数据类型的监控数据为周期性数据；
所述第一数据类型匹配的异常评估算法用于基于标准分数Z-Score模型，计算所述监控数据集中目标时间窗口的监控数据的Z-Score分值；以及若所述Z-Score分值大于第一预设阈值，则确定所述监控数据集中目标时间窗口的监控数据异常，否则确定所述监控数据集中目标时间窗口的监控数据未异常；
其中，所述Z-Score分值为所述监控数据中目标时间窗口的监控数据的平均值减去所述监控对象针对目标时间窗口的监控数据的历史平均值后，与所述监控对象针对目标时间窗口的监控数据的标准差之比。
6.如权利要求4所述的监控辅助方法，其特征在于，
所述监控数据集包括至少一个时间窗口的监控数据；
所述数据类型包括：第二数据类型，所述第二数据类型的监控数据为单位时间内变化幅度值小于或等于第二预设阈值的数据，所述第二数据类型的监控数据为非周期数据，所述单位时间由既定数量的时间窗口组成；
所述第二数据类型匹配的异常评估算法用于计算所述监控数据集中目标时间窗口的监控数据的平均值；以及若平均值大于或等于第三预设阈值，则确定所述监控数据集中目标时间窗口的监控数据异常，否则确定所述监控数据集中目标时间窗口的监控数据未异常。
7.如权利要求4所述的监控辅助方法，其特征在于，
所述监控数据集包括至少一个时间窗口的监控数据；
所述数据类型包括：第三数据类型，所述第三数据类型的监控数据为单位时间内变化幅度值大于或等于第四预设阈值的数据，所述第三数据类型的监控数据为非周期性数据，所述单位时间由既定数量的时间窗口组成；
所述第三数据类型匹配的异常评估算法用于计算所述监控数据集中目标时间窗口的监控数据值与所述监控对象针对目标时间窗口相邻的其他时间窗口的监控数据值之间的变化比值；以及若变化比值大于或等于第五预设阈值，则确定所述监控数据集中目标时间窗口的监控数据异常，否则确定所述监控数据集中目标时间窗口的监控数据未异常。
8.如权利要求1-7任一项所述的监控辅助方法，其特征在于，
基于训练后的所述学习模型中的特征向量对应的权重值，确定所述监控对象的报警触发阈值，包括：
基于经验累积分布算法，对训练后的所述学习模型中的特征向量对应的权重值进行逻辑计算，得到所述监控对象的报警触发阈值。
9.一种监控辅助装置，其特征在于，包括：
获取模块，用于获取监控系统中监控对象的监控数据集；
第一确定模块，用于确定监控数据集中监控数据对应的特征向量和标签；
训练模块，用于将监控数据对应的特征向量作为预设的学习模型的输入，将监控数据对应的标签作为所述学习模型的输出，对所述学习模型进行训练；
第二确定模块，用于基于训练后的所述学习模型中的特征向量对应的权重值，确定所述监控对象的报警触发阈值；
配置模块，用于将所述报警触发阈值配置至所述监控系统，使得所述监控系统在监控到所述监控对象的监控数据值达到或超出所述报警触发阈值时，执行报警流程。
10.如权利要求9所述的监控辅助装置，其特征在于，
所述获取模块具体用于，获取监控系统中监控对象在目标监控场景下的监控数据集；
所述第二确定模块具体用于，基于训练后的所述学习模型中的特征向量对应的权重值，确定所述监控对象针对所述目标监控场景的报警触发阈值；
其中，在将所述报警触发阈值配置至所述监控系统后，所述监控系统在所述目标监控场景下监控到所述监控对象的监控数据值达到或超出所述报警触发阈值时，执行报警流程。
11.如权利要求9所述的监控辅助装置，其特征在于，
所述第一确定模块包括：
判断单元，用于判断监控数据集中监控数据是否异常；
第一确定单元，若未异常，则确定监控数据对应第一标签；
第二确定单元，若异常，则确定监控数据对应第二标签。
12.如权利要求11所述的监控辅助装置，其特征在于，
所述判断单元具体用于,确定监控数据集中监控数据的数据类型；基于与所述数据类型匹配的异常评估算法，确定监控数据是否异常。
13.如权利要求12所述的监控辅助装置，其特征在于，
所述监控数据集包括至少一个时间窗口的监控数据；
所述数据类型包括：第一数据类型，所述第一数据类型的监控数据为周期性数据；
所述第一数据类型匹配的异常评估算法用于基于标准分数Z-Score模型，计算所述监控数据集中目标时间窗口的监控数据的Z-Score分值；以及若所述Z-Score分值大于第一预设阈值，则确定所述监控数据集中目标时间窗口的监控数据异常，否则确定所述监控数据集中目标时间窗口的监控数据未异常；
其中，所述Z-Score分值为所述监控数据中目标时间窗口的监控数据的平均值减去所述监控对象针对目标时间窗口的监控数据的历史平均值后，与所述监控对象针对目标时间窗口的监控数据的标准差之比。
14.如权利要求12所述的监控辅助装置，其特征在于，
所述监控数据集包括至少一个时间窗口的监控数据；
所述数据类型包括：第二数据类型，所述第二数据类型的监控数据为单位时间内变化幅度值小于或等于第二预设阈值的数据，所述第二数据类型的监控数据为非周期数据，所述单位时间由既定数量的时间窗口组成；
所述第二数据类型匹配的异常评估算法用于计算所述监控数据集中目标时间窗口的监控数据的平均值；以及若平均值大于或等于第三预设阈值，则确定所述监控数据集中目标时间窗口的监控数据异常，否则确定所述监控数据集中目标时间窗口的监控数据未异常。
15.如权利要求12所述的监控辅助装置，其特征在于，
所述监控数据集包括至少一个时间窗口的监控数据；
所述数据类型包括：第三数据类型，所述第三数据类型的监控数据为单位时间内变化幅度值大于或等于第四预设阈值的数据，所述第三数据类型的监控数据为非周期性数据，所述单位时间由既定数量的时间窗口组成；
所述第三数据类型匹配的异常评估算法用于计算所述监控数据集中目标时间窗口的监控数据值与所述监控对象针对目标时间窗口相邻的其他时间窗口的监控数据值之间的变化比值；以及若变化比值大于或等于第五预设阈值，则确定所述监控数据集中目标时间窗口的监控数据异常，否则确定所述监控数据集中目标时间窗口的监控数据未异常。
16.如权利要求9-13任一项所述的监控辅助装置，其特征在于，
第二确定模块具体用于，基于经验累积分布算法，对训练后的所述学习模型中的特征向量对应的权重值进行逻辑计算，得到所述监控对象的报警触发阈值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910013107.2A CN109815088B (zh) | 2019-01-07 | 2019-01-07 | 一种监控辅助方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910013107.2A CN109815088B (zh) | 2019-01-07 | 2019-01-07 | 一种监控辅助方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109815088A true CN109815088A (zh) | 2019-05-28 |
| CN109815088B CN109815088B (zh) | 2022-04-15 |
Family
ID=66604015
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910013107.2A Active CN109815088B (zh) | 2019-01-07 | 2019-01-07 | 一种监控辅助方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109815088B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110609780A (zh) * | 2019-08-27 | 2019-12-24 | Oppo广东移动通信有限公司 | 数据监控方法、装置、电子设备及存储介质 |
| CN112433919A (zh) * | 2020-11-25 | 2021-03-02 | 深圳前海微众银行股份有限公司 | 一种信息告警方法、设备及存储介质 |
| CN112667479A (zh) * | 2020-12-30 | 2021-04-16 | 联想(北京)有限公司 | 一种信息监控方法及装置 |
| CN113064796A (zh) * | 2021-04-13 | 2021-07-02 | 上海浦东发展银行股份有限公司 | 一种无监督指标异常检测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104598813A (zh) * | 2014-12-09 | 2015-05-06 | 西安电子科技大学 | 一种基于集成学习和半监督svm的计算机入侵检测方法 |
| WO2016118402A1 (en) * | 2015-01-22 | 2016-07-28 | Microsoft Technology Licensing, Llc | Optimizing multi-class multimedia data classification using negative data |
| CN106100937A (zh) * | 2016-08-17 | 2016-11-09 | 北京百度网讯科技有限公司 | 系统监控方法和装置 |
| US20180152465A1 (en) * | 2016-11-28 | 2018-05-31 | Microsoft Technology Licensing, Llc. | Detection of botnets using command-and-control access patterns |
| CN108388503A (zh) * | 2018-02-13 | 2018-08-10 | 中体彩科技发展有限公司 | 数据库性能监控方法、系统、设备及计算机可读存储介质 |
-
2019
- 2019-01-07 CN CN201910013107.2A patent/CN109815088B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104598813A (zh) * | 2014-12-09 | 2015-05-06 | 西安电子科技大学 | 一种基于集成学习和半监督svm的计算机入侵检测方法 |
| WO2016118402A1 (en) * | 2015-01-22 | 2016-07-28 | Microsoft Technology Licensing, Llc | Optimizing multi-class multimedia data classification using negative data |
| CN106100937A (zh) * | 2016-08-17 | 2016-11-09 | 北京百度网讯科技有限公司 | 系统监控方法和装置 |
| US20180152465A1 (en) * | 2016-11-28 | 2018-05-31 | Microsoft Technology Licensing, Llc. | Detection of botnets using command-and-control access patterns |
| CN108388503A (zh) * | 2018-02-13 | 2018-08-10 | 中体彩科技发展有限公司 | 数据库性能监控方法、系统、设备及计算机可读存储介质 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110609780A (zh) * | 2019-08-27 | 2019-12-24 | Oppo广东移动通信有限公司 | 数据监控方法、装置、电子设备及存储介质 |
| CN112433919A (zh) * | 2020-11-25 | 2021-03-02 | 深圳前海微众银行股份有限公司 | 一种信息告警方法、设备及存储介质 |
| CN112667479A (zh) * | 2020-12-30 | 2021-04-16 | 联想(北京)有限公司 | 一种信息监控方法及装置 |
| CN113064796A (zh) * | 2021-04-13 | 2021-07-02 | 上海浦东发展银行股份有限公司 | 一种无监督指标异常检测方法 |
| CN113064796B (zh) * | 2021-04-13 | 2022-08-12 | 上海浦东发展银行股份有限公司 | 一种无监督指标异常检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109815088B (zh) | 2022-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109815088A (zh) | 一种监控辅助方法及装置 | |
| US10904276B2 (en) | Systems and methods for anomaly detection | |
| CN107678845B (zh) | 应用程序管控方法、装置、存储介质及电子设备 | |
| US20220255817A1 (en) | Machine learning-based vnf anomaly detection system and method for virtual network management | |
| Xue et al. | Practise: Robust prediction of data center time series | |
| CN102081622B (zh) | 评估系统健康度的方法及系统健康度评估装置 | |
| CN106844161B (zh) | 一种带状态流计算系统中的异常监控及预测方法和系统 | |
| CN111401161A (zh) | 基于智能视频分析算法实现行为识别的智慧建筑管控系统 | |
| CN112114986B (zh) | 数据异常识别方法、装置、服务器和存储介质 | |
| CN109787846A (zh) | 一种5g网络服务质量异常监测和预测方法及系统 | |
| CN105204971A (zh) | 一种基于朴素贝叶斯分类技术的动态监控间隔调整方法 | |
| Beghoura et al. | Green software requirements and measurement: random decision forests-based software energy consumption profiling | |
| CN111930526B (zh) | 负载预测方法、装置、计算机设备和存储介质 | |
| CN110047512A (zh) | 一种环境声音分类方法、系统及相关装置 | |
| CN104408667A (zh) | 一种电能质量综合评估的方法和系统 | |
| CN110351136A (zh) | 一种故障定位方法和装置 | |
| CN113986595A (zh) | 一种异常定位方法及装置 | |
| CN114356734A (zh) | 服务异常检测方法和装置、设备、存储介质 | |
| CN112069039A (zh) | 人工智能开发平台的监控预知告警方法、装置及存储介质 | |
| CN114662618A (zh) | 一种基于联邦学习的故障诊断方法、装置及相关设备 | |
| CN102083087A (zh) | 一种主客观模型结合的话务量异常检测方法 | |
| CN109086816A (zh) | 一种基于贝叶斯分类算法的用户行为分析系统 | |
| CN114095032B (zh) | 基于Flink和RVR的数据流压缩方法、边缘计算系统及存储介质 | |
| Xiao | Machine learning in smart home energy monitoring system | |
| CN113282920B (zh) | 日志异常检测方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220803 Address after: No.16 and 17, unit 1, North District, Kailin center, No.51 Jinshui East Road, Zhengzhou area (Zhengdong), Henan pilot Free Trade Zone, Zhengzhou City, Henan Province, 450000 Patentee after: Zhengzhou Apas Technology Co.,Ltd. Address before: E301-27, building 1, No.1, hagongda Road, Tangjiawan Town, Zhuhai City, Guangdong Province Patentee before: ZHUHAI TIANYAN TECHNOLOGY Co.,Ltd. |
|
| TR01 | Transfer of patent right |