CN111309539A - 一种异常监测方法、装置和电子设备 - Google Patents
一种异常监测方法、装置和电子设备 Download PDFInfo
- Publication number
- CN111309539A CN111309539A CN202010221937.7A CN202010221937A CN111309539A CN 111309539 A CN111309539 A CN 111309539A CN 202010221937 A CN202010221937 A CN 202010221937A CN 111309539 A CN111309539 A CN 111309539A
- Authority
- CN
- China
- Prior art keywords
- target
- training
- data
- anomaly
- detection model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 247
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000001514 detection method Methods 0.000 claims abstract description 174
- 238000012549 training Methods 0.000 claims abstract description 156
- 238000012806 monitoring device Methods 0.000 claims abstract description 10
- 238000013136 deep learning model Methods 0.000 claims description 46
- 238000010801 machine learning Methods 0.000 claims description 45
- 230000002159 abnormal effect Effects 0.000 claims description 43
- 230000005856 abnormality Effects 0.000 claims description 29
- 238000004891 communication Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012423 maintenance Methods 0.000 abstract description 38
- 230000008569 process Effects 0.000 description 17
- 230000001960 triggered effect Effects 0.000 description 8
- 238000012360 testing method Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 208000002693 Multiple Abnormalities Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
- G06F11/2205—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing using arrangements specific to the hardware being tested
- G06F11/2236—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing using arrangements specific to the hardware being tested to test CPU or processors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3024—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a central processing unit [CPU]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computer Hardware Design (AREA)
- Mathematical Physics (AREA)
- Debugging And Monitoring (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明实施例提供了一种异常监测方法、装置和电子设备，所述异常监测方法，包括：获取目标监测任务的目标数据源；从所述目标数据源的数据中提取特征数据组，其中，所述特征数据组中包括的特征数据的种类与所述目标监测任务关联；将所述特征数据组输入至目标异常检测模型，得出异常监测结果，其中，所述目标异常检测模型基于所述目标监测任务的第一训练数据集训练得到，所述第一训练数据集包括历史异常数据，且所述第一训练数据集中特征数据的种类与所述特征数据组中的特征数据的种类相同。本发明实施例提供的异常监测方法，可以解决现有技术中对运维数据进行异常检测时，存在的异常监测系统结构复杂，且泛化能力弱的问题。
Description
技术领域
本发明涉及异常监测技术领域，具体涉及一种异常监测方法、装置和电子设备。
背景技术
随着云基础设施的和微服务架构越来越成为支撑互联网公司业务的重要基石，互联网公司在运维阶段将面对海量的线上数据，导致运维的复杂性问题日渐凸显，其中，对运维数据进行异常检测是运维过程中的重要环节，现有技术中通常是按照相关运维经验，制定相应的运维规则进行异常检测，例如，运维人员发现当CPU用量超过95％时为存在异常的表现，则可以设定相应的规则对CPU的用量进行监测，当监测到CPU用量超过95％时，则显示CPU异常，然而，运维人员难以将各种异常情况进行全面的总结，而运维人员总结出的运维经验不全面，使得采样此种方式仅能实现对一些表现明显且常见的异常进行检测，而很难对运维数据中的其他相对隐蔽的异常进行检测，可见，现有技术中在对运维数据进行异常检测时，存在异常监测系统结构复杂，且泛化能力弱的问题。
发明内容
本发明实施例的目的在于提供一种异常监测方法、装置和电子设备，以解决现有技术中对运维数据进行异常检测时，存在的检测效果差的问题。具体地方案如下：
在本发明实施的第一方面，首先提供了一种异常监测方法，包括：
获取目标监测任务的目标数据源；
从所述目标数据源的数据中提取特征数据组，其中，所述特征数据组中包括的特征数据的种类与所述目标监测任务关联；
将所述特征数据组输入至目标异常检测模型，得出异常监测结果，其中，所述目标异常检测模型基于所述目标监测任务的第一训练数据集训练得到，所述第一训练数据集包括历史异常数据，且所述第一训练数据集中特征数据的种类与所述特征数据组中的特征数据的种类相同。
在本发明实施的第二方面，还提供了一种异常监测装置，包括：
获取模块，用于获取运维数据，所述运维数据包括预设时间段内的目标参数集合；
确定模块，用于根据所述目标参数集合，确定至少一个目标监测指标的参数值；
检测模块，用于将所述参数值输入异常检测模型，由所述异常检测模型对所述参数值进行检测，以输出检测结果，其中，所述异常检测模型与所述至少一个目标监测指标关联。
在本发明实施的第三方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现所述异常监测方法步骤。
在本发明实施的第四方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现所述异常监测方法。
本发明实施例提供的一种异常监测方法、装置和电子设备，通过获取目标监测任务的目标数据源；从所述目标数据源的数据中提取特征数据组，其中，所述特征数据组中包括的特征数据的种类与所述目标监测任务关联；将所述特征数据组输入至目标异常检测模型，得出异常监测结果，其中，所述目标异常检测模型基于所述目标监测任务的第一训练数据集训练得到，所述第一训练数据集包括历史异常数据，且所述第一训练数据集中特征数据的种类与所述特征数据组中的特征数据的种类相同。这样，可以预先利用所述目标监测任务的第一训练数据集对异常检测模型进行训练，以对所述目标监测任务的异常数据进行学习，使训练出的异常检测模型的泛化能力提升，并避免了人为的制定运维规则且能够全面地学习各种异常情况，从而通过该异常检测模型对目标监测任务的数据进行监测时，使得得出的异常监测结果更加全面，从而提升了异常检测模型的检测效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例中一种异常监测方法的流程图之一；
图2为本发明实施例中一种异常监测方法的流程图之二；
图3为本发明实施例中触发监测任务的流程图；
图4为本发明实施例中一种异常监测装置的结构示意图；
图5为本发明实施例中一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
请参见图1，图1为本发明实施例提供的一种异常监测方法，所述方法包括：
步骤101、获取目标监测任务的目标数据源。
步骤102、从所述目标数据源的数据中提取特征数据组，其中，所述特征数据组中包括的特征数据的种类与所述目标监测任务关联。
在具体实施中，可以根据用户的输入操作确定目标监测任务，然后根据该目标监测任务确定与其关联的目标数据源，例如：在监测CPU的负荷时，从CPU获取日志信息，则该目标数据源为CPU日志信息的输出设备。当然，在具体实施中，在对目标数据源的数据进行特征提取之前，还可以对该数据源上获取的数据进行数据清洗和整流，例如：在监测CPU的负荷时，从CPU获取日志信息，然后对该日志信息中的多余数据进行删除，并将剩余的数据进行整理，以生成按照时间顺序排列的至少一组指标数据。在具体实施中，上述特征数据组中的特征数据可以是根据该指标数据进行计算得出的数据，例如：特征数据组包括均值和振幅，则均值所对应的参数值为上述按照时间顺序排列的一组指标数据中所有参数的平均值；振幅所对应的参数值为所述按照时间顺序排列的一组指标数据中最大的参数值与最小的参数值之间的差值。
另外，上述目标数据源可以是具体的设备或者运维平台等可以产生运维数据或者线上数据的软件或者硬件设备，例如：产生CPU运行日志的CPU，或者，产生运行数据流的应用程序等。
在具体实施中，上述目标监测任务可以是单个指标的异常监测，例如：监测CPU的负荷率、磁盘IO(也可以称之为：输入/输出(Input/Output，I/O))口的利用率、磁盘的读写数据量、磁盘读写延迟、网络最大延迟等，其还可以是监测一个系统的性能，例如：监测一个机器集群的健康性，与此同时，上述目标监测任务不限于云基础设施，其还可以是一个对外服务，例如：监测视频播放应用程序的健壮程度等。
此外，所述目标数据源可以持续的产生数据流，此时，可以从该目标数据源获取一段时间内的数据流，并针对该段时间内的数据流进行特征提取，以获取上述特征数据组，在具体实施中，上述特征数据组可以包括多种数据，例如：基于时间序列的最大值，最小值，均值，方差，标准差，斜率，峰态，分布，绝对值，自相关，方差自相关，熵，滑动平均值，权重滑动平均值，周期性等。
需要说明的是，在具体实施中，可以针对不同的监测任务提取不同种类的特征数据，例如：设置默认提取的特征数据的种类，当监测任务变更后，使该种类的特征数据不再适用时，通过人为设置的方式改变特征提取过程中提取的特征数据的种类。另外，上述从该目标数据源获取一段时间内的数据流可以是以指定某一时间点作为监测的起点，并从该起点监测一个时间段所得到的数据，例如，以1月10日作为起点，监测时长为2天，监测对象为磁盘IO的利用率数据，则持续监测1月10日至1月12日这一时间段内，磁盘IO的利用率。
步骤103、将所述特征数据组输入至目标异常检测模型，得出异常监测结果，其中，所述目标异常检测模型基于所述目标监测任务的第一训练数据集训练得到，所述第一训练数据集包括历史异常数据，且所述第一训练数据集中特征数据的种类与所述特征数据组中的特征数据的种类相同。
在具体实施中，可以在运维平台中嵌入异常监测系统，该异常监测系统可以包括监测数据采集模块和特征工程模块，所述监测数据采集模块用于从所述目标数据源采集数据，并发送至所述特征工程模块中，进行特征提取，以得出所述特征数据组。另外，该异常监测系统可以输出异常监测结果，以预测目标监测任务是出现异常情况。
在具体实施中，上述第一训练数据集可以是从目标数据源的历史数据中提取的特征数据，另外，从目标数据源的历史数据中提取第一训练数据集时采用的特征提取方法和从目标数据源的当前数据中提取特征数据组时采用的特征提取方法可以相同，以确保所述第一训练数据集中特征数据的种类与所述特征数据组中的特征数据的种类相同。
当然，第一训练数据集除了包括上述历史异常数据之外，还包括历史正常数据，在具体实施中，历史异常数据和历史正常数据的数量可以相同。
在异常检测模型的训练过程中，依次将第一训练数据集中的一组特征数据输入至训练模型中，以迭代更新所述异常检测模型，从而使该异常检测模型学习目标数据源的异常规则，从而在异常监测过程中能够基于该学习到的异常规则及时发现异常情况，进而使得出的异常监测结果更加准确。
另外，上述目标监测任务的数量可以是一个也可以是多个，在所述目标监测任务的数量为多个的情况下，分别针对每一目标监测任务执行上述步骤101至103，以得出与每一目标监测任务的异常监测结果。而且，上述异常检测模型的数量同样可以是一个也可以是多个，并且可以将同一目标监测任务分配至同一异常检测模型或者多个异常检测模型中进行监测，在此并不做具体限定。
可选地，在所述将所述特征数据组输入至目标异常检测模型，得出异常监测结果之前，所述方法还包括：
构建机器学习模型和深度学习模型；
基于所述第一训练数据集对所述机器学习模型进行训练；
在训练结果符合预设条件的情况下，确定所述目标异常检测模型为训练后的机器学习模型；
在所述训练结果不符合所述预设条件的情况下，基于所述第一训练数据集对所述深度学习模型进行训练，并确定所述目标异常检测模型为训练后的深度学习模型。
在具体实施中，上述预设条件可以理解为，训练得到的机器学习模型符合目标监测任务的准确度需求，例如：机器学习模型对目标数据源的学习结果与实际目标数据源的情况接近，具体可以通过相似度和准确率的数值指标评价训练得到的机器学习模型是否满足预设条件。
本实施方式中，基于机器学习模型和深度学习模型(以下统称为学习模型)的学习能力，通过学习模型对第一训练数据集中异常数据的特征进行学习，以使学习模型具备识别数据异常的能力，具体地，可以在集成模型之前设置一特征值提取层，将所述目标数据源的数据输入所述特征值提取层，由特征值提取层提取所述目标数据源的数据所对应的特征值，再将目标数据源的数据的输出结果作为所述学习模型的输入，以实现对学习模型的训练。
在实施中，第一训练数据集中的特征数据组可以包括多种指标的特征数据，在完成对模型的训练后，当对目标监测任务进行异常检测时，能够对多种指标进行监测，以得出更加全面和准确的监测结果。例如：在目标监测任务为检测目标服务是否可用时，可以同时监测CPU的利用率，以及监测IO口利用率，从而根据CPU的利用率和IO口利用率的组合来判断目标服务是否可用，具体的，若CPU的利用率为70％，且IO口利用率为50％，其中，单个CPU的利用率处于正常值范围内，单个IO口利用率也处于正常值范围内，但是CPU的利用率为70％且IO口利用率为50％的组合存在异常，则异常检测模型即可输出相应的告警信息。如此，异常检测模型可以从多个角度对目标数据源的监测数据进行检测，以便对监测数据中隐藏的故障进行监测。
在具体实施中，上述机器学习模型(下面以梯度提升树(XGBOOST)模型为例)的训练过程中，残差定义可以使用对数损失函数。具体的，训练过程中，XGBOOST模型的调参顺序依次为：树的个数，树的深度，迭代步长，随机抽样比例特征，样本权重等。在训练完成后，可以采用测试数据集对训练得到的学习模型进行验证，该验证可以采用交叉验证的方式得出学习模型的准确度和泛化误差等参数值。其中，测试数据集可以与第一训练数据集相同，或者，将从目标数据源提取的历史特征数据划分为测试数据集和第一训练数据集。
另外，在深度学习模型的训练过程中，其参数调整的次序为：每一层的维度，学习率，高斯分布/均匀分布，正则项等，另外，在训练完成后，同样可以采用上述测试数据集测试得出该深度学习模型的性能参数值。
进一步的，所述在训练结果符合预设条件的情况下，确定所述目标异常检测模型为训练后的机器学习模型，包括：
基于所述第一训练数据集对所述机器学习模型进行迭代训练得到的第一检测模型的性能参数值大于或者等于预设性能参数值的情况下，确定所述目标异常检测模型为所述第一检测模型；
所述在所述训练结果不符合所述预设条件的情况下，基于所述第一训练数据集对所述深度学习模型进行训练，并确定所述目标异常检测模型为训练后的深度学习模型，包括：
在所述第一检测模型的性能参数值小于所述预设性能参数值的情况下，基于所述第一训练数据集对所述深度学习模型进行迭代训练，得到第二检测模型；
确定所述目标异常检测模型为所述第二检测模型。
在具体实施中，可以采用异常监测系统执行上述集成模型的训练过程，该过程中核心算法模块会首先选择运算复杂度较低的机器学习模型进行训练，直至得出的第一检测模型的性能参数值大于或者等于预设性能参数值时，停止训练，并确定目标异常检测模型为该第一检测模型。若直至第一训练数据集中的特征数据组全部训练完成后，第一检测模型的性能参数值仍然小于预设性能参数值，则基于第一训练数据集对深度学习模型进行训练，直至得出的第二检测模型的性能参数值大于或者等于预设性能参数值时，停止训练，并确定目标异常检测模型为该第二检测模型。
在具体实施中，上述预设性能参数值可以包括：准确率、泛化误差值等中的至少一种。具体的，可以在准确率大于或者等于95％，且训练数据和测试数据集得出的训练结果表现接近(具体可以通过泛化误差值、相似性、方差等数值表现)时，确定性能参数值大于或者等于预设性能参数值。
本实施方式中，优先针对机器学习模型进行迭代训练，在得出的第一检测模型的性能参数值大于或者等于预设性能参数值的情况下，可以不必对深度学习模型进行训练，这样，基于机器学习模型的训练过程比深度学习模型的训练过程容易，可以简化所述目标异常检测模型的训练过程。另外，当得出的第一检测模型的性能参数值小于预设性能参数值的情况下，对深度学习模型进行训练，以利用高深度学习模型训练得到精确度更的目标异常检测模型，提升目标异常检测模型的准确性。
作为另一种可选的实施方式，在所述将所述特征数据组输入至目标异常检测模型，得出异常监测结果之前，所述方法还包括：
构建机器学习模型和深度学习模型；
在所述特征数据组中的特征数据的种类仅包括第一种类的情况下，确定所述目标异常检测模型由所述机器学习模型训练得到；
在所述特征数据组中的特征数据的种类仅包括第二种类的情况下，确定所述目标异常检测模型由所述深度学习模型训练得到。
其中，预先存储所述机器学习模型与所述第一种类的对应关系，以及所述深度学习模型与所述第二种类的对应关系。
在具体实施中，机器学习模型和深度学习模型对不同种类的特征数据的学习能力不同，其中，机器学习模型对第一种类的特征数据的学习能力强于深度学习模型对第一种类的特征数据的学习能力，且深度学习模型对第二种类的特征数据的学习能力强于机器学习模型对第二种类的特征数据的学习能力，这样，将所述机器学习模型与所述第一种类关联，并将所述深度学习模型与所述第二种类关联，从而根据特征数据的种类的不同，采用与其关联的学习模型进行训练，可以提升训练出的异常检测模型的准确性。
在具体实施中，上述第一种类的特征数据和上述第二种类的特征数据均可以泛指一种或者多种特征数据，在此不作具体限定。另外，上述第一种类和第二种类的特征数据可以分别属于不同指标的特征数据。
例如，某一特征数据组合存在第一种特征数据、第二种特征数据、第三种特征数据和第四种特征数据。首先将第一种特征数据、第二种特征数据、第三种特征数据和第四种特征数据所对应的参数值分别输入机器学习模型进行训练，得到第一异常检测模型，经过测试，第一异常检测模型可以成功识别第一种特征数据和第二种特征数据所对应的异常且识别结果的精度较高，而对第三种特征数据和第四种特征数据所对应的异常识别精度无法满足预设条件，在此情形下，进一步将第三种特征数据和第四种特征数据所对应的参数值分别输入深度学习模型进行训练，以得到所述第二异常检测模型，从而完成对上述存在异常的目标参数集合存在第一种特征数据、第二种特征数据、第三种特征数据和第四种特征数据的训练过程。可以在异常监测过程执行前，建立第一异常检测模型与第一种特征数据和第二种特征数据的关联关系，以及建立第二异常检测模型与第三种特征数据和第四种特征数据的关联关系。在具体应用阶段，当需要对所述目标监测任务进行异常检测时，获取目标数据源的数据，然后，分别从目标数据源的数据中提取包括第一种特征数据、第二种特征数据、第三种特征数据和第四种特征数据在内的特征数据组，并将第一种特征数据和第二种特征数据分别输入第一异常检测模型进行异常监测，同时，将第三种特征数据和第四种特征数据输入第二异常监测模型进行异常监测，以实现对所述特征数据组中各个特征数据的异常监测。本实施方式可以利用机器学习模型和深度学习模型对数据进行联合监测，以避免采用单一的学习模型进行数据监测时造成的准确率低甚至不能够完成监测的情况。
需要说明的是，在实际应用中，可以默认对于一般的特征数据采用先训练机器学习模型，再训练深度学习模型的方式确定目标异常检测模型，对于包括第一种类的特征数据，可以采用对应的机器学习模型进行训练得到。对于包括第二种类的特征数据，可以采用对应的深度学习模型进行训练得到。
作为一种可选的实施方式，在所述将所述特征数据组输入至目标异常检测模型，得出异常监测结果之后，所述方法还包括：
在所述异常监测结果与所述特征数据组对应的实际异常结果不匹配的情况下，将所述特征数据组加入至第二训练数据集；
基于所述第二训练数据集对所述目标异常检测模型进行训练，得到第三检测模型，其中，所述第三检测模型对所述特征数据组的异常监测结果与其实际异常结果匹配；
更新所述目标异常检测模型为所述第三检测模型。
具体地，在所述异常监测结果为所述特征数据组存在异常时，可以由监测人员对所述特征数据组对应的数据的实际监测结果进行查看或者分析，若分析结果与异常监测结果一致(即目标监测任务确实存在异常)，则输出相应的告警信息，若分析结果与异常监测结果不一致(即实际上该目标监测任务运行正常)，这可认定异常监测结果为异常检测模型的误判。这样，将产生误判结果的特征数据组加入至第二训练数据集，以在第二训练数据集内的特征数据积累到一定量时，再次利用该训练数据集对异常检测模型进行训练，从而有效的避免异常检测模型下次再产生相同的误判结果。该训练过程与利用第一训练数据集对异常检测模型进行训练的过程相似，在此不再赘述。
为了进一步提高异常监测系统的监测效率，在输出异常监测结果以供用户进行异常查看之前，还对异常监测结果进行处理，例如：将该异常监测结果转化为便于用户识别的异常监测结果，或者，对于相同异常结果进行合并输出等，从而提升用户识别异常监测结果的效率。其中，对于相同异常结果进行合并输出可以理解为：当异常检测模型对多个数据进行监测时，若发现多个数据存在异常，且异常监测结果相同(例如：均表现为CPU超负荷的多个异常监测结果)，则将该多个异常监测结果合并为一个异常监测结果，并输出该合并后的一个异常监测结果，这样，可以避免多次输出相同的异常监测结果，使分析人员对同一数据重复分析多次。
可选地，所述从所述目标数据源的数据中提取特征数据组，包括：
每间隔单位时长，从所述目标数据源获取当前单位时长内的数据集；
从所述数据集中提取特征数据组。
具体地，通过每隔一单位时长从目标数据源采集一次数据集，然后对所采集的数据集进行特征提取，并根据提取的特征值进行异常监测，其中，所述预设时长可以是30秒、1分钟或者2分钟等，在此并不穷举。
本实施方式，可以实现对从目标数据源的数据进行周期性的监测。
作为一种可选的实施方式，所述获取目标监测任务的目标数据源，包括：
获取所述目标监测任务包括的待监测数据量的数量N，其中，N为大于1的整数；
所述获取目标监测任务的目标数据源之后，所述方法还包括：
根据所述N的数值，调整目标异常监测系统的计算能力，其中，所述目标异常监测系统内安装有所述目标异常检测模型，若所述N的数值越大，则所述目标异常监测系统的计算能力越大，若所述N的数值越小，则所述目标异常监测系统的计算能力越小。
在具体实施中，所述目标监测任务的数量可以是一个也可以是多个，在所述目标监测任务的数量是多个的情况下，可以从各个目标监测任务的数据源获取数据，并分别提取各个目标监测任务对应的特征数据组，例如，可以同时对CPU的负荷数据和网络最大延迟进行监测，并将各个目标监测任务对应的特征数据组输入同一异常目标异常监测系统，如此，仅需设置一个异常监测系统即可实现对多个目标监测任务的异常监测。当目标监测任务的数量较多，或者一个目标监测任务对应的目标数据源的数据量大的情况下，本实施方式中根据待监测数据量的数值增大目标异常监测系统的计算能力，从而提升目标异常监测系统的计算效率。
现有技术中，为了检测运维平台各个位置是否存在异常，需要针对每个位置设置对应的检测规则，可见，与现有技术中通过人为设定规则相比，本发明实施例所提供的方法可以极大的简化异常监测过程。
本发明实施例提供的异常监测方法可以应用于异常监测平台，具体可以利用django搭建Restful API平台，并将异常检测模型封装于该Restful API平台内，以Restful(Representational State Transfer，表述性状态传递)API的方式对外提供监测任务的定义、监测任务的执行、监测任务终止和监测结果查看等服务。
进一步的，还可以利用vue为异常监测平台搭建前端网络页面，为用户提供简洁美观的操作界面。使得用户能利用图形化界面从异常监测平台上快速的获取智能监控服务，其中，vue是一套用于构建用户界面的渐进式JavaScript框架
当然，本发明提供的异常监测方法还可以是一段计算机程序等，该计算机程序被执行时，执行本方法提供的异常监测方法，在此并不具体限行本发明实施例提供的异常监测方法的具体应用方法。
本发明实施例提供的一种异常监测方法、装置和电子设备，通过获取目标监测任务的目标数据源；从所述目标数据源的数据中提取特征数据组，其中，所述特征数据组中包括的特征数据的种类与所述目标监测任务关联；将所述特征数据组输入至目标异常检测模型，得出异常监测结果，其中，所述目标异常检测模型基于所述目标监测任务的第一训练数据集训练得到，所述第一训练数据集包括历史异常数据，且所述第一训练数据集中特征数据的种类与所述特征数据组中的特征数据的种类相同。这样，可以预先利用所述目标监测任务的第一训练数据集对异常检测模型进行训练，以对所述目标监测任务的异常数据进行学习，使训练出的异常检测模型的泛化能力提升，并避免了人为的制定运维规则且能够全面地学习各种异常情况，从而通过该异常检测模型对目标监测任务的数据进行监测时，使得得出的异常监测结果更加全面，从而提升了异常检测模型的检测效果。
请参见图2，图2为本发明实施例提供的一种具体的运维数据异常监测方法的流程图，该方法包括以下步骤：在运维平台上搭建异常检测模型，获取目标监测任务的运维数据，调用异常监测平台的API接口检测，并根据目标监测任务对应的特征提取规则从所述运维数据中提取特征数据组，将所述特征数据组输入异常检测模型进行检测，并由异常检测模型输出异常监测结果，对异常监测结果进行处理以便于用户查看，由监测人员对所述异常监测结果进行查看并分析，在异常分析结果与异常监测结果一致的情况下输出告警信息，在异常查看结果与异常监测结果不一致的情况下，将该特征数据组加入第二训练数据集，通过第二训练数据集对所述异常检测模型进行训练。
在具体实施中，可以根据目标监测任务对应的业务策略，决定是否输出告警，例如：由业务策略约定，当监测到某一异常监测结果的数量达到5个时，输出告警信息等。这样，可以使用户根据告警信息及时发现运维系统的异常情况。
此外，在将上述异常检测模型具体应用于运维平台时，可以利用django搭建Restful API平台，以Restful(Representational State Transfer，表述性状态传递)API的方式对外提供监测任务的定义、监测任务的执行和监测任务终止等服务。
本实施方式中，通过利用django搭建Restful API平台的方式，提供异常监测服务，能够简化异常监测系统的结构复杂程度。
进一步地，在具体实施阶段，用户可以在运维平台上创建异常监测任务，其中，所述异常监测任务可以为定时触发的异常监测任务，例如，每隔一个小时触发一次监测任务。由于不同的时段需要运维的数据量不尽相同，因此，每次触发的监测任务的数量可以不同，具体地，在用户使用平台的高峰期，需要运维数据量相对较多，在此时段，每次可以触发多个不同的任务，而其他时段，可以一次触发一个任务，为了避免接口资源的浪费，可以利用Kubernetes搭建平台，其中，Kubernetes是Google开源的容器集群管理系统，其具有应用部署、维护、扩展机制等功能，因此，可以实现根据不同时段的监测任务负载，动态调整运维平台的计算能力。具体地，请参见图3，用户可以通过运维平台创建新的监测任务，例如：监控cpu空闲率(也可以称之为：cpu idle)等。在创建任务后，可以由QCE CeleryBeat(用于开启定时任务调度)发现新建任务，并加入定时任务调度，以设定相应的任务触发时间，并执行已触发的多个监测任务。其中，该多个监测任务被触发后，可以调用应用程序接口(Application Programming Interface，API)网关，以通过应用容器引擎dockercontainer执行该多个监测任务中的运维数据获取、数据处理、并对数据进行异常监测的过程，或者，该多个监测任务被触发后，可以调用容器集群管理系统(Kurbernetes，K8S)服务，以通过K8S pod执行该多个监测任务中的运维数据获取、数据处理、并对数据进行异常监测的过程，以实现根据目标监测任务的待监测数据的数量确定计算量，并根据该计算量调整运维平台的计算能力，避免资源浪费。
需要说明的是，对于任一监测任务，图3中所示调用服务平台API网关和调用K8s服务，两个为二选一的关系，对任一监测任务仅执行调用服务平台API网关和调用K8s服务中的一个，图3所示附图仅作为解释说明。
请参见图4，图4为本发明实施例提供的一种运维数据处理装置400，包括：
获取模块401，用于获取目标监测任务的目标数据源；
提取模块402，用于从所述目标数据源的数据中提取特征数据组，其中，所述特征数据组中包括的特征数据的种类与所述目标监测任务关联；
监测模块403，用于将所述特征数据组输入至目标异常检测模型，得出异常监测结果，其中，所述目标异常检测模型基于所述目标监测任务的第一训练数据集训练得到，所述第一训练数据集包括历史异常数据，且所述第一训练数据集中特征数据的种类与所述特征数据组中的特征数据的种类相同。
可选的，所述异常监测装置还包括：
第一建模模块，用于在所述将所述特征数据组输入至目标异常检测模型，得出异常监测结果之前，构建机器学习模型和深度学习模型；
第一训练模块，用于基于所述第一训练数据集对所述机器学习模型进行训练；
第二训练模块，用于在所述训练结果不符合所述预设条件的情况下，基于所述第一训练数据集对所述深度学习模型进行训练，并确定所述目标异常检测模型为训练后的深度学习模型。
可选的，所述第一训练模块，具体用于：
基于所述第一训练数据集对所述机器学习模型进行迭代训练得到的第一检测模型的性能参数值大于或者等于预设性能参数值的情况下，确定所述目标异常检测模型为所述第一检测模型。
所述第二训练模块，包括：
第一训练单元，用于在第一检测模型的性能参数值小于所述预设性能参数值的情况下，基于所述第一训练数据集对所述深度学习模型进行迭代训练，得到第二检测模型；
确定单元，用于确定所述目标异常检测模型为所述第二检测模型。
可选的，所述异常监测装置还包括：
数据处理模块，用于在所述将所述特征数据组输入至目标异常检测模型，得出异常监测结果之后，在所述异常监测结果与所述特征数据组对应的实际异常结果不匹配的情况下，将所述特征数据组加入至第二训练数据集；
第三训练模块，用于基于所述第二训练数据集对所述目标异常检测模型进行训练，得到第三检测模型，其中，所述第三检测模型对所述特征数据组的异常监测结果与其实际异常结果匹配；
更新模块，用于更新所述目标异常检测模型为所述第三检测模型。
可选的，所述异常监测装置还包括：
第二建模模块，用于在所述将所述特征数据组输入至目标异常检测模型，得出异常监测结果之前，构建机器学习模型和深度学习模型；
第一确定模块，用于在所述特征数据组中的特征数据的种类仅包括第一种类的情况下，确定所述目标异常检测模型由所述机器学习模型训练得到；
第二确定模块，用于在所述特征数据组中的特征数据的种类仅包括第二种类的情况下，确定所述目标异常检测模型由所述深度学习模型训练得到。
其中，预先存储所述机器学习模型与所述第一种类的对应关系，以及所述深度学习模型与所述第二种类的对应关系。
可选的，所述提取模块，包括：
获取单元，用于每间隔单位时长，从所述目标数据源获取当前单位时长内的数据集；
提取单元，用于从所述数据集中提取特征数据组。
可选的，所述获取模块，包括：
获取单元，用于获取所述目标监测任务包括的待监测数据量的数量N，其中，N为大于1的整数；
所述异常监测装置还包括：
调整模块，用于在所述获取目标监测任务的目标数据源之后，根据所述N的数值，调整目标异常监测系统的计算能力，其中，所述目标异常监测系统内安装有所述目标异常检测模型，其中，若所述N的数值越大，则所述目标异常检测系统的计算能力越大，若所述N的数值越小，则所述目标异常检测系统的计算能力越小。
本发明实施提供的异常监测装置为与上述实施例方法相对应的装置，其中，异常监测装置可以实现上述异常监测方法的各个步骤，并能够取得相同的有益效果，为避免重复，在此不再予以赘述。
本发明实施例还提供了一种电子设备，如图5所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信，
存储器503，用于存放计算机程序；
处理器501，用于执行存储器503上所存放的程序时，实现如下步骤：
获取目标监测任务的目标数据源；
从所述目标数据源的数据中提取特征数据组，其中，所述特征数据组中包括的特征数据的种类与所述目标监测任务关联；
将所述特征数据组输入至目标异常检测模型，得出异常监测结果，其中，所述目标异常检测模型基于所述目标监测任务的第一训练数据集训练得到，所述第一训练数据集包括历史异常数据，且所述第一训练数据集中特征数据的种类与所述特征数据组中的特征数据的种类相同。
可选的，在执行所述将所述特征数据组输入至目标异常检测模型，得出异常监测结果之前，所述处理器501还用于：
构建包括机器学习模型与深度学习模型的集成模型；
基于所述第一训练数据集对所述集成模型进行训练，在训练结果符合预设条件的情况下，确定所述目标异常检测模型，其中，所述目标异常检测模型由所述机器学习模型或者所述深度学习模型训练得到。
可选的，所述处理器501执行的所述基于所述第一训练数据集对所述集成模型进行训练，在训练结果符合预设条件的情况下，确定所述目标异常检测模型，包括：
基于所述第一训练数据集对所述机器学习模型进行迭代训练，得到第一检测模型；
在第一检测模型的性能参数值大于或者等于预设性能参数值的情况下，确定所述目标异常检测模型为所述第一检测模型，其中，所述第一检测模型为所述机器学习模型迭代训练后得到的模型；
在第一检测模型的性能参数值小于预设性能参数值的情况下，基于所述第一训练数据集对所述深度学习模型进行迭代训练，得到第二检测模型；
确定所述目标异常检测模型为所述第二检测模型。
可选的，在执行所述将所述特征数据组输入至目标异常检测模型，得出异常监测结果之后，所述处理器501还用于：
在所述异常监测结果与所述特征数据组对应的实际异常结果不匹配的情况下，将所述特征数据组加入至第二训练数据集；
基于所述第二训练数据集对所述目标异常检测模型进行训练，得到第三检测模型，其中，所述第三检测模型对所述特征数据组的异常监测结果与其实际异常结果匹配；
更新所述目标异常检测模型为所述第三检测模型。
可选的，所述处理器501在执行所述将所述特征数据组输入至目标异常检测模型，得出异常监测结果之前，还用于：
构建包括机器学习模型与深度学习模型的集成模型；
在所述特征数据组中的特征数据的种类包括第一种类的情况下，确定所述目标异常检测模型由所述机器学习模型训练得到；
在所述特征数据组中的特征数据的种类包括第二种类的情况下，确定所述目标异常检测模型由所述深度学习模型训练得到。
其中，预先存储所述机器学习模型与所述第一种类的对应关系，以及所述深度学习模型与所述第二种类的对应关系。
可选的，所述处理器501执行的从所述目标数据源的数据中提取特征数据组，包括：
每间隔单位时长，从所述目标数据源获取当前单位时长内的数据集；
从所述数据集中提取特征数据组。
可选的，所述处理器501执行的所述获取目标监测任务的目标数据源，包括：
获取所述目标监测任务包括的待监测数据量的数量N，其中，N为大于1的整数；
所述获取目标监测任务的目标数据源之后，所述方法还包括：
根据所述N的数值，调整目标异常监测系统的计算能力，其中，所述目标异常监测系统内安装有所述目标异常检测模型，若所述N的数值越大，则所述目标异常检测系统的计算能力越大，若所述N的数值越小，则所述目标异常检测系统的计算能力越小。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的异常监测方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的异常监测方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (10)
1.一种异常监测方法，其特征在于，包括：
获取目标监测任务的目标数据源；
从所述目标数据源的数据中提取特征数据组，其中，所述特征数据组中包括的特征数据的种类与所述目标监测任务关联；
将所述特征数据组输入至目标异常检测模型，得出异常监测结果，其中，所述目标异常检测模型基于所述目标监测任务的第一训练数据集训练得到，所述第一训练数据集包括历史异常数据，且所述第一训练数据集中特征数据的种类与所述特征数据组中的特征数据的种类相同。
2.根据权利要求1所述的方法，其特征在于，在所述将所述特征数据组输入至目标异常检测模型，得出异常监测结果之前，所述方法还包括：
构建机器学习模型和深度学习模型；
基于所述第一训练数据集对所述机器学习模型进行训练；
在训练结果符合预设条件的情况下，确定所述目标异常检测模型为训练后的机器学习模型；
在所述训练结果不符合所述预设条件的情况下，基于所述第一训练数据集对所述深度学习模型进行训练，并确定所述目标异常检测模型为训练后的深度学习模型。
3.根据权利要求2所述的方法，其特征在于，所述在训练结果符合预设条件的情况下，确定所述目标异常检测模型为训练后的机器学习模型，包括：
基于所述第一训练数据集对所述机器学习模型进行迭代训练得到的第一检测模型的性能参数值大于或者等于预设性能参数值的情况下，确定所述目标异常检测模型为所述第一检测模型；
所述在所述训练结果不符合所述预设条件的情况下，基于所述第一训练数据集对所述深度学习模型进行训练，并确定所述目标异常检测模型为训练后的深度学习模型，包括：
在所述第一检测模型的性能参数值小于所述预设性能参数值的情况下，基于所述第一训练数据集对所述深度学习模型进行迭代训练，得到第二检测模型；
确定所述目标异常检测模型为所述第二检测模型。
4.根据权利要求1所述的方法，其特征在于，在所述将所述特征数据组输入至目标异常检测模型，得出异常监测结果之后，所述方法还包括：
在所述异常监测结果与所述特征数据组对应的实际异常结果不匹配的情况下，将所述特征数据组加入至第二训练数据集；
基于所述第二训练数据集对所述目标异常检测模型进行训练，得到第三检测模型，其中，所述第三检测模型对所述特征数据组的异常监测结果与其实际异常结果匹配；
更新所述目标异常检测模型为所述第三检测模型。
5.根据权利要求1所述的方法，其特征在于，在所述将所述特征数据组输入至目标异常检测模型，得出异常监测结果之前，所述方法还包括：
构建机器学习模型和深度学习模型；
在所述特征数据组中的特征数据的种类仅包括第一种类的情况下，确定所述目标异常检测模型由所述机器学习模型训练得到；
在所述特征数据组中的特征数据的种类仅包括第二种类的情况下，确定所述目标异常检测模型由所述深度学习模型训练得到；
其中，预先存储由机器学习模型与所述第一种类的对应关系，以及深度学习模型与所述第二种类的对应关系。
6.根据权利要求1所述的方法，其特征在于，所述从所述目标数据源的数据中提取特征数据组，包括：
每间隔单位时长，从所述目标数据源获取当前单位时长内的数据集；
从所述数据集中提取特征数据组。
7.根据权利要求1所述的方法，其特征在于，所述获取目标监测任务的目标数据源，包括：
获取所述目标监测任务包括的待监测数据量的数量N，其中，N为大于1的整数；
所述获取目标监测任务的目标数据源之后，所述方法还包括：
根据所述N的数值，调整目标异常监测系统的计算能力，其中，所述目标异常监测系统内安装有所述目标异常检测模型，若所述N的数值越大，则所述目标异常监测系统的计算能力越大，若所述N的数值越小，则所述目标异常监测系统的计算能力越小。
8.一种异常监测装置，其特征在于，包括：
获取模块，用于获取目标监测任务的目标数据源；
提取模块，用于从所述目标数据源的数据中提取特征数据组，其中，所述特征数据组中包括的特征数据的种类与所述目标监测任务关联；
监测模块，用于将所述特征数据组输入至目标异常检测模型，得出异常监测结果，其中，所述目标异常检测模型基于所述目标监测任务的第一训练数据集训练得到，所述第一训练数据集包括历史异常数据，且所述第一训练数据集中特征数据的种类与所述特征数据组中的特征数据的种类相同。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7中任一所述的方法步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010221937.7A CN111309539A (zh) | 2020-03-26 | 2020-03-26 | 一种异常监测方法、装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010221937.7A CN111309539A (zh) | 2020-03-26 | 2020-03-26 | 一种异常监测方法、装置和电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111309539A true CN111309539A (zh) | 2020-06-19 |
Family
ID=71151372
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010221937.7A Pending CN111309539A (zh) | 2020-03-26 | 2020-03-26 | 一种异常监测方法、装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111309539A (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111866017A (zh) * | 2020-07-29 | 2020-10-30 | 北京天融信网络安全技术有限公司 | 一种can总线帧间隔异常的检测方法及装置 |
| CN112040501A (zh) * | 2020-08-28 | 2020-12-04 | 康键信息技术（深圳）有限公司 | 移动网络质量的检测预警方法、装置、设备及存储介质 |
| CN112329847A (zh) * | 2020-11-03 | 2021-02-05 | 北京神州泰岳软件股份有限公司 | 一种异常检测方法、装置、电子设备及存储介质 |
| CN112346860A (zh) * | 2020-10-27 | 2021-02-09 | 四川长虹电器股份有限公司 | 基于机器学习的弹性部署服务的方法及系统 |
| CN112737885A (zh) * | 2020-12-28 | 2021-04-30 | 鹏城实验室 | 一种自治域内自管理的bgp异常检测方法 |
| CN113064784A (zh) * | 2020-12-14 | 2021-07-02 | 上海金融期货信息技术有限公司 | 基于Django框架适用于金融衍生品系统的运维管理系统 |
| CN113127542A (zh) * | 2021-05-06 | 2021-07-16 | 郑州航空工业管理学院 | 一种数据异常分析方法和装置 |
| CN113448806A (zh) * | 2021-06-30 | 2021-09-28 | 平安证券股份有限公司 | 数据库集群异常检测方法、装置、终端设备及存储介质 |
| CN113535522A (zh) * | 2021-07-29 | 2021-10-22 | 中国工商银行股份有限公司 | 一种异常情况的检测方法、装置和设备 |
| CN113971093A (zh) * | 2020-07-22 | 2022-01-25 | 中移(苏州)软件技术有限公司 | 一种消息处理方法、装置、设备及计算机存储介质 |
| CN114331761A (zh) * | 2022-03-15 | 2022-04-12 | 浙江万胜智能科技股份有限公司 | 一种专变采集终端的设备参数分析调整方法及系统 |
| CN114630352A (zh) * | 2020-12-11 | 2022-06-14 | 中国移动通信集团湖南有限公司 | 一种接入设备的故障监测方法和装置 |
| WO2023093100A1 (zh) * | 2021-11-26 | 2023-06-01 | 浪潮通信信息系统有限公司 | 一种api网关异常调用识别的方法、装置、设备及产品 |
| CN116601576A (zh) * | 2020-12-08 | 2023-08-15 | 杰富意钢铁株式会社 | 时间序列信号的触发条件决定方法、监视对象设备的异常诊断方法以及时间序列信号的触发条件决定装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110008082A (zh) * | 2019-03-16 | 2019-07-12 | 平安科技（深圳）有限公司 | 异常任务智能监测方法、装置、设备及存储介质 |
| CN110008979A (zh) * | 2018-12-13 | 2019-07-12 | 阿里巴巴集团控股有限公司 | 异常数据预测方法、装置、电子设备及计算机存储介质 |
| CN110113226A (zh) * | 2019-04-16 | 2019-08-09 | 新华三信息安全技术有限公司 | 一种检测设备异常的方法及装置 |
-
2020
- 2020-03-26 CN CN202010221937.7A patent/CN111309539A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110008979A (zh) * | 2018-12-13 | 2019-07-12 | 阿里巴巴集团控股有限公司 | 异常数据预测方法、装置、电子设备及计算机存储介质 |
| CN110008082A (zh) * | 2019-03-16 | 2019-07-12 | 平安科技（深圳）有限公司 | 异常任务智能监测方法、装置、设备及存储介质 |
| CN110113226A (zh) * | 2019-04-16 | 2019-08-09 | 新华三信息安全技术有限公司 | 一种检测设备异常的方法及装置 |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113971093A (zh) * | 2020-07-22 | 2022-01-25 | 中移(苏州)软件技术有限公司 | 一种消息处理方法、装置、设备及计算机存储介质 |
| CN111866017A (zh) * | 2020-07-29 | 2020-10-30 | 北京天融信网络安全技术有限公司 | 一种can总线帧间隔异常的检测方法及装置 |
| CN111866017B (zh) * | 2020-07-29 | 2022-09-16 | 北京天融信网络安全技术有限公司 | 一种can总线帧间隔异常的检测方法及装置 |
| CN112040501A (zh) * | 2020-08-28 | 2020-12-04 | 康键信息技术（深圳）有限公司 | 移动网络质量的检测预警方法、装置、设备及存储介质 |
| CN112040501B (zh) * | 2020-08-28 | 2023-04-18 | 康键信息技术（深圳）有限公司 | 移动网络质量的检测预警方法、装置、设备及存储介质 |
| CN112346860A (zh) * | 2020-10-27 | 2021-02-09 | 四川长虹电器股份有限公司 | 基于机器学习的弹性部署服务的方法及系统 |
| CN112346860B (zh) * | 2020-10-27 | 2022-02-08 | 四川长虹电器股份有限公司 | 基于机器学习的弹性部署服务的方法及系统 |
| CN112329847A (zh) * | 2020-11-03 | 2021-02-05 | 北京神州泰岳软件股份有限公司 | 一种异常检测方法、装置、电子设备及存储介质 |
| CN116601576A (zh) * | 2020-12-08 | 2023-08-15 | 杰富意钢铁株式会社 | 时间序列信号的触发条件决定方法、监视对象设备的异常诊断方法以及时间序列信号的触发条件决定装置 |
| CN114630352A (zh) * | 2020-12-11 | 2022-06-14 | 中国移动通信集团湖南有限公司 | 一种接入设备的故障监测方法和装置 |
| CN114630352B (zh) * | 2020-12-11 | 2023-08-15 | 中国移动通信集团湖南有限公司 | 一种接入设备的故障监测方法和装置 |
| CN113064784A (zh) * | 2020-12-14 | 2021-07-02 | 上海金融期货信息技术有限公司 | 基于Django框架适用于金融衍生品系统的运维管理系统 |
| CN112737885A (zh) * | 2020-12-28 | 2021-04-30 | 鹏城实验室 | 一种自治域内自管理的bgp异常检测方法 |
| CN113127542A (zh) * | 2021-05-06 | 2021-07-16 | 郑州航空工业管理学院 | 一种数据异常分析方法和装置 |
| CN113448806B (zh) * | 2021-06-30 | 2022-12-09 | 平安证券股份有限公司 | 数据库集群异常检测方法、装置、终端设备及存储介质 |
| CN113448806A (zh) * | 2021-06-30 | 2021-09-28 | 平安证券股份有限公司 | 数据库集群异常检测方法、装置、终端设备及存储介质 |
| CN113535522A (zh) * | 2021-07-29 | 2021-10-22 | 中国工商银行股份有限公司 | 一种异常情况的检测方法、装置和设备 |
| WO2023093100A1 (zh) * | 2021-11-26 | 2023-06-01 | 浪潮通信信息系统有限公司 | 一种api网关异常调用识别的方法、装置、设备及产品 |
| CN114331761A (zh) * | 2022-03-15 | 2022-04-12 | 浙江万胜智能科技股份有限公司 | 一种专变采集终端的设备参数分析调整方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111309539A (zh) | 一种异常监测方法、装置和电子设备 | |
| CN110362612B (zh) | 由电子设备执行的异常数据检测方法、装置和电子设备 | |
| CN111177714B (zh) | 异常行为检测方法、装置、计算机设备和存储介质 | |
| US10528533B2 (en) | Anomaly detection at coarser granularity of data | |
| CN111045894B (zh) | 数据库异常检测方法、装置、计算机设备和存储介质 | |
| CN106104496A (zh) | 用于任意时序的不受监督的异常检测 | |
| CN113518011B (zh) | 异常检测方法和装置、电子设备及计算机可读存储介质 | |
| CN110457175B (zh) | 业务数据处理方法、装置、电子设备及介质 | |
| CN108230016B (zh) | 一种农产品市场价格传递分析方法及分析装置 | |
| CN111796957B (zh) | 基于应用日志的交易异常根因分析方法及系统 | |
| CN110351299B (zh) | 一种网络连接检测方法和装置 | |
| CN118211882B (zh) | 一种基于大数据的产品质量管理系统及方法 | |
| CN110956278A (zh) | 重新训练机器学习模型的方法和系统 | |
| KR20140051678A (ko) | 스마트 기기 결함 관리 장치 및 방법 | |
| CN115204733A (zh) | 数据审计方法、装置、电子设备及存储介质 | |
| CN115952081A (zh) | 一种软件测试方法、装置、存储介质及设备 | |
| CN113918438A (zh) | 服务器异常的检测方法、装置、服务器及存储介质 | |
| CN116915463B (zh) | 一种调用链数据安全分析方法、装置、设备及存储介质 | |
| CN113746862A (zh) | 一种基于机器学习的异常流量检测方法、装置和设备 | |
| CN117149565A (zh) | 云平台关键性能指标的状态检测方法、装置、设备及介质 | |
| CN115829160B (zh) | 一种时序异常预测方法、装置、设备及存储介质 | |
| Lee et al. | Detecting anomaly teletraffic using stochastic self-similarity based on Hadoop | |
| CN113344469B (zh) | 欺诈识别方法、装置、计算机设备及存储介质 | |
| CN114579519A (zh) | 文件系统的异常检测方法及装置、存储介质及电子设备 | |
| CN114881112A (zh) | 一种系统异常检测方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200619 |