CN117195118A - 一种数据的异常检测方法、装置、设备及介质 - Google Patents
一种数据的异常检测方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN117195118A CN117195118A CN202311057201.0A CN202311057201A CN117195118A CN 117195118 A CN117195118 A CN 117195118A CN 202311057201 A CN202311057201 A CN 202311057201A CN 117195118 A CN117195118 A CN 117195118A
- Authority
- CN
- China
- Prior art keywords
- target
- data
- index
- detected
- current time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 160
- 230000005856 abnormality Effects 0.000 claims abstract description 57
- 230000002159 abnormal effect Effects 0.000 claims abstract description 46
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000012549 training Methods 0.000 claims description 34
- 238000013480 data collection Methods 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 16
- 238000003860 storage Methods 0.000 claims description 13
- 238000004138 cluster model Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 8
- 238000012790 confirmation Methods 0.000 claims description 4
- 238000012217 deletion Methods 0.000 description 16
- 230000037430 deletion Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000012795 verification Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013179 statistical model Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明公开了一种数据的异常检测方法、装置、设备及介质。该方法包括：获取待检测指标在当前时间下的当前时间序列，并判断预先建立的聚类模型中是否存在与所述当前时间序列相匹配的目标类别；若是，则当目标类别为稳定类别时，根据所述聚类模型获取待检测指标的异常检测结果；当目标类别为可变类别时，根据所述聚类模型以及预先训练的异常检测模型协同获取待检测指标的异常检测结果；若否，则根据所述异常检测模型获取待检测指标的异常检测结果。通过采用上述技术方案，能够提高时间序列异常的检测效率，提升异常发现率，并减少异常误报率。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种数据的异常检测方法、装置、设备及介质。
背景技术
数据的异常检测是指识别数据中不合理、不规则或不寻常的行为或事件的过程。异常检测可应用于多个不同领域，例如金融、电力、制造、医疗保健等。对于不同领域的多模态数据，具有不同的异常检测方法，最常见的包括时间序列、图像视频等数据的异常检测。通过检测异常，可以识别存在风险、异常或欺诈的情况，并采取必要的措施预防或解决问题。
对于时间序列数据的异常检测，常用的方法包括基于统计模型、基于机器学习以及深度学习等。但是，基于统计模型进行异常检测，通常对需要检测的时序数据的数据分布有很高的要求，例如，nSigma算法要求数据分布满足正态分布，而实际情况中的各种时序数据形态各异，基于统计模型的异常检测普适性相对较差；基于机器学习进行异常检测，需要进行大量的人工标注工作，需要消耗大量的人力成本，且对于异常样本较少的领域，获取大量异常样本来进行打标分类成本较高；基于深度学习进行异常检测，由于基于深度学习的异常检测算法可能难以理解，从而可能导致用户难以确定异常检测算法的异常判断原因。
发明内容
本发明提供了一种数据的异常检测方法、装置、设备及介质，能够提高时间序列异常的检测效率，提升异常发现率，并减少异常误报率。
根据本发明的一方面，提供了一种数据的异常检测方法，包括：
获取待检测指标在当前时间下的当前时间序列，并判断预先建立的聚类模型中是否存在与所述当前时间序列相匹配的目标类别；
若是，则当目标类别为稳定类别时，根据所述聚类模型获取待检测指标的异常检测结果；当目标类别为可变类别时，根据所述聚类模型以及预先训练的异常检测模型协同获取待检测指标的异常检测结果；
若否，则根据所述异常检测模型获取待检测指标的异常检测结果。
根据本发明的另一方面，提供了一种数据的异常检测装置，包括：
目标类别确认模块，用于获取待检测指标在当前时间下的当前时间序列，并判断预先建立的聚类模型中是否存在与所述当前时间序列相匹配的目标类别；
第一异常检测模块，用于若是，则当目标类别为稳定类别时，根据所述聚类模型获取待检测指标的异常检测结果；当目标类别为可变类别时，根据所述聚类模型以及预先训练的异常检测模型协同获取待检测指标的异常检测结果；
第二异常检测模块，用于若否，则根据所述异常检测模型获取待检测指标的异常检测结果。
根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的数据的异常检测方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的数据的异常检测方法。
本发明实施例的技术方案，通过获取待检测指标在当前时间下的当前时间序列，判断聚类模型中是否存在与当前时间序列相匹配的目标类别，并判断目标类别是否为稳定类别，并根据判断结果确定对当前时间序列进行异常检测的模型，利用相应的模型进行异常检测的方法，能够实现对当前时间序列进行精准且高效的异常检测，能够有效提升异常发现率，减少异常误报率，并能够有效提高异常检测算法的可解释性，满足真实场景下的时间序列异常检测需求，便于用户了解数据的异常原因。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种数据的异常检测方法的流程图；
图2是根据本发明实施例二提供的另一种数据的异常检测方法的流程图；
图3是根据本发明实施例三提供的一种数据的异常检测装置的结构示意图；
图4是实现本发明实施例的数据的异常检测方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1为本发明实施例一提供的一种数据的异常检测方法的流程图，本实施例可适用于对计算机中各指标进行异常检测的情况，该方法可以由数据的异常检测装置来执行，该数据的异常检测装置可以采用硬件和/或软件的形式实现，并一般可配置于具备数据处理功能的计算机或处理器中。如图1所示，该方法包括：
S110、获取待检测指标在当前时间下的当前时间序列，并判断预先建立的聚类模型中是否存在与所述当前时间序列相匹配的目标类别；若是，执行S120；若否，执行S130。
可选的，待检测指标可以理解为当前进行异常检测的数据所属的数据指标，例如，当对于计算机数据进行检测时，待检测指标可以为cpu的占用率以及磁盘容量等信息。
可选的，时间序列一般可以存储每个自然日内的每个时间节点下的数据，例如，可以在每个自然日内将每一分钟下的数据按时间顺序存储，生成一个时间序列。当前时间下的时间序列可以理解为当天的0点至当前时间内每一个时间节点下的数据所构成的时间序列。在一个更具体的例子中，可以以1分钟作为一个时间节点，则待检测指标在当天8点前的时间序列中可以存储0点到8点内每一分钟所检测到的待检测指标的数据，8点前的时间序列可表示为ts＝(v1,...,vi-1,vi,vi+1,...,v480)。
可选的，聚类模型中可以存储多个指标的多个分类类别，对于不同指标，其分类方式不同。例如，对于cpu的占用率这个指标来说，对于同一台计算机，其工作日和周末的占用率可能不同，或者工作时间与休息时间的占用率也可能不同，进而，可以根据历史的cpu占用率情况进行分类。
可选的，在聚类模型中可能存在多个类别与当前时间序列相匹配，与当前时间序列匹配度最高的类别可以作为当前时间序列的目标类别。
可选的，在聚类模型中，每一个类别都具有一个与其匹配的时间序列，该时间序列为模型训练的结果，其中记录有历史时间内每一个时间节点下所采集该类别数据的平均值，例如，当以1分钟作为一个时间节点时，每个类别中可以包括1440个数据值，每个数据值为历史时间段内该类别的数据在每一分钟下的均值，某一具体的分类类别的时间序列可表示为cluster_avg＝[avg1,avg2,avg3,...,avg1440]。
可选的，目标时间序列在聚类模型中所属类别可通过欧氏距离进行计算。续前例，若当前时间序列为ts，聚类模型中某一类别的时间序列为cluster_avg，则可分别计算v1与avg1、v2与avg2、…、v480与avg480之间的欧式距离，通过每个时间点处的欧式距离，判断当前时间序列所属类别。
可选的，类别判断可以考虑下述几个条件：可以预设一个时间点的百分比，当超过该预设百分比的时间点均属于某一类别时，则可确定目标时间序列属于该类别，例如，预设80％的时间点都属于某一类别时，可确定时间序列属于该类别，即当存在384个时间点均属于类别1时，则目标时间序列属于类别1；在确定每个时间点下的目标类别时，一般情况下与某个时间点欧氏距离最近的类别可作为其目标类别，但对于部分类别可能存在距离阈值，也即，即使与该类别欧氏距离最近，但欧氏距离大于该类别的阈值时，该时间点也不属于该类别。
S120、当目标类别为稳定类别时，根据所述聚类模型获取待检测指标的异常检测结果；当目标类别为可变类别时，根据所述聚类模型以及预先训练的异常检测模型协同获取待检测指标的异常检测结果。
可选的，可以对类别判断设置一个时间范围，当在该时间范围内，各时间点均属于目标类别时，则可确定目标类别为稳定类别，当在该时间范围内，部分时间点属于目标类别，部分时间点属于其他类别时，则确定目标类别为可变类别。
可选的，在聚类模型训练过程中，对于每个类别均计算出其上界值以及下界值，若当前时间序列中某一时间点的值大于目标类别的上界值，或小于目标类别的下界值时，可确定该时间点的值为异常值。
可选的，异常检测模型也为预先训练的模型，将时间序列输入至异常检测模型中，即可获取异常检测结果。
可选的，当目标类别为可变类别时，需要聚类模型与异常检测模型均确定某一时间点的数据为异常数据时，该数据才确定为异常数据。
可以理解的是，采用聚类模型进行异常检测，可直接调用预先训练生成的上界值以及下界值进行检测，检测效率较高，但对于无法明确分类或无法分类的时间序列，可以结合异常检测模型进行异常检测，能够提高异常检测的鲁棒性，从而减少异常判断结果的误报。
S130、根据所述异常检测模型获取待检测指标的异常检测结果。
可选的，异常检测模型可以为孤立森林模型。
本发明实施例的技术方案，通过获取待检测指标在当前时间下的当前时间序列，判断聚类模型中是否存在与当前时间序列相匹配的目标类别，并判断目标类别是否为稳定类别，并根据判断结果确定对当前时间序列进行异常检测的模型，利用相应的模型进行异常检测的方法，能够实现对当前时间序列进行精准且高效的异常检测，能够有效提升异常发现率，减少异常误报率，并能够有效提高异常检测算法的可解释性，满足真实场景下的时间序列异常检测需求，便于用户了解数据的异常原因。
实施例二
图2为本发明实施例二提供的一种数据的异常检测方法的流程图，本实施例在上述实施例的基础上，具体说明了数据的异常检测方法。如图2所示，该方法包括：
S210、获取待检测指标在当前时间下的当前时间序列以及待检测指标的聚类信息，并根据待检测指标的聚类信息，判断所述聚类模型中是否存在与待检测指标相匹配的可选类别；若是，执行步骤S220；若否，执行步骤S230。
可选的，聚类信息可以为待检测指标的信息关键词，例如，当待检测指标为cpu的占用率时，可获取当前时间序列的时间信息或日期信息等，作为聚类信息。
S220、根据所述当前时间确定待检测时间范围，并根据所述当前时间序列以及各可选类别中在所述待检测时间范围内各时间点的数据值，在各可选类别中确定与所述当前时间序列匹配度最高的目标类别；执行步骤S240。
可选的，待检测时间范围可以为当天0点至当前时间所组成的时间范围，也可以为指定的时间范围，并不对此进行具体限制。
S230、确定所述聚类模型中不存在与所述当前时间序列相匹配的目标类别；执行步骤S2110。
S240、获取预设的参考时间范围，判断与当前时间序列中的参考时间范围内的各时间点分别匹配的类别是否均为目标类别；若是，执行步骤S250；若否，执行步骤S280。
S250、确定目标类别为稳定类别。
S260、根据所述聚类模型，获取当前时间序列中目标时间点的上界值以及下界值，并根据所述上界值与下界值确定异常范围。
可选的，异常范围可以为大于上界值的数据范围以及小于下界值的数据范围。
S270、若所述目标时间点的数据值在所述异常范围内，则确定在目标时间点下所述待检测指标为异常状态。
S280、确定目标类别为可变类别。
S290、根据所述聚类模型，获取当前时间序列中目标时间点的上界值以及下界值，并根据所述上界值与下界值确定异常范围。
S2100、若所述目标时间点的数据值在所述异常范围内，且异常检测模型输出的目标时间点的检测结果也为异常时，则确定在目标时间点下所述待检测指标为异常状态。
S2110、根据所述异常检测模型获取待检测指标的异常检测结果。
本发明实施例的技术方案，通过获取待检测指标在当前时间下的当前时间序列，判断聚类模型中是否存在与当前时间序列相匹配的目标类别，并判断目标类别是否为稳定类别，并根据判断结果确定对当前时间序列进行异常检测的模型，利用相应的模型进行异常检测的方法，能够实现对当前时间序列进行精准且高效的异常检测，能够有效提升异常发现率，减少异常误报率，并能够有效提高异常检测算法的可解释性，满足真实场景下的时间序列异常检测需求，便于用户了解数据的异常原因。
进一步的，在获取待检测指标在当前时间下的当前时间序列之前，还可以包括：
获取第一目标指标在第一数据收集时间范围内各时间点的检测数据，并对所述检测数据进行预处理；
将预处理后的检测数据按天划分，并依次将每天的检测数据转换成多个第一时间窗口下的均值以及方差，生成与第一数据收集时间范围内每一天相对应的降维数据；
将所述各降维数据进行组合，生成聚类模型的训练数据；
根据聚类模型的训练数据进行聚类，获取与第一目标指标匹配的多个聚类类别，并获取每个聚类类别下各时间点的均值、上界值以及下界值，以生成聚类模型。
可选的，第一目标指标可以指当前训练聚类模型所采用的当前数据指标，第一数据收集时间可以为一个预设的数据采集时间，例如，第一数据收集时间可以为三个月，第一数据收集时间内各时间点的检测数据可用于训练聚类模型。
可选的，检测数据的预处理可以包括分组、去重、数据质量校验以及缺失值填充。分组可将检测数据按自然日进行分组，去重可以指删除各分组内的重复数据，数据质量校验可以对各分组的缺失率进行校验，当某一分组的数据缺失率大于预设的缺失率阈值，则该分组数据不可作为训练数据，缺失值填充可以指对于存在缺失，但缺失率小于缺失率阈值的分组进行缺失数据填充，填充方法可以包括向前填充、向后填充以及均值填充等。
可选的，第一时间窗口可以指用于生成聚类模型训练数据的数据降维时间窗口，例如，可以设置每8个小时为一个时间窗口。
在一个可选的例子中，预处理后的某一天的时间序列可以为[ts1,ts2,ts3,...,ts1440]，经过降维处理后生成的训练数据可以为[avg1,std1,avg2,std2,avg3,std3]，其中，avgi表示第i个时间窗口所有值的均值，stdi表示第i个时间窗口所有值的方差，具体的，avg1可理解为ts1到ts480的平均值，std1可理解为ts1到ts480的方差，并以此列推。
续前例，对第一数据收集时间范围内所有合格的数据进行上述处理后，可获取最终的训练数据：
其中，avgn,i表示第n天第i个时间窗口所有值的均值，stdn,i表示第n天第i个时间窗口的方差；每一行代表某一天原始数据经过降维以后得到的训练数据。
可选的，可以通过上述训练数据进行聚类，聚类算法可以选用DBSCAN(Density-Based Spatial Clustering of Applications with Noise)聚类算法，DBSCAN的MinPts参数可设置为其中，len(train_data)可以表示训练数据的长度，也可以指上述训练数据中的n值。
进一步的，假设经过聚类后，共得到m个类别，其中第i个类别共包含n个对象(即n天)，那么第i类的原始时间序列数据可以为：
其中，tsn,j表示第n天第j个点的原始值。
可选的，可以根据下述公式计算该类别每个时间点所对应的均值cluster_avg：
其中，avgi表示该类中每一天第i个点对应的所有值的均值。
可选的，可以根据下述公式计算该类别每个时间点所对应的上界值cluster_upper以及下界值cluster_lower：
cluster_upper＝[avgi+3*stdi for j in[1,1440]]；
cluster_lower＝[avgi-3*stdi for j in[1,1440]]；
其中，stdi表示该类中每一天第i个点对应的所有值的方差。
其中，获取每个聚类类别下各时间点的均值、上界值以及下界值，可以包括：
将目标聚类类别中每一天的时间序列按日期顺序组合，生成与目标聚类类别匹配的原始时间序列；
根据原始时间序列中各时间点的数据，计算得到目标聚类类别下各时间点的均值以及方差；
根据目标聚类类别下各时间点的均值以及方差，计算得到目标聚类类别下各时间点的上界值以及下界值。
进一步的，在获取待检测指标在当前时间下的当前时间序列之前，还可以包括：
获取第二目标指标在第二数据收集时间范围内各时间点的检测数据并进行预处理，以获取第二目标指标在第二数据收集时间范围内每一天的时间序列；
根据第二目标指标的各时间序列，获取第二数据收集时间范围内各时间点在第二时间窗口内的方差差值以及一阶差分的方差；
将第二目标指标的各时间序列、方差差值以及一阶差分的方差进行组合，生成异常检测模型的训练数据；
根据异常检测模型的训练数据进行模型训练，并获取训练后的异常检测模型。
可选的，第二目标指标可以指当前训练异常分类模型所采用的当前数据指标，第二数据收集时间可以为一个预设的数据采集时间，例如，第二数据收集时间可以为一个月，第二数据收集时间内各时间点的检测数据可用于训练异常检测模型。
可选的，检测数据的预处理可以包括分组、去重、数据质量校验以及缺失值填充。分组可将检测数据按自然日进行分组，去重可以指删除各分组内的重复数据，数据质量校验可以对各分组的缺失率进行校验，当某一分组的数据缺失率大于预设的缺失率阈值，则该分组数据不可作为训练数据，缺失值填充可以指对于存在缺失，但缺失率小于缺失率阈值的分组进行缺失数据填充，填充方法可以包括向前填充、向后填充以及均值填充等。
可选的，第二时间窗口可以指用于生成异常检测模型训练数据的数据增维时间窗口，例如，可以设置每5分钟为一个时间窗口。
续前例，第二数据收集时间范围内时间点i在第二时间窗口内的方差差值可以为std_changei＝σ(P1)-σ(P2)，其中，P1＝(vm,...,vi-1,vi,vi+1,...,vn)，P2＝(vm,...,vi-1,vi+1,...,vn)，vi表示第i个点的值。第二数据收集时间范围内时间点i在第二时间窗口，即5分钟内的一阶差分的方差可以为其中，diffi表示第i个点的一阶差分，/>表示该时间窗口内所有点一阶差分的均值。
可选的，若预处理完后的数据为：
[v1,1,v1,2,...,v1,1440,...,vi,1,vi,2,...,vi,1440]；
则异常检测模型的训练数据可以为：
其中，vi,k表示第i天第k个时间点的值。
实施例三
图3为本发明实施例三提供的一种数据的异常检测装置的结构示意图。如图3所示，该装置包括：目标类别确认模块310、第一异常检测模块320以及第二异常检测模块330。
目标类别确认模块310，用于获取待检测指标在当前时间下的当前时间序列，并判断预先建立的聚类模型中是否存在与所述当前时间序列相匹配的目标类别。
第一异常检测模块320，用于若是，则当目标类别为稳定类别时，根据所述聚类模型获取待检测指标的异常检测结果；当目标类别为可变类别时，根据所述聚类模型以及预先训练的异常检测模型协同获取待检测指标的异常检测结果。
第二异常检测模块330，用于若否，则根据所述异常检测模型获取待检测指标的异常检测结果。
本发明实施例的技术方案，通过获取待检测指标在当前时间下的当前时间序列，判断聚类模型中是否存在与当前时间序列相匹配的目标类别，并判断目标类别是否为稳定类别，并根据判断结果确定对当前时间序列进行异常检测的模型，利用相应的模型进行异常检测的方法，能够实现对当前时间序列进行精准且高效的异常检测，能够有效提升异常发现率，减少异常误报率，并能够有效提高异常检测算法的可解释性，满足真实场景下的时间序列异常检测需求，便于用户了解数据的异常原因。
在上述各实施例的基础上，目标类别确认模块310，可以具体用于：
获取待检测指标在当前时间下的当前时间序列以及待检测指标的聚类信息，并根据待检测指标的聚类信息，判断所述聚类模型中是否存在与待检测指标相匹配的可选类别；
若存在，则根据所述当前时间确定待检测时间范围，并根据所述当前时间序列以及各可选类别中在所述待检测时间范围内各时间点的数据值，在各可选类别中确定与所述当前时间序列匹配度最高的目标类别；
若不存在，则确定所述聚类模型中不存在与所述当前时间序列相匹配的目标类别。
在上述各实施例的基础上，第一异常检测模块320，可以包括稳定类别异常检测单元以及可变类别异常检测单元。
在上述各实施例的基础上，稳定类别异常检测单元，可以具体用于：
获取预设的参考时间范围，判断与当前时间序列中的参考时间范围内的各时间点分别匹配的类别是否均为目标类别；若是，则确定目标类别为稳定类别；
根据所述聚类模型，获取当前时间序列中目标时间点的上界值以及下界值，并根据所述上界值与下界值确定异常范围；
若所述目标时间点的数据值在所述异常范围内，则确定在目标时间点下所述待检测指标为异常状态。
在上述各实施例的基础上，可变类别异常检测单元，可以具体用于：
获取预设的参考时间范围，判断与当前时间序列中的参考时间范围内的各时间点分别匹配的类别是否均为目标类别；若否，则确定目标类别为可变类别；
根据所述聚类模型，获取当前时间序列中目标时间点的上界值以及下界值，并根据所述上界值与下界值确定异常范围；
若所述目标时间点的数据值在所述异常范围内，且异常检测模型输出的目标时间点的检测结果也为异常时，则确定在目标时间点下所述待检测指标为异常状态。
在上述各实施例的基础上，还可以包括聚类模型训练模块，具体包括：
第一目标指标检测数据获取单元，用于获取第一目标指标在第一数据收集时间范围内各时间点的检测数据，并对所述检测数据进行预处理；
降维数据生成单元，用于将预处理后的检测数据按天划分，并依次将每天的检测数据转换成多个第一时间窗口下的均值以及方差，生成与第一数据收集时间范围内每一天相对应的降维数据；
训练数据生成单元，用于将所述各降维数据进行组合，生成聚类模型的训练数据；
参考值获取单元，用于根据聚类模型的训练数据进行聚类，获取与第一目标指标匹配的多个聚类类别，并获取每个聚类类别下各时间点的均值、上界值以及下界值，以生成聚类模型。
在上述各实施例的基础上，参考值获取单元，可以具体用于：
将目标聚类类别中每一天的时间序列按日期顺序组合，生成与目标聚类类别匹配的原始时间序列；
根据原始时间序列中各时间点的数据，计算得到目标聚类类别下各时间点的均值以及方差；
根据目标聚类类别下各时间点的均值以及方差，计算得到目标聚类类别下各时间点的上界值以及下界值。
在上述各实施例的基础上，还可以包括异常检测模型训练模块，具体用于：
获取第二目标指标在第二数据收集时间范围内各时间点的检测数据并进行预处理，以获取第二目标指标在第二数据收集时间范围内每一天的时间序列；
根据第二目标指标的各时间序列，获取第二数据收集时间范围内各时间点在第二时间窗口内的方差差值以及一阶差分的方差；
将第二目标指标的各时间序列、方差差值以及一阶差分的方差进行组合，生成异常检测模型的训练数据；
根据异常检测模型的训练数据进行模型训练，并获取训练后的异常检测模型。
本发明实施例所提供的数据的异常检测装置可执行本发明任意实施例所提供的数据的异常检测方法，具备执行方法相应的功能模块和有益效果。
实施例四
图4示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图4所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如如本发明实施例所述的数据的异常检测方法。也即：
获取待检测指标在当前时间下的当前时间序列，并判断预先建立的聚类模型中是否存在与所述当前时间序列相匹配的目标类别；
若是，则当目标类别为稳定类别时，根据所述聚类模型获取待检测指标的异常检测结果；当目标类别为可变类别时，根据所述聚类模型以及预先训练的异常检测模型协同获取待检测指标的异常检测结果；
若否，则根据所述异常检测模型获取待检测指标的异常检测结果。
在一些实施例中，数据的异常检测方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的数据的异常检测方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行数据的异常检测方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (10)
1.一种数据的异常检测方法，其特征在于，包括：
获取待检测指标在当前时间下的当前时间序列，并判断预先建立的聚类模型中是否存在与所述当前时间序列相匹配的目标类别；
若是，则当目标类别为稳定类别时，根据所述聚类模型获取待检测指标的异常检测结果；当目标类别为可变类别时，根据所述聚类模型以及预先训练的异常检测模型协同获取待检测指标的异常检测结果；
若否，则根据所述异常检测模型获取待检测指标的异常检测结果。
2.根据权利要求1所述的方法，其特征在于，获取待检测指标在当前时间下的当前时间序列，并判断预先建立的聚类模型中是否存在与所述当前时间序列相匹配的目标类别，包括：
获取待检测指标在当前时间下的当前时间序列以及待检测指标的聚类信息，并根据待检测指标的聚类信息，判断所述聚类模型中是否存在与待检测指标相匹配的可选类别；
若存在，则根据所述当前时间确定待检测时间范围，并根据所述当前时间序列以及各可选类别中在所述待检测时间范围内各时间点的数据值，在各可选类别中确定与所述当前时间序列匹配度最高的目标类别；
若不存在，则确定所述聚类模型中不存在与所述当前时间序列相匹配的目标类别。
3.根据权利要求2所述的方法，其特征在于，当目标类别为稳定类别时，根据所述聚类模型获取待检测指标的异常检测结果，包括：
获取预设的参考时间范围，判断与当前时间序列中的参考时间范围内的各时间点分别匹配的类别是否均为目标类别；若是，则确定目标类别为稳定类别；
根据所述聚类模型，获取当前时间序列中目标时间点的上界值以及下界值，并根据所述上界值与下界值确定异常范围；
若所述目标时间点的数据值在所述异常范围内，则确定在目标时间点下所述待检测指标为异常状态。
4.根据权利要求3所述的方法，其特征在于，当目标类别为可变类别时，根据所述聚类模型以及预先训练的异常检测模型协同获取待检测指标的异常检测结果，包括：
获取预设的参考时间范围，判断与当前时间序列中的参考时间范围内的各时间点分别匹配的类别是否均为目标类别；若否，则确定目标类别为可变类别；
根据所述聚类模型，获取当前时间序列中目标时间点的上界值以及下界值，并根据所述上界值与下界值确定异常范围；
若所述目标时间点的数据值在所述异常范围内，且异常检测模型输出的目标时间点的检测结果也为异常时，则确定在目标时间点下所述待检测指标为异常状态。
5.根据权利要求1-4任一项所述的方法，其特征在于，在获取待检测指标在当前时间下的当前时间序列之前，还包括：
获取第一目标指标在第一数据收集时间范围内各时间点的检测数据，并对所述检测数据进行预处理；
将预处理后的检测数据按天划分，并依次将每天的检测数据转换成多个第一时间窗口下的均值以及方差，生成与第一数据收集时间范围内每一天相对应的降维数据；
将所述各降维数据进行组合，生成聚类模型的训练数据；
根据聚类模型的训练数据进行聚类，获取与第一目标指标匹配的多个聚类类别，并获取每个聚类类别下各时间点的均值、上界值以及下界值，以生成聚类模型。
6.根据权利要求5所述的方法，其特征在于，获取每个聚类类别下各时间点的均值、上界值以及下界值，包括：
将目标聚类类别中每一天的时间序列按日期顺序组合，生成与目标聚类类别匹配的原始时间序列；
根据原始时间序列中各时间点的数据，计算得到目标聚类类别下各时间点的均值以及方差；
根据目标聚类类别下各时间点的均值以及方差，计算得到目标聚类类别下各时间点的上界值以及下界值。
7.根据权利要求1-4任一项所述的方法，其特征在于，在获取待检测指标在当前时间下的当前时间序列之前，还包括：
获取第二目标指标在第二数据收集时间范围内各时间点的检测数据并进行预处理，以获取第二目标指标在第二数据收集时间范围内每一天的时间序列；
根据第二目标指标的各时间序列，获取第二数据收集时间范围内各时间点在第二时间窗口内的方差差值以及一阶差分的方差；
将第二目标指标的各时间序列、方差差值以及一阶差分的方差进行组合，生成异常检测模型的训练数据；
根据异常检测模型的训练数据进行模型训练，并获取训练后的异常检测模型。
8.一种数据的异常检测装置，其特征在于，包括：
目标类别确认模块，用于获取待检测指标在当前时间下的当前时间序列，并判断预先建立的聚类模型中是否存在与所述当前时间序列相匹配的目标类别；
第一异常检测模块，用于若是，则当目标类别为稳定类别时，根据所述聚类模型获取待检测指标的异常检测结果；当目标类别为可变类别时，根据所述聚类模型以及预先训练的异常检测模型协同获取待检测指标的异常检测结果；
第二异常检测模块，用于若否，则根据所述异常检测模型获取待检测指标的异常检测结果。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明权利要求1-7中任一项所述的数据的异常检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的数据的异常检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311057201.0A CN117195118A (zh) | 2023-08-22 | 2023-08-22 | 一种数据的异常检测方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311057201.0A CN117195118A (zh) | 2023-08-22 | 2023-08-22 | 一种数据的异常检测方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117195118A true CN117195118A (zh) | 2023-12-08 |
Family
ID=88987868
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311057201.0A Pending CN117195118A (zh) | 2023-08-22 | 2023-08-22 | 一种数据的异常检测方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117195118A (zh) |
-
2023
- 2023-08-22 CN CN202311057201.0A patent/CN117195118A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106570778A (zh) | 一种基于大数据的数据集成与线损分析计算的方法 | |
| CN111796957B (zh) | 基于应用日志的交易异常根因分析方法及系统 | |
| CN115794578A (zh) | 一种电力系统的数据管理方法、装置、设备及介质 | |
| CN111400126A (zh) | 网络服务异常数据检测方法、装置、设备和介质 | |
| CN116523140A (zh) | 窃电检测方法、装置、电子设备和存储介质 | |
| CN115509797A (zh) | 一种故障类别的确定方法、装置、设备及介质 | |
| CN115617784A (zh) | 一种信息化配电的数据处理系统及其处理方法 | |
| CN117034149A (zh) | 故障处理策略确定方法、装置、电子设备和存储介质 | |
| CN115168154B (zh) | 一种基于动态基线的异常日志检测方法、装置及设备 | |
| CN116668264A (zh) | 一种告警聚类的根因分析方法、装置、设备及存储介质 | |
| CN117195118A (zh) | 一种数据的异常检测方法、装置、设备及介质 | |
| CN113641823B (zh) | 文本分类模型训练、文本分类方法、装置、设备及介质 | |
| CN111209158B (zh) | 服务器集群的挖矿监控方法及集群监控系统 | |
| CN111798237A (zh) | 基于应用日志的异常交易诊断方法及系统 | |
| CN111429257A (zh) | 一种交易监控方法和装置 | |
| CN116166501B (zh) | 一种日志校验方法、装置、电子设备及存储介质 | |
| CN115392403B (zh) | 一种异常变更检测方法、装置、设备及存储介质 | |
| CN115361308B (zh) | 一种工控网络数据风险确定方法、装置、设备及存储介质 | |
| CN113743532B (zh) | 异常检测方法、装置、设备及计算机存储介质 | |
| CN117076988A (zh) | 异常行为检测方法、装置、设备及介质 | |
| CN114693305A (zh) | 一种交易欺诈检测方法、装置、设备、介质及产品 | |
| CN116502841A (zh) | 一种事件的处理方法、装置、电子设备以及介质 | |
| CN117437033A (zh) | 一种预警方法、装置、设备和可读存储介质 | |
| CN117454174A (zh) | 异常检测模型训练、数据检测方法、装置、设备及介质 | |
| CN117994021A (zh) | 一种资产核销方式的辅助配置方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |