CN112241751B - 一种异常检测方法和系统,及计算机可读存储介质 - Google Patents
一种异常检测方法和系统,及计算机可读存储介质 Download PDFInfo
- Publication number
- CN112241751B CN112241751B CN201910650752.5A CN201910650752A CN112241751B CN 112241751 B CN112241751 B CN 112241751B CN 201910650752 A CN201910650752 A CN 201910650752A CN 112241751 B CN112241751 B CN 112241751B
- Authority
- CN
- China
- Prior art keywords
- data
- real
- time data
- tth
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Abstract
本发明实施例公开了一种异常检测方法和系统,及计算机可读存储介质,包括:接收t时刻对应的第t实时数据,并根据第t实时数据生成数据曲线;其中,数据曲线用于表征预设时间区间的数据变化;t为大于或者等于0的整数;分解数据曲线,获得数据曲线对应的多个特性曲线;确定多个特性曲线对应的多个支持度参数,并根据多个支持度参数确定目标特性;其中,一个特性曲线对应一个支持度参数;按照目标特性进行数据训练,以更新预设检测模型库,获得更新后的预设检测模型库;根据更新后的预设检测模型库对t+1时刻对应的第t+1实时数据进行异常检测,获得检测结果,可以有效降低异常检测的复杂度,减少计算量,提升检测效率,提高智能性。
Description
技术领域
本发明涉及数据检测技术,尤其涉及一种异常检测方法和系统,及计算机可读存储介质。
背景技术
异常检测,顾名思义就是检测异常的方法,比如网络质量异常、用户访问行为异常、服务器异常、交换机异常和系统异常等,都是可以通过异常目标算法来做监控的。其中,异常目标算法旨在通过人工智能或大数据的计算和挖掘能力提早的发现数据中的异常点,尽早预警,降低故障率和影响面。
现有技术在进行异常检测时,常常通过基于固定阈值判别法、基于同比、环比的方法计算异常以及基于机器学习的异常检测等几种检测方法进行,然而基于固定阈值判别法不能满足时间的变化性;基于同比、环比的方法虽然解决了变化性对于阈值设定影响问题,却对于平滑变化的曲线来说,仍然无法进行较好的识别,且存在检测过程较复杂的问题;基于机器学习的异常检测需要以大量的数据为基础,计算量较大。
发明内容
为解决上述技术问题,本发明实施例期望提供一种异常检测方法和系统,及计算机可读存储介质,可以有效降低异常检测的复杂度,减少计算量,提升检测效率,提高智能性。
为达到上述目的,本发明实施例的技术方案是这样实现的:
本发明实施例提供了一种异常检测方法,所述方法包括:
接收t时刻对应的第t实时数据,并根据所述第t实时数据生成数据曲线;其中,所述数据曲线用于表征预设时间区间的数据变化;所述t为大于或者等于0的整数;
分解所述数据曲线,获得所述数据曲线对应的多个特性曲线;
确定所述多个特性曲线对应的多个支持度参数,并根据所述多个支持度参数确定目标特性;其中,一个特性曲线对应一个支持度参数;
按照所述目标特性进行数据训练,以更新预设检测模型库,获得更新后的预设检测模型库;
根据更新后的预设检测模型库对t+1时刻对应的第t+1实时数据进行异常检测,获得检测结果。
在上述方案中,所述接收t时刻对应的第t实时数据之后,所述方法还包括:
将所述第t实时数据存储至预存数据库。
在上述方案中,所述根据所述第t实时数据生成数据曲线,包括:
按照所述预设时间区间在所述预存数据库中提取待训练数据;其中,所述待训练数据中包括所述第t实时数据;
根据所述待训练数据生成所述数据曲线。
在上述方案中,所述分解所述数据曲线,获得所述数据曲线对应的多个特性曲线,包括:
按照多个预设分解模式,分别对所述数据曲线进行多次分解,获得所述多个特性曲线和多个分解系数矩阵;其中,一个特性曲线对应一个分解系数矩阵。
在上述方案中,所述确定所述多个特性曲线对应的多个支持度参数,并根据所述多个支持度参数确定目标特性,包括:
根据所述多个分解系数矩阵确定所述多个支持度参数;
根据预设支持度阈值和所述多个支持度参数,确定所述目标特性。
在上述方案中,所述按照所述目标特性进行数据训练,以更新预设检测模型库,获得更新后的预设检测模型库,包括:
根据所述目标特性,和预存特性与算法的对应关系,获取所述特性类型对应的目标算法;
按照所述目标算法对所述待训练数据进行训练,生成与所述第t实时数据对应的第t模型;
将所述第t模型存储至所述预设检测模型库中,获得所述更新后的预设检测模型库。
在上述方案中,所述根据更新后的预设检测模型库对t+1时刻对应的第t+1实时数据进行异常检测之前,所述方法还包括:
接收所述t+1时刻对应的所述第t+1实时数据。
在上述方案中,所述根据更新后的预设检测模型库对t+1时刻对应的第t+1实时数据进行异常检测,获得检测结果,包括:
将所述第t+1实时数据输入至所述第t模型中,获得所述检测结果。
在上述方案中,所述根据更新后的预设检测模型库对t+1时刻对应的第t+1实时数据进行异常检测,获得检测结果之后,所述方法还包括:
当所述检测结果为异常时,进行报警处理。
本申请实施例提出了一种异常检测系统,所述异常检测系统包括:接收单元,生成单元,获取单元,确定单元,训练单元以及检测单元,
所述接收单元,用于接收t时刻对应的第t实时数据;
所述生成单元,用于根据所述第t实时数据生成数据曲线;其中,所述数据曲线用于表征预设时间区间的数据变化;所述t为大于或者等于0的整数;
所述获取单元,用于分解所述数据曲线,获得所述数据曲线对应的多个特性曲线;
所述确定单元,用于确定所述多个特性曲线对应的多个支持度参数,并根据所述多个支持度参数确定目标特性;其中,一个特性曲线对应一个支持度参数;
所述训练单元,用于按照所述目标特性进行数据训练,以更新预设检测模型库,获得更新后的预设检测模型库;
所述检测单元,用于根据更新后的预设检测模型库对t+1时刻对应的第t+1实时数据进行异常检测,获得检测结果。
在上述方案中,所述异常检测系统还包括:存储单元,
所述存储单元,用于接收t时刻对应的第t实时数据之后,将所述第t实时数据存储至预存数据库。
在上述方案中,所述生成单元,具体用于按照所述预设时间区间在所述预存数据库中提取待训练数据;其中,所述待训练数据中包括所述第t实时数据;以及根据所述待训练数据生成所述数据曲线。
在上述方案中,所述获取单元,具体用于按照多个预设分解模式,分别对所述数据曲线进行多次分解,获得所述多个特性曲线和多个分解系数矩阵;其中,一个特性曲线对应一个分解系数矩阵。
在上述方案中,所述确定单元,具体用于根据所述多个分解系数矩阵确定所述多个支持度参数;以及根据预设支持度阈值和所述多个支持度参数,确定所述目标特性。
在上述方案中,所述训练单元,具体用于根据所述目标特性,和预存特性与算法的对应关系,获取所述特性类型对应的目标算法;以及按照所述目标算法对所述待训练数据进行训练,生成与所述第t实时数据对应的第t模型;以及将所述第t模型存储至所述预设检测模型库中,获得所述更新后的预设检测模型库。
在上述方案中,所述接收单元,还用于根据更新后的预设检测模型库对t+1时刻对应的第t+1实时数据进行异常检测之前,接收所述t+1时刻对应的所述第t+1实时数据。
在上述方案中,所述检测单元,具体用于将所述第t+1实时数据输入至所述第t模型中,获得所述检测结果。
在上述方案中,所述异常检测系统还包括:报警单元,
所述报警单元,用于根据更新后的预设检测模型库对t+1时刻对应的第t+1实时数据进行异常检测,获得检测结果之后,当所述检测结果为异常时,进行报警处理。
本申请实施例提出了一种异常检测系统,所述异常检测系统包括处理器、存储有所述处理器可执行指令的存储器、通信接口和用于连接所述处理器,所述存储器以及所述通信接口的总线,当所述指令被所述处理器执行时,实现如上所述的异常检测方法。
本申请实施例提出了一种计算机可读存储介质,其上存储有程序,应用于异常检测系统中,所述程序被处理器执行时,实现如上所述的异常检测方法。
本申请实施例提出的一种异常检测方法和系统,及计算机可读存储介质,异常检测系统接收t时刻对应的第t实时数据,并根据第t实时数据生成数据曲线;其中,数据曲线用于表征预设时间区间的数据变化;t为大于或者等于0的整数;分解数据曲线,获得数据曲线对应的多个特性曲线;确定多个特性曲线对应的多个支持度参数,并根据多个支持度参数确定目标特性;其中,一个特性曲线对应一个支持度参数;按照目标特性进行数据训练,以更新预设检测模型库,获得更新后的预设检测模型库;根据更新后的预设检测模型库对t+1时刻对应的第t+1实时数据进行异常检测,获得检测结果。由此可见,异常检测系统可以在接收到t时刻的第t实时数据之后,直接根据第t数据对数据曲线进行自动化的生成、分解及分析,还可以按照与数据曲线相适应的目标特性进行第t模型的训练,以获得更新后的预设检测模型库,并利用预设检测模型库对t+1时刻的第t+1实时数据进行异常检测,正是由于目标特性、与目标特性对应的目标算法以及第t模型的自动生成和训练,从而可以有效降低异常检测的复杂度,减少计算量,提升检测效率,提高智能性,并且,实现起来简单方便,便于普及,适用范围更广。
附图说明
图1为本申请实施例提出的一种异常检测方法的实现流程示意图一;
图2为本申请实施例提出的异常检测系统的构成示意图一;
图3为本申请实施例提出的一种异常检测方法的实现流程示意图二;
图4为本申请实施例提出的一种异常检测方法的实现流程示意图三;
图5为本申请实施例提出的一种异常检测方法的实现流程示意图四;
图6为本申请实施例提出的异常检测系统的构成示意图二;
图7为本申请实施例提出的异常检测系统的构成示意图三;
图8为本申请实施例提出的异常检测系统的组成结构示意图一;
图9为本申请实施例提出的异常检测系统的组成结构示意图二。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是,此处所描述的具体实施例仅仅用于解释相关申请,而非对该申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关申请相关的部分。
异常检测是人工智能在智能运维领域的一个重要应用场景,异常目标算法旨在通过人工智能或大数据的计算和挖掘能力提早的发现数据(一般为时序数据)中的异常点,尽早预警,降低故障率和影响面。具体的,现有技术在进行异常检测时,常常通过基于固定阈值判别法、基于同比、环比的方法计算异常以及基于机器学习的异常检测等几种检测方法进行。
基于固定阈值判别法,主要将一个时序序列设置一个固定的阈值,如中央处理器对应的阈值为80%,当检测获得的时序数据超过80%的阈值时,发生预警;基于同比、环比的方法计算异常,主要是将一个时序序列进行同比或者环比的转换后,形成另外一个时序序列,以去掉数据的变化性,然后再设置一个固定的阈值,如中央处理器对应的阈值为80%,当检测获得的时序数据超过80%的阈值时,发生预警;基于机器学习的异常检测,主要是引入机器学习算法,如长短期记忆网络算法(Long Short-Term Memory,LSTM)是通过时间递归神经网络实现异常点的识别,进而告警。
然而,在利用上述三种方法进行异常检测时,都存在一定的技术问题,具体地,基于固定阈值判别法比较生硬,将一个时间序列通过简单的固定分界线来衡量,但是时序数据最大的一个特点就是,随着时间的变化性,但是根据不同时间段来分别设定阈值,就会存在操作复杂的缺陷;基于同比、环比的方法计算异常为了解决基于固定阈值判别法中关于变化性对于阈值设定的影响,引入了同/环比的概念,将一个时序数据进行同比或者环比的处理,即对于当前数据进行同比或者环比的差分计算,再将这个差值的结果作为新的时间序列来进行阈值的判定,一定程度上提高了算法的准确性,但是该算法的场景实用性也有一定局限性,比如该算法对于时序数据中存在突变的情况会比较适合,因为突变的特征体现在同环比曲线上就是一个陡跳,容易识别,而对于平滑变化的曲线来说,仍然无法识别,且仍然会存在操作复杂的缺陷;基于机器学习的异常检测,以LSTM为例,该算法针对于处理与时间序列高度相关的问题,例如机器翻译、对话生成、编码/解码等,但是LSTM需要以大量的数据为基础,需要积累长时间大量的数据,进行长短期的卷积计算,计算量十分可观。
本申请提出的一种异常检测方法,可以实现非必须人工干预的异常目标算法的自动选择和自动运行,可以有效降低异常检测的复杂度,减少计算量,提升检测效率,提高智能性,并降低了运维成本。具体地,对解决业务监控、运维自动化、运维智能化等领域中,针对异常检测这一核心应用场景下,阈值配置和算法选择、评估过程中,需要耗费巨大人工运维成本的难题,本申请提出的一种异常检测方法充分挖掘异常目标算法工作流程中的规律,抽象出了特征分解、属性分析、算法选择等具体模块,并针对每个模块做了针对性的优化设计,实现了全流程的自动化,有效的减少了人工运维的成本。从而有效地提升业务监控、运维自动化、运维智能化等领域内异常检测的准确度和效率。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
实施例一
本发明实施例提出了一种异常检测方法,图1为本申请实施例提出的一种异常检测方法的实现流程示意图一,如图1所示,在本发明的实施例中,异常检测系统进行异常检测的方法可以包括以下步骤:
步骤101、接收t时刻对应的第t实时数据,并根据第t实时数据生成数据曲线;其中,数据曲线用于表征预设时间区间的数据变化;t为大于或者等于0的整数。
在本申请的实施例中,异常检测系统可以在t时刻接收t时刻对应的第t实时数据,然后根据第t实时数据生成数据曲线。其中,t为大于或者等于0的整数。
需要说明的是,在本申请的实施例中,图2为本申请实施例提出的异常检测系统的构成示意图一,如图2所示,异常检测系统可以由接收模块、可视化模块、分解模块、分析模块、选择模块、预设检测模型库、训练模块以及检测模块构成。其中,接收模块可以用于对输入的第t实时数据进行接收;可视化模块则可以根据预存数据库中的数据生成与第t实时数据相关的数据曲线;分解模块用于按照不同预设分解模式对数据曲线进行分解,获得多个特性曲线;分析模块用于对多个特性曲线进行分析,获得多个支持度参数,并进一步确定出目标特性;选择模块用于按照目标特性确定出目标算法;训练模块则可以根据目标算法进行数据训练,获得对应的第t模型,进而对预存模型库中的预设检测模型进行更新,检测模块便可以利用更新后的预设检测模型对t+1时刻输入的第t+1数据进行异常检测,获得对应的检测结果。
需要说明的是,在本申请的实施中,异常检测系统中可以预先存储有接收到的全部数据,具体地,异常检测系统可以设置有预存数据库用于对接收到的数据进行存储。
进一步地,在本申请的实施例中,异常检测系统在接收到第t实时数据之后,可以将第t实时数据存储至预存数据库中。
需要说明的是,在本申请的实施例中,异常检测系统在根据第t实时数据对数据曲线进行生成时,可以先按照预设时间区间从预存数据库中提取出包括第t实时数据的待检测数据,然后再根据待检测数据生成数据曲线。
进一步地,在本申请的实施例中,异常检测系统生成的数据曲线可以用于表征预设时间区间的数据变化,例如,如果预设时间区间为14天,那么,异常检测系统从预存数据库中提取包括第t实时数据的待检测数据可以为14天的连续数据,然后对14天连续的待检测数据进行数据曲线的生成。
步骤102、分解数据曲线,获得数据曲线对应的多个特性曲线。
在本申请的实施例中,异常检测系统在接收t时刻对应的第t实时数据,并根据第t实时数据生成数据曲线之后,可以对数据曲线进行分解,从而可以获得数据曲线对应的多个特性曲线。
需要说明的是,在本申请的实施例中,异常检测系统在对数据曲线进行分解时,可以按照多个预设分解模式,分别对数据曲线进行多次分解,从而便可以获得多个特性曲线和多个分解系数矩阵。
进一步地,异常检测系统按照不同的预设分解模式对数据曲线进行分解,可以得到不同的特性曲线和不同的分解系数矩阵。也就是说,对于同样的数据曲线,一个预设分解模式对应一个特性曲线和一个分解系数矩阵。
需要说明的是,在本申请的实施中,预设分解模式用于对分解数据曲线所使用的特性类型进行确定。具体地,异常检测系统可以按照不同的特性类型设置有不同的预设分解模式。例如,预设分解模式可以包括周期分解模式、趋势分解模式、平稳分解模式以及自相关性分解模式等多种不同的模式,相应地,异常检测系统按照周期性的特性类型进行曲线分解时,可以选择周期分解模式,从而获得周期性特性曲线T1;异常检测系统按照上升趋势或下降趋势的特性类型进行曲线分解时,可以选择趋势分解模式,从而获得趋势性特性曲线T2;异常检测系统按照平滑性的特性类型进行曲线分解时,可以选择平稳分解模式从而获得平稳性特性曲线T3;异常检测系统按照自相关性的特性类型进行曲线分解时,可以选择自相关性分解模式从而获得自相关性特性曲线T4。
进一步地,在本申请的实施例中,异常检测系统在对数据曲线进行分解后获得的多个特性曲线中的任一个特性曲线都可能不能完全符合对应的特性类型,例如,特性曲线T2的局部曲线满足上升趋势或下降趋势。因此,异常检测系统在对数据曲线进行分解时,需要将每一次分解过程所对应的分解系数矩阵,也就是说,异常检测系统按照不同的预设分解模式对数据曲线进行分解时,除了可以得到不同的特性曲线以外,还可以获得不同的分解系数矩阵。
需要说明的是,在本申请的实施中,分解系数矩阵可以用于表征特性曲线中的每一个局部曲线的特性类型。其中,分解系数矩阵中可以包括特性曲线在不同局部区段中所对应的区段跨度和支持度等具体参数,进一步地,对于按照不同预设分解模式分解获得的不同的分解系数矩阵,还可以包括有与预设分解模式对应的具体参数。例如,如果分解系数矩阵是按照周期性特性分解获得的,那么分解系数矩阵中还可以包括有周期这一参数。
示例性的,在本申请的实施中,表1为分解系数矩阵表一,如表1所示,如果按照周期性特性对数据曲线进行分解,获得的分解系数矩阵可以包括不同局部区段对应的区段跨度、周期以及支持度。
表1为分解系数矩阵表一
示例性的,在本申请的实施中,表2为分解系数矩阵表二,如表2所示,如果按照趋势性特性对数据曲线进行分解,获得的分解系数矩阵可以包括不同局部区段对应的区段跨度、趋势类别以及支持度。
表2为分解系数矩阵表二
需要说明的是,对于不同的特性曲线,异常检测系统在进行分析时,划分的局部区段可以是不相同的,且同一个特性曲线的各个局部区段可以是动态的,即是不定长的。
步骤103、确定多个特性曲线对应的多个支持度参数,并根据多个支持度参数确定目标特性;其中,一个特性曲线对应一个支持度参数。
在本申请的实施例中,异常检测系统在分解数据曲线,获得数据曲线对应的多个特性曲线之后,可以确定多个特性曲线对应的多个支持度参数,然后根据多个支持度参数确定目标特性。
支持度,简单的字面理解就是支持的程度,一般以百分比表示。需要说明的是,在本申请的实施中,任意一个特性曲线都存在至少一个支持度。具体地,一个特性曲线对应的分解系数矩阵中包括有多少个局部区段,那么该特性曲线就对应有多少个支持度。
进一步地,在本申请的实施中,异常检测系统根据特性曲线对应的支持度便可以确定对应的支持度参数。具体地,支持度参数可以用于表征特性曲线的整体支持程度,异常检测系统可以对特性曲线对应的支持度进行平均值计算,从而可以获得对应的支持度参数。例如,基于上述表1,检测系统可以根据0.875、0.476、0.600、0.809、0.927确定出对应的支持度参数为0.7374。
需要说明的是,在本申请的实施中,一个特性曲线对应一个支持度参数。
进一步地,在本申请的实施例中,异常检测系统在分别确定出多个特性曲线对应的多个支持度参数之后,便可以根据多个支持度参数确定目标特性。具体地,异常检测系统在根据多个支持度参数确定目标特性时,可以对多个支持度参数进行比较确定目标特性,也可以对多个支持度参数和预设支持度阈值进行分别比较获得特性类型。
需要说明的是,在本申请的实施例中,支持度参数越大,则数据曲线的特性越符合相应地预设分解模式对应的特性类型,因此在进行目标特性的确定时,可以在多个支持度参数中选择数值较大的至少一个支持度参数,以进一步将数值较大的至少一个支持度参数对应的特性类型确定为数据曲线的目标特性。
进一步地,在本申请的实施例中,目标特性用于对进行数据训练的算法进行确定。
由此可见,在本申请的实施例中,异常检测系统可以根据数据曲线获得的特性曲线对应的支持度参数确定出相应地目标特性,然后便可以根据目标特性对目标算法进行选择确定,从而可以大幅度减少人工的参与度,降低了异常检测这一运维领域的人工运维的参与度,极大的降低人工成本。
步骤104、按照目标特性进行数据训练,以更新预设检测模型库,获得更新后的预设检测模型库。
在本申请的实施例中,异常检测系统在确定多个特性曲线对应的多个支持度参数,并根据多个支持度参数确定目标特性之后,便可以按照目标特性进行数据训练,从而可以根据预设检测模型库,获得更新后的预设检测模型库。
需要说明的是,在本申请的实施中,异常检测系统在按照目标特性进行数据训练时,可以先按照目标特性确定出与目标特性对应的目标算法,然后再根据目标算法和生成数据曲线的待检测数据进行训练,从而可以根据训练获得的模型对预设检测模型库进行更新。
进一步地,在本申请的实施中,异常检测系统可以预先存储有预存特性和算法的对应关系,从而可以在确定出目标特性之后,结合预存特性和算法的对应关系,确定出与目标特性对应的目标算法。
需要说明的是,在本申请的实施例中,目标算法可以包括LSTM、同比、环比、差分整合移动平均自回归模型(Autoregressive Integrated Moving Average model,ARIMA)、K邻近算法(k-Nearest Neighbor,kNN)以及高斯等多个算法中的至少一个。
进一步地,在本申请的实施中,异常检测系统在根据数据训练所获得的模型对预设检测模型库进行更新时,可以先根据目标算法和待检测数据进行数据训练,获得与第t实时数据对应的第t模型,然后可以利用第t模型对预设检测模型库进行更新,以获得更新后的预设检测模型库。
步骤105、根据更新后的预设检测模型库对t+1时刻对应的第t+1实时数据进行异常检测,获得检测结果。
在本申请的实施例中,异常检测系统在按照目标特性进行数据训练,以更新预设检测模型库,获得更新后的预设检测模型库之后,便可以根据更新后的预设检测模型库对t+1时刻对应的第t+1实时数据进行异常检测,获得检测结果。
需要说明的是,在本申请的实施中,异常检测系统在根据更新后的预设检测模型库对t+1时刻对应的第t+1实时数据进行异常检测之前,可以先接收t+1时刻对应的第t+1实时数据,然后再利用通过第t实时数据更新的预设检测模型库对第t+1实时数据进行异常检测,从而获得检测结果。
进一步地,在本申请的实施中,异常检测系统在根据更新后的预设检测模型库对t+1时刻对应的第t+1实时数据进行异常检测时,可以将第t+1实时数据输入至通过第t实时数据获得的第t模型中,从而可以获得异常检测的检测结果。
需要说明的是,在本申请的实施例中,对于接收到的第t+1实时数据,异常检测系统可以调用预设检测模型库中最新的模型,即第t模型,对第t+1实时数据进行异常检测。具体地,异常检测系统在接收到第t+1实时数据之后,需要通过训练第t模型时使用的目标算法对第t+1实时数据进行检测,然后根据全部目标算法对应的计算结果,生成对应的检测结果。例如,当全部目标算法对应的全部计算结果中至少有一半的计算结果被确定为异常,那么可以确定检测结果为异常。
进一步地,在本申请的实施例中,异常检测系统在根据更新后的预设检测模型库对t+1时刻对应的第t+1实时数据进行异常检测,获得检测结果之后,如果检测结果为异常,那么异常检测系统便可以进入到后续的处理流程中,例如,进行报警处理或者自愈处理等具体流程。
由此可见,通过t时刻对应的第t实时数据获得的第t模型可以用于对t+1时刻对应的第t+1实时数据进行异常检测,相应地,t时刻对应的第t实时数据也可以利用通过t-1时刻对应的第t-1实时数据获得的第t-1模型进行异常检测。即某一时刻的实时数据进入到异常检测系统之后,异常检测系统可以调用预设检测模型库中最新的模型对该时刻的实时数据进行异常检测,同时,还可以利用该时刻的实时数据对预设检测模型库进行更新,从而根据更新后的预设检测模型库对下一时刻的实时数据进行异常检测。
本申请实施例提出了一种异常检测方法,异常检测系统接收t时刻对应的第t实时数据,并根据第t实时数据生成数据曲线;其中,数据曲线用于表征预设时间区间的数据变化;t为大于或者等于0的整数;分解数据曲线,获得数据曲线对应的多个特性曲线;确定多个特性曲线对应的多个支持度参数,并根据多个支持度参数确定目标特性;其中,一个特性曲线对应一个支持度参数;按照目标特性进行数据训练,以更新预设检测模型库,获得更新后的预设检测模型库;根据更新后的预设检测模型库对t+1时刻对应的第t+1实时数据进行异常检测,获得检测结果。由此可见,异常检测系统可以在接收到t时刻的第t实时数据之后,直接根据第t数据对数据曲线进行自动化的生成、分解及分析,还可以按照与数据曲线相适应的目标特性进行第t模型的训练,以获得更新后的预设检测模型库,并利用预设检测模型库对t+1时刻的第t+1实时数据进行异常检测,正是由于目标特性、与目标特性对应的目标算法以及第t模型的自动生成和训练,从而可以有效降低异常检测的复杂度,减少计算量,提升检测效率,提高智能性,并且,实现起来简单方便,便于普及,适用范围更广。
实施例二
基于上述实施例一,本发明实施例提出了一种异常检测方法,图3为本申请实施例提出的一种异常检测方法的实现流程示意图二,如图3所示,在本发明的实施例中,异常检测系统根据第t实时数据生成数据曲线的方法可以包括以下步骤:
步骤201、按照预设时间区间在预存数据库中提取待训练数据;其中,待训练数据中包括第t实时数据。
在本申请的实施例中,异常检测系统在接收t时刻对应的第t实时数据,并将第t实时数据存储至预存数据库之后,可以按照预设时间区间在预存数据库中提取待训练数据。
需要说明的是,在本申请的实施中,待训练数据中包括第t实时数据,且待训练数据为预设时间区间内连续的数据。例如,如果时刻1为2019年3月20日0点,预设时间区间为10天,那么异常检测系统可以按照10天的时间区间,从预存数据库中提取出的待训练数据可以为2019年3月11日0点至2019年3月20日0点这10天对应的全部数据。
步骤202、根据待训练数据生成数据曲线。
在本申请的实施例中,异常检测系统在按照预设时间区间在预存数据库中提取待训练数据之后,便可以根据待训练数据生成数据曲线。
需要说明的是,在本申请的实施中,数据曲线可以用于表现预设时间区间对应的全部数据的变化情况。
需要说明的是,在本申请的实施中,待训练数据除了可以用于对数据曲线的生成,还可以用于按照目标算法进行训练,以实现第t模型的生成。
在本申请的实施例中,进一步地,图4为本申请实施例提出的一种异常检测方法的实现流程示意图三,如图4所示,在本发明的实施例中,异常检测系统确定多个特性曲线对应的多个支持度参数,并根据多个支持度参数确定目标特性的方法可以包括以下步骤:
步骤103a、根据多个分解系数矩阵确定多个支持度参数。
异常检测系统在分解数据曲线,获得数据曲线对应的多个特性曲线之后,可以根据多个分解系数矩阵确定多个支持度参数。
需要说明的是,在本申请的实施中,任一个特性曲线可以对应有至少一个支持度,异常检测系统可以根据一个特性曲线对应的至少一个支持度,确定出该特性曲线对应的一个支持度参数。具体地,异常检测系统在对支持度参数进行确定时,可以从该特性曲线对应的分解系数矩阵中确定出对应的至少一个支持度参数,然后对至少一个支持度参数进行平均值计算,从而获得支持度参数。例如,基于上述表2,检测系统可以根据0.451和0.576,确定出对应的支持度参数为0.5135。
步骤103b、根据预设支持度阈值和多个支持度参数,确定目标特性。
在本申请的实施例中,异常检测系统在根据多个分解系数矩阵确定多个支持度参数之后,便可以根据预设支持度阈值和多个支持度参数,确定目标特性。
需要说明的是,在本申请的实施中,异常检测系统在确定出多个特性曲线对应的多个支持度参数之后,可以利用多个支持度参数数据曲线的目标特性进行确定。具体地,支持度参数越大,则数据曲线的特性越符合相应地预设分解模式对应的特性类型,因此在进行目标特性的确定时,可以在多个支持度参数中选择数值较大的至少一个支持度参数,以进一步将数值较大的至少一个支持度参数对应的特性类型确定为数据曲线的目标特性。例如,异常检测系统按照周期性的特性类型进行曲线分解时,可以选择周期分解模式,从而获得周期性特性曲线T1,T1对应的支持段参数S1=0.7374;异常检测系统按照上升趋势或下降趋势的特性类型进行曲线分解时,可以选择趋势分解模式,从而获得趋势性特性曲线T2,T2对应的支持段参数S2=0.5135;异常检测系统按照平滑性的特性类型进行曲线分解时,可以选择平稳性分解模式从而获得平稳性特性曲线T3,T3对应的支持段参数S3=0.992;异常检测系统按照自相关性的特性类型进行曲线分解时,可以选择自相关性分解模式从而获得自相关性特性曲线T4,T4对应的支持段参数S4=0.201。相比之下,特性曲线T3的支持度参数最大,那么异常检测系统可以将平滑性的特性类型确定为目标特性。
进一步地,在本申请的实施中,目标特性可以包括至少一个特性类型,例如,异常检测系统可以根据对S1、S2、S3以及S4进行比较的结果,确定出目标特性为S1对应的周期性的特性类型、S2对应的趋势性的特性类型、以及S3对应的平滑性的特性类型。
进一步地,在本申请的实施中,异常检测系统还可以结合预设支持度阈值对目标特性进行确定。具体地,异常检测系统可以在大于或者等于预设支持度阈值的支持度参数中选择2个支持度参数进行目标特性进行的确定。例如,如果预设支持度阈值为0.65,那么常检测系统可以根据对S1、S2、S3以及S4进行比较的结果,结合预设支持度阈值,确定出目标特性为S1对应的周期性的特性类型和S3对应的平滑性的特性类型。
在本申请的实施例中,进一步地,图5为本申请实施例提出的一种异常检测方法的实现流程示意图四,如图5所示,在本发明的实施例中,异常检测系统按照目标特性进行数据训练,以更新预设检测模型库,获得更新后的预设检测模型库的方法可以包括以下步骤:
步骤104a、根据目标特性,和预存特性与算法的对应关系,获取特性类型对应的目标算法。
在本申请的实施例中,异常检测系统在确定多个特性曲线对应的多个支持度参数,并根据多个支持度参数确定目标特性之后,可以根据目标特性和预存特性与算法的对应关系,确定出特性类型对应的目标算法。
进一步地,在本申请的实施中,异常检测系统可以预先存储有预存特性和算法的对应关系,具体地,在预存特性和算法的对应关系中,一个特性类型可以对应有至少一个算法。例如,表3为预存特性和算法的对应关系表,如表3所示,对于不同的特性类型,可以对应有2个不同的算法,包括首选算法和次选算法。
表3为预存特性和算法的对应关系表
特征类型 | 首选算法 | 次选算法 |
周期性 | LSTM | 同比 |
趋势性 | 环比 | ARIMA |
平滑性 | KNN | 高斯 |
自相关性 | ARIMA | 3-SIGA |
基于上述表3,如果确定出目标特性周期性的特性类型和平滑性的特性类型,那么异常检测系统可以进一步确定出LSTM、同比、KNN以及高斯这四种算法。
需要说明的是,在本申请的实施中,基于上述图2,图6为本申请实施例提出的异常检测系统的构成示意图二,如图6所示,异常检测系统可以包括干预模块,其中,异常检测系统中的选择模块在按照预存特性和算法的对应关系进行目标算法的选择时,可以通过干预模块进行人工的干预,即干预模块通过用户的操作对预存特性和算法的对应关系进行改变和调整。
步骤104b、按照目标算法对待训练数据进行训练,生成与第t实时数据对应的第t模型。
在本申请的实施例中,异常检测系统在根据目标特性,和预存特性与算法的对应关系,获取特性类型对应的目标算法之后,可以按照目标算法对待训练数据进行训练,生成与第t实时数据对应的第t模型。
需要说明的是,在本申请的实施中,异常检测系统在确定出目标算法之后,便可以按照目标算法进行数据训练。具体地,异常检测系统可以按照目标算法分别对待检测数据进行训练,最后获得第t实时数据对应的第t模型。
进一步地,在本申请的实施中,异常检测在按照目标算法进行数据训练时,训练平台可以为TensorFlow、Keras等多种平台。其中,TensorFlow是一个基于数据流编程的符号数学系统,被广泛应用于各类机器学习算法的编程实现,Tensorflow拥有多层级结构,可部署于各类服务器、个人计算机(personal computer,PC)终端和网页并支持图形处理器(Graphics Processing Unit,GPU)和张量处理单元(Tensor Processing Unit,TPU)高性能数值计算;Keras是一个高层神经网络应用程序编程接口(Application ProgrammingInterface,API)Keras为支持快速实验而生,能够架构想法迅速转换为结果,Keras具有高度模块化,极简,和可扩充特性。
步骤104c、将第t模型存储至预设检测模型库中,获得更新后的预设检测模型库。
在本申请的实施中,异常检测系统在按照目标算法对待训练数据进行训练,生成与第t实时数据对应的第t模型之后,可以将第t模型存储至预设检测模型库中,获得更新后的预设检测模型库。
需要说明的是,在本申请的实施例中,异常检测系统在将第t模型存储至预设检测模型库的同时,还可以将构建第t模型的关键因素进行存储。具体地,基于上述图6,图7为本申请实施例提出的异常检测系统的构成示意图三,如图7所示,异常检测系统还可以包括参数服务器,其中,参数服务器可以用于对构建模型的关键因素进行存储。
由此可见,在本申请的实施中,异常检测系统可以对数据曲线的生成和分解、分析,自动确定出相适应的目标算法,生成相应地检测模型,可以大幅度减少人工的参与度,降低了异常检测这一运维领域的人工运维的参与度,极大的降低人工成本。
本申请实施例提出了一种异常检测方法,异常检测系统接收t时刻对应的第t实时数据,并根据第t实时数据生成数据曲线;其中,数据曲线用于表征预设时间区间的数据变化;t为大于或者等于0的整数;分解数据曲线,获得数据曲线对应的多个特性曲线;确定多个特性曲线对应的多个支持度参数,并根据多个支持度参数确定目标特性;其中,一个特性曲线对应一个支持度参数;按照目标特性进行数据训练,以更新预设检测模型库,获得更新后的预设检测模型库;根据更新后的预设检测模型库对t+1时刻对应的第t+1实时数据进行异常检测,获得检测结果。由此可见,异常检测系统可以在接收到t时刻的第t实时数据之后,直接根据第t数据对数据曲线进行自动化的生成、分解及分析,还可以按照与数据曲线相适应的目标特性进行第t模型的训练,以获得更新后的预设检测模型库,并利用预设检测模型库对t+1时刻的第t+1实时数据进行异常检测,正是由于目标特性、与目标特性对应的目标算法以及第t模型的自动生成和训练,从而可以有效降低异常检测的复杂度,减少计算量,提升检测效率,提高智能性,并且,实现起来简单方便,便于普及,适用范围更广。
实施例三
基于上述实施例一和实施例二,图8为本申请实施例提出的异常检测系统的组成结构示意图一,如图8所示,在本发明的实施例中,异常检测系统1包括接收单元11,生成单元12,获取单元13,确定单元14,训练单元15,检测单元16,存储单元17以及报警单元18。
所述接收单元11,用于接收t时刻对应的第t实时数据。
所述生成单元12,用于根据所述第t实时数据生成数据曲线;其中,所述数据曲线用于表征预设时间区间的数据变化;所述t为大于或者等于0的整数。
所述获取单元13,用于分解所述数据曲线,获得所述数据曲线对应的多个特性曲线。
所述确定单元14,用于确定所述多个特性曲线对应的多个支持度参数,并根据所述多个支持度参数确定目标特性;其中,一个特性曲线对应一个支持度参数。
所述训练单元15,用于按照所述目标特性进行数据训练,以更新预设检测模型库,获得更新后的预设检测模型库。
所述检测单元16,用于根据更新后的预设检测模型库对t+1时刻对应的第t+1实时数据进行异常检测,获得检测结果。
进一步地,在本申请的实施中,所述存储单元17,用于接收t时刻对应的第t实时数据之后,将所述第t实时数据存储至预存数据库。
进一步地,在本申请的实施中,所述生成单元12,具体用于按照所述预设时间区间在所述预存数据库中提取待训练数据;其中,所述待训练数据中包括所述第t实时数据;以及根据所述待训练数据生成所述数据曲线。
进一步地,在本申请的实施中,所述获取单元13,具体用于按照多个预设分解模式,分别对所述数据曲线进行多次分解,获得所述多个特性曲线和多个分解系数矩阵;其中,一个特性曲线对应一个分解系数矩阵。
进一步地,在本申请的实施中,所述确定单元14,具体用于根据所述多个分解系数矩阵确定所述多个支持度参数;以及根据预设支持度阈值和所述多个支持度参数,确定所述目标特性。
进一步地,在本申请的实施中,所述训练单元15,具体用于根据所述目标特性,和预存特性与算法的对应关系,获取所述特性类型对应的目标算法;以及按照所述目标算法对所述待训练数据进行训练,生成与所述第t实时数据对应的第t模型;以及将所述第t模型存储至所述预设检测模型库中,获得所述更新后的预设检测模型库。
进一步地,在本申请的实施中,所述接收单元11,还用于根据更新后的预设检测模型库对t+1时刻对应的第t+1实时数据进行异常检测之前,接收所述t+1时刻对应的所述第t+1实时数据。
进一步地,在本申请的实施中,所述检测单元16,具体用于将所述第t+1实时数据输入至所述第t模型中,获得所述检测结果。
进一步地,在本申请的实施中,所述报警单元18,用于根据更新后的预设检测模型库对t+1时刻对应的第t+1实时数据进行异常检测,获得检测结果之后,当所述检测结果为异常时,进行报警处理。
图9为本申请实施例提出的异常检测系统的组成结构示意图二,如图9所示,本申请实施例提出的异常检测系统1还可以包括处理器19、存储有处理器19可执行指令的存储器110,进一步地,异常检测系统1还可以包括通信接口111和用于连接处理器19,存储器110以及通信接口111的总线112。
在本申请的实施例中,处理器19可以为特定用途集成电路(ApplicationSpecific Integrated Circuit,ASIC)、数字信号处理器(Digital Signal Processor,DSP)、数字信号处理装置(Digital Signal Processing Device,DSPD)、可编程逻辑装置(ProgRAMmable Logic Device,PLD)、现场可编程门阵列(Field ProgRAMmable GateArray,FPGA)、中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器中的至少一种。可以理解地,对于不同的设备,用于实现处理器功能的电子器件还可以为其它,本申请实施例不作具体限定。异常检测系统1还可以包括存储器110,该存储器110可以与处理器19连接,其中,存储器110用于存储可执行程序代码,该程序代码包括计算机操作指令,存储器110可能包含高速RAM存储器,也可能还包括非易失性存储器,例如,至少两个磁盘存储器。
在本申请的实施例中,总线112用于连接通信接口111、处理器19以及存储器110以及这些器件之间的相互通信。
在本申请的实施例中,存储器110,用于存储指令和数据。
进一步地,在本申请的实施例中,处理器19,用于接收t时刻对应的第t实时数据,并根据所述第t实时数据生成数据曲线;其中,所述数据曲线用于表征预设时间区间的数据变化;所述t为大于或者等于0的整数;分解所述数据曲线,获得所述数据曲线对应的多个特性曲线;确定所述多个特性曲线对应的多个支持度参数,并根据所述多个支持度参数确定目标特性;其中,一个特性曲线对应一个支持度参数;按照所述目标特性进行数据训练,以更新预设检测模型库,获得更新后的预设检测模型库;根据更新后的预设检测模型库对t+1时刻对应的第t+1实时数据进行异常检测,获得检测结果。
在实际应用中,存储器110可以是易失性存储器(volatile memor),例如随机存取存储器(Random-Access Memory,RAM);或者非易失性存储器(non-volatile memory),例如只读存储器(Read-Only Memory,ROM),快闪存储器(flash memory),硬盘(Hard DiskDrive,HDD)或固态硬盘(Solid-State Drive,SSD);或者上述种类的存储器的组合,并向处理器19提供指令和数据。
另外,在本实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时,可以存储在一个计算机可读取存储介质中,基于这样的理解,本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或processor(处理器)执行本实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提出的一种异常检测系统,该异常检测系统接收t时刻对应的第t实时数据,并根据第t实时数据生成数据曲线;其中,数据曲线用于表征预设时间区间的数据变化;t为大于或者等于0的整数;分解数据曲线,获得数据曲线对应的多个特性曲线;确定多个特性曲线对应的多个支持度参数,并根据多个支持度参数确定目标特性;其中,一个特性曲线对应一个支持度参数;按照目标特性进行数据训练,以更新预设检测模型库,获得更新后的预设检测模型库;根据更新后的预设检测模型库对t+1时刻对应的第t+1实时数据进行异常检测,获得检测结果。由此可见,异常检测系统可以在接收到t时刻的第t实时数据之后,直接根据第t数据对数据曲线进行自动化的生成、分解及分析,还可以按照与数据曲线相适应的目标特性进行第t模型的训练,以获得更新后的预设检测模型库,并利用预设检测模型库对t+1时刻的第t+1实时数据进行异常检测,正是由于目标特性、与目标特性对应的目标算法以及第t模型的自动生成和训练,从而可以有效降低异常检测的复杂度,减少计算量,提升检测效率,提高智能性,并且,实现起来简单方便,便于普及,适用范围更广。
本申请实施例提供一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现如上所述的异常检测方法。
具体来讲,本实施例中的一种异常检测方法对应的程序指令可以被存储在光盘,硬盘,U盘等存储介质上,当存储介质中的与一种异常检测方法对应的程序指令被一电子设备读取或被执行时,包括如下步骤:
接收t时刻对应的第t实时数据,并根据所述第t实时数据生成数据曲线;其中,所述数据曲线用于表征预设时间区间的数据变化;所述t为大于或者等于0的整数;
分解所述数据曲线,获得所述数据曲线对应的多个特性曲线;
确定所述多个特性曲线对应的多个支持度参数,并根据所述多个支持度参数确定目标特性;其中,一个特性曲线对应一个支持度参数;
按照所述目标特性进行数据训练,以更新预设检测模型库,获得更新后的预设检测模型库;
根据更新后的预设检测模型库对t+1时刻对应的第t+1实时数据进行异常检测,获得检测结果。
本领域内的技术人员应明白,本申请的实施例可提供为方法、显示器、或计算机程序产品。因此,本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的实现流程示意图和/或方框图来描述的。应理解可由计算机程序指令实现流程示意图和/或方框图中的每一流程和/或方框、以及实现流程示意图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述,仅为本申请的较佳实施例而已,并非用于限定本申请的保护范围。
Claims (14)
1.一种异常检测方法,其特征在于,所述方法包括:
接收t时刻对应的第t实时数据,并根据所述第t实时数据生成数据曲线;其中,所述数据曲线用于表征预设时间区间的数据变化;所述t为大于或者等于0的整数;
按照多个预设分解模式,分别对所述数据曲线进行多次分解,获得多个特性曲线和多个分解系数矩阵;其中,一个特性曲线对应一个分解系数矩阵;
根据所述多个分解系数矩阵确定多个支持度参数;根据预设支持度阈值和所述多个支持度参数,确定目标特性;其中,一个特性曲线对应一个支持度参数;
根据所述目标特性,和预存特性与算法的对应关系,获取所述目标特性对应的目标算法;按照所述目标算法对待训练数据进行训练,生成与第t实时数据对应的第t模型;将所述第t模型存储至预设检测模型库中,获得更新后的预设检测模型库;
根据所述更新后的预设检测模型库对t+1时刻对应的第t+1实时数据进行异常检测,获得检测结果。
2.根据权利要求1所述的方法,其特征在于,所述接收t时刻对应的第t实时数据之后,所述方法还包括:
将所述第t实时数据存储至预存数据库。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第t实时数据生成数据曲线,包括:
按照所述预设时间区间在所述预存数据库中提取待训练数据;其中,所述待训练数据中包括所述第t实时数据;
根据所述待训练数据生成所述数据曲线。
4.根据权利要求1所述的方法,其特征在于,所述根据更新后的预设检测模型库对t+1时刻对应的第t+1实时数据进行异常检测之前,所述方法还包括:
接收所述t+1时刻对应的所述第t+1实时数据。
5.根据权利要求4所述的方法,其特征在于,所述根据更新后的预设检测模型库对t+1时刻对应的第t+1实时数据进行异常检测,获得检测结果,包括:
将所述第t+1实时数据输入至所述第t模型中,获得所述检测结果。
6.根据权利要求1所述的方法,其特征在于,所述根据更新后的预设检测模型库对t+1时刻对应的第t+1实时数据进行异常检测,获得检测结果之后,所述方法还包括:
当所述检测结果为异常时,进行报警处理。
7.一种异常检测系统,其特征在于,所述异常检测系统包括:接收单元,生成单元,获取单元,确定单元,训练单元以及检测单元,
所述接收单元,用于接收t时刻对应的第t实时数据;
所述生成单元,用于根据所述第t实时数据生成数据曲线;其中,所述数据曲线用于表征预设时间区间的数据变化;所述t为大于或者等于0的整数;
所述获取单元,用于按照多个预设分解模式,分别对所述数据曲线进行多次分解,获得多个特性曲线和多个分解系数矩阵;其中,一个特性曲线对应一个分解系数矩阵;
所述确定单元,用于根据所述多个分解系数矩阵确定多个支持度参数;以及根据预设支持度阈值和所述多个支持度参数,确定目标特性;其中,一个特性曲线对应一个支持度参数;
所述训练单元,用于根据所述目标特性,和预存特性与算法的对应关系,获取所述目标特性对应的目标算法;以及按照所述目标算法对待训练数据进行训练,生成与第t实时数据对应的第t模型;以及将所述第t模型存储至预设检测模型库中,获得更新后的预设检测模型库;
所述检测单元,用于根据所述更新后的预设检测模型库对t+1时刻对应的第t+1实时数据进行异常检测,获得检测结果。
8.根据权利要求7所述的异常检测系统,其特征在于,所述异常检测系统还包括:存储单元,
所述存储单元,用于接收t时刻对应的第t实时数据之后,将所述第t实时数据存储至预存数据库。
9.根据权利要求8所述的异常检测系统,其特征在于,
所述生成单元,具体用于按照所述预设时间区间在所述预存数据库中提取待训练数据;其中,所述待训练数据中包括所述第t实时数据;以及根据所述待训练数据生成所述数据曲线。
10.根据权利要求7所述的异常检测系统,其特征在于,
所述接收单元,还用于根据更新后的预设检测模型库对t+1时刻对应的第t+1实时数据进行异常检测之前,接收所述t+1时刻对应的所述第t+1实时数据。
11.根据权利要求10所述的异常检测系统,其特征在于,
所述检测单元,具体用于将所述第t+1实时数据输入至所述第t模型中,获得所述检测结果。
12.根据权利要求7所述的异常检测系统,其特征在于,所述异常检测系统还包括:报警单元,
所述报警单元,用于根据更新后的预设检测模型库对t+1时刻对应的第t+1实时数据进行异常检测,获得检测结果之后,当所述检测结果为异常时,进行报警处理。
13.一种异常检测系统,其特征在于,所述异常检测系统包括处理器、存储有所述处理器可执行指令的存储器、通信接口和用于连接所述处理器,所述存储器以及所述通信接口的总线,当所述指令被所述处理器执行时,实现如权利要求1-6任一项所述的方法。
14.一种计算机可读存储介质,其上存储有程序,应用于异常检测系统中,其特征在于,所述程序被处理器执行时,实现如权利要求1-6任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910650752.5A CN112241751B (zh) | 2019-07-18 | 2019-07-18 | 一种异常检测方法和系统,及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910650752.5A CN112241751B (zh) | 2019-07-18 | 2019-07-18 | 一种异常检测方法和系统,及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112241751A CN112241751A (zh) | 2021-01-19 |
CN112241751B true CN112241751B (zh) | 2022-12-13 |
Family
ID=74168374
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910650752.5A Active CN112241751B (zh) | 2019-07-18 | 2019-07-18 | 一种异常检测方法和系统,及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112241751B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115271929A (zh) * | 2022-08-17 | 2022-11-01 | 深圳前海微众银行股份有限公司 | 数据异常检测方法、装置、设备、介质及程序产品 |
CN117113261B (zh) * | 2023-10-20 | 2024-02-06 | 国网江西省电力有限公司电力科学研究院 | 一种电力物联网异常检测方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102457878A (zh) * | 2010-10-18 | 2012-05-16 | 中国移动通信集团四川有限公司 | 一种在关键业务预测中剔除异常数据的方法和装置 |
CN106953766A (zh) * | 2017-03-31 | 2017-07-14 | 北京奇艺世纪科技有限公司 | 一种报警方法及装置 |
CN108345666A (zh) * | 2018-02-06 | 2018-07-31 | 南京航空航天大学 | 一种基于时间-空间孤立点的车辆异常轨迹检测方法 |
-
2019
- 2019-07-18 CN CN201910650752.5A patent/CN112241751B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102457878A (zh) * | 2010-10-18 | 2012-05-16 | 中国移动通信集团四川有限公司 | 一种在关键业务预测中剔除异常数据的方法和装置 |
CN106953766A (zh) * | 2017-03-31 | 2017-07-14 | 北京奇艺世纪科技有限公司 | 一种报警方法及装置 |
CN108345666A (zh) * | 2018-02-06 | 2018-07-31 | 南京航空航天大学 | 一种基于时间-空间孤立点的车辆异常轨迹检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112241751A (zh) | 2021-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108731923B (zh) | 一种旋转机械设备的故障检测方法及装置 | |
CN115578015B (zh) | 基于物联网的污水处理全过程监管方法、系统及存储介质 | |
WO2019081937A1 (en) | DETERMINING OPERATING STATUS FROM COMPLEX SENSOR DATA | |
CN112241751B (zh) | 一种异常检测方法和系统,及计算机可读存储介质 | |
CN109214527B (zh) | 一种变压器故障早期诊断预警方法和系统 | |
JP6456580B1 (ja) | 異常検知装置、異常検知方法及び異常検知プログラム | |
CN113518011A (zh) | 异常检测方法和装置、电子设备及计算机可读存储介质 | |
CN113570138B (zh) | 一种时间卷积网络的设备剩余使用寿命预测方法及装置 | |
BR112021013786A2 (pt) | Método e sistema para detectar anomalias ou indicações prematuras de falha de equipamento | |
CN110057406B (zh) | 一种多尺度自适应的机械设备趋势预警方法 | |
CN110119787B (zh) | 一种旋转型机械设备工况检测方法及设备 | |
US11933695B2 (en) | System and method for detecting anomalies in sensory data of industrial machines located within a predetermined proximity | |
CN110012009B (zh) | 基于决策树和自相似模型结合的物联网入侵检测方法 | |
KR102005138B1 (ko) | 기기 이상징후 사전감지 방법 및 시스템 | |
Chen et al. | Proactive drift detection: Predicting concept drifts in data streams using probabilistic networks | |
CN106600076A (zh) | 一种转塔式rto废气处理设备的监控数据分析与预警方法 | |
CN110543869A (zh) | 滚珠丝杠寿命预测方法、装置、计算机设备及存储介质 | |
CN116030955B (zh) | 基于物联网的医疗设备状态监测方法及相关装置 | |
CN116361695A (zh) | 异常数据检测方法以及装置 | |
CN116293454A (zh) | 一种基于蒸汽管网动态平衡的管理系统、方法及介质 | |
CN117033913A (zh) | 基于电力设备画像的异常检测方法及设备、存储介质 | |
CN113778044A (zh) | 一种火电厂送风机系统监控方法及装置 | |
JP6798968B2 (ja) | ノイズ発生原因推定装置 | |
Ye | Fabric defect detection using fuzzy inductive reasoning based on image histogram statistic variables | |
JP2020187616A (ja) | プラント監視モデル作成装置、プラント監視モデル作成方法およびプラント監視モデル作成プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |