CN111277459A - 一种设备异常检测方法、装置和机器可读存储介质 - Google Patents
一种设备异常检测方法、装置和机器可读存储介质 Download PDFInfo
- Publication number
- CN111277459A CN111277459A CN202010048230.0A CN202010048230A CN111277459A CN 111277459 A CN111277459 A CN 111277459A CN 202010048230 A CN202010048230 A CN 202010048230A CN 111277459 A CN111277459 A CN 111277459A
- Authority
- CN
- China
- Prior art keywords
- performance index
- detection model
- index curve
- abnormal
- identified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
- H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/16—Threshold monitoring
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请提供了一种设备异常检测方法、装置和机器可读存储介质,所述方法包括获取待识别设备的性能指标曲线;基于所述性能指标曲线,对训练得到的异常检测模型进行调整,得到调整后的异常检测模型;其中,所述训练得到的异常检测模型为基于历史性能指标曲线训练得到的;利用所述调整后的异常检测模型对所述待识别设备的性能指标曲线进行识别,确定所述待识别设备的性能指标曲线是否存在异常点;根据所述待识别设备的性能指标曲线是否存在异常点的结果,确定所述待识别设备的异常检测结果。通过实施上述方法,可以准确得出待识别设备的异常检测结果,大大提高了异常检测结果的检测精度。
Description
技术领域
本申请涉及网络安全技术领域,特别涉及一种设备异常检测方法、装置和机器可读存储介质。
背景技术
随着互联网,特别是移动互联网的高速发展,web服务已经深入到社会的各个领域,人们使用互联网进行搜索,购物,付款,娱乐等等,而这些操作需要服务器的支撑。因此,保障服务器的稳定已经变的越来越重要。服务器的稳定性主要靠运维来保障,运维人员通过监控各种各样的关键性能指标(例如CPU,内存,访问量)来判断服务器是否稳定,而相关指标发生异常,往往意味着服务器中与其相关的应用发生了问题,进而可以确定出服务器可能不稳定。
而现有技术中常用曲线来描述关键性能指标的变化趋势,然后利用一些算法对关键性能指标变化曲线进行处理,来确定关键性能指标是否存在异常,进而确定服务器是否异常。然而上述算法常采用固定阈值的聚类算法,但该算法只使用了已知的异常数据进行聚类分析后得到各个聚类,然后基于各个聚类来判定上述变化曲线中是否存在异常数据,但仅使用异常数据的聚类算法没有考虑到各个关键性能指标的变化多样性,导致存在异常数据监测的误判和漏判。
因此,如何提高异常数据检测结果的准确性,进而提高设备是否异常检测结果的准确性是值得考虑的技术问题之一。
发明内容
有鉴于此,本申请提供了一种设备异常检测方法、装置和机器可读存储介质,用以提高异常数据检测结果的准确性,进而提高设备是否异常检测结果的准确性。
具体地,本申请是通过如下技术方案实现的:
根据本申请的第一方面,提供一种设备异常检测方法,包括:
获取待识别设备的性能指标曲线;
基于所述性能指标曲线,对训练得到的异常检测模型进行调整,得到调整后的异常检测模型;其中,所述训练得到的异常检测模型为基于历史性能指标曲线训练得到的;
利用所述调整后的异常检测模型对所述待识别设备的性能指标曲线进行识别,确定所述待识别设备的性能指标曲线是否存在异常点;
根据所述待识别设备的性能指标曲线是否存在异常点的结果,确定所述待识别设备的异常检测结果。
根据本申请的第二方面,提供一种设备异常检测装置,包括:
获取模块,获取待识别设备的性能指标曲线;
模型调整模块,用于根据所述性能指标曲线,对训练得到的异常检测模型进行调整,得到调整后的异常检测模型;其中,所述训练得到的异常检测模型为基于历史性能指标曲线训练得到的;
识别模块,用于利用所述调整后的异常检测模型对所述待识别设备的性能指标曲线进行识别,确定所述待识别设备的性能指标曲线是否存在异常点;
确定模块,用于根据所述待识别设备的性能指标曲线是否存在异常点的结果,确定所述待识别设备的异常检测结果。
根据本申请的第三方面,提供一种电子设备,包括处理器和机器可读存储介质,机器可读存储介质存储有能够被处理器执行的机器可执行指令,处理器被机器可执行指令促使执行本申请实施例第一方面所提供的方法。
根据本申请的第四方面,提供一种机器可读存储介质,机器可读存储介质存储有机器可执行指令,在被处理器调用和执行时,机器可执行指令促使处理器执行本申请实施例第一方面所提供的方法。
本申请实施例的有益效果:
本申请实施例提供的设备异常检测方法,在获取到待识别设备的性能指标曲线后,利用获取到的性能指标曲线对基于历史性能指标曲线预训练得到的异常检测模型进行调整,使得异常检测模型在调整过程中可以学习到新获取到的性能指标曲线的一些特征,进而再基于调整后的异常检测模型对获取到的性能指标曲线进行识别处理,以判断该性能指标曲线是否存在异常点;这样,通过利用调整后的异常检测模型对待识别设备的性能指标曲线进行识别,提高了识别结果的准确性;进而根据识别得到的性能指标曲线是否存在异常点的结果,可以准确得出待识别设备的异常检测结果,大大提高了异常检测结果的检测精度。
附图说明
图1是本申请一示例性实施例示出的一种检测设备100的结构示意图;
图2a是本申请一示例性实施例示出的一种设备异常检测方法的流程示意图之一;
图2b是本申请一示例性实施例示出的一种性能指标曲线的示意图;
图3是本申请一示例性实施例示出的一种设备异常检测方法的流程示意图之二;
图4是本申请一示例性实施例示出的一种设备异常检测方法的流程示意图之三;
图5是本申请一示例性实施例示出的设备异常检测装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相对应的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
现有技术中常采用设备的性能指标的KPI曲线来衡量设备是否存在异常,而设备的性能指标常包括CPU使用率、内存使用率和网页访问量等。但现有的KPI曲线处理方法仅使用异常数据来发现新KPI曲线是否异常,没有考虑新的KPI曲线自身的变化,而新的KPI曲线会频繁且大量出现,且各个性能指标是随着时间的变化而变化的,因此,现有技术提供的方法会导致异常的漏判或误判。
为了解决上述问题,本申请实施例提供了一种设备异常检测方法,该方法使用了新KPI曲线(即性能指标曲线)对基于历史性能指标曲线训练得到异常检测模型进行了调整,使得调整后的异常检测模型能够学习到新KPI曲线的特征,也就是说本申请提供的检测方法重复考虑的新KPI曲线的变化多样性,使得得到的检测结果准确度更高。
本申请提供的设备异常检测方法可以应用于检测设备中,检测设备与至少一个待识别设备相连,这样针对每一待识别设备,检测设备可以获取待识别设备的性能指标曲线,然后利用该性能指标曲线,对训练得到的异常检测模型进行调整,使得异常检测模型在调整过程中可以学习到新获取到的性能指标曲线的一些特征,进而再基于调整后的异常检测模型对获取到的性能指标曲线进行识别处理,以判断该性能指标曲线是否存在异常点;这样,通过利用调整后的异常检测模型对待识别设备的性能指标曲线进行识别,提高了识别结果的准确性;进而根据识别得到的性能指标曲线是否存在异常点的结果,可以准确得出待识别设备的异常检测结果,大大提高了异常检测结果的检测精度。
需要说明的是,本申请实施例中的性能指标曲线可以为用KPI曲线表征,性能指标具有多样性,相应的,性能指标曲线也有多样性,如有表现为周期型的,稳定型的,不稳定型的和持续波动型的,本申请实施例对性能指标曲线的类型不进行限定;此外,本申请实施例中的待识别设备可以为服务器、路由器和交换机等网络安全设备等等。本申请实施例中的性能指标可以分为两类:服务指标和机器指标,服务指标是指能够反映待识别设备的规模、质量的性能指标,例如,网页响应时间、网页访问量和连接错误数量等;而机器指标是指能够反映待识别设备健康状态的性能指标,例如,CPU使用率、内存使用率、磁盘IO、网卡吞吐率等等。
请参照图1,是本申请实施例提供的检测设备100的方框示意图。该检测设备100包括存储器110、处理器120及通信模块130。存储器110、处理器120以及通信模块130各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
其中,存储器110用于存储程序或者数据。存储器110可以是,但不限于,随机存取存储器(RandomAccess Memory,RAM),只读存储器(ReadOnly Memory,ROM),可编程只读存储器(Programmable Read-Only Memory,PROM),可擦除只读存储器(ErasableProgrammable Read-Only Memory,EPROM),电可擦除只读存储器(Electric ErasableProgrammable Read-Only Memory,EEPROM)等。
处理器120用于读/写存储器110中存储的数据或程序,并执行相应地功能。例如,当存储器110存储的计算机程序被处理器120执行时,能够实现本申请各实施例所揭示的设备异常检测方法。
通信模块130用于通过网络建立检测设备100与其它通信终端之间的通信连接,并用于通过网络收发数据。例如,检测设备100可以通过通信模块130从其它通信终端,如本申请实施例提供的待识别设备,获取待识别设备的性能指标曲线。
应当理解的是,图1所示的结构仅为检测设备100的结构示意图,检测设备100还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
下面对本申请提供的设备异常检测方法进行详细地说明。
参见图2a,图2a是本申请示出的一种设备异常检测方法的流程图。该方法可包括如下所示步骤。
S201、获取待识别设备的性能指标曲线。
具体地,针对每一性能指标,检测设备100可以主动检测待识别设备,实时获取各个时间点下该性能指标的性能指标实际值,从而可以得到该性能指标的性能指标曲线;可选地,针对每一性能指标,待识别设备也可以主动检测自身性能指标在各个时间点的性能指标实际值,基于各个时间点及各个时间点的性能指标实际值构成该性能指标的性能指标曲线。
本申请实施例中的性能指标曲线可以为能够确定设备是否异常的任一性能指标的性能指标曲线,该性能指标可以但不限于为CPU使用率、内存使用率、磁盘利用率、网页访问量等等。
S202、基于性能指标曲线,对训练得到的异常检测模型进行调整,得到调整后的异常检测模型。
其中,上述训练得到的异常检测模型为基于历史性能指标曲线训练得到的。
具体地,本申请中的异常检测模型预先用历史获取到的性能指标曲线,即本申请中的历史性能指标曲线对异常检测模型进行训练,由于历史性能指标曲线上各个点的取值是否异常的情况是已知的,这样在训练过程中异常检测模型可以分别学习到异常点和正常点的特征,使得训练得到的模型在识别性能指标曲线是否存在异常点时的准确性得到了保证;此外,为了应对性能指标曲线的变化多样性,当获取到性能指标曲线时,即获取到新的性能指标曲线时,本申请提出利用新的性能指标曲线对训练得到的异常检测模型进行调整,使得调整后的异常检测模型能够学习到新的性能指标曲线的一些特征,以适应新的性能指标曲线的变化多样性。
需要说明的是,本申请实施例中,利用新的性能指标曲线对训练得到的异常检测模型进行调整的过程,其实质上是利用新的性能曲线对基于历史训练得到的异常检测模型继续进行训练的过程。当调整后的异常检测模型达到训练终止条件时,终止训练或调整。其中,训练终止条件可以为调整次数达到设定次数,或者,调整后的异常检测模型中损失函数的输出结果在设定误差范围内。
S203、利用调整后的异常检测模型对待识别设备的性能指标曲线进行识别,确定待识别设备的性能指标曲线是否存在异常点。
具体地,基于步骤S202中得到调整后的异常检测模型后,再利用调整后的异常检测模型对新的性能指标曲线进行识别处理,由于调整后的异常检测模型学习到了新的性能指标曲线的一些特征,使得调整后的异常检测模型可以准确地识别出新的性能指标曲线是否存在异常点。
S204、根据待识别设备的性能指标曲线是否存在异常点的结果,确定待识别设备的异常检测结果。
作为一种可能的实施方式,待识别设备可能存在抖动情况,因抖动因素导致某个时间点的性能指标实际值异常,但下一时间点又恢复正常,但实际上待识别设备是正常的,因此,为了避免抖动等偶然情况而误判断待识别设备存在异常,则可以在确定出待识别设备的性能指标曲线存在异常点的数量不低于预设数量阈值时,确定待识别设备存在异常;否则,确定待识别设备工作正常。
作为另一种可能的实施方式,当设备存在异常时,一般情况下,设备不会立即正常,所以在设备异常时,其性能指标曲线一般会存在连续的异常点;基于此情况,可以在确定出待识别设备的性能指标曲线在预设时间段内存在异常点的数量不低于设定数量时,确定待识别设备存在异常;否则,确定待识别设备工作正常。
作为另一个可能的实施方式,当确定出待识别设备的性能指标曲线存在异常点时,还可以将确定出的异常点在性能指标曲线上进行标注,然后进行输出展示,参考图2b所示,为了方便示意在图2b中圈出了异常点,但在实际应用中,性能指标曲线的正常点和异常点一般可以用颜色进行区分,不用特别圈出。当维护人员看到图2b所示的异常点时,根据经验来确定待识别设备是否异常。
通过执行图1的流程,由于利用新获取到的性能指标曲线来在线调整基于历史性能指标曲线训练得到的异常检测模型,使得调整过程中,异常检测模型能够学习到新获取到的性能指标曲线的特征,进而使得调整后的异常检测模型可以准确地识别出前述新获取到的性能指标曲线上的异常点,从而提高了待识别设备的异常检测结果的准确性。
基于上述实施例,可以按照图3所示的流程实施步骤S202,可以包括以下流程:
S301、提取性能指标曲线的性能特征向量,并对性能特征向量进行聚类处理,得到聚类结果。
具体地,本申请实施例中提取的性能特征向量由基于性能指标曲线处理得到的性能特征值构成的,该性能特征值可以为:一段时间内性能指标曲线上的性能指标实际值和/或对该时间段内的性能指标实际值进行特征工程计算得到的性能特征值。上述性能特征值可以但不限于包括以下至少一项:预设时间段内性能指标实际值、均值、方差、标准差、绝对波动值的最大值、绝对波动值的最小值、绝对波动值的平均值、相对波动值的最大值、相对波动值的最小值、相对波动值的平均值等等。其中,上述预设时间段可以为一周、每天、固定某天(如周一)或一天内的连续几个小时等等。
由于属于同一类的性能指标曲线具有相似的行为特点,基于此原因,基于上述过程得到性能特征向量后,可以利用现有的聚类算法对性能特征向量进行聚类处理,从而得到性能指标曲线的聚类结果,而该聚类结果用于表征性能指标曲线所属的类别,然后基于类别与异常检测模型之间的对应关系,确定出聚类结果表征的所属类别对应的异常检测模型,这样利用与聚类结果相一致的异常检测模型进行识别时,识别的准确度更高。
具体实施时,可以预先根据划分出性能指标曲线的类别,以具有N个类别为例,筛选出N个类别分别对应的历史性能指标曲线,然后针对每一类,利用筛选出的历史性能指标曲线进行特征向量提取,得到特征向量簇,并确定上述特征向量簇的聚类中心;基于此,可以得到各个类别的特征向量簇和聚类中心。
基于上述描述,针对新获取到的性能指标曲线,在进行聚类分析时,可以确定该性能指标曲线的性能特征向量与各个类别的特征向量簇的聚类中心之间的距离,将距离满足条件(如距离最近)的特征向量簇对应的类别确定为新的性能指标曲线的聚类结果。
需要说明的是,性能指标曲线的类别可以动态更新,具体可以为增加、删除或变更等等。相应的,各个类别的历史性能指标曲线可以动态更新,进而动态更新各个类别的特征向量簇和特征向量簇的聚类中心。
可选地,本申请实施例中的聚类算法可以为Kmeans聚类算法、基于局部密度的分类算法等等。具体实施时,以Kmeans聚类算法为例进行说明,例如,以N个类别对应的历史性能指标曲线得到N个聚类中心后,将这N个聚类中心作为参照,以这N个聚类中心作为初始参照点,针对新获取到的性能指标曲线得到的性能特征向量,依据预设划分规则可以将该性能特征向量某个类别中,然后根据聚类公式再次计算每个类别的中心点;如果对于性能特征向量中任一个数据,聚类公式都能成立,则算法终止,从而输出该性能特征向量最终的聚类结果,即新获取到的性能指标曲线的聚类结果。
可选地,本申请在对性能指标曲线进行分类后,相应的,在训练异常检测模型时,也需要对历史性能指标曲线进行分类,然后针对每一类别,利用该类别下的历史性能指标曲线来训练异常检测模型,训练得到该类别对应的异常检测模型。基于此可以得到各个类别的异常检测模型,这样得到的异常检测模型更具针对性,识别性更高。
需要说明的是,针对每一类别,可以利用用于构成该类别的特征向量簇的历史性能指标曲线来训练该类别的异常检测模型,使得训练得到的异常检测模型一致性更高。
S302、利用性能指标曲线对与聚类结果相匹配的异常检测模型进行调整,得到调整后的异常检测模型。
具体地,在基于步骤S301确定出聚类结果后,则可以确定出该待识别设备的性能指标曲线的类别,从各个类别分别对应的异常检测模型中筛选出与确定出的类别相一致的异常检测模型;然后在利用性能指标曲线对上述相一致的异常检测模型进行调整,也即重新训练,得到准确度更高的、调整后的异常检测模型。通过实施图3的流程,由于对性能指标曲线进行了分类,然后再利用性能指标曲线对与其分类结果(即聚类结果)相一致的异常检测模型进行重新训练,从而使得调整得到的异常检测模型能更加准确地识别出该性能指标曲线是否存在异常点,进而提高了待识别设备的异常检测结果的准确度。
可选地,可以按照下述流程执行步骤S302,包括以下步骤:
步骤一:提取性能指标曲线的多个采样点,每一采样点包括采样时间点及该采样时间点对应的性能指标实际值。
具体地,虽然属于同一类别的性能指标曲线形状比较相似,但是并不是完全一致,因此在模型层面上需要有所区分,即与聚类结果相一致的异常检测模型需要学习新的性能指标曲线的特征,基于此目的,可以提取获取到的待识别设备的性能指标曲线中若干采样点,如20%的采样点,这20%的采样点包括采样时间点和该采样时间点对应的性能指标实际值。
步骤二:对采样点进行标注,并利用标注后的采样点对与聚类结果相匹配的异常检测模型进行调整,当调整后的异常检测模型的输出结果或调整次数满足终止条件时,输出调整后的异常检测模型。
具体地,一种可能的实施方式中,仅利用新的性能指标曲线上标注后的采样点对步骤二中的异常检测模型进行重新训练,而该异常检测模型已用聚类结果下的历史性能指标曲线进行预训练,再重新训练过程中,针对每次调整,会判断该次调整后的异常检测模型的输出结果与标注结果的差异是否在误差允许的范围内,如果在,则调整结束;如果不在误差允许的范围内,则对该次调整后的异常检测模型中的模型权重继续进行下一次调整,得到下一次调整后的异常检测模型,然后循环执行上述过程,直至某次调整后的异常检测模型的输出结果与标注结果的差异在误差允许的范围内输出调整后的异常检测模型,此时终止条件为:调整后的异常检测模型的输出结果与标注结果的差异在误差允许的范围内。或者,终止条件可以为调整次数达到设定次数,则针对每次调整,判断调整次数是否达到设定终止次数,如果未达到,则可以基于异常检测模型中的误差损失函数的结果对异常检测模型的模型权重进行调整,直至调整次数达到设定次数时输出调整后的异常检测模型。
另一种可能的实施方式中,在提取新性能指标曲线的采样点后,还可以再获取聚类结果下的历史性能指标曲线并从历史性能指标曲线中提取采样点及采样点的标注结果,然后利用新性能指标曲线的采样点及标注结果、历史性能指标曲线的采样点及标注结果,一起对聚类结果对应的异常检测模型进行重新训练,其训练过程可以参考仅利用新性能指标曲线的采样点对异常检测模型进行训练的训练过程,此处不再详细描述。
需要说明的是,基于历史性能指标曲线对异常检测模型进行训练的过程与步骤一和步骤二类似,此处不再详细赘述。
通过实施步骤一和二,使得调整后的异常检测模型既保留了该类别下历史性能指标曲线的特征,同时也学习到了该类别下新的性能指标曲线的特征,提高了调整后的异常检测模型的识别准确度。
可选地,基于上述任一实施例,可以按照图4所示的过程实施步骤S203,包括以下步骤:
S401、针对每一时间点,利用调整后的异常检测模型获得该时间点的性能指标预测值。
具体地,将待识别设备的性能指标曲线按照调整后的异常检测模型的输入格式进行处理,然后将处理后的性能指标曲线输入到调整后的异常检测模型中,该调整后的异常检测模型可以预测得到每个时间点的性能指标预测值。
S402、利用调整后的异常检测模型确定该时间点的性能指标预测值与该时间点的性能指标实际值之间的偏差,当偏差超过设定值时,则确定性能指标曲线存在异常点。
本步骤中,当得到每个时间点的性能指标预测值后,可以将该时间点的性能指标实际值和该时间点的性能指标预测值进行比较,得到这两个值之间的偏差的,当偏差值超过设定值时,则表明该采样点为异常点,进而表明待识别设备的性能指标曲线存在异常点;反之,则表明该采样点为正常点,则继续判断下一个采样点是否为异常点。可选地,本步骤中的设定值可以但不限于为20%等等。
基于上述任一实施例,通过实施图4所示的方法,利用调整后的异常检测模型可以准确地识别出待识别设备的性能指标曲线是否存在异常点,进而提升待识别设备异常检测结果的准确度,同时也不会存在异常点的漏判和误判。
需要说明的是,本申请实施例中的异常检测模型可以但不限于为随机森林模型、神经网络等。异常检测模型的预训练过程可以参与现有的训练过程,在训练阶段,需要训练样本,而本申请中的训练样本为大量历史性能指标曲线,此处以异常检测模型为随机森林模型为例进行简要说明,随机森林模型的基本单元是决策树,即随机森林模型由多棵决策树构成,决策树主要用于选取特征对训练样本进行划分,最后把样本贴上不同的标签。一个决策树相当于一个专家,通过决策树自身在训练样本中学习到的特征对新的性能指标曲线进行分类。而随机森林模型用于通过构建多棵决策树,根据多棵决策树的分类结果,通过一定的分析比较得到最终的结果,使得最终的结果准确度更高。
在本申请中,针对每棵决策树,利用训练样本中的历史性能指标曲线对该决策树进行训练,训练过程为:随机选择一个训练样本,然后根据决策树的输入要求,将训练样本转换成能够输入到决策树中的格式,待输入到决策树中后,在决策树训练过程中,对于决策树每一个节点,该节点会随机选择若干个特征,然后针对选择的若干个特征,采用某种策略来选择一个特征,作为该节点的分裂属性以进行树分类,一直到不能再分裂为止,注意整个决策树过程中没有剪枝。按照前述描述可以训练得到各个决策树,进而训练得到随机森林模型。
另外,在利用新获取到的性能指标曲线进行调整时,其过程与前述训练过程类似,这样,随机森林模型中的每棵决策树都可以学习到新的性能指标曲线的一些特征,进而得到调整后的随机森林模型。在利用调整后的随机森林模型对新获取到的性能指标曲线进行识别时,模型中每棵决策树都可以得到该性能指标曲线中各个点是否异常的结果,然后根据一定的决策规则,基于各个决策树的输出结果来确定新的性能指标曲线是否存在异常点。决策规则可以但不限于为:针对性能指标曲线中每个点,若判断该点为异常点的决策树的数量大于判断该点为正常点的决策树的数量,则确定该点为异常点;或者,针对性能指标曲线中每个点,若存在超过预设个数个决策树判断该点为异常点,则确定性能指标曲线中该点为异常点等等。
基于同一发明构思,本申请还提供了与上述设备异常检测方法对应的设备异常检测装置。其中,设备异常检测装置的实施过程与设备异常检测方法的实施过程类似,此处不再一一详细介绍。
参见图5,图5是本申请一示例性实施例示出的一种设备异常检测装置,该装置包括:
获取模块501,获取待识别设备的性能指标曲线;
模型调整模块502,用于根据所述性能指标曲线,对训练得到的异常检测模型进行调整,得到调整后的异常检测模型;其中,所述训练得到的异常检测模型为基于历史性能指标曲线训练得到的;
识别模块503,用于利用所述调整后的异常检测模型对所述待识别设备的性能指标曲线进行识别,确定所述待识别设备的性能指标曲线是否存在异常点;
确定模块504,用于根据所述待识别设备的性能指标曲线是否存在异常点的结果,确定所述待识别设备的异常检测结果。
一种可能的实施方式中,上述模型调整模块502,具体用于提取所述性能指标曲线的性能特征向量,并对所述性能特征向量进行聚类处理,得到聚类结果;利用所述性能指标曲线对与所述聚类结果相匹配的异常检测模型进行调整,得到调整后的异常检测模型。
一种可能的实施方式中,上述模型调整模块502,具体用于提取所述性能指标曲线的多个采样点,每一采样点包括采样时间点及该采样时间点对应的性能指标实际值;对所述采样点进行标注,并利用标注后的采样点对与所述聚类结果相匹配的异常检测模型进行调整,当调整后的异常检测模型的输出结果或调整次数满足终止条件时,输出调整后的异常检测模型。
基于上述任一实施例,一种可能的实施方式中,本申请的性能指标曲线为多个时间点及每一时间点对应的性能指标实际值构成的;则
上述识别模块503,具体用于针对每一时间点,利用所述调整后的异常检测模型获得该时间点的性能指标预测值;利用所述调整后的异常检测模型确定该时间点的性能指标预测值与该时间点的性能指标实际值之间的偏差,当所述偏差超过设定值时,则确定所述性能指标曲线存在异常点。
基于同一申请构思,本申请实施例提供了一种机器可读存储介质,机器可读存储介质存储有机器可执行指令,在被处理器调用和执行时,机器可执行指令促使处理器执行本申请实施例所提供的设备异常检测方法。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。
Claims (10)
1.一种设备异常检测方法,其特征在于,包括:
获取待识别设备的性能指标曲线;
基于所述性能指标曲线,对训练得到的异常检测模型进行调整,得到调整后的异常检测模型;其中,所述训练得到的异常检测模型为基于历史性能指标曲线训练得到的;
利用所述调整后的异常检测模型对所述待识别设备的性能指标曲线进行识别,确定所述待识别设备的性能指标曲线是否存在异常点;
根据所述待识别设备的性能指标曲线是否存在异常点的结果,确定所述待识别设备的异常检测结果。
2.根据权利要求1所述的方法,其特征在于,基于所述性能指标曲线,对训练得到的异常检测模型进行调整,得到调整后的异常检测模型,包括:
提取所述性能指标曲线的性能特征向量,并对所述性能特征向量进行聚类处理,得到聚类结果;
利用所述性能指标曲线对与所述聚类结果相匹配的异常检测模型进行调整,得到调整后的异常检测模型。
3.根据权利要求2所述的方法,其特征在于,利用所述性能指标曲线对与所述聚类结果相匹配的异常检测模型进行调整,得到调整后的异常检测模型,包括:
提取所述性能指标曲线的多个采样点,每一采样点包括采样时间点及该采样时间点对应的性能指标实际值;
对所述采样点进行标注,并利用标注后的采样点对与所述聚类结果相匹配的异常检测模型进行调整,当调整后的异常检测模型的输出结果或调整次数满足终止条件时,输出调整后的异常检测模型。
4.根据权利要求1所述的方法,其特征在于,所述性能指标曲线为多个时间点及每一时间点对应的性能指标实际值构成的;
利用所述调整后的异常检测模型对所述待识别设备的性能指标曲线进行识别,确定所述待识别设备的性能指标曲线是否存在异常点,包括:
针对每一时间点,利用所述调整后的异常检测模型获得该时间点的性能指标预测值;
利用所述调整后的异常检测模型确定该时间点的性能指标预测值与该时间点的性能指标实际值之间的偏差,当所述偏差超过设定值时,则确定所述性能指标曲线存在异常点。
5.一种设备异常检测装置,其特征在于,包括:
获取模块,获取待识别设备的性能指标曲线;
模型调整模块,用于根据所述性能指标曲线,对训练得到的异常检测模型进行调整,得到调整后的异常检测模型;其中,所述训练得到的异常检测模型为基于历史性能指标曲线训练得到的;
识别模块,用于利用所述调整后的异常检测模型对所述待识别设备的性能指标曲线进行识别,确定所述待识别设备的性能指标曲线是否存在异常点;
确定模块,用于根据所述待识别设备的性能指标曲线是否存在异常点的结果,确定所述待识别设备的异常检测结果。
6.根据权利要求5所述的装置,其特征在于,
所述模型调整模块,具体用于提取所述性能指标曲线的性能特征向量,并对所述性能特征向量进行聚类处理,得到聚类结果;利用所述性能指标曲线对与所述聚类结果相匹配的异常检测模型进行调整,得到调整后的异常检测模型。
7.根据权利要求6所述的装置,其特征在于,
所述模型调整模块,具体用于提取所述性能指标曲线的多个采样点,每一采样点包括采样时间点及该采样时间点对应的性能指标实际值;对所述采样点进行标注,并利用标注后的采样点对与所述聚类结果相匹配的异常检测模型进行调整,当调整后的异常检测模型的输出结果或调整次数满足终止条件时,输出调整后的异常检测模型。
8.根据权利要求5所述的装置,其特征在于,所述性能指标曲线为多个时间点及每一时间点对应的性能指标实际值构成的;
所述识别模块,具体用于针对每一时间点,利用所述调整后的异常检测模型获得该时间点的性能指标预测值;利用所述调整后的异常检测模型确定该时间点的性能指标预测值与该时间点的性能指标实际值之间的偏差,当所述偏差超过设定值时,则确定所述性能指标曲线存在异常点。
9.一种电子设备,其特征在于,包括处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令,所述处理器被所述机器可执行指令促使执行权利要求1-4任一项所述的方法。
10.一种机器可读存储介质,其特征在于,所述机器可读存储介质存储有机器可执行指令,在被处理器调用和执行时,所述机器可执行指令促使所述处理器执行权利要求1-4任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010048230.0A CN111277459A (zh) | 2020-01-16 | 2020-01-16 | 一种设备异常检测方法、装置和机器可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010048230.0A CN111277459A (zh) | 2020-01-16 | 2020-01-16 | 一种设备异常检测方法、装置和机器可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111277459A true CN111277459A (zh) | 2020-06-12 |
Family
ID=71001572
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010048230.0A Pending CN111277459A (zh) | 2020-01-16 | 2020-01-16 | 一种设备异常检测方法、装置和机器可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111277459A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113033639A (zh) * | 2021-03-16 | 2021-06-25 | 江苏保旺达软件技术有限公司 | 一种异常数据检测模型的训练方法、电子设备及存储介质 |
CN113990512A (zh) * | 2021-10-22 | 2022-01-28 | 泰康保险集团股份有限公司 | 异常数据检测方法及装置、电子设备和存储介质 |
CN114118201A (zh) * | 2021-09-27 | 2022-03-01 | 南开大学 | 基于主动学习的医疗设备性能指标检测方法和装置 |
CN114363212A (zh) * | 2021-12-27 | 2022-04-15 | 绿盟科技集团股份有限公司 | 一种设备检测方法、装置、设备和存储介质 |
WO2023000482A1 (zh) * | 2021-07-23 | 2023-01-26 | 广州新科佳都科技有限公司 | 一种基于机理分析的站台门异常检测方法及装置 |
CN116779937A (zh) * | 2023-08-17 | 2023-09-19 | 宁德时代新能源科技股份有限公司 | 冷压工位确定方法、装置、设备及存储介质 |
CN116992389A (zh) * | 2023-09-26 | 2023-11-03 | 河北登浦信息技术有限公司 | 一种物联网虚假数据检测方法及系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9336484B1 (en) * | 2011-09-26 | 2016-05-10 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration (Nasa) | System and method for outlier detection via estimating clusters |
CN108829878A (zh) * | 2018-06-26 | 2018-11-16 | 北京理工大学 | 一种工业实验数据异常点检测方法及装置 |
CN108924127A (zh) * | 2018-06-29 | 2018-11-30 | 新华三信息安全技术有限公司 | 一种流量基线的生成方法和装置 |
CN109684118A (zh) * | 2018-12-10 | 2019-04-26 | 深圳前海微众银行股份有限公司 | 异常数据的检测方法、装置、设备及计算机可读存储介质 |
CN109739904A (zh) * | 2018-12-30 | 2019-05-10 | 北京城市网邻信息技术有限公司 | 一种时间序列的标记方法、装置、设备和存储介质 |
CN109886016A (zh) * | 2018-12-27 | 2019-06-14 | 慧安金科(北京)科技有限公司 | 用于检测异常数据的方法、设备和计算机可读存储介质 |
CN109948669A (zh) * | 2019-03-04 | 2019-06-28 | 腾讯科技(深圳)有限公司 | 一种异常数据检测方法及装置 |
CN110032670A (zh) * | 2019-04-17 | 2019-07-19 | 腾讯科技(深圳)有限公司 | 时序数据的异常检测方法、装置、设备及存储介质 |
-
2020
- 2020-01-16 CN CN202010048230.0A patent/CN111277459A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9336484B1 (en) * | 2011-09-26 | 2016-05-10 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration (Nasa) | System and method for outlier detection via estimating clusters |
CN108829878A (zh) * | 2018-06-26 | 2018-11-16 | 北京理工大学 | 一种工业实验数据异常点检测方法及装置 |
CN108924127A (zh) * | 2018-06-29 | 2018-11-30 | 新华三信息安全技术有限公司 | 一种流量基线的生成方法和装置 |
CN109684118A (zh) * | 2018-12-10 | 2019-04-26 | 深圳前海微众银行股份有限公司 | 异常数据的检测方法、装置、设备及计算机可读存储介质 |
CN109886016A (zh) * | 2018-12-27 | 2019-06-14 | 慧安金科(北京)科技有限公司 | 用于检测异常数据的方法、设备和计算机可读存储介质 |
CN109739904A (zh) * | 2018-12-30 | 2019-05-10 | 北京城市网邻信息技术有限公司 | 一种时间序列的标记方法、装置、设备和存储介质 |
CN109948669A (zh) * | 2019-03-04 | 2019-06-28 | 腾讯科技(深圳)有限公司 | 一种异常数据检测方法及装置 |
CN110032670A (zh) * | 2019-04-17 | 2019-07-19 | 腾讯科技(深圳)有限公司 | 时序数据的异常检测方法、装置、设备及存储介质 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113033639A (zh) * | 2021-03-16 | 2021-06-25 | 江苏保旺达软件技术有限公司 | 一种异常数据检测模型的训练方法、电子设备及存储介质 |
WO2023000482A1 (zh) * | 2021-07-23 | 2023-01-26 | 广州新科佳都科技有限公司 | 一种基于机理分析的站台门异常检测方法及装置 |
CN114118201A (zh) * | 2021-09-27 | 2022-03-01 | 南开大学 | 基于主动学习的医疗设备性能指标检测方法和装置 |
CN113990512A (zh) * | 2021-10-22 | 2022-01-28 | 泰康保险集团股份有限公司 | 异常数据检测方法及装置、电子设备和存储介质 |
CN114363212A (zh) * | 2021-12-27 | 2022-04-15 | 绿盟科技集团股份有限公司 | 一种设备检测方法、装置、设备和存储介质 |
CN114363212B (zh) * | 2021-12-27 | 2023-12-26 | 绿盟科技集团股份有限公司 | 一种设备检测方法、装置、设备和存储介质 |
CN116779937A (zh) * | 2023-08-17 | 2023-09-19 | 宁德时代新能源科技股份有限公司 | 冷压工位确定方法、装置、设备及存储介质 |
CN116992389A (zh) * | 2023-09-26 | 2023-11-03 | 河北登浦信息技术有限公司 | 一种物联网虚假数据检测方法及系统 |
CN116992389B (zh) * | 2023-09-26 | 2023-12-29 | 河北登浦信息技术有限公司 | 一种物联网虚假数据检测方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111277459A (zh) | 一种设备异常检测方法、装置和机器可读存储介质 | |
CN106951984B (zh) | 一种系统健康度动态分析预测方法及装置 | |
CN113556258B (zh) | 一种异常检测方法及装置 | |
CN113518011B (zh) | 异常检测方法和装置、电子设备及计算机可读存储介质 | |
CN111782484B (zh) | 一种异常检测方法及装置 | |
EP1958034B1 (en) | Use of sequential clustering for instance selection in machine condition monitoring | |
JP2015184942A (ja) | 故障原因分類装置 | |
CN111309565A (zh) | 告警处理方法、装置、电子设备以及计算机可读存储介质 | |
CN108764290B (zh) | 模型异动的原因确定方法及装置和电子设备 | |
CN116485020B (zh) | 一种基于大数据的供应链风险识别预警方法、系统及介质 | |
CN114422184A (zh) | 基于机器学习的网络安全攻击类型和威胁等级预测方法 | |
CN108829878A (zh) | 一种工业实验数据异常点检测方法及装置 | |
CN115858794B (zh) | 用于网络运行安全监测的异常日志数据识别方法 | |
CN115865483A (zh) | 一种基于机器学习的异常行为分析方法和装置 | |
CN113269327A (zh) | 一种基于机器学习的流量异常预测方法 | |
CN114912678A (zh) | 电网调控异常操作在线自动检测预警方法及系统 | |
CN109240882B (zh) | 一种金融数据一致性检测系统及方法 | |
EP3093770A2 (en) | System and method for the creation and detection of process fingerprints for monitoring in a process plant | |
US11580414B2 (en) | Factor analysis device, factor analysis method, and storage medium on which program is stored | |
CN110688273B (zh) | 分类模型的监控方法、装置、终端以及计算机存储介质 | |
CN116545867A (zh) | 一种监控通信网络网元性能指标异常的方法及装置 | |
CN116483602A (zh) | 一种异常检测方法、装置以及计算机存储介质 | |
CN116910343A (zh) | 业务系统的异常告警方法、装置及计算机可读存储介质 | |
CN117749658A (zh) | 故障预测方法、网络运维管理平台、电子设备及介质 | |
CN115392351A (zh) | 风险用户识别方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200612 |