CN112101554A - 异常检测方法及装置、设备、计算机可读存储介质 - Google Patents

异常检测方法及装置、设备、计算机可读存储介质 Download PDF

Info

Publication number
CN112101554A
CN112101554A CN202011251339.0A CN202011251339A CN112101554A CN 112101554 A CN112101554 A CN 112101554A CN 202011251339 A CN202011251339 A CN 202011251339A CN 112101554 A CN112101554 A CN 112101554A
Authority
CN
China
Prior art keywords
monitoring
encoder
series data
data
sequence data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011251339.0A
Other languages
English (en)
Other versions
CN112101554B (zh
Inventor
胡文波
李文凯
李黄享
陈云天
田天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Real AI Technology Co Ltd
Original Assignee
Beijing Real AI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Real AI Technology Co Ltd filed Critical Beijing Real AI Technology Co Ltd
Priority to CN202011251339.0A priority Critical patent/CN112101554B/zh
Publication of CN112101554A publication Critical patent/CN112101554A/zh
Application granted granted Critical
Publication of CN112101554B publication Critical patent/CN112101554B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452Performance evaluation by statistical analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466Performance evaluation by tracing or monitoring
    • G06F11/3476Data logging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393Score-carding, benchmarking or key performance indicator [KPI] analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/20Administration of product repair or maintenance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Educational Administration (AREA)
  • Operations Research (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

公开了一种异常检测方法及装置、设备、计算机可读存储介质。本申请一实施例中,异常检测方法包括:获取监控对象的监测时序数据,监测时序数据中包括监控对象的一监测指标在预定时段的监测量;通过变分自编码器中的编码器计算用于描述监测时序数据中潜在波动属性的概率分布,在概率分布中采样以获得隐藏变量;通过变分自编码器中的解码器利用隐藏变量重构出对应监测时序数据的参考时序数据,参考时序数据用于描述监测指标在预定时段的正常波动模式;通过估算监测时序数据与参考时序数据之间的差异来确定监测指标在预定时段的异常情况。本申请实施例能够利用变分自编码器快速、准确地定位一监控指标在某一时段内的异常情况。

Description

异常检测方法及装置、设备、计算机可读存储介质
技术领域
本申请涉及监控技术领域,尤其涉及一种异常检测方法及装置、设备、计算机可读存储介质。
背景技术
设备安全是一个复杂的系统工程,为保证其安全、良好运转,需要采集设备的重要物理量作为监测指标,来表征设备各个部位的运转状态。对设备的监测指标进行异常检测,可以及时发现设备的具体异常情况,方便决策者解决异常,保证设备的安全运转。由于某些设备的监控指标季节性变化复杂多样,相关技术的异常检测方案难以准确检测出这些设备的监控指标的异常。
发明内容
为了部分地或全部地解决上述技术问题,本申请实施例期望提供一种设备异常检测方法及装置、设备、计算机可读存储介质。
本申请的一个方面,提供了一种异常检测方法,包括:
获取监控对象的监测时序数据,所述监测时序数据中包括所述监控对象的一监测指标在预定时段的监测量;
通过变分自编码器中的编码器计算用于描述所述监测时序数据中潜在波动属性的概率分布,在所述概率分布中采样以获得隐藏变量;
通过所述变分自编码器中的解码器利用所述隐藏变量重构出对应所述监测时序数据的参考时序数据,所述参考时序数据用于描述所述监测指标在所述预定时段的正常波动模式,所述参考时序数据中包含所述监测指标在所述预定时段的参考量;
通过估算所述监测时序数据与所述参考时序数据之间的差异来确定所述监测指标在所述预定时段的异常情况。
一些示例中,所述通过变分自编码器中的编码器计算用于描述所述监测时序数据中潜在波动属性的概率分布,包括:
以所述监测时序数据为自变量,通过所述编码器计算所述隐藏变量的后验概率分布,所述隐藏变量的后验概率分布用于描述所述监测时序数据的潜在波动属性;
所述编码器的编码过程表示为:p(z|x)=f(x),f(x)表示由所述编码器定义的函数或函数族,p(z|x)表示隐藏变量z的后验概率分布,也即事件x发生时隐藏变量z的发生概率,x={x1,x2,…,xn},x表示监测时序数据,x1,x2,…,xn分别表示所述监测指标在所述预定时段中每一时刻的监测量,n表示所述监测时序数据的长度。
一些示例中,通过所述变分自编码器中的解码器利用所述隐藏变量重构出对应所述监测时序数据的参考时序数据,包括:
以所述隐藏变量为自变量,通过所述解码器计算得到所述参考时序数据;其中,所述解码器的解码过程表示为x'=g(z),x'表示所述参考时序数据,x'={x'1,x'2,…,x'n},x'1,x'2,…,x'n分别表示所述监测指标在所述预定时段中每一时刻的参考量,g(z)表示由所述解码器定义的函数或函数族。
一些示例中,所述变分自编码器中的编码器和解码器均采用神经网络建模并通过最小化样本时序数据及其对应的参考时序数据之间的差异来同时训练的,所述样本时序数据由所述监测指标的历史监测量形成。
一些示例中,所述变分自编码器中的编码器和解码器是通过协同优化样本时序数据及其参考时序数据之间的差异、以及该样本时序数据的隐藏变量的先验概率分布p(z)与其后验概率分布p(z|x)之间的差异来训练得到的。
一些示例中,通过估算所述监测时序数据与所述参考时序数据之间的差异来确定所述监测指标在所述预定时段的异常情况,包括:计算所述监测时序数据中各个监测量与所述参考时序数据中相应参考量之间的差异;以及,根据所述差异和预定的评分阈值,确定所述监测指标在相应时刻是否异常。
一些示例中,计算所述监测时序数据中各个监测量与所述参考时序数据中相应参考量之间的差异,包括:计算所述监测时序数据中各个监测量与所述参考时序数据中相应时刻的参考量之间的平方误差,以所述平方误差的计算结果作为所述监测指标在所述预设时段中相应时刻的异常程度评分。
一些示例中,根据所述差异和预定的评分阈值,确定所述监测指标在相应时刻是否异常,包括:将所述监测指标在所述预设时段中每一时刻的异常程度评分与所述评分阈值比较;以及,响应于任一或多个所述异常程度评分高于所述评分阈值,确定所述监测指标在相应的一个时刻或多个时刻发生异常。
一些示例中,上述异常检测方法还包括:估算所述监测时序数据与所述参考时序数据之间的差异之前,从所述监测时序数据中抽取部分数据来形成验证数据集,通过遍历预先设定的备选阈值选出使用所述变分自编码器在所述验证数据集上能够检测最多异常且误警率最低的备选阈值作为所述评分阈值。
一些示例中,所述监测指标为所述监控对象的一物理量或一环境量。
本申请的一个方面,提供了一种异常检测装置,包括:
获取单元,配置为获取监控对象的监测时序数据,所述监测时序数据中包括所述监控对象的一监测指标在预定时段的监测量;
编码单元,配置为通过变分自编码器中的编码器计算用于描述所述监测时序数据中潜在波动属性的概率分布,在所述概率分布中采样以获得隐藏变量;
解码单元,配置为通过所述变分自编码器中的解码器利用所述隐藏变量重构出对应所述监测时序数据的参考时序数据,所述参考时序数据用于描述所述监测指标在所述预定时段的正常波动模式,所述参考时序数据中包含所述监测指标在所述预定时段的参考量;
异常判定单元,配置为通过估算所述监测时序数据与所述参考时序数据之间的差异来确定所述监测指标在所述预定时段的异常情况。
本申请的一个方面,提供了一种计算设备,所述计算设备包括:
存储有计算机程序的存储器;
一个或多个处理器,配置为读取所述存储器中的计算机程序以执行上述的异常检测方法。
本申请的一个方面,提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述的异常检测方法。
本申请实施例能够利用变分自编码器快速、准确地定位一监控指标在某一时段内的异常情况。
附图说明
通过参考附图阅读下文的详细描述,本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本申请的若干实施方式,其中:
图1为本申请一实施例提供的异常检测方法的流程示意图。
图2为本申请一实施例提供的异常检测示例的结果示意图。
图3为本申请一实施例提供的异常检测装置的结构示意图。
图4为本申请一实施例提供的计算设备的结构示意图。
具体实施方式
下面将参考若干示例性实施方式来描述本申请的原理和精神。应当理解,给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本申请,而并非以任何方式限制本申请的范围。相反,提供这些实施方式是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。
如前文所述,由于某些设备的监测指标季节性变化复杂多样,相关技术的异常检测方案难以准确检测出这些设备的重要监测指标的异常。具体来说,由于相关技术中的异常检测方案难以准确模拟或感知设备监测指标的季节性变化规律,故而无法准确检测这些设备的监测指标异常。
针对上述技术问题,本申请实施例提供一种异常检测方法及装置、设备、计算机可读存储介质,先通过一变分自编码器中的编码器获得用于描述监控对象一监控指标的监测时序数据中潜在波动属性的概率分布,从该概率分布中采样得到隐藏变量,再通过上述变分自编码器中的解码器利用隐藏变量进行数据重构,得到能够描述上述监控指标在相应时段的正常波动模式的参考时序数据,最后通过对比监测时序数据和参考时序数据即可确定上述监控指标在相应时段各个时刻的异常情况。由此,本申请实施例成功地将变分自编码器应用到了监控指标的异常检测中,利用变分自编码器本身强大的抗异常噪声能力和数据分布情况把握能力,实现设备监控指标在特定时段中的正常波动模式的预测,从而快速、准确地定位设备监控指标在某一时段内的异常及该异常发生的时刻。
本申请实施例可适用于各类设备(即下文中所述的监控对象)、各类监控指标的异常检测。例如,诸如水坝、风力发电、计算集群等系统中设备的监测维护任务中的物理状态监测。再例如,虚拟网络空间中的流量监测任务相关设备的物理状态监测。
图1示出了本申请实施例中异常检测方法的示例性流程图。参见图1所示,本申请实施例的异常检测方法可以包括如下步骤:
步骤S110,获取监控对象的监测时序数据,监测时序数据中包括监控对象的一监测指标在预定时段的监测量;
步骤S120,通过变分自编码器中的编码器计算用于描述监测时序数据中潜在波动属性的概率分布,在所述概率分布中采样以获得隐藏变量;
步骤S130,通过变分自编码器中的解码器利用隐藏变量重构出对应监测时序数据的参考时序数据,参考时序数据用于描述监测指标在预定时段的正常波动模式,参考时序数据中包含监测指标在预定时段的参考量;
步骤S140,通过估算监测时序数据与参考时序数据之间的差异来确定监测指标在预定时段的异常情况。
本申请实施例中,监测指标可以为监控对象的一物理量或一环境量。实际应用中,应用于不同的设备时具体地监控指标也不同。以水坝中的设备为例,其监测指标可以是但不限于温度、湿度等环境量,也可以是但不限于水平位移、垂直位移、渗压、裂缝、应力等物理量。该监测指标可以预先选定,监测指标的监测量可以通过相应的传感器来实时测量。
监控对象的监测指标通常采用传感器来实时测量。本申请实施例的监测时序数据中的每个监测量不仅包含一监测值(标量),而且包含该监测量的测量时间,该测量时间可以是时间戳或者时刻索引等形式。一些实施例中,步骤S110中可以包括:收集监控对象一监测指标在某一时段的监测量,将这些监测量按照其测量时间排序,形成监测时序数据。这里,监测时序数据的长度可以采取预先设定的固定值,也可以结合具体监测指标所表征物理量或环境量随季节变化的特性来自由设置。即,不同的监测指标,其时序数据的长度可以设置为不同值。
一些示例中,监测指标的监测时序数据可以记为x={x1,x2,…,xn},其中,x表示监测指标的监测时序数据,x1,x2,…,xn分别表示监测指标在预定时段中每一时刻的监测量,n表示所述监测时序数据的长度(也即预定时段的时长),即x1代表监测指标在预定时段起始时刻的监测量取值,x2代表监测指标在预定时段第二时刻的监测量取值,xn代表监测指标在预定时段中最后时刻的监测量取值。以温度为例,可以将某设备上温度传感器采集到的一段长度为n的监测时序数据可以记为t={t1,t2,…,tn},在时长为n的预定时段中第i(i=0,1,2,…,n)个时刻得到的监测量为ti
在步骤S120中,以监测时序数据为自变量,通过编码器计算隐藏变量的后验概率分布,隐藏变量的后验概率分布用于描述监测时序数据的潜在波动属性。这里,编码器的编码过程可以表示为下式(1):
p(z|x)=f(x)(1)
其中,f(x)表示由编码器定义的函数或函数族,p(z|x)表示隐藏变量z的后验概率分布,也即事件x发生时隐藏变量z的发生概率,x表示上述的监测时序数据。
步骤S120中,事先引入随机变量z(即本文所述的隐藏变量)来表示x的压缩状态,建立二者的映射关系,旨在变分自编码器能够在容忍一定噪声的情况下,将x正确映射到其对应的隐状态表示即隐藏变量z上,以便在步骤S130中由隐藏变量z还原出不含异常噪声的参考时序数据。这里,隐藏变量z可以为向量,选取维度低的隐藏变量z,其中包含的信息鲁棒性越可靠。
具体地,引入隐藏变量z之后,赋予变量z一先验概率分布p(z),p(z)为一个多元正态分布。根据贝叶斯概率构建变分自编码器中的编码器,该编码器可用于学习从x到z的后验概率分布p(z|x)的映射,记作f,也即上述式(1)。由此,本申请实施例通过变分自编码器中的编码器直接对x进行编码,即可将x的信息进行降维压缩,得到隐藏变量z的后验概率分布p(z|x),之后从隐藏变量z的后验概率分布p(z|x)中采样即可得到隐藏变量z。这里,隐藏变量z在低维空间,旨在抽取x中潜在的主要波形信息(即可以描述x中潜在波动属性的信息),去掉与主要波形无关的噪声扰动,便于在步骤S130中通过解码器重构出x所对应的正常波动模式,免受噪声的干扰。
在步骤S130中,以隐含量为自变量,通过解码器计算得到参考时序数据。其中,解码器的解码过程可以表示为下式(2)
x'=g(z)(2)
其中,x'表示参考时序数据,x'={x'1,x'2,…,x'n},x'1,x'2,…,x'n分别表示所述监测指标在所述预定时段中每一时刻的参考量,g(z)表示由解码器定义的函数或函数族。由此,步骤S130中解码器的解码过程实现了从隐藏变量z到参考时序数据x'的映射g(z),其利用包含有x中潜在主要波形信息的隐藏变量z即可得到x按照正常波动模式重构得到的结果x'。
这里,参考时序数据x'可用于描述监测指标在预定时段的正常波动模式,即如果监测时序数据x不含异常部分时其潜在的波动模式。参考时序数据x'中的参考量与上文中监测时序数据x中的监测量一一对应,每个参考量也可以相应包括一参考值(标量)及其时间信息,参考量中的时间信息与其对应的监测量中的测量时间相同。在参考时序数据x'中,x'1代表监测指标在预定时段起始时刻的参考量取值,x'2代表监测指标在预定时段第二时刻的参考量取值,x'n代表监测指标在预定时段中最后时刻的参考量取值。
通过上文的步骤S120和步骤S130,基于变分自编码器这一贝叶斯概率模型学习时序数据本身的正常波动模式,当获取到监测指标在一段时间的监测时序数据后,基于变分自编码器即可学习到这段时间监测指标的正常波形数据(即参考时序数据),进而通过比照监测时序数据和该正常波形数据即可判定监测指标在这段时间的异常情况。
本申请实施例中,使用变分自编码器进行异常检测之前,可以先分别构建变分自编码器中的编码器和解码器,再使用同一样本时序数据来同时训练该编码器和解码器。具体地,该变分自编码器的训练过程与本申请实施例中异常检测方法的执行过程基本类似,不同在于,训练中采用的是样本时序数据,该样本时序数据来自于监控指标的历史监测量,并且该训练过程是通过协同优化参考时序数据与监测时序数据之间的差异以及隐藏变量z的先验概率分布p(z)与其后验概率分布p(z|x)之间的差异来完成的。换言之,变分自编码器中的编码器和解码器是通过协同优化样本时序数据及其参考时序数据之间的差异、以及该样本时序数据的隐藏变量的先验概率分布p(z)与其后验概率分布p(z|x)之间的差异来训练得到的。
一些实施例中,变分自编码器中的编码器和解码器均可以采用神经网络来建模,以使得变分自编码器对数据样本分布情况的把握能力更佳。具体地,本文中的变分自编码器可以包括编码器和解码器两个部分,编码过程f和解码过程g十分灵活,高度泛化,即可以采用不同的神经网络模块以及它们的组合来构建编码器和解码器。这样,可以依靠神经网络强大的函数映射拟合能力,隐式地学习到复杂的、难以表征的f(x)和g(z)。
实际应用过程中,可以根据不同网络的特性,选用与数据更为契合的神经网络模块,比如使用卷积神经网络(CNN)或长短时记忆网络(LSTM)来建模不同时刻的依赖关系(即f(x)和g(z))等。通常来讲,使用浅层的神经网络结构足够应对本申请实施例中时序数据的复杂程度。例如,可以采用最简单但性能同样优秀的全连接神经网络来实现编码器和解码器。
一些实施例中,变分自编码器中的编码器和解码器可以最小化样本时序数据及其对应的参考时序数据之间的差异为目标来同时训练。也就是说,使用诸如神经网络等模块分别构建了变分自编码器中的编码器和解码器之后,在其训练过程中,可以通过最小化样本时序数据及其对应的参考时序数据之间的差异来同时调整编码器的参数和解码器的参数,例如,可以采用诸如梯度下降算法等来调整变分自编码器中的编码器和解码器的参数。
在步骤S140中,可以直接通过监测时序数据与其参考时序数据之间的差异来确定监控指标在一时段的异常情况。具体来说,估算监测时序数据中每一监测量与参考时序数据中相应时刻的参考量之间的差异,监测量与相应参考量之间的差异越高说明两者差异程度越高,也即说明监控指标在相应时刻的异常情况越突出。
在步骤S140中,也可以通过比对监测时序数据与其参考时序数据之间的差异和一阈值来更准确地界定监控指标在一时段的异常情况。换言之,在一些实施例中,步骤S140中可以包括:步骤a1,计算监测时序数据中各个监测量与参考时序数据中相应参考量之间的差异;步骤a2,根据差异和预定的评分阈值,确定监测指标在相应时刻是否异常。本申请实施例中,通过一阈值来确定每一时刻监测量的异常,可以提升异常检测的准确性和精确度,同时检测效率也更高。
一些实施例中,步骤a1可以包括:计算监测时序数据中各个监测量与参考时序数据中相应时刻的参考量之间的平方误差,以该平方误差的计算结果作为监测指标在预设时段中相应时刻的异常程度评分。这里,平方误差是指两者相减所得差值的平方值,即一监测量与其参考量之间的平方误差是指监测量与其参考量相减所得差值的平方值。需要说明的是,本实施例仅作为示例,实际应用中监测值与其参考值之间差异的计算方法不限于此,例如还可以采用诸如均方差等算法。
一些实施例中,步骤a2中可以包括:将监测指标在预设时段中每一时刻的异常程度评分与预定的评分阈值比较;以及,响应于任一或多个异常程度评分高于评分阈值,确定监测指标在相应的一个时刻或多个时刻发生异常。这里,如果所有异常程度评分均等于或小于评分阈值,则说明监测指标在该时段中不存在异常。
本申请实施例,评分阈值可以通过监测时序数据的验证数据集来确定。具体来说,步骤S140之前,也即估算所述监测时序数据与所述参考时序数据之间的差异之前,在上述异常检测方法中还可以包括:从监测时序数据中抽取部分数据来形成验证数据集,通过遍历预先设定的备选阈值选出使用变分自编码器在所述验证数据集上能够检测最多异常且误警率最低的备选阈值作为评分阈值。举例来说,可以遍历预先设定的备选阈值选出使用变分自编码器在所述验证数据集上能够检测出最多异常的备选阈值,再从这些能够检测出最多异常的备选阈值中选取误警率最低的一个备选阈值作为评分阈值。或者,可以遍历预先设定的备选阈值选出使用变分自编码器在所述验证数据集上检测异常时误警率相对最低的备选阈值,再从这些误警率相对最低的备选阈值中选取能够检测出最多异常的一个备选阈值作为评分阈值。这里,使用监测时序数据中的部分数据来形成用于确定评分阈值的验证数据集,可以选出更适合监测指标在当前时段的评分阈值,从而进一步提高异常检测的准确性和精确度。
本申请实施例中,上述阈值也可以在变分自编码器的训练过程中确定。其确定方式基本相同,所不同的是,用于确定评分阈值的验证数据集是从用于训练变分自编码器的样本时序数据中抽取的。在训练过程中确定某一监测指标的评分阈值,能够起到一次设定、自动检测的作用,有利于节省人力物力和提升异常检测的效率。
图2为应用本申请实施例的异常检测方法对某一设备的一监测指标进行检测的示例图,该示例图中横坐标表示时间,纵坐标表示数据的取值(即上文的监测量取值或参考量取值)。其中,图2中location: 0,0表示某设备的一维监测信号,第一行给出了监测信号的原始波形origin,第二行黑色波形detrend线为经过预处理(即去趋势后)的稳定序列,也即本申请实施例中提及的监测时序数据所形成的波形,该波形中每个点代表监测时序数据中的一个监测量,每个点的横坐标表示监测量的测量时间,纵坐标取值代表该监测量的测量值。图2中的灰色线recon为使用变分自编码器学习到的正常波形,也即本文的参考时序数据所描述的波形,该波形中每个点代表参考时序数据中的一个参考量,每个点的横坐标表示参考量的时间信息,纵坐标取值代表该参考量的取值。通过图2可以看出,整体上正常波形与第二行的黑色线(即监测时序数据的波形)吻合,且在黑色波形(即监测时序数据)异常的两个突变处,灰色波形的走势依然符合监测指标的正常波形模式,未受到异常波动的干扰,并且可以在两个异常点给出高的异常程度评分。参见图2的第三行所示,针对异常程度评分score设定一个常数作为评分阈值(即图2中虚线所示),高于该评分阈值的部分即为监测指标的异常点,由此,可以充分说明,本申请实施例可以利用变分自编码器成功检测出监测指标发生的异常。
图3示出了本申请实施例中异常检测装置的示例性结构。参见图3所示,本申请实施例的异常检测装置可以包括:
获取单元31,配置为获取监控对象的监测时序数据,所述监测时序数据中包括所述监控对象的一监测指标在预定时段的监测量;
编码单元32,配置为通过变分自编码器中的编码器计算用于描述所述监测时序数据中潜在波动属性的概率分布,在所述概率分布中采样以获得隐藏变量;
解码单元33,配置为通过所述变分自编码器中的解码器利用所述隐藏变量重构出对应所述监测时序数据的参考时序数据,所述参考时序数据用于描述所述监测指标在所述预定时段的正常波动模式,所述参考时序数据中包含所述监测指标在所述预定时段的参考量;
异常判定单元34,配置为通过估算所述监测时序数据与所述参考时序数据之间的差异来确定所述监测指标在所述预定时段的异常情况。
一些示例中,编码单元32具体可以配置为以监测时序数据为自变量,通过编码器计算隐藏变量的后验概率分布,隐藏变量的后验概率分布用于描述所述监测时序数据的潜在波动属性;编码器的编码过程表示为:p(z|x)=f(x),f(x)表示由编码器定义的函数或函数族,p(z|x)表示隐藏变量z的后验概率分布,也即事件x发生时隐藏变量z的发生概率,x={x1,x2,…,xn},x表示监测时序数据,x1,x2,…,xn分别表示所述监测指标在所述预定时段中每一时刻的监测量,n表示所述监测时序数据的长度。
一些示例中,解码单元33具体可以配置为以隐藏变量为自变量,通过解码器计算得到参考时序数据;其中,解码器的解码过程表示为x'=g(z),x'表示参考时序数据,x'={x'1,x'2,…,x'n},x'1,x'2,…,x'n分别表示监测指标在预定时段中每一时刻的参考量,g(z)表示由解码器定义的函数或函数族。
一些示例中,编码单元32中的编码器和解码单元33中的解码器均采用神经网络建模并通过最小化样本时序数据及其对应的参考时序数据之间的差异来同时训练的,样本时序数据由监测指标的历史监测量形成。
一些示例中,编码单元32中的编码器和解码单元33中的解码器是通过协同优化样本时序数据及其参考时序数据之间的差异、以及该样本时序数据的隐藏变量的先验概率分布p(z)与其后验概率分布p(z|x)之间的差异来训练得到的。
一些示例中,异常判定单元34可以包括:计算模块,配置为计算监测时序数据中各个监测量与参考时序数据中相应参考量之间的差异;确定模块,配置为根据计算模块得到的差异和预定的评分阈值,确定监测指标在相应时刻是否异常。
一些示例中,异常判定单元34中的计算模块可以具体配置为计算监测时序数据中各个监测量与参考时序数据中相应时刻的参考量之间的平方误差,以平方误差的计算结果作为监测指标在预设时段中相应时刻的异常程度评分。
一些示例中,异常判定单元34中的计算模块可以具体配置为:将监测指标在预设时段中每一时刻的异常程度评分与预定的评分阈值比较;以及,响应于任一或多个异常程度评分高于评分阈值,确定监测指标在相应的一个时刻或多个时刻发生异常。
一些示例中,上述异常检测装置还可以包括:阈值确定单元35,配置为从监测时序数据中抽取部分数据来形成验证数据集,通过遍历预先设定的备选阈值选出使用变分自编码器在所述验证数据集上能够检测最多异常且误警率最低的备选阈值作为评分阈值。
图4示出了适于用来实现本发明实施方式的示例性计算设备40的框图,该计算设备40可以是计算机系统或服务器。图4显示的计算设备40仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图4所示,计算设备40的组件可以包括但不限于:一个或者多个处理器或者处理单元401,存储器402,连接不同系统组件(包括存储器402和处理单元401)的总线403。
计算设备40典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算设备40访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储器402可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)4021和/或高速缓存存储器4022。计算设备40可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,ROM4023可以用于读写不可移动的、非易失性磁介质(图4中未显示,通常称为“硬盘驱动器”)。尽管未在图4中示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线403相连。存储器402中可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块4024的程序/实用工具025,可以存储在例如存储器402中,且这样的程序模块4024包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块4024通常执行本发明所描述的实施例中的功能和/或方法。
计算设备40也可以与一个或多个外部设备404(如键盘、指向设备、显示器等)通信。这种通信可以通过输入/输出(I/O)接口405进行。并且,计算设备40还可以通过网络适配器406与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图4所示,网络适配器406通过总线403与计算设备40的其它模块(如处理单元401等)通信。应当明白,尽管图4中未示出,可以结合计算设备40使用其它硬件和/或软件模块。
处理单元401通过运行存储在存储器402中的程序来执行如上文所述的“异常检测方法”中的各个步骤。这里,具体地执行过程与上文异常检测方法的过程相同,不再赘述。
本申请实施例还提供了一种计算机可读存储介质,其上存储有计算机程序(即程序产品),所述计算机程序在被处理器运行时可以实现上述“异常检测方法”中的各个步骤。这里,计算机可读存储介质的例子可以包括但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质,在此不再一一赘述。
以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围,都应涵盖在本申请的保护范围之内。

Claims (13)

1.一种异常检测方法,包括:
获取监控对象的监测时序数据,所述监测时序数据中包括所述监控对象的一监测指标在预定时段的监测量;
通过变分自编码器中的编码器计算用于描述所述监测时序数据中潜在波动属性的概率分布,在所述概率分布中采样以获得隐藏变量;
通过所述变分自编码器中的解码器利用所述隐藏变量重构出对应所述监测时序数据的参考时序数据,所述参考时序数据用于描述所述监测指标在所述预定时段的正常波动模式,所述参考时序数据中包含所述监测指标在所述预定时段的参考量;
通过估算所述监测时序数据与所述参考时序数据之间的差异来确定所述监测指标在所述预定时段的异常情况。
2.根据权利要求1所述的异常检测方法,其中,所述通过变分自编码器中的编码器计算用于描述所述监测时序数据中潜在波动属性的概率分布,包括:
以所述监测时序数据为自变量,通过所述编码器计算所述隐藏变量的后验概率分布,所述隐藏变量的后验概率分布用于描述所述监测时序数据的潜在波动属性;
所述编码器的编码过程表示为:p(z|x)=f(x),f(x)表示由所述编码器定义的函数或函数族,p(z|x)表示隐藏变量z的后验概率分布,也即事件x发生时隐藏变量z的发生概率,x={x1,x2,…,xn},x表示监测时序数据,x1,x2,…,xn分别表示所述监测指标在所述预定时段中每一时刻的监测量,n表示所述监测时序数据的长度。
3.根据权利要求2所述的异常检测方法,其中,通过所述变分自编码器中的解码器利用所述隐藏变量重构出对应所述监测时序数据的参考时序数据,包括:
以所述隐藏变量为自变量,通过所述解码器计算得到所述参考时序数据;其中,所述解码器的解码过程表示为x'=g(z),x'表示所述参考时序数据,x'={x'1,x'2,…,x'n},x'1,x'2,…,x'n分别表示所述监测指标在所述预定时段中每一时刻的参考量,g(z)表示由所述解码器定义的函数或函数族。
4.根据权利要求1所述的异常检测方法,其中,所述变分自编码器中的编码器和解码器均采用神经网络建模并通过最小化样本时序数据及其对应的参考时序数据之间的差异来同时训练的,所述样本时序数据由所述监测指标的历史监测量形成。
5.根据权利要求4所述的异常检测方法,其中,所述变分自编码器中的编码器和解码器是通过协同优化样本时序数据及其参考时序数据之间的差异、以及该样本时序数据的隐藏变量的先验概率分布p(z)与其后验概率分布p(z|x)之间的差异来训练得到的。
6.根据权利要求1所述的异常检测方法,其中,通过估算所述监测时序数据与所述参考时序数据之间的差异来确定所述监测指标在所述预定时段的异常情况,包括:
计算所述监测时序数据中各个监测量与所述参考时序数据中相应参考量之间的差异;
根据所述差异和预定的评分阈值,确定所述监测指标在相应时刻是否异常。
7.根据权利要求6所述的异常检测方法,其中,计算所述监测时序数据中各个监测量与所述参考时序数据中相应参考量之间的差异,包括:
计算所述监测时序数据中各个监测量与所述参考时序数据中相应时刻的参考量之间的平方误差,以所述平方误差的计算结果作为所述监测指标在预设时段中相应时刻的异常程度评分。
8.根据权利要求7所述的异常检测方法,其中,根据所述差异和预定的评分阈值,确定所述监测指标在相应时刻是否异常,包括:
将所述监测指标在所述预设时段中每一时刻的异常程度评分与所述评分阈值比较;以及
响应于任一或多个所述异常程度评分高于所述评分阈值,确定所述监测指标在相应的一个时刻或多个时刻发生异常。
9.根据权利要求7所述的异常检测方法,还包括:
估算所述监测时序数据与所述参考时序数据之间的差异之前,从所述监测时序数据中抽取部分数据来形成验证数据集,通过遍历预先设定的备选阈值选出使用所述变分自编码器在所述验证数据集上能够检测最多异常且误警率最低的备选阈值作为所述评分阈值。
10.根据权利要求1所述的异常检测方法,其中,所述监测指标为所述监控对象的一物理量或一环境量。
11.一种异常检测装置,包括:
获取单元,配置为获取监控对象的监测时序数据,所述监测时序数据中包括所述监控对象的一监测指标在预定时段的监测量;
编码单元,配置为通过变分自编码器中的编码器计算用于描述所述监测时序数据中潜在波动属性的概率分布,在所述概率分布中采样以获得隐藏变量;
解码单元,配置为通过所述变分自编码器中的解码器利用所述隐藏变量重构出对应所述监测时序数据的参考时序数据,所述参考时序数据用于描述所述监测指标在所述预定时段的正常波动模式,所述参考时序数据中包含所述监测指标在所述预定时段的参考量;
异常判定单元,配置为通过估算所述监测时序数据与所述参考时序数据之间的差异来确定所述监测指标在所述预定时段的异常情况。
12.一种计算设备,所述计算设备包括:
存储有计算机程序的存储器;
一个或多个处理器,配置为读取所述存储器中的计算机程序以执行权利要求1-10中任一项所述的异常检测方法。
13.一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行权利要求1-10中任一项所述的异常检测方法。
CN202011251339.0A 2020-11-10 2020-11-10 异常检测方法及装置、设备、计算机可读存储介质 Active CN112101554B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011251339.0A CN112101554B (zh) 2020-11-10 2020-11-10 异常检测方法及装置、设备、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011251339.0A CN112101554B (zh) 2020-11-10 2020-11-10 异常检测方法及装置、设备、计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112101554A true CN112101554A (zh) 2020-12-18
CN112101554B CN112101554B (zh) 2024-01-23

Family

ID=73785041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011251339.0A Active CN112101554B (zh) 2020-11-10 2020-11-10 异常检测方法及装置、设备、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112101554B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112766429A (zh) * 2021-04-09 2021-05-07 北京瑞莱智慧科技有限公司 一种异常检测的方法、装置、计算机设备和介质
CN112784965A (zh) * 2021-01-28 2021-05-11 广西大学 面向云环境下大规模多元时间序列数据异常检测方法
CN113110972A (zh) * 2021-04-15 2021-07-13 山东英信计算机技术有限公司 一种时序数据异常检测方法、装置及介质
CN113127305A (zh) * 2021-04-22 2021-07-16 北京百度网讯科技有限公司 异常检测方法及装置
CN113760879A (zh) * 2021-08-24 2021-12-07 携程旅游信息技术(上海)有限公司 数据库异常监测方法、系统、电子设备及介质
WO2022134579A1 (zh) * 2020-12-22 2022-06-30 深圳壹账通智能科技有限公司 业务交易数据的异常检测方法、装置及计算机设备
CN116773169A (zh) * 2023-06-20 2023-09-19 南通思诺船舶科技有限公司 一种推进轴健康管理方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543943A (zh) * 2018-10-17 2019-03-29 国网辽宁省电力有限公司电力科学研究院 一种基于大数据深度学习的电价稽查执行方法
CN110378392A (zh) * 2019-06-26 2019-10-25 华东师范大学 一种基于lstm-ae的室内老人状态监测方法
CN111708739A (zh) * 2020-05-21 2020-09-25 北京奇艺世纪科技有限公司 时序数据的异常检测方法、装置、电子设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543943A (zh) * 2018-10-17 2019-03-29 国网辽宁省电力有限公司电力科学研究院 一种基于大数据深度学习的电价稽查执行方法
CN110378392A (zh) * 2019-06-26 2019-10-25 华东师范大学 一种基于lstm-ae的室内老人状态监测方法
CN111708739A (zh) * 2020-05-21 2020-09-25 北京奇艺世纪科技有限公司 时序数据的异常检测方法、装置、电子设备及存储介质

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022134579A1 (zh) * 2020-12-22 2022-06-30 深圳壹账通智能科技有限公司 业务交易数据的异常检测方法、装置及计算机设备
CN112784965A (zh) * 2021-01-28 2021-05-11 广西大学 面向云环境下大规模多元时间序列数据异常检测方法
CN112784965B (zh) * 2021-01-28 2022-07-29 广西大学 面向云环境下大规模多元时间序列数据异常检测方法
CN112766429A (zh) * 2021-04-09 2021-05-07 北京瑞莱智慧科技有限公司 一种异常检测的方法、装置、计算机设备和介质
CN113110972A (zh) * 2021-04-15 2021-07-13 山东英信计算机技术有限公司 一种时序数据异常检测方法、装置及介质
CN113127305A (zh) * 2021-04-22 2021-07-16 北京百度网讯科技有限公司 异常检测方法及装置
CN113127305B (zh) * 2021-04-22 2024-02-13 北京百度网讯科技有限公司 异常检测方法及装置
CN113760879A (zh) * 2021-08-24 2021-12-07 携程旅游信息技术(上海)有限公司 数据库异常监测方法、系统、电子设备及介质
CN113760879B (zh) * 2021-08-24 2024-02-27 携程旅游信息技术(上海)有限公司 数据库异常监测方法、系统、电子设备及介质
CN116773169A (zh) * 2023-06-20 2023-09-19 南通思诺船舶科技有限公司 一种推进轴健康管理方法及系统
CN116773169B (zh) * 2023-06-20 2024-04-26 南通思诺船舶科技有限公司 一种推进轴健康管理方法及系统

Also Published As

Publication number Publication date
CN112101554B (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
CN112101554B (zh) 异常检测方法及装置、设备、计算机可读存储介质
US11418029B2 (en) Method for recognizing contingencies in a power supply network
CN111459700A (zh) 设备故障的诊断方法、诊断装置、诊断设备及存储介质
US11657121B2 (en) Abnormality detection device, abnormality detection method and computer readable medium
CN109522948A (zh) 一种基于正交局部保持投影的故障检测方法
CN112766342A (zh) 一种电气设备的异常检测方法
CN114297036B (zh) 数据处理方法、装置、电子设备及可读存储介质
CN114298443B (zh) 基于健康状态指数的工业设备预测性维护方法、装置和电子设备
CN103197663B (zh) 一种故障预测方法及系统
CN115903741B (zh) 一种工业控制系统数据异常检测方法
CN109598052B (zh) 基于相关系数分析的智能电表寿命周期预测方法及装置
CN116611018A (zh) 基于多源数据融合的装备系统健康管理及故障诊断方法
CN111104736A (zh) 基于时间序列的异常数据检测方法、装置、介质和设备
CN115392782A (zh) 一种核电厂工艺系统健康状态监测和诊断方法及系统
CN117074961A (zh) 一种变分自编码器动力电池异常检测方法、系统、装置及存储介质
CN116306806A (zh) 故障诊断模型确定方法、装置及非易失性存储介质
CN114742115A (zh) 基于温振特征融合的滚动轴承故障诊断模型及诊断方法
Xu et al. Anomaly detection with gru based bi-autoencoder for industrial multimode process
CN116627116A (zh) 一种流程工业故障定位方法、系统及电子设备
CN111340975A (zh) 异常数据特征提取方法、装置、设备及存储介质
CN112988527A (zh) Gpu管理平台异常检测方法、装置以及存储介质
CN114662977A (zh) 海上钻井平台运动状态的异常检测方法、系统和电子设备
CN112699608B (zh) 适用于传感器掉电导致数据缺失的时间序列修复方法
CN115859202B (zh) 一种非平稳时序数据流场景下的异常检测方法及装置
CN117250449A (zh) 变压器绝缘状态评估方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant