CN103729444B - 一种基于设备监测数据间潜在关系的异常数据检测方法 - Google Patents

Abstract

本发明涉及一种基于设备监测数据间潜在关系的异常数据检测方法，属于工业设备运行技术领域。该方法首先对设备监测数据进行切分和重组，以有效减少噪声数据的干扰，提高异常检测的精度；然后针对运行周期的相似性，提取一个完整运行周期内监测数据之间的潜在关系，即潜在关系向量，通过对于每个运行周期提取潜在关系向量，构建该组潜在关系向量的正态概率分布模型；最后通过比较每个潜在关系向量与该正态概率分布模型的关系，可以检测出其中对应的异常的监测数据，便于相关部门进一步分析。该异常检测方法能够快速的从海量监测数据中发现异常，并且很好的解决了噪声数据的干扰，是一种十分有效的监测数据中异常数据检测方法。

Description

一种基于设备监测数据间潜在关系的异常数据检测方法

技术领域

本发明涉及一种基于设备监测数据间潜在关系的异常数据检测方法，属于工业设备运行技术领域。

背景技术

近几年，随着物联网(Internet of Things)技术的迅猛发展，基于信息传输技术和传感器技术的状态监测系统(Condition Monitoring System)被广泛的应用到了复杂装备制造行业。状态监测系统利用设备上安装的各种传感器，采集与设备部件相关的监测数据，然后利用无线信息传输技术将采集的监测数据传输到企业的监控中心，监控中心则负责将传回的监测数据进行存储和分析。监测数据作为整个状态监测系统的核心，有效分析监测数据可以极大改善设备的运行状况，提高设备的运行效率，从而提高企业的经济效益。

异常检测作为监测数据分析中非常关键的一环，它重点关注监测数据中和实际故障相关的、运行效率、操作异常相关的数据，并将这些数据从大量监测数据中即时检测出来，交给领域专家进行进一步分析确认，可以减少设备的维修成本、改进设备的设计和制造。跟以往的异常检测方法相比，监测数据的异常检测面临诸多新的挑战：1、数据量大。企业运营设备的数量基数大，设备安装的每个传感器在设备工作状态下持续采集并传输监测数据，监测数据的数据量有了爆发式的增长。例如，以国内某知名机械制造厂商为例，目前该企业每天的监测数据采集量超过30Gb。2、噪声数据大。由于设备的监测数据全部通过传感器采集，并通过无线传输网络传输，结合考虑设备的工作环境和人为非法操作等因素，导致监测数据中存在比较严重的噪声数据，以往的异常检测方法不能很好的处理噪声数据和正常数据。3、异常无法预期。由于设备所处的工作环境和人为操作的各异，会导致设备出现各种各样的故障(异常)，而这些异常往往在设备设计、制造阶段是无法预期的。同时，对于异常设备采集的异常的监测数据具体是什么形式，异常监测方法也是缺乏先验知识的，因此基于设备监测数据潜在关系的异常数据检测方法是一种无任何先验知识的无监督方法。

发明内容

本发明的目的是提出基于设备监测数据间潜在关系的异常数据检测方法，在进行异常检测的时考虑设备监测数据的完整性、数据中存在的噪声以及数据量的大小，通过设备监测数据之间的潜在关系，检测异常的监测数据。

本发明提出的基于设备监测数据间潜在关系的异常数据检测方法，包括以下步骤：

(1)在设备上安装K个传感器，每个传感器采集同一种类监测数据，共采集K种监测数据，K种监测数据的集合表达为W＝{w₁,w₂,...,w_K}，设设备的监测数据的采集时间集合为M＝{t₁,t₂,...,t_N}，N表示采集时间点的个数，设备的第k种监测数据为一个向量，表达为W^k＝{v₁,v₂,...,v_N}，其中v_n表示设备在时刻t_n的第k种监测数据；

(2)根据设备的运行周期对采集时间M＝{t₁,t₂,...,t_N}进行切分，得到S个采集时间子集，表达为M＝{WC₁,WC₂,...，WC_S}，其中第s个运行周期对应的采集时间子集WC_s包含T个采集时间点，即WC_s＝{t₁,t₂,...,t_T}，其中每个运行周期的采集时间点相同；

(3)根据切分的采集时间子集，将设备的第k种监测数据W^k切分成S个监测数据子集，设备在第s个运行周期WC_S时第k种监测数据为定义每一个D^k为一个工况数据，每个工况数据与设备在一个运行周期下的一类监测数据相对应，其中表示设备在第s个运行周期WC_S的t_t时刻点的第k种监测数据；

(4)对每个工况数据进行重组，以减少噪声数据的干扰，重组过程为：若工况数据为偶数个，则对工况数据进行两两处理，使工况数据为：若工况数据为奇数，则对工况数据中的前偶数个进行两两处理，使工况数据为：使最后一个工况数据为其中得到重组的工况数据为

(5)对于设备的第s个运行周期WC_s，共有K个工况数据，表达为D′＝{D′¹,D′²,…,D′^K}，其中第k个工况数据表达为计算K个工况数据的协方差矩阵，将该协方差矩阵定义为工况数据的潜在关系矩阵，该潜在关系矩阵表达为：

其中，

根据矩阵特征值λ的定义，存在关系式：其中E表示单位矩阵，根据该关系式，计算得到上述潜在关系矩阵的K个特征值λ₁,λ₂,...,λ_K，其中λ_k表示为潜在关系矩阵LCM的第k个特征值，该组特征值组成的向量定义为该组工况数据的潜在关系向量，潜在关系向量表达为LCV＝{λ₁,λ₂,...,λ_K}，每个潜在关系向量与设备的一个运行周期相对应；

(6)重复步骤(2)～步骤(5)，计算得到与设备的每个运行周期相对应的潜在关系向量，所有的潜在关系向量的集合记为其中L表示潜在关系向量的个数，LCV₁,LCV₂,...,LCV_L服从一个如下式所示的K维正态概率分布模型：

其中π表示圆周率，e表示自然对数的底，利用极大似然估计算法，计算得到K维正态概率分布模型的均值向量以及协方差矩阵

(7)根据上述均值向量μ和协方差矩阵∑，对每一个潜在关系向量进行判断，若潜在关系向量属于[μ-3∑,μ+3∑]区间，则判定与该潜在关系向量相对应的工况数据为正常数据；若潜在关系向量在[μ-3∑,μ+3∑]区间之外，则判定与该潜在关系向量相对应的工况数据为异常数据，遍历上述潜在关系向量集合中的每个关系向量，实现对设备异常数据的检测。

本发明提出的基于设备监测数据间潜在关系的异常数据检测方法，其优点是：

1、本发明提出的是基于设备监测数据间潜在关系的异常数据检测方法，能够快速从海量的监测数据中发现异常数据，从而检测到与设备的实际故障相关的运行工况、操作异常等数据，并将数据提交给相关部门进行分析确认，以减少设备的维修成本、改进设备的设计和制造。

2、本发明提出的异常检测方法，能够有效克服监测数据中的噪声数据，从而能够快速的检测出异常数据，提高了异常数据的检测速度和精度。

具体实施方式

本发明提出的基于设备监测数据间潜在关系的异常数据检测方法，包括以下步骤：

(1)在设备上安装K个传感器，每个传感器采集同一种类监测数据，共采集K种监测数据，K种监测数据的集合表达为W＝{w₁,w₂,...,w_K}，设设备的监测数据的采集时间集合为M＝{t₁,₂,...,t_N}，N表示采集时间点的个数，设备的第k种监测数据为一个向量，表达为W^k＝{v₁,v₂,...,v_N}，其中v_n表示设备在时刻t_n的第k种监测数据；

(2)根据设备的运行周期(设备从开机到关机一次完整的运行时间，例如泵车一次完整的泵送过程)对采集时间M＝{t₁,t₂,...,t_N}进行切分，得到S个采集时间子集，表达为M＝{WC₁,WC₂,...，WC_S}，其中第s个运行周期对应的采集时间子集WC_s包含T个采集时间点，即WC_s＝{t₁,t₂,...,t_T}，其中每个运行周期的采集时间点相同；

(3)根据切分的采集时间子集，将设备的第k种监测数据W^k切分成S个监测数据子集，设备在第s个运行周期WC_S时第k种监测数据为定义每一个D^k为一个工况数据，每个工况数据与设备在一个运行周期下的一类监测数据相对应，其中表示设备在第s个运行周期WC_S的t_t时刻点的第k种监测数据；

(4)对每个工况数据进行重组，以减少噪声数据的干扰，重组过程为：若工况数据为偶数个，则对工况数据进行两两处理，使工况数据为：若工况数据为奇数，则对工况数据中的前偶数个进行两两处理，使工况数据为：使最后一个工况数据为其中得到重组的工况数据为

(5)对于设备的第s个运行周期WC_S，共有K个工况数据，表达为D′＝{D′¹,′²,…,D′^K}，其中第k个工况数据表达为计算K个工况数据的协方差矩阵，将该协方差矩阵定义为工况数据的潜在关系矩阵，该潜在关系矩阵表达为：

其中，

根据矩阵特征值λ的定义，存在关系式：其中E表示单位矩阵，根据该关系式，计算得到上述潜在关系矩阵的K个特征值λ₁,λ₂,...,λ_K，其中λ_k表示为潜在关系矩阵LCM的第k个特征值，该组特征值组成的向量定义为该组工况数据的潜在关系向量(Latent Correlation Vector)，潜在关系向量表达为LCV＝{λ₁,λ₂,...,λ_K}，每个潜在关系向量与设备的一个运行周期相对应；

(6)重复步骤(2)～步骤(5)，计算得到与设备的每个运行周期相对应的潜在关系向量，所有的潜在关系向量的集合记为其中L表示潜在关系向量的个数，LCV₁,LCV₂,...,LCV_L服从一个如下式所示的K维正态概率分布模型：

其中π表示圆周率，e表示自然对数的底，利用极大似然估计算法(MaximumLikelihood Estimation)，计算得到K维正态概率分布模型的均值向量以及协方差矩阵

(7)根据上述均值向量μ和协方差矩阵∑，对每一个潜在关系向量进行判断，若潜在关系向量属于[μ-3∑,μ+3∑]区间，则判定与该潜在关系向量相对应的工况数据为正常数据；若潜在关系向量在[μ-3∑,μ+3∑]区间之外，则判定与该潜在关系向量相对应的工况数据为异常数据，遍历上述潜在关系向量集合中的每个关系向量，实现对设备异常数据的检测。

Claims (1)

1.一种基于设备监测数据间潜在关系的异常数据检测方法，其特征在于该方法包括以下步骤：

(1)在设备上安装K个传感器，每个传感器采集同一种类监测数据，共采集K种监测数据，K种监测数据的集合表达为W＝{w₁,w₂,...,w_K}，设设备的监测数据的采集时间集合为M＝{t₁,t₂,...,t_N}，N表示采集时间点的个数，设备的第k种监测数据为一个向量，表达为W^k＝{v₁,v₂,...,v_N}，其中v_n表示设备在时刻t_n的第k种监测数据；

(2)根据设备的运行周期对采集时间M＝{t₁,t₂,...,t_N}进行切分，得到S个采集时间子集，表达为M＝{WC₁,WC₂,...，WC_S}，其中第s个运行周期对应的采集时间子集WC_s包含T个采集时间点，即WC_s＝{t₁,t₂,...,t_T}，其中每个运行周期的采集时间点相同；

(3)根据切分的采集时间子集，将设备的第k种监测数据W^k切分成S个监测数据子集，设备在第s个运行周期WC_S时第k种监测数据为定义每一个D^k为一个工况数据，每个工况数据与设备在一个运行周期下的一类监测数据相对应，其中表示设备在第s个运行周期WC_S的t_t时刻点的第k种监测数据；

(4)对每个工况数据进行重组，以减少噪声数据的干扰，重组过程为：若工况数据为偶数个，则对工况数据进行两两处理，使工况数据为：若工况数据为奇数，则对工况数据中的前偶数个进行两两处理，使工况数据为：使最后一个工况数据为其中得到重组的工况数据为

(5)对于设备的第s个运行周期WC_S，共有K个工况数据，表达为D′＝{D^′1,D^′2,...,D^′K}，其中第k个工况数据表达为计算K个工况数据的协方差矩阵，将该协方差矩阵定义为工况数据的潜在关系矩阵，该潜在关系矩阵表达为：

其中，

根据矩阵特征值λ的定义，存在关系式：其中E表示单位矩阵，根据该关系式，计算得到上述潜在关系矩阵的K个特征值λ₁,λ₂,...,λ_K，其中λ_k表示为潜在关系矩阵LCM的第k个特征值，该组特征值组成的向量定义为该组工况数据的潜在关系向量，潜在关系向量表达为LCV＝{λ₁,λ₂,...,λ_K}，每个潜在关系向量与设备的一个运行周期相对应；

(6)重复步骤(2)～步骤(5)，计算得到与设备的每个运行周期相对应的潜在关系向量，所有的潜在关系向量的集合记为其中L表示潜在关系向量的个数，LCV₁,LCV₂,...,LCV_L服从一个如下式所示的K维正态概率分布模型：

$({\mathrm{LCV}}_1,{\mathrm{LCV}}_2,...,{\mathrm{LCV}}_L)~N\left(x\right|\Σ,\mathrm{\μ})=\frac{1}{{\left(2\mathrm{\π}\right)}^K{|\Σ|}^{\frac{1}{2}}}{e}^{-\frac{{(x-\mathrm{\μ})}^T{\Σ}^{-1}(x-\mathrm{\μ})}{2}},$

其中π表示圆周率，e表示自然对数的底，利用极大似然估计算法，计算得到K维正态概率分布模型的均值向量以及协方差矩阵

(7)根据上述均值向量μ和协方差矩阵Σ，对每一个潜在关系向量进行判断，若潜在关系向量属于[μ-3Σ,μ+3Σ]区间，则判定与该潜在关系向量相对应的工况数据为正常数据；若潜在关系向量在[μ-3Σ,μ+3Σ]区间之外，则判定与该潜在关系向量相对应的工况数据为异常数据，遍历上述潜在关系向量集合中的每个关系向量，实现对设备异常数据的检测。