CN107092582B - 一种基于残差后验的异常值在线检测及置信度评估方法 - Google Patents

一种基于残差后验的异常值在线检测及置信度评估方法 Download PDF

Info

Publication number
CN107092582B
CN107092582B CN201710206884.XA CN201710206884A CN107092582B CN 107092582 B CN107092582 B CN 107092582B CN 201710206884 A CN201710206884 A CN 201710206884A CN 107092582 B CN107092582 B CN 107092582B
Authority
CN
China
Prior art keywords
data
time
probability
residual
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710206884.XA
Other languages
English (en)
Other versions
CN107092582A (zh
Inventor
孙栓柱
帅云峰
周春蕾
张友卫
代家元
李春岩
杨晨琛
王林
魏威
周志兴
佘国金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Jiangsu Electric Power Co Ltd
Jiangsu Fangtian Power Technology Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Jiangsu Electric Power Co Ltd
Jiangsu Fangtian Power Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Jiangsu Electric Power Co Ltd, Jiangsu Fangtian Power Technology Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201710206884.XA priority Critical patent/CN107092582B/zh
Publication of CN107092582A publication Critical patent/CN107092582A/zh
Application granted granted Critical
Publication of CN107092582B publication Critical patent/CN107092582B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Algebra (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Other Investigation Or Analysis Of Materials By Electrical Means (AREA)
  • Medicines Containing Antibodies Or Antigens For Use As Internal Diagnostic Agents (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于残差后验的异常值在线检测及置信度评估方法，包括：采集数据,建立时间序列数据，对时间序列数据进行线性拟合得到当前时刻的数据与之前p个数据的线性组合公式，预测后续时间的数据值；将预测的数据值与实际检测的数据值进行对比，得到预测残差序列；采用KDE核密度估计法确定预测残差序列的概率密度函数；对预测残差序列进行后验比检验，判断当前时刻的数据是否为异常点；以时间序列数据作为输入，建立SOM状态模型，得到状态序列和状态转移概率矩阵，定义异常打分函数，输出异常评分。本发明通过比较数据为异常点和正常点的概率大小，在线辨识污染物排放浓度时序数据中的异常值，提高了异常值判断的准确性和可靠性。

Description

一种基于残差后验的异常值在线检测及置信度评估方法
技术领域
本发明涉及燃煤机组污染物排放浓度数据监测领域，具体涉及一种基于残差后验的异常值在线检测及置信度评估方法。
背景技术
为了有效降低燃煤机组污染物排放指标，我国近年来提出了燃煤机组污染物排放达到燃气机组排放指标的相关政策，即燃煤机组超低排放。江苏省燃煤机组于2014年开始大力开展超低排放改造，目前，约80％左右的135MW及以上机组已完成超低排放改造，并实现了污染物相关参数的在线监管，其中包括负荷工况参数和烟囱排口SO2、NOx、烟尘浓度、氧量、温度、湿度、压力以及相关环保系统过程辅助参数。
随着超低排放改造工作的不断开展，燃煤机组污染物排放浓度数据的正常与否成为发电企业关注的焦点问题之一。燃煤机组超低排放监测数据随时间变化，是典型的时间序列数据。此外，超低排放浓度数据以10秒的时间间隔采集，一年的数据记录条数在315万左右。因此，超低排放浓度异常值辨识方法有2个任务：
1)异常值检测：根据近期数据的变化趋势，动态识别现场采集数据中与当前变化规律不一致的异常点；
2)异常值置信度评估：根据历史数据的长期变化规律，判断任务1)中发现的异常点是否合理，降低误报警的可能性。
早期的异常值检测方法大多基于统计学原理，需要事先假设样本的数据分布模型，然后采用假设检验的方法判断数据是否异常，但是通常情况下都缺少对样本的先验知识，假设检验的前提不成立，这就极大地降低了检测方法的可信度。
发明内容
本发明所要解决的技术问题是针对上述现有技术的不足提供一种基于残差后验的异常值在线检测及置信度评估方法，本基于残差后验的异常值在线检测及置信度评估方法通过比较数据为异常点和正常点的概率大小，在线辨识污染物排放浓度时序数据中的异常值。
为实现上述技术目的，本发明采取的技术方案为：
一种基于残差后验的异常值在线检测及置信度评估方法，包括以下步骤：
步骤1：采集燃煤机组超低排放浓度历史数据，根据历史数据建立时间序列数据，对时间序列数据进行线性拟合得到当前时刻的数据与之前p个数据的线性组合公式，预测后续时间的数据值；
步骤2：将步骤1预测的数据值与实际检测的数据值进行对比，得到预测残差序列；
步骤3：采用KDE核密度估计法确定预测残差序列的概率密度函数，根据概率密度函数计算当前时刻的残差概率；
步骤4：应用Bayesian原理对预测残差序列进行后验比检验，判断当前时刻的数据是否为异常点，如果为异常点，执行步骤5，否则输出正常并结束；
步骤5：采用SOM神经网络，以步骤1中的时间序列数据作为输入进行训练从而建立SOM状态模型，得到离散的状态序列和状态转移概率矩阵，根据从状态转移概率矩阵查得的数据状态改变发生的概率计算当前时刻数据的异常得分，确定数据异常置信度；
步骤6：根据数据异常置信度，辨识燃煤机组污染物排放浓度时序数据中的异常值，实现污染物排放浓度数据的正常与否的在线检测。
作为本发明进一步改进的技术方案，所述的步骤1包括：
(1)采集燃煤机组超低排放浓度历史数据，根据历史数据建立时间序列数据{x1，x2...，xt}，其中t为时间，xt为时刻t采集的数据，p阶AR模型AR(p)将时间序列当前值xt建模为它的p个相邻历史值的线性组合，并加上常数项和随机误差，模型如下：
Figure GDA0002933709110000021
式中：a0是常数项；ai(i＝1，2，...，p)是自回归系数；εt代表随机误差，是均值为0、方差为σ2且相互独立的白噪声序列；
(2)选取一个大小固定为L的滑动窗口，从时间序列数据中选取需要预测的当前t时刻的前L个数据{xt-L，xt-L+1...，xt-1}，将前L个数据{xt-L，xt-L+1...，xt-1}导入滑动窗口内，利用窗口中的数据对AR模型进行在线训练，确定p、a0、ai和εt的值，用训练好的AR模型预测当前t时刻的数据。
作为本发明进一步改进的技术方案，所述的步骤2包括：
(1)将步骤1中当前t时刻的实际检测数据减去预测数据从而求得当前t时刻的残差et，并按照下列公式(2)求得前L个预测数据的残差{et-L，et-L+1...，et-1}，从而获得残差序列
Figure GDA0002933709110000031
公式如下：
Figure GDA0002933709110000032
其中i＝t-L，...，t，ei为时刻i的残差，xi为时刻i的实际检测的真实数据，
Figure GDA0002933709110000033
为时刻i的预测数据。
作为本发明进一步改进的技术方案，所述的步骤3包括：
采用KDE核密度估计法得到预测残差序列
Figure GDA0002933709110000034
的概率密度函数，根据概率密度函数求得时间段(t-L，t)中任意时间点i的残差ei的概率p(ei)，p(ei)取其所属值域区间的概率作为此点的概率，则当前t时刻的残差概率
Figure GDA0002933709110000035
为：
Figure GDA0002933709110000036
作为本发明进一步改进的技术方案，所述的步骤4包括：
(1)假设：H0为当前t时刻的数据xt未发生异常，是正常点；H1为当前t时刻的数据xt为异常点；
(2)上述假设H0和H1的残差概率分别为：
Figure GDA0002933709110000037
Figure GDA0002933709110000038
公式(4)和公式(5)中：p(·|·)表示高斯条件概率；vL为t时刻的前L个残差序列{et-L，et-L+1...，et-1}的高斯分布方差，vt为当t时刻的数据xt发生异常时残差et的方差；公式(4)表示在假设H0下，t时刻的数据xt为正常点的残差概率，由于H0假设t时刻数据未发生异常，因此t时刻的数据的方差与前面L个数据的方差相同，均为vL；公式(5)表示在假设H1下，t时刻的数据xt为异常点的残差概率，在H1假设下t时刻数据的方差与前面L个数据的方差不同，t时刻数据的方差用vt表示；
(3)根据贝叶斯公式确定假设H0和H1的后验概率分别为：
Figure GDA0002933709110000041
Figure GDA0002933709110000042
式中：p(H0)和p(H1)分别为假设H0和H1的先验概率，且p(H0)+p(H1)＝1，
Figure GDA0002933709110000043
是拟合残差ei(i＝t-L，...，t)的先验概率，即步骤3求得的时刻t的残差概率
Figure GDA0002933709110000044
(4)确定假设H0和H1边缘化处理后的后验概率，计算公式为：
Figure GDA0002933709110000045
Figure GDA0002933709110000046
Figure GDA0002933709110000047
式中函数Γ(·)为伽马函数，通过下述近似方程计算：
Figure GDA0002933709110000048
其中：
Figure GDA0002933709110000049
公式(8)和公式(9)的后验概率表示了残差ei(i＝t-L，...，t)在取当前时刻的值时，假设H0和H1成立的概率；
(5)计算后验概率对数比φ(t)从而判断假设H0和H1中哪一个假设成立，计算公式如下：
Figure GDA00029337091100000410
预先设定后验概率对数比φ(t)的检测阈值η，即按照下式对时序数据进行异常值检验：
Figure GDA0002933709110000051
即当后验概率对数比φ(t)小于等于检测阈值η时，假设H1成立，执行步骤5，否则，假设H0成立，输出正常并结束。
作为本发明进一步改进的技术方案，所述的步骤5包括：
(1)随机生成SOM神经网络的输出层中神经元的初始状态向量；
(2)将时间序列数据{x1，x2...，xt}作为SOM神经网络的输入向量x(t)并进行输入，对输入向量遍历输出层的每个神经元，计算输入向量和输出层神经元状态向量mi(t)之间的相似度，以距离最小的神经元为最佳匹配单元；
(3)按照下列公式更新最佳匹配单元邻域内神经元状态向量：
mi(t+1)＝mi(t)+hC(x)，i(x(t)-mi(t)) (14)；
其中：mi(t+1)为更新的神经元状态向量，i表示神经元下标，t为学习步长；x(t)为第t步中的训练样本x；hC(x)，i是递减的近邻函数，其第一个下标C＝C(x)，定义如下：
Figure GDA0002933709110000052
式中mC(t)是第t步中所有神经元状态向量中与输入样本x(t)最相似的神经元，称作最佳匹配单元；其中近邻函数hC(x)，i采用高斯函数：
Figure GDA0002933709110000053
式中：0＜α(t)＜1是单调递减的学习系数；ri、rC是神经元的位置，σ(t)是近邻函数的宽度；
(4)增加步长t，然后返回(2)，直至步长超出预先设定的循环次数，建立SOM状态模型，获得输出节点的离散的状态序列{C1，C2...，CK}和输出层神经元之间的状态转移概率矩阵，状态转移概率矩阵中的第i行第j列的元素值pi，j表示从状态Ci转移到状态Cj的概率，转移概率pi，j为：
Figure GDA0002933709110000061
(5)当前t时刻的数据xt为待评估的异常值，其前一个时刻的数据记为xt-1，通过已训练好的SOM神经网络得到xt对应的状态Ct和xt-1对应的状态Ct-1，查询状态转移概率矩阵，选取状态Ct-1转移几率最大的状态Cl，选取状态Ct-1转移到状态Ct的转移概率pt-1，t和状态Ct-1转移到Cl的转移概率pt-1，l，由此定义异常打分函数：
Figure GDA0002933709110000062
其中转移概率pt-1，t、pt-1，l均通过状态转移概率矩阵查得，s为异常评分；
(6)从公式(18)中可以确定当前t时刻的数据xt的异常打分值s，输出异常评分s，得到异常置信度；
(7)返回步骤1，通过向后滑动大小固定为L的滑动窗口从而容纳最新一个时刻的数据，移除最旧时刻的数据，对AR模型进行动态更新，从而预测后续时刻的数据，将后续时刻的数据作为新的当前时刻的数据并依次按照步骤2、步骤3、步骤4和步骤5的顺序判断当前时刻的数据是否为异常点，进而依次输出后续时刻数据的异常评分。
作为本发明进一步改进的技术方案，所述的步骤1包括：定期对滑动窗口进行批量动态更新，采集新的X个燃煤机组超低排放浓度历史数据，其中X＜L，将最近一次建立AR模型时间点后的X个数据加入滑动窗口，同时将滑动窗口中时间最早的X个数据移除，重新建立AR模型，再将新的X个数据加入时间序列数据中从而作为SOM状态模型的新的训练样本集。
本发明的方法主要用于对燃煤机组污染物排放浓度监测时序数据异常值在线辨识，提高了异常值判断的准确性和可靠性，旨在为相关政府部门实施节能减排精细化管理提供更为良好的技术支撑，提升在线监测管理水平和快速响应能力。本发明的方法使用了无需先验知识的后验比检验方法，不要求数据分布满足正态性要求，也无需事先给出数据异常标记，提高了方法的通用性，降低了样本预处理的难度和工作量；而SOM状态模型可以实现高维数据到低维数据的转换，能够满足燃煤机组环保设施运行参数繁多、记录数庞大的高维数据处理场景，使得方法具有较好的适用性和扩展性。由于方法实现了在线检测功能，并提供了模型更新方法，使得模型能及时根据数据实际变化情况进行调整，也有效地提高了模型的准确性、可靠性和适应性；同时，本发明通过比较数据为异常点和正常点的概率大小，在线辨识污染物排放浓度时序数据中的异常值；基于SOM状态转移概率矩阵，根据历史上数据状态变化的规律对异常值出现的可能性进行估算，对检测出的异常点进行置信度评估，进一步对异常点进行确认，减少误报警。
附图说明
图1为本发明的流程图。
图2为本发明实施例的测试机组烟尘排放浓度预测数据和实际检测数据对比示意图。
图3为本发明实施例的测试机组烟尘排放浓度残差时序图。
图4为本发明实施例的测试机组烟尘排放浓度后验概率对数比时序图。
具体实施方式
下面根据图1、图2、图3和图4对本发明的具体实施方式作出进一步说明：
本发明对于某一给定的时间序列数据{x1，x2...，xN}，判断一个新来数据点x是否为异常点并评估该数据点的异常置信度的总体思路如图1所示，可以分为模型离线训练、异常值在线辨识及模型批量更新三个阶段。
模型离线训练阶段：建立AR预测模型和SOM状态模型。
异常值在线辨识阶段：对预测残差序列进行基于贝叶斯公式的假设检验，利用先验概率和条件概率分别计算得到新来数据点为正常点和异常点的后验概率，用这两者的后验概率对数比作为指标，判断新来数据点是否为异常点。对于检测出的异常点，进一步利用模型离线训练阶段得到的SOM状态模型和状态转移概率矩阵计算出从前一个数据状态转移到该待检测异常点对应状态的可能性，由此可以推算出该点的异常度评分，进而评估该数据点有多大的可能性是一个异常点。
模型批量更新阶段：对于在线辨识模型，由于当前数据与之前p个数据的线性关系是不断变化的，因此AR模型和SOM状态模型在运行了一段时间后都需要进行更新，以便模型能及时反映数据的变化趋势。此时，只需将最近一次建模时间点后的m个数据加入训练样本集，同时将样本集中时间最早的m个数据移除，然后再次进入模型离线训练阶段重新建模，就可以完成模型的批量更新。通过定期更新模型，可使模型能动态调整以随时保持与数据变化规律同步，这样可以有效提高异常点识别的准确度。
具体的，一种基于残差后验的异常值在线检测及置信度评估方法，包括以下步骤：
步骤1：采集燃煤机组超低排放浓度历史数据，根据历史数据建立时间序列数据，对时间序列数据进行线性拟合得到当前时刻的数据与之前p个数据的线性组合公式，预测后续时间的数据值；
步骤2：将步骤1预测的数据值与实际检测的数据值进行对比，得到预测残差序列；
步骤3：采用KDE核密度估计法确定预测残差序列的概率密度函数，根据概率密度函数计算当前时刻的残差概率；
步骤4：应用Bayesian原理对预测残差序列进行后验比检验，判断当前时刻的数据是否为异常点，如果为异常点，执行步骤5，否则输出正常并结束；
步骤5：采用SOM神经网络，以步骤1中的时间序列数据作为输入进行训练从而建立SOM状态模型，得到离散的状态序列和状态转移概率矩阵，根据从状态转移概率矩阵查得的数据状态改变发生的概率计算当前时刻数据的异常得分，确定数据异常置信度；
步骤6：根据数据异常置信度，辨识燃煤机组污染物排放浓度时序数据中的异常值，实现污染物排放浓度数据的正常与否的在线检测。
AR模型，描述的是时间序列当前值与历史值之间的线性关系，分析和表征时间序列数据之间的相互依赖性与相关性，是一种线性预测方法；所述的步骤1包括：
(1)采集燃煤机组超低排放浓度历史数据，根据历史数据建立时间序列数据{x1，x2...，xt}，其中t为时间，xt为时刻t采集的数据，p阶AR模型AR(p)将时间序列当前值xt建模为它的p个相邻历史值的线性组合，并加上常数项和随机误差，模型如下：
Figure GDA0002933709110000081
式中：a0是常数项；ai(i＝1，2，...，p)是自回归系数；εt代表随机误差，是均值为0、方差为σ2且相互独立的白噪声序列；
(2)选取一个大小固定为L的滑动窗口，从时间序列数据中选取需要预测的当前t时刻的前L个数据{xt-L，xt-L+1...，xt-1}，将前L个数据{xt-L，xt-L+1...，xt-1}导入滑动窗口内，利用窗口中的数据对AR模型进行在线训练，确定p、a0、ai和εt的值，用训练好的AR模型预测当前t时刻的数据。在此阶段，可通过向后滑动窗口容纳最新的数据、移除最旧的数据改变训练集，对AR模型进行动态更新。
所述的步骤2包括：(1)将步骤1中当前t时刻的实际检测数据减去预测数据从而求得当前t时刻的残差et，并按照下列公式(2)求得前L个预测数据的残差{et-L，et-L+1...，et-1}，从而获得残差序列
Figure GDA0002933709110000091
公式如下：
Figure GDA0002933709110000092
其中i＝t-L，...，t，ei为时刻i的残差，xi为时刻i的实际检测的真实数据，
Figure GDA0002933709110000093
为时刻i的预测数据，其中前L个预测数据均是按照步骤1的方法训练AR模型并通过训练好的AR模型进行预测的。
核密度估计是一类基于概率密度函数的非参数估计方法，它从数据样本本身出发研究数据分布的特征，其基本思想是：基于已知的历史数据，对未知总体的概率密度函数进行估计，使估计得到的密度函数与真正的密度函数间的均方积分误差最小。核密度估计方法，就是借助一个移动的单元格(核函数)放在每一个数据点的位置上；然后，将核函数的作用效果叠加起来，获得一条光滑的曲线。而核函数的选择条件为单个峰值下的函数面积为1。
假设x1，x2...，xN为独立同分布F的N个样本点，设其概率密度为f，则其核密度函数估计为：
Figure GDA0002933709110000094
公式中的K(·)被称为核函数，通常满足对称性及∫K(x)dx＝1。核函数是一种加权函数，利用数据点xi到x的距离(x-xi)来决定xi在估计点x的密度时所起的作用。一般选择标准正态函数作为核函数，如公式(4)所示，则离x点越近的样本点其加权也越大。
Figure GDA0002933709110000095
公式(3)中的h(h＞0)是一个平滑参数，称为带宽，带宽值的选择对估计f(x)的影响很大。当h很小时，只有特别接近x的点才起较大作用；随着h的增大，则距离x远一些点的作用也随之增加。标准正态核函数的带宽h可由Silverman拇指法则得到：
Figure GDA0002933709110000096
式中σ是样本标准差。
所述的步骤3包括：采用KDE核密度估计法即通过上述公式(3)、公式(4)和公式(5)求出预测残差序列
Figure GDA0002933709110000097
的概率密度函数，就可以利用其计算时刻t的残差概率
Figure GDA0002933709110000101
具体计算方法如下：AR模型预测后所得残差序列为
Figure GDA0002933709110000102
根据概率密度函数求得时间段(t-L，t)中任意时间点i的残差ei的概率p(ei)，p(ei)取其所属值域区间的概率作为此点的概率，则当前t时刻的残差概率
Figure GDA0002933709110000103
为：
Figure GDA0002933709110000104
步骤4中对AR模型的预测残差序列进行后验比检验，主要原理如下：选取一个大小固定为L的滑动窗口，检验当前数据是否与其前L个数据服从同一均值为零、方差为vL的高斯分布N(0，vL)，如果服从同一分布则判断其为正常点，否则为异常点；所述的步骤4具体包括：
(1)假设：H0为当前t时刻的数据xt未发生异常，是正常点；H1为当前t时刻的数据xt为异常点；
(2)上述假设H0和H1的残差概率分别为：
Figure GDA0002933709110000105
Figure GDA0002933709110000106
公式(7)和公式(8)中：p(·|·)表示高斯条件概率；vL为t时刻的前L个残差序列{et-L，et-L+1...，et-1}的高斯分布方差，vt为当t时刻的数据xt发生异常时残差et的方差；公式(7)表示在假设H0下，t时刻的数据xt为正常点的残差概率，由于H0假设t时刻数据未发生异常，因此t时刻的数据的方差与前面L个数据的方差相同，均为vL；公式(8)表示在假设H1下，t时刻的数据xt为异常点的残差概率，在H1假设下t时刻数据的方差与前面L个数据的方差不同，t时刻数据的方差用vt表示；
(3)由于方差在零均值高斯概率函数中是个敏感度极高的参数，为了克服方差估计对异常值检测准确性的影响，采用边缘化处理方法，对方差进行积分处理；由此，根据贝叶斯公式确定假设H0和H1的后验概率分别为：
Figure GDA0002933709110000111
Figure GDA0002933709110000112
式中：p(H0)和p(H1)分别为假设H0和H1的先验概率，且p(H0)+p(H1)＝1，如果异常值置信度设为95％，则p(H0)＝0.05、p(H1)＝0.95；
Figure GDA0002933709110000113
是拟合残差ei(i＝t-L，...，t)的先验概率，通过上述KDE方法估计得到的残差概率密度函数计算，即步骤3求得的时刻t的残差概率
Figure GDA0002933709110000114
(4)确定假设H0和H1边缘化处理后的后验概率，计算公式为：
Figure GDA0002933709110000115
Figure GDA0002933709110000116
Figure GDA0002933709110000117
式中函数Γ(·)为伽马函数，通过下述近似方程计算：
Figure GDA0002933709110000118
其中：
Figure GDA0002933709110000119
公式(11)和公式(12)的后验概率表示了残差ei(i＝t-L，...，t)在取当前时刻的值时，假设H0和H1成立的概率，可以直接反映数据的异常情况，因此，可以利用这2个假设后验概率的大小关系来判断哪个假设成立，当前时刻的数据是否为异常点；
(5)计算后验概率对数比φ(t)从而判断假设H0和H1中哪一个假设成立，后验概率对数比φ(t)作为异常值判断依据，计算公式如下：
Figure GDA0002933709110000121
从公式(15)可以看出，如果xt异常，则异常假设H1的后验概率
Figure GDA0002933709110000122
远大于正常假设H0的后验概率
Figure GDA0002933709110000123
这时φ(t)＜1，否则相反。如果预先设定后验概率对数比φ(t)的检测阈值为η，即按照下式对时序数据进行异常值检验：
Figure GDA0002933709110000124
即当后验概率对数比φ(t)小于等于检测阈值η时，假设H1成立，执行步骤5，否则，假设H0成立，输出正常并结束。式(16)中检测阈值η取值一般在1左右，通常取0.95。
SOM神经网络，可以在一维或二维的处理单元阵列上，形成输入信号的特征拓扑分布。它由输入层和输出层组成，输入层神经元为一维矩阵，接收网络的输入信号，其个数由输入向量个数决定；输出层的神经元按照一定的方式排列成一个二维节点矩阵；输入层与输出层的神经元之间通过权值相互联结。SOM神经网络对数据进行无监督学习聚类，训练时采用“竞争学习”的方式，让输出层各神经元通过竞争与输入模式进行匹配，最后仅有一个神经元成为竞争的胜者，这个获胜的神经元就代表对输入模式的分类。由于无监督学习的训练样本中不含有期望输出(即样本的分类标签)，没有任何先验知识，因此SOM神经网络适用于对数据量大、不含类标签的数据进行聚类分析。
具体的，SOM将整个时间序列数据{x1，x2，...，xt}作为输入，序列C＝{C1，C2...，CK}作为输出，将时间序列转化为线性空间中的离散点序列。对每一个时间点t，离散点Ct∈{C1，C2...，CK}表示最接近xt的状态，从本质上看SOM实现了对时间序列数据的状态聚类。
假设SOM模型输出神经元i代表的状态向量为mi(t)，当训练样本x提供给网络的时候，会计算样本与每个状态向量之间的欧氏距离，即样本与状态向量的相似度，然后根据相似度调整输出神经元状态向量，促使相似神经元彼此相邻、不相似的神经元间距离最大，使得在训练结束时输出层能最好得描述输入样本的数据分布。神经元对应状态向量mi(t)按照下式进行更新：
mi(t+1)＝mi(t)+hC(x)，i(x(t)-mi(t)) (17)；
其中：mi(t+1)为更新的神经元状态向量，i表示神经元下标，t为学习步长；x(t)为第t步中的训练样本x；hC(x)，i是递减的近邻函数，其第一个下标C＝C(x)，定义如下：
Figure GDA0002933709110000131
式中mC(t)是第t步中所有神经元状态向量中与输入样本x(t)最相似的神经元，称作最佳匹配单元；其中近邻函数hC(x)，i采用高斯函数：
Figure GDA0002933709110000132
式中：0＜α(t)＜1是单调递减的学习系数；ri、rC是神经元的位置，σ(t)是近邻函数的宽度；
所述的步骤5的SOM网络的学习算法具体步骤包括：
(1)随机生成SOM神经网络的输出层中神经元的初始状态向量；
(2)将整个时间序列数据{x1，x2...，xt}作为SOM神经网络的输入向量x(t)并进行输入，对输入向量遍历输出层的每个神经元，计算输入向量和输出层神经元状态向量mi(t)之间的相似度，以距离最小的神经元为最佳匹配单元；
(3)按照公式(17)更新最佳匹配单元邻域内神经元状态向量：
(4)增加步长t，然后返回(2)，直至步长超出预先设定的循环次数，建立SOM状态模型，SOM状态模型训练结束后，得到一个输出节点的离散的状态序列{C1，C2...，CK}和一个输出层神经元之间的状态转移概率矩阵，状态转移概率矩阵中的第i行第j列的元素值pi，j表示从状态Ci转移到状态Cj的概率，其计算方法为：假设一个时间序列{xt，xt+1}，通过SOM神经网络转换得到对应的状态序列{Ci，Cj}；由于xt+1出现在xt之后，可以认为发生了一次从状态Ci到Cj的转移，这个转移概率pi，j可以按下式计算：
Figure GDA0002933709110000133
(5)在状态转移概率矩阵中，对角线元素(状态保持不变)取值最大，最靠近转移概率矩阵对角线元素(近邻状态之间转移)的数值次之，矩阵外围元素数值最小。对于平稳数据序列，其最大转移概率也不过在0.6左右，近邻状态转移概率降幅明显，有些甚至降至0.1左右，概率值相差不明显。而且，SOM状态模型输出的状态聚类越多，则状态转移的组合数也越多，状态转移概率也会相应下降，这使得无法通过单纯比较状态转移概率来判断异常点是否成立。因此，定义异常打分函数，参考最大-最小比较的思路，通过比较异常状态转移概率(最小概率)与最频繁发生的状态转移概率(最大概率)，得到一个更为显著的评价指标，对检测出来的异常点进行置信度评估；具体如下：当前t时刻的数据xt为待评估的异常值，其前一个时刻的数据记为xt-1，通过已训练好的SOM神经网络得到xt对应的状态Ct和xt-1对应的状态Ct-1，查询状态转移概率矩阵，选取状态Ct-1最有可能转移的状态Cl，得到状态Ct-1转移到状态Ct的转移概率pt-1，t和状态Ct-1转移到Cl的转移概率pt-1，l，由此定义异常打分函数：
Figure GDA0002933709110000141
其中转移概率pt-1，t、pt-1，l均通过状态转移概率矩阵查得，s为异常评分；
(6)从公式(21)中可以确定当前t时刻的数据xt的异常打分值s，输出异常评分s，得到异常置信度；
(7)返回步骤1，通过向后滑动大小固定为L的滑动窗口从而容纳最新一个时刻的数据，移除最旧时刻的数据，对AR模型进行动态更新，从而预测后续时刻的数据，将后续时刻的数据作为新的当前时刻的数据并依次按照步骤2、步骤3、步骤4和步骤5的顺序判断当前时刻的数据是否为异常点，进而依次输出后续时刻的数据为异常点的异常评分。
AR模型和SOM状态模型在运行了一段时间后都需要进行数据批量更新，以便模型能及时反映数据的变化趋势，即所述的步骤1还包括：定期对滑动窗口进行批量动态更新，采集新的X个燃煤机组超低排放浓度历史数据，其中X＜L，将最近一次建立AR模型时间点后的X个数据加入滑动窗口，同时将滑动窗口中时间最早的X个数据移除，重新建立AR模型，再将新的X个数据加入时间序列数据中作为SOM状态模型的新的训练样本集。
以一台装机容量为330MW的燃煤机组作为测试机组，以烟尘排放浓度为目标测点，选择2015年7月至2016年6月1年的烟尘超低排放浓度数据为样本建立模型，以2016年7月1日数据为测试样本，对烟尘排放浓度异常值进行辨识。
利用训练样本建立AR模型，得到一个60阶的自回归线性公式，用这个公式对测试时间段的烟尘排放浓度进行预测，预测值与实际值对比、预测残差分别如图2和图3所示。
从图2和图3中可以看出，在第243和723个样本数据处预测值和实际值偏差较大，残差出现突变。我们选择大小为L＝90的滑动窗口对上述残差序列进行后验比检验，然后以检测阈值η＝0.8对后验概率比进行异常值检测，得到的后验概率比及异常值检测结果如图4所示。从图4可以看出，第243和723个样本数据的后验概率比分别为0.45和0.5，均低于0.8的检测阈值，较其它正常点的后验概率比明显偏小。因此，在检测阈值为0.8的情况下能检测出所有异常点。
为了评估异常值检测结果的准确性，用相同的训练样本进行建模，得到一个6×6的SOM状态模型，其转移概率矩阵见下表。可以看出，矩阵对角线元素(用灰色背景标识)的概率值最大，越往矩阵外围元素概率值越小，说明相似状态间的转移发生比较频繁，越不相似的状态之间发生转移的概率越少甚至不发生。
烟尘排放浓度状态转移概率矩阵简化表
Figure GDA0002933709110000151
对于上述检测到的第一个异常点，即第243个样本数据，其状态为C8，其前一个数据的状态为C22。查找上表的状态转移概率矩阵，发现状态C22最有可能转移到状态C22，其转移概率为p22，22＝0.615，状态C22转移到第243个样本数据对应状态C8的概率为p22，8＝0，则其打分函数s＝1-p22，8/p22，22＝1-0/0.615＝1，说明该点一定是一个异常点。
对于上述检测到的第二个异常点，即第723个样本数据，其状态为C8，其前一个数据的状态为C36。由上表可得，状态C36最有可能转移到状态C36，其转移概率为p36，36＝0.745，状态C36转移到该样本数据对应状态C8的概率为p36，8＝0.068，则其打分函数s＝1-p36，8/p36，36＝1-0.068/0.745＝0.909，说明该点有大约91％的可能性是一个异常点。由此可见，前一节的异常值检测结果还是比较准确的，检测方法的可靠性较高。
本发明的方法使用了无需先验知识的后验比检验方法，不要求数据分布满足正态性要求，也无需事先给出数据异常标记，提高了方法的通用性，降低了样本预处理的难度和工作量；而SOM状态模型可以实现高维数据到低维数据的转换，能够满足燃煤机组环保设施运行参数繁多、记录数庞大的高维数据处理场景，使得方法具有较好的适用性和扩展性。同时，由于方法实现了在线检测功能，并提供了模型批量更新方法，使得模型能及时根据数据实际变化情况进行调整，也有效地提高了模型的准确性、可靠性和适应性。
本发明的保护范围包括但不限于以上实施方式，本发明的保护范围以权利要求书为准，任何对本技术做出的本领域的技术人员容易想到的替换、变形、改进均落入本发明的保护范围。

Claims (7)

1.一种基于残差后验的异常值在线检测及置信度评估方法，其特征在于：包括以下步骤：
步骤1：采集燃煤机组超低排放浓度历史数据，根据历史数据建立时间序列数据，对时间序列数据进行线性拟合得到当前时刻的数据与之前p个数据的线性组合公式，预测后续时间的数据值；
步骤2：将步骤1预测的数据值与实际检测的数据值进行对比，得到预测残差序列；
步骤3：采用KDE核密度估计法确定预测残差序列的概率密度函数，根据概率密度函数计算当前时刻的残差概率；
步骤4：应用Bayesian原理对预测残差序列进行后验比检验，判断当前时刻的数据是否为异常点，如果为异常点，执行步骤5，否则输出正常并结束；
步骤5：采用SOM神经网络，以步骤1中的时间序列数据作为输入进行训练从而建立SOM状态模型，得到离散的状态序列和状态转移概率矩阵，定义异常打分函数，根据从状态转移概率矩阵查得的数据状态改变发生的概率计算当前时刻数据的异常得分，确定数据异常置信度；
步骤6：根据数据异常置信度，辨识燃煤机组污染物排放浓度时序数据中的异常值，实现污染物排放浓度数据的正常与否的在线检测。
2.根据权利要求1所述的基于残差后验的异常值在线检测及置信度评估方法，其特征在于：所述的步骤1包括：
(1)采集燃煤机组超低排放浓度历史数据，根据历史数据建立时间序列数据{x1，x2...，xt}，其中t为时间，xt为时刻t采集的数据，p阶AR模型AR(p)将时间序列当前值xt建模为它的p个相邻历史值的线性组合，并加上常数项和随机误差，模型如下：
Figure FDA0002933709100000011
式中：a0是常数项；ai(i＝1，2，...，p)是自回归系数；εt代表随机误差，是均值为0、方差为σ2且相互独立的白噪声序列；
(2)选取一个大小固定为L的滑动窗口，从时间序列数据中选取需要预测的当前t时刻的前L个数据{xt-L，xt-L+1...，xt-1}，将前L个数据{xt-L，xt-L+1...，xt-1}导入滑动窗口内，利用窗口中的数据对AR模型进行在线训练，确定p、a0、ai和εt的值，用训练好的AR模型预测当前t时刻的数据。
3.根据权利要求2所述的基于残差后验的异常值在线检测及置信度评估方法，其特征在于：所述的步骤2包括：
(1)将步骤1中当前t时刻的实际检测数据减去预测数据从而求得当前t时刻的残差et，并按照下列公式(2)求得前L+1个预测数据的残差{et-L，et-L+1...，et-1}，从而获得残差序列
Figure FDA0002933709100000021
公式如下：
Figure FDA0002933709100000022
其中i＝t-L，...，t，ei为时刻i的残差，xi为时刻i的实际检测的真实数据，
Figure FDA0002933709100000023
为时刻i的预测数据。
4.根据权利要求3所述的基于残差后验的异常值在线检测及置信度评估方法，其特征在于：所述的步骤3包括：
采用KDE核密度估计法得到预测残差序列
Figure FDA0002933709100000024
的概率密度函数，根据概率密度函数求得时间段(t-L，t)中任意时间点i的残差ei的概率p(ei)，p(ei)取其所属值域区间的概率作为此点的概率，则当前t时刻的残差概率
Figure FDA0002933709100000025
为：
Figure FDA0002933709100000026
5.根据权利要求4所述的基于残差后验的异常值在线检测及置信度评估方法，其特征在于：所述的步骤4包括：
(1)假设：H0为当前t时刻的数据xt未发生异常，是正常点；H1为当前t时刻的数据xt为异常点；
(2)上述假设H0和H1的残差概率分别为：
Figure FDA0002933709100000027
Figure FDA0002933709100000028
公式(4)和公式(5)中：p(·|·)表示高斯条件概率；vL为t时刻的前L个残差序列{et-L，et-L+1...，et-1}的高斯分布方差，vt为当t时刻的数据xt发生异常时残差et的方差；公式(4)表示在H0假设下，t时刻的数据xt为正常点的残差概率，由于H0假设t时刻数据未发生异常，因此t时刻的数据的方差与前面L个数据的方差相同，均为vL；公式(5)表示在H1假设下，t时刻的数据xt为异常点的残差概率，在H1假设下t时刻数据的方差与前面L个数据的方差不同，t时刻数据的方差用vt表示；
(3)根据贝叶斯公式确定假设H0和H1的后验概率分别为：
Figure FDA0002933709100000031
Figure FDA0002933709100000032
式中：p(H0)和p(H1)分别为假设H0和H1的先验概率，且p(H0)+p(H1)＝1，
Figure FDA0002933709100000033
是拟合残差ei(i＝t-L，...，t)的先验概率，即步骤3求得的时刻t的残差概率
Figure FDA0002933709100000034
(4)确定假设H0和H1边缘化处理后的后验概率，计算公式为：
Figure FDA0002933709100000035
Figure FDA0002933709100000036
Figure FDA0002933709100000037
式中函数Γ(·)为伽马函数，通过下述近似方程计算：
Figure FDA0002933709100000038
其中：
Figure FDA0002933709100000039
公式(8)和公式(9)的后验概率表示了残差ei(i＝t-L，...，t)在取当前时刻的值时，假设H0和H1成立的概率；
(5)计算后验概率对数比φ(t)从而判断假设H0和H1中哪一个假设成立，计算公式如下：
Figure FDA0002933709100000041
预先设定后验概率对数比φ(t)的检测阈值η，即按照下式对时序数据进行异常值检验：
Figure FDA0002933709100000042
即当后验概率对数比φ(t)小于等于检测阈值η时，假设H1成立，执行步骤5，否则，假设H0成立，输出正常并结束。
6.根据权利要求5所述的基于残差后验的异常值在线检测及置信度评估方法，其特征在于：所述的步骤5包括：
(1)随机生成SOM神经网络的输出层中神经元的初始状态向量；
(2)将时间序列数据{x1，x2...，xt}作为SOM神经网络的输入向量x(t)并进行输入，对输入向量遍历输出层的每个神经元，计算输入向量和输出层神经元状态向量mi(t)之间的相似度，以距离最小的神经元为最佳匹配单元；
(3)按照下列公式更新最佳匹配单元邻域内神经元状态向量：
mi(t+1)＝mi(t)+hC(x)，i(x(t)-mi(t)) (14)；
其中：mi(t+1)为更新的神经元状态向量，i表示神经元下标，t为学习步长；x(t)为第t步中的训练样本x；hC(x)，i是递减的近邻函数，其第一个下标C＝C(x)，定义如下：
Figure FDA0002933709100000044
式中mC(t)是第t步中所有神经元状态向量中与输入样本x(t)最相似的神经元，称作最佳匹配单元；其中近邻函数hC(x)，i采用高斯函数：
Figure FDA0002933709100000043
式中：0＜α(t)＜1是单调递减的学习系数；ri、rC是神经元的位置，σ(t)是近邻函数的宽度；(4)增加步长t，然后返回(2)，直至步长超出预先设定的循环次数，建立SOM状态模型，获得输出节点的离散的状态序列{C1，C2...，CK}和输出层神经元之间的状态转移概率矩阵，状态转移概率矩阵中的第i行第j列的元素值pi，j表示从状态Ci转移到状态Cj的概率，转移概率pi，j为：
Figure FDA0002933709100000051
(5)当前t时刻的数据xt为待评估的异常值，其前一个时刻的数据记为xt-1，通过已训练好的SOM神经网络得到xt对应的状态Ct和xt-1对应的状态Ct-1，查询状态转移概率矩阵，选取状态Ct-1转移几率最大的状态Cl，选取状态Ct-1转移到状态Ct的转移概率pt-1，t和状态Ct-1转移到Cl的转移概率pt-1，l，由此定义异常打分函数：
Figure FDA0002933709100000052
其中转移概率pt-1，t、pt-1，l均通过状态转移概率矩阵查得，s为异常评分；
(6)从公式(18)中可以确定当前t时刻的数据xt的异常打分值s，输出异常评分s，得到异常置信度；
(7)返回步骤1，通过向后滑动大小固定为L的滑动窗口从而容纳最新一个时刻的数据，移除最旧时刻的数据，对AR模型进行动态更新，从而预测后续时刻的数据，将后续时刻的数据作为新的当前时刻的数据并依次按照步骤2、步骤3、步骤4和步骤5的顺序判断当前时刻的数据是否为异常点，进而依次输出后续时刻的数据为异常点的异常评分。
7.根据权利要求2所述的基于残差后验的异常值在线检测及置信度评估方法，其特征在于：所述的步骤1包括：定期对滑动窗口进行批量动态更新，采集新的X个燃煤机组超低排放浓度历史数据，其中X＜L，将最近一次建立AR模型时间点后的X个数据加入滑动窗口，同时将滑动窗口中时间最早的X个数据移除，重新建立AR模型，再将新的X个数据加入时间序列数据中从而作为SOM状态模型的新的训练样本集。
CN201710206884.XA 2017-03-31 2017-03-31 一种基于残差后验的异常值在线检测及置信度评估方法 Active CN107092582B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710206884.XA CN107092582B (zh) 2017-03-31 2017-03-31 一种基于残差后验的异常值在线检测及置信度评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710206884.XA CN107092582B (zh) 2017-03-31 2017-03-31 一种基于残差后验的异常值在线检测及置信度评估方法

Publications (2)

Publication Number Publication Date
CN107092582A CN107092582A (zh) 2017-08-25
CN107092582B true CN107092582B (zh) 2021-04-27

Family

ID=59649149

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710206884.XA Active CN107092582B (zh) 2017-03-31 2017-03-31 一种基于残差后验的异常值在线检测及置信度评估方法

Country Status (1)

Country Link
CN (1) CN107092582B (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108282360B (zh) * 2017-12-28 2021-06-18 深圳先进技术研究院 一种长短期预测融合的故障检测方法
CN108229071B (zh) * 2018-02-09 2021-06-22 杭州安脉盛智能技术有限公司 基于ar模型与svdd算法的刀具性能退化评估方法及系统
CN108416695B (zh) * 2018-02-24 2020-07-07 合肥工业大学 基于深度学习的电力负荷概率密度预测方法和系统、介质
CN108445759B (zh) * 2018-03-13 2020-01-07 江南大学 一种传感器饱和约束下网络化系统的随机故障检测方法
CN109359138A (zh) * 2018-10-19 2019-02-19 济南浪潮高新科技投资发展有限公司 一种基于核密度估计的异常检测方法及装置
CN111258863B (zh) * 2018-12-03 2023-09-22 北京嘀嘀无限科技发展有限公司 数据异常检测方法、装置、服务器和计算机可读存储介质
CN109614586A (zh) * 2018-12-03 2019-04-12 中国人民解放军国防科技大学 基于贝叶斯理论和线性拟合的可靠度置信下限构建方法
CN109754115B (zh) * 2018-12-04 2021-03-26 东软集团股份有限公司 数据预测的方法、装置、存储介质及电子设备
CN109683565A (zh) * 2018-12-12 2019-04-26 电子科技大学 一种基于多方法融合的仪器仪表故障检测方法
CN110008080B (zh) * 2018-12-25 2023-08-11 创新先进技术有限公司 基于时间序列的业务指标异常检测方法、装置和电子设备
CN109890002B (zh) * 2019-01-04 2022-08-16 中国电子科技集团公司电子科学研究院 一种基于知识推理的预测环境危险度的方法及装置
CN110263472B (zh) * 2019-06-27 2021-01-29 中国人民解放军国防科技大学 基于回归法综合寿命试验数据的机电产品可靠度评估方法
CN110472191B (zh) * 2019-07-02 2021-03-12 北京大学 一种动态自适应的服务评价计算方法及装置
CN110458195B (zh) * 2019-07-10 2022-08-19 河海大学 一种基于多判据融合的异常数据甄别方法
CN110417621B (zh) * 2019-07-25 2021-01-12 长安大学 一种轻量级嵌入式系统异常运行状态检测方法
CN110547768B (zh) * 2019-08-30 2020-07-28 北京师范大学 一种近红外脑功能成像质量控制方法和控制系统
CN110717956B (zh) * 2019-09-30 2023-06-20 重庆大学 一种有限角投影超像素引导的l0范数最优化重建方法
CN110717543B (zh) * 2019-10-14 2023-09-19 北京工业大学 基于样本分布统计检验的双窗口概念漂移检测方法
CN111121946B (zh) * 2019-12-18 2021-09-28 东南大学 大动态范围大离散单区域多点精准确定异常值的方法
CN111065106B (zh) * 2019-12-31 2022-04-26 重庆大学 移动通信网络中基于异常检测和核密度估计kde的指标突变小区检测方法
CN111273635B (zh) * 2020-01-19 2021-02-12 浙江大学 一种工控设备未知异常检测方法
CN111414999B (zh) * 2020-04-27 2023-08-22 新奥新智科技有限公司 一种设备运行状态的监测方法及装置
CN113821006B (zh) * 2020-05-07 2022-10-14 牧今科技 用于确定指示机器人校准质量的误差参数的值的方法和计算系统
US11717966B2 (en) 2020-05-07 2023-08-08 Mujin, Inc. Method and computing system for determining a value of an error parameter indicative of quality of robot calibration
CN111696099B (zh) * 2020-06-16 2022-09-27 北京大学 基于图像边缘一致性的通用异常点似然性估计方法
CN112527788B (zh) * 2020-12-17 2024-04-30 北京中恒博瑞数字电力科技有限公司 变压器监测数据异常值检测与清洗的方法及装置
CN112819088A (zh) * 2021-02-20 2021-05-18 苏州安极能新能源发展有限公司 基于电力数据的异常检测算法
CN113420800B (zh) * 2021-06-11 2023-06-02 中国科学院计算机网络信息中心 一种数据异常检测方法及装置
CN113542236A (zh) * 2021-06-28 2021-10-22 中孚安全技术有限公司 一种基于核密度估计和指数平滑算法的异常用户检测方法
CN113673916B (zh) * 2021-10-25 2022-02-08 深圳市明源云科技有限公司 风险数据识别方法、终端设备及计算机可读存储介质
CN114019139B (zh) * 2021-10-26 2024-03-26 复旦大学 一种农用地土壤重金属异常数据的探测方法
CN114500004A (zh) * 2022-01-05 2022-05-13 北京理工大学 一种基于条件扩散概率生成模型的异常检测方法
CN116778661B (zh) * 2023-07-05 2024-06-07 深圳市华翌科技有限公司 一种烟感智能预警方法
CN117273471A (zh) * 2023-11-22 2023-12-22 天津市德丰金属制品有限公司 一种钢丝生产制程监管方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8214177B2 (en) * 2005-10-20 2012-07-03 Syracuse University Optimized stochastic resonance signal detection method
CN103974311A (zh) * 2014-05-21 2014-08-06 哈尔滨工业大学 基于改进高斯过程回归模型的状态监测数据流异常检测方法
CN104156473A (zh) * 2014-08-25 2014-11-19 哈尔滨工业大学 一种基于ls-svm的传感器检测数据异常片段检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8214177B2 (en) * 2005-10-20 2012-07-03 Syracuse University Optimized stochastic resonance signal detection method
CN103974311A (zh) * 2014-05-21 2014-08-06 哈尔滨工业大学 基于改进高斯过程回归模型的状态监测数据流异常检测方法
CN104156473A (zh) * 2014-08-25 2014-11-19 哈尔滨工业大学 一种基于ls-svm的传感器检测数据异常片段检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于模型的过程工业时间序列异常值检测方法;苏卫星 等;《仪器仪表学报》;20120930;第33卷(第9期);第2020-2087页 *

Also Published As

Publication number Publication date
CN107092582A (zh) 2017-08-25

Similar Documents

Publication Publication Date Title
CN107092582B (zh) 一种基于残差后验的异常值在线检测及置信度评估方法
Xu et al. Predicting pipeline leakage in petrochemical system through GAN and LSTM
CN116757534B (zh) 一种基于神经训练网络的智能冰箱可靠性分析方法
Lai et al. Online pattern matching and prediction of incoming alarm floods
CN112241351B (zh) 数据处理方法、装置、设备和介质
CN110335168B (zh) 基于gru优化用电信息采集终端故障预测模型的方法及系统
CN116625438A (zh) 燃气管网安全在线监测系统及其方法
CN106709588B (zh) 预测模型构建方法和设备以及实时预测方法和设备
CN111813084A (zh) 一种基于深度学习的机械装备故障诊断方法
CN112668775A (zh) 一种基于时序卷积网络算法的空气质量预测方法
WO2021169361A1 (zh) 时间序列数据的检测方法、装置、计算机设备及存储介质
CN116340796A (zh) 时序数据分析方法、装置、设备及存储介质
CN114048546B (zh) 一种基于图卷积网络和无监督域自适应的航空发动机剩余使用寿命预测方法
CN114596726B (zh) 基于可解释时空注意力机制的停车泊位预测方法
CN108984851B (zh) 一种带时延估计的加权高斯模型软测量建模方法
CN113159395A (zh) 一种基于深度学习的污水处理厂进水流量预测方法及系统
CN116432856A (zh) 基于cnn-glstm模型的管道动态预警方法及装置
CN114970745B (zh) 物联网智能安防与环境大数据系统
CN115935814A (zh) 一种基于arima-svm模型的变压器故障预测方法
CN115392567A (zh) 一种电力负荷预测方法、电子设备、装置及可读存储介质
Febriansyah et al. Outlier detection and decision tree for wireless sensor network fault diagnosis
CN117675230A (zh) 基于知识图谱的油井数据完整性识别方法
CN114692738A (zh) 一种轻量级实时时间序列异常检测方法
CN114970674A (zh) 一种基于关联度对齐的时序数据概念漂移适配方法
Wang et al. Data-Driven Anomaly Detection Based on Multi-Sensor Data Fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant