CN107463633B - 一种基于eemd-神经网络的实时数据异常值检测方法 - Google Patents

一种基于eemd-神经网络的实时数据异常值检测方法 Download PDF

Info

Publication number
CN107463633B
CN107463633B CN201710581029.7A CN201710581029A CN107463633B CN 107463633 B CN107463633 B CN 107463633B CN 201710581029 A CN201710581029 A CN 201710581029A CN 107463633 B CN107463633 B CN 107463633B
Authority
CN
China
Prior art keywords
data
value
rejecting outliers
neural network
eemd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710581029.7A
Other languages
English (en)
Other versions
CN107463633A (zh
Inventor
方海泉
蒋云钟
周铁军
万毅
冶运涛
薛惠锋
王海宁
郭姣姣
罗婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Academy Of Aerospace Systems Science And Engineering
Hunan Agricultural University
China Institute of Water Resources and Hydropower Research
Original Assignee
China Academy Of Aerospace Systems Science And Engineering
Hunan Agricultural University
China Institute of Water Resources and Hydropower Research
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Academy Of Aerospace Systems Science And Engineering, Hunan Agricultural University, China Institute of Water Resources and Hydropower Research filed Critical China Academy Of Aerospace Systems Science And Engineering
Priority to CN201710581029.7A priority Critical patent/CN107463633B/zh
Publication of CN107463633A publication Critical patent/CN107463633A/zh
Application granted granted Critical
Publication of CN107463633B publication Critical patent/CN107463633B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/90335Query processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种基于EEMD‑神经网络的实时数据异常值检测方法,考虑现有实时数据异常值检测方法没有考虑历史数据异常值问题。包括:获取历史时间序列数据,按照时间顺序排序;对历史数据用中位数法初步检测;再用EEMD法精细检测,把检测出的异常值用0值替换;接下来用曲线拟合方法对0值进行填补,也即对异常值校正,经过异常值检测和校正得到更接近客观真实的历史数据;最后采用神经网络方法通过对历史数据的学习,可以更加准确地对即将上报的实时数据进行预测,把预测值与实时上报的监测值进行比对可判断是否异常,并加以校正。该方法可用于一维时间序列实时数据的异常值检测,适用的领域广泛,如:水资源、交通、气象、火力发电等实时监测数据异常值检测。

Description

一种基于EEMD-神经网络的实时数据异常值检测方法
技术领域
本发明涉及一种基于EEMD-神经网络的实时数据异常值检测方法,属于数据分析领域。
背景技术
对于实时数据异常值检测方法的研究,前人已经提出了神经网络、支持向量机等方法,但是没有考虑对历史数据的异常值处理,因为实时数据的准确预测需要建立在历史数据可靠的基础上。而对于历史数据异常值检测,常用的方法包括基于统计、聚类、距离、密度等异常值检测方法,但是这些方法没有考虑时间序列数据的时序变化特性,而是从数据全集考虑,隐藏在局部的异常值难以检测。本发明对于历史数据采用中位数-EEMD方法可以有效检测时间序列局部异常值,再结合神经网络方法可对实时数据异常值更有效地检测。
经验模态分解(Empirical Mode Decomposition,EMD)方法是由Norden E.Huang等人于1998年提出。EMD在机械故障诊断、地球物理探测、生物医学分析等方面都得到广泛的应用。尚未见有文献用于时间序列异常值检测。EMD可将不同尺度的波动或趋势从原信号中逐级分离出来。EMD适用于分析非线性非平稳信号,且具有完全自适应性。原始的时间序列x(t)经过EMD分解得到一系列固有模态函数(Intrinsic Mode Function,IMF)和一个残余项(residual,简记res),即
其中ci表示第i个IMF,rn为残余项。EEMD是EMD的改进算法,有效解决了EMD的混频现象。
曲线拟合的原理是已知样本点(xi,yi)(i=1,2,3,…,n),求出函数y≈f(x),使f(x)在原样本点xi上尽可能接近yi的值。曲线拟合方法包括最小二乘曲线拟合(多项式拟合)和线性插值拟合,本专利采用最小二乘曲线拟合方法。最小二乘曲线拟合,就是使误差平方和最小的多项式拟合。即寻找一条曲线使在误差平方和最小的准则下与所有数据点最为接近,也即找出使最小的f(x)。通常,多项式的次数选用3次,低于3次,可能会造成波峰丢失,高于3次,拟合时间长,容易产生虚假波峰。
人工神经网络是一种模拟人脑结构及其功能的非线性动力系统,具有自组织、自适应、自学习和较强的鲁棒性与容错性等显著特点。反向传播(Back Propagation,BP)神经网络是目前应用最广泛的神经网络模型之一,是基于误差反向传播算法的多层前向神经网络,它的学习规则是使用最速下降法,通过误差反向传播来不断调整网络的权值和阈值,使网络的误差平方和最小。神经网络在手写体识别、图像标注、语义理解和语音识别等技术领域取得了非常成功的应用。
发明内容
本发明的技术解决问题是:克服现有技术的不足,提供了一种基于EEMD-神经网络的实时数据异常值检测方法,用于解决实时监测数据存在不可靠数据的问题。
本发明的技术解决方案是:
一种基于EEMD-神经网络的实时数据异常值检测方法,其包括以下步骤:
(1)对原始历史时间序列数据,按照时间顺序进行排序,对缺失数据用0值填补,得到初步整理好的历史数据;
(2)对所述初步整理好的历史数据进行异常值检测处理,把检测出的异常值用0值替换;
(3)对异常值检测处理之后的历史数据进行异常值校正处理,即对数据中的0值进行填补,完成历史时间序列数据异常值检测和校正;
(4)对实时数据进行异常值检测;
(5)根据步骤(4)得到的异常值检测结果,对实时数据进行异常值校正。
步骤(2)对初步整理好的历史数据进行异常值检测处理,包括如下步骤:
(2.1)通过中位数法对所述初步整理好的历史数据进行初步检测;
(2.2)通过EEMD法对所述初步检测之后的历史数据进行精细检测。
所述步骤(3)对异常值检测处理之后的历史数据进行异常值校正处理,采用局部曲线拟合法实现;所述步骤(4)对实时数据进行异常值检测,采用人工神经网络实现。
所述通过中位数法对所述初步整理好的历史数据进行初步检测,具体为:
(4.1)对于初步整理后的时间序列数据{ai},i=1,2,3,…,,把{ai}中的正数选出来构成一个新的数列的中位数记为
(4.2)计算中每个数与中位数的比值
(4.3)设定的阈值为r1,r2,若或者为异常值,把异常值替换为0,时间序列数据{ai}经过替换后得到的数列为{bi},从而完成对所述初步整理好的历史数据进行初步检测。
所述通过EEMD法对所述初步检测之后的历史数据进行精细检测,具体为:
(5.1)将数列{bi}中的正数选出来构成一个新的数列
(5.2)通过EEMD法对进行分解,得到频率从高到低排列的n个分量;
(5.3)n个分量中,舍去高频分量,把后面m个低频分量以向量求和的方式进行求和,得到一个新的数列其中,1<m<n;
(5.4)计算偏差比率用于量化的偏离程度;
(5.5)设定偏差比率的阈值为d0,偏差比率大于d0的数据为异常值,再把异常值替换为0,把{bi}经过异常值替换得到的数列记为{gi},从而完成对所述初步检测之后的数据进行精细检测。
所述采用局部曲线拟合法,具体为:
(6.1)对于每一段0值,包括单个0值或者是连续多个0值,前后端各选取一段序列,构成一个子序列{hi};
(6.2)对{hi}进行曲线拟合:把{hi}中的正数选出来,得到一组样本点i+表示{hi}中出现正数的位置,采用多项式对样本点进行曲线拟合,得到的多项式记为f(x);
(6.3)用曲线拟合值替换{hi}中的0值,i0表示{hi}中0值的位置,得到异常值校正后的时间序列数据{ki},i=1,2,3,…,t。
所述通过人工神经网络对实时数据进行异常值检测,具体为:
(7.1)应用人工神经网络对时间序列{k1,k2,…,kt}预测第t+1天的值ut+1
(7.2)计算实时上报的监测数据at+1与预测值ut+1的相对误差wt+1
(7.3)设定wt+1的阈值为w0,若相对误差wt+1>w0,则认为实时上报的监测数据at+1属于异常值,用预测值ut+1替换at+1;若相对误差wt+1≤w0,则认为实时上报的监测数据at+1属于正常值,保留;
(7.4)对第t+1天获得的实时监测数据at+1经过异常值检测和校正得到的正常值,记为kt+1,并把kt+1拼接到序列{k1,k2,…,kt}的后面组成新的序列{k1,k2,…,kt,kt+1};
(7.5)采用神经网络,根据序列{k1,k2,…,kt,kt+1}预测第t+2天的值ut+2,与第t+2天实时上报的监测数据at+2进行对比以检测是否异常并校正,以此类推,对每一天实时上报的数据都进行检测,经过检测并校正后的数据作为历史数据存储,为下一天的预测做准备。
所述步骤(5.1)将数列{bi}中的正数选出来构成一个新的数列时,每个正数之间的排列顺序不变。
所述步骤(5.2)中,n个分量中包括n-1个IMF和1个残余项rn
所述步骤(5.3)中,m值的确定采用如下步骤:
(10.1)计算每个IMFi(t)的增长率zi(t),i=1,2,…,(n-1);
(10.2)计算每个IMFi(t)增长率的最大值hi=max(zi(t)),i=1,2,…,(n-1),得到数组[h1,h2,…,hn-1];
(10.3)从[h1,h2,…,hn-1]中找到hw,分两种情况:
当[h1,h2,…,hn-1]不是单调的,hw是[h1,h2,…,hn-1]中从左到右第一个极小值;
当[h1,h2,…,hn-1]是单调的,hw是[h1,h2,…,hn-1]中从左到右第一个满足小于预设阈值λ的数;
hw所对应的位置w,有m=n-w+1。
所述步骤(5.4)中,偏差比率
预设阈值λ=0.15。
所述步骤(10.1)中,增长率zi(t)通过如下方式计算得到:
所述步骤(7.3)中,相对误差
本发明与现有技术相比的有益效果是:
(1)从整体技术方案上来讲,本发明方法能够更加准确检测出实时数据的异常值。
(2)与现有技术相比,本发明方法从历史数据出发,准确的历史数据能够保证实时数据异常值准确检测的可靠性。
(3)本发明方法计算量小,计算机程序运行实现时间短。
附图说明
图1为本发明流程图;
图2为自来水厂B1在2015年的日取水量历史监测数据;
图3为经过中位数法异常值初步检测后得到的数据;
图4为经过EEMD分解对后5个低频分量向量求和得到的曲线;
图5为偏差比率;
图6为历史数据经过两次异常值检测后得到的结果;
图7为曲线拟合法对历史数据异常值校正;
图8为历史数据经过异常值检测和校正后得到的结果;
图9为自来水厂B1在2016年原始的实时监测数据;
图10为经过本发明校正后得到的结果;
图11为原始实时监测数据与经过本发明校正后的数据对比图;
图12为相对误差。
具体实施方式
下面结合附图对本发明的具体实施方式进行进一步的详细描述。
如图1所示,本发明提出的一种基于EEMD-神经网络的实时数据异常值检测方法,步骤如下:
(1)对原始历史时间序列数据,按照时间顺序进行排序,对缺失数据用0值填补,得到初步整理好的历史数据;
(2)对所述初步整理好的历史数据进行异常值检测处理,把检测出的异常值用0值替换;
对初步整理好的历史数据进行异常值检测处理,包括如下步骤:
(2.1)通过中位数法对所述初步整理好的历史数据进行初步检测;
(2.2)通过EEMD法对所述初步检测之后的历史数据进行精细检测。
(3)对异常值检测处理之后的历史数据进行异常值校正处理,即对数据中的0值进行填补,完成历史时间序列数据异常值检测和校正;
(4)对实时数据进行异常值检测。
所述的步骤2.1,通过中位数法对所述初步整理好的历史数据进行初步检测。
对于历史时间序列数据{ai},i=1,2,3,…,t,t表示时间序列的单位,根据实际研究对象,可能为天、小时等时间单位。
把{ai}中的正数选出来构成一个新的数列的中位数记为计算中每个数与中位数的比值
设定的阈值为r1,r2,若或者为异常值,把异常值替换为0,时间序列数据{ai}经过替换后得到的数列为{bi},从而完成对所述初步整理好的历史数据进行初步检测。
所述的步骤2.2,异常值精细检测方法为集成经验模态分解法EEMD。
把经过第一次异常值替换后得到的{bi}中的正数选出来构成一个新的数列且每个正数之间的排列顺序不变,把这样的数列称为正数组。再用EEMD对进行分解,得到n个分量(包括n-1个IMF和1个残余项rn),频率依次从高到低排列,舍去高频分量,把后面m(1<m<n)个低频分量对应求和可得到一个新的数列,记为定义IMFi(t)的增长率zi(t).
m值的计算采用如下算法:
(a)计算每个IMFi(t)的增长率zi(t),i=1,2,…,(n-1).
(b)计算每个IMFi(t)增长率的最大值
hi=max(zi(t)),i=1,2,…,(n-1).
得到数组[h1,h2,…,hn-1].
(c)从[h1,h2,…,hn-1]中找到hw,分两种情况:
当[h1,h2,…,hn-1]不是单调的,hw是[h1,h2,…,hn-1]中从左到右第一个极小值,
当[h1,h2,…,hn-1]是单调的,hw是[h1,h2,…,hn-1]中从左到右第一个满足小于某个阈值λ的数(一般可取λ=0.15)。
hw所对应的位置w,则m=n-w+1.
计算偏差比率设定偏差比率的阈值为d0,偏差比率大于d0的数据为异常值,再把异常值替换为0,把{bi}经过异常值替换得到的数列记为{gi},从而完成对所述初步检测之后的数据进行精细检测。
所述的步骤3对异常值检测处理之后的历史数据进行异常值校正处理,采用局部曲线拟合法实现。
对于每一段0值(包括单个0值,也可能是多个0值)前后端各选取一段序列(序列中数据的个数可人为设定),构成{gi}的一个子序列{hi}。对{hi}进行曲线拟合,方法是把{hi}中的正数选出来,得到一组样本点i+表示{hi}中出现正数的位置,采用多项式对样本点进行曲线拟合,得到的多项式记为f(x)。用曲线拟合值替换{hi}中的0值,i0表示{hi}中0值的位置。采用局部曲线拟合方法对{gi}的所有0值都进行填补,得到异常值校正后的的时间序列数据记为{ki},i=1,2,3,…,t。
所述的步骤4对实时数据进行异常值检测,采用人工神经网络实现。
历史时间序列数据{ai}经过异常值检测和校正后得到时间序列数据{ki},i=1,2,3,…,t。若在第t+1天获得实时监测数据at+1,需要检测at+1是否异常。应用神经网络对时间序列{k1,k2,…,kt}预测第t+1天的值ut+1。假设用连续的前10天的数据预测后1天的数据。因此,BNN的输入层、输出层神经元个数分别为10和1,隐层神经元的个数需要经过多次仿真实验调试,设置好参数后就可以通过MATLAB编程预测出第t+1天预测值ut+1。计算实时上报的监测数据at+1与预测值ut+1的相对误差设定wt+1的阈值为w0,若相对误差wt+1大于阈值w0,则认为实时上报的监测数据at+1属于异常值,用预测值ut+1替换at+1;若相对误差wt+1小于或者等于阈值w0,则认为实时上报的监测数据at+1属于正常值,应保留。
对第t+1天获得实时监测数据at+1经过异常值检测和校正得到的正常值,记为kt+1,并把kt+1拼接到序列{k1,k2,…,kt}的后面组成新的序列{k1,k2,…,kt,kt+1}。接下来,同样采用神经网络,根据序列{k1,k2,…,kt,kt+1}预测第t+2天的值ut+2,与第t+2天实时上报的监测数据at+2进行对比可检测是否异常并校正。以此类推,对每一天实时上报的数据都可以进行检测,经过检测并校正后的数据作为历史数据存储,为下一天数据的预测做准备。
实施例:
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
步骤1:确定研究对象并获取数据
以华北地区某自来水厂B1的日取水量数据为研究对象。每日的取水量监测数据来源于国家水资源管理系统数据库。选取时间范围从2015年1月1日到2016年12月31日两年整,共计731天。把2015年365天的数据作为历史数据,2016年366天的数据作为的实时数据。
步骤2:历史数据异常值检测与校正
(2.1)历史时序数据可视化
2015年自来水厂B1的原始日取水量时间序列监测数据记为{ai},对{ai}作图,如图2。从图中可以看出存在异常大值、异常小值。
(2.2)中位数法异常值初步检测
设定异常值初步检测的条件为监测数据大于中位数的5倍或者小于中位数的0.1倍,经过这次异常值检测之后把异常值替换为0。{ai}经过替换后得到的序列{bi},如图3.
(2.3)EEMD法异常值进一步检测
把{bi}中的正数选出来构成正数组并保持正数组中每个正数的次序不变,用EEMD对正数组进行分解,从高频到低频依次得到8个分量,包括7个IMF和1个残余项rn,经过计算得到m值为5,于是把后面5个低频分量对应相加得到一个新的数组如图4.从图4可以看出后面5个低频分量叠加构成的数组能很好地拟合绝大部分正常数据,且不受异常值的影响。
计算偏差比率结果如图5。对偏差比率构成的数列通过观察法设定一个阈值0.5。筛选出的异常值,从而可以找到{bi}中对应位置的异常值。经过异常值检测之后再把异常值替换为0,把{bi}经过异常值替换得到的数列记为{gi},如图6。
(2.4)用曲线拟合填补0值
把{gi}中的正数选出来得到一组样本点用3次多项式进行曲线拟合,得到多项式f(x)。用曲线拟合值替换{gi}中的0值得到校正后的时间序列数据{ki},如图7。由于自来水厂日取水量具有年度变化周期,这里一年的时间序列数据就不用局部曲线拟合,而是用直接曲线拟合。若是两年就可以分为两段序列分别曲线拟合,每年为一个时间段。
对于2015年的监测数据,经过异常值检测和校正,最后得到时间序列如图8所示。
步骤3实时数据异常值检测与校正
2015年的时间序列数据{ai},i=1,2,3,…,365,经过异常值检测和校正后获得的时间序列数据{ki},i=1,2,3,…,365。接下来对后续实时上报的数据进行异常值检测和校正。
2016年1月1日,也即在第366天获得实时监测数据a366。应用贝叶斯神经网络对时间序列{k1,k2,…,k365}预测得到第366天的值u366。贝叶斯神经网络属于BP神经网络的一种改进算法,预测效果优于传统的BP神经网络。
贝叶斯神经网络的参数设置:隐层神经元个数为4,传递函数为tansig,输出层神经元传递函数为purelin,训练函数为trainbr。整个仿真实验通过MATLAB数学软件实现。
计算实时上报的监测数据a366与预测值u366的相对误差w366.设定相对误差的阈值w0=0.7,可判断实时上报的监测数据a366是否属于异常值。若异常,用预测值u366替换a366;若正常,就保留。a366经过异常值检测和校正得到的正常值记为k366,并把k366拼接到序列{k1,k2,…,k365}的后面组成新的序列{k1,k2,…,k365,k366}。
接下来,同样采用贝叶斯神经网络,根据序列{k1,k2,…,k365,k366}预测2016年1月2日(第367天)的值,并与实时上报的监测数据进行对比可检测是否异常并校正。以此类推,依次逐日检测2016年每一天实时上报的监测数据是否为异常值,若为异常值就用预测值替换。
经过仿真实验,得到校正后的实时监测数据。图9是2016年原始的实时监测数据,图10是采用贝叶斯神经网络方法得到的校正后的实时监测数据,图11是原始数据与校正后的数据的对比图。
从图11可以看出,本发明提出的方法能够有效识别实时上报的数据是否为异常值,若为异常值,能够及时校正,使上报的数据更加接近实际取水量。每个实时监测数据与对应预测值的相对误差如图12,相对误差较大的值对应的数据为异常值的可能性较大。

Claims (12)

1.一种基于EEMD-神经网络的实时数据异常值检测方法,其特征在于:其包括以下步骤:
(1)对原始历史时间序列数据,按照时间顺序进行排序,对缺失数据用0值填补,得到初步整理好的历史数据;所述原始历史时间序列数据是指日取水量数据;
(2)对所述初步整理好的历史数据进行异常值检测处理,把检测出的异常值用0值替换;包括如下步骤:
(2.1)通过中位数法对所述初步整理好的历史数据进行初步检测;
(2.2)通过EEMD法对所述初步检测之后的历史数据进行精细检测;具体为:
(a)将数列{bi}中的正数选出来构成一个新的数列
(b)通过EEMD法对进行分解,得到频率从高到低排列的n个分量;
(c)n个分量中,舍去高频分量,把后面m个低频分量以向量求和的方式进行求和,得到一个新的数列其中,1<m<n;
(d)计算偏差比率用于量化的偏离程度;
(e)设定偏差比率的阈值为d0,偏差比率大于d0的数据为异常值,再把异常值替换为0,把{bi}经过异常值替换得到的数列记为{gi},从而完成对所述初步检测之后的数据进行精细检测;
(3)对异常值检测处理之后的历史数据进行异常值校正处理,即对数据中的0值进行填补,完成历史时间序列数据异常值检测和校正;
(4)对实时数据进行异常值检测;
(5)根据步骤(4)得到的异常值检测结果,对实时数据进行异常值校正。
2.根据权利要求1所述的一种基于EEMD-神经网络的实时数据异常值检测方法,其特征在于:所述步骤(3)对异常值检测处理之后的历史数据进行异常值校正处理,采用局部曲线拟合法实现;所述步骤(4)对实时数据进行异常值检测,采用人工神经网络实现。
3.根据权利要求1所述的一种基于EEMD-神经网络的实时数据异常值检测方法,其特征在于:所述通过中位数法对所述初步整理好的历史数据进行初步检测,具体为:
(4.1)对于初步整理后的时间序列数据{ai},i=1,2,3,…,把{ai}中的正数选出来构成一个新的数列的中位数记为
(4.2)计算中每个数与中位数的比值
(4.3)设定的阈值为r1,r2,若或者为异常值,把异常值替换为0,时间序列数据{ai}经过替换后得到的数列为{bi},从而完成对所述初步整理好的历史数据进行初步检测。
4.根据权利要求2所述的一种基于EEMD-神经网络的实时数据异常值检测方法,其特征在于:所述采用局部曲线拟合法,具体为:
(6.1)对于每一段0值,包括单个0值或者是连续多个0值,前后端各选取一段序列,构成一个子序列{hi};
(6.2)对{hi}进行曲线拟合:把{hi}中的正数选出来,得到一组样本点i+表示{hi}中出现正数的位置,采用多项式对样本点进行曲线拟合,得到的多项式记为f(x);
(6.3)用曲线拟合值替换{hi}中的0值,i0表示{hi}中0值的位置,得到异常值校正后的时间序列数据{ki},i=1,2,3,…,t。
5.根据权利要求2所述的一种基于EEMD-神经网络的实时数据异常值检测方法,其特征在于:通过人工神经网络对实时数据进行异常值检测,具体为:
(7.1)应用人工神经网络对时间序列{k1,k2,…,kt}预测第t+1天的值ut+1
(7.2)计算实时上报的监测数据at+1与预测值ut+1的相对误差wt+1
(7.3)设定wt+1的阈值为w0,若相对误差wt+1>w0,则认为实时上报的监测数据at+1属于异常值,用预测值ut+1替换at+1;若相对误差wt+1≤w0,则认为实时上报的监测数据at+1属于正常值,保留;
(7.4)对第t+1天获得的实时监测数据at+1经过异常值检测和校正得到的正常值,记为kt+1,并把kt+1拼接到序列{k1,k2,…,kt}的后面组成新的序列{k1,k2,…,kt,kt+1};
(7.5)采用神经网络,根据序列{k1,k2,…,kt,kt+1}预测第t+2天的值ut+2,与第t+2天实时上报的监测数据at+2进行对比以检测是否异常并校正,以此类推,对每一天实时上报的数据都进行检测,经过检测并校正后的数据作为历史数据存储,为下一天的预测做准备。
6.根据权利要求1所述的一种基于EEMD-神经网络的实时数据异常值检测方法,其特征在于:所述步骤(5.1)将数列{bi}中的正数选出来构成一个新的数列时,每个正数之间的排列顺序不变。
7.根据权利要求1所述的一种基于EEMD-神经网络的实时数据异常值检测方法,其特征在于:所述步骤(5.2)中,n个分量中包括n-1个IMF和1个残余项rn
8.根据权利要求1所述的一种基于EEMD-神经网络的实时数据异常值检测方法,其特征在于:所述步骤(5.3)中,m值的确定采用如下步骤:
(10.1)计算每个IMFi(t)的增长率zi(t),i=1,2,…,(n-1);
(10.2)计算每个IMFi(t)增长率的最大值hi=max(zi(t)),i=1,2,…,(n-1),得到数组[h1,h2,…,hn-1];
(10.3)从[h1,h2,…,hn-1]中找到hw,分两种情况:
当[h1,h2,…,hn-1]不是单调的,hw是[h1,h2,…,hn-1]中从左到右第一个极小值;
当[h1,h2,…,hn-1]是单调的,hw是[h1,h2,…,hn-1]中从左到右第一个满足小于预设阈值λ的数;
hw所对应的位置w,有m=n-w+1。
9.根据权利要求1所述的一种基于EEMD-神经网络的实时数据异常值检测方法,其特征在于:所述步骤(5.4)中,偏差比率
10.根据权利要求8所述的一种基于EEMD-神经网络的实时数据异常值检测方法,其特征在于:预设阈值λ=0.15。
11.根据权利要求8所述的一种基于EEMD-神经网络的实时数据异常值检测方法,其特征在于:所述步骤(10.1)中,增长率zi(t)通过如下方式计算得到:
12.根据权利要求5所述的一种基于EEMD-神经网络的实时数据异常值检测方法,其特征在于:所述步骤(7.3)中,相对误差
CN201710581029.7A 2017-07-17 2017-07-17 一种基于eemd-神经网络的实时数据异常值检测方法 Active CN107463633B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710581029.7A CN107463633B (zh) 2017-07-17 2017-07-17 一种基于eemd-神经网络的实时数据异常值检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710581029.7A CN107463633B (zh) 2017-07-17 2017-07-17 一种基于eemd-神经网络的实时数据异常值检测方法

Publications (2)

Publication Number Publication Date
CN107463633A CN107463633A (zh) 2017-12-12
CN107463633B true CN107463633B (zh) 2019-09-06

Family

ID=60544316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710581029.7A Active CN107463633B (zh) 2017-07-17 2017-07-17 一种基于eemd-神经网络的实时数据异常值检测方法

Country Status (1)

Country Link
CN (1) CN107463633B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108245154B (zh) * 2018-01-24 2020-10-09 福州大学 利用异常值检测精确确定脑电或眼电中眨眼区间的方法
CN108399212A (zh) * 2018-02-02 2018-08-14 深圳市微埃智能科技有限公司 物联网终端的时间序列数据处理和神经网络趋势预测方法
CN108749596B (zh) * 2018-04-11 2020-12-04 蔚来(安徽)控股有限公司 车机端启动方法、系统及装置
CN108733624B (zh) * 2018-04-11 2021-11-30 杭州电子科技大学 一种水质异常数据检测与重构方法
CN108776694A (zh) * 2018-06-05 2018-11-09 哈尔滨工业大学 一种时间序列异常点检测方法及装置
CN109714322B (zh) * 2018-12-14 2020-04-24 中国科学院声学研究所 一种检测网络异常流量的方法及其系统
CN109684320B (zh) * 2018-12-25 2020-09-15 清华大学 监测数据在线清洗的方法和设备
CN109828888A (zh) * 2019-01-28 2019-05-31 中国联合网络通信集团有限公司 业务系统状态监控方法、装置及计算机可读存储介质
CN110232090B (zh) * 2019-05-29 2021-07-09 北京理工大学 一种多视角时间序列异常点集成检测和可视化方法
CN110175200A (zh) * 2019-05-31 2019-08-27 国网上海市电力公司 一种基于人工智能算法的异常用能分析方法及系统
CN111092891B (zh) * 2019-12-20 2022-04-01 杭州安恒信息技术股份有限公司 一种网络中异常点的检测方法、检测系统及相关装置
CN111210060B (zh) * 2019-12-30 2023-04-28 国网宁夏电力有限公司信息通信公司 一种工作日期间机房温度预测方法
CN113297442A (zh) * 2020-02-24 2021-08-24 天津职业技术师范大学(中国职业培训指导教师进修中心) 基于web可视化平台的EEG实时交互分析系统和实时交互分析方法
CN111666191B (zh) * 2020-06-09 2023-09-29 贝壳技术有限公司 数据质量监控方法、装置、电子设备及存储介质
CN112149868A (zh) * 2020-08-20 2020-12-29 汉威科技集团股份有限公司 用于燃气使用习惯和安全分析的智能诊断方法
CN112526878B (zh) * 2020-11-19 2023-01-03 华润电力湖北有限公司 火电机组控制方法、系统、终端和计算机可读存储介质
CN113077228A (zh) * 2021-03-23 2021-07-06 广东电网有限责任公司电力调度控制中心 电网机组出力数据的处理方法及处理装置
CN113111573B (zh) * 2021-03-24 2022-09-23 桂林电子科技大学 基于gru的滑坡位移预测方法
CN113077357B (zh) * 2021-03-29 2023-11-28 国网湖南省电力有限公司 电力时序数据异常检测方法及其填补方法
CN113837324A (zh) * 2021-11-25 2021-12-24 四川瑞康智慧能源有限公司 电量数据监测方法、系统、存储介质和电子设备
CN114548158B (zh) * 2022-01-28 2022-11-11 广东工业大学 一种用于血糖预测的数据处理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440226A (zh) * 2013-06-26 2013-12-11 燕山大学 基于hmm校正与神经网络延拓的emd端点效应抑制方法
CN104063569A (zh) * 2013-03-19 2014-09-24 中国人民解放军第二炮兵工程大学 一种基于emd去噪和渐消记忆的设备剩余寿命预测方法
CN104239884A (zh) * 2014-08-29 2014-12-24 中国科学院遥感与数字地球研究所 一种基于遥感植被指数时间序列的异常淹没区域检测方法
CN105205736A (zh) * 2015-10-14 2015-12-30 国家电网公司 基于经验模态分解的电力负荷异常数据的快速检测方法
CN106845641A (zh) * 2017-03-03 2017-06-13 东南大学 基于经验模态分解和bp神经网络的地铁沉降预测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090119095A1 (en) * 2007-11-05 2009-05-07 Enhanced Medical Decisions. Inc. Machine Learning Systems and Methods for Improved Natural Language Processing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104063569A (zh) * 2013-03-19 2014-09-24 中国人民解放军第二炮兵工程大学 一种基于emd去噪和渐消记忆的设备剩余寿命预测方法
CN103440226A (zh) * 2013-06-26 2013-12-11 燕山大学 基于hmm校正与神经网络延拓的emd端点效应抑制方法
CN104239884A (zh) * 2014-08-29 2014-12-24 中国科学院遥感与数字地球研究所 一种基于遥感植被指数时间序列的异常淹没区域检测方法
CN105205736A (zh) * 2015-10-14 2015-12-30 国家电网公司 基于经验模态分解的电力负荷异常数据的快速检测方法
CN106845641A (zh) * 2017-03-03 2017-06-13 东南大学 基于经验模态分解和bp神经网络的地铁沉降预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"基于EEMD的滚动轴承振动故障特征提取与诊断研究";刘觉晓;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑 C029-99》;20160215;第13-19页
"经验模态分解的方法改进研究";李曜洲;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑 C029-375》;20170315;第25-46页

Also Published As

Publication number Publication date
CN107463633A (zh) 2017-12-12

Similar Documents

Publication Publication Date Title
CN107463633B (zh) 一种基于eemd-神经网络的实时数据异常值检测方法
CN110851338B (zh) 异常检测方法、电子设备及存储介质
CN109472004B (zh) 气候变化和人类活动对水文干旱影响的综合评估方法、装置及系统
CN111680820B (zh) 分布式光伏电站故障诊断方法和装置
CN113126019B (zh) 一种智能电表误差远程估计方法、系统、终端和存储介质
Cheng et al. Enhanced state estimation and bad data identification in active power distribution networks using photovoltaic power forecasting
CN109858572A (zh) 一种用于污水异常检测的改进型层次聚类方法
CN108682457A (zh) 患者长期预后定量预测和干预系统及方法
CN104035431A (zh) 用于非线性过程监控的核函数参数的获取方法和系统
CN114819374A (zh) 区域新能源超短期功率预测方法及系统
CN109308225B (zh) 一种虚拟机异常检测方法、装置、设备及存储介质
Sant’Ana et al. Atlantic Yellowfin tuna stock assessment: An implementation of a Bayesian state-space surplus production model using JABBA
CN112163020A (zh) 一种多维时间序列异常检测方法及检测系统
Huang et al. Effects of multidimensional urbanisation on water footprint self-sufficiency of staple crops in China
Katz Role of statistics in the validation of general circulation models
Pawlak et al. Nonparametric sequential signal change detection under dependent noise
Xu et al. Improving the robustness of fisheries stock assessment models to outliers in input data
CN117688505B (zh) 一种植被大范围区域化负异常的预测方法及系统
Prondvai et al. Radial porosity profiles: a new bone histological method for comparative developmental analysis of diametric limb bone growth
CN117726079B (zh) 基于机电一体化的自动化环形产线优化方法
Kovalenko et al. Review of Methods for Power Systems State Estimation and Data Validation Based on Synchrophasor Measurements
CN112561203B (zh) 一种基于聚类和gru实现水位预警的方法及系统
Pita et al. On the application of unsupervised clustering to sound pressure data from an acoustic sensors network
CN115907178B (zh) 一种净生态系统co2交换量的预测方法
Gao et al. Software Quality Evaluation Model based on Multiple Linear Regression and Fuzzy Comprehensive Evaluation Method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant