CN104537034A - 基于时间序列分析的输变电设备的状态监测数据清洗方法 - Google Patents

基于时间序列分析的输变电设备的状态监测数据清洗方法 Download PDF

Info

Publication number
CN104537034A
CN104537034A CN201410806481.5A CN201410806481A CN104537034A CN 104537034 A CN104537034 A CN 104537034A CN 201410806481 A CN201410806481 A CN 201410806481A CN 104537034 A CN104537034 A CN 104537034A
Authority
CN
China
Prior art keywords
represent
time series
moment
operator
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410806481.5A
Other languages
English (en)
Other versions
CN104537034B (zh
Inventor
郭志红
杜修明
杨祎
陈玉峰
盛戈皞
严英杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Shandong Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Shandong Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Electric Power Research Institute of State Grid Shandong Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201410806481.5A priority Critical patent/CN104537034B/zh
Publication of CN104537034A publication Critical patent/CN104537034A/zh
Priority to PCT/CN2015/092589 priority patent/WO2016101690A1/zh
Application granted granted Critical
Publication of CN104537034B publication Critical patent/CN104537034B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06Energy or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Water Supply & Treatment (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本发明公开了基于时间序列分析的输变电设备的状态监测数据清洗方法,步骤如下:建立输变电设备状态数据的初始时间序列模型,通过初始时间序列模型估计初始拟合的残差序列和残差方差;利用初始时间序列模型,计算每个观测点的检验统计量;判断检验统计量的绝对值的最大值是否大于设定阈值;通过修正后的时间序列模型的模型残差计算每个观测点的检验统计量,根据检验统计量的绝对值的最大值是否大于设定阈值来判断是否存在新的噪声点,直到所有的噪声点都被识别出。本发明具有清洗效率高、保持了数据的完整性、避免数据有用信息丢失的优点。

Description

基于时间序列分析的输变电设备的状态监测数据清洗方法
技术领域
本发明涉及基于时间序列分析的输变电设备的状态监测数据清洗方法。
背景技术
对设备在线监测、带电检测、离线试验等设备全景状态信息进行全方位分析,提升输变电设备评价与异常诊断的准确性是设备状态评估诊断技术的发展趋势。输变电设备全景状态信息呈现来源多、信息异构、数量庞大、属性繁多等特点,其数据往往是不完整的、有噪声的和不一致的。状态量原始的数据质量往往不能满足后续状态评价模型的要求,因此在状态评估或诊断分析之前进行数据清洗是必不可少的。数据清洗通过填充缺失值、平滑噪声数据和识别离群点来提高数据质量,有助于提高数据挖掘过程的准确率和效率。
在输变电设备数据清洗方面,国内外现有的研究较少。文献《基于贝叶斯网络分类器的变压器综合故障诊断方法》在建立故障与信息的映射关系时将海量数据通过粗糙集信息熵的方法进行了约简,从而解决了数据缺失的问题,但是破坏了数据自身信息的完整性。
文献《A Kernel Fuzzy c-Means Clustering-Based Fuzzy Support Vector Machine Algorithmfor Classification Problems with Outliers or Noises》和《FSVM-CIL:Fuzzy Support VectorMachines for Class Imbalanced Learning》在处理支持向量机训练集的噪声和异常数据时使用了模型C均值聚类方法,通过计算数据到聚类中心的距离来分离出噪声数据。但是这种聚类方法将分离出的噪声数据直接剔除,破坏了状态量数据链的连续性。以上研究在数据清洗过程中都丢弃了造成了数据的丢失,不利于在后续状态评估中对数据本身信息的挖掘。
发明内容
本发明的目的就是为了解决上述问题,提供一种基于时间序列分析的输变电设备的状态监测数据清洗方法,它具有清洗效率高、保持了数据的完整性、避免数据有用信息丢失的优点。
为了实现上述目的,本发明采用如下技术方案:
基于时间序列分析的输变电设备的状态监测数据清洗方法,步骤如下:
步骤(1):建立输变电设备状态数据的初始时间序列模型,通过初始时间序列模型估计初始拟合的残差序列和残差方差;
步骤(2):
步骤(2-1):利用步骤(1)的初始时间序列模型,计算每个观测点的检验统计量;
步骤(2-2):判断检验统计量的绝对值的最大值是否大于设定阈值,如果大于,则确定存在对初始时间序列模型拟合影响的噪声点,通过修正时间序列数据来修正噪声点,通过返回步骤(2)继续识别并修正时间序列所有的噪声点,然后进入步骤(2-3);如果小于就进入步骤(2-3);
步骤(2-3):拟合修正后的时间序列模型,估计修正后的时间序列模型的模型残差;
步骤(3):通过步骤(2-3)中修正后的时间序列模型的模型残差计算每个观测点的检验统计量,根据检验统计量的绝对值的最大值是否大于设定阈值来判断是否存在新的噪声点,直到所有的噪声点都被识别出,如果存在就返回步骤(2),如果不存在就结束。
所述步骤(1)的步骤为:
对观测序列Zt建立时间序列模型,
设Zt是单个状态量的无异常值的时间序列,Zt服从ARIMA(p,d,q)模型,表示为
θ ^ ( B ) = 1 - θ ^ 1 B - θ ^ 2 B 2 - . . . - θ ^ q B q - - - ( 6 )
其中,Zt为观测序列,p,q,d为时间序列ARIMA(p,d,q)模型的阶数,θ(B)为初始拟合的平稳算子,是θ(B)中相应的参数,为初始拟合的可逆算子,中相应的参数,et是不含噪声点的序列初始拟合的残差序列,B表示延迟算子,BdZt=Zt-d,Bd表示延迟d个时刻的延迟算子,Zt表示时刻t的观测值,Zt-d表示时刻t-d的观测值,▽d是一个表示t时刻与t-d时刻的观测值间的差值的算子,▽d=1-Bd
并由所建立的时间序列模型计算初始拟合的残差序列,即:
式(8)中,Zt为观测序列,为含噪声点的序列初始拟合的残差序列,θ(B)为初始拟合的平稳算子,为初始拟合的可逆算子,B表示延迟算子,BdZt=Zt-d,Bd表示延迟d个时刻的延迟算子,Zt表示时刻t的观测值,Zt-d表示时刻t-d的观测值,▽d是一个表示t时刻与t-d时刻的观测值间的差值的算子,▽d=1-Bd;π(B)为表征残差影响的算子,为π(B)相应的参数。
所述π(B)的定义如(9)所示:
其中,θ(B)为初始拟合的平稳算子,为初始拟合的可逆算子,n为残差序列长度,n≥1;B表示延迟算子,BdZt=Zt-d表示表征滞后n个时刻的残差影响的算子;
所述步骤(1)的残差方差的初始估计为:
σ a 2 = 1 n Σ j = 1 n e ^ j 2 - - - ( 10 ) ;
其中,表示残差方差,n表示残差序列的长度,n≥1,的参数含义是残差值的平方,j的取值范围是1≤j≤n。
所述步骤(2-1)的步骤为:
利用步骤(1)的初始时间序列模型,计算每个观测点的检验统计量步骤为:利用步骤(1)的初始时间序列模型,对t=1,2,…,n,计算每个观测点的检验统计量和检验统计量所述检验统计量和检验统计量的计算公式如下:
T IO t = ω IO σ a - - - ( 11 )
T AO t = ω AO σ a Σ j = T n π j 2 - - - ( 12 )
式(11)、(12)中:t=1,2,...,n表示噪声点产生的时刻;σa为含噪声点的残差的标准差;所述检验统计量和检验统计量的极限分布均为标准正态分布,服从t分布。
所述步骤(2-2)的步骤为:
将噪声点的种类分为加性异常值(Additive Outliers,AO)和新息异常值(InnovationalOutliers,IO),缺失值被认为是加性异常值。
定义λT表示检验统计量和检验统计量的最大值,T为最大值发生的时刻;
时,其中C是设定阈值,确定在时刻T存在加性异常值(Additive Outliers,AO),加性异常值AO对模型拟合的影响ωAO通过式(13)求得;
ω ^ AO = e T - Σ j = 1 n - T π j e T + j Σ j = 0 n - T T j 2 - - - ( 13 )
其中,表示加性异常值的影响,eT表示时刻T处的残差,eT+j表示时刻T+j处的残差,πj表示时刻j处残差影响的算子,j的取值范围是1≤j≤n。
ω ^ IO = e T - - - ( 14 )
其中,表示新息异常值的影响,eT表示时刻T处的残差;
对于加性异常值,通过式(15)修正初始时间序列数据,得到新的时间序列Zt
Z t = Z t - ω AO I t ( T ) - - - ( 15 )
其中,Zt表示经过一次修正的时间序列,Zt表示初始时间序列,ωAO表示加性异常值的影响,表示阶跃函数;
并由式(16)修正后的残差
e ~ t = e ^ t - ω AO π ( B ) I t ( T ) - - - ( 16 )
其中,表示经过一次修正的残差,表示初始残差,ωAO表示加性异常值的影响,π(B)表示残差影响的算子,表示阶跃函数。
式(15)和式(16)中的定义如式(17)所示:
I t ( T ) = 1 , t = T 0 , t ≠ T - - - ( 17 )
其中,表示阶跃函数,t表示时间,T表示阶跃函数值由0转为1的时刻;
时,确定在时刻T存在新息异常值(Innovational Outliers,IO),其对初始时间序列模型拟合的影响ωIO通过式(14)求得,利用式(18)修正数据,则IO的影响能够消除,即
其中,Zt表示经过一次修正的时间序列,Zt表示初始时间序列,ωIO表示新息异常值的影响,表示阶跃函数,θ(B)为初始拟合的平稳算子,为初始拟合的可逆算子,n为残差序列长度,n≥1;B表示延迟算子,BdZt=Zt-d,Bd表示延迟d个时刻的延迟算子,Zt表示时刻t的观测值,Zt-d表示时刻t-d的观测值,▽d是一个表示t时刻与t-d时刻的观测值间的差值的算子,▽d=1-Bd
由式(19)修正后的残差:
e ~ t = e ^ t - ω IO I t ( T ) - - - ( 19 )
其中,表示经过一次修正的残差,表示初始残差,ωIO表示新息异常值的影响,表示阶跃函数;
使用迭代的方法识别并修正时间序列所有的噪声点。在修正后的残差和残差标准差的基础上再次计算每个观测点的检验统计量和检验统计量并重复步骤(2-1),直到所有的噪声点都被识别出来。
所述步骤(2-3)的步骤为:
假设有k个异常数据在时刻T1,T2,...,Tk被识别出,其影响分别为同时异常数据被修正而得到了新的时间序列代表是第一步迭代得到的序列;
利用新的时间序列拟合得到经过一次修正后的时间序列模型;
此时根据式(5)和式(8)重新估计该时间序列参数θ(1)(B),π(1)(B),并得到经过一次修正后的时间序列模型残差
e ~ t ( 1 ) = π ( 1 ) ( B ) [ Z t ( 1 ) - Σ j = 1 k ω j ( 1 ) v ~ j ( 1 ) ( B ) I t ( T j ) ] - - - ( 20 )
其中
其中,表示经过一次修正后的时间序列模型残差,π(1)(B)表示经过一次修正的残差的影响算子,表示经过一次修正的时间序列,表示噪声点AO或IO的影响因子,表示噪声点AO或IO的修正因子,表示阶跃函数。
所述步骤(3)的步骤为:
找出是否有新的噪声点出现,直到所有的噪声点都被识别出;在最后一次迭代后,针对修正了噪声点的时间序列Zt进行联合估计,得到最终的时间序列模型:
式(22)中,各参数θ(B),ωjj是在最后一次迭代中得到的;
其中,Zt表示经过多次修正后最终的时间序列,ωj表示噪声点AO或IO的影响因子,νj(B)表示噪声点AO或IO的修正因子,表示阶跃函数,表示最终拟合的可逆算子,θ(B)表示最终拟合的平稳算子,at表示最终的残差,B表示延迟算子,BdZt=Zt-d,Bd表示延迟d个时刻的延迟算子,Zt表示时刻t的观测值,Zt-d表示时刻t-d的观测值,▽d是一个表示t时刻与t-d时刻的观测值间的差值的算子,▽d=1-Bd
至此,针对输变电设备状态数据的数据清洗完成,清洗后的序列为Zt,清洗后的序列即为修正了噪声点的时间序列。
本发明的有益效果:
1相比于传统的删除噪声点,本方法清洗出的数据是不带有噪声点和缺失值的数据,从而避免了时间序列中有用信息的丢失,更能有效地反映原始时间序列的动态变化,适应输变电设备状态数据的特点。
2本方法主要用于清洗输变电设备状态数据。在输变电设备的状态数据序列中噪声点是指由于仪器异常或设备系统的扰动引起的严重偏离期望值的数据,这些数据不仅会影响模型拟合的精度,而且会导致后续状态评估出现偏差,引起误诊。缺失值是指由于传感器的短时失效、通信端口异常、记录失误等因素引起的数据中断,状态数据中存在的缺失值破坏了系统运行的连续性,不利于后续的状态评估和趋势检验。通过本方法清洗后的输变电设备状态数据是有效的,能够为后续的设备状态评估、风险评估、故障预警等提供有力的数据支撑。
3本方法的时间序列模型充分结合了输变电设备状态数据的特点,能够确保清洗的效率和清洗后数据的可用性。输变电设备状态量的检测是由各个传感器来完成的,但是经过底层的预处理而上传到数据库进行状态评估的原始数据可以认为是按时间序列排列的特征量数据,因此本方法的时间序列模型具有很强的适用性。
4对输变电设备的状态数据,设备状态信息获取方式的多样性及采集间隔的不确定性使得各状态量时间序列的参数是未知的、异常数据产生的时刻T是不确定的,针对噪声点出现时刻与个数未知、预先没有模型参数的情况,本方法能识别出噪声点的产生时刻,并反复修正噪声点,清洗后的序列与正常序列较为相近。
附图说明
图1为数据清洗流程图;
图2为原始数据和含有异常值的数据;
图3为原始数据和初始拟合残差序列;
图4为原始数据、最终拟合的数据和最终拟合残差序列。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
本发明的原理是利用时间序列模型识别各状态量的时间序列,根据序列中噪声点的种类选择不同的修正公式,从而达到修正噪声点数据和填补缺失值的目的,完成对状态量的数据清洗。该方法既能识别出数据中的噪声点和缺失值,又能在分离噪声的过程中噪声点数值进行修正。其总体流程如图1所示。
输变电设备状态量的检测是由各个传感器来完成的,但是经过底层的预处理而上传到数据库进行状态评估的原始数据可以认为是按时间序列排列的特征量数据。这些数据的统一格式为“时间.特征量=数值”,因此可认为采集的所有状态量形成了一个单元或多元的连续而完整的时间序列,如矩阵X所示:
式中,Xmn代表在时刻Tn状态量m的数值。
设Xt是单个状态量的无异常值的时间序列,Xt服从ARIMA(p,d,q)模型,可表示为
θ(B)=1-θ1B-θ2B2-...-θqBq     (3)
以上式中:θ(B)和是没有公共因子的平稳和可逆算子,at是相互独立,具有相同分布的白噪声序列,▽=1-B表示延迟算子,BXt=Xt-1,BqXt=Xt-q
设Zt是单个状态量的无异常值的时间序列,Zt服从ARIMA(p,d,q)模型,可表示为
θ ^ ( B ) = 1 - θ ^ 1 B - θ ^ 2 B 2 - . . . - θ ^ q B q - - - ( 6 )
以上式中:是没有公共因子的平稳和可逆算子,et是不含噪声点的序列初始拟合的残差序列,▽=1-B与(2)中定义相同。
设备状态信息获取方式的多样性,采集间隔的不确定性使得各状态量时间序列的参数是未知的、异常数据产生的时刻T是不确定的,因此时间序列模型的搭建、模型参数估计、异常数据类型识别是必不可少的数据清洗步骤。由于异常数据的存在将使时间序列参数的估计产生偏差,因此针对噪声点出现时刻与个数未知,预先没有模型参数的情况下,对观测的时间序列进行反复的拟合与修正,从而达到数据清洗的目的,其整体流程如图1所示。
其中C是预先确定的正常数,通常取3和4之间的值。
南网某输电线路采集的导线温度数据如图2中实线所示,该时间序列不存在噪声点和缺失值。为了检验本文数据清洗方法的实用性,将原来的观测时刻t=140的数值剔除(成为缺失点),观测时刻t=26和t=49分别加入一个AO和IO异常值,从而生成了一个带清洗的时间序列Zt,如图2虚线所示。
首先根据发明内容中所述步骤S1建立导线温度数据的时间序列ARMA模型,如下所示。
Z t = 1 ( 1 - 0.914 B ) ( 1 - B 12 ) e t
然后根据步骤S2确立数据清洗的总体流程,根据发明内容中所述步骤S3中的内容对时间序列Zt进行数据清洗,其具体如下:
步骤一:首先对时间序列Z拟合ARMA模型,得到初始拟合残差序列:
et=(1-0.914B)(1-B12)Zt
初始拟合残差序列如图3中黄线部分所示,初步推断可能存在多个异常值。
步骤二:计算每个观测点的检验统计量TAO和TIO,逐次迭代直到所有的噪声点都被检验出来,结果如表1所示:
表1检验出的异常值类型
因此,考虑如下的修正模型:
根据表中的拟合影响对时间序列的噪声点和缺失值数值进行修正,同时根据前式对修正后的时间序列重新估计其参数,得到第一次修正后的时间序列及残差图如图3所示:
步骤三:根据图3中的残差可以判断原数据的噪声点和缺失值全部被检验出来。但由于噪声点对于观测时刻的数值拟合残差过大,不符合AIC检验,因此需要返回外循环进行迭代计算,进一步修正时间序列,以提高数据清洗质量。
表2逐步拟合结果
步骤四:在通过2次外循环的迭代之后,得到最终清洗后的时间序列,如图4虚线所示,与原始数据基本符合。
从图4可以看出,虽然清洗后的时间序列与原始时间序列在异常值发生时刻附近存在偏差,但是偏差都在5%以下,不影响后续的状态评估,属于可接受的范畴。
因此可以得出结论,本发明利用模型拟合残差的迭代检验法来检验出输变电设备状态数据中的噪声点和缺失值,并能在迭代过程中对异常数据进行修正。相比于传统的删除噪声点,本发明清洗出的数据是不带有噪声点和缺失值的数据,从而避免了时间序列中有用信息的丢失。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (8)

1.基于时间序列分析的输变电设备的状态监测数据清洗方法,其特征是,步骤如下:
步骤(1):建立输变电设备状态数据的初始时间序列模型,通过初始时间序列模型估计初始拟合的残差序列和残差方差;
步骤(2):
步骤(2-1):利用步骤(1)的初始时间序列模型,计算每个观测点的检验统计量;
步骤(2-2):判断检验统计量的绝对值的最大值是否大于设定阈值,如果大于,则确定存在对初始时间序列模型拟合影响的噪声点,通过修正时间序列数据来修正噪声点,通过返回步骤(2)继续识别并修正时间序列所有的噪声点,然后进入步骤(2-3);如果小于就进入步骤(2-3);
步骤(2-3):拟合修正后的时间序列模型,估计修正后的时间序列模型的模型残差;
步骤(3):通过步骤(2-3)中修正后的时间序列模型的模型残差计算每个观测点的检验统计量,根据检验统计量的绝对值的最大值是否大于设定阈值来判断是否存在新的噪声点,直到所有的噪声点都被识别出,如果存在就返回步骤(2),如果不存在就结束。
2.如权利要求1所述的基于时间序列分析的输变电设备的状态监测数据清洗方法,其特征是,所述步骤(1)的步骤为:
对观测序列Zt建立时间序列模型,
设Zt是单个状态量的无异常值的时间序列,Zt服从ARIMA(p,d,q)模型,表示为
θ ^ B = 1 - θ ^ 1 B - θ ^ 2 B 2 - . . . - θ ^ q B q - - - ( 6 )
其中,Zt为观测序列,p,q,d为时间序列ARIMA(p,d,q)模型的阶数,θ(B)为初始拟合的平稳算子,为初始拟合的可逆算子,et是不含噪声点的序列初始拟合的残差序列,是θ(B)中相应的参数,中相应的参数,B表示延迟算子,BdZt=Zt-d,Bd表示延迟d个时刻的延迟算子,Zt表示时刻t的观测值,Zt-d表示时刻t-d的观测值,▽d是一个表示t时刻与t-d时刻的观测值间的差值的算子,▽d=1-Bd
并由所建立的时间序列模型计算初始拟合的残差序列,即:
式(8)中,Zt为观测序列,为含噪声点的序列初始拟合的残差序列,θ(B)为初始拟合的平稳算子,为初始拟合的可逆算子,B表示延迟算子,BdZt=Zt-d,Bd表示延迟d个时刻的延迟算子,Zt表示时刻t的观测值,Zt-d表示时刻t-d的观测值,▽d是一个表示t时刻与t-d时刻的观测值间的差值的算子,▽d=1-Bd;π(B)为表征残差影响的算子,为π(B)相应的参数。
3.如权利要求2所述的基于时间序列分析的输变电设备的状态监测数据清洗方法,其特征是,所述π(B)的定义如(9)所示:
其中,θ(B)为初始拟合的平稳算子,为初始拟合的可逆算子,n为残差序列长度,n≥1;B表示延迟算子,BdZt=Zt-d表示表征滞后n个时刻的残差影响的算子。
4.如权利要求1所述的基于时间序列分析的输变电设备的状态监测数据清洗方法,其特征是,所述步骤(1)的残差方差的初始估计为:
σ a 2 = 1 n Σ j = 1 n e ^ j 2 - - - ( 10 ) ;
其中,表示残差方差,n表示残差序列的长度,n≥1,的参数含义是残差值的平方,j的取值范围是1≤j≤n。
5.如权利要求1所述的基于时间序列分析的输变电设备的状态监测数据清洗方法,其特征是,所述步骤(2-1)的步骤为:
利用步骤(1)的初始时间序列模型,计算每个观测点的检验统计量步骤为:利用步骤(1)的初始时间序列模型,对t=1,2,…,n,计算每个观测点的检验统计量和检验统计量所述检验统计量和检验统计量的计算公式如下:
T IO t = ω IO σ a - - - ( 11 )
T AO t = ω AO σ a Σ j = 1 T n π j 2 - - - ( 12 )
式(11)、(12)中:t=1,2,…,n表示噪声点产生的时刻;σa为含噪声点的残差的标准差;所述检验统计量和检验统计量的极限分布均为标准正态分布,服从t分布。
6.如权利要求1所述的基于时间序列分析的输变电设备的状态监测数据清洗方法,其特征是,所述步骤(2-2)的步骤为:
将噪声点的种类分为加性异常值AO和新息异常值IO,缺失值被认为是加性异常值;
定义λT表示检验统计量和检验统计量的最大值,T为最大值发生的时刻;
时,其中C是设定阈值,确定在时刻T存在加性异常值AO,加性异常值AO对模型拟合的影响ωAO通过式(13)求得;
ω ^ AO = e T - Σ j = 1 n - T π j e T + j Σ j = 0 n - T π j 2 - - - ( 13 )
其中,表示加性异常值的影响,eT表示时刻T处的残差,eT+j表示时刻T+j处的残差,πj表示时刻j处残差影响的算子,j的取值范围是1≤j≤n;
ω ^ IO = e T - - - ( 14 )
其中,表示新息异常值的影响,eT表示时刻T处的残差;
对于加性异常值,通过式(15)修正初始时间序列数据,得到新的时间序列Zt
Z t = Z t = ω AO I t ( T ) - - - ( 15 )
其中,Zt表示经过一次修正的时间序列,Zt表示初始时间序列,ωAO表示加性异常值的影响,表示阶跃函数;
并由式(16)修正后的残差
e ~ t = e ~ t - ω AO π ( B ) I t ( T ) - - - ( 16 )
其中,表示经过一次修正的残差,表示初始残差,ωAO表示加性异常值的影响,π(B)表示残差影响的算子,表示阶跃函数;
式(15)和式(16)中的定义如式(17)所示:
I t ( T ) = 1 , t = T 0 , t ≠ T - - - ( 17 )
其中,表示阶跃函数,t表示时间,T表示阶跃函数值由0转为1的时刻;
时,确定在时刻T存在新息异常值IO,其对初始时间序列模型拟合的影响ωIO通过式(14)求得,利用式(18)修正数据,则IO的影响能够消除,即
其中,Zt表示经过一次修正的时间序列,Zt表示初始时间序列,ωIO表示新息异常值的影响,表示阶跃函数,θ(B)为初始拟合的平稳算子,为初始拟合的可逆算子,n为残差序列长度,n≥1;B表示延迟算子,BdZt=Zt-d,Bd表示延迟d个时刻的延迟算子,Zt表示时刻t的观测值,Zt-d表示时刻t-d的观测值,▽d是一个表示t时刻与t-d时刻的观测值间的差值的算子,▽d=1-Bd
由式(19)修正后的残差:
e ~ t = e ~ t - ω IO I t ( T ) - - - ( 19 )
其中,表示经过一次修正的残差,表示初始残差,ωIO表示新息异常值的影响,表示阶跃函数;
使用迭代的方法识别并修正时间序列所有的噪声点;在修正后的残差和残差标准差的基础上再次计算每个观测点的检验统计量和检验统计量并重复步骤(2-1),直到所有的噪声点都被识别出来。
7.如权利要求2所述的基于时间序列分析的输变电设备的状态监测数据清洗方法,其特征是,所述步骤(2-3)的步骤为:
假设有k个异常数据在时刻T1,T2,...,Tk被识别出,其影响分别为同时异常数据被修正而得到了新的时间序列 代表是第一步迭代得到的序列;
利用新的时间序列拟合得到经过一次修正后的时间序列模型;
此时根据式(5)和式(8)重新估计该时间序列参数并得到经过一次修正后的时间序列模型残差
e ~ t ( 1 ) = π ( 1 ) ( B ) [ Z t ( 1 ) - Σ j = 1 k ω j ( 1 ) v ~ j ( 1 ) ( B ) I t ( T j ) ] - - - ( 20 )
其中
其中,表示经过一次修正后的时间序列模型残差,π(1)(B)表示经过一次修正的残差的影响算子,表示经过一次修正的时间序列,表示噪声点AO或IO的影响因子,表示噪声点AO或IO的修正因子,表示阶跃函数。
8.如权利要求1所述的基于时间序列分析的输变电设备的状态监测数据清洗方法,其特征是,所述步骤(3)的步骤为:
找出是否有新的噪声点出现,直到所有的噪声点都被识别出;在最后一次迭代后,针对修正了噪声点的时间序列Zt进行联合估计,得到最终的时间序列模型:
式(22)中,各参数是在最后一次迭代中得到的;
其中,Zt表示经过多次修正后最终的时间序列,ωj表示噪声点AO或IO的影响因子,νj(B)表示噪声点AO或IO的修正因子,表示阶跃函数,表示最终拟合的可逆算子,θ(B)表示最终拟合的平稳算子,at表示最终的残差,B表示延迟算子,BdZt=Zt-d,Bd表示延迟d个时刻的延迟算子,Zt表示时刻t的观测值,Zt-d表示时刻t-d的观测值,▽d是一个表示t时刻与t-d时刻的观测值间的差值的算子,▽d=1-Bd
至此,针对输变电设备状态数据的数据清洗完成,清洗后的序列为Zt,清洗后的序列即为修正了噪声点的时间序列。
CN201410806481.5A 2014-12-22 2014-12-22 基于时间序列分析的输变电设备的状态监测数据清洗方法 Active CN104537034B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201410806481.5A CN104537034B (zh) 2014-12-22 2014-12-22 基于时间序列分析的输变电设备的状态监测数据清洗方法
PCT/CN2015/092589 WO2016101690A1 (zh) 2014-12-22 2015-10-23 基于时间序列分析的输变电设备的状态监测数据清洗方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410806481.5A CN104537034B (zh) 2014-12-22 2014-12-22 基于时间序列分析的输变电设备的状态监测数据清洗方法

Publications (2)

Publication Number Publication Date
CN104537034A true CN104537034A (zh) 2015-04-22
CN104537034B CN104537034B (zh) 2017-11-10

Family

ID=52852562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410806481.5A Active CN104537034B (zh) 2014-12-22 2014-12-22 基于时间序列分析的输变电设备的状态监测数据清洗方法

Country Status (2)

Country Link
CN (1) CN104537034B (zh)
WO (1) WO2016101690A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016101690A1 (zh) * 2014-12-22 2016-06-30 国家电网公司 基于时间序列分析的输变电设备的状态监测数据清洗方法
CN106649579A (zh) * 2016-11-17 2017-05-10 苏州航天系统工程有限公司 一种用于管网建模的时序数据清洗方法
CN108205432A (zh) * 2016-12-16 2018-06-26 中国航天科工飞航技术研究院 一种观测实验数据异常值的实时剔除方法
CN109063947A (zh) * 2018-06-11 2018-12-21 阿里巴巴集团控股有限公司 一种时间序列的异常识别方法、装置、及业务服务器
CN109543769A (zh) * 2018-11-30 2019-03-29 国网山东省电力公司电力科学研究院 一种基于函数型主成分分析和小波变换的变压器运行数据缺失点修补方法
CN110727669A (zh) * 2019-10-10 2020-01-24 国网辽宁省电力有限公司电力科学研究院 一种电力系统传感器数据清理装置及清理方法
CN111125079A (zh) * 2019-12-20 2020-05-08 国网电力科学研究院武汉南瑞有限责任公司 一种输变电设备远程运维数据清洗方法
CN111242348A (zh) * 2019-12-30 2020-06-05 安徽先兆科技有限公司 基于时间序列的电气安全监测方法和系统
CN112527788A (zh) * 2020-12-17 2021-03-19 北京中恒博瑞数字电力科技有限公司 变压器监测数据异常值检测与清洗的方法及装置
CN112699113A (zh) * 2021-01-12 2021-04-23 上海交通大学 时序数据流驱动的工业制造流程运行监测系统
CN112905845A (zh) * 2021-03-17 2021-06-04 重庆大学 离散智能制造应用的多源非结构化数据清洗方法
CN113377508A (zh) * 2021-05-28 2021-09-10 张燕 一种海量数据快速传输方法
CN113410911A (zh) * 2021-08-02 2021-09-17 广东电网有限责任公司中山供电局 一种功率因数补偿装置的工作状态监测方法及系统
CN115131943A (zh) * 2022-07-07 2022-09-30 杭州申昊科技股份有限公司 一种基于深度学习的声光联动预警方法
CN116150288A (zh) * 2023-04-17 2023-05-23 山东工程职业技术大学 一种基于计算机的网络数据分析处理系统

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107590562A (zh) * 2017-09-05 2018-01-16 西安交通大学 一种基于变权组合预测法的电力负荷短期预测方法
CN109190184B (zh) * 2018-08-09 2022-12-09 天津大学 一种供热系统历史数据预处理方法
CN109299233B (zh) * 2018-09-19 2024-03-01 平安科技(深圳)有限公司 文本数据处理方法、装置、计算机设备及存储介质
CN109491339B (zh) * 2018-11-16 2022-06-24 国网江苏省电力有限公司盐城供电分公司 一种基于大数据的变电站设备运行状态预警系统
CN110083899B (zh) * 2019-04-17 2022-10-21 中国西安卫星测控中心 雷达测元数据的递推诊断与自修复方法
CN110083803B (zh) * 2019-04-22 2023-09-29 水利部信息中心 基于时间序列arima模型取水异常检测方法与系统
CN110083593B (zh) * 2019-04-23 2023-02-10 中国大唐集团科学技术研究院有限公司华东电力试验研究院 电站运行参数清洗及修复方法、修复系统
CN110134675B (zh) * 2019-05-23 2022-11-01 大连海事大学 一种面向海洋数据流的数据清洗方法和系统
CN110287544B (zh) * 2019-05-31 2023-07-04 国网上海市电力公司 一种基于高斯混合算法的配电网用电时序解构方法
CN110321635B (zh) * 2019-07-03 2022-12-09 浙江广川工程咨询有限公司 一种水闸表面变形疑值的识别方法
CN110851897B (zh) * 2019-10-15 2024-03-22 天津大学 一种多因素关联下的渡槽应力应变预测方法
CN113065219B (zh) * 2020-01-02 2023-03-14 株洲中车时代电气股份有限公司 一种列车牵引变压器冷却系统异常检测方法及装置
CN112235043B (zh) * 2020-09-14 2022-12-23 上海大学 一种基于自适应长短期记忆的分布式光纤异常数据修复装置
CN112098850B (zh) * 2020-09-21 2024-03-08 山东工商学院 基于sdo算法的锂离子电池电压故障诊断方法及系统
CN112230254B (zh) * 2020-10-29 2024-05-14 新乡医学院三全学院 一种gps载波相位多径误差的校正方法及装置
CN112231849B (zh) * 2020-11-09 2023-03-10 北京国信会视科技有限公司 基于nest和sprt融合算法的轴温故障检测方法
CN112381697B (zh) * 2020-11-20 2024-02-02 深圳衡伟环境技术有限公司 一种水污染源在线监测数据弄虚作假行为自动识别方法
CN112434930B (zh) * 2020-11-20 2023-08-08 中国地质大学(武汉) 钻进过程故障诊断方法、系统及设备
CN112711052B (zh) * 2020-12-18 2023-08-01 武汉大学 基于连续t检验的GNSS坐标序列阶跃探测改进方法及系统
CN112800126B (zh) * 2021-01-13 2022-11-15 海南微氪生物科技股份有限公司 荧光光电检测仪器关于预测检测时间的处理方法及系统
CN113191560A (zh) * 2021-05-08 2021-07-30 北京工业大学 一种改进sgm(1,1)模型的共享单车短时需求预测方法及系统
CN113221248B (zh) * 2021-05-21 2024-05-03 大连海事大学 一种基于pf-garch模型的船舶系统设备状态参数预测方法
CN113342812A (zh) * 2021-06-01 2021-09-03 陕西理工大学 输变电设备故障快速诊断系统、方法及平台
CN113420800B (zh) * 2021-06-11 2023-06-02 中国科学院计算机网络信息中心 一种数据异常检测方法及装置
CN113344134B (zh) * 2021-06-30 2024-04-19 广东电网有限责任公司 一种低压配电监控终端数据采集异常检测方法及系统
CN113702769B (zh) * 2021-08-30 2022-10-14 国家电网有限公司 基于监测数据空时相关性的配电网异常监测与定位方法
CN114019139B (zh) * 2021-10-26 2024-03-26 复旦大学 一种农用地土壤重金属异常数据的探测方法
CN114114332A (zh) * 2021-11-03 2022-03-01 湖北理工学院 一种有效探测gnss基准站坐标时间序列不连续点的方法
CN114114910B (zh) * 2021-11-12 2023-10-27 浙江大学 一种基于模型-数据混合驱动的电力工控系统动态异常检测方法
CN114910150B (zh) * 2022-04-20 2023-08-01 慕思健康睡眠股份有限公司 电容式重量传感器的标定方法、装置、智能垫、存储介质
CN115081840A (zh) * 2022-06-09 2022-09-20 国网湖南省电力有限公司 一种基于一阶差分和arima法的日电量异常值检测与校正系统
CN115145904B (zh) * 2022-07-06 2023-04-07 北京正远达科技有限公司 用于ai云计算训练的大数据清洗方法及大数据采集系统
CN115294274B (zh) * 2022-08-04 2023-05-23 国网湖南省电力有限公司 基于输变电工程三维设计模型的工程运维状态预测方法
CN116163943B (zh) * 2023-03-27 2023-09-08 蚌埠市联合压缩机制造有限公司 一种运行状态实时监测的压缩机
CN116165318B (zh) * 2023-04-26 2023-07-18 广东电网有限责任公司佛山供电局 一种变压器故障类型识别方法、装置及电子设备
CN116331044B (zh) * 2023-05-31 2023-08-04 山东芯演欣电子科技发展有限公司 一种用于直流充电桩的充电数据存储系统
CN116842764B (zh) * 2023-08-31 2023-11-10 北京绿卡科技有限公司 一种跨临界二氧化碳制冷数据仿真系统
CN117194931B (zh) * 2023-11-07 2024-01-09 青岛东山集团母线智造有限公司 一种母线槽绝缘性能评估方法及系统
CN117236075B (zh) * 2023-11-10 2024-01-26 中国工业互联网研究院 基于自动生成经验值的模拟量异常波动分析方法及装置
CN117310118B (zh) * 2023-11-28 2024-03-08 济南中安数码科技有限公司 一种地下水污染可视化监测方法
CN117395690B (zh) * 2023-12-11 2024-04-12 深圳市华海联能科技有限公司 基于人工智能的高功率密度5g基站能源管理系统
CN117687461B (zh) * 2023-12-30 2024-05-17 江苏珂玛麒生物科技有限公司 一种动物实验室的环境调控系统
CN117544998B (zh) * 2024-01-10 2024-03-29 青岛珞宾通信有限公司 一种基于人工智能的无线网速智能化评估系统
CN117786371B (zh) * 2024-02-27 2024-05-10 聊城市检验检测中心 一种温度监测数据优化预测分析方法及系统
CN117874445A (zh) * 2024-03-11 2024-04-12 北京盛拓达生物技术有限公司 一种实时在线监测数据分析的酶制剂生产监测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6892163B1 (en) * 2002-03-08 2005-05-10 Intellectual Assets Llc Surveillance system and method having an adaptive sequential probability fault detection test
CN102651093A (zh) * 2012-03-31 2012-08-29 上海海洋大学 一种基于时间序列异常检测技术的海洋信息管理系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036362A (zh) * 2014-06-23 2014-09-10 国家电网公司 一种台变用电负荷异常数据的快速检测方法
CN104156615A (zh) * 2014-08-25 2014-11-19 哈尔滨工业大学 基于ls-svm的传感器检测数据点异常检测方法
CN104537034B (zh) * 2014-12-22 2017-11-10 国家电网公司 基于时间序列分析的输变电设备的状态监测数据清洗方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6892163B1 (en) * 2002-03-08 2005-05-10 Intellectual Assets Llc Surveillance system and method having an adaptive sequential probability fault detection test
CN102651093A (zh) * 2012-03-31 2012-08-29 上海海洋大学 一种基于时间序列异常检测技术的海洋信息管理系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIAOWEI YANG 等: "A Kernel Fuzzy c-Means Clustering-Based Fuzzy Support Vector Machine Algorithm for Classification Problems With Outliers or Noises", 《IEEE TRANSACTIONS ON FUZZY SYSTEMS》 *
王德文 等: "变电站状态监测IED的IEC61850信息建模与实现", 《电力系统自动化》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016101690A1 (zh) * 2014-12-22 2016-06-30 国家电网公司 基于时间序列分析的输变电设备的状态监测数据清洗方法
CN106649579A (zh) * 2016-11-17 2017-05-10 苏州航天系统工程有限公司 一种用于管网建模的时序数据清洗方法
CN108205432A (zh) * 2016-12-16 2018-06-26 中国航天科工飞航技术研究院 一种观测实验数据异常值的实时剔除方法
CN108205432B (zh) * 2016-12-16 2020-08-21 中国航天科工飞航技术研究院 一种观测实验数据异常值的实时剔除方法
CN109063947A (zh) * 2018-06-11 2018-12-21 阿里巴巴集团控股有限公司 一种时间序列的异常识别方法、装置、及业务服务器
CN109543769A (zh) * 2018-11-30 2019-03-29 国网山东省电力公司电力科学研究院 一种基于函数型主成分分析和小波变换的变压器运行数据缺失点修补方法
CN110727669B (zh) * 2019-10-10 2023-10-13 国网辽宁省电力有限公司电力科学研究院 一种电力系统传感器数据清理装置及清理方法
CN110727669A (zh) * 2019-10-10 2020-01-24 国网辽宁省电力有限公司电力科学研究院 一种电力系统传感器数据清理装置及清理方法
CN111125079A (zh) * 2019-12-20 2020-05-08 国网电力科学研究院武汉南瑞有限责任公司 一种输变电设备远程运维数据清洗方法
CN111242348A (zh) * 2019-12-30 2020-06-05 安徽先兆科技有限公司 基于时间序列的电气安全监测方法和系统
CN112527788A (zh) * 2020-12-17 2021-03-19 北京中恒博瑞数字电力科技有限公司 变压器监测数据异常值检测与清洗的方法及装置
CN112527788B (zh) * 2020-12-17 2024-04-30 北京中恒博瑞数字电力科技有限公司 变压器监测数据异常值检测与清洗的方法及装置
CN112699113A (zh) * 2021-01-12 2021-04-23 上海交通大学 时序数据流驱动的工业制造流程运行监测系统
CN112905845A (zh) * 2021-03-17 2021-06-04 重庆大学 离散智能制造应用的多源非结构化数据清洗方法
CN113377508B (zh) * 2021-05-28 2023-08-22 张燕 一种海量数据快速传输方法
CN113377508A (zh) * 2021-05-28 2021-09-10 张燕 一种海量数据快速传输方法
CN113410911A (zh) * 2021-08-02 2021-09-17 广东电网有限责任公司中山供电局 一种功率因数补偿装置的工作状态监测方法及系统
CN115131943A (zh) * 2022-07-07 2022-09-30 杭州申昊科技股份有限公司 一种基于深度学习的声光联动预警方法
CN115131943B (zh) * 2022-07-07 2023-10-31 杭州申昊科技股份有限公司 一种基于深度学习的声光联动预警方法
CN116150288A (zh) * 2023-04-17 2023-05-23 山东工程职业技术大学 一种基于计算机的网络数据分析处理系统

Also Published As

Publication number Publication date
WO2016101690A1 (zh) 2016-06-30
CN104537034B (zh) 2017-11-10

Similar Documents

Publication Publication Date Title
CN104537034A (zh) 基于时间序列分析的输变电设备的状态监测数据清洗方法
CN104766175A (zh) 一种基于时间序列分析的电力系统异常数据辨识与修正方法
US20160369777A1 (en) System and method for detecting anomaly conditions of sensor attached devices
CN106155985B (zh) 一种基于相邻数据特征的数据缺失填充方法
RU2557771C1 (ru) Способ технического контроля и диагностирования бортовых систем беспилотного летательного аппарата с поддержкой принятия решений и комплекс контрольно-проверочной аппаратуры с интеллектуальной системой поддержки принятия решений для его осуществления
CN106709651B (zh) 一种基于风险理论的电力系统安全性评估系统
EP1630635A2 (en) Method and apparatus for improved fault detection in power generation equipment
CN111796233B (zh) 双母线接线形式下多台电压互感器继发性误差的评估方法
CN111814342B (zh) 一种复杂设备可靠性混合模型及其构建方法
CN110378042A (zh) 基于scada数据的风电机组齿轮箱油温异常检测方法及系统
CN111624986A (zh) 基于案例库的故障诊断方法和系统
CN103593707A (zh) 一种配电网可靠性评估的方法和装置
CN103761183A (zh) 考虑fde和fce的基于isq的软件可靠性增长模型的建立方法
CN106960069A (zh) 一种具有自学习功能的贝叶斯网络平台
CN112379325A (zh) 一种用于智能电表的故障诊断方法及系统
CN104181912A (zh) 一种车辆诊断仪对车辆故障码的自适应翻译方法
CN103678886A (zh) 一种基于地面测试数据的卫星贝叶斯网络健康确定方法
CN103529337B (zh) 设备故障与电气量信息间非线性相关关系的识别方法
CN117237678B (zh) 用电行为异常检测方法、装置、设备及存储介质
CN108459920A (zh) 一种试验数据野值的辨识与修正方法
CN109472509B (zh) 一种高压直流输电系统可靠性区间评估方法
CN106646106A (zh) 基于变点探测技术的电网故障检测方法
CN105404973A (zh) 输变电设备状态预测方法和系统
CN106066415A (zh) 用于检测供电网络中的欺诈的方法
CN115392056A (zh) 一种高压架空输电线路运行状态监测及预警方法及装置

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant