CN112527788B - 变压器监测数据异常值检测与清洗的方法及装置 - Google Patents
变压器监测数据异常值检测与清洗的方法及装置 Download PDFInfo
- Publication number
- CN112527788B CN112527788B CN202011513385.3A CN202011513385A CN112527788B CN 112527788 B CN112527788 B CN 112527788B CN 202011513385 A CN202011513385 A CN 202011513385A CN 112527788 B CN112527788 B CN 112527788B
- Authority
- CN
- China
- Prior art keywords
- data
- sequence
- abnormal
- time
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 74
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000004140 cleaning Methods 0.000 title claims abstract description 23
- 238000001514 detection method Methods 0.000 claims abstract description 23
- 230000005856 abnormality Effects 0.000 claims abstract description 19
- 230000008859 change Effects 0.000 claims abstract description 10
- 238000005065 mining Methods 0.000 claims abstract description 10
- 238000012512 characterization method Methods 0.000 claims abstract description 7
- 241001123248 Arma Species 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000003064 k means clustering Methods 0.000 claims description 7
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000000737 periodic effect Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 abstract description 9
- 238000003745 diagnosis Methods 0.000 abstract description 8
- 238000011156 evaluation Methods 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- HYBBIBNJHNGZAN-UHFFFAOYSA-N furfural Chemical compound O=CC1=CC=CO1 HYBBIBNJHNGZAN-UHFFFAOYSA-N 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000035772 mutation Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000004804 winding Methods 0.000 description 2
- 238000012300 Sequence Analysis Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012098 association analyses Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229960004594 fominoben Drugs 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013450 outlier detection Methods 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2474—Sequence data queries, e.g. querying versioned data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/06—Electricity, gas or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
- G06F2216/03—Data mining
Abstract
变压器监测数据异常值检测与清洗的方法及装置,能够完成在线监测数据异常检测,完成修正噪声点填补缺失值的清洗工作,排除外界噪声值或突变值对后续变压器状态评估和故障诊断的影响,提高准确率,实现对后期时间序列数据预测分析,及时发现趋势异常,在数据异常检测中有较高使用价值。方法包括:(1)对在线监测数据的多元时间序列进行关联度挖掘,提取出关联性强的序列为后续多元序列异常数据监测提供依据;(2)建立异常数据检测模型;(3)在线监测数据时间序列表征;(4)基于时间序列数据填充模型;(5)基于时间序列数据预测。
Description
技术领域
本发明涉及电力系统的技术领域,尤其涉及一种变压器监测数据异常值检测与清洗的方法,以及一种变压器监测数据异常值检测与清洗的装置。
背景技术
近年来,电力系统是否能安全稳定运行等问题引起用户广泛关注,电力公司不断推进智能电网建设,逐步扩大变压器实时监测的广度与深度,利用传感器装置不间断地测量反映设备运行状态的关键特征参量。针对变压器的状态监测手段在国内外已有较多的研究,主要包括变压器的绕组温度、顶层油温、局部放电、油中气体含量分析(DGA)等。然而数据的质量不高会影响状态评估时准确率,因此诊断分析之前,进行异常数据检测与清洗十分必要。
现阶段针对变压器的油中溶解气体分析、基于频率响应的绕组状态监测以及基于油中糠醛、纸聚合度等单一系统的设备信息异常数据的检测,通过设定阈值进行分析,方法简单但准确率不高。
聚类方法作为大数据中的一项成熟技术,通过将聚类方法与神经网络、滑动窗口、层次分析法、支持向量机等方法结合,实现参数优化或样本转换,有许多用于变压器检测的程序。但是,分离的噪声数据会被直接删除,这会破坏状态数据的连续性。上述研究导致数据清理过程中的数据丢失,这不利于后续状态评估。近年来,国内外研究人员也将ARMA时间序列模型引入电力应用,主要应用于电路故障诊断及阶段故障率预测、发电量预测、电力负荷预测,通过ARMA时间序列分析模型将去除的噪声数据补足以提高状态评估时的准确性。总的来说,应用在负荷预测中较多,但在状态监测方面很少,由于时间序列能够表征状态监测的数据流,将成为状态监测中大数据技术的一个发展趋势。
发明内容
为克服现有技术的缺陷,本发明要解决的技术问题是提供了一种变压器监测数据异常值检测与清洗的方法,其能够完成在线监测数据异常检测,完成修正噪声点填补缺失值的清洗工作,排除外界噪声值或突变值对后续变压器状态评估和故障诊断的影响,提高准确率,实现对后期时间序列数据预测分析,及时发现趋势异常,在数据异常检测中有较高使用价值。
本发明的技术方案是:这种变压器监测数据异常值检测与清洗的方法,其包括以下步骤:
(1)对在线监测数据的多元时间序列进行关联度挖掘,提取出关联性强的序列为后续多元序列异常数据监测提供依据;
(2)建立异常数据检测模型,利用基于K-means聚类方法的数据异常识别及分类,对正常的历史运行数据进行聚类得到聚类中心,然后计算新输入的数据到聚类中心的距离是否超过阈值,从而判断数据是否异常;
(3)在线监测数据时间序列表征;
(4)基于时间序列数据填充模型;
(5)基于时间序列数据预测,通过ARMA模型拟合弥补,提前预测数据趋势异常;得到数据的初始拟合结果,在观测时间点序列发生了趋势的改变的时候,定性地判断变压器的内部出现劣化。
本发明通过对在线监测数据的多元时间序列进行关联度挖掘,提取出关联性强的序列为后续多元序列异常数据监测提供依据,建立异常数据检测模型,在线监测数据时间序列表征,基于时间序列数据填充模型,基于时间序列数据预测,因此能够完成在线监测数据异常检测,完成修正噪声点填补缺失值的清洗工作,排除外界噪声值或突变值对后续变压器状态评估和故障诊断的影响,提高准确率,实现对后期时间序列数据预测分析,及时发现趋势异常,在数据异常检测中有较高使用价值。
还提供了一种变压器监测数据异常值检测与清洗的装置,其包括:
提取模块,其对在线监测数据的多元时间序列进行关联度挖掘,提取出关联性强的序列为后续多元序列异常数据监测提供依据;
构建模块,其建立异常数据检测模型,利用基于K-means聚类方法的数据异常识别及分类,对正常的历史运行数据进行聚类得到聚类中心,然后计算新输入的数据到聚类中心的距离是否超过阈值,从而判断数据是否异常;
监测模块,其在线监测数据时间序列表征;
填充模块,其基于时间序列数据填充模型;
预测模块,其基于时间序列数据预测,通过ARMA模型拟合弥补,提前预测数据趋势异常;得到数据的初始拟合结果,在观测时间点序列发生了趋势的改变的时候,定性地判断变压器的内部出现劣化。
附图说明
图1是根据本发明的变压器监测数据异常值检测与清洗的方法的流程图。
具体实施方式
如图1所示,这种变压器监测数据异常值检测与清洗的方法,其包括以下步骤:
(1)对在线监测数据的多元时间序列进行关联度挖掘,提取出关联性强的序列为后续多元序列异常数据监测提供依据;
(2)建立异常数据检测模型,利用基于K-means聚类方法的数据异常识别及分类,对正常的历史运行数据进行聚类得到聚类中心,然后计算新输入的数据到聚类中心的距离是否超过阈值,从而判断数据是否异常;
(3)在线监测数据时间序列表征;
(4)基于时间序列数据填充模型;
(5)基于时间序列数据预测,通过ARMA模型拟合弥补,提前预测数据趋势异常;得到数据的初始拟合结果,在观测时间点序列发生了趋势的改变的时候,定性地判断变压器的内部出现劣化。
本发明通过对在线监测数据的多元时间序列进行关联度挖掘,提取出关联性强的序列为后续多元序列异常数据监测提供依据,建立异常数据检测模型,在线监测数据时间序列表征,基于时间序列数据填充模型,基于时间序列数据预测,因此能够完成在线监测数据异常检测,完成修正噪声点填补缺失值的清洗工作,排除外界噪声值或突变值对后续变压器状态评估和故障诊断的影响,提高准确率,实现对后期时间序列数据预测分析,及时发现趋势异常,在数据异常检测中有较高使用价值。
优选地,所述步骤(1)包括以下分步骤:
(1.1)确定分析的序列矩阵,y0表示母序列,x1,x2,x3,…xi表示子序列,构成i+1个序列的矩阵:(y0,x1,x2,x3,…,xi);
(1.2)对变量序列进行无量纲化,根据公式(1)无量纲化,得到新的无量纲化矩阵:(y′0,x′1,x′2,x′3,…,x′i)
(1.3)求灰色关联系数
式中:|x0(k)-xi(k)|指k时刻Xi与X0的绝对差,min|x0(k)-xi(k)|为极小差,max|x0(k)+xi(k)|为极大差,ρ为分辨系数;
(1.4)计算关联度,求各个时刻关联系数的平均值,将其集中为一个值作为关联度
式中γ(x0,xi)为x0与xi的灰色关联度,
γ0i(k)为上一步计算出的关联系数;
(1.5)灰色关联度排序,将比较序列对同一参考序列的关联度,按降序排列组成关联序。
优选地,所述步骤(1.3)中,ρ=0.5。
优选地,所述步骤(1.5)中,将不同的在线监测参数作为参考序列,而其余参数作为比较序列,与参考序列关联度较大的序列作为异常数据检测时多元序列的参考。
优选地,所述步骤(2)中,
将在线监测数据X的样本分成K类,聚类中心为C={c1,c2,…cj,…,ck},样本xi与cj的距离用dij(xi,cj)表示,目标函数J是X中dij(xi,cj)的总和,由下式计算
目标函数J的值与聚类效果关系呈现负相关关系,当J越小该聚类效果越好,因此当J到达最小值时,为最优聚类方案;xi与其相应cj间的相似性指标选择欧氏距离,则目标函数可以定义为:
是属于簇j的样本,nj是簇j的样本数量,通过寻找最佳中心cj使J为最小值来确定聚类中心,
这时聚类中心为:
优选地,所述步骤(2)包括以下分步骤:
(2.1)收集变压器大量正常运行的在线监测数据的历史数据,使用K-means方法对其分析,并获得最优聚类中心与聚类结果;
(2.2)针对新数据,计算与聚类中心的距离,并与阈值R相对比;
(2.3)若数据不属于任何一个聚类中心,则数据处于异常状态,若属于某一个聚类中心,则将数据加入历史数据中计算新的最优聚类中心以及聚类结果;
(2.4)根据前两步的输出结果,比较异常数据点邻近的其他时刻数据点是否为异常点。
优选地,所述步骤(3)数据时间序列包括:
平稳时间序列:随着时间的变化,状态变量并不随之变化,波动幅度随时间变化:随着时间变化,状态变量的方差发生变化;
非平稳时间序列:有两种,趋势性时间序列,表现为监测变量随着时间的变化呈现出变动趋向,特点是持续性、长期性出现较缓慢的上下;
周期性时间序列,表现为监测变量随着季节或者其他周期的交替出现高峰与低谷,周期内的时间序列有相似的特征。
优选地,所述步骤(4)中,
自回归滑动平均模型ARMA来分析研究时间序列,对于一个时间序列{x1,x2……xn……}它的表达式如下
式中:xt是当前值,μ是常数项,p和q是模型阶数,φi和θi是模型参数,{εt}是白噪声序列
当q=0时,则是自回归AR(p)模型
xt=μ+φ1xt-1+φ2xt-2+……+φpxt-p+εt (9)
当p=0时,则变成了移动平均MA(q)模型
xt=μ+εt-θ1εt-1-……-θqεt-q (10)
ARMA模型通过分析有序数据本身的一个规律来进行短期的预测,通过训练建立ARMA模型,得到短期的预测数据;首先,判断原始数据是否平稳,接着进行模型识别,根据序列的自相关系数和偏自相关系数的两个性质拖尾性和截尾性,及各自的图像,选择适宜模型;
确定模型阶数之后,通过最小二乘估计法估计参数,充实使用序列值,此时记
a=(μ,φ1,φ2,……,φp,θ1,θ2,……,θq)T (11)
计算残差:
εt=xt-Ft(a) (13)
计算残差平方和:
使式(14)中的L(a)为最小时的a为参数的估计值,
接下来选用最小信息量准则AIC来进行模型优化
AIC=nlnL+2(p+q+2)
(15)
选取多个模型的AIC值最小的模型。
本领域普通技术人员可以理解,实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,包括上述实施例方法的各步骤,而所述的存储介质可以是:ROM/RAM、磁碟、光盘、存储卡等。因此,与本发明的方法相对应的,本发明还同时包括一种变压器监测数据异常值检测与清洗的装置,该装置通常以与方法各步骤相对应的功能模块的形式表示。该装置包括:
提取模块,其对在线监测数据的多元时间序列进行关联度挖掘,提取出关联性强的序列为后续多元序列异常数据监测提供依据;
构建模块,其建立异常数据检测模型,利用基于K-means聚类方法的数据异常识别及分类,对正常的历史运行数据进行聚类得到聚类中心,然后计算新输入的数据到聚类中心的距离是否超过阈值,从而判断数据是否异常;
监测模块,其在线监测数据时间序列表征;
填充模块,其基于时间序列数据填充模型;
预测模块,其基于时间序列数据预测,通过ARMA模型拟合弥补,提前预测数据趋势异常;得到数据的初始拟合结果,在观测时间点序列发生了趋势的改变的时候,定性地判断变压器的内部出现劣化。
以下更具体地说明本发明。
如图1所示,本发明包括以下步骤:
S1:多元时间序列关联挖掘;
S2:异常数据检测;
S3:在线监测数据时间序列表征;
S4:使用时间序列ARMA模型进行数据填充;
S5:基于时间序列数据预测。
步骤S1,多元时间序列关联挖掘,主要步骤如下
1)确定分析的序列矩阵
y0表示母序列,x1,x2,x3,…xi表示子序列,构成i+1个序列的矩阵:(y0,x1,x2,x3,…,xi)。
2)对变量序列进行无量纲化
由于在线监测数据属性差异不同,导致度量标准也亦不同,会对最后的结论造成一定的影响。因此根据公式无量纲化,得到新的无量纲化矩阵:(y′0,x′1,x′2,x′3,…,x′i)。
3)求灰色关联系数
式中:|x0(k)-xi(k)|指k时刻Xi与X0的绝对差,min|x0(k)-xi(k)|为极小差,max|x0(k)+xi(k)|为极大差,ρ为分辨系数。
其中ρ值对关联系数的影响很大,根据因素间的关联分析可以选择不同的分辨系数,一般取ρ=0.5可以得到满意的分辨率。
4)计算关联度
求各个时刻关联系数的平均值,将其集中为一个值即关联度。
5)灰色关联度排序
将比较序列对同一参考序列的关联度,按降序排列组成关联
步骤S2,异常数据检测模型,具体步骤如下:
1)收集变压器大量正常运行的在线监测数据的历史数据,使用K-means方法对其分析,并获得最优聚类中心与聚类结果;
2)针对新数据,计算与聚类中心的距离,并与阈值R相对比;
3)若数据不属于任何一个聚类中心,则数据处于异常状态,若属于某一个聚类中心,则将数据加入历史数据中计算新的最优聚类中心以及聚类结果。
4)根据前两步的输出结果,比较异常数据点邻近的其他时刻数据点是否为异常点。
步骤S3,在线监测数据时间序列表征:
由影响因素发生作用的大小和方向变化不同,可将时间序列分为以下几类。
1)平稳时间序列:随着时间的变化,状态变量并不随之变化。波动幅度随时间变化:随着时间变化,状态变量的方差发生变化。
2)非平稳时间序列:有两种,趋势性时间序列,表现为监测变量随着时间的变化呈现出变动趋向,特点是持续性、长期性出现较缓慢的上下。
3)周期性时间序列,表现为监测变量随着季节或者其他周期的交替出现高峰与低谷,周期内的时间序列有相似的特征。
步骤S4,引入时间序列ARMA模型进行数据填充
首先,判断原始数据是否平稳,接着进行模型识别,根据序列的自相关系数和偏自相关系数的两个性质拖尾性和截尾性,及各自的图像,选择适宜模型。
确定模型阶数之后,通过最小二乘估计法估计参数,能充实使用序列值精度较高。此时记
a=(μ,φ1,φ2,……,φp,θ1,θ2,……,θq)T
Ft(a)=μ+φ1xt-1+φ2xt-2+……+φpxt-p-θ1εt-1-……-θqεt-q
计算残差:
εt=xt-Ft(a)
计算残差平方和:
使式中的L(a)为最小时的a即为参数的估计值。
接下来选用最小信息量准则(Akaike Information Cri-terion,AIC)来进行模型优化
AIC=nlnL+2(p+q+2)
选取多个模型的AIC值最小的模型。完成数据预测,利用预测值填充缺失值和去除噪声后的空白值
步骤S5,基于时间序列数据预测
上述内容对数据完成了聚类分析,查找出异常数据并完成了清洗与补充完善,但是该方法不能提前发现趋势变化。此时可通过ARMA模型拟合弥补,提前预测数据趋势异常及时采取措施。得到数据的初始拟合结果,在观测时间点序列发生了趋势的改变的时候,可以定性地判断变压器的内部出现劣化。在此情况下可及时安排变压器状态检修与诊断,避免出现严重故障。
本发明的有益效果在于:
(1)本发明针对在线监测数据中异常值特点,提出基于灰色关联度和K-means聚类算法对变压器在线监测数据异常检测。可表征关联度高的相关序列,并快速及时完成在线监测数据异常检测并分类,并利用时间序列预测方法完成噪声清洗,祛除外界噪声值或突变值的影响,提高告警准确率,解决了传统阈值判定方法误判情况。但存在一定局限性,如聚类算法对如何选取参数、聚类个数k均没有合适的方法,需要基于训练数据进行参数优化。
(2)利用时间序列预测方法针对异常数据中的噪声点,进一步进行补充优化,为后续预测数据趋势打下基础,解决了因数据噪声点引起的数据预测失误问题,提高后续状态诊断的准确率。
以上所述,仅是本发明的较佳实施例,并非对本发明作任何形式上的限制,凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属本发明技术方案的保护范围。
Claims (7)
1.变压器监测数据异常值检测与清洗的方法,其特征在于:其包括以下步骤:
(1)对在线监测数据的多元时间序列进行关联度挖掘,提取出关联性强的序列为后续多元序列异常数据监测提供依据;
(2)建立异常数据检测模型,利用基于K-means聚类方法的数据异常识别及分类,对正常的历史运行数据进行聚类得到聚类中心,然后计算新输入的数据到聚类中心的距离是否超过阈值,从而判断数据是否异常;
(3)在线监测数据时间序列表征;
(4)基于时间序列数据填充模型;
(5)基于时间序列数据预测,通过ARMA模型拟合弥补,提前预测数据趋势异常;得到数据的初始拟合结果,在观测时间点序列发生了趋势的改变的时候,定性地判断变压器的内部出现劣化;
所述步骤(1)包括以下分步骤:
(1.1)确定分析的序列矩阵,y0表示母序列,x1,x2,x3,…xi表示子序列,构成i+1个序列的矩阵:(y0,x1,x2,x3,…,xi);
(1.2)对变量序列进行无量纲化,根据公式(1)无量纲化,得到新的无量纲化矩阵:(y′0,x′1,x′2,x′3,…,x′i)
(1.3)求灰色关联系数
式中:|x0(k)-xi(k)|指k时刻Xi与X0的绝对差,min|x0(k)-xi(k)|为极小差,max|x0(k)+xi(k)|为极大差,ρ为分辨系数;
(1.4)计算关联度,求各个时刻关联系数的平均值,将其集中为一个值作为关联度
其中γ(x0,xi)为x0与xi的灰色关联度,
γ0i(k)为上一步计算出的关联系数;
(1.5)灰色关联度排序,将比较序列对同一参考序列的关联度,按降序排列组成关联序;
所述步骤(2)包括以下分步骤:
(2.1)收集变压器大量正常运行的在线监测数据的历史数据,使用K-means方法对其分析,并获得最优聚类中心与聚类结果;
(2.2)针对新数据,计算与聚类中心的距离,并与阈值R相对比;
(2.3)若数据不属于任何一个聚类中心,则数据处于异常状态,若属于某一个聚类中心,则将数据加入历史数据中计算新的最优聚类中心以及聚类结果;
根据前两步的输出结果,比较异常数据点邻近的其他时刻数据点是否为异常点。
2.根据权利要求1所述的变压器监测数据异常值检测与清洗的方法,其特征在于:所述步骤(1.3)中,ρ=0.5。
3.根据权利要求2所述的变压器监测数据异常值检测与清洗的方法,其特征在于:所述步骤(1.5)中,将不同的在线监测参数作为参考序列,而其余参数作为比较序列,与参考序列关联度较大的序列作为异常数据检测时多元序列的参考。
4.根据权利要求3所述的变压器监测数据异常值检测与清洗的方法,其特征在于:所述步骤(2)中,
将在线监测数据X的样本分成K类,聚类中心为C=
{c1,c2,…cj,…,ck},样本xi与cj的距离用dij(xi,cj)表示,目标函数J是X中dij(xi,cj)的总和,由下式计算
目标函数J的值与聚类效果关系呈现负相关关系,当J越小该聚类效果越好,因此当J到达最小值时,为最优聚类方案;xi与其相应cj间的相似性指标选择欧氏距离,则目标函数可以定义为:
是属于簇j的样本,nj是簇j的样本数量,通过寻找最佳中心cj使J为最小值来确定聚类中心,
这时聚类中心为:
5.根据权利要求4所述的变压器监测数据异常值检测与清洗的方法,其特征在于:所述步骤(3)数据时间序列包括:
平稳时间序列:随着时间的变化,状态变量并不随之变化,波动幅度随时间变化:随着时间变化,状态变量的方差发生变化;
非平稳时间序列:有两种,趋势性时间序列,表现为监测变量随着时间的变化呈现出变动趋向,特点是持续性、长期性出现较缓慢的上下;
周期性时间序列,表现为监测变量随着季节或者其他周期的交替出现高峰与低谷,周期内的时间序列有相似的特征。
6.根据权利要求5所述的变压器监测数据异常值检测与清洗的方法,其特征在于:所述步骤(4)中,
自回归滑动平均模型ARMA来分析研究时间序列,对于一个时间序列{x1,x2……xn……}它的表达式如下
式中:xt是当前值,μ是常数项,p和q是模型阶数,φi和θi是模型参数,{εt}是白噪声序列
当q=0时,则是自回归AR(p)模型
xt=μ+φ1xt-1+φ2xt-2+……+φpxt-p+εt (9)
当p=0时,则变成了移动平均MA(q)模型
xt=μ+εt-θ1εt-1-……-θqεt-q (10)
ARMA模型通过分析有序数据本身的一个规律来进行短期的预测,通过训练建立ARMA模型,得到短期的预测数据;首先,判断原始数据是否平稳,接着进行模型识别,根据序列的自相关系数和偏自相关系数的两个性质拖尾性和截尾性,及各自的图像,选择适宜模型;
确定模型阶数之后,通过最小二乘估计法估计参数,充实使用序列值,此时记
a=(μ,φ1,φ2,……,φp,θ1,θ2,……,θq)T (11)
计算残差:
εt=xt-Ft(a) (13)
计算残差平方和:
使式(14)中的L(a)为最小时的a为参数的估计值,
接下来选用最小信息量准则AIC来进行模型优化
AIC=n ln L+2(p+q+2) (15)
选取多个模型的AIC值最小的模型。
7.变压器监测数据异常值检测与清洗的装置,其特征在于:该装置包括:
提取模块,其对在线监测数据的多元时间序列进行关联度挖掘,提取出关联性强的序列为后续多元序列异常数据监测提供依据;
构建模块,其建立异常数据检测模型,利用基于K-means聚类方法的数据异常识别及分类,对正常的历史运行数据进行聚类得到聚类中心,然后计算新输入的数据到聚类中心的距离是否超过阈值,从而判断数据是否异常;
监测模块,其在线监测数据时间序列表征;
填充模块,其基于时间序列数据填充模型;
预测模块,其基于时间序列数据预测,通过ARMA模型拟合弥补,提前预测数据趋势异常;得到数据的初始拟合结果,在观测时间点序列发生了趋势的改变的时候,定性地判断变压器的内部出现劣化;
所述提取模块执行以下分步骤:
(1.1)确定分析的序列矩阵,y0表示母序列,x1,x2,x3,…xi表示子序列,构成i+1个序列的矩阵:(y0,x1,x2,x3,…,xi);
(1.2)对变量序列进行无量纲化,根据公式(1)无量纲化,得到新的无量纲化矩阵:(y′0,x′1,x′2,x′3,…,x′i)
(1.3)求灰色关联系数
式中:|x0(k)-xi(k)|指k时刻Xi与X0的绝对差,min|x0(k)-xi(k)|为极小差,max|x0(k)+xi(k)|为极大差,ρ为分辨系数;
(1.4)计算关联度,求各个时刻关联系数的平均值,将其集中为一个值作为关联度
其中γ(x0,xi)为x0与xi的灰色关联度,
γ0i(k)为上一步计算出的关联系数;
(1.5)灰色关联度排序,将比较序列对同一参考序列的关联度,按降序排列组成关联序;
所述构建模块执行以下分步骤:
(2.1)收集变压器大量正常运行的在线监测数据的历史数据,使用K-means方法对其分析,并获得最优聚类中心与聚类结果;
(2.2)针对新数据,计算与聚类中心的距离,并与阈值R相对比;
(2.3)若数据不属于任何一个聚类中心,则数据处于异常状态,若属于某一个聚类中心,则将数据加入历史数据中计算新的最优聚类中心以及聚类结果;
根据前两步的输出结果,比较异常数据点邻近的其他时刻数据点是否为异常点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011513385.3A CN112527788B (zh) | 2020-12-17 | 2020-12-17 | 变压器监测数据异常值检测与清洗的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011513385.3A CN112527788B (zh) | 2020-12-17 | 2020-12-17 | 变压器监测数据异常值检测与清洗的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112527788A CN112527788A (zh) | 2021-03-19 |
CN112527788B true CN112527788B (zh) | 2024-04-30 |
Family
ID=75001806
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011513385.3A Active CN112527788B (zh) | 2020-12-17 | 2020-12-17 | 变压器监测数据异常值检测与清洗的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112527788B (zh) |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113077357B (zh) * | 2021-03-29 | 2023-11-28 | 国网湖南省电力有限公司 | 电力时序数据异常检测方法及其填补方法 |
CN113156917B (zh) * | 2021-04-10 | 2023-09-08 | 河北新大长远电力科技股份有限公司 | 基于人工智能的电网设备故障诊断方法及系统 |
CN113295266B (zh) * | 2021-05-07 | 2022-09-16 | 重庆川仪自动化股份有限公司 | 应力波传感器故障处理方法 |
CN113313144A (zh) * | 2021-05-08 | 2021-08-27 | 徐焕 | 一种基于大数据的电力变压器故障诊断系统及方法 |
CN113111056B (zh) * | 2021-05-08 | 2021-10-22 | 中国水利水电科学研究院 | 一种城市洪涝积水监测数据清洗方法 |
CN113297744B (zh) * | 2021-05-28 | 2023-11-07 | 国网浙江省电力有限公司营销服务中心 | 一种适用于误差监测计算的充电桩数据清洗方法及充电站 |
CN113435609B (zh) * | 2021-06-08 | 2022-11-22 | 国网河北省电力有限公司临漳县供电分公司 | 线损异常检测方法、装置及终端设备 |
CN113420816A (zh) * | 2021-06-24 | 2021-09-21 | 北京市生态环境监测中心 | 一种针对全光谱水质监测设备的数据异常值确定方法 |
CN113723486B (zh) * | 2021-08-23 | 2022-07-29 | 水利部交通运输部国家能源局南京水利科学研究院 | 一种离心泵多模态监测数据清洗及特征融合提取方法 |
CN113688125B (zh) * | 2021-08-24 | 2023-12-05 | 平安国际智慧城市科技股份有限公司 | 基于人工智能的异常值检测方法、装置、电子设备及介质 |
CN113961548B (zh) * | 2021-09-22 | 2022-03-25 | 航天宏康智能科技(北京)有限公司 | 用水量时序数据的异常值处理方法和异常值处理装置 |
CN114167314A (zh) * | 2021-10-12 | 2022-03-11 | 杭州柯林电气股份有限公司 | 变压器在线监测装置及故障检测方法 |
CN113640635B (zh) * | 2021-10-18 | 2022-02-08 | 广东电网有限责任公司惠州供电局 | 一种电力电缆绝缘状态在线监测方法 |
CN114385619B (zh) * | 2022-03-23 | 2022-07-15 | 山东省计算中心(国家超级计算济南中心) | 一种多通道海洋观测时序标量数据缺失值预测方法及系统 |
CN115099291B (zh) * | 2022-08-29 | 2022-11-11 | 同方德诚(山东)科技股份公司 | 一种建筑节能监测方法 |
CN115329908A (zh) * | 2022-10-14 | 2022-11-11 | 西安热工研究院有限公司 | 一种基于深度学习的电力变压器故障诊断方法 |
CN115496644B (zh) * | 2022-11-18 | 2023-09-26 | 南通万达能源动力科技有限公司 | 基于数据识别的固体废弃物处理设备监测方法 |
CN115825755B (zh) * | 2022-12-30 | 2023-09-19 | 哈尔滨昆宇新能源有限公司 | 一种储能电池电芯电压一致性评估方法 |
CN115860579B (zh) * | 2023-02-27 | 2023-05-09 | 山东金利康面粉有限公司 | 一种用于面粉加工的生产质量监测系统 |
CN116090939B (zh) * | 2023-04-12 | 2023-06-23 | 山东民生集团有限公司 | 基于人工智能的供应链内问题产品识别跟踪方法 |
CN116165353B (zh) * | 2023-04-26 | 2023-07-25 | 江西拓荒者科技有限公司 | 一种工业污染物监测数据处理方法及系统 |
CN116243675B (zh) * | 2023-05-08 | 2023-07-21 | 北京众驰伟业科技发展有限公司 | 一种血凝仪清洗液生产异常监控方法 |
CN116343953B (zh) * | 2023-05-30 | 2023-08-01 | 苏州绿华科技有限公司 | 基于人工智能的智慧社区管理系统 |
CN116662864B (zh) * | 2023-06-14 | 2024-04-23 | 同济大学 | 一种面向在线水质、水动力监测数据的滚动数据清洗方法 |
CN116662933B (zh) * | 2023-07-26 | 2023-10-13 | 北京安图生物工程有限公司 | 一种检测试剂盒质量检测数据处理方法 |
CN116702080B (zh) * | 2023-08-04 | 2023-10-24 | 山东荣信集团有限公司 | 一种基于多维传感器的煤气制甲醇过程在线监测系统 |
CN116994416B (zh) * | 2023-09-26 | 2023-12-08 | 无锡市明通动力工业有限公司 | 基于人工智能的风机运行故障预警方法及系统 |
CN117308275B (zh) * | 2023-11-28 | 2024-02-06 | 江苏嘉尚环保科技有限公司 | 一种基于温差的管路连接异常检测方法及系统 |
CN117499817B (zh) * | 2024-01-02 | 2024-03-19 | 龙城明琦科技(常州)有限公司 | 一种分布式电表采集系统及采集方法 |
CN117633695A (zh) * | 2024-01-24 | 2024-03-01 | 西电济南变压器股份有限公司 | 一种基于电参数时序分析的变压器运行监测方法 |
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103091345A (zh) * | 2013-01-15 | 2013-05-08 | 湖南省电力公司检修公司 | 基于核磁共振技术的变压器油老化状态参数的检测方法 |
CN103543403A (zh) * | 2013-09-02 | 2014-01-29 | 国家电网公司 | 电力系统机组一次调频能力检测方法 |
CN103872782A (zh) * | 2014-03-31 | 2014-06-18 | 国家电网公司 | 一种电能质量数据综合服务系统 |
CN104537034A (zh) * | 2014-12-22 | 2015-04-22 | 国家电网公司 | 基于时间序列分析的输变电设备的状态监测数据清洗方法 |
CN105574669A (zh) * | 2015-12-16 | 2016-05-11 | 国网山东省电力公司电力科学研究院 | 时空联合数据聚类分析的输变电设备状态异常检测方法 |
CN107092582A (zh) * | 2017-03-31 | 2017-08-25 | 江苏方天电力技术有限公司 | 一种基于残差后验的异常值在线检测及置信度评估方法 |
CN107958354A (zh) * | 2018-01-08 | 2018-04-24 | 国网能源研究院有限公司 | 一种电网层设备利用率主要影响因素的分析方法 |
CN108593990A (zh) * | 2018-06-04 | 2018-09-28 | 国网天津市电力公司 | 一种基于电能用户用电行为模式的窃电检测方法和应用 |
CN110020747A (zh) * | 2019-03-14 | 2019-07-16 | 华中科技大学 | 一种负荷释放特性的影响因素分析方法 |
CN110084326A (zh) * | 2019-05-13 | 2019-08-02 | 东北大学 | 一种基于模糊集的工业设备异常检测方法 |
CN110188095A (zh) * | 2019-06-03 | 2019-08-30 | 东北电力大学 | 一种基于关联规则的电网设备数据流清洗方法 |
CN110264112A (zh) * | 2019-07-17 | 2019-09-20 | 国网河南省电力公司开封供电公司 | 基于双向加权灰色关联的配电网可靠性影响因素分析方法 |
CN110687366A (zh) * | 2018-07-06 | 2020-01-14 | 施耐德电气美国股份有限公司 | 用于管理电气系统中的电压时间报警的系统和方法 |
CN111522804A (zh) * | 2020-04-15 | 2020-08-11 | 国网江苏省电力有限公司 | 一种变压器设备状态监测异常数据清洗方法 |
CN111562036A (zh) * | 2020-05-14 | 2020-08-21 | 广东电网有限责任公司 | 一种变压器油温表在线校验方法 |
CN111694879A (zh) * | 2020-05-22 | 2020-09-22 | 北京科技大学 | 一种多元时间序列异常模式预测方法及数据采集监控装置 |
CN111830347A (zh) * | 2020-07-17 | 2020-10-27 | 四川大学 | 一种基于事件的两阶段非侵入式负荷监测方法 |
CN111861211A (zh) * | 2020-07-20 | 2020-10-30 | 国网信通亿力科技有限责任公司 | 一种具有双层反窃电模型的系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7636233B2 (en) * | 2005-08-12 | 2009-12-22 | Commonwealth Edison Co. | Multi-compartmental transformer and methods of maintenance therefor |
JP7161102B2 (ja) * | 2018-10-03 | 2022-10-26 | ミツミ電機株式会社 | スイッチング電源装置 |
-
2020
- 2020-12-17 CN CN202011513385.3A patent/CN112527788B/zh active Active
Patent Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103091345A (zh) * | 2013-01-15 | 2013-05-08 | 湖南省电力公司检修公司 | 基于核磁共振技术的变压器油老化状态参数的检测方法 |
CN103543403A (zh) * | 2013-09-02 | 2014-01-29 | 国家电网公司 | 电力系统机组一次调频能力检测方法 |
CN103872782A (zh) * | 2014-03-31 | 2014-06-18 | 国家电网公司 | 一种电能质量数据综合服务系统 |
CN104537034A (zh) * | 2014-12-22 | 2015-04-22 | 国家电网公司 | 基于时间序列分析的输变电设备的状态监测数据清洗方法 |
CN105574669A (zh) * | 2015-12-16 | 2016-05-11 | 国网山东省电力公司电力科学研究院 | 时空联合数据聚类分析的输变电设备状态异常检测方法 |
CN107092582A (zh) * | 2017-03-31 | 2017-08-25 | 江苏方天电力技术有限公司 | 一种基于残差后验的异常值在线检测及置信度评估方法 |
CN107958354A (zh) * | 2018-01-08 | 2018-04-24 | 国网能源研究院有限公司 | 一种电网层设备利用率主要影响因素的分析方法 |
CN108593990A (zh) * | 2018-06-04 | 2018-09-28 | 国网天津市电力公司 | 一种基于电能用户用电行为模式的窃电检测方法和应用 |
CN110687366A (zh) * | 2018-07-06 | 2020-01-14 | 施耐德电气美国股份有限公司 | 用于管理电气系统中的电压时间报警的系统和方法 |
CN110020747A (zh) * | 2019-03-14 | 2019-07-16 | 华中科技大学 | 一种负荷释放特性的影响因素分析方法 |
CN110084326A (zh) * | 2019-05-13 | 2019-08-02 | 东北大学 | 一种基于模糊集的工业设备异常检测方法 |
CN110188095A (zh) * | 2019-06-03 | 2019-08-30 | 东北电力大学 | 一种基于关联规则的电网设备数据流清洗方法 |
CN110264112A (zh) * | 2019-07-17 | 2019-09-20 | 国网河南省电力公司开封供电公司 | 基于双向加权灰色关联的配电网可靠性影响因素分析方法 |
CN111522804A (zh) * | 2020-04-15 | 2020-08-11 | 国网江苏省电力有限公司 | 一种变压器设备状态监测异常数据清洗方法 |
CN111562036A (zh) * | 2020-05-14 | 2020-08-21 | 广东电网有限责任公司 | 一种变压器油温表在线校验方法 |
CN111694879A (zh) * | 2020-05-22 | 2020-09-22 | 北京科技大学 | 一种多元时间序列异常模式预测方法及数据采集监控装置 |
CN111830347A (zh) * | 2020-07-17 | 2020-10-27 | 四川大学 | 一种基于事件的两阶段非侵入式负荷监测方法 |
CN111861211A (zh) * | 2020-07-20 | 2020-10-30 | 国网信通亿力科技有限责任公司 | 一种具有双层反窃电模型的系统 |
Non-Patent Citations (3)
Title |
---|
基于灰色关联度的变压器故障诊断;张吉林;李守学;邹姗姗;;吉林电力;20150225(01);第17-19页 * |
基于量测大数据和数学形态学的配电网故障检测及定位方法研究;刘杰荣;张耀宇;关家华;何其淼;黄骏;马恒瑞;;智慧电力;20200120(01);第103-110页 * |
面向卫星电源系统的一种新颖异常检测方法;张怀峰;江婧;张香燕;皮德常;;宇航学报;20191230(12);第90-99页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112527788A (zh) | 2021-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112527788B (zh) | 变压器监测数据异常值检测与清洗的方法及装置 | |
CN110263846B (zh) | 基于故障数据深度挖掘及学习的故障诊断方法 | |
CN108805202B (zh) | 一种用于电解槽故障预警的机器学习方法及其应用 | |
CN111858231A (zh) | 一种基于运维监控的单指标异常检测方法 | |
Shi et al. | Improving power grid monitoring data quality: An efficient machine learning framework for missing data prediction | |
CN109675935A (zh) | 一种变控制限的ipca轧制过程在线故障诊断方法 | |
CN111913443A (zh) | 基于相似性的工业设备故障预警方法 | |
CN116335925B (zh) | 基于数据增强的煤矿井下乳化泵站智能调控系统 | |
CN114077876A (zh) | 一种带钢热连轧多模态过程监测方法及装置 | |
CN112529053A (zh) | 一种服务器中时序数据短期预测方法及系统 | |
CN115526258A (zh) | 基于Spearman相关系数特征提取的电力系统暂稳评估方法 | |
CN115307943A (zh) | 一种旋转机械设备多工况运行状态异常检测方法及系统 | |
EP3712728A1 (en) | Apparatus for predicting equipment damage | |
CN116610105B (zh) | 一种基于数据融合的轧机机械运行故障监测方法及系统 | |
CN113158448A (zh) | 一种船舶系统设备阈值的自适应计算方法 | |
CN113554229A (zh) | 三相电压不平衡异常检测方法及装置 | |
CN116213095B (zh) | 一种基于重介质分选的精煤产品灰分智能调节方法及系统 | |
CN115935285A (zh) | 基于掩码图神经网络模型的多元时间序列异常检测方法和系统 | |
CN111652393A (zh) | 基于大数据技术的电力设备异常预警方法 | |
CN111814325B (zh) | 燃煤发电装备非平稳运行的单变量报警阈值优化方法 | |
CN115423370A (zh) | 一种继电保护设备健康状态评估方法及装置 | |
KR102486463B1 (ko) | 열화에 따른 시계열 데이터를 이용한 실시간 이상 감지 방법 및 그를 위한 장치 | |
CN117475245B (zh) | 一种用于制备阻燃聚烯烃绝缘料的智能化生产方法及系统 | |
CN113158552B (zh) | 基于时间序列的生物反应器运行状况分级预测方法及系统 | |
CN110633874B (zh) | 一种变电站二次设备状态监测方法及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |