CN111079591B - 基于改进多尺度主成分分析的不良数据修复方法及系统 - Google Patents

Abstract

本发明涉及一种基于改进多尺度主成分分析的不良数据修复方法，首先利用小波包对原始数据进行多尺度分解，建立相应的主成分分析模型，利用小波包的能量差来分离不良数据；然后根据不良数据的时间相关性、空间相关性以及历史相关性估计不良数据的真实值。本发明提出的方法具有良好的数据辨识与修复的效果，修复的效果同时具有较高的效率和精度。

Description

基于改进多尺度主成分分析的不良数据修复方法及系统

技术领域

本发明属于电力数据处理领域，涉及一种不良数据的辨识与修复方法，特别是一种基于改进多尺度主成分分析的不良数据修复方法。

背景技术

随着AMI的逐渐普及，必然能够对地域广阔的电力系统实现动态监测和分析，监测到的电力数据必也将呈现爆炸式的增长，在数据的量上能满足监测和分析的要求，就数据的质量而言，是有待提高的。

在量测的数据中必然会含有不良数据，数据量越大，可能含有的不良数据越多。在量测装置实际的部署环境中，量测装置可能处于复杂的电磁环境，量测系统部署不够合理，冗余度较低，测量误差满足不了要求，通信环节发生不良，用户用电设备的偶然不良均可能使量测数据中产生不良数据。不良数据的存在对电网的安全稳定运行有消极的影响，程度较低时可能会让调度员做出错误判断，做出错误控制决策，影响严重时，可直接使保护和控制装置误动。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于改进多尺度主成分分析的不良数据修复方法。

本发明解决其技术问题是采取以下技术方案实现的：

一种基于改进多尺度主成分分析的不良数据修复方法，包括如下步骤：

步骤一，获取用电数据；

步骤二，对获取的用电数据进行去噪处理；

步骤三，对去躁处理后的数据进行小波包分解；

步骤四，对分解后的数据进行辨识，判断模型中用在主元子空间中分析的参数T²与用于剩余子空间中分析的参数Q是否在控制限内，将不在控制限内的不良数据分离出来；

步骤五，利用数据修复模型以及根据时间相关性和空间相关性计算出各组数据的相关系数，并估算出故障数据的真实值。

而且，对所述用电数据进行去噪处理采用基于图像的二维小波阈值去噪方法。

而且，所述基于图像的二维小波阈值去噪方法的步骤如下：

步骤1：选择n天每天的若干个采样点负荷数据作为数据样本，并把负荷数据样本形成n行若干列的二维数据集；

步骤2：对二维数据集进行归一化处理，形成二维灰度图像矩阵数据；

步骤3：选取合适的小波基对二维灰度图像矩阵内的二维图像信号进行多尺度小波分解，得到一组小波系数；

步骤4：确定噪声标准；

步骤5：对于分解的每层小波，确定其阈值：

步骤6：对得到的小波系数进行半软阈值函数处理，得到其估计系数，

步骤7：利用估计系数对二维灰度图像矩阵内的二维图像信号进行重构；

步骤8：对重构后的去噪信号进行反归一化，得到去噪后的电力数据。

而且，所述的噪声标准通过分解的高频系数的绝对值平均值来估计，其公式为

其中j＝1,2,...,M k＝1,2,...N_j，N_j为第j层分解后的高频系数个数；是{w_j,k}的平均值,w_j,k为小波系数。

而且，所述阈值的选择函数为：

其中，ρ_N,j＝σ_j ²N^1/2(lnN)^3/2，/>

j＝1,2,...,M，P_a,j为第j层小波系数绝对值的平均值，ρ_N,j为极小能量水平，σ_j为噪声标准，N为信号的长度。

而且，所述的估计系数为

其中，μ为加权因子。

而且，所述对去噪后的数据进行小波包分解的过程为：

步骤1：选取共轭正交滤波器；

步骤2：确定分解层数；

步骤3：根据每个序列的起始频率，计算出感兴趣的频率成分的位置；

步骤4：对去噪后的数据进行逐层小波包分解。

而且，所述对去噪后的数据进行小波包辨识过程为：

步骤1，利用小波包能量差的方法检测出能量差值相对较大的异常数据；

步骤2，检测出异常数据后对异常数据进行建模，建模利用历史正常数据来建立主元子空间和残差子空间，将待检数据投影到该空间内，计算用在主元子空间中分析的参数以及用于剩余子空间中分析的参数，所述用在主元子空间中分析的参数T²的模型为：其中/>λ_i＝1,...,k是矩阵D_λ前k个对角线元素。t＝P^Tx称为主得分向量，P为荷载矩阵，δ_T是T²控制(或置信)的极限；计算用于剩余子空间中分析的参数Q的模型为：/>其中δ_Q：为Q参数的控制极限，δ_T，δ_Q分别由T²，Q的数据抽样分布中获得；

步骤3，通过判断该两个参数T²、Q是否在控制限来辨识出不良数据。

而且，所述对辨识出的不良数据进行修复的过程为：

步骤1，利用时间相关性计算出正常数据与待修复数据之间的相关系数；

步骤2，根据该相关系数值来判断其相关程度；

步骤3，选出相关系大于0.7的有效的正常数据；

步骤4，利用有效的正常数据根据数据时间相关性估计数据值。

一种基于改进多尺度主成分分析的不良数据修复系统，包括数据获取模块，用于获取用电数据；

数据去噪模块，用于对获取的用电数据进行去噪处理；

分解模块，用于对去噪后的数据进行小波包分解；

数据辨识模块，用于对分解后的数据进行辨识，判断模型中用在主元子空间中分析的参数T²与用于剩余子空间中分析的参数Q是否在控制限内，将不在控制限内的不良数据分离出来；

数据修复模块，用于利用数据修复模型以及根据时间相关性和空间相关性计算出各组数据的相关系数，并估算出故障数据的真实值。

本发明的优点和积极效果是：

本基于改进多尺度主成分分析的不良数据修复方法，采用二维小波去噪方法，不仅能实现对负荷的去噪处理，还能保持负荷在横纵方向上的变化趋势；利用小波包对原始数据进行多尺度分解，建立相应的主成分分析模型，利用小波能量差分离不良数据，该方法可以克服残差污染和残差淹没的现象，同时可以准确的识别出不良数据，辨识效率较高，将小波分解改为小波包分解，可以提高模型的分辨率；根据AMI数据的时间相关性，利用数据修复模型计算出计算值，能近似还原不良数据的真实值，同时具有较高的效率和精度。

附图说明

图1是本发明的流程图；

图2是本发明不良数据辨识流程图；

图3是本发明不良数据修复流程图。

具体实施方式

以下结合附图对本发明的实施例做进一步详述：

一种基于改进多尺度主成分分析的不良数据修复方法，其创新之处在于：包括如下步骤：

步骤一，对用电数据进行小波阈值去噪：针对用电的历史负荷数据存在噪音的影响，利用基于图像的二维小波阈值去噪方法进行去噪处理；

步骤二，对去噪后的数据进行小波包分解及辨识：利用小波包多尺度分解将每个变量一次分解成逼近系数和多个尺度的细节系数，并在各个尺度矩阵建立相应的主元分析模型，以模型统计量控制限为阈值，对小波系数重构得到综合主元分析模型，并将不良数据分离出来；

步骤三，对辨识出的不良数据进行修复：利用数据修复模型以及根据时间相关性和空间相关性计算出各组数据的相关系数，并估算出故障数据的真实值。

把用电数据按日期排列成二维数据集，其在横向上表示同一天的电力数据，有横向连续性，在纵向上相邻日期同一时刻点的电力数据，有纵向连续性；对其进行归一化处理，就可以得到一个所有元素的值均在0～1之间的矩阵。采用基于图像的二维小波去噪方法进行去噪处理，再反归一化得到去噪后的用电数据。

对用电数据进行小波阈值去噪的步骤如下：

步骤1：选择n天每天的96个采样点负荷数据作为数据样本，并把负荷数据样本形成n行96列的二维数据集；

步骤2：对二维数据集进行归一化处理，形成二维灰度图像矩阵数据；

步骤3：对二维图像信号进行多尺度小波分解，对原始的含噪图像信号f(k)选取合适的小波基，进行M层小波分解，得到一组小波系数w_j,k；

步骤4：确定噪声标准σ_j，σ_j通过分解的高频系数的绝对值平均值来估计：

N_j为第j层分解后的高频系数个数，/>是{w_j,k}的平均值；

步骤5：对于分解的每层小波，确定其阈值T：

统一阈值公式N为信号的长度，将第j层小波系数的绝对值从小到大排列，得到一个向量P＝[w_j,1,w_j,2,...,w_j,N]，使得w_j,1≤w_j,2≤...≤w_j,N由此计算第j层小波系数下的风险向量R＝[r₁,r₂,...,r_N]，其中/>

对风险向量中的各值进行排序，获得最小值，以该值为逼近误差，相对应地找出w_min，因此有第j层小波系数的自适应阈值为计算第j层小波系数绝对值的平均值P_a,j，及极小能量水平ρ_N,j。故阈值选择函数为：

其中，ρ_N,j＝σ_j ²N^1/2(lnN)^3/2；

步骤6：对w_j,k进行半软阈值函数处理，得到估计系数

其中，μ为加权因子；

步骤7：采用二维小波对图像信号进行重构：

利用进行小波重构，得到重构信号/>即为去噪后的信号；

步骤8：对重构后的去噪信号进行反归一化，得到去噪后的电力数据。

而且，所述对去噪后的数据进行小波包分解的过程为：

步骤1：选取共轭正交滤波器h_k，令g_k＝(-1)^k-1h_1-k；

步骤2：确定分解层数L，L>0，如果原始信号f(i)长度为2^N，采样频率为f_s，则分解层数L应小于N，第L层每个序列的带宽为f_s/2^L+1，起始频率为f_n＝(n-1)f_s/2^L+1；

步骤3：根据先验知识和每个序列的起始频率，计算出感兴趣的频率成分位于第L层的某几个频段内,记为{p₁,p₂,...,p_m}；

步骤4：对数据进行逐层小波包分解：分解第l层时可得到位于不同频段的2^l-1组序列，每组序列分别由低通滤波结果和高通滤波结果/>组成，每个W^l的长度为N/2^l，采样频率为f_s/2^l，令W⁰(i)＝f(i)(i＝0,1,...,2^N-1)，则有下列递归分解公式：

(3)计算小波包能量和小波包能量差

为被分解信号第j尺度分解中第n频段的信号能量，

故障数据的检测是根据待检测数据的小波包能量与正常信号同频段小波包能量的差值来计算的，差值较大的数据即为异常数据。

为小波包能量差，/>为正常信号的小波包能量，/>为待检信号的小波包能量。

而且，所述对去噪后的数据进行小波包辨识过程为：

先利用小波包能量差的方法检测数据异常数据，检测出异常数据后对异常数据建模，其思想是：利用海量历史正常数据来建立主元子空间和残差子空间，将待检数据投影到该空间内，再利用参数描述该数据在主元空间中“正确程度”或该数据在残差空间的“错误程度”，采用T²这个指标来描述故障是否发生，该指标反映了每个数据采样点的幅值或变化趋势相对于其主元子空间原点的距离，使用SPE指标来确定故障，该统计量用来反映k时刻的观察数据x(k)相对于其主元模型的背离程度。

对传统改进多尺度主成分分析进行了如下改进内容:

1)将小波分解改为小波包分解，提高模型的分辨率；

2)利用小波包能量差法对不良数据进行检测。

主成分分析的过程：

步骤1：一个由m个采样向量和采集n个传感器测量值组成的正常数据的数据矩阵X(m×n)，在PCA建模之前，数据矩阵X归一化为零均值和单位方差；

步骤2：表示X的相关矩阵为R＝X^TX/(m-1)；

对矩阵R进行特征值分解(SVD)：R＝UD_λU^T。U_n×n是一个单位矩阵，D_λ＝diag(λ_i＝1,...n)是一个对角线矩阵。矩阵U＝[u₁,u₂,...,u_n]的列向量形成一个新的空间标准正交基Rⁿ。数据矩阵X在新的坐标方向为λ₁≥λ₂≥...≥λ_n时它的方差能最好地描述X，其中λ_{i＝1,2,...,n}是矩阵D_λ的相应的对角元素；

步骤3：矩阵U的前k,(k＜n)个线性无关向量P＝[u₁,u₂,...,u_k]贯穿主元子空间剩余的n-k个向量/>贯穿剩余子空间/>

步骤4：每个待检测的数据向量x∈Rⁿ可以分解为：

其中, 是x在主元子空间/>上的投影，/>是x在剩余子空间/>上的投影；

矩阵和/>是对应的投影算子；

步骤5：计算用在主元子空间中分析的参数T²。其中λ_i＝1,...,k是矩阵D_λ前k个对角线元素。t＝P^Tx称为主得分向量，P为荷载矩阵，δ_T是T²控制(或置信)的极限。计算用于剩余子空间中分析的参数Q(即SPE)。/>其中δ_Q：为Q参数的控制极限。δ_T，δ_Q分别由T²，Q的数据抽样分布中获得，可用T²，Q是否在控制限内来判断数据是否发生异常；

步骤6：计算主元素T＝xP，

公式中P∈R^m×A是负载矩阵，T∈R^n×A表示评分矩阵。T的列称为主变量，A代表主成分分量的个数；

主成分T表示数据矩阵x在与该主成分对应的负载向量的方向上的投影。其长度越大，x在P方向上的负载程度或变化程度越大；

如果||t₁||＞||t₂||＞...＞||t_m||，则P₁为x数据变化的最大方向，P_m为数据x变化的最小方向；

步骤7：通过判断T²与Q是否在控制限来辨识出不良数据。

而且，所述对辨识出的不良数据进行修复的过程为：

对异常数据的修复思想是：

q_i'为修复后的数据值，q_i是实际数据值，为估计值，α_i为判断数据正确值，

对于二维随机变量(X,Y)，用相关系数来表示X和Y之间的相关程度，cov(X,Y)是X,Y的协方差，/>分别是X,Y的标准差，R>0.7时候认为两者具有较高的相关性。

本发明利用时间相关性计算出某组正常数据与待修复数据之间的相关系数R，再根据R值来判断其相关程度，筛选出相关程度较高的正常数据即有效的正常数据，，进而利用有效的正常数据根据数据时间相关性推算出待修复的数据估计值。

(1)基于时间特征的数据修复

时间相关性是指不同时段的用电数据在时间上存在相关性，用电数据在时间上具有一定的周期性和连续性。根据筛选出来的正常数据的类型采取以下三种数据估计方式中的一种进行数据估计。

1)筛选出来的正常数据是前n周T时刻历史数据时，数据估计值为：

是第i周T时刻的数据值

2)筛选出来的正常数据是同一周T-1和T+1时刻的数据时，数据估计值为：

3)筛选出来的正常数据是同一周T时刻前n个时刻的数据时，数据估计值为：

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (6)

1.一种基于改进多尺度主成分分析的不良数据修复方法，其特征在于：包括如下步骤：

步骤一，获取用电数据；

步骤二，对获取的用电数据进行去噪处理；

步骤三，对去噪处理后的数据进行小波包分解；

步骤四，对分解后的数据进行辨识，判断模型中用在主元子空间中分析的参数T²与用于剩余子空间中分析的参数Q是否在控制限内，将不在控制限内的不良数据分离出来；

步骤五，利用数据修复模型以及根据时间相关性和空间相关性计算出各组数据的相关系数，并估算出故障数据的真实值；

对所述用电数据进行去噪处理采用基于图像的二维小波阈值去噪方法，其步骤如下：

步骤1：选择n天每天的若干个采样点负荷数据作为数据样本，并把负荷数据样本形成n行若干列的二维数据集；

步骤2：对二维数据集进行归一化处理，形成二维灰度图像矩阵数据；

步骤3：选取合适的小波基对二维灰度图像矩阵内的二维图像信号进行多尺度小波分解，得到一组小波系数；

步骤4：确定噪声标准；

步骤5：对于分解的每层小波，确定其阈值：

步骤6：对得到的小波系数进行半软阈值函数处理，得到其估计系数，

步骤7：利用估计系数对二维灰度图像矩阵内的二维图像信号进行重构；

步骤8：对重构后的去噪信号进行反归一化，得到去噪后的电力数据；

所述对去噪后的数据进行小波包分解的过程为：

步骤1：选取共轭正交滤波器；

步骤2：确定分解层数；

步骤3：根据每个序列的起始频率，计算出感兴趣的频率成分的位置；

步骤4：对去噪后的数据进行逐层小波包分解；

所述对去噪后的数据进行小波包辨识过程为：

步骤1，利用小波包能量差的方法检测出能量差值相对较大的异常数据；

步骤2，检测出异常数据后对异常数据进行建模，建模利用历史正常数据来建立主元子空间和残差子空间，将待检数据投影到该空间内，计算用在主元子空间中分析的参数以及用于剩余子空间中分析的参数，所述用在主元子空间中分析的参数T²的模型为：其中/>λ_i＝1,...,k是矩阵D_λ前k个对角线元素；t＝P^Tx称为主得分向量，P为荷载矩阵，δ_T是T²控制(或置信)的极限；计算用于剩余子空间中分析的参数Q的模型为：/>其中δ_Q：为Q参数的控制极限，δ_T，δ_Q分别由T²，Q的数据抽样分布中获得；

步骤3，通过判断两个参数T²、Q是否在控制限来辨识出不良数据。

2.根据权利要求1所述的一种基于改进多尺度主成分分析的不良数据修复方法，其特征在于：所述的噪声标准通过分解的高频系数的绝对值平均值来估计，其公式为

其中j＝1,2,...,M k＝1,2,…N_j，N_j为第j层分解后的高频系数个数；是{w_j,k}的平均值,w_j,k为小波系数。

3.根据权利要求1所述的一种基于改进多尺度主成分分析的不良数据修复方法，其特征在于：所述阈值的选择函数为：

其中，

j＝1,2,…,M，P_a,j为第j层小波系数绝对值的平均值，ρ_N,j为极小能量水平，σ_j为噪声标准，N为信号的长度。

4.根据权利要求1所述的一种基于改进多尺度主成分分析的不良数据修复方法，其特征在于：所述的估计系数为

其中，μ为加权因子。

5.根据权利要求1所述的一种基于改进多尺度主成分分析的不良数据修复方法，其特征在于：对辨识出的不良数据进行修复的过程为：

步骤1，利用时间相关性计算出正常数据与待修复数据之间的相关系数；

步骤2，根据该相关系数值来判断其相关程度；

步骤3，选出相关系大于0.7的有效的正常数据；

步骤4，利用有效的正常数据根据数据时间相关性估计数据值。

6.一种基于改进多尺度主成分分析的不良数据修复系统，其特征在于：包括数据获取模块，用于获取用电数据；

数据去噪模块，用于对获取的用电数据进行去噪处理；对所述用电数据进行去噪处理采用基于图像的二维小波阈值去噪方法，其步骤如下：

步骤1：选择n天每天的若干个采样点负荷数据作为数据样本，并把负荷数据样本形成n行若干列的二维数据集；

步骤2：对二维数据集进行归一化处理，形成二维灰度图像矩阵数据；

步骤3：选取合适的小波基对二维灰度图像矩阵内的二维图像信号进行多尺度小波分解，得到一组小波系数；

步骤4：确定噪声标准；

步骤5：对于分解的每层小波，确定其阈值：

步骤6：对得到的小波系数进行半软阈值函数处理，得到其估计系数，

步骤7：利用估计系数对二维灰度图像矩阵内的二维图像信号进行重构；

步骤8：对重构后的去噪信号进行反归一化，得到去噪后的电力数据；

分解模块，用于对去噪后的数据进行小波包分解，包括如下步骤：

步骤1：选取共轭正交滤波器；

步骤2：确定分解层数；

步骤3：根据每个序列的起始频率，计算出感兴趣的频率成分的位置；

步骤4：对去噪后的数据进行逐层小波包分解；

数据辨识模块，用于对分解后的数据进行辨识，判断模型中用在主元子空间中分析的参数T²与用于剩余子空间中分析的参数Q是否在控制限内，将不在控制限内的不良数据分离出来；辨识步骤如下：

步骤1，利用小波包能量差的方法检测出能量差值相对较大的异常数据；

步骤2，检测出异常数据后对异常数据进行建模，建模利用历史正常数据来建立主元子空间和残差子空间，将待检数据投影到该空间内，计算用在主元子空间中分析的参数以及用于剩余子空间中分析的参数，所述用在主元子空间中分析的参数T²的模型为：其中/>λ_i＝1,...,k是矩阵D_λ前k个对角线元素；t＝P^Tx称为主得分向量，P为荷载矩阵，δ_T是T²控制(或置信)的极限；计算用于剩余子空间中分析的参数Q的模型为：/>其中δ_Q：为Q参数的控制极限，δ_T，δ_Q分别由T²，Q的数据抽样分布中获得；

步骤3，通过判断两个参数T²、Q是否在控制限来辨识出不良数据；

数据修复模块，用于利用数据修复模型以及根据时间相关性和空间相关性计算出各组数据的相关系数，并估算出故障数据的真实值。