CN110705762A - 基于矩阵填充的泛在电力物联网感知数据缺失修复方法 - Google Patents

Abstract

本发明公开了一种基于矩阵填充的泛在电力物联网感知数据缺失修复方法，所述方法包括：通过切片变换将量测所得的一维时间序列数据重构为矩阵形式；获取用于验证数据恢复可行性的低秩强度指标；考虑量测数据不同成分的结构特性，基于低秩矩阵填充理论建立恢复缺失数据的优化模型，通过矩阵范数对各式噪声加以约束，排除噪声影响；通过改进交替方向乘子法获得快速求解模型的迭代计算式，实现缺失量测数据的恢复。本发明在量测数据部分缺失，且混杂高斯噪声、尖峰异常值等多种形式噪声的情况下，基于低秩矩阵填充理论，恢复出原本完整的量测数据，进而实现缺失数据的补全。

Description

基于矩阵填充的泛在电力物联网感知数据缺失修复方法

技术领域

本发明涉及电力物联网领域，尤其涉及一种基于矩阵填充的泛在电力物联网感知数据缺失修复方法。

背景技术

泛在电力物联网的建设已成为电网转型升级的关键目标。在其架构中，负责感知与采集数据的感知层处于最底层，所获取的量测数据是支撑整个系统的基础。然而，同任何工业现场量测数据一样，在数据感知、传输、处理的过程中，都可能会出现数据的缺失。此时，若能基于数据的内在结构特性，恢复缺失的数据，则可以保障数据完整性，提升数据使用价值。

传统的缺失量测数据补全，往往基于量测数据之间的自相关性或互相关性。如插值法或者借用相邻量测设备的数据进行补全。随着新一代人工智能技术的兴起，部分学者尝试采用深度学习来重建缺失的数据，如基于改进生成式对抗网络，或神经网络对丢失数据进行补齐。但此类方法在执行过程中耗费计算资源较多，并且需要大量历史数据进行模型训练。

发明内容

本发明提供了一种基于矩阵填充的泛在电力物联网感知数据缺失修复方法，本发明在量测数据部分缺失，且混杂高斯噪声、尖峰异常值等多种形式噪声的情况下，基于低秩矩阵填充理论，恢复出原本完整的量测数据，进而实现缺失数据的补全，详见下文描述：

一种基于矩阵填充的泛在电力物联网感知数据缺失修复方法，所述方法包括：

通过切片变换将量测所得的一维时间序列数据重构为矩阵形式；

获取用于验证数据恢复可行性的低秩强度指标；

考虑量测数据不同成分的结构特性，基于低秩矩阵填充理论建立恢复缺失数据的优化模型，通过矩阵范数对各式噪声加以约束，排除噪声影响；

通过改进交替方向乘子法获得快速求解模型的迭代计算式，实现缺失量测数据的恢复。

其中，所述通过切片变换将量测所得的一维时间序列数据变换为矩阵形式进行重构具体为：

以四分之一周期为单位，将一维时间序列数据组织为量测数据矩阵，矩阵的规模同采样时长与采样率相关，为0.25f_c×4n阶，f_c为每周波采样点数；矩阵L还原为波形向量。

其中，所述低秩强度指标具体为：

其中，r_THD为谐波总畸变率。

进一步地，所述优化模型为：

s.t.P_Ω(M)＝U+E+G+N

式中：U为待恢复的量测数据矩阵；N为辅助矩阵；E为尖峰异常值矩阵；G为高斯噪声矩阵；λ、δ均为权重系数；集合Ω为由原始数据序列重构的矩阵L中非空元素的位置集合；M为观测矩阵。

其中，所述通过改进交替方向乘子法获得快速求解模型的迭代计算式具体为：

k_r＝‖M-U_k-E_k-N_k-G_k‖_F/‖M-U_k+1-E_k+1-N_k+1-G_k+1‖_F

其中，k_r为梯度变化系数，k为迭代计数器，||·||_F为矩阵的F范数，μ_k为第k次迭代时的步长，σ_u，σ_d均为预设参数。

本发明提供的技术方案的有益效果是：

1、本方法给出了评价缺失数据近似低秩性强度的方法，从而完成了恢复可行性的验证；

2、本方法充分考虑了量测过程中混杂的高斯噪声、尖峰异常值等复杂量测噪声，通过改进数据恢复模型，排除了噪声对数据恢复的干扰；

3、本方法加速求解模型，快速恢复缺失数据。本方法适用于泛在电力物联网中所有具备近似低秩性的量测数据补全。

附图说明

图1为一种基于矩阵填充的泛在电力物联网感知数据缺失修复方法的流程图；

图2为量测数据矩阵构建的示意图；

图3为故障波形恢复误差的示意图；

图4为10％谐波含量下数据恢复效果图；

图5为50％缺失率下恢复误差分布示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

实施例1

为克服上述问题，本发明实施例提出了基于低秩矩阵理论的电能质量缺失数据补全方法。该低秩矩阵理论是基于数据本身的低秩性恢复缺失数据，因此避免了数据预训练过程。

通过分析典型电能质量数据内在特性，证明其具备数据低秩可恢复性；在此基础上，考虑实际量测数据混杂噪声与尖峰异常值，设计多范数联合的低秩优化模型，并基于交替方向乘子法求解模型；同时，针对模型迭代缓慢的问题，提出自适应迭代步长选取方法；最后，通过分析高频故障场景下的数据恢复效果，验证算法的效果。

首先，通过切片变换方法将量测所得的一维时间序列数据变换为矩阵形式。在此基础上，考虑量测数据不同成分的结构特性，基于低秩矩阵填充理论建立恢复缺失数据的优化模型。最后通过改进交替方向乘子法获得快速求解模型的迭代计算式，实现缺失量测数据的恢复。

本方法，针对感知层设备在传感过程中出现的数据缺失问题，基于低秩矩阵填充理论，恢复出原本完整的量测数据。

在此过程中，考虑到观测数据受到高斯噪声，尖峰异常值等多样噪声的污染，会极大地影响了数据恢复的精度，故对经典矩阵填充模型加以改进，通过在数据恢复模型中添加矩阵范数，实现对各式噪声的约束，从而排除噪声对数据恢复的影响。

同时考虑即时的数据分析需要能够快速修复缺失数据，及时提供完整的数据源，故应用改进的交替方向乘子法求解模型。通过将模型的求解分解为若干子问题，以及自适应的迭代步长选取方法，获得数据恢复的快速迭代公式，从而加速模型求解。

实施例2

下面结合具体的计算公式、实例对实施例1中的方案进行进一步地介绍，详见下文描述：

1)原始采样数据重构

原始的采样数据均为一维时域序列，无法直接进行数据恢复，故需要将其组织为矩阵形式。

不失一般性，设电网某量测点采集n个连续周波的数据，每周波f_c次采样。对于该原始数据l，采用切片变换方法，将其由时域一维序列重构为矩阵形式。具体方式为，以四分之一周期为单位，遵照图1方式将数据组织为量测数据矩阵L。显然矩阵L的规模同采样时长与采样率相关，为0.25f_c×4n阶；同时对波形向量的变换是可逆的，矩阵L仍可还原为波形向量。

2)验证数据恢复可行性(低秩强度指标δ及其推导过程)

本方法基于数据低秩性，故在进行数据恢复之前，需要确定数据低秩性强度，以判断是否可以完成足够高精度的恢复，验证数据恢复的可行性。

由于待恢复数据是部分缺失的，无法确定其低秩性强度，故通过调取相同量测点的历史数据进行验证。具体步骤为，对产生缺失数据的量测点，取其完整的历史量测数据序列x(t)，利用快速傅里叶变换获得各次谐波的幅值A_h(h≥1)，进而得到波形的谐波总畸变率：

据此计算低秩强度指标η：

低秩强度指标η越小，证明该量测点的数据低秩特性越强，数据恢复精度相应越高。

设置阈值η_t，当η<η_t时，认为缺失数据具备高精度恢复可能，从而完成可行性验证。

公式(2)的理论推导过程如下：

首先明确如下定义：

定义1(奇异值分解)：对于矩阵X∈R_m×n，可作如下分解：

X＝UΣV^T (3)

式中：U、V为正交矩阵；∑为对角矩阵，其对角线上的元素称为矩阵X的奇异值；

R为实数域。

上述分解称作矩阵X的奇异值分解，奇异值具有如下性质：

性质1(稳定性)：假设矩阵A，B∈R_m×n，A和B的奇异值分别为λ₁≥λ₂≥…≥λ_p和γ₁≥γ₂≥…≥γ_p，其中p＝min{m,n}，则对于i＝1,2,…,n，始终有不等式|λ_i-γ_i|≤||A-B||₂成立。

性质2：矩阵X∈R_m×n的奇异值必大于等于0，且奇异值个数等于矩阵X的秩。

性质3：矩阵X∈R_m×n的最大奇异值等于其谱范数，即若m≥n，则对于矩阵X，有：

其中，z为n维列向量；ζ(X)为矩阵X的奇异值；X^T为矩阵X的转置；C为复数域。

定义2(矩阵低秩)：对于矩阵Z∈R_m×n，若其秩远小于矩阵的规模，即：

r＜＜d (5)

式中：r为矩阵的秩，d＝min{m,n}。

则该矩阵Z为低秩矩阵。

接下来介绍详细推导步骤。电网波形可表述为如下形式：

式中：A_h，f_h，θ_h分别为各分量的幅值，频率和相位角参数，H为分量的个量。

电网量测波形可视为由周期性的基波，以及各种形式的噪声叠加而成，即：

其中，g(t)为噪声波形。

故由此构建的量测矩阵L也可分解为相应的两部分：

L＝L₀+L_s (8)

其中，L₀为基波数据重构而成的数据矩阵，L_s为噪声数据重构而成的数据矩阵。

设矩阵L的奇异值为λ_i(i＝1,2,…,n)，L₀的奇异值为γ_i(i＝1,2,…,n)。根据奇异值的性质1，可得：

|λ_i-γ_i|≤||L-L₀||₂＝||L_s||₂ (9)

设矩阵L₀的最大奇异值为γ_max，根据性质3，有：

γ_max＝||L₀||₂ (10)

另奇异值具有非负性，且矩阵L₀非空，可知γ_max大于0。故有：

其中，矩阵L、L₀规模为0.25f_c×4n阶，f_c为每周波的采样点数。在现场量测中，在满足采样精度要求下，考虑到采样数据量对存储和传输压力，数据采样率通常不会高于周波数的800倍，故保证0.25f_c＜4n成立，从而根据性质3：

其中，x为n维列向量，l_0i,j为矩阵L₀元素，l_si,j为矩阵L_s元素。

根据《GB/T14549-1993》电能质量谐波限值国标，奇次谐波和偶次谐波幅值在基波幅值的4％和2％以内，且25次以上的奇次谐波和12次以上的偶数谐波含量可忽略不计。为求得谐波分量叠加后的幅值上限，考虑如下模型：

式中：A_h(h＝2,3,…,∞)表示第h次谐波的幅值；r_THD为谐波总畸变率。

据均值不等式可知，当r_THD小于47.14％时，上述优化问题的最优解为

即矩阵L_s元素l_si,j的理论最大值为

考虑所有元素均为最大值的极端情况，可得矩阵L_s谱范数的最大值：

故有：

矩阵L₀为基波数据重构而成的矩阵，其秩为1，远小于其矩阵规模，因而矩阵L₀是严格低秩的。观察式(16)可知，η表征的是量测数据矩阵L与严格低秩矩阵L₀之间奇异值的差异度，故定义为衡量矩阵L低秩强度的指标，从而可得低秩强度的定义式(2)。

3)建立缺失数据恢复模型

可行性验证完毕之后，基于低秩理论建立数据恢复模型，对缺失数据进行补全。由于观测到的数据往往受到高斯噪声，尖峰异常值等多种形式噪声的污染，而经典矩阵填充理论的模型中仅仅通过核范数描述了数据低秩性，没有考虑噪声的影响，无法高精度地恢复缺失数据。故对经典数据恢复模型加以改进，通过矩阵范数对各式噪声加以约束，从而排除噪声影响。

在选取矩阵范数时，考虑高斯噪声具有小幅值，高密度的特点，故通过F范数对其数据矩阵G加以约束；考虑尖峰异常值具有高幅值，低密度的特点，故通过1范数对其数据矩阵E加以约束。从而可得到考虑多噪声影响的数据恢复模型如下：

式中：矩阵U为待恢复的量测数据矩阵；N为方便模型求解的辅助矩阵；λ、δ为相应的权重系数；集合Ω为原始数据序列重构而来的矩阵L中非空元素的位置集合，即若元素L_i,j被观测到，则有(i,j)∈Ω；||·||_*表示矩阵的核范数。

其中，算子P_Ω定义如下：

矩阵M为观测矩阵，可通过下式得到：

M＝P_Ω(L) (19)

4)通过快速迭代式求解模型

本方法可为各类即时的数据分析应用提供完整可靠的数据源，故要求其能快速恢复缺失数据。为快速求解数据恢复模型，提出如下方案：

首先通过交替方向乘子法将模型(17)的求解分解为三个优化子问题，之后分别求出各子问题的解析求解式，从而避免了迭代的嵌套；同时，通过设计自适应的迭代步长选取策略，进一步加速模型求解，详细步骤如下：

首先求出模型(17)的增广拉格朗日函数，将其转化为无约束优化问题：

式中：参数μ为二次惩罚项的权重系数，Y为拉格朗日系数矩阵，P_Ω(M)为观测矩阵。

根据交替方向乘子法，可得模型(20)中各矩阵的迭代计算式为：

显然，辅助矩阵N、系数矩阵Y的求解式已直接给出。故需要求解的量为电能质量数据矩阵U、尖峰异常值矩阵E、以及高斯噪声矩阵G三个变量，均为单变量无约束优化问题。由此，可将数据恢复问题分解为如下三个子问题：量测数据恢复，提取尖峰异常值，以及提取高斯噪声。

a.量测数据恢复子问题

量测数据恢复子问题要给出U的最优解。在求解之前，首先引入如下矩阵算子的定义：

定义3(软阈值算子)：对于任何τ>0和矩阵X∈R^m×ⁿ，其软阈值算子S_η()定义为：

[S_η(X)]_i,j＝sign(x_i,j)max{0,|x_i,j|-η} (22)

式中：sign(·)为符号函数。

定义4(奇异值缩减算子)：对任意τ>0和矩阵X∈R^m×n，当矩阵X奇异值分解X＝U∑V^T，则可定义奇异值缩减算子

为：

观察矩阵U的迭代式可知，所解问题是F范数与核范数联合优化的无约束优化问题，该类问题的标准形式如下所示：

利用软阈值算子，可直接得到量测数据恢复子问题的解析式：

b.尖峰异常值提取子问题

观察迭代式可知，尖峰异常值矩阵的子问题，要求解1范数与F范数联合的优化问题，该类问题的标准形式如下：

利用软阈值算子，可直接得到尖峰异常值矩阵E的解析式为：

c.高斯噪声提取子问题

该迭代式为双F范数的无约束优化问题，利用配方法求取其解析解。为使求解过程清晰，首先约定矩阵S：

从而有：

显然，二次函数系数

恒为正。故当：

成立时，式(29)取得最优解，最优解为：

式(31)即为高斯噪声矩阵G的解析式。

上述为各子问题的求解过程。

其中，自适应的迭代步长选取策略设计思路如下：

观察迭代计算式(21)可知，参数μ本质上是拉格朗日乘子的迭代步长，而μ后的矩阵表示梯度下降方向。若步长固定，收敛效率较低，设置较短时迭代速度慢，设置较长时又容易振荡甚至不收敛。因而可在下降速度较快时，设置较大的步长，加速收敛；而在下降速度减慢，接近最优点时，设置较小的步长，以避免振荡，保证收敛性。具体设置方法如下：

首先计算：

k_r＝||M-U_k-1-E_k-1-N_k-1-G_k-1||_F/||M-U_k-E_k-N_k-G_k||_F (32)

从而在每次迭代中，μ的更新规则为：

由经验公式得，σ_u＝1.7，σ_d＝0.8时算法具有较好的收敛速度。

模型的快速求解方法可总结如下：

在求解模型之前，首先设置量测数据矩阵U_k初值U₀，尖峰异常值矩阵E_k初值E₀，高斯噪声矩阵G_k初值G₀，辅助矩阵N_k初值N₀，拉格朗日乘子矩阵Y_k初值Y₀；为参数λ、μ、δ赋初值；初始化迭代计数器k＝0。

之后，根据迭代计算公式(25)(27)(31)(33)(21)(21)，依次更新电能质量数据矩阵U_k+1，尖峰值矩阵E_k+1，高斯噪声矩阵G_k+1，辅助矩阵N_k+1，拉格朗日乘子矩阵Y_k+1，以及参数μk+1。

每次迭代计算完毕，判断相邻两次量测数据矩阵U，尖峰值矩阵E，高斯噪声矩阵G估计值变化百分比是否低于阈值，若是，输出最终结果，即恢复后的U，E，G；否则，令k＝k+1并重新迭代。

下面给出具体实例：

本节通过Real-life Power Quality Transients公开数据集测试恢复算法效果。选取高频故障场景：电压暂升、电压暂降、电压中断、脉冲振荡下，谐波污染下的数据。每种故障抽取50周波的数据，数据采样率为20kHz，故共有20000个数据点。同时考虑到数据随机缺失会导致恢复效果的波动，故所有结果均为重复实验30次后取平均值所得。分别验证奇异值阈值算法SVT、交替方向乘子法ADMM和本发明提出的改进交替方向乘子法IADMM算法的恢复效果；在此基础上，截取50％数据缺失率的断面，观察缺失数据恢复精度的统计分布。

1)故障场景下恢复精度

为定量评估缺失数据的恢复精度，首先通过矩阵的F范数定义指标矩阵恢复误差。对于电能质量数据矩阵M，恢复后的矩阵U，定义数据填充的误差计算式如下：

统计不同故障场景下的矩阵恢复精度，实验结果如图2所示。

以电压暂升场景下的结果对比不同算法恢复效果。在不同的数据缺失率下，基于ADMM的算法恢复效果明显优于SVT算法，在缺失率小于70％时，SVT误差是对比算法的2倍以上；同时，随着数据缺失率的升高，三种算法的数据恢复误差均呈现不同程度的上升。但ADMM与IADMM的误差波动在1.5％以内，较为稳定，而SVT算法在缺失率达到70％以后误差跃升至6％以上。

ADMM与IADMM的效果优于SVT算法，是因为其在模型中充分考虑了各式噪声的影响，而SVT方法在模型中仅仅考虑了低秩的电能质量数据，因而高斯噪声与异常值成分对数据恢复效果负面影响非常敏感，故其精度较低。

横向对比不同场景，电压暂升和脉冲振荡时恢复误差始终保持在[0,1％]以内，而电压暂降误差在[1％,2％]区间内，电压中断时恢复误差在[2.6％,3.3％]内。

2)谐波恢复精度

完整谐波数据可以用于谐波源定位，精确治理谐波，缺失数据时会导致无法使用。根据国标GBT/14549-93的规定，公用电网中谐波电压限值随标称电压不同而不同，0.38kV等级所允许的谐波总失真率(Total harmonic distortion,THD)最高，为5％。为评价算法的性能，实验中采用超过国标规定值一倍即10％谐波污染场景进行实验。

实验结果如图3所示。在10％的谐波含量下，对于不同数据丢失比例，IADMM仍能保持数据填充误差在1％以下。所恢复的数据完全可用于谐波源定位等泛在电力物联网高级应用中。

3)算法收敛速度对比

表1为全场景下，两种方法的平均迭代次数统计。可以发现，随着数据缺失率的增加，ADMM的迭代次数基本稳定，而IADMM的迭代次数虽有所增加，但仍只有前者迭代次数的40％左右。由于每次迭代的计算量相同，故IADMM算法可加速60％，可明显加速数据恢复算法收敛，能够更好满足具有实时在线数据处理要求的电网应用场景。

4)数据恢复精度

为了进一步观察数据恢复效果，不失一般性，截取缺失50％数据断面(即截取50周期的数据，每周期有400个采样点，缺失数据为10000个)，观察电压暂升、电压暂降、电压中断、脉冲振荡四种故障场景的电能质量数据恢复精度。按照如下公式计算其相对误

式中：u_i,j为算法补全的数据，l_i,j为真实数据。

统计这些数据的相对误差，绘制其分布如图4所示，精确的四分位点列于表2中。仍以电压暂升为例。IADMM重建的数据，有50％恢复误差分布于[-0.5％,0.01％]范围内，91％的数据恢复误差集中于[-2％,+2％]以内；而SVT算法一半的恢复误差分布于更大的[-1.52％,0.08％]误差范围内，[-2％,+2％]以内的误差范围内数据降低到79％。其余场景下，算法恢复误差均有类似的分布特征。由此可见，即使在数据缺失近半的情况下，所提算法的精度明显高于对比算法，仍可保障恢复数据的可用性。

表1不同数据缺失率下平均迭代次数

表2数据恢复误差四分位点

本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于矩阵填充的泛在电力物联网感知数据缺失修复方法，其特征在于，所述方法包括：

通过切片变换将量测所得的一维时间序列数据重构为矩阵形式；

获取用于验证数据恢复可行性的低秩强度指标；

考虑量测数据不同成分的结构特性，基于低秩矩阵填充理论建立恢复缺失数据的优化模型，通过矩阵范数对各式噪声加以约束，排除噪声影响；

通过改进交替方向乘子法获得快速求解模型的迭代计算式，实现缺失量测数据的恢复。

2.根据权利要求1所述的一种基于矩阵填充的泛在电力物联网感知数据缺失修复方法，其特征在于，所述通过切片变换将量测所得的一维时间序列数据变换为矩阵形式进行重构具体为：

以四分之一周期为单位，将一维时间序列数据组织为量测数据矩阵，矩阵的规模同采样时长与采样率相关，为0.25f_c×4n阶，f_c为每周波采样点数；矩阵L还原为波形向量。

3.根据权利要求1所述的一种基于矩阵填充的泛在电力物联网感知数据缺失修复方法，其特征在于，所述低秩强度指标具体为：

其中，r_THD为谐波总畸变率。

4.根据权利要求1所述的一种基于矩阵填充的泛在电力物联网感知数据缺失修复方法，其特征在于，所述优化模型为：

s.t.P_Ω(M)＝U+E+G+N

式中：U为待恢复的量测数据矩阵；N为辅助矩阵；E为尖峰异常值矩阵；G为高斯噪声矩阵；λ、δ均为权重系数；集合Ω为由原始数据序列重构的矩阵L中非空元素的位置集合；M为观测矩阵。

5.根据权利要求4所述的一种基于矩阵填充的泛在电力物联网感知数据缺失修复方法，其特征在于，所述通过改进交替方向乘子法获得快速求解模型的迭代计算式具体为：

k_r＝||M-U_k-E_k-N_k-G_k||_F/||M-U_k+1-E_k+1-N_k+1-G_k+1||_F

其中，k_r为梯度变化系数，k为迭代计数器，||·||_F为矩阵的F范数，μ_k为第k次迭代时的步长，σ_u，σ_d均为预设参数。

Images