CN109597967B - 一种电力系统配变电站负荷数据异常检测与修复方法 - Google Patents

Abstract

本发明涉及一种电力系统配变电站负荷数据异常检测与修复方法，属于电力系统分析与控制技术领域。该方法包括配变电站负荷数据异常情况的“粗检测”和“微检测”两个阶段：在“粗检测”阶段，利用低秩矩阵技术对缺失的数据进行补全，对明显异常值进行初步的修复；在“微检测”阶段，利用随机森林分位数回归模型构建历史负荷、气象、日类型等因素对待检测负荷的影响关系，对局部的异常数据进行微调。本方法能够充分利用多元化的数据和历史负荷数据检测并修复电力系统中配变电站负荷中的异常数据，为电力负荷预测、电力系统运行提供可靠的数据基础，有效提升电力负荷预测精度、降低电力系统运行的成本。

Description

一种电力系统配变电站负荷数据异常检测与修复方法

技术领域

本发明涉及一种电力系统配变电站负荷数据异常检测与修复方法，属于电力系统分析与控制技术领域。

背景技术

保证电力系统负荷数据真实性和完整性对电力负荷预测精度和电力系统可靠运行具有重要的意义。然而在负荷数据采集过程中，可能由于采集装备故障、通信失败、信息攻击等原因，导致负荷数据采集不完整或者存在不同程度的偏差。缺失值、连续零值、连续某一恒定值、异常突然升高、异常突然降低等都是较为常见的异常数据类型。电压等级越低，对应负荷数据的异常检测和修复难度就越大。主要有两个方面的原因：1)较低电压等级的负荷采集、通信、存储等设备质量较差，使得异常坏数据的占比较高；2)较低电压等级的负荷因为其体量小，波动性明显，不确定较强。

目前已有相关电力系统负荷数据异常检测和修复相关的研究工作，研究的主要对象是母线负荷或者系统负荷，对低压配变负荷的研究较少，主要采用时间序列或其他简单的统计等分析方法开展相关研究。计算机领域的机器学习方法为电力系统的研究提供了更多的解决方案。目前对于低压配电网负荷数据的异常检测和修复研究工作较少，机器学习等新兴的工具利用也较少。

本发明方法相关的背景技术包括：

1、奇异值分解(SVD)

奇异值分解是适用于非方阵矩阵的特征提取方法。设A是一个R×C的矩阵，则SVD分解就是要将A分解为三个矩阵相乘，如下式所示：

A＝UΣV^T

其中，U是一个R×R的酉矩阵，Σ是一个R×C的半正定对角矩阵，其主对角线上的元素即为奇异值，V是一个C×C的酉矩阵。三个矩阵可以通过如下方法求得：

首先对方阵A^TA求特征值和特征向量：

(A^TA)ν_i＝λ_iν_i

将所有的特征向量ν_i作为列向量构成C×C的矩阵即为V。

同样的，对方阵AA^T求特征值和特征向量：

(AA^T)μ_i＝γ_iμ_i

将所有的特征向量μ_i作为列向量构成R×R的矩阵即为U。

矩阵Σ对角线上的奇异值为方阵A^TA的非零特征值的平方根(显然负荷矩阵一定是正定的，故其特征值均为非负数，奇异值不存在虚数情况)：

2、低秩矩阵技术

矩阵中最大的线性不相关的向量个数称为秩，低秩矩阵即秩远小于其大小的矩阵。对于非方阵矩阵而言，将其进行奇异值分解后得到的非零奇异值个数如果很小，则称原矩阵具有低秩性。对于具有低秩性的矩阵，由于其中大量的行列都可以由其他行列线性表出，因此它包含了大量的冗余信息。利用这种冗余信息，即可完成对缺失数据的恢复。记待修复矩阵为D，可以认为真实的矩阵为A，误差矩阵为E，三个矩阵满足D＝A+E。可以假设真实矩阵A具有低秩性，误差矩阵E具有稀疏性，于是可以将矩阵修复的问题建模成为一个优化问题：

s.t.D＝A+E

其中||A||*为矩阵A的核范数，即矩阵A所有奇异值的和；||E||_1,1为矩阵E的(1,1)范数，其值等于所有元素绝对值的和；λ为一容差参数，表示误差矩阵E所占比重。该优化模型的求解方法有多种，包括奇异值阈值法、交替方向法等。

3、随机森林分位数回归模型

分位数回归主要研究自变量与因变量的条件分位数之间的关系，得到的回归模型可以通过自变量估计因变量的条件分位数。分位数回归较传统最小二乘回归而言，不仅可以度量回归变量在分布中心的影响，还可以度量在分布上尾和下尾的影响，为因变量不确定性提供更加详尽的信息。分位数回归可以描述成为一个典型的优化模型，如下式所示：

上式中，i和N分别表示模型训练样本的编号和总数；x_i和y_i分别表示第i个训练样本的自变量和因变量；q表示待回归的分位数，其取值在0到1之间；β(q)表示q分位数回归模型待估计的参数；ρ_q表示q分位数回归的损失函数，其具体表现形式为：

通过一定的优化算法可以求解相应的分位数回归模型。特别地，当分位数回归模型β(q)为线性模型时，该分位数回归为传统的线性分位数回归；当分位数回归模型β(q)为随机森林时，该分位数回归则为随机森林分位数回归。在R语言中有现成工具包quantregForest实现随机森林分位数回归。

发明内容

本发明的目的是提出一种电力系统配变电站负荷数据异常检测与修复方法，利用低秩矩阵技术和分位数回归方法，挖掘负荷数据的长期和短期内在关联性以及负荷和气象的关联性，对电力系统中配变电站的负荷数据进行异常检测和修复。

本发明提出的电力系统配变电站负荷数据异常检测与修复方法，包括以下步骤：

(1)采集N天待检测和修复的电力系统配变电站的负荷数据L以及配变电站所在地区的温度数据T，设N天中每天采集的负荷数据长度为H，得到负荷数据L和温度数据T的长度分别为N×H；

(2)将负荷数据L重新排列为N行H列的负荷数据矩阵L₁，负荷数据矩阵L₁中的每一行对应每一天中H个时段的负荷数据，每一列对应不同天同一时刻的负荷数据；

(3)对步骤(2)的负荷数据矩阵L₁进行奇异值分解：

L₁＝U₁Σ₁V₁ ^T

其中，U₁为一个N行N列的方矩阵，V₁为一个H行H列的方矩阵，上标T为矩阵转置，Σ₁为一个N行H列的半正定对角矩阵，Σ₁中的对角元素由L₁的奇异值σ_i从大到小排列而成，其他元素都是0，奇异值σ_i通过对矩阵L₁ ^TL₁的正特征值λ_i取平方根获得：

记负荷数据矩阵L₁的奇异值σ_i的个数为S，S＝H；

(4)判断负荷数据矩阵L₁是否具有低秩性：将所有奇异值σ_i从大到小排列，取所有奇异值中的前10％个奇异值，若前10％个奇异值的个数为小数，则向上取整，记为计算前10％个奇异值之和占所有奇异值和的比例：

设定一个判断阈值，对η进行判断，若比例η大于或等于判断阈值，则判定负荷数据矩阵L₁具有低秩性，进行步骤(5)，若比例η小于判断阈值，则判定负荷数据矩阵L₁不具有低秩性，进行步骤(6)；

(5)对负荷数据矩阵L₁进行低秩矩阵分解：构建一个低秩矩阵技术修复优化模型如下：

s.t.L₁＝L₁′+E₁

其中，L₁′为利用低秩矩阵技术修复后的负荷数据矩阵，E₁为误差矩阵，||L₁′||_*为矩阵A的核范数，||L₁′||_*的值等于L₁′所有奇异值的和，||E₁||_1，1为误差矩阵E₁的(1,1)范数，||E₁||_1，1的值等于矩阵E₁所有元素绝对值的和，β为容差参数，取值为0.3，β表示误差矩阵E₁所占比重，利用交替方向法对上述模型进行求解，得到修复后的负荷数据矩阵L₁′；

(6)分别训练随机森林分位数回归模型，包括以下步骤；

(6-1)将步骤(5)初步修复后的负荷数据L₁′和步骤(4)的不具有低秩性的负荷数据矩阵L₁统称为负荷数据矩阵M，根据该负荷数据矩阵M以及步骤(1)的温度数据T，建立一个随机森林分位数回归模型g_q，向该随机森林分位数回归模型中输入一个自变量X_t，输出一个因变量y_t，其中：

X_t＝[W,h,T_t,L_t-H,L_t-H-1,L_t-2H+1,L_t-2H,L_t-2H-1,L_t-3H]，y_t＝L_t，

其中，h表示待预测电力负荷所在的采样时段，h＝1,2,…,H，W表示待预测负荷所属日类型，定义W＝1为工作日，W＝0为非工作日，T_t表示第t采样时段的温度值，L_t表示第t采样时段的电力系统配变电站负荷数据，t＝1,2,…,T；

(6-2)根据上述自变量X_t和因变量y_t，训练上述随机森林分位数回归模型g_q，得到与上述分位数q相对应的随机森林分位数回归模型g_q的参数β_q；

训练过程为：

其中，q取值在0到1之间，ρ_q表示q分位数损失函数，计算式如下：

其中，为分位数q随机森林分位数回归模型g_q在第t采样时段的与q分位数相对应的电力负荷预测值；

分别取分位数q＝0.025、q＝0.5、q＝0.975，训练得到三个与三个不同分位数相对应的随机森林分位数回归模型g_0.025、g_0.5、g_0.975；

(7)定义一个利用历史负荷和温度数据估计的0.025分位数和0.975分位数估计值构成的区间为正常可信区间，记录不在正常可信区间内的负荷值并修复，包括以下步骤；

(7-1)计算第t采样时段电力系统配变电站的负荷数据L的正常可信区间：

向步骤(6)的三个随机森林分位数回归模型g_0.025、g_0.5、g_0.975分别输入自变量X_t，则输出一个因变量其中：

得到第t采样时段的电力系统配变电站负荷数据L_t的正常可信区间为

(7-2)对量测得到的电力系统配变电站负荷数据L_t进行判断，若负荷数据L_t在正常可信区间内，即/>则判定此时电力系统配变电站负荷数据处在正常可信区间，无需修正；若/>或/>则判定此时电力系统配变电站负荷数据不在正常可信区间，为异常数据，用50％分位数对原电力系统配变电站负荷数据进行修正，即使/>实现对电力系统配变电站负荷数据异常检测与修复。

本发明提出的电力系统配变电站负荷数据异常检测与修复方法，其优点是：

本发明方法根据负荷数据中常见异常的特点，分别提出了针对缺失及明显异常负荷修复方法和针对局部异常数据的微调方法，第一，通过两层筛查增加了异常负荷的检出准确率；第二，通过引入低秩矩阵分解技术简化了检查和修复步骤，降低了运算成本，提高了流程效率；第三，通过引入随机森林分位数回归模型提高了对局部异常数据的微调精度，有效保证了修复过程的可靠性。本发明方法通过引入低秩分解技术，将规模庞大的高维原始负荷矩阵简化到低维空间，使得计算成本大大降低，通过基于增广拉格朗日乘子的迭代算法对缺失数据进行填充，相较传统的矩阵填充方法，同时提高了运算速度和修复精度；通过引入基于随机森林的分位数回归模型，将概率负荷预测和综合预测有机结合，使得模型兼具概率性预测模型的鲁棒性和综合模型的高精度，相比于传统的单一预测模型，该方法能够捕捉负荷的统计特征，充分考虑负荷的不确定性，并且通过大量模型集成最小化错误预测的风险，极大提高了修复后负荷数据的置信度。

附图说明

图1为本发明提出的电力系统配变电站负荷数据异常检测与修复方法的流程框图。

具体实施方式

本发明提出的电力系统配变电站负荷数据异常检测与修复方法，其流程框图如图1所示，包括以下步骤：

(1)采集N天(N需要大于180)待检测和修复的电力系统配变电站的负荷数据L以及配变电站所在地区的温度数据T，设N天中每天采集的负荷数据长度为H，例如每小时采集一个点，则H＝24，例如每15分钟采集一个点，则H＝96，以此类推，得到负荷数据L和温度数据T的长度分别为N×H；

(2)将负荷数据L重新排列为N行H列的负荷数据矩阵L₁，负荷数据矩阵L₁中的每一行对应每一天中H个时段的负荷数据，每一列对应不同天同一时刻的负荷数据；

(3)对步骤(2)的负荷数据矩阵L₁进行奇异值分解：

L₁＝U₁Σ₁V₁ ^T

其中，U₁为一个N行N列的方矩阵，V₁为一个H行H列的方矩阵，上标T为矩阵转置，Σ₁为一个N行H列的半正定对角矩阵，Σ₁中的对角元素由L₁的奇异值σ_i从大到小排列而成，其他元素都是0，奇异值σ_i通过对矩阵L₁ ^TL₁的正特征值λ_i取平方根获得：

记负荷数据矩阵L₁的奇异值σ_i的个数为S，S＝H；

(4)判断负荷数据矩阵L₁是否具有低秩性：将所有奇异值σ_i从大到小排列，取所有奇异值中的前10％个奇异值，若前10％个奇异值的个数为小数，则向上取整，记为计算前10％个奇异值之和占所有奇异值和的比例：

设定一个判断阈值，对η进行判断，若比例η大于或等于判断阈值，则判定负荷数据矩阵L₁具有低秩性，进行步骤(5)，若比例η小于判断阈值，则判定负荷数据矩阵L₁不具有低秩性，进行步骤(6)；

(5)对负荷数据矩阵L₁进行低秩矩阵分解：构建一个低秩矩阵技术修复优化模型如下：

s.t.L₁＝L₁′+E₁

其中，L₁′为利用低秩矩阵技术修复后的负荷数据矩阵，E₁为误差矩阵，||L₁′||_*为矩阵A的核范数，||L₁′||_*的值等于L₁′所有奇异值的和，||E₁||_1，1为误差矩阵E₁的(1,1)范数，||E₁||_1，1的值等于矩阵E₁所有元素绝对值的和，β为容差参数，取值为0.3，β表示误差矩阵E₁所占比重，利用交替方向法对上述模型进行求解，得到修复后的负荷数据矩阵L₁′；

(6)分别训练随机森林分位数回归模型，包括以下步骤；

(6-1)将步骤(5)初步修复后的负荷数据L₁′和步骤(4)的不具有低秩性的负荷数据矩阵L₁统称为负荷数据矩阵M，根据该负荷数据矩阵M以及步骤(1)的温度数据T，建立一个随机森林分位数回归模型g_q，向该随机森林分位数回归模型中输入一个自变量X_t，输出一个因变量y_t，其中：

X_t＝[W,h,T_t,L_t-H,L_t-H-1,L_t-2H+1,L_t-2H,L_t-2H-1,L_t-3H]，y_t＝L_t，

其中，h表示待预测电力负荷所在的采样时段，h＝1,2,…,H，W表示待预测负荷所属日类型，定义W＝1为工作日，W＝0为非工作日，T_t表示第t采样时段的温度值，L_t表示第t采样时段的电力系统配变电站负荷数据，t＝1,2,…,T；

(6-2)根据上述自变量X_t和因变量y_t，训练上述随机森林分位数回归模型g_q，得到与上述分位数q相对应的随机森林分位数回归模型g_q的参数β_q；

训练过程为：

其中，q取值在0到1之间，ρ_q表示q分位数损失函数，计算式如下：

其中，为分位数q随机森林分位数回归模型g_q在第t采样时段的与q分位数相对应的电力负荷预测值；

分别取分位数q＝0.025、q＝0.5、q＝0.975，训练得到三个与三个不同分位数相对应的随机森林分位数回归模型g_0.025、g_0.5、g_0.975；

(7)定义一个利用历史负荷和温度数据估计的0.025分位数和0.975分位数估计值构成的区间为正常可信区间，记录不在正常可信区间内的负荷值并修复，包括以下步骤；

(7-1)计算第t采样时段电力系统配变电站的负荷数据L的正常可信区间：

向步骤(6)的三个随机森林分位数回归模型g_0.025、g_0.5、g_0.975分别输入自变量X_t，则输出一个因变量其中：

得到第t采样时段的电力系统配变电站负荷数据L_t的正常可信区间为

(7-2)对量测得到的电力系统配变电站负荷数据L_t进行判断，若负荷数据L_t在正常可信区间内，即/>则判定此时电力系统配变电站负荷数据处在正常可信区间，无需修正；若/>或/>则判定此时电力系统配变电站负荷数据不在正常可信区间，为异常数据，用50％分位数对原电力系统配变电站负荷数据进行修正，即使/>实现对电力系统配变电站负荷数据异常检测与修复。

Claims (1)

1.一种电力系统配变电站负荷数据异常检测与修复方法，其特征在于该方法包括以下步骤：

（1）采集N天待检测和修复的电力系统配变电站的负荷数据L以及配变电站所在地区的温度数据T，设N天中每天采集的负荷数据长度为H，得到负荷数据L和温度数据T的长度分别为；

（2）将负荷数据L重新排列为N行H列的负荷数据矩阵，负荷数据矩阵/>中的每一行对应每一天中H个时段的负荷数据，每一列对应不同天同一时刻的负荷数据；

（3）对步骤（2）的负荷数据矩阵进行奇异值分解：

其中，为一个N行N列的方矩阵，/>为一个H行H列的方矩阵，上标T为矩阵转置，/>为一个N行H列的半正定对角矩阵，/>中的对角元素由/>的奇异值/>从大到小排列而成，其他元素都是0，奇异值/>通过对矩阵/>的正特征值/>取平方根获得：

记负荷数据矩阵的奇异值/>的个数为S，S=H；

（4）判断负荷数据矩阵是否具有低秩性：将所有奇异值/>从大到小排列，取所有奇异值中的前10%个奇异值，若前10%个奇异值的个数为小数，则向上取整，记为/>，计算前10%个奇异值之和占所有奇异值和的比例：

设定一个判断阈值，对进行判断，若比例/>大于或等于判断阈值，则判定负荷数据矩阵/>具有低秩性，进行步骤（5），若比例/>小于判断阈值，则判定负荷数据矩阵/>不具有低秩性，进行步骤（6）；

（5）对负荷数据矩阵进行低秩矩阵分解：构建一个低秩矩阵技术修复优化模型如下：

其中，为利用低秩矩阵技术修复后的负荷数据矩阵，/>为误差矩阵，/>为矩阵A的核范数，/>的值等于/>所有奇异值的和，/>为误差矩阵/>的(1,1)范数，/>的值等于矩阵/>所有元素绝对值的和，/>为容差参数，取值为0.3，/>表示误差矩阵/>所占比重，利用交替方向法对上述模型进行求解，得到修复后的负荷数据矩阵/>；

（6）分别训练随机森林分位数回归模型，包括以下步骤；

（6-1）将步骤（5）初步修复后的负荷数据和步骤（4）的不具有低秩性的负荷数据矩阵统称为负荷数据矩阵M，根据该负荷数据矩阵M以及步骤（1）的温度数据T，建立一个随机森林分位数回归模型/>，向该随机森林分位数回归模型中输入一个自变量/>，输出一个因变量/>，其中：

，/>，

其中，表示待预测电力负荷所在的采样时段，/>，/>表示待预测负荷所属日类型，定义/>为工作日，/>为非工作日，/>表示第t采样时段的温度值，/>表示第t采样时段的电力系统配变电站负荷数据，/>；

（6-2）根据上述自变量和因变量/>，训练上述随机森林分位数回归模型/>，得到与上述分位数/>相对应的随机森林分位数回归模型/>的参数/>；

训练过程为：

其中，q的取值范围为（0，1），表示/>分位数损失函数，计算式如下：

其中，为分位数/>随机森林分位数回归模型/>在第t采样时段的与/>分位数相对应的电力负荷预测值；

分别取分位数q=0.025、q=0.5、q=0.975，训练得到三个与三个不同分位数相对应的随机森林分位数回归模型、/>、/>；

（7）定义一个利用历史负荷和温度数据估计的0.025分位数和0.975分位数估计值构成的区间为正常可信区间，记录不在正常可信区间内的负荷值并修复，包括以下步骤；

（7-1）计算第t采样时段电力系统配变电站的负荷数据L的正常可信区间：

向步骤（6）的三个随机森林分位数回归模型、/>、/>分别输入自变量/>，则输出一个因变量/>，其中：

，/>

得到第t采样时段的电力系统配变电站负荷数据的正常可信区间为[/>]；

（7-2）对量测得到的电力系统配变电站负荷数据进行判断，若负荷数据/>在正常可信区间[/>]内，即/>，则判定此时电力系统配变电站负荷数据处在正常可信区间，无需修正；若/>或/>，则判定此时电力系统配变电站负荷数据不在正常可信区间，为异常数据，用50%分位数对原电力系统配变电站负荷数据进行修正，即使/>，实现对电力系统配变电站负荷数据异常检测与修复。