CN109918365A - 一种适用于太阳能光伏数据的数据清洗方法 - Google Patents

Abstract

本发明公开一种适用于太阳能光伏数据的数据清洗方法，包括三个步骤，分别为采集光伏数据、挖掘异常数据和清洗异常数据；本发明通过在相邻区域设置多组传感器采集太阳能光伏数据，得到多组强关联性数据；结合多组数据之间的关系、数据变化率，应用统计学原理挖掘所述光伏数据中的异常数据，并将异常数据分为冗余数据、缺省数据和错误数据三大类；清洗数据时，先删除冗余数据，再对单组传感器测得的错误数据通过SPGP数据重构法进行重构，再对整行错误数据和整行缺省数据通过基于三次样条插值法的数据重构法进行重构，能较好地对光伏数据中的异常数据进行补齐，最大化地利用了所有正常数据对异常数据进行清洗，数据误差极小，清洗效果好且效率较高。

Description

一种适用于太阳能光伏数据的数据清洗方法

技术领域

本发明属于数据清洗技术领域，具体是一种适用于太阳能光伏数据的数据清洗方法。

背景技术

近年，随着技术发展与人们对能源、环境问题的重视，可再生能源在整个能源消耗中 的占比正大幅提升。太阳能光伏等作为目前非常有竞争优势的可再生能源，除大规模集中 发电与无电地区离网系统应用外，其在城市与发达农村地区等得以分布式发电方式得以广 泛应用，将是未来电网不可或缺的重要组成。光伏数据往往贮存于分布式多源异构数据库 中，具有数据量大而且种类复杂等特征，数据质量时常由于测量设备的故障与不稳定性而 降低，产生大量异常数据或形成冗余，又或是在数据传输过程中出现丢包。数据质量的好 坏直接影响了后期根据数据进行的发电预测和能源调度。为了提高光伏发电预测的准确 性，优化光伏发电及绿色储能蓄能效率与电网的综合匹配，从而达到对分布式能源的充分 合理利用，光伏数据必须有良好的质量，数据清洗环节必不可少。

光伏数据自身极大的不稳定性和复杂性给数据清洗带来了巨大的困难。李郅明等对单 独的异常数据取邻近数据的中值纠错，对连续的异常数据进行人工纠错，方法比较简单， 可是人工纠错存在着较大的误差，面对大量异常时效率极低，且这种方式不适用于变化性 极强的光伏数据。李昌华等针对建筑节能气候数据清洗采用了K-means聚类算法与BP神 经网络相结合的算法，有效清洗率达到96.3％，可是该方法存在一定的局限性，不适用于 非集群类数据，且BP神经网络结构复杂，收敛速度慢，容易陷入局部极值而训练失败。沈小军等提出了四分位-变点分组法对风速及风功率数据进行清洗，虽然清洗效果好效率高，然而容易剔除变化率大的有效数据，对数据的利用率低且损失了很多有用数据。胡阳等针对风电运行数据提出了一种基于置信等效边界模型的方法判定异常数据，划分精细然而效率较低而且难以适用于其他场景，再由三次Hermite插值法重构缺失数据，重构的数据曲线仍然不够平滑。刘帅等则采用拉格朗日插值法，计算简便但是多项式的次数可能会很高，结果变化性极大易产生龙格现象。

发明内容

本发明的目的是针对现有技术存在的问题，提供一种适用于太阳能光伏数据的数据清 洗方法，解决现有的太阳能光伏有效数据利用率低，异常数据难识别，异常数据重构效率 低，重构效果不佳等问题。

为实现上述目的，本发明采用的技术方案是：

一种适用于太阳能光伏数据的数据清洗方法——强关联数据分类清洗法，包括以下步 骤：

S1，采集光伏数据，在相邻区域(相距不远的区域)设置多组传感器采集太阳能光伏 数据，得到多组变化趋势高度相似的强关联性数据，将不同组传感器在同一时间采集的数 据在数据库中按列进行排序，将同一组传感器在不同时间采集的数据在数据库中按行进行 排序；

S2，结合多组数据之间的关系、数据变化率，应用统计学原理挖掘所述光伏数据中的 异常数据，并将所述异常数据分为三类数据，分别为：冗余数据、缺省数据和错误数据；

S3，清洗异常数据，首先，以时间为主键删除异常数据中的冗余数据；然后，对单组传感器测得的错误数据(单组错误数据意为有某组传感器采集数据错误，但有其余组传感器采集数据正常)采用SPGP数据重构法(SeekPartialGuidanceofPearson，对皮尔 逊公式求偏导)进行数据重构；最后，对数据库中整行错误数据(整行错误数据意为所有 组的传感器采集的数据均为错误数据)和整行缺省数据采用基于三次样条插值法的数据重 构法进行数据重构。

具体地，步骤S1中，所述传感器包括光照度传感器、光功率传感器，所述光伏数据包括光照强度、光功率。

具体地，步骤S2中，所述异常数据的分类依据为：

冗余数据：判断多组传感器采集光伏数据的时间值是否一致，时间值不一致的光伏数 据即为冗余数据；

缺省数据：计算多组数据的平均测量时间间隔t，判断每行数据的测量时间与相邻行 数据的测量时间的差值是否超过2t，若超过2t，则该行数据为整行缺省数据；若某行数据中单个数据的测量时间与相邻行中对应数据的测量时间的差值超过2t，则该单个数据为单项缺省数据；

错误数据：光伏数据自身的变化复杂性很强，辐照度、功率等数据深受实时天气状况 的影响，数据本身波动起伏较大，而且传感器故障时错误数据常常集群出现；分别计算各 组数据随时间的变化率，判断每列数据的变化率是否大于前列数据变化率的1.25倍，若是，则进一步判断该列数据是否超出正常数据范围，若两个判断条件均满足，则该列数据为错误数据。

进一步地，由于光伏数据基本遵循正态分布，百分之九十五的数据点在平均值前后两 个标准差的范围之内，故将所述正常数据的范围定义为：

μ-2σ≤x≤μ+2σ

其中，x为正常数据，μ为所有数据的平均值，σ为所有数据的标准差。

具体地，步骤S3中，对单组传感器测得的错误数据采用SPGP数据重构法进行数据重 构的方法为：

令X，Y分别为两组传感器测同一物理量得到的不同数据值序列，X序列中只有一个错 误数据，设该错误数据值为变量x；Y序列中所有数据均为正常数据值；当X、Y两组数据的关联性最强时(此时，异常数据基本满足正常数据的变化趋势)，错误数据x＝x₀，x₀即 为错误数据x的重构数据；计算X、Y两组数据的皮尔逊相关系数ρ_X,Y，即

公式(1)对x求偏导，代入X、Y中的正常光伏数据，令偏导值为0，有

联立公式(1)、(2)解出重构数据值x₀；即，当x＝x₀时，X、Y两组数据的关联性 最强，x₀即为错误数据x重构后的数据值。

进一步地，步骤S3中，所述基于三次样条插值法的数据重构法具体为：

提取所有数据中表现正常的N个数据值作为f(x)，将所述N个数据对应的时间序列设 为区间x＝[x₀,x_N]；将区间x划分为N个等步长的子区间；设在每个子区间 j＝(0,1,…,N-1)内均满足三次多项式S_j(x)，有

S_j(x)＝a_j0+a_j1x+a_j2x²+a_j3x³，

j＝0,1,...,N-1 (3)

由于N个数据均为可用正常数据，令

S(x_j)＝f(x_j),j＝(0,1,...,N) (4)

为保证各子区间的曲线合并为大区间时节点处光滑，令

S(x_j-0)＝S(x_j+0),j＝(0,1,...,N) (5)

S′(x_j-0)＝S′(x_j+0),j＝(1,2,...,N-1) (6)

S″(x_j-0)＝S″(x_j+0),j＝(1,2,...,N-1) (7)

令S(x_j)＝f(x_j)＝y_j (8)

h_j＝x_j-x_j-1 (9)

S″(x_j)＝M_j j＝(0,1,...,N) (10)

由于在子区间[x_j,x_j+1]内S(x)＝S_j(x)为三次多项式，因此S″_j(x)为线性函数，根据拉 格朗日插值公式，有

根据公式(3)～(11)，可得

令

则公式(11)可表示为

α_jM_j-1+2M_j+β_jM_j+1＝c_j j＝(1,2,...,N-1) (13)

根据光伏数据的正态分布特性，数据两端的曲线处于水平状态，有S_j(x)满足第一类边 界条件，有

S′(x₁)＝S′(x_N)＝0 (14)

联立公式(13)、(14)得到关于M_j的N+1阶线性方程组，其矩阵形式为三对角线 方程组，即

代入所有表现正常的光伏数据到公式(15)中，采用追赶法解出M_j，从而得到各子区间的三次多项式；再将检测到的单组错误数据代入该错误数据对应子区间的三次多项式，得到该错误数据重构后的数据值。

与现有技术相比，本发明的有益效果是：本发明考虑到光伏数据自身极大的复杂性， 传感器在布置时往往是多组一起安装使用，能得到多组变化趋势高度相似的数据；能最大 化地利用所有有效数据对异常数据进行清洗，重构得到的数据误差极小；本发明针对光伏 数据的正态分布特性及数据之间的关联性，通过SPGP数据重构法对单组传感器测得的错 误数据进行重构，通过基于三次样条插值法的数据重构法对整行错误数据和整行缺省数据 进行重构，清洗效果好且清洗效率较高。

附图说明

图1为本发明一种适用于太阳能光伏数据的数据清洗方法的总体流程示意图；

图2为本发明实施例中传感器采集到的光伏数据未经处理的时间-功率图；

图3为本发明实施例中采用本发明的数据清洗方法处理后光伏数据的时间-功率图。

具体实施方式

下面将结合本发明中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所 描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例， 本领域普通技术人员在没有做出创造性劳动条件下所获得的所有其它实施例，都属于本发 明保护的范围。

一种适用于太阳能光伏数据的数据清洗方法，包括以下步骤：

S1，采集光伏数据，在相邻区域(相距不远的区域)设置多组传感器采集太阳能光伏 数据，得到多组变化趋势高度相似的强关联性数据，将不同组传感器在同一时间采集的数 据在数据库中按列进行排序，将同一组传感器在不同时间采集的数据在数据库中按行进行 排序；

S2，结合多组数据之间的关系、数据变化率，应用统计学原理挖掘所述光伏数据中的 异常数据，并将所述异常数据分为三类数据，分别为：冗余数据、缺省数据和错误数据；

S3，清洗异常数据，首先，以时间为主键删除删除异常数据中的冗余数据；然后，对单组传感器测得的错误数据(单组错误数据意为有某组传感器采集数据错误，但有其余组传感器采集数据正常)采用SPGP数据重构法(Seek Partial Guidance of Pearson，对 皮尔逊公式求偏导)进行数据重构；最后，对数据库中整行错误数据(整行错误数据意为 所有组的传感器采集的数据均为错误数据)和整行缺省数据采用基于三次样条插值法的数 据重构法进行数据重构。

具体地，步骤S1中，所述传感器包括光照度传感器、光功率传感器，所述光伏数据包括光照强度、光功率。

具体地，步骤S2中，所述异常数据的分类依据为：

冗余数据：判断多组传感器采集光伏数据的时间值是否一致，时间值不一致的光伏数 据即为冗余数据；

缺省数据：计算多组数据的平均测量时间间隔t，判断每行数据的测量时间与相邻行 数据的测量时间的差值是否超过2t，若超过2t，则该行数据为整行缺省数据；若某行数据中单个数据的测量时间与相邻行中对应数据的测量时间的差值超过2t，则该单个数据为单项缺省数据；

错误数据：光伏数据自身的变化复杂性很强，辐照度、功率等数据深受实时天气状况 的影响，数据本身波动起伏较大，而且传感器故障时错误数据常常集群出现；分别计算各 组数据随时间的变化率，判断每列数据的变化率是否大于前列数据变化率的1.25倍，若是，则进一步判断该列数据是否超出正常数据范围，若两个判断条件均满足，则该列数据为错误数据。

进一步地，由于光伏数据基本遵循正态分布，百分之九十五的数据点在平均值前后两 个标准差的范围之内，故将所述正常数据的范围定义为：

μ-2σ≤x≤μ+2σ

其中，x为正常数据，μ为所有数据的平均值，σ为所有数据的标准差。

具体地，步骤S3中，对单组传感器测得的错误数据采用SPGP数据重构法进行数据重 构的方法为：

令X，Y分别为两组传感器测同一物理量得到的不同数据值序列，X序列中只有一个错 误数据，设该错误数据值为变量x；Y序列中所有数据均为正常数据值；当X、Y两组数据的关联性最强时(此时，异常数据基本满足正常数据的变化趋势)，错误数据x＝x₀，x₀即 为错误数据x的重构数据；计算X、Y两组数据的皮尔逊相关系数ρ_X,Y，即

公式(1)对x求偏导，代入X、Y中的正常光伏数据，令偏导值为0，有

联立公式(1)、(2)解出重构数据值x₀；即，当x＝x₀时，X、Y两组数据的关联性 最强，x₀即为错误数据x重构后的数据值。

进一步地，步骤S3中，所述基于三次样条插值法的数据重构法具体为：

提取所有数据中表现正常的N个数据值作为f(x)，将所述N个数据对应的时间序列设 为区间x＝[x₀,x_N]；将区间x划分为N个等步长的子区间；设在每个子区间 j＝(0,1,...,N-1)内均满足三次多项式S_j(x)，有

S_j(x)＝a_j0+a_j1x+a_j2x²+a_j3x³，

j＝0,1,...,N-1 (3)

由于N个数据均为可用正常数据，令

S(x_j)＝f(x_j),j＝(0,1,...,N) (4)

为保证各子区间的曲线合并为大区间时节点处光滑，令

S(x_j-0)＝S(x_j+0),j＝(0,1,...,N) (5)

S′(x_j-0)＝S′(x_j+0),j＝(1,2,...,N-1) (6)

S″(x_j-0)＝S″(x_j+0),j＝(1,2,...,N-1) (7)

令S(x_j)＝f(x_j)＝y_j (8)

h_j＝x_j-x_j-1 (9)

S″(x_j)＝M_jj＝(0,1,...,N) (10)

由于在子区间[x_j,x_j+1]内S(x)＝S_j(x)为三次多项式，因此S_j″(x)为线性函数，根据拉 格朗日插值公式，有

根据公式(3)～(11)，可得

令

则公式(11)可表示为

α_jM_j-1+2M_j+β_jM_j+1＝c_j j＝(1,2,...,N-1) (13)

根据光伏数据的正态分布特性，数据两端的曲线处于水平状态，有S_j(x)满足第一类边 界条件，有

S′(x₁)＝S′(x_N)＝0 (14)

联立公式(13)、(14)得到关于M_j的N+1阶线性方程组，其矩阵形式为三对角线 方程组，即

代入所有表现正常的光伏数据到公式(15)中，采用追赶法解出M_j，从而得到各子区间的三次多项式；再将检测到的单组错误数据代入该错误数据对应子区间的三次多项式，得到该错误数据重构后的数据值。

本实施例的实验仿真结果如下：

选取两组传感器测得的数据，随机将其中一组的部分数据值设为异常值，如图2所示， 经过本发明的数据清洗方法处理后，得到如图3所示的时间-功率图；对比图2和图3可以 直观的看出本发明的数据清洗方法能够有效地完成对异常数据的识别和重构；

为了比较本发明的数据清洗方法与现有其他重构方法的优劣，比较原始数据和重构后 数据的误差衡量各重构方法的效果，实验计算了不同重构方法重构后的数据和原始数据的 相似程度，用相关系数表示，如表1所示；由表1中的数据可见，本发明的数据清洗方法 得到的数据与原始数据的关联性更强，误差更小，且当异常值增多时相对可靠，能尽可能 地利用更多已有的正常数据。从而可知本发明的数据清洗方法能较好地对光伏数据中的异 常数据进行补齐，且实现了对正常数据的最大化利用。

表1本发明数据清洗方法与现有其他重构方法的效果对比表

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解 在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变 型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种适用于太阳能光伏数据的数据清洗方法，其特征在于，包括以下步骤：

S1，采集光伏数据，在相邻区域设置多组传感器采集太阳能光伏数据，得到多组强关联性数据，将不同组传感器在同一时间采集的数据在数据库中按列进行排序，将同一组传感器在不同时间采集的数据在数据库中按行进行排序；

S2，挖掘所述光伏数据中的异常数据，并将所述异常数据分为三类数据，分别为：冗余数据、缺省数据和错误数据；

S3，清洗异常数据，首先，删除异常数据中的冗余数据；然后，对单组传感器测得的错误数据采用SPGP数据重构法进行数据重构；最后，对数据库中整行错误数据和缺省数据采用基于三次样条插值法的数据重构法进行数据重构。

2.根据权利要求1所述的一种适用于太阳能光伏数据的数据清洗方法，其特征在于，步骤S1中，所述传感器包括光照度传感器、光功率传感器，所述光伏数据包括光照强度、光功率。

3.根据权利要求1所述的一种适用于太阳能光伏数据的数据清洗方法，其特征在于，步骤S2中，所述异常数据的分类依据为：

冗余数据：判断多组传感器采集光伏数据的时间值是否一致，时间值不一致的光伏数据即为冗余数据；

缺省数据：计算多组数据的平均测量时间间隔t，判断每行数据的测量时间与相邻行数据的测量时间的差值是否超过2t，若超过2t，则该行数据为缺省数据；

错误数据：分别计算各组数据随时间的变化率，判断每列数据的变化率是否大于前列数据变化率的1.25倍，若是，则进一步判断该列数据是否超出正常数据范围，若两个判断条件均满足，则该列数据为错误数据。

4.根据权利要求3所述的一种适用于太阳能光伏数据的数据清洗方法，其特征在于，所述正常数据范围的定义为：

μ-2σ≤x≤μ+2σ

其中，x为正常数据，μ为所有数据的平均值，σ为所有数据的标准差。

5.根据权利要求1所述的一种适用于太阳能光伏数据的数据清洗方法，其特征在于，步骤S3中，对单组传感器测得的错误数据采用SPGP数据重构法进行数据重构的方法为：

令X，Y分别为两组传感器测同一物理量得到的不同数据值序列，X序列中只有一个错误数据，设该错误数据值为变量x；Y序列中所有数据均为正常数据值；当X、Y两组数据的关联性最强时，错误数据x＝x₀，x₀即为错误数据x的重构数据；计算X、Y两组数据的皮尔逊相关系数ρ_X,Y，即

公式(1)对x求偏导，代入X、Y中的正常光伏数据，令偏导值为0，有

联立公式(1)、(2)解出重构数据值x₀；即，当x＝x₀时，X、Y两组数据的关联性最强，x₀即为错误数据x重构后的数据值。

6.根据权利要求1所述的一种适用于太阳能光伏数据的数据清洗方法，其特征在于，步骤S3中，所述基于三次样条插值法的数据重构法具体为：

提取所有数据中表现正常的N个数据值作为f(x)，将所述N个数据对应的时间序列设为区间x＝[x₀,x_N]；将区间x划分为N个等步长的子区间；设在每个子区间j＝(0,1,...,N-1)内均满足三次多项式S_j(x)，有

S_j(x)＝a_j0+a_j1x+a_j2x²+a_j3x³，

j＝0,1,...,N-1 (3)

令S(x_j)＝f(x_j),j＝(0,1,...,N) (4)

为保证各子区间的曲线合并为大区间时节点处光滑，令

S(x_j-0)＝S(x_j+0),j＝(0,1,...,N) (5)

S'(x_j-0)＝S'(x_j+0),j＝(1,2,...,N-1) (6)

S”(x_j-0)＝S”(x_j+0),j＝(1,2,...,N-1) (7)

令S(x_j)＝f(x_j)＝y_j (8)

h_j＝x_j-x_j-1 (9)

S″(x_j)＝M_jj＝(0,1,...,N) (10)

根据拉格朗日插值公式，有

根据公式(3)～(11)，可得

令

则公式(11)可表示为

α_jM_j-1+2M_j+β_jM_j+1＝c_jj＝(1,2,…,N-1) (13)

根据光伏数据的正态分布特性，数据两端的曲线处于水平状态，有S_j(x)满足第一类边界条件，有

S'(x₁)＝S'(x_N)＝0 (14)

联立公式(13)、(14)得到关于M_j的N+1阶线性方程组，其矩阵形式为三对角线方程组，即

代入所有表现正常的光伏数据到公式(15)中，采用追赶法解出M_j，从而得到各子区间的三次多项式；再将检测到的单组错误数据代入该错误数据对应子区间的三次多项式，得到该错误数据重构后的数据值。