CN110751213B - 一种测风塔异常风速数据识别与补齐的方法 - Google Patents

Abstract

本发明涉及风电技术领域，是一种测风塔异常风速数据识别与补齐的方法，其特点是：包括：风速数据异常值的设置、识别异常风速数据、识别结果校正、异常风速数据补齐、仿真计算、评价指标等步骤，能够考虑风速滤波误差特性，物理意义清晰，并考虑测风塔不同高度的波动特性，能够满足实测数据使用要求。具有科学合理，适用性强，精度高，效果佳等优点。

Description

一种测风塔异常风速数据识别与补齐的方法

技术领域

本发明涉及风电技术领域，是一种测风塔异常风速数据识别与补齐的方法。

背景技术

风电场历史数据主要包括：测风塔气象数据和风场监控系统得到的风机实际功率数据，测风塔气象数据具体包含风速、风向、气压、温度、湿度等信息，能真实客观地反映该区域的风能资源情况，并且可以用于计算理论发电量。但在实际的风电场运营中，因数据采集通道拥堵或测量环节故障导致几乎每个风电场都会出现数据异常、不真实甚至丢失。若直接使用这些坏数据进行风电场运行的研究，将导致结果产生较大误差，降低了评估结果的准确度，

常用的测风塔异常数据识别方法一般是四分位法和3σ准则，但在数据识别时往往会误识别大量正常数据；现有的测风塔异常数据补齐方法可分为平均值补齐、条件平均值补齐、组合化补齐、条件组合化补齐等。上述方法既可以对连续型数据补齐又可以对离散型数据补齐，很好地保证了数据的分布规律，但忽略了数据属性之间以及对象之间的相互关系。

发明内容

本发明的目的是，提供一种物理意义清晰、考虑系统动态特性，具有科学合理、实用性强、精度高、效果佳，且能够满足实测数据使用要求的测风塔异常风速数据识别与补齐的方法。

实现发明目的采用的技术方案是：一种测风塔异常风速数据识别与补齐的方法，其特征在于：它包括以下步骤：

1)风速数据异常值的设置

测风塔气象数据具体包含风速、风向、气压、温度、湿度信息，其中风速数据选择测风塔距地面10m、50m、65m和80m四个高度进行量测，将测风塔四个高度在同一时间段的1000×4个历史风速数据作为研究样本，考虑到测风塔本身异常数据特性，在每一个高度的1000个数据中选择100个随机置0作为异常数据；

2)识别异常风速数据

对异常风速数据的识别是基于最小二乘滤波和肖维勒处理两种方法实现的，具体步骤为：

①对四个高度的异常风速数据进行最小二乘滤波处理，最小二乘法是将输入的暂态信号与一预设的含有非周期分量、基波分量和某些整次谐波分量的函数依据最小二乘法原则进行拟合，其拟合函数为

式中X_Rn、X_In分别为n次谐波信号的实部和虚部,即X_Rn＝Xncosθn,X_In＝Xnsinθn；Xn为信号的幅值，θn为初相角；X0为衰减非周期分量的起始值，Td为时间常数；

②滤波后得到滤波误差，观察滤波误差符合正态分布，对其进行肖维勒识别，肖维勒准则是在n次测量中，取不可能发生的个数为0.5，那么对正态分布而言，误差不可能出现的概率为：

利用标准正态函数表，根据等式右端的已知值n可查表求出肖维勒系数ω_n，对于数据点x_d，若其残差V_d满足V_d>ω_nσ则剔除，否则x_d应保留，其中σ是样本标准差；

3)识别结果校正

测风塔相应高度的风速数据都具有一定的关联性，选择相应高度的风速数据，按(3)式进行校正:

w_i＝E_ai-E_bi (3)

式中E_ai为待处理高度处第i时刻风速滤波误差，E_bi为对比高度处第i时刻风速滤波误差，w_i为滤波差值；

若w_i在某一范围内，表示第i时刻的风速数据正常波动，超出这个范围表示第i时刻的风速数据波动异常；

4)异常风速数据补齐

对异常风速数据补齐选择基于属性重要度的相似片段补齐法，是按某列数据对整体数据的重要性分先后顺序进行补齐，具体步骤为：

①首先将异常风速数据分为完整数据集和缺失数据集，在完整数据集中进行属性重要度分析；

②选择Calinski-Harabasz准则确定最佳聚类数，K：四类数据计算得最佳聚类数；K1：删除10m风速时计算的最佳聚类数；K2：删除50m风速时计算的最佳聚类数；K3：删除65m风速时计算的最佳聚类数；K4：删除80m风速时计算的最佳聚类数；Calinski Harabasz指数VRC_K定义为：

其中，K是聚类数，N是样本数，SS_B是组与组之间的平方和误差，SS_W是组内平方和误差，因此，如果SS_W越小、SS_B越大，那么聚类效果就会越好，即Calinsky criterion值越大，聚类效果越好；

③令S_i＝K-K_i，i＝1,2,3,4,按S_i大小排序，确定五类数据的属性重要度顺序，S_i越大，该类属性对整体数据越重要，影响度越大；

④按确定好的属性重要度顺序，从大到小依次基于马氏距离找相似片段进行数据补齐；基于马氏距离找相似片段的补齐方法，将数据均分成若干片段，对于缺失数据对应的完整片段与其他片段进行马氏距离计算，得到最相似片段，选择相应位置数据进行补齐；对于一个均值为μ＝(μ₁,μ₂,...,μ_p)^T,协方差矩阵为Σ的多变量向量x＝(x₁,x₂,...,x_p)^T,其马氏距离为：

⑤将补齐好的数据放入到完整数据表中，再进行下一属性数据的补齐，直至全部补完；

5)仿真计算

仿真输入量：风电场风速异常数据/风电场风速缺失数据，根据步骤1)至4)，得到该测风塔风速异常数据识别与补齐结果；

6)评价指标

利用总识别率R％，正确识别率r％与误识别率w％三种指标来对比不同方法的异常数据识别效果，总识别率R能够表示识别出的数据占总数据的比值；正确识别率r表示能够准确识别出的异常数据占总异常数据的比例，能够反映数据识别的效率；误识别率w表示误识别的数据个数占总识别出的数据的比例，能够反映数据识别的准确率，总识别率R为(6)式，正确识别率r为(7)式，误识别率w为(8)式：

式中：n_all表示算法总共识别出的数据个数；N表示数据总数；n_jud表示准确识别出的异常数据个数；n表示实际的异常数据个数；n_fau错误识别的数据个数；

对于风速数据补齐效果，每个位置的补齐值及其绝对误差不会相同，所以将各个补齐位置的绝对误差取绝对值后再求平均值，即选择平均绝对误差(MAE)进行评估，单位是m/s，公式为：

式中：V_r,i表示i位置的真实风速；V_c,i表示i位置的补齐风速；n代表实际异常数据个数，

按步骤5)输入仿真输入量，将模型计算的风速数据同实际风速数据经过步骤6)中的(6)-(9)式进行误差计算，给出识别与补齐方法的结果分析。

本发明提出的一种测风塔异常风速数据识别与补齐的方法，创新性在于考虑了风速滤波误差特性，物理意义清晰，并考虑测风塔不同高度的波动特性，适用于测风塔异常风速数据识别与补齐；也能够评价其他识别与补齐。具有科学合理，适用性强，精度高，效果佳等优点。

附图说明

图1为最小二乘滤波前后测风塔10m风速数据对比图；

图2为计及校正环节的测风塔异常风速数据识别与补齐流程图；

图3为测风塔10m风速数据缺失点补齐效果示意图。

具体实施方式

下面结合附图和具体实施例，对本发明的一种测风塔异常风速数据识别与补齐的方法作进一步说明。

结合图1-图3，本发明的一种测风塔异常风速数据识别与补齐的方法，包括以下步骤：

1)风速数据异常值的设置

测风塔气象数据具体包含风速、风向、气压、温度、湿度信息，其中风速数据选择测风塔距地面10m、50m、65m和80m四个高度进行量测，将测风塔四个高度在同一时间段的1000×4个历史风速数据作为研究样本，考虑到测风塔本身异常数据特性，在每一个高度的1000个数据中选择100个随机置0作为异常数据；

2)识别异常风速数据

①对异常风速数据的识别是基于最小二乘滤波和肖维勒处理两种方法实现的，具体步骤为：

对四个高度的异常风速数据进行最小二乘滤波处理，最小二乘法是将输入的暂态信号与一预设的含有非周期分量、基波分量和某些整次谐波分量的函数依据最小二乘法原则进行拟合，其拟合函数为

式中X_Rn、X_In分别为n次谐波信号的实部和虚部,即X_Rn＝Xncosθn,X_In＝Xnsinθn；Xn为信号的幅值，θn为初相角；X0为衰减非周期分量的起始值，Td为时间常数；

②滤波后得到滤波误差，观察滤波误差符合正态分布，对其进行肖维勒识别，肖维勒准则是在n次测量中，取不可能发生的个数为0.5，那么对正态分布而言，误差不可能出现的概率为：

利用标准正态函数表，根据等式右端的已知值n可查表求出肖维勒系数ω_n，对于数据点x_d，若其残差V_d满足V_d>ω_nσ则剔除，否则x_d应保留，其中σ是样本标准差；

3)识别结果校正

测风塔相应高度的风速数据都具有一定的关联性，选择相应高度的风速数据，按(3)式进行校正:

w_i＝E_ai-E_bi (3)

式中E_ai为待处理高度处第i时刻风速滤波误差，E_bi为对比高度处第i时刻风速滤波误差，w_i为滤波差值；

若w_i在某一范围内，表示第i时刻的风速数据正常波动，超出这个范围表示第i时刻的风速数据波动异常；

4)异常风速数据补齐

①对异常风速数据补齐选择基于属性重要度的相似片段补齐法，是按某列数据对整体数据的重要性分先后顺序进行补齐，具体步骤为：

首先将异常风速数据分为完整数据集和缺失数据集，在完整数据集中进行属性重要度分析；

②选择Calinski-Harabasz准则确定最佳聚类数，K：四类数据计算得最佳聚类数；K1：删除10m风速时计算的最佳聚类数；K2：删除50m风速时计算的最佳聚类数；K3：删除65m风速时计算的最佳聚类数；K4：删除80m风速时计算的最佳聚类数；Calinski Harabasz指数VRC_K定义为：

其中，K是聚类数，N是样本数，SS_B是组与组之间的平方和误差，SS_W是组内平方和误差，因此，如果SS_W越小、SS_B越大，那么聚类效果就会越好，即Calinsky criterion值越大，聚类效果越好；

③令S_i＝K-K_i，i＝1,2,3,4,按S_i大小排序，确定五类数据的属性重要度顺序，S_i越大，该类属性对整体数据越重要，影响度越大；

④按确定好的属性重要度顺序，从大到小依次基于马氏距离找相似片段进行数据补齐；基于马氏距离找相似片段的补齐方法，将数据均分成若干片段，对于缺失数据对应的完整片段与其他片段进行马氏距离计算，得到最相似片段，选择相应位置数据进行补齐；对于一个均值为μ＝(μ₁,μ₂,...,μ_p)^T,协方差矩阵为Σ的多变量向量x＝(x₁,x₂,...,x_p)^T,其马氏距离为：

⑤将补齐好的数据放入到完整数据表中，再进行下一属性数据的补齐，直至全部补完；

5)仿真计算

仿真输入量：风电场风速异常数据/风电场风速缺失数据，根据步骤1)至4)，得到该测风塔风速异常数据识别与补齐结果；

6)评价指标

利用总识别率R％，正确识别率r％与误识别率w％三种指标来对比不同方法的异常数据识别效果，总识别率R能够表示识别出的数据占总数据的比值；正确识别率r表示能够准确识别出的异常数据占总异常数据的比例，能够反映数据识别的效率；误识别率w表示误识别的数据个数占总识别出的数据的比例，能够反映数据识别的准确率，总识别率R为(6)式，正确识别率r为(7)式，误识别率w为(8)式：

式中：n_all表示算法总共识别出的数据个数；N表示数据总数；n_jud表示准确识别出的异常数据个数；n表示实际的异常数据个数；n_fau错误识别的数据个数；

对于风速数据补齐效果，每个位置的补齐值及其绝对误差不会相同，所以将各个补齐位置的绝对误差取绝对值后再求平均值，即选择平均绝对误差(MAE)进行评估，单位是m/s，公式为：

式中：V_r,i表示i位置的真实风速；V_c,i表示i位置的补齐风速；n代表实际异常数据个数，

按步骤5)输入仿真输入量，将模型计算的风速数据同实际风速数据经过步骤6)中的(6)-(9)式进行误差计算，给出识别与补齐方法的结果分析。

具体算例分析

本发明以东北某风电场2014年2月的实测数据为例进行分析，采样间隔为15min，测风塔高度分别是10m、50m、65m和80m。预测结果评价指标选为总识别率、正确识别率、误识别率和平均绝对误差。

表1测风塔异常风速数据识别结果

Tab.1 Wind tower abnormal wind speed data identification result

	R％	r％	W％
				10m	10.1	99	2
50m	10.0	100	0
				65m	10.2	99	3
80m	10.4	98	6

表2测风塔风速数据补齐结果

Tab.2 Wind tower wind speed data to complete the results

	MAE
		10m	0.0845
50m	0.0893
		65m	0.0759
80m	0.0576

本发明的特定实施例已对本发明的内容作出了详尽的说明，但不局限本实施例，本领域技术人员根据本发明的启示所做的任何显而易见的改动，都属于本发明权利保护的范围。

Claims (1)

1.一种测风塔异常风速数据识别与补齐的方法，其特征在于：它包括以下步骤：

1)风速数据异常值的设置

测风塔气象数据具体包含风速、风向、气压、温度和湿度信息，其中风速数据选择测风塔距地面10m、50m、65m和80m四个高度进行量测，将测风塔四个高度在同一时间段的1000×4个历史风速数据作为研究样本，考虑到测风塔本身异常数据特性，在每一个高度的1000个数据中选择100个随机置0作为异常数据；

2)识别异常风速数据

对异常风速数据的识别是基于最小二乘滤波和肖维勒处理两种方法实现的，具体步骤为：

①对四个高度的异常风速数据进行最小二乘滤波处理，最小二乘法是将输入的暂态信号与一预设的含有非周期分量、基波分量和某些整次谐波分量的函数依据最小二乘法原则进行拟合，其拟合函数为

式中X_Rn、X_In分别为n次谐波信号的实部和虚部,即X_Rn＝Xncosθn,X_In＝Xnsinθn；Xn为信号的幅值，θn为初相角；X0为衰减非周期分量的起始值，Td为时间常数；

②滤波后得到滤波误差，观察滤波误差符合正态分布，对其进行肖维勒识别，肖维勒准则是在n次测量中，取不可能发生的个数为0.5，那么对正态分布而言，误差不可能出现的概率为：

利用标准正态函数表，根据等式右端的已知值n可查表求出肖维勒系数ω_n，对于数据点x_d，若其残差V_d满足V_d>ω_nσ则剔除，否则x_d应保留，其中σ是样本标准差；

3)识别结果校正

测风塔相应高度的风速数据都具有一定的关联性，选择相应高度的风速数据，按(3)式进行校正:

w_i＝E_ai-E_bi (3)

式中E_ai为待处理高度处第i时刻风速滤波误差，E_bi为对比高度处第i时刻风速滤波误差，w_i为滤波差值；

若w_i在某一范围内，表示第i时刻的风速数据正常波动，超出这个范围表示第i时刻的风速数据波动异常；

4)异常风速数据补齐

对异常风速数据补齐选择基于属性重要度的相似片段补齐法，是按某列数据对整体数据的重要性分先后顺序进行补齐，具体步骤为：

①首先将异常风速数据分为完整数据集和缺失数据集，在完整数据集中进行属性重要度分析；

②选择Calinski-Harabasz准则确定最佳聚类数，K：四类数据计算得最佳聚类数；K1：删除10m风速时计算的最佳聚类数；K2：删除50m风速时计算的最佳聚类数；K3：删除65m风速时计算的最佳聚类数；K4：删除80m风速时计算的最佳聚类数；Calinski Harabasz指数VRC_K定义为：

其中，K是聚类数，N是样本数，SS_B是组与组之间的平方和误差，SS_W是组内平方和误差，因此，如果SS_W越小和SS_B越大，那么聚类效果就会越好，即Calinsky criterion值越大，聚类效果越好；

③令S_i＝K-K_i，i＝1,2,3,4,按S_i大小排序，确定五类数据的属性重要度顺序，S_i越大，该类属性对整体数据越重要，影响度越大；

④按确定好的属性重要度顺序，从大到小依次基于马氏距离找相似片段进行数据补齐；基于马氏距离找相似片段的补齐方法，将数据均分成若干片段，对于缺失数据对应的完整片段与其他片段进行马氏距离计算，得到最相似片段，选择相应位置数据进行补齐；对于一个均值为μ＝(μ₁,μ₂,...,μ_p)^T,协方差矩阵为Σ的多变量向量x＝(x₁,x₂,...,x_p)^T,其马氏距离为：

⑤将补齐好的数据放入到完整数据表中，再进行下一属性数据的补齐，直至全部补完；

5)仿真计算

仿真输入量：风电场风速异常数据/风电场风速缺失数据，根据步骤1)至4)，得到该测风塔风速异常数据识别与补齐结果；

6)评价指标

利用总识别率R％，正确识别率r％与误识别率w％三种指标来对比不同方法的异常数据识别效果，总识别率R能够表示识别出的数据占总数据的比值；正确识别率r表示能够准确识别出的异常数据占总异常数据的比例，能够反映数据识别的效率；误识别率w表示误识别的数据个数占总识别出的数据的比例，能够反映数据识别的准确率，总识别率R为(6)式，正确识别率r为(7)式，误识别率w为(8)式：

式中：n_all表示算法总共识别出的数据个数；N表示数据总数；n_jud表示准确识别出的异常数据个数；n表示实际的异常数据个数；n_fau错误识别的数据个数；

对于风速数据补齐效果，每个位置的补齐值及其绝对误差不会相同，所以将各个补齐位置的绝对误差取绝对值后再求平均值，即选择平均绝对误差(MAE)进行评估，单位是m/s，公式为：

式中：V_r,i表示i位置的真实风速；V_c,i表示i位置的补齐风速；n代表实际异常数据个数，

按步骤5)输入仿真输入量，将模型计算的风速数据同实际风速数据经过步骤6)中的(6)-(9)式进行误差计算，给出识别与补齐方法的结果分析。

Images