CN109918364A - 一种基于二维概率密度估计和四分位法的数据清洗方法 - Google Patents

Abstract

本发明属于风电机组数据测量处理技术领域，尤其涉及一种基于二维概率密度估计和四分位法的数据清洗方法，包括：采集风电机组轮毂高度处风速、功率、桨距角数据后归一化预处理，形成样本数据集；采用二维非参数核密度估计方法计算功率和桨距角的联合概率密度函数，并通过网格划分法确定桨距角分界线位置；基于桨距角分界线，将功率和桨距角数据划分为正常数据和异常数据，并采用数据时间对标法得到正常的风速和功率数据；针对清洗后遗漏异常数据，采用四分位法进行数据再清洗。本方法通用性强，可有效识别过渡区域数据类别和科学地清洗大量堆积型限电数据，为风电机组的效能评估、性能分析、状态诊断、健康管理以及功率预测等提供可靠的数据基础。

Description

一种基于二维概率密度估计和四分位法的数据清洗方法

技术领域

本发明属于风电机组数据测量处理技术领域，尤其涉及一种基于二维概率密度估计和四分位法的数据清洗方法。

背景技术

风电机组实测功率曲线能够表征风电机组实际运行状况，是进行风电机组功率特性评估及预测的前提和关键。风电机组的实测功率曲线是动态的，受气象因素、环境条件、系统控制、设备故障等一系列因素的影响，采集得到的风速功率数据存在大量的异常数据，无法直接用于功率曲线拟合，需要先进行异常数据清洗。考虑到实际功率曲线复杂多变的特点，传统的数据清洗方法普遍缺乏通用性，尤其对于存在大量堆积型限电数据样本，传统的数据清洗方法无法有效识别过渡区域数据类别，容易造成正常数据的错删和异常数据的漏删，影响数据样本的完整性和正确性。

发明内容

针对现有技术的不足，本发明提供一种基于二维概率密度估计和四分位法的数据清洗方法，包括：

步骤1：采集风电机组轮毂高度处风速、功率、桨距角数据后归一化预处理，形成样本数据集；

步骤2：采用二维非参数核密度估计方法计算功率和桨距角的联合概率密度函数，并通过网格划分法确定桨距角分界线位置；

步骤3：基于桨距角分界线，将功率和桨距角数据划分为正常数据和异常数据，并采用数据时间对标法得到正常的风速和功率数据；

步骤4：针对清洗后遗漏异常数据，采用四分位法进行数据再清洗。

所述步骤2包括：

步骤201：设置功率和桨距角联合概率密度阈值，剔除低概率密度异常点；

步骤202：将功率和桨距角为坐标轴划分二维网格，并以每个网格内联合概率密度最大值作为该网格的参考联合概率密度；

步骤203：拟合每个功率区间内参考概率密度随桨距角的变化曲线，取第1个极小值所处网格的功率中心点，桨距角下界作为该区间的桨距角分界点坐标；

步骤203：统计各个功率区间内桨距角分割点坐标，形成桨距角分割点坐标集，通过曲线拟合得到桨距角分界线。

所述步骤4包括：

步骤401：将清洗后的数据根据风速值划分为多个风速区间，采用四分位法求解每个风速区间内功率的异常值内限，剔除内限以外的异常数据，完成纵向异常数据点清洗；

步骤402：基于上述数据，根据功率值划分为多个功率区间，采用四分位法求解每个功率区间内风速的异常值内限，剔除内限以外的异常数据，完成横向异常数据点清洗。

本发明的有益效果：

本发明提供的数据清洗方法通用性强，可以有效识别过渡区域数据类别，能够科学地清洗大量堆积型限电数据，为风电机组运行效能评估、发电性能分析、状态诊断及健康管理以及风电功率预测等领域的研究提供可靠的数据基础。

附图说明

图1是基于二维概率密度估计和四分位法数据清洗流程图；

图2是风电机组实测风速-功率散点图；

图3是风电机组实测功率-桨距角散点图；

图4是实测功率-桨距角二维概率密度分布图；

图5是正常数据和异常数据桨距角分界线示意图；

图6是风电机组正常数据和异常数据识别结果图；

图7是基于四分位法数据清洗结果图。

具体实施方式

下面结合附图，对实施例作详细说明。

本发明涉及一种基于二维概率密度估计和四分位法的数据清洗方法，如图1所示，具体实施步骤如下：

(1)采集风电机组轮毂高度处风速、功率、桨距角等数据，绘制风电机组实测风速-功率散点图，如附图2所示；绘制风电机组实测功率-桨距角散点图，如附图3所示。采用归一化公式(1)对数据进行预处理，形成样本数据集；

(2)采用二维非参数核密度估计方法计算功率和桨距角的联合概率密度函数，如式(2)所示，实测功率-桨距角二维概率密度分布如附图4所示，并通过网格划分法确定桨距角分界线位置；

式(2)中，为基于非参数核密度估计的功率和桨距角联合概率密度函数，核函数选用的是高斯核函数，h_P和h_β为窗宽，N为数据样本总数。

1)设置功率和桨距角联合概率密度阈值为3，剔除低概率密度异常点；

2)设置网格，将功率和桨距角划分为100×100个网格，G(i,j)＝{[P_i-1,P_i],[β_j-1,β_j]}；i＝1,2,…M；j＝1,2,…N，M为功率轴区间个数，此处为100，N为桨距角轴区间个数，此处为100，并以每个网格内联合概率密度最大值作为该网格的参考联合概率密度；

3)拟合每个功率区间内参考概率密度随桨距角的变化曲线，取第1个极小值所处网格的功率中心点，桨距角下界作为该区间的桨距角分界点坐标，记为S(i),i＝1,2,…M，M＝100；

4)统计各个功率区间内桨距角分割点坐标，形成桨距角分割点坐标集S＝{s(1),s(2),…s(M)}，M＝100，通过曲线拟合得到桨距角分界线，如附图5所示。

(3)基于桨距角分界线，将功率和桨距角数据划分为正常数据和异常数据，并采用数据时间对标法得到正常的风速和功率数据，如附图6所示；

(4)针对清洗后遗漏异常数据，采用四分位法进行数据再清洗，数据清洗结果如附图7所示，具体清洗步骤如下：

1)将清洗后的数据根据风速值划分为m＝44个风速区间，采用四分位法求解每个风速区间内功率的异常值内限，如公式(3)所示，此处m剔除内限以外的异常数据，完成纵向异常数据点清洗；

[P_i ^l,P_i ^u]＝[P_i1-1.5I_i,P_i3+1.5I_i],i＝1,2,…m (3)

式(3)中，P_i ^l和P_i ^u为第i个风速区间内功率正常值的上下限，P_i1和P_i3为第i个风速区间内功率数据样本的第1分位数和第3分位数，I_i为第i个风速区间内功率数据样本的四分位距，I_i＝P_i3-P_i1。

2)基于上述数据，根据功率值划分为n＝50个功率区间，采用四分位法求解每个功率区间内风速的异常值内限，如公式(4)所示，剔除内限以外的异常数据，完成横向异常数据点清洗。

[V_i ^l,V_i ^u]＝[V_i1-1.5I_i,V_i3+1.5I_i],i＝1,2,…n (4)

式(4)中，V_i ^l和V_i ^u为第i个风速区间内功率正常值的上下限，V_i1和V_i3为第i个风速区间内功率数据样本的第1分位数和第3分位数，I_i为第i个风速区间内功率数据样本的四分位距，I_i＝V_i3-V_i1。

通过具体实例分析可以看出：本发明提出的基于二维概率密度估计和四分位法的数据清洗方法通用性强，可以有效识别过渡区域数据类别，能够科学地清洗大量堆积型限电数据。

此实施例仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (3)

1.一种基于二维概率密度估计和四分位法的数据清洗方法，其特征在于，包括：

步骤1：采集风电机组轮毂高度处风速、功率、桨距角数据后归一化预处理，形成样本数据集；

步骤2：采用二维非参数核密度估计方法计算功率和桨距角的联合概率密度函数，并通过网格划分法确定桨距角分界线位置；

步骤3：基于桨距角分界线，将功率和桨距角数据划分为正常数据和异常数据，并采用数据时间对标法得到正常的风速和功率数据；

步骤4：针对清洗后遗漏异常数据，采用四分位法进行数据再清洗。

2.根据权利要求1所述方法，其特征在于，所述步骤2包括：

步骤201：设置功率和桨距角联合概率密度阈值，剔除低概率密度异常点；

步骤202：将功率和桨距角为坐标轴划分二维网格，并以每个网格内联合概率密度最大值作为该网格的参考联合概率密度；

步骤203：拟合每个功率区间内参考概率密度随桨距角的变化曲线，取第1个极小值所处网格的功率中心点，桨距角下界作为该区间的桨距角分界点坐标；

步骤203：统计各个功率区间内桨距角分割点坐标，形成桨距角分割点坐标集，通过曲线拟合得到桨距角分界线。

3.根据权利要求1或2所述方法，其特征在于，所述步骤4包括：

步骤401：将清洗后的数据根据风速值划分为多个风速区间，采用四分位法求解每个风速区间内功率的异常值内限，剔除内限以外的异常数据，完成纵向异常数据点清洗；

步骤402：基于上述数据，根据功率值划分为多个功率区间，采用四分位法求解每个功率区间内风速的异常值内限，剔除内限以外的异常数据，完成横向异常数据点清洗。