CN108171400A - 一种基于异常点及离群点检测的风机功率曲线数据预处理方法 - Google Patents

Abstract

本发明公开了一种基于异常点及离群点检测的风机功率曲线数据预处理方法。该方法基于包括风速、有功功率、环境温度以及桨距角等在内的风机数据采集与监视控制(SCADA)系统获得的实时运行数据，使用异常点检测判据进行异常数据清洗，利用计算得到的空气密度对风速数据进行修正，使用离群点检测算法检测并剔除风机功率曲线数据中的离群点。在本数据预处理方法中，异常点检测判据保证了风机数据信息的有效性；风速的修正保证了风机数据的可比性；离群点检测算法保证了最终功率曲线数据的可靠性。本发明方法基于数据驱动，对数据无特殊要求，普适性较强。与现有技术相比，数据可信程度更高，流程更为规范，具有较强的理论性与实用性。

Description

一种基于异常点及离群点检测的风机功率曲线数据预处理 方法

技术领域

本发明涉及一种风机功率曲线数据预处理方法，特别涉及一种基于异常点及离群点检测的风机功率曲线数据预处理方法。

背景技术

在传统化石能源资源匮乏和污染严重的现代社会，风能作为一种无污染、可再生的新能源而广泛为大众所青睐，风电产业也由此成为国内外大力发展的新型可再生能源产业之一。在我国，近十年来有关风电场的建设与相关研究工作无论是从数量上还是质量上来说都有着显著的提升，但在大力发展风力发电行业的同时，也伴随着风机自身的不断退化所导致的一系列负面因素。现今风力发电机在使用的过程中，由于风速具有间歇性与高度不确定性的特点，对风力发电机本身的性能评估造成了较大的影响，而正确对风力发电机的性能与健康状况进行评估与诊断则是风力发电运维方面合理规划的重要之处。

考虑到风机在正常工作中，其不同情况下额故障大多数都会反映在风机的功率曲线中，因此对于风机功率曲线的准确获取是当前研究风机性能状况方面问题的潜在基础。而对于风机的功率曲线获取而言，如何将包含异常甚至错误的数据集信息转变为有效的、统一的、可靠的数据信息则是获取风机真实功率曲线的重中之重。然而，目前现有的功率曲线获取方法在数据预处理方面主要存在着以下几类不足之处：

(1)传统的功率曲线获取方法中未形成针对风机运行数据的数据清洗规范流程；

(2)在研究过程中直接分析不同工况下的全部数据，导致后续数据分析结果不准确；

(3)仅依赖故障检测系统的反馈进行故障数据的判断，无法排除潜在故障的影响。

因此，现有的功率曲线获取技术在数据预处理方面无法从数据集中有效地获取到风机功率曲线的可靠信息，需要进行相应的流程规范化改进。

发明内容

本发明目的在于对现有研究和技术存在的不足之处加以完善与规范化，提出一种基于异常点及离群点检测的风机功率曲线数据预处理方法。该方法对风电场风机功率曲线方法添加更加规范的数据预处理流程，可以提高获取功率曲线的准确性与可靠性，更具有实用价值；且有利于通过数据分析对潜在故障进行检测，方法应用的扩展性高。

本发明的目的通过以下的技术方案实现：一种基于异常点及离群点检测的风机功率曲线数据预处理方法，该方法包括以下步骤：

1)根据待评估风机功率曲线获取需求，读取相应需求周期内总计N条待评估风机的SCADA系统中测量得到的风机运行数据信息，该信息包含风速{v_i}、有功功率{P_i}、桨距角{β_i}以及环境温度{T_i}，将信息数据集记为其中i＝1,2,3,…,N；

2)对步骤1)中的数据集进行异常点检测，并剔除异常点，保留余下不符合异常点特征的总计N_normal条运行数据作为风机标准运行数据集其中i＝1,2,3,…,N_normal；

3)利用步骤2)中标准运行数据集计算得出相应时刻空气密度集{ρ_i}，将标准运行数据集中的风速{v_i}修正为参考空气密度ρ₀下的修正风速

4)将步骤3)中修正后的标准运行数据集中的修正风速以及有功功率{P_i}合成功率曲线数据集{PC_i}，并以一定的风速间隔将功率曲线数据集{PC_i}划分为M个区间，并记第k个区间的数据个数为N_k、功率曲线数据集为其中k＝1,2,3,…,M，i＝1,2,3,…,N_k；

5)分别对步骤4)中划分得到的每个区间的数据集进行标准差标准化，并对各个区间进行离群点检测，剔除离群点，然后进行标准差标准化还原；

6)将步骤5)中还原后的每个区间的数据集进行合并，得到最终功率曲线数据集作为预处理后的风机功率曲线数据。

作为更进一步描述，所述方法步骤2)中，利用基于时间序列的风机功率曲线异常点判据进行异常点检测，包括两种情况：

情况1：根据风速{v_i}、有功功率{P_i}、桨距角{β_i}定义基于时间序列的风机功率曲线异常点判据，如下表3所示：

表3 风机功率异常点基础判断准则(仅基于基础信息)

其中P_rated为风机额定有功功率，v_{cut_in}为风机切入风速，v_rated为风机额定风速，v_{cut_off}为风机切出风速，P_thres为有功功率阈值，β_thres为桨距角阈值。

情况2：通过SCADA系统获取风机状态{Cond_i}，根据风速{v_i}、有功功率{P_i}、桨距角{β_i}以及风机状态{Cond_i}定义基于时间序列的风机功率曲线异常点判据，如下表4所示：

表4 风机功率异常点改进判断准则(基于SCADA系统风机状态信息)

其中Cond_normal为风机正常运行状态，Cond_ls为风机低风速正常运行状态，Cond_hs为风机高风速正常运行状态，P_rated为风机额定有功功率，v_{cut_in}为风机切入风速，P_thres为有功功率阈值，β_thres为桨距角阈值。

作为更进一步描述，所述方法步骤3)中的空气密度ρ_i以及修正风速的计算公式如下：

a)空气密度ρ_i：

其中R₀为干燥空气的比气体常数；R_w为水蒸气的比气体常数；P_w为水蒸气的气压；B_i为环境气压，通过SCADA系统获取，或者通过估计，其中B₀为标准海平面大气压强，e为自然常数，g为重力加速度，z为风机轮毂处海拔高度，R为空气的比气体常数；为相对环境湿度，通过SCADA系统获取，或者设置

b)修正风速

其中ρ₀为参考空气密度。

作为更进一步描述，所述方法步骤4)中数据集{PC_i}的区间划分方法如下：

a)确定数据集{PC_i}中的修正风速中的最大值并记其中v_{cut_off}为风机切出风速；

b)确定划分区间数M，则第k个区间的功率曲线数据集定义为

其中为第k个区间的风速范围上界，同时为第k+1个区间的风速范围下界，其计算公式为

此外，分别表示第1个区间的下界以及第M个区间的上界。

作为更进一步描述，所述方法步骤5)中，每个区间数据集的标准差标准化公式如下：

其中分别对应区间内的第i个标准差标准化风速以及有功功率数据，分别为对应区间内修正风速以及有功功率{P_i}的均值，σ_v,σ_P分别为对应区间内修正风速以及有功功率{P_i}的标准差。

作为更进一步描述，所述方法步骤5)中，通过k近邻(kNN)离群点检测算法对各个区间进行离群点检测，具体为：

a)确定特定区间的离群点数量n_i以及衡量距离点的个数K_i；

b)记第i条数据为x_i，针对区间内每一条数据x_i，分别计算与其他数据x_j之间的距离dist_i,j，计算公式如下

其中分别为对应区间内的第i个标准差标准化风速以及有功功率；

c)对第i条数据到其他数据x_j之间的距离dist_i,j由小到大进行排序，选出其中距离最小的K_i个距离，将其累加作为第i条数据的k近邻距离kdist_i；

d)将该区间的所有数据的k近邻距离kdist_i全部计算之后，从中选取最大的n_i个值，其所对应的n_i条数据则被视为该区间的离群点并剔除；

e)分别对所有M个区间重复以上步骤a)至步骤d)，直到所有区间的离群点均被检测完毕并剔除。

与现有技术相比，本发明具有以下创新优势及显著效果：

1)针对风机功率曲线获取方法中风机运行数据集异常值的特征设计了数据预处理的规范性流程，为后续数据分析方法建立数据可靠性与规范性方面的优势；

2)针对风机运行数据在不同工况下进行采集的特点，采用数据修正计算的方式将数据转换至同工况数据进行比较分析，提高了数据分析研究过程中的准确率，也使得后续数据分析处理的结果与相关应用更符合真实情况，具有较强的实用性；

3)针对风机数据集修正前后的相关统计特征，利用基于kNN的离群点检测方法针对潜在故障数据进行检测与剔除，保证了数据集的可靠性；相关离群点的检测结果也可扩展到故障分析与故障预警方面的研究中，具有较强的扩展性。

附图说明

图1是本发明的风电场风机功率曲线数据预处理方法流程图；

图2是本发明应用于实施例的原始数据集风速-功率散点图；

图3是本发明步骤2处理后风机的异常点检测结果风速-功率散点图；

图4是本发明步骤3空气密度修正后风机的风速-功率散点图；

图5是本发明基于kNN的离群点检测结果图。

具体实施方式

以下结合附图对本发明的具体实施方法与工作原理作如下详述：

实施例

本实施例对某风电场的某台风力发电机的SCADA系统在2014年采集到的数据进行风机功率曲线数据预处理，其中风力发电机SCADA系统的数据采样间隔为10min，数据信息为期1年，时间范围为2014.01.01 00:00:00至2014.12.31 23:50:00。数据集包括的具体变量以及相关数据信息如表5、表6所示：

表5 某风电场某风机SCADA系统数据集部分数据

表6 某风电场某风机SCADA系统数据集变量信息

变量名称	变量含义	变量单位
			时间戳	数据采集时间	年-月-日时:分:秒
桨距角β	当前风机桨距角	deg
			风速v	当前风机机舱风速	m/s
有功功率P	当前风机有功功率	kW
			环境温度T	风机运行环境温度	℃

本实施例中默认功率曲线数据预处理方法的实施数据集即为上述某风机的1年运行数据，方法结果为风机功率曲线数据的预处理结果，方法实施步骤具体如下：

1)根据待评估风机功率曲线获取需求，读取相应需求周期内总计N条待评估风机的SCADA系统中测量得到的风机运行数据信息，该信息包含风速{v_i}、有功功率{P_i}、桨距角{β_i}以及环境温度{T_i}，将信息数据集记为其中i＝1,2,3,…,N。根据表3与表4中列出的数据信息，其包括了本步骤中所需的必要信息(风速、有功功率、桨距角以及环境温度)，除此之外并不包括其他额外信息，图2所示的结果为本步骤中的风机风速-功率曲线原始数据的散点图；

2)对步骤1)中的数据集进行异常点检测，并剔除异常点，保留余下不符合异常点特征的总计N_normal条运行数据作为风机标准运行数据集其中i＝1,2,3,…,N_normal；此时由于风机的数据集信息包括SCADA系统风机状态信息，因此按照如下表7所示的异常点判断准则进行异常点的判断：

表7 实施例功率异常点判断准则

在本实施例中，P_rated为1500kW，v_{cut_in}为2m/s，v_rated为14m/s，v_{cut_off}为25m/s，P_thres为10kW，β_thres为4°。图3所示的结果图展示了本步骤中异常点检测的结果图，包括正常点、异常点及其类别；

3)利用步骤2)中标准运行数据集计算得出相应时刻空气密度集{ρ_i}，将标准运行数据集中的风速{v_i}修正为参考空气密度ρ₀下的修正风速相应空气密度ρ_i计算公式如下：

在本实施例中，R₀为287.05J/(kg·K)，R_w为461.5J/(kg·K)，P_w的计算公式为

由于数据集并不包括环境气压信息B_i与相对环境湿度信息因此环境气压B_i以及相对湿度可以由下式近似确定：

在本实施例中，B₀为101325Pa，g为9.8m/s²，z为71m，R为287.05J/(kg·K)。相应修正风速计算公式如下：

在本实施例中，ρ₀为1.225kg/m³。图4所示的结果图展示了空气密度修正后风机的风速-功率散点图；

4)将步骤3)中修正后的标准运行数据集中的修正风速以及有功功率{P_i}合成功率曲线数据集{PC_i}，并以一定的风速间隔将功率曲线数据集{PC_i}划分为M个区间，并记第k个区间的数据个数为N_k、功率曲线数据集为其中k＝1,2,3,…,M，i＝1,2,3,…,N_k；具体划分规则如下：

步骤1：首先确定数据集{PC_i}中的修正风速信息中的最大值记 在本实施例中，v_{cut_off}为25m/s，归一化风速最大值为22.0795m/s，故v_max为23m/s；

步骤2：在本实施例中，确定划分区间数M为24，因此第k个区间与第k+1个区间相应风速范围界限的计算公式为

此外，分别表示第1个区间的下界以及第24个区间的上界。特别地，划分区间的确定方式一般可以选为v_max+1或其整数倍。

5)分别对步骤4)中划分得到的每个区间的数据集进行标准差标准化，并对各个区间进行离群点检测，剔除离群点，然后进行标准差标准化还原；相应标准差标准化公式定义如下：

上式针对本实施例中的每一个区间的数据而言，将实施例中所有区间的数据标准化后应用相关kNN离群点检测算法，具体实施步骤如下：

步骤1：确定特定区间的离群点数量n_i以及衡量距离点的个数K_i，在本实施例中，离群点的数量与衡量距离点的个数由实际情况进行决定。

步骤2：记第i条数据为x_i，针对区间内每一条数据x_i，分别计算与其他数据x_j之间的距离dist_i,j，计算公式如下

步骤3：对第i条数据到其他数据x_j之间的距离dist_i,j由小到大进行排序，选出其中距离最小的K_i个距离，将其累加作为第i条数据的k近邻距离kdist_i；

步骤4：将该区间的所有数据的k近邻距离kdist_i全部计算之后，从中选取最大的n_i个值，其所对应的n_i条数据则被视为该区间的离群点剔除；

步骤5：分别对所有M个区间重复以上步骤1)至步骤4)，直到所有区间的离群点均被检测完毕并剔除。

6)将步骤5)中还原后的每个区间的数据集进行合并，得到最终功率曲线数据集作为预处理后的风机功率曲线数据。在本实施例中，方法流程的最终输出结果见图5，其中“×”符号表示kNN算法检测得到的离群点，“·”符号则是最终数据预处理输出的风机正常运行工作点。

本发明基于异常点及离群点检测，主要包括风机数据异常点检测与剔除、风机数据空气密度修正、风机数据区域划分以及基于kNN算法的风机数据离群点检测与剔除等环节组成。图1为异常点检测判据结合kNN离群点检测的风电场风机功率曲线数据预处理方法实施与应用的具体流程。整个实施例是按照图1中所示的流程，对风机功率曲线数据集进行预处理操作。图2-图5是使用本发明异常点检测判据结合kNN离群点检测的风电场风机功率曲线数据预处理方法进行数据预处理的各个环节结果，该计算结果显示，对风机的运行数据预处理得到的风机正常工作情况下的风机风速-功率散点图可以较好地反映出风机的实际运行情况，使得处理之后的数据具有较好的真实性与可靠性，有利于后续针对风机性能状况与故障预警方面的相关研究。

Claims (6)

1.一种基于异常点及离群点检测的风机功率曲线数据预处理方法，其特征在于，包括以下步骤：

1)根据待评估风机功率曲线获取需求，读取相应需求周期内总计N条待评估风机的SCADA系统中测量得到的风机运行数据信息，该信息包含风速{v_i}、有功功率{P_i}、桨距角{β_i}以及环境温度{T_i}，将信息数据集记为其中i＝1,2,3,…,N；

2)对步骤1)中的数据集进行异常点检测，并剔除异常点，保留余下不符合异常点特征的总计N_normal条运行数据作为风机标准运行数据集其中i＝1,2,3,…,N_normal；

3)利用步骤2)中标准运行数据集计算得出相应时刻空气密度集{ρ_i}，将标准运行数据集中的风速{v_i}修正为参考空气密度ρ₀下的修正风速

4)将步骤3)中修正后的标准运行数据集中的修正风速以及有功功率{P_i}合成功率曲线数据集{PC_i}，并以一定的风速间隔将功率曲线数据集{PC_i}划分为M个区间，记第k个区间的数据个数为N_k、功率曲线数据集为其中k＝1,2,3,…,M，i＝1,2,3,…,N_k；

5)分别对步骤4)中划分得到的每个区间的数据集进行标准差标准化，并对各个区间进行离群点检测，剔除离群点，然后进行标准差标准化还原；

6)将步骤5)中还原后的每个区间的数据集进行合并，得到最终功率曲线数据集作为预处理后的风机功率曲线数据。

2.根据权利要求1所述的一种基于异常点及离群点检测的风机功率曲线数据预处理方法，其特征在于，所述步骤2)中，利用基于时间序列的风机功率曲线异常点判据进行异常点检测，包括两种情况：

情况1：根据风速{v_i}、有功功率{P_i}以及桨距角{β_i}定义基于时间序列的风机功率曲线异常点判据，如下表1所示：

表1风机功率曲线异常点基础判据

其中P_rated为风机额定有功功率，v_{cut_in}为风机切入风速，v_rated为风机额定风速，v_{cut_off}为风机切出风速，P_thres为有功功率阈值，β_thres为桨距角阈值。

情况2：通过SCADA系统获取风机状态{Cond_i}，根据风速{v_i}、有功功率{P_i}、桨距角{β_i}以及风机状态{Cond_i}定义基于时间序列的风机功率曲线异常点判据，如下表2所示：

表2风机功率曲线异常点改进判据

其中Cond_normal为风机正常运行状态，Cond_ls为风机低风速正常运行状态，Cond_hs为风机高风速正常运行状态，P_rated为风机额定有功功率，v_{cut_in}为风机切入风速，P_thres为有功功率阈值，β_thres为桨距角阈值。

3.根据权利要求1所述的一种基于异常点及离群点检测的风机功率曲线数据预处理方法，其特征在于，所述步骤3)中，空气密度ρ_i以及修正风速的计算公式如下：

a)空气密度ρ_i：

其中R₀为干燥空气的比气体常数；R_w为水蒸气的比气体常数；P_w为水蒸气的气压；B_i为环境气压，通过SCADA系统获取，或者通过估计，其中B₀为标准海平面大气压强，e为自然常数，g为重力加速度，z为风机轮毂处海拔高度，R为空气的比气体常数；为相对环境湿度，通过SCADA系统获取，或者设置

b)修正风速

其中ρ₀为参考空气密度。

4.根据权利要求1所述的一种基于异常点及离群点检测的风机功率曲线数据预处理方法，其特征在于，所述步骤4)中，数据集{PC_i}的区间划分方法如下：

a)确定数据集{PC_i}中的修正风速中的最大值并记其中v_{cut_off}为风机切出风速；

b)确定划分区间数M，则第k个区间的功率曲线数据集定义为

其中为第k个区间的风速范围上界，同时为第k+1个区间的风速范围下界，其计算公式为

此外，分别表示第1个区间的下界以及第M个区间的上界。

5.根据权利要求1所述的一种基于异常点及离群点检测的风机功率曲线数据预处理方法，其特征在于，所述步骤5)中，每个区间数据集的标准差标准化公式如下：

其中分别对应区间内的第i个标准差标准化风速以及有功功率数据，分别为对应区间内修正风速以及有功功率{P_i}的均值，σ_v,σ_P分别为对应区间内修正风速以及有功功率{P_i}的标准差。

6.根据权利要求1所述的一种基于异常点及离群点检测的风机功率曲线数据预处理方法，其特征在于，所述步骤5)中，通过kNN离群点检测算法对各个区间进行离群点检测，具体为：

a)确定特定区间的离群点数量n_i以及衡量距离点的个数K_i；

b)记第i条数据为x_i，针对区间内每一条数据x_i，分别计算与其他数据x_j之间的距离dist_i,j，计算公式如下

其中分别为对应区间内的第i个标准差标准化风速以及有功功率；

c)对第i条数据到其他数据x_j之间的距离dist_i,j由小到大进行排序，选出其中距离最小的K_i个距离，将其累加作为第i条数据的k近邻距离kdist_i；

d)将该区间的所有数据的k近邻距离kdist_i全部计算之后，从中选取最大的n_i个值，其所对应的n_i条数据则被视为该区间的离群点并剔除；

e)分别对所有M个区间重复以上步骤a)至步骤d)，直到所有区间的离群点均被检测完毕并剔除。