CN117235449A - 基于sigmoid曲线及双包络算法的风电功率异常数据处理方法 - Google Patents

Abstract

一种基于sigmoid曲线及双包络算法的风电功率异常数据处理方法，包括如下步骤：步骤1，数据收集，从风电场收集原始数据，将数据整理成为时间戳‑风速‑功率的格式；步骤2，数据预处理，对于步骤1中数据负值进行清理，形成清洗后的数据集；步骤3，使用曲线拟合方法对步骤2中数据进行拟合，拟合函数使用包含偏置参数的Sigmoid函数；步骤4，根据拟合结果形成包络曲线；步骤5，将包络曲线外的数据进行清理，形成新的清理后数据集；步骤6，使用清理后数据集输入给风电机组功率预测模型进行功率预测。它能有效地识别和清除风电机组功率曲线中的异常数据，解决了不同类型的异常数据难以识别的问题。

Description

基于sigmoid曲线及双包络算法的风电功率异常数据处理 方法

技术领域

本发明涉及一种风电功率异常数据处理方法，具体是一种基于sigmoid曲线及双包络算法的风电功率异常数据处理方法，属于风电机组的数据处理技术。

背景技术

风力发电机组是一种重要的可再生能源发电设备，其风速-功率曲线是风电场风机发电出力的重要特征指标。在实际发电过程中，由于各种原因，异常数据会导致风力发电机的风速功率曲线存在较大噪声或者曲线形态失真，这些异常数据会影响对风电机组发电量与发电功率的分析与预测。因此，需要一种有效的方法来识别和清除这些异常数据。传统人工清理方法需要大量人工分析干预，效率较低且依赖人员经验。一些基于孤立森林等机器学习的算法在噪声数据较多的情况下对于数据的清洗会失真，实际应用过程中效果也较差。因此需要一种较为稳定且可以将清洗后数据贴近真实风速功率曲线数据的方式进行数据清洗。

风力发电离群点和异常值严重影响了风电功率预测模型的准确率，一些有代表性的研究方法被提出，比如，有的结合四分位数方法和基于密度的聚类方法对数据进行清理，有的提出了基于图像的风力曲线异常数据检测与清理算法。尽管这些方法都取得了一定效果，但基于聚类的算法会将频繁的异常数据识别为正常数据，基于图像的异常值检测算法复杂度高，给应用带来不便。

相关专利文献：CN115510043A公开了一种风电功率曲线异常数据剔除方法，包括以下步骤：(1)采用分区间孤立森林算法剔除风力曲线中的分散型异常数据和弃风限电数据；(2)判断风力曲线中是否存在弃风数据，若是，转步骤(3)，否则得到符合风电机组运行规律的数据样本；(3)采用均值漂移聚类算法对剩余异常数据进行剔除，得到符合风电机组运行规律的数据样本。它提出分区间孤立森林和均值漂移聚类组合算法的数据处理手段，该算法不仅对于常规文献着重讨论的风电功率曲线有效，对于发生严重弃风现象的风电机组的功率曲线也能发挥作用，从而在一定程度上缓解风电机组的异常数据问题。CN111145109A公开了一种基于图像的风力发电功率曲线异常数据识别与清洗方法，包括以下步骤：1)建立映射关系，将风力发电的散点数据转化为二值数字图像；2)将二值数字图像转化为特征灰度图像；3)对特征灰度图像进行识别，进行数据清洗。通过栅格化散点数据，建立散点数据与数字图像之间的映射，将基于传统数据挖掘算法的数据清洗问题转化为图像分割问题，运用成熟的图像分割算法来解决数据清洗问题。

以上技术方案并未较好地解决不同类型的异常数据难以识别的问题。

发明内容

本发明的目的在于提供一种基于sigmoid曲线及双包络算法的风电功率异常数据处理方法，它能有效地识别和清除风电机组功率曲线中的异常数据，以解决不同类型的异常数据难以识别的问题。

为解决上述技术问题，本发明采用的技术方案如下：

一种基于sigmoid曲线及双包络算法的风电功率异常数据处理方法（或者说是基于sigmoid特征曲线算法的风电机组功率曲线异常数据处理方法），其技术方案在于它包括如下步骤：

步骤1，数据收集，从风电场收集原始数据，将数据整理成为时间戳-风速-功率的格式；

步骤2，数据预处理，对于步骤1中数据负值进行清理，形成清洗后的数据集；

步骤3，使用曲线拟合方法对步骤2中数据进行拟合，拟合函数使用包含偏置参数的Sigmoid函数，即基于Sigmoid函数曲线对步骤2中数据进行拟合；

步骤4，根据拟合结果形成包络曲线；

步骤5，将包络曲线外的数据进行清理，形成新的清理后数据集；

步骤6，使用清理后数据集输入给风电机组功率预测模型进行功率预测。

上述技术方案中，优选的技术方案可以是，步骤2中，数据预处理包括以下步骤：

步骤21、初步数据清洗：去除数据中的噪声和异常值，保留有效数据，具体操作方法是将数据中的风速负值的键值对进行去除，将功率负值设置为0；

步骤22、数据归一化：将数据按照一定的比例缩放，使得数据在同一尺度下进行比较和分析；使用最大最小值归一化方法，其操作方式如公式F(x)， 其中x为待缩放变量，Min(x)为变量x的最小值，Max(x)为变量x的最大值，，这种方式会将数据范围都缩放在所示区间中。

上述技术方案中，优选的技术方案还可以是，步骤3中，基于Sigmoid函数曲线对步骤2中数据进行拟合的具体方法为：

使用曲线拟合算法进行数据拟合，所述算法（方法）的输入参数包括：独立变量组成的数组x，x代表风速；标准sigmoid曲线函数公式如下所示：，将公式（1）进行如下变换：/>，

在公式（2）中，代表拟合后的整场发电功率；cap代表装机容量，a、b为风机出力散点图拟合系数，使用曲线拟合方法计算有偏置参数的sigmoid函数的参数对散点进行拟合，曲线拟合的核心原理是利用最小二乘法，让残差平方和最小，残差平方和定义如下：，其中SSE为残差平方和，x_i为i时刻的风速，y_i为i时刻的发电功率，

拟合过程中使用高斯牛顿法构造雅克比矩阵，其定义如下：，

其中参数p通过迭代法定义并通过迭代更新，参数p的迭代定义如下：，操作过程中对迭代参数p引入弹性参数,防止高斯牛顿法不稳定，定义如下：/>，

通过计算机迭代解析求导求取目标函数对参数的导数,根据雅克比矩阵进行协方差计算，参数协方差矩阵的定义如下，其中S²为均方误差:，

调用所述方法后,可获得最优参数a,b和相关矩阵cov，从而获取最优参数a，b。

上述技术方案中，优选的技术方案还可以是，步骤5中，将包络曲线外的数据进行清理的具体步骤为：

步骤51、根据拟合曲线计算包络区域：根据拟合曲线计算包络区域，按照原始散点图，图中曲线为拟合后的sigmoid曲线，图中的散点是风电场以阈值为形成的上下两条包络线内的散点，该散点作为有效点进行异常值清洗后结果，/>取值为1%、5%、19%时，风电场对两条包络线之外的点标记为异常点，两个风电场阈值设为19%时准确地识别出异常点，当阈值为1%、5%时，会将部分异常值识别为正常值。

步骤51进一步的方法是，根据拟合曲线计算包络区域。根据拟合曲线计算包络区域，图4、图8是原始散点图，图中曲线为拟合后的sigmoid曲线。图5至图7中的散点是风电场#1以阈值为形成的上下两条包络线内的散点，该散点作为有效点进行异常值清洗后结果，/>取值对应图5至图7，分别为1%、5%、19%，对两条包络线之外的点标记为异常点。同样，图9至图11中的散点是风电场#2以阈值为/>形成的上下两条包络线内的散点，该散点作为有效点进行异常值清洗后结果。通过观察发现，两个风电场阈值设为19%时能够很准确地识别出异常点，当阈值为1%、5%时，会将部分异常值识别为正常值。

步骤52、根据数据在散点图上是否落在包络区域外，判断数据点是否为异常数据。

组合算法的具体步骤：将聚类结果和异常数据识别结果进行整合，得到最终的异常数据处理结果；对处理结果进行可视化和分析，以便进一步的数据挖掘和分析。

本发明提供了一种基于sigmoid曲线及双包络算法的风电功率异常数据处理方法（数据清洗方法），该处理方法在基本数据预处理基础上首先使用函数拟合算法对功率曲线数据进行拟合，得到函数曲线特征值，然后使用双包络法获取数据清洗区间。最后，将包络线范围外的数据进行清理，以得到最终的数据清洗结果。

与现有技术相比，本发明具有以下优点：

（1）采用了稳定的曲线拟合算法，能够有效地识别和清除风电机组功率曲线中的异常数据；（2）使用曲线拟合利用了数据密度分布可以有效抵抗数据质量较差带来的清洗结果范围波动，能够识别不同类型的异常数据；（3）实现简单，计算效率高，适用于大规模数据处理和分析。

将本发明所述的数据清洗方法应用在山西1处、贵州1处等多地风电场，实验结果表明，使用经过本发明清洗后的数据，在2022年1-12月特征数据上进行验证清洗后数据，对模型的训练准确率相比未清洗时可提升约10%（从79%提升至89%左右）。对于这种高装机容量的风电场可有效减少因预报误差带来的弃风现象，预计每个月可以减少至少三万元因弃风带来的经济损失。

附图说明

图1为本发明的风电机组功率曲线异常数据处理方法的参考图（流程图）。

图2为本发明所涉及的Sigmoid函数形状图，图3为风机发电功率散点形状图。图2、图3形成本发明所涉及的Sigmoid函数形状与风机发电功率散点形状对比图。

图4、图5、图6、图7为风电场1#数据检测到的异常数据点图。其中，图4为1#风电场未经算法清洗散点图，图5为1#风电场按照丢弃1%数值点清洗后散点图，图6为1#风电场按照丢弃5%数值点清洗后散点图，图7为1#风电场按照丢弃19%数值点清洗后散点图。

图8、图9、图10、图11为风电场2#数据检测到的异常数据点图。其中，图8为2#风电场未经算法清洗散点图，图9为2#风电场按照丢弃1%数值点清洗后散点图，图10为2#风电场按照丢弃5%数值点清洗后散点图，图11为2#风电场按照丢弃19%数值点清洗后散点图。

具体实施方式

为使本发明的发明目的、技术方案和优点更加清楚，下面将结合实施例对本发明的技术方案进行清楚、完整的描述。显然，所描述的实施例是本发明一部分实施例，而非全部实施例。基于本实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的范围。

实施例：如图1、图2、图3、图4、图5、图6、图7、图8、图9、图10、图11所示，本发明的基于sigmoid曲线及双包络算法的风电功率异常数据处理方法包括如下步骤：

步骤1，数据收集，从风电场收集原始数据，将数据整理成为时间戳-风速-功率的格式。

步骤2，数据预处理，对于步骤1中数据负值进行清理，形成清洗后的数据集。步骤2中，数据预处理具体包括以下步骤：

步骤21、初步数据清洗：去除数据中的噪声和异常值，保留有效数据，具体操作方法是将数据中的风速负值的键值对进行去除，将功率负值设置为0；

步骤22、数据归一化：将数据按照一定的比例缩放，使得数据在同一尺度下进行比较和分析；使用最大最小值归一化方法，其操作方式如公式F(x)， 其中x为待缩放变量，Min(x)为变量x的最小值，Max(x)为变量x的最大值，，这种方式会将数据范围都缩放在所示区间中。

步骤3，使用曲线拟合方法对步骤2中数据进行拟合，拟合函数使用包含偏置参数的Sigmoid函数，即基于Sigmoid函数曲线对步骤2中数据进行拟合。步骤3中，基于Sigmoid函数曲线对步骤2中数据进行拟合的具体方法为：本发明使用曲线拟合算法进行数据拟合，曲线拟合算法是一种利用最小二乘法拟合曲线的方法,适用于各类拟合问题,包括指数拟合、多项式拟合、指数量拟合等。其通过设定拟合函数形式,调用最小二乘法迭代求解函数参数,从而得到最佳拟合曲线。所述算法（方法）的输入参数包括：

独立变量组成的数组x，x代表风速。用于拟合的sigmoid函数介绍：Sigmoid是一个在生物学中常见的S型函数，也称为S型生长曲线。在信息科学领域，由于其单增以及反函数单增等性质，Sigmoid函数常被用作神经网络的激活函数，将变量映射到0,1之间。标准sigmoid曲线函数公式如下所示：。

由于公式(1)中，S(x)的取值范围为[0,1]，坐标原点为（0，0.5），无法满足风机发电曲线因此需要对标准的Sigmoid函数进行放大和坐标原点的平移操作。于是将公式（1）进行如下变换：，

在公式（2）中，代表拟合后的整场发电功率；cap代表装机容量，a、b为风机出力散点图拟合系数，在本发明中，使用曲线拟合方法计算有偏置参数的sigmoid函数的参数对散点进行拟合，曲线拟合的核心原理是利用最小二乘法，让残差平方和最小，残差平方和定义如下：/>，其中SSE为残差平方和，x_i为i时刻的风速，y_i为i时刻的发电功率，

拟合过程中使用高斯牛顿法构造雅克比矩阵，其定义如下：，

其中参数p通过迭代法定义并通过迭代更新，参数p的迭代定义如下：，实际操作过程中对迭代参数p引入弹性参数,防止高斯牛顿法不稳定，定义如下：/>，

通过计算机迭代解析求导求取目标函数对参数的导数,根据雅克比矩阵进行协方差计算，参数协方差矩阵的定义如下，其中S²为均方误差:，

调用所述方法后,可获得最优参数a,b和相关矩阵cov，从而获取最优参数a，b。所述曲线拟合方法提高了曲线拟合的效率,降低了用户的代码实现难度,可实现指数、多项式、高斯等多种函数形式的快速拟合,是一种实用的工具函数。该方法具有实现简易、使用方便等优点。可广泛应用于科研、工程中的曲线拟合问题,具有推广价值。

步骤4，根据拟合结果形成包络曲线。

步骤5，将包络曲线外的数据进行清理，形成新的清理后数据集。步骤5中，将包络曲线外的数据进行清理的具体步骤为：

步骤51、根据拟合曲线计算包络区域：根据拟合曲线计算包络区域，按照原始散点图，图中曲线为拟合后的sigmoid曲线，图中的散点是风电场以阈值为形成的上下两条包络线内的散点，该散点作为有效点进行异常值清洗后结果，/>取值为1%、5%、19%时，风电场对两条包络线之外的点标记为异常点，两个风电场阈值设为19%时准确地识别出异常点，当阈值为1%、5%时，会将部分异常值识别为正常值。

步骤51进一步的方法是，根据拟合曲线计算包络区域。根据拟合曲线计算包络区域，图4、图8是原始散点图，图中曲线为拟合后的sigmoid曲线。图5至图7中的散点是风电场#1以阈值为形成的上下两条包络线内的散点，该散点作为有效点进行异常值清洗后结果，/>取值对应图5至图7，分别为1%、5%、19%，对两条包络线之外的点标记为异常点。同样，图9至图11中的散点是风电场#2以阈值为/>形成的上下两条包络线内的散点，该散点作为有效点进行异常值清洗后结果。通过观察发现，两个风电场阈值设为19%时能够很准确地识别出异常点，当阈值为1%、5%时，会将部分异常值识别为正常值。

步骤52、根据数据在散点图上是否落在包络区域外，判断数据点是否为异常数据。

步骤6，使用清理后数据集输入给风电机组功率预测模型进行功率预测。

本发明通过观察图3中风机出力数据的分布，正常数据的分布与图2的Sigmoid函数形状非常相似，受此启发，提出了一种高效的基于Sigmoid函数的风力发电离群点数据的清洗算法。

综上所述，本发明与现有技术相比，本发明的实施方式具有以下优点：

（1）采用了稳定的曲线拟合算法，能够有效地识别和清除风电机组功率曲线中的异常数据；（2）使用曲线拟合利用了数据密度分布可以有效抵抗数据质量较差带来的清洗结果范围波动，能够识别不同类型的异常数据；（3）实现简单，计算效率高，适用于大规模数据处理和分析。

将本发明所述的数据清洗方法应用在山西1处、贵州1处等多地风电场，实验结果表明，使用经过本发明清洗后的数据，在2022年1-12月特征数据上进行验证清洗后数据，对模型的训练准确率相比未清洗时可提升约10%（从79%提升至89%左右）。对于这种高装机容量的风电场可有效减少因预报误差带来的弃风现象，预计每个月可以减少至少三万元因弃风带来的经济损失。

Claims (4)

1.一种基于sigmoid曲线及双包络算法的风电功率异常数据处理方法，其特征在于它包括如下步骤：

步骤1，数据收集，从风电场收集原始数据，将数据整理成为时间戳-风速-功率的格式；

步骤2，数据预处理，对于步骤1中数据负值进行清理，形成清洗后的数据集；

步骤3，使用曲线拟合方法对步骤2中数据进行拟合，拟合函数使用包含偏置参数的Sigmoid函数，即基于Sigmoid函数曲线对步骤2中数据进行拟合；

步骤4，根据拟合结果形成包络曲线；

步骤5，将包络曲线外的数据进行清理，形成新的清理后数据集；

步骤6，使用清理后数据集输入给风电机组功率预测模型进行功率预测。

2.根据权利要求1所述的基于sigmoid曲线及双包络算法的风电功率异常数据处理方法，其特征在于步骤2中，数据预处理包括以下步骤：

步骤21、初步数据清洗：去除数据中的噪声和异常值，保留有效数据，具体操作方法是将数据中的风速负值的键值对进行去除，将功率负值设置为0；

步骤22、数据归一化：将数据按照一定的比例缩放，使得数据在同一尺度下进行比较和分析；使用最大最小值归一化方法，其操作方式如公式F(x)，其中x为待缩放变量，Min(x)为变量x的最小值，Max(x)为变量x的最大值，，这种方式会将数据范围都缩放在所示区间中。

3.根据权利要求1所述的基于sigmoid曲线及双包络算法的风电功率异常数据处理方法，其特征在于步骤3中，基于Sigmoid函数曲线对步骤2中数据进行拟合的具体方法为：

使用曲线拟合算法进行数据拟合，所述算法的输入参数包括:：

独立变量组成的数组x，x代表风速；标准sigmoid曲线函数公式如下所示：，将公式（1）进行如下变换：

，

在公式（2）中，代表拟合后的整场发电功率；cap代表装机容量，a、b为风机出力散点图拟合系数，使用曲线拟合方法计算有偏置参数的sigmoid函数的参数对散点进行拟合，曲线拟合的核心原理是利用最小二乘法，让残差平方和最小，残差平方和定义如下：，其中SSE为残差平方和，x_i为i时刻的风速，y_i为i时刻的发电功率，

拟合过程中使用高斯牛顿法构造雅克比矩阵，其定义如下：，

其中参数p通过迭代法定义并通过迭代更新，参数p的迭代定义如下：，操作过程中对迭代参数p引入弹性参数，定义如下：，

通过计算机迭代解析求导求取目标函数对参数的导数,根据雅克比矩阵进行协方差计算，参数协方差矩阵的定义如下，其中S²为均方误差:，

调用所述方法后,可获得最优参数a,b和相关矩阵cov，从而获取最优参数a，b。

4.根据权利要求1所述的基于sigmoid曲线及双包络算法的风电功率异常数据处理方法，其特征在于步骤5中，将包络曲线外的数据进行清理的具体步骤为：

步骤51、根据拟合曲线计算包络区域：根据拟合曲线计算包络区域，按照原始散点图，图中曲线为拟合后的sigmoid曲线，图中的散点是风电场以阈值为形成的上下两条包络线内的散点，该散点作为有效点进行异常值清洗后结果，/>取值为1%、5%、19%时，风电场对两条包络线之外的点标记为异常点，两个风电场阈值设为19%时准确地识别出异常点，当阈值为1%、5%时，会将部分异常值识别为正常值；

步骤52、根据数据在散点图上是否落在包络区域外，判断数据点是否为异常数据。