CN112632047A - 一种基于变窗口模式识别的时间序列数据处理方法 - Google Patents

Abstract

一种基于变窗口模式识别的时间序列缺失值填补方法，所述方法包括如下步骤：基于运行机理的风电机组有功功率相关性变量选取；基于数据特征选择的风电机组有功功率相关性变量选取；针对风电机组有功功率的多维相关性变量的变窗口模式匹配；基于相似模式的风电机组有功功率连续缺失数据块多重填补；多重填补结果评价及确认；针对工业物联网广泛存在以及常见的数据连续缺失情况，可以高效、准确的实现高比例缺失数据的填补，大大提高有效数据量，为机器学习、人工智能等数据驱动类算法的实施和应用奠定了重要的数据基础。

Description

一种基于变窗口模式识别的时间序列数据处理方法

技术领域

本发明属于数据处理领域，特别是涉及一种基于变窗口模式识别的时间序列数据处理方法。

背景技术

随着物联网的出现，时间序列数据被传感器广泛采集和存储。然而，受断电、通讯或存储等因素影响，易引发数据连续缺失并形成缺失数据块，降低了数据质量，不仅影响实时监测性能，还危害到后续的离线数据分析与处理工作。

此外，受通讯干扰、传感器故障等因素影响，物联网所采集的时间序列中同样包含大量异常数据，在经历数据预处理环节后，大量异常数据被清洗，进一步加剧数据缺失程度。尤其是，连续缺失数据块的规模进一步增加，大大增加了缺失数据填补的难度。

当缺失数据占比较高时，用于缺失数据填补的有效信息急剧减少，如何实现高效、准确的完成缺失数据填补，并保证填补质量。

发明内容

为了克服以上现有生产中技术的不足，提供了一种基于变窗口模式识别的时间序列缺失值填补方法

一种基于变窗口模式识别的时间序列缺失值填补方法，其特征在于，所述方法包括如下步骤：

步骤(1)，基于运行机理的风电机组有功功率相关性变量选取；

步骤(2)，基于数据特征选择的风电机组有功功率相关性变量选取；

步骤(3)，针对风电机组有功功率的多维相关性变量的变窗口模式匹配；

步骤(4)，基于相似模式的风电机组有功功率连续缺失数据块多重填补；

步骤(5)，多重填补结果评价及确认。

本发明的有益效果是：针对工业物联网广泛存在以及常见的数据连续缺失情况，通过本方法可以高效、准确的实现高比例缺失数据的填补，大大提高有效数据量。为机器学习、人工智能等数据驱动类算法的实施和应用奠定了重要的数据基础。

附图说明

图1为数据填补流程图；

图2为基于高斯过程回归算法的数据填补结果；

具体实施方式

下面结合附图对本发明作进一步描述，应当理解，此处所描述的内容仅用于说明和解释本发明，并不用于限定本发明。

风力发电场的数据监测与采集(SCADA)系统处理大量原始数据，例如选取某型号风电机组的风速、有功功率原始数据进行后续分析处理。由于数据采集、传输、存储、弃风限电后的数据清洗等原因，预处理后的风电机组有功功率数据形成了规模不等的数据缺失。其中，由于弃风限电及数据清洗，导致了大量连续缺失数据块的出现。

本发明提供一种基于变窗口模式识别的时间序列缺失值填补方法，针对风力发电系统数据缺失进行处理，所述方法包括如下步骤：

步骤(1)，基于运行机理的风电机组有功功率相关性变量选取；

步骤(2)，基于数据特征选择的风电机组有功功率相关性变量选取；

步骤(3)，针对风电机组有功功率的多维相关性变量的变窗口模式匹配；

步骤(4)，基于相似模式的风电机组有功功率连续缺失数据块多重填补；

步骤(5)，多重填补结果评价及确认。

所述步骤(1)中：设风电机组有功功率为缺失数据变量为I。对于风力发电系统运行过程的输出数据，可根据风力发电过程运行机理，从先验机理知识的角度，选择与数据缺失变量相关的若干相关性变量R_i，如风速、风向、风电场内调度指令、风轮转速、桨距角等，形成相关性变量候选集合R＝{R₁,R₂,…,R_i}，i＝1,2,…,N。

所述步骤(2)中：针对候选集合中的相关性变量R，从风力发电过程运行数据中，以时间间隔T采集运行数据。采用滤波法，实现针对风电机组有功功率的相关性特征变量选择，进一步精细化选取与被填补数据变量相关的特征变量为风速，R_f＝{R₁,R₂,…,R_j}，j＝1,2,…,N_f，其中，R_f∈R，也即N_f＝1。

所述步骤(3)中：设在时刻t_n，变量I缺失数据值为I(t_n)。以I(t_n)为锚点选取时间窗口，窗宽W(t_n)＝2p+1。以时刻t_n-p为起点、t_n+p为终点，从特征变量集R_f中选取相应时间起止点的时间序列，建立多维时间序列的目标模式片段R_f,obj(t_n-p,t_n+p)＝{R_1,obj,R_2,obj,…,R_j,obj}，j＝1,2,…,N_f。

定义变量集X_rem＝{I_rem,R_f,rem}；其中，I_rem为变量I的剩余数据，R_f,rem为与I_rem相对应的R_f中的剩余数据。从R_f,rem中截取长度为2p+1的时间片段，得到截取的模式集合R_f,rem(2p+1)＝{R_1,rem,R_2,rem,…,R_j,rem}。

以欧式距离为评价指标，采用逐步逼近法，定义并计算R_j与R_j,rem间的欧式距离为d_j，j＝1,2,…,N_f。若d_j<ε_j，则认为R_f,rem(2p+1)是R_f,obj(t_n-p,t_n+p)的相似模式，其中，ε_j为大于0的正数。若ε_j的值越小，则认为R_f,rem(2p+1)与R_f,obj(t_n-p,t_n+p)的相似精度越高。根据R_f中的变量类型及数量级大小，ε_j的设定可以更加灵活，如为固定值或对R_f中的变量分组固定。

设定X_rem的样本量为N_rem，从中进行k次模式筛选，得到k组相似模式集R_f,rem(2p+1)。

所述步骤(4)中：基于筛选出的k组相似模式集R_f,rem(2p+1)，从变量I中截取相应的k组时间片段I_rem(2p+1)，据此进行I(t_n)的多重填补。填补方法可根据k组R_f,rem(2p+1)、I_rem(2p+1)的值进行多重均值填补、时间序列填补等。

以时间序列填补为例进行说明。

时间序列填补方法如下：查找I_rem(2p+1)的中心值I_rem(p+1)，以I_rem(p+1)作为输出，以(I_rem(1:p),R_1,rem(1:p+1),R_2,rem(1:p+1),…,R_j,rem(1:p+1))作为输入，采用高斯过程回归方法建立回归模型。得到k组I_rem(p+1)的回归值I_rem,reg(p+1)，对其求平均值即得到I_rem,reg,ave(p+1)作为I(t_n)的多重填补值。

所示步骤(5)中：针对步骤(4)得到的连续数据缺失数据块的多重填补结果，采用多角度指标进行评价，如采用归一化均方根误差、归一化平均绝对值误差等确定性评价指标，以及归一化的填补误差平均置信带宽。其中，定义连续缺失数据块的长度为l_c，置信度为τ，填补值为I_imp，I_mea、I_rate为机组有功功率测量值、额定值，各指标定义如下：

归一化均方根误差：

归一化平均绝对值误差：

归一化的填补误差平均置信带宽：

最后应说明的是：以上所述仅为本发明的解释，并不用于限制本发明，尽管对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于变窗口模式识别的时间序列缺失值填补方法，其特征在于，所述方法包括如下步骤：

步骤(1)，基于运行机理的风电机组有功功率相关性变量选取；

步骤(2)，基于数据特征选择的风电机组有功功率相关性变量选取；

步骤(3)，针对风电机组有功功率的多维相关性变量的变窗口模式匹配；

步骤(4)，基于相似模式的风电机组有功功率连续缺失数据块多重填补；

步骤(5)，多重填补结果评价及确认。

2.根据权利要求1所述的基于变窗口模式识别的时间序列缺失值填补方法，其特征在于，步骤(1)中，设风电机组有功功率为缺失数据变量为I；对于风力发电系统运行过程的输出数据，根据风力发电过程运行机理，选择与数据缺失变量相关的若干相关性变量R_i，形成相关性变量候选集合R＝{R₁,R₂,…,R_i}，i＝1,2,…,N。

3.根据权利要求2所述的基于变窗口模式识别的时间序列缺失值填补方法，其特征在于，相关性变量R_i包括风速、风向、风电场内调度指令、风轮转速、桨距角。

4.根据权利要求1所述的基于变窗口模式识别的时间序列缺失值填补方法，其特征在于，步骤(2)中：针对候选集合中的相关性变量R，从风力发电过程运行数据中，以时间间隔T采集运行数据；采用滤波法，针对风电机组有功功率的相关性特征变量选择，R_f＝{R₁,R₂,…,R_j}，j＝1,2,…,N_f，其中，R_f∈R。

5.根据权利要求4所述的基于变窗口模式识别的时间序列缺失值填补方法，其特征在于，进一步精细化选取与被填补数据变量相关的特征变量为风速，即N_f＝1。

6.根据权利要求1所述的基于变窗口模式识别的时间序列缺失值填补方法，其特征在于，步骤(3)中：设在时刻t_n，变量I缺失数据值为I(t_n)；以I(t_n)为锚点选取时间窗口，窗宽W(t_n)＝2p+1；以时刻t_n-p为起点、t_n+p为终点，从特征变量集R_f中选取相应时间起止点的时间序列，建立多维时间序列的目标模式片段R_f,obj(t_n-p,t_n+p)＝{R_1,obj,R_2,obj,…,R_j,obj}，j＝1,2,…,N_f；

定义变量集X_rem＝{I_rem,R_f,rem}；其中，I_rem为变量I的剩余数据，R_f,rem为与I_rem相对应的R_f中的剩余数据；从R_f,rem中截取长度为2p+1的时间片段，得到截取的模式集合R_f,rem(2p+1)＝{R_1,rem,R_2,rem,…,R_j,rem}；

以欧式距离为评价指标，采用逐步逼近法，定义并计算R_j与R_j,rem间的欧式距离为d_j，j＝1,2,…,N_f；若d_j<ε_j，则认为R_f,rem(2p+1)是R_f,obj(t_n-p,t_n+p)的相似模式，其中，ε_j为大于0的正数；若ε_j的值越小，则认为R_f,rem(2p+1)与R_f,obj(t_n-p,t_n+p)的相似精度越高；根据R_f中的变量类型及数量级大小，ε_j的设定为固定值或对R_f中的变量分组固定；

设定X_rem的样本量为N_rem，从中进行k次模式筛选，得到k组相似模式集R_f,rem(2p+1)。

7.根据权利要求1所述的基于变窗口模式识别的时间序列缺失值填补方法，其特征在于，所述步骤(4)中：基于筛选出的k组相似模式集R_f,rem(2p+1)，从变量I中截取相应的k组时间片段I_rem(2p+1)，据此进行I(t_n)的多重填补；填补方法根据k组R_f,rem(2p+1)、I_rem(2p+1)的值进行多重均值填补、时间序列填补。

8.根据权利要求7所述的基于变窗口模式识别的时间序列缺失值填补方法，其特征在于，时间序列填补方法如下：查找I_rem(2p+1)的中心值I_rem(p+1)，以I_rem(p+1)作为输出，以(I_rem(1:p),R_1,rem(1:p+1),R_2,rem(1:p+1),…,R_j,rem(1:p+1))作为输入，采用高斯过程回归方法建立回归模型；得到k组I_rem(p+1)的回归值I_rem,reg(p+1)，对其求平均值即得到I_rem,reg,ave(p+1)作为I(t_n)的多重填补值。

9.根据权利要求1所述的基于变窗口模式识别的时间序列缺失值填补方法，其特征在于，步骤5)中对得到的连续数据缺失数据块的多重填补结果，采用多角度指标进行评价，确定性评价指标包括归一化均方根误差、归一化平均绝对值误差、以及归一化的填补误差平均置信带宽。

10.根据权利要求9所述的基于变窗口模式识别的时间序列缺失值填补方法，其特征在于，其中，定义连续缺失数据块的长度为l_c，置信度为τ，填补值为I_imp，I_mea、I_rate为测量值、额定值，确定性评价指标定义如下：

归一化均方根误差：

归一化平均绝对值误差：

归一化的填补误差平均置信带宽：

Images