CN112818297A - 一种云环境下数据异常检测方法 - Google Patents

Abstract

本发明公开了一种云环境下数据异常检测方法，属于数据异常检测技术领域，包括以下步骤：S1、获取电网中各电表节点的数据，并对数据进行预处理；S2、将处理的数据按照时间序列分解为趋势分量、周期分量和残余分量的序列数据；S3、对残余分量的序列数据进行异常检测，查找超过阈值的异常数据，并保存。通过采用分解的方式对统计的电表数据进行异常点检测，可有效避免因故障处理不及时导致的更严重的电量损失和设备损坏，有助于电网的管理，适合大量数据的存储和计算，也提高异常数据检测效率。

Description

一种云环境下数据异常检测方法

技术领域

本发明涉及数据异常检测技术领域，特别涉及一种云环境下数据异常检测方法。

背景技术

随着电力建设规模的不断扩大，智能电网覆盖的范围也在持续增大，电网系统中的各项电力运行数据也随之增多。当电网系统中出现问题，如变电站设备故障，电表保险熔断，输电线路中断等，智能电网中的电表数据会随之发生异常。因此，传统云计算大数据无法对电网中的电表数据进行持续实时的监控和异常检测，从而导致电网中容易出现的异常或事故，更严重的还会导致电量损失和设备损坏。

发明内容

本发明的目的就在于为了解决上述智能电网中无法检测到异常数据，存在安全隐患的问题而提供一种云环境下数据异常检测方法，具有可检测电网中的异常数据，减少安全隐患，便于电网管理，可处理大量数据，检测效率高的优点。

本发明通过以下技术方案来实现上述目的，一种云环境下数据异常检测方法，包括以下步骤：

S1、获取电网中各电表节点的数据，并对数据进行预处理；

S2、将处理的数据按照时间序列分解为趋势分量、周期分量和残余分量的序列数据；

S3、对残余分量的序列数据进行异常检测，查找超过阈值的异常数据，并保存。

优选的，所述数据预处理方法包括采用牛顿插值法对缺失数据进行补全，其步骤如下：

设对应于时间序列T＝{t₁,...,t_n}的原始数据集为X＝{x_1,,...,x_n}＝{f(t₁),...,f(t_n)}，若(t_i,x_i)数据缺失，则

P(t_i)＝f(t₁)+(t_i-t₁)f[t₂,t₁]+(t_i-t₁)(t_i-t₂)f[t₃,t₂,t₁]+...+(t_i-t₁)(t_i-t₂)...(t_i-t_n-1)f[t_n-1,...,t₂,t₁]

R(t_i)＝(t_i-t₁)(t_i-t₂)...(t_i-t_n)f[t_n-1,...,t₂,t₁]

x_i＝f(t_i)＝P(t_i)+R(t_i)

其中，f[t_i,t_j]为f(t)在点t_i，t_j处的一阶差商，P(t_i)为牛顿插值逼近函数，R(t_i)为余项函数。

优选的，所述数据预处理方法还包括采用标准化函数对数据进行格式统一，其步骤如下：

设完成缺失值补全的数据集为X′＝{x′₁,...,x′_n}，其中数据值最大的为x′_max，数据值最小的为x′_min，利用min-max标准化函数来使数据集中的数据值均位于[0,1]区间内，公式如下所示：

完成预处理之后的数据集为Y＝{y₁,,...,y_n}。

优选的，所述步骤S2中时间序列分解方法为：

将时间序列Y＝(T,X)分解为三个分量，即趋势分量Q，周期分量C和残余分量R，Y_i＝Q_i+C_i+R_i；

其中趋势分量Q，周期分量C和残余分量R的具体计算方式如下：

步骤S201、对时间序列Y进行Loess平滑，对于时间序列中某点(t_i,x_i)，确定区间大小为s_c，则在该区间内某时间点t_j的权重值

公式如下：

其中x_Farthest表示区间内距离x_i最远的点。

通过x_j对x_i进行线性回归得到平滑直线y’＝a+bt，则时间点t_i处的平滑值为y_i′；

步骤S202、确定时间序列Y的区间大小为s_c，可以得到子序列，通过对子序列进行平滑，即可得到周期子序列C’，对周期子序列C’进行低通滤波得到低频分量L，则计算周期分量：C＝C’-L：

步骤S203、根据计算周期分量C可得：Q'＝Y-C，对Q’进行区间大小为s_q的平滑，得到趋势分量Q；

步骤S204、残余分量R＝Y-Q-C。

优选的，所述步骤S3中的残余分量的序列数据异常数据检测方法为：

S301、计算残余分量R序列数据的中位数M；

S302、计算M的绝对中位数误差mad；

S303、计算残余分量R序列数据中每个数据点的统计量：

其中

为样本均值；

S304、统计S_i中最大的数，若该数大于阈值σ则将其认为为异常点，从时序数据集中将其去除；

S305、重复步骤S301-S304，直到找出所有的异常点。

与现有技术相比，本发明的有益效果是：通过采用时间序列分解的方式对统计的电表数据进行异常点检测，可有效避免因故障处理不及时导致的更严重的电量损失和设备损坏，有助于电网的管理，适合大量数据的存储和计算，也提高异常数据检测效率。

附图说明

图1为本发明的整体数据异常检测方法流程图。

图2为本发明的残余分量的序列数据异常数据检测方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1所示，一种云环境下数据异常检测方法，包括以下步骤：

S1、获取电网中各电表节点的数据，并对数据进行预处理，所述数据预处理方法包括采用牛顿插值法对缺失数据进行补全，其步骤如下：

设对应于时间序列T＝{t₁,...,t_n}的原始数据集为X＝{x₁,,...,x_n}＝{f(t₁),...,f(t_n)}，若(t_i,x_i)数据缺失，则

P(t_i)＝f(t₁)+(t_i-t₁)f[t₂,t₁]+(t_i-t₁)(t_i-t₂)f[t₃,t₂,t₁]+...+(t_i-t₁)(t_i-t₂)...(t_i-t_n-1)f[t_n-1,...,t₂,t₁]

R(t_i)＝(t_i-t₁)(t_i-t₂)...(t_i-t_n)f[t_n-1,...,t₂,t₁]

x_i＝f(t_i)＝P(t_i)+R(t_i)

其中，f[t_i,t_j]为f(t)在点t_i，t_j处的一阶差商，P(t_i)为牛顿插值逼近函数，R(t_i)为余项函数，通过牛顿插值法可以将时间序列T中的任一点数据补充到整个序列中，形成完整的序列数据，在数据补充完毕后，再进行格式化同一，所述数据预处理方法还包括采用标准化函数对数据进行格式统一，其步骤如下：

设完成缺失值补全的数据集为X′＝{x′₁,...,x′_n}，其中数据值最大的为x′_max，数据值最小的为x′_min，利用min-max标准化函数来使数据集中的数据值均位于[0,1]区间内，公式如下所示：

完成预处理之后的数据集为Y＝{y₁,,...,y_n}。

S2、将处理的数据按照时间序列分解为趋势分量、周期分量和残余分量的序列数据，其中趋势分量可以显示时间序列中低频的变化率，周期分量可以显示频率周期性变化，残余分量顾名思义则为时间序列去除趋势分量和周期分量后的分量，残余分量会呈现一定规律，异于该规律的极有可能是异常点。该步骤中所用的分解方法为STL时间序列分解方法为：

将时间序列Y＝(T,X)分解为三个分量，即趋势分量Q，周期分量C和残余分量R，Y_i＝Q_i+C_i+R_i；

其中趋势分量Q，周期分量C和残余分量R的具体计算方式如下：

步骤S201、对时间序列Y进行Loess平滑，对于时间序列中某点(t_i,x_i)，确定区间大小为s_c，则在该区间内某时间点t_j的权重值

公式如下：

其中x_Farthest表示区间内距离x_i最远的点。

通过x_j对x_i进行线性回归得到平滑直线y’＝a+bt，则时间点t_i处的平滑值为y_i′；

步骤S202、确定时间序列Y的区间大小为s_c，可以得到子序列，通过对子序列进行平滑，即可得到周期子序列C’，对周期子序列C’进行低通滤波得到低频分量L，则计算周期分量：C＝C’-L：

步骤S203、根据计算周期分量C可得：Q'＝Y-C，对Q’进行区间大小为s_q的平滑，得到趋势分量Q；

步骤S204、残余分量R＝Y-Q-C。

S3、对残余分量的序列数据进行异常检测，查找超过阈值的异常数据，并保存，该步骤中的残余分量的序列数据异常数据检测方法如图2所示，为：

S301、计算残余分量R序列数据的中位数M；

S302、计算M的绝对中位数误差mad；

S303、计算残余分量R序列数据中每个数据点的统计量：

其中

为样本均值；

S304、统计S_i中最大的数，若该数大于阈值σ则将其认为为异常点，从时序数据集中将其去除；

S305、重复步骤S301-S304，直到找出所有的异常点。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (5)

1.一种云环境下数据异常检测方法，其特征在于，包括以下步骤：

S1、获取电网中各电表节点的数据，并对数据进行预处理；

S2、将处理的数据按照时间序列分解为趋势分量、周期分量和残余分量的序列数据；

S3、对残余分量的序列数据进行异常检测，查找超过阈值的异常数据，并保存。

2.根据权利要求1所述的一种云环境下数据异常检测方法，其特征在于，所述数据预处理方法包括采用牛顿插值法对缺失数据进行补全，其步骤如下：

设对应于时间序列T＝{t₁，...，t_n}的原始数据集为X＝{x₁，，...，x_n}＝{f(t₁)，...，f(t_n)}，若(t_i，x_i)数据缺失，则

P(t_i)＝f(t₁)+(t_i-t₁)f[t₂，t₁]+(t_i-t₁)(t_i-t₂)f[t₃，t₂，t₁]+...+(t_i-t₁)(t_i-t₂)...(t_i-t_n-1)f[t_n-1，...，t₂，t₁]

R(t_i)＝(t_i-t₁)(t_i-t₂)...(t_i-t_n)f[t_n-1，...，t₂，t₁]

x_i＝f(t_i)＝P(t_i)+R(t_i)

其中，f[t_i，t_j]为f(t)在点t_i，t_j处的一阶差商，P(t_i)为牛顿插值逼近函数，R(t_i)为余项函数。

3.根据权利要求2所述的一种云环境下数据异常检测方法，其特征在于，所述数据预处理方法还包括采用标准化函数对数据进行格式统一，其步骤如下：

设完成缺失值补全的数据集为X′＝{x′₁，...，x′_n}，其中数据值最大的为x′_max，数据值最小的为x′_min，利用min-max标准化函数来使数据集中的数据值均位于[0，1]区间内，公式如下所示：

完成预处理之后的数据集为Y＝{y₁,,...,y_n}。

4.根据权利要求1所述的一种云环境下数据异常检测方法，其特征在于，所述步骤S2中时间序列分解方法为：

将时间序列Y＝(T,X)分解为三个分量，即趋势分量Q，周期分量C和残余分量R，Y_i＝Q_i+C_i+R_i；

其中趋势分量Q，周期分量C和残余分量R的具体计算方式如下：

步骤S201、对时间序列Y进行Loess平滑，对于时间序列中某点(t_i,x_i)，确定区间大小为s_c，则在该区间内某时间点t_j的权重值

公式如下：

其中x_Farthest表示区间内距离x_i最远的点。

通过x_j对x_i进行线性回归得到平滑直线y’＝a+bt，则时间点t_i处的平滑值为y_i′；

步骤S202、确定时间序列Y的区间大小为s_c，可以得到子序列，通过对子序列进行平滑，即可得到周期子序列C’，对周期子序列C’进行低通滤波得到低频分量L，则计算周期分量：C＝C’-L：

步骤S203、根据计算周期分量C可得：Q'＝Y-C，对Q’进行区间大小为s_q的平滑，得到趋势分量Q；

步骤S204、残余分量R＝Y-Q-C。

5.根据权利要求1所述的一种云环境下数据异常检测方法，其特征在于，所述步骤S3中的残余分量的序列数据异常数据检测方法为：

S301、计算残余分量R序列数据的中位数M；

S302、计算M的绝对中位数误差mad；

S303、计算残余分量R序列数据中每个数据点的统计量：

其中

为样本均值；

S304、统计S_i中最大的数，若该数大于阈值σ则将其认为为异常点，从时序数据集中将其去除；

S305、重复步骤S301-S304，直到找出所有的异常点。

Images