CN102945332B - 一种基于梯度的离线异常数据检测方法 - Google Patents

Abstract

本申请实施例公开了一种基于梯度的离线异常数据检测方法，包括：获取待检测的数据，计算t时刻所述待检测数据的前向梯度G_i，t和后向梯度G′_i，t，其中 v_t为t时刻的待检测数据，v_t-τ为t-τ时刻的待检测数据，v_t+τ为t+τ时刻的待检测数据，G_i,t为第i类数据在t时刻的前向梯度，G′_i，t为第i类数据在t时刻的后向梯度，依据所述前向梯度和后向梯度以及待检测数据的正常阈值，检测所述待检测数据是否异常，本申请实施例提供的基于梯度的离线异常数据检测方法，实现简单，能够快速、准确地对海量离线电力数据进行检测。

Description

一种基于梯度的离线异常数据检测方法

技术领域

本发明涉及电力数据处理技术领域，更具体地说，涉及一种基于梯度的离线异常数据检测方法。

背景技术

随着电网信息化“SG-ERP工程”深入开展和电网“十二五”智能化规划的部署实施，对海量历史/实时数据库数据服务能力智能优化研究提出了更高的要求。但是，现有的电力数据的采集存储过程中，不可避免地会出现异常数据，因此，如何对电力数据中的离线异常数据进行检测成为亟待解决的问题。

发明内容

有鉴于此，本申请提供一种基于梯度的离线异常数据检测方法，以对电力数据中的异常数据进行检测。

为实现上述目的，本发明提供了如下技术方案：

一种基于梯度的离线异常数据检测方法，包括：

获取待检测的数据；

计算t时刻所述待检测数据的前向梯度G_i,t和后向梯度G′_i,t，其中，

$G_{i,t}=\frac{v_t-v_{t-\mathrm{\τ}}}{\mathrm{\τ}},G_{i,t}^{,}=\frac{v_{t+\mathrm{\τ}}-v_t}{\mathrm{\τ}},$

v_t为t时刻的待检测数据，v_t-τ为t-τ时刻的待检测数据，v_t+τ为t+τ时刻的待检测数据，G_i,t为第i类数据在t时刻的前向梯度，G′_i,t为第i类数据在t时刻的后向梯度；

依据所述前向梯度和后向梯度以及待检测数据的正常阈值，检测所述待检测数据是否异常。

上述方法，优选的，依据所述前向梯度和后向梯度以及待检测数据的阈值，检测所述待检测数据是否异常包括：

依据所述前向梯度和后向梯度计算判定式，所述判定式为c＝G_i,t×G′_i,t；

当c<0，且时，所述待检测数据异常；否则，所述待检测数据正常；其中，T_i为第i类数据的正常阈值。

上述方法，优选的，当检测出所述待检测数据异常后，还包括：

对检测出的异常数据进行修正，修正公式为：

${\hat{v}}_t=\frac{v_{t-\mathrm{\&tau;}}+v_{t+\mathrm{\&tau;}}}{2}$

其中，为对t时刻的数据进行修正后的数据。

通过以上方案可知，本申请提供的一种基于梯度的离线异常数据检测方法，通过待检测数据的前向梯度和后向梯度值检测数据是否异常，其实现方法简单，能够快速、准确地对海量离线电力数据进行检测。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种基于梯度的离线异常数据检测方法的流程图；

图2为本申请实施例提供的另一种基于梯度的离线异常数据检测方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请实施例公开的一种基于梯度的离线异常数据检测方法的流程图如图1所示，包括：

步骤S101：获取待检测的数据；

可以从缓存中获取待检测的数据，也可以从存储器中获取待检测的数据。

步骤S102：计算t时刻所述待检测数据的前向梯度G_i,t和后向梯度G_i'_,t，其中，

$G_{i,t}=\frac{v_t-v_{t-\mathrm{\&tau;}}}{\mathrm{\&tau;}},G_{i,t}^{,}=\frac{v_{t+\mathrm{\&tau;}}-v_t}{\mathrm{\&tau;}},$

v_t为t时刻的待检测数据，v_t-τ为t-τ时刻的待检测数据，v_t+τ为t+τ时刻的待检测数据，G_i,t为第i类数据在t时刻的前向梯度，G′_i,t为第i类数据在t时刻的后向梯度；

步骤S103：依据所述前向梯度和后向梯度以及待检测数据的正常阈值，检测所述待检测数据是否异常。

电力数据在采集过程中，由于干扰等的存在，有尖锐毛刺(数据突变)生成，使得电力数据异常，本实施例中，所述待检测数据的正常阈值用于判断数据采集过程中是否生成尖锐的毛刺，如果大于该正常阈值，说明有尖锐毛刺生成，否则，没有尖锐毛刺生成。正常阈值的取值与数据类型相关，不同的数据类型对应不同的正常阈值，具体取值可根据实际经验确定。

优选的，可以依据所述前向梯度和后向梯度计算判定式，所述判定式为c＝G_i,t×G′_i,t；结合该判定式c的取值判断待检测数据是否异常。

当c<0，且时，所述待检测数据异常；否则，所述待检测数据正常；其中，T_i为第i类数据的正常阈值。

本申请实施例提供的一种基于梯度的离线异常数据检测方法，通过待检测数据在t时刻的前向梯度和后向梯度值检测数据是否异常，其实现方法简单，能够快速、准确地对海量离线电力数据进行检测。

本申请实施例提供的另一种基于梯度的离线异常数据检测方法的流程图如图2所示，包括：

步骤S201：获取待检测的数据；

步骤S202：计算t时刻所述待检测数据的前向梯度G_i,t和后向梯度G′_i,t，其中，

$G_{i,t}=\frac{v_t-v_{t-\mathrm{\&tau;}}}{\mathrm{\&tau;}},G_{i,t}^{,}=\frac{v_{t+\mathrm{\&tau;}}-v_t}{\mathrm{\&tau;}},$

v_t为t时刻的待检测数据，v_t-τ为t-τ时刻的待检测数据，v_t+τ为t+τ时刻的待检测数据，G_i,t为第i类数据在t时刻的前向梯度，G′_i,t为第i类数据在t时刻的后向梯度；

步骤S203：依据所述前向梯度和后向梯度以及待检测数据的正常阈值，检测所述待检测数据是否异常；

步骤S204：对检测出的异常数据进行修正，修正公式为：

${\hat{v}}_t=\frac{v_{t-\mathrm{\&tau;}}+v_{t+\mathrm{\&tau;}}}{2}$

其中，为对t时刻的数据进行修正后的数据。

本实施例中，步骤S201～步骤S203与图1所示步骤S101～步骤S103相同，这里不再赘述，本申请实施例与图1所示的实施例的不同在于当检测出异常数据时，对异常数据进行修正，以提高数据的可靠性。

由于电力数据包括多种类型的数据，如电容电抗类数据、主变类数据、线路类数据和电压类数据等，对于每一类离线电力数据，都可以应用本申请实施例提供的离线滤波器进行滤波，以保证电力数据的可靠性。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (2)

1.一种基于梯度的离线异常数据检测方法，其特征在于，包括：

获取待检测的数据；

计算t时刻所述待检测数据的前向梯度G_i,t和后向梯度G′_i,t，其中，

$G_{i,t}=\frac{v_t-v_{t-\mathrm{\&tau;}}}{\mathrm{\&tau;}},G_{i,t}^{\&prime;}=\frac{v_{t+\mathrm{\&tau;}}-v_t}{\mathrm{\&tau;}},$

v_t为t时刻的待检测数据，v_t-τ为t-τ时刻的待检测数据，v_t+τ为t+τ时刻的待检测数据，G_i,t为第i类数据在t时刻的前向梯度，G′_i,t为第i类数据在t时刻的后向梯度；

依据所述前向梯度和后向梯度以及待检测数据的正常阈值，检测所述待检测数据是否异常，包括：

依据所述前向梯度和后向梯度计算判定式，所述判定式为c＝G_i,t×G′_i,t；

当c<0，且max{|G_i,t|,|G_i'_,t|}>T_i时，所述待检测数据异常；否则，所述待检测数据正常；其中，T_i为第i类数据的正常阈值。

2.根据权利要求1所述的方法，其特征在于，当检测出所述待检测数据异常后，还包括：

对检测出的异常数据进行修正，修正公式为：

${\hat{v}}_t=\frac{v_{t-\mathrm{\&tau;}}+v_{t+\mathrm{\&tau;}}}{2}$

其中，为对t时刻的数据进行修正后的数据。