CN105373620A - 大规模电池储能电站海量电池数据异常检测方法及系统 - Google Patents

Abstract

本发明提供一种大规模电池储能电站海量电池数据异常检测方法及系统，所述方法包括如下步骤：(1)获取海量储能数据并根据数据类别进行分类；(2)将分类后的数据进行基于距离的滑动窗口异常检测；(3)将检测到的异常数据信息按照特定的格式输出到指定地方。所述系统包括依次相连的海量数据存储模块、海量数据异常检测模块和海量数据异常输出模块。本发明采用基于距离的滑动窗口异常检测算法，降低时间和空间的复杂度，提供检测的实时性。

Description

大规模电池储能电站海量电池数据异常检测方法及系统

技术领域

本发明属于智能电网、能源互联网以及储能技术领域，具体涉及一种大规模电池储能电站海量电池数据异常检测方法及系统。

背景技术

近些年，我国风能和大阳能发电快速发展，电池储能电站的规模不断扩大，电池储能电站采集上来的储能电池数据也日益剧增。随着电池储能电站朝着大容量化趋势发展，特别是数十兆瓦级锂电池储能电站中电池单体预计将达数十万只，百兆瓦级电池储能电站的数据量将达到百万级，需分析与处理电池及储能电站相关的数据量异常庞大。

目前的常规电池数据存储方式、架构、管理与分析方法等，难以满足如此大规模海量电池数据在线管理与高效分析的应用需求。无论在数据容量、写库速度以及查询检索上都遇到了瓶颈，导致海量电池数据的存取周期长、数据检索及分析效率低。故将海量数据库以及相关分析方法，应用于电池储能电站领域具有愈发凸显的重要意义。对于海量电池数据进行进一步的深入挖掘与分析，从电池数据中获取有用的价值，找出大量数据背后隐藏的规律和特性，也会迫切需要研究解决的关键技术难题。

目前，从大规模电池储能电站中采集的海量电池异常数据虽然较少，但如何检测与处理非常关键，将会直接影响到大规模电池储能电站运行状态的分析与评估，安全预警等。这些少数的异常数据中隐藏着重要的信息，有助于我们更好地运行与维护储能电站。尤其在百兆瓦级电池储能电站的实时控制、安全预警以及运行维护中，上述问题将更加凸显。目前针对上述问题的解决方案非常少，基于处于空白状态，相关问题亟待解决。

发明内容

为了克服上述现有技术的不足，本发明提供一种大规模电池储能电站海量电池数据异常检测方法及系统。本发明采用基于距离的滑动窗口异常检测算法，降低时间和空间的复杂度，提供检测的实时性。

为了实现上述发明目的，本发明采取如下技术方案：

一种大规模电池储能电站海量电池数据异常检测方法，所述方法包括如下步骤：

(1)获取海量储能数据并根据数据类别进行分类；

(2)将分类后的数据进行基于距离的滑动窗口异常检测；

(3)将检测到的异常数据信息按照特定的格式输出到指定地方。

优选的，所述步骤(1)中，所述海量储能数据存储在非关系型Hbase数据库中，利用hadoop的map方式从所述Hbase数据库中分布式获取海量储能数据。

优选的，所述步骤(2)中，包括如下步骤：

步骤2-1、根据储能数据类别定义前提条件包括距离R、阈值k，窗口长度L；

步骤2-2、将储能数据按照时间序列化，将长度为L的选择窗口W放入该时间序列中；

步骤2-3、对窗口内的每个数据点o计算与其他数据点的欧式距离，统计距离在R范围之内的点的个数n，若n大于k，则认为数据点o局部异常，反之认为o局部正常；

步骤2-4、把窗口向前推移1个时间点，重复步骤2-3；

步骤2-5、当数据点o，从进入窗口到离开窗口均为局部正常的话，则认为该数据为正常数据，反之则为异常数据。

优选的，所述步骤2-3中，所述欧氏距离计算如下：若X和Y为n维数据：

X＝(x₁,x₂,......,x_i,......x_n)

Y＝(y₁,y₂,......,y_i,......y_n)

X与Y之间的欧式距离为：

$ED(X,Y)=\sqrt{{(x_1-y_1)}^2+{(x_2-y_2)}^2+\mathrm{...}+{(x_i-y_i)}^2+\mathrm{...}+{(x_n-y_n)}^2}$

若X和Y为1维数据，则X和Y之间的欧式距离为：

ED(X,Y)＝|X-Y|。

优选的，所述步骤(3)中，所述特定的格式为：{t₁,t_n,[t₁:D_t1,…,t_n:D_tn]},其中t₁,t_n为监测点异常的起始和终止时间，[t₁:D_t1,…,t_n:D_tn]为异常数据，所述指定地方指用户选定输出方式的地方，包括关系型数据库和非关系型Hbase数据库。

优选的，一种大规模电池储能电站海量电池数据异常检测系统，所述系统包括依次相连的海量数据存储模块、海量数据异常检测模块和海量数据异常输出模块，所述海量数据存储模块采用非关系型Hbase数据库，存储海量数据；所述异常检测到模块采用hadoop并行计算模型，获取海量储能数据并根据数据类别进行分类；所述海量数据异常输出模块，用于将检测到的异常数据信息按照特定的格式输出到指定地方。

优选的，所述海量数据异常检测模块包括依次连接的收集模块、分类模块和异常检测模块，所述收集模块利用hadoop的map方式从Hbase中分布式获取所述海量储能数据；所述分类模块，用于将所述海量储能数据根据监测项的类别，分发给对应的所述异常检测模块；所述异常检测模块，用于将从所述分类模块获得的数据进行基于距离的滑动窗口异常检测。

优选的，所述海量数据异常输出模块包括选择器，用于配置输出环境，所述输出环境包括关系型数据库和非关系型Hbase数据库2种。

与现有技术相比，本发明的有益效果在于：

本发明专利采用基于hadoop分布式计算的海量电池数据异常检测方法及模型，具有高效、可扩展等特点，大大提高了计算能力和处理速度。由于本发明采用基于距离的滑动窗口异常检测算法，降低时间和空间的复杂度，提供检测的实时性。同时，采用欧式距离，可以对数据点为多维的，进行异常检测。

本发明适用于集中式或分散式接入的大规模电池储能电站海量电池数据的异常检测、分析与评估，可以为大规模电池储能系统的状态评估、协调控制与安全预警等提供参考依据。

附图说明

图1为本发明提供的一种大规模电池储能电站海量电池数据异常检测系统交互图

图2为本发明提供的一种大规模电池储能电站海量电池数据异常检测方法流程图

图3为本发明提供的基于距离的滑动窗口异常检测图

图4为本发明提供的存储海量储能电池数据的Hbase表结构图

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。该实施例仅用于解释本发明，并不构成对本发明保护范围的限定。

此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明实施例提供了一种海量储能电池数据异常检测系统，其包括海量数据存储模块，海量数据异常检测模块和海量数据异常输出模块。其系统构建步骤如下：

步骤1构建海量数据存储模块，通过非关系型数据库Hbase建立数据表table存储海量风光储电池数据，表结构如图4所示。其中Rowkey的组成为数据标示符、距离1970年1月1日的天数和当天开始的秒数，中间以“|”分隔开来。表中t0表示版本号，Column：“data”为列族，value为列名，后面跟的数字为监测值。

步骤2基于hadoop分布式计算框架MapReduce，构建海量数据异常检测模块，利用hadoop的map方式从Hbase分布式地获取海量数据，hadoop将Hbase表中的数据拆分成很多小数据集，每个数据集被分配到一个Map任务中进行处理。Map任务输出的中间结果会提交给分类器Partion，Partion会根据中间结果的key按照用户需求进行分类，将不同类别的数据分发给对应的异常检测器。异常检测器通过hadoop的Reduce方式实现了基于距离的滑动窗口异常检测方法，hadoop的每个Reduce任务都会从Partion接收到对应的类别的数据，对每个类别的数据分别进行基于距离的滑动窗口异常检测。

步骤3构建海量数据异常输出模块，选择器根据用户选择的输出环境，将异常检测器检测出的数据及时地进行输出。

如图2所示，本发明实施例提供了一种大规模电池储能电站海量电池数据异常检测方法，包括如下步骤：

(1)获取海量储能数据并根据数据类别进行分类；

所述海量储能数据存储在非关系型Hbase数据库中，利用hadoop的map方式从所述Hbase数据库中分布式获取海量储能数据。

(2)将分类后的数据进行基于距离的滑动窗口异常检测，包括如下步骤：

步骤2-1、根据储能数据类别定义距离R、阈值k，窗口长度L等前提条件；例如电压数据R可以设置0.1，温度数据可以R可以设置1，窗口长度L一般设置10到200之间，可以根据采集的数据量来设定，数据量大L可设置偏大点，以提高精度。阈值k一般设置成L*70％；

步骤2-2、将储能数据按照时间序列化，将长度为L的选择窗口W放入该时间序列中。图3中W1和W2为相邻时间窗口，窗口大小L为10；

步骤2-3、对窗口W1内的每个数据点o计算与其他数据点的欧式距离，统计距离在R范围之内的点的个数n，若n大于k，则认为数据点o局部异常，反之认为o局部正常。

所述欧氏距离计算如下：若X和Y为n维数据：

X＝(x₁,x₂,......,x_i,......x_n)

Y＝(y₁,y₂,......,y_i,......y_n)

X与Y之间的欧式距离为：

$ED(X,Y)=\sqrt{{(x_1-y_1)}^2+{(x_2-y_2)}^2+\mathrm{...}+{(x_i-y_i)}^2+\mathrm{...}+{(x_n-y_n)}^2}$

若X和Y为1维数据，则X和Y之间的欧式距离为：

ED(X,Y)＝|X-Y|。

步骤2-4、把窗口向前推移1个时间点，重复步骤2-3；

步骤2-5、当数据点o，从进入窗口到离开窗口均为局部正常的话，则认为该数据为正常数据，反之则为异常数据。

对于数据对象o7，在W1内的邻居有(o2,o3,o4,o5,o8,o10,o11)，W2内的邻居有(o4,o5,o8,o10,o11,o13)，假设在其他滑动窗口内o7的邻居数均大于7，则当设置k＝7时，o7为局部异常，但不是全局异常；o6在整个所有时间窗口内均为异常，因此该数据既为局部异常也为全局异常。

(3)将检测到的异常数据信息按照特定的格式输出到指定地方。

所述特定的格式为：{t₁,t_n,[t₁:D_t1,…,t_n:D_tn]},其中t₁,t_n为监测点异常的起始和终止时间，[t₁:D_t1,…,t_n:D_tn]为异常数据，所述指定地方指用户选定输出方式的地方，包括关系型数据库和非关系型Hbase数据库。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种大规模电池储能电站海量电池数据异常检测方法，其特征在于，所述方法包括如下步骤：

(1)获取海量储能数据并根据数据类别进行分类；

(2)将分类后的数据进行基于距离的滑动窗口异常检测；

(3)将检测到的异常数据信息按照特定的格式输出到指定地方。

2.根据权利要求1所述检测方法，其特征在于，所述步骤(1)中，所述海量储能数据存储在非关系型Hbase数据库中，利用hadoop的map方式从所述Hbase数据库中分布式获取海量储能数据。

3.根据权利要求1所述检测方法，其特征在于，所述步骤(2)包括如下步骤：

步骤2-1、根据储能数据类别定义前提条件，包括距离R、阈值k，窗口长度L；

步骤2-2、将储能数据按照时间序列化，将长度为L的选择窗口W放入该时间序列中；

步骤2-3、对窗口内的每个数据点o计算与其他数据点的欧式距离，统计距离在R范围之内的点的个数n，若n大于k，则认为数据点o局部异常，反之认为o局部正常；

步骤2-4、把窗口向前推移1个时间点，重复步骤2-3；

步骤2-5、当数据点o，从进入窗口到离开窗口均为局部正常的话，则认为该数据为正常数据，反之则为异常数据。

4.根据权利要求3所述检测方法，其特征在于，所述步骤2-3中，所述欧氏距离计算如下：若X和Y为n维数据：

X＝(x₁,x₂,......,x_i,......x_n)

Y＝(y₁,y₂,......,y_i,......y_n)

X与Y之间的欧式距离为：

$ED(X,Y)=\sqrt{{(x_1-y_1)}^2+{(x_2-y_2)}^2+\mathrm{...}+{(x_i-y_i)}^2+\mathrm{...}+{(x_n-y_n)}^2}$

若X和Y为1维数据，则X和Y之间的欧式距离为：

ED(X,Y)＝|X-Y|。

5.根据权利要求1所述检测方法，其特征在于，所述步骤(3)中，所述特定的格式为：{t₁,t_n,[t₁:D_t1,…,t_n:D_tn]},其中t₁,t_n为监测点异常的起始和终止时间，[t₁:D_t1,…,t_n:D_tn]为异常数据，所述指定地方指用户选定输出方式的地方，包括关系型数据库和非关系型Hbase数据库。

6.一种大规模电池储能电站海量电池数据异常检测系统，其特征在于，所述系统包括依次相连的海量数据存储模块、海量数据异常检测模块和海量数据异常输出模块，所述海量数据存储模块采用非关系型Hbase数据库，存储海量数据；所述异常检测到模块采用hadoop并行计算模型，获取海量储能数据并根据数据类别进行分类；所述海量数据异常输出模块，用于将检测到的异常数据信息按照特定的格式输出到指定地方。

7.根据权利要求6所述检测系统，其特征在于，所述海量数据异常检测模块包括依次连接的收集模块、分类模块和异常检测模块，所述收集模块利用hadoop的map方式从Hbase中分布式获取所述海量储能数据；所述分类模块，用于将所述海量储能数据根据监测项的类别，分发给对应的所述异常检测模块；所述异常检测模块，用于将从所述分类模块获得的数据进行基于距离的滑动窗口异常检测。

8.根据权利要求6所述检测系统，其特征在于，所述海量数据异常输出模块包括选择器，用于配置输出环境，所述输出环境包括关系型数据库和非关系型Hbase数据库2种。