CN106777392A - 基于流计算的风电机组scada数据的实时处理方法 - Google Patents

Abstract

本发明公开了一种基于流计算的风电机组scada数据的实时处理方法，包括以下步骤，A）接收风机机组scada数据；B）去除重复数据；C）数据标准化处理；D）数据运行状态解析；E）保存数据；F）诊断风电机组的运行状态：根据保存数据，对风电机组的运行状态发生故障时，进行诊断。本发明的基于流计算的风电机组scada数据的实时处理方法，处理风电scada实时数据，处理性能高，可扩展性强，处理方式灵活，编码量低，为风电scada实时数据处理提供了新的方法，具有良好的应用前景。

Description

基于流计算的风电机组scada数据的实时处理方法

技术领域

本发明涉及风电数据处理技术领域，具体涉及一种基于流计算的风电机组scada数据的实时处理方法。

背景技术

风电机组scada（Supervisory Control And Data Acquisition）数据采集频率较高，大多是一秒钟一次采集，而且采集点较多，一台风机会涉及1000-2000个测点，因此，一台风机一天会产生200MB数据，一个大型风场在200台风机左右，每秒一个风场会产生30万个测点数据。

目前，风电机组scada数据大多由各个风机厂家的scada系统进行处理，随着精益化管理的需求，需要构建统一的scada数据处理系统，以便对整个风电场内的风电机组scada数据进行统一接入和处理，同时能够针对多个风机厂家的scada数据进行标准化处理，并将标准化后的数据在风电机组发生故障时发送给风机故障诊断算法，以便对风机故障进行诊断。

传统的基于关系数据库的处理架构，由于系统可扩展性的限制，无法完成对于大规模风电场风电机组数据的统一接入与处理，是当前急需解决的问题。

发明内容

本发明的目的是克服现有的基于关系数据库的处理架构，由于系统可扩展性的限制，无法完成对于大规模风电场风电机组数据的统一接入与处理的问题。本发明的基于流计算的风电机组scada数据的实时处理方法，处理风电scada实时数据，处理性能高，可扩展性强，处理方式灵活，编码量低，为风电scada实时数据处理提供了新的方法，具有良好的应用前景。

为了达到上述目的，本发明所采用的技术方案是：

一种基于流计算的风电机组scada数据的实时处理方法，其特征在于：包括以下步骤，

步骤（A），接收风机机组scada数据；

步骤（B），去除重复数据：解析每台风机机组每秒钟scada实时数据的断面数据，并根据MD5算法对断面数据进行去重处理，将重复数据丢弃，且保证每个断面数据只被处理一次；

步骤（C），数据标准化处理：对各个厂家除重复数据的scada实时数据作标准化处理，标注化处理需要经历数据映射、度量处理、阈值处理三个单元，从而构造统一的scada数据库；

步骤（D），数据运行状态解析：在数据标准化处理同时，根据风机运行状态判断规则，对各个厂家除重复数据的scada实时数据进行运行状态解析，得到风机运行状态数据；

步骤（E），保存数据：对步骤（D）得到的风机运行状态数据进行保存，并将标准化处理后的scada数据库内的数据保存到分布式数据仓库Hive中，并风机运行状态数据中的额风机运行数据保存到关系数据库mysql中；

步骤（F），诊断风电机组的运行状态：根据保存数据，对风电机组的运行状态发生故障时，进行诊断。

前述的基于流计算的风电机组scada数据的实时处理方法，其特征在于： 步骤（A）接收风机机组scada数据的过程如下：

（A1）风机机组的运行数据通过采集器存入分布式消息队列kafaka中；

（A2）根据不同厂家的scada系统建立不同的消息主题，通过流计算引擎storm程序订阅各主题消息，从而获取scada系统的scada实时数据；

（A3）将获取scada实时数据放置到复杂事件处理引擎esper中。

前述的基于流计算的风电机组scada数据的实时处理方法，其特征在于：步骤（B）根据MD5算法对断面数据进行去重处理，将重复数据丢弃的过程如下：先对断面数据中每一个测点进行求MD5值，根据各个测点的MD5值，二次取MD5值，若二次取的MD5值重复，则判断为重复数据，病将重复数据丢弃。

前述的基于流计算的风电机组scada数据的实时处理方法，其特征在于：步骤（C）数据标准化处理中的数据映射单元的处理过程如下：根据scada实时测点数据的映射规则，建立标准化数据，映射规则存储于配置库中，通过复杂事件处理引擎esper的epl语句，执行映射规则，将不同厂家的scada实时数据统一为标准化的测点数据。

前述的基于流计算的风电机组scada数据的实时处理方法，其特征在于：所述数据映射单元的处理过程中对只有个别厂家才有的点位数据，置为空值。

前述的基于流计算的风电机组scada数据的实时处理方法，其特征在于：步骤（C）数据标准化处理中的度量处理单元的处理过程如下：根据scada实时测点度量配置规则，通过复杂事件处理引擎esper的epl语句，解析度量配置规则，对不同厂家的scada实时数据同一度量单位。

前述的基于流计算的风电机组scada数据的实时处理方法，其特征在于：步骤（C）数据标准化处理中的阈值处理单元的处理过程如下：根据scada实时测点阈值处理规则，对scada实时数据中会出现异常数值进行过滤或规整处理，通过复杂事件处理引擎esper的epl语句解析阈值处理规则，和已配置的scada实时测点阈值区间进行比较，将scada实时数据不在阈值区间的异常数据，处理成空值。

前述的基于流计算的风电机组scada数据的实时处理方法，其特征在于：步骤（D），根据风机运行状态判断规则，对各个厂家除重复数据的scada实时数据进行运行状态解析，得到风机运行状态数据，包括以下步骤，

（D1）通过复杂事件处理引擎esper的epl语句，解析风机运行状态判断规则，结合多个scada实时数据测点状态位以及测点值，判断风机运行状态；

（D2）记录风机各运行状态的持续时间。

前述的基于流计算的风电机组scada数据的实时处理方法，其特征在于： 步骤（F），根据保存数据，对风电机组的运行状态发生故障时，进行诊断，包括以下步骤，

（F1）在保存数据内检测到故障代码时，将故障代码及发生故障时标准化后的风机断面数据，传递给风机故障诊断算法；

（F2）利用风机故障诊断算法分析故障代码以及风机断面数据，给出风机的故障原因；

（F3）将得到的风机的故障原因，保存到关系数据库mysql中，便于查询。

本发明的有益效果是：本发明的基于流计算的风电机组scada数据的实时处理方法，对风电场风机机组的scada实时数据进行处理，综合利用消息队列及复杂事件处理技术，完成数据处理工作，采用消息队列，保证不会因为数据量大，并发量高而导致堵塞，通过复杂事件处理对风机进行标准化和状态分析，复杂事件处理引擎解析数据标准化及状态判定规则，完成数据标准化和状态分析，处理效率高，规则可配置性强，适应性高，采用本发明进行处理风电scada实时数据，处理性能高，可扩展性强，处理方式灵活，编码量低，为风电scada实时数据处理提供了新的方法，具有良好的应用前景。

附图说明

图1是本发明的基于流计算的风电机组scada数据的实时处理方法的流程图。

具体实施方式

下面将结合说明书附图，对本发明作进一步的说明。

如图1所示，本发明的基于流计算的风电机组scada数据的实时处理方法，包括以下步骤，

步骤（A），接收风机机组scada数据，过程如下：

（A1）风机机组的运行数据通过采集器存入分布式消息队列kafaka中；

（A2）根据不同厂家的scada系统建立不同的消息主题，通过流计算引擎storm程序订阅各主题消息，从而获取scada系统的scada实时数据；

（A3）将获取scada实时数据放置到复杂事件处理引擎esper中；

步骤（B），去除重复数据：解析每台风机机组每秒钟scada实时数据的断面数据，并根据MD5算法对断面数据进行去重处理，将重复数据丢弃，且保证每个断面数据只被处理一次，这里根据MD5算法对断面数据进行去重处理，将重复数据丢弃的过程如下：先对断面数据中每一个测点进行求MD5值，根据各个测点的MD5值，二次取MD5值，若二次取的MD5值重复，则判断为重复数据，病将重复数据丢弃；

步骤（C），数据标准化处理：对各个厂家除重复数据的scada实时数据作标准化处理，标注化处理需要经历数据映射、度量处理、阈值处理三个单元，从而构造统一的scada数据库，

数据映射单元的处理过程如下：根据scada实时测点数据的映射规则，建立标准化数据，映射规则存储于配置库中，通过复杂事件处理引擎esper的epl语句，执行映射规则，将不同厂家的scada实时数据统一为标准化的测点数据，中对只有个别厂家才有的点位数据，置为空值，

度量处理单元的处理过程如下：根据scada实时测点度量配置规则，通过复杂事件处理引擎esper的epl语句，解析度量配置规则，对不同厂家的scada实时数据同一度量单位，如将伏特（V）数据除以1000得到标准化的千伏特（KV）数据；

阈值处理单元的处理过程如下：根据scada实时测点阈值处理规则，对scada实时数据中会出现异常数值进行过滤或规整处理，通过复杂事件处理引擎esper的epl语句解析阈值处理规则，和已配置的scada实时测点阈值区间进行比较，将scada实时数据不在阈值区间的异常数据，处理成空值；或和已配置的最大阈值或最小阈值进行比较；

步骤（D），数据运行状态解析：在数据标准化处理同时，根据风机运行状态判断规则，对各个厂家除重复数据的scada实时数据进行运行状态解析，得到风机运行状态数据，包括以下步骤，

（D1）通过复杂事件处理引擎esper的epl语句，解析风机运行状态判断规则，结合多个scada实时数据测点状态位以及测点值，判断风机运行状态；

（D2）记录风机各运行状态的持续时间；

典型风机运行状态判断规则如：电网限功率发电状态（$并网状态==1and$限负荷状态==1 and $有功功率给定值<3150KW and 可发有功功率>$有功功率105%）；

步骤（E），保存数据：对步骤（D）得到的风机运行状态数据进行保存，并将标准化处理后的scada数据库内的数据保存到分布式数据仓库Hive中，并风机运行状态数据中的额风机运行数据保存到关系数据库mysql中；

步骤（F），诊断风电机组的运行状态：根据保存数据，对风电机组的运行状态发生故障时，进行诊断，包括以下步骤，

（F1）在保存数据内检测到故障代码时，将故障代码及发生故障时标准化后的风机断面数据，传递给风机故障诊断算法；

（F2）利用风机故障诊断算法（现有技术中已存在的风机故障诊断算法）分析故障代码以及风机断面数据，给出风机的故障原因；

（F3）将得到的风机的故障原因，保存到关系数据库mysql中，便于查询。

综上所述，本发明的基于流计算的风电机组scada数据的实时处理方法，对风电场风机机组的scada实时数据进行处理，综合利用消息队列及复杂事件处理技术，完成数据处理工作，采用消息队列，保证不会因为数据量大，并发量高而导致堵塞，通过复杂事件处理对风机进行标准化和状态分析，复杂事件处理引擎解析数据标准化及状态判定规则，完成数据标准化和状态分析，处理效率高，规则可配置性强，适应性高，采用本发明进行处理风电scada实时数据，处理性能高，可扩展性强，处理方式灵活，编码量低，为风电scada实时数据处理提供了新的方法，具有良好的应用前景。

以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (9)

1.基于流计算的风电机组scada数据的实时处理方法，其特征在于：包括以下步骤，

步骤（A），接收风机机组scada数据；

步骤（B），去除重复数据：解析每台风机机组每秒钟scada实时数据的断面数据，并根据MD5算法对断面数据进行去重处理，将重复数据丢弃，且保证每个断面数据只被处理一次；

步骤（C），数据标准化处理：对各个厂家除重复数据的scada实时数据作标准化处理，标注化处理需要经历数据映射、度量处理、阈值处理三个单元，从而构造统一的scada数据库；

步骤（D），数据运行状态解析：在数据标准化处理同时，根据风机运行状态判断规则，对各个厂家除重复数据的scada实时数据进行运行状态解析，得到风机运行状态数据；

步骤（E），保存数据：对步骤（D）得到的风机运行状态数据进行保存，并将标准化处理后的scada数据库内的数据保存到分布式数据仓库Hive中，并风机运行状态数据中的额风机运行数据保存到关系数据库mysql中；

步骤（F），诊断风电机组的运行状态：根据保存数据，对风电机组的运行状态发生故障时，进行诊断。

2.根据权利要求1所述的基于流计算的风电机组scada数据的实时处理方法，其特征在于： 步骤（A）接收风机机组scada数据的过程如下：

（A1）风机机组的运行数据通过采集器存入分布式消息队列kafaka中；

（A2）根据不同厂家的scada系统建立不同的消息主题，通过流计算引擎storm程序订阅各主题消息，从而获取scada系统的scada实时数据；

（A3）将获取scada实时数据放置到复杂事件处理引擎esper中。

3.根据权利要求1所述的基于流计算的风电机组scada数据的实时处理方法，其特征在于：步骤（B）根据MD5算法对断面数据进行去重处理，将重复数据丢弃的过程如下：先对断面数据中每一个测点进行求MD5值，根据各个测点的MD5值，二次取MD5值，若二次取的MD5值重复，则判断为重复数据，病将重复数据丢弃。

4.根据权利要求1所述的基于流计算的风电机组scada数据的实时处理方法，其特征在于：步骤（C）数据标准化处理中的数据映射单元的处理过程如下：根据scada实时测点数据的映射规则，建立标准化数据，映射规则存储于配置库中，通过复杂事件处理引擎esper的epl语句，执行映射规则，将不同厂家的scada实时数据统一为标准化的测点数据。

5.根据权利要求4所述的基于流计算的风电机组scada数据的实时处理方法，其特征在于：所述数据映射单元的处理过程中对只有个别厂家才有的点位数据，置为空值。

6.根据权利要求1所述的基于流计算的风电机组scada数据的实时处理方法，其特征在于：步骤（C）数据标准化处理中的度量处理单元的处理过程如下：根据scada实时测点度量配置规则，通过复杂事件处理引擎esper的epl语句，解析度量配置规则，对不同厂家的scada实时数据同一度量单位。

7.根据权利要求1所述的基于流计算的风电机组scada数据的实时处理方法，其特征在于：步骤（C）数据标准化处理中的阈值处理单元的处理过程如下：根据scada实时测点阈值处理规则，对scada实时数据中会出现异常数值进行过滤或规整处理，通过复杂事件处理引擎esper的epl语句解析阈值处理规则，和已配置的scada实时测点阈值区间进行比较，将scada实时数据不在阈值区间的异常数据，处理成空值。

8.根据权利要求1所述的基于流计算的风电机组scada数据的实时处理方法，其特征在于：步骤（D），根据风机运行状态判断规则，对各个厂家除重复数据的scada实时数据进行运行状态解析，得到风机运行状态数据，包括以下步骤，

（D1）通过复杂事件处理引擎esper的epl语句，解析风机运行状态判断规则，结合多个scada实时数据测点状态位以及测点值，判断风机运行状态；

（D2）记录风机各运行状态的持续时间。

9.根据权利要求1所述的基于流计算的风电机组scada数据的实时处理方法，其特征在于： 步骤（F），根据保存数据，对风电机组的运行状态发生故障时，进行诊断，包括以下步骤，

（F1）在保存数据内检测到故障代码时，将故障代码及发生故障时标准化后的风机断面数据，传递给风机故障诊断算法；

（F2）利用风机故障诊断算法分析故障代码以及风机断面数据，给出风机的故障原因；

（F3）将得到的风机的故障原因，保存到关系数据库mysql中，便于查询。