CN104992295A - 基于流式处理技术Storm的配电生产设备的在线监控方法 - Google Patents

Abstract

本发明公开了一种基于流式处理技术Storm的配电生产设备的在线监控方法，通过配电生产系统的设备实时数据有更新则将数据发送到消息响应系统，根据设备类型分发为不同的消息主题，流式处理系统storm根据不同设备类型实时向消息相应系统获取相对应主题消息，进行在线处理并判断当前状态是否异常，若异常则将设备信息发送至报警系统；对处理后的设备状态值存入离线数据库，结合外部气象局数据与存入处理结果的离线数据库进行预警分析，本发明除了能够实时监控外，还能够结合历史数据，通过内部分析模型并判断是否准确，通过分析模型分析出的预警信息，比传统监控系统中内置固定的专家意见和人工判断要更加准确，用数据说话也更科学、更严谨。

Description

基于流式处理技术Storm的配电生产设备的在线监控方法

技术领域

本发明涉及一种基于流式处理技术Storm的配电生产设备的在线监控方法，属于电力技术领域。

背景技术

现有的配电生产系统并无具体设备检测管理系统，目前只是定时采集实时量，并无后续监控；由于设备数量较大，没有较好的解决方案支撑瞬态如此大的数据量进行实时监控，并且设备是处于外部环境下工作，检测手段单一，大多是通过视频监控，不能够很好的实时报警，更不能根据天气以及状态负荷做到预警。

发明内容

本发明的目的是：针对现有技术的上的缺陷，提供一种基于流式处理技术Storm的配电生产设备的在线监控方法，既能实现实时监控，又可以结合历史数据进行内部分析，以克服现有技术的不足。

本发明的技术方案

一种基于流式处理技术Storm的配电生产设备的在线监控方法，该方法包括以下步骤，

步骤1：配电生产系统的设备实时数据有更新则将数据发送到消息响应系统，根据设备类型分发为不同的消息主题；在设备信息产生时，消息响应系统有一个程序去一直监控数据的产生，产生一行就通过一个传输系统发给消息响应系统，然后在消息响应系统内部按照设备类型、设备id分别存于不同的主题，通过广播的方式发布出去，每条数据从获取到分组发布完成，可以在毫秒级别完成；

步骤2：流式处理系统storm根据不同设备类型实时向消息相应系统获取相对应主题消息，进行在线处理；

步骤3：根据步骤2的处理结果判断当前状态是否异常，若异常则将设备信息发送至报警系统；在设备信息产生时，消息响应系统有一个程序去一直监控数据的产生，产生一行就通过一个传输系统发给流式计算系统，然后流式计算系统直接处理，根据处理结果立即判断是需要发动报警还是存入离线数据库，每条数据从产生到处理完成，在集群数为4台以上可以在毫秒级别完成；

步骤4：对步骤2处理后的设备状态值存入离线数据库；

步骤5：结合外部气象局数据与步骤4存入处理结果的离线数据库进行预警分析。

前述的基于流式处理技术Storm的配电生产设备的在线监控方法中，所述步骤1包括以下子步骤：

  S1.1：配网生产设备系统会实时生成设备当前信息，如果当前设备信息数据较之前状态有变动，消息响应系统会从配网生产管理系统获取这条有信息变动的数据；

S1.2：消息响应系统把获取到的设备数据按照设备类型与设备id分发成不同的主题消息，以广播的方式发布，供后续处理。

前述的基于流式处理技术Storm的配电生产设备的在线监控方法中，所述步骤2包括以下子步骤：

S2.1：流式处理系统storm向消息响应系统订阅主题，根据不同的设备类型和设备id订阅不同的实时主题消息；

S2.2：获取到数据后进行在线批量处理，根据设备温度、功效、开关等信息判断设备运行状态，并给出实时处理意见。

前述的基于流式处理技术Storm的配电生产设备的在线监控方法中，所述步骤3包括以下子步骤：

S3.1：根据步骤2的处理结果，如果设备异常，则向报警系统发送异常事件；

S3.2：向管理员邮箱发送异常以及报警消息，通知管理员查看处理。

前述的基于流式处理技术Storm的配电生产设备的在线监控方法中，所述步骤4包括以下子步骤：

S4.1：对步骤2的结果设备正常的数据存入非关系型分析数据库HBase，根据设备类型划分不同的列族；

S4.2：对步骤2的结果设备异常的数据存入关系型分析数据库Mysql，积累的异常数据可刻画出设备运行异常周期，运行异常周期的计算更倾向于关系型数据库，这类查询需要复杂的查询sql以及多表查询。

前述的基于流式处理技术Storm的配电生产设备的在线监控方法中，所述步骤5包括以下子步骤：

S5.1：每日根据气象局接口获取24小时内数据，结合步骤4存入的分析数据库，建立分析模型分析设备运行状态和预警；

S5.2：建立评价系统，评价系统由较为科学的数学算法配合机器学习语言设计，分析模型需要评价系统来对其不断维护，保证分析模型的准确性；

S5.3：分析模型每日提供预警建议，并发送至管理员邮箱供管理员参考。

由于采用了上述技术方案，与现有技术相比，本发明在监控系统中运用大数据技术除了能够实时监控外，还能够结合历史数据，通过内部分析模型，并且用一套计算规则生成的评价系统实时维护这个分析模型是否准确，并且可随时设定预警阀值，灵活控制分析模型，确保分析模型的准确性， 通过分析模型分析出的预警信息，比传统监控系统中内置固定的专家意见和人工判断要更加准确，用数据说话也更科学、更严谨。

附图说明

附图1是本发明的流程图。

具体实施方式

下面结合附图对本发明用作进一步的详细说明，但不作为对本发明的任何限制。

本发明的实施例：一种基于流式处理技术Storm的配电生产设备的在线监控方法，如附图1所示，该方法包括以下步骤，

步骤1：配电生产系统的设备实时数据有更新则将数据发送到消息响应系统，根据设备类型分发为不同的消息主题；在设备信息产生时，消息响应系统有一个程序去一直监控数据的产生，产生一行就通过一个传输系统发给消息响应系统，然后在消息响应系统内部按照设备类型、设备id分别存于不同的主题，通过广播的方式发布出去，每条数据从获取到分组发布完成，可以在毫秒级别完成；

其中该步骤1包括以下子步骤：

  S1.1：配网生产设备系统会实时生成设备当前信息，如果当前设备信息数据较之前状态有变动，消息响应系统会从配网生产管理系统获取这条有信息变动的数据；

S1.2：消息响应系统把获取到的设备数据按照设备类型与设备id分发成不同的主题消息，以广播的方式发布，供后续处理。

步骤2：流式处理系统storm根据不同设备类型实时向消息相应系统获取相对应主题消息，进行在线处理；storm通过网络直传、内存计算，其时延传输很低；当计算模型比较适合流式时，storm的流式处理，省去了批处理的收集数据的时间；storm是服务型的作业，省去了作业调度的时延。bolt是Storm系统中的一个线程，在bolt的内存中会缓存很多变动频度低的数据。在计算预警信息时24小时内天气信息不会有大的改变，通过内存缓存这部分数据以避免重复向对应气象接口的消息响应系统取数据，对于连绵不断的设备实时信息计算的延时相比传统服务算法要低很多，性能提升非常巨大，从秒级别到毫秒级别的提升。

其中该步骤2包括以下子步骤：

S2.1：流式处理系统storm向消息响应系统订阅主题，根据不同的设备类型和设备id订阅不同的实时主题消息；

S2.2：获取到数据后进行在线批量处理，根据设备温度、功效、开关等信息判断设备运行状态，并给出实时处理意见。

步骤3：根据步骤2的处理结果判断当前状态是否异常，若异常则将设备信息发送至报警系统；在设备信息产生时，消息响应系统有一个程序去一直监控数据的产生，产生一行就通过一个传输系统发给流式计算系统，然后流式计算系统直接处理，根据处理结果立即判断是需要发动报警还是存入离线数据库，每条数据从产生到处理完成，在集群数一定规模下（4台以上）可以在毫秒级别完成；

其中该步骤3包括以下子步骤：

S3.1：根据步骤2的处理结果，如果设备异常，则向报警系统发送异常事件；

S3.2：向管理员邮箱发送异常以及报警消息，通知管理员查看处理。

步骤4：对步骤2处理后的设备状态值存入离线数据库；其中该步骤4包括以下子步骤：

S4.1：对步骤2的结果设备正常的数据存入非关系型分析数据库HBase，根据设备类型划分不同的列族；

S4.2：对步骤2的结果设备异常的数据存入关系型分析数据库Mysql，积累的异常数据可刻画出设备运行异常周期，运行异常周期的计算更倾向于关系型数据库，这类查询需要复杂的查询sql以及多表查询。

步骤5：结合外部气象局数据与步骤4存入处理结果的离线数据库进行预警分析。

其中该步骤5包括以下子步骤：

S5.1：每日根据气象局接口获取24小时内数据，结合步骤4存入的分析数据库，建立分析模型分析设备运行状态和预警；

S5.2：建立评价系统，评价系统由较为科学的数学算法配合机器学习语言设计，分析模型需要评价系统来对其不断维护，保证分析模型的准确性；

S5.3：分析模型每日提供预警建议，并发送至管理员邮箱供管理员参考。

本实施例在监控系统中运用大数据技术除了能够实时监控外，还能够结合历史数据，通过内部分析模型，并且用一套计算规则生成的评价系统实时维护这个分析模型是否准确，并且可随时设定预警阀值，灵活控制分析模型，确保分析模型的准确性， 通过分析模型分析出的预警信息，比传统监控系统中内置固定的专家意见和人工判断要更加准确，用数据说话也更科学、更严谨。

Claims (6)

1.一种基于流式处理技术Storm的配电生产设备的在线监控方法，其特征在于：该方法包括以下步骤，

步骤1：配电生产系统的设备实时数据有更新则将数据发送到消息响应系统，根据设备类型分发为不同的消息主题；在设备信息产生时，消息响应系统有一个程序去一直监控数据的产生，产生一行就通过一个传输系统发给消息响应系统，然后在消息响应系统内部按照设备类型、设备id分别存于不同的主题，通过广播的方式发布出去，每条数据从获取到分组发布完成，可以在毫秒级别完成；

步骤2：流式处理系统storm根据不同设备类型实时向消息相应系统获取相对应主题消息，进行在线处理；

步骤3：根据步骤2的处理结果判断当前状态是否异常，若异常则将设备信息发送至报警系统；在设备信息产生时，消息响应系统有一个程序去一直监控数据的产生，产生一行就通过一个传输系统发给流式计算系统，然后流式计算系统直接处理，根据处理结果立即判断是需要发动报警还是存入离线数据库，每条数据从产生到处理完成，在集群数为4台以上可以在毫秒级别完成；

步骤4：对步骤2处理后的设备状态值存入离线数据库；

步骤5：结合外部气象局数据与步骤4存入处理结果的离线数据库进行预警分析。

2.根据权利要求1所述的基于流式处理技术Storm的配电生产设备的在线监控方法，其特征在于：

所述步骤1包括以下子步骤：

        S1.1：配网生产设备系统会实时生成设备当前信息，如果当前设备信息数据较之前状态有变动，消息响应系统会从配网生产管理系统获取这条有信息变动的数据；

S1.2：消息响应系统把获取到的设备数据按照设备类型与设备id分发成不同的主题消息，以广播的方式发布，供后续处理。

3.根据权利要求1所述的基于流式处理技术Storm的配电生产设备的在线监控方法，其特征在于：

所述步骤2包括以下子步骤：

S2.1：流式处理系统storm向消息响应系统订阅主题，根据不同的设备类型和设备id订阅不同的实时主题消息；

S2.2：获取到数据后进行在线批量处理，根据设备温度、功效、开关等信息判断设备运行状态，并给出实时处理意见。

4.根据权利要求1所述的基于流式处理技术Storm的配电生产设备的在线监控方法：

所述步骤3包括以下子步骤：

S3.1：根据步骤2的处理结果，如果设备异常，则向报警系统发送异常事件；

S3.2：向管理员邮箱发送异常以及报警消息，通知管理员查看处理。

5.根据权利要求1所述的基于流式处理技术Storm的配电生产设备的在线监控方法：

所述步骤4包括以下子步骤：

S4.1：对步骤2的结果设备正常的数据存入非关系型分析数据库HBase，根据设备类型划分不同的列族；

S4.2：对步骤2的结果设备异常的数据存入关系型分析数据库Mysql，积累的异常数据可刻画出设备运行异常周期，运行异常周期的计算更倾向于关系型数据库，这类查询需要复杂的查询sql以及多表查询。

6.根据权利要求1所述的基于流式处理技术Storm的配电生产设备的在线监控方法：

所述步骤5包括以下子步骤：

S5.1：每日根据气象局接口获取24小时内数据，结合步骤4存入的分析数据库，建立分析模型分析设备运行状态和预警；

S5.2：建立评价系统，评价系统由较为科学的数学算法配合机器学习语言设计，分析模型需要评价系统来对其不断维护，保证分析模型的准确性；

S5.3：分析模型每日提供预警建议，并发送至管理员邮箱供管理员参考。