CN109709389B - 针对电力仪表分布式大容量实时数据采样告警方法和系统 - Google Patents

Abstract

本发明公开了一种针对电力仪表分布式大容量实时数据采样告警方法，包括：设置多个目标监控点，采集所述目标监控点的监控数据；通过分布式消息系统将所述监控数据保存到数据库中；在任意一个目标监控点的监控数据满足其对应的告警条件时，进入告警准备；如果该多个目标监控点均满足告警条件，且任意两个相邻的目标监控点满足告警条件的时间间隔不大于预设时间时，则发出告警信息。本发明还公开了针对电力仪表分布式大容量实时数据采样告警系统。本发明通过分布式消息系统实现数据的发送，提高系统处理能力，同时，通过多个目标监控点满足告警条件，在间隔时间满足预设时间时，发出告警信息，从而降低运维人员对告警的筛选和分析的时间消耗。

Description

针对电力仪表分布式大容量实时数据采样告警方法和系统

技术领域

本发明涉及数据采集技术领域，尤其涉及一种针对电力仪表分布式大容量实时数据采样告警方法和系统。

背景技术

在做大量电力仪表实时数据采样时，在接入设备越来越来的情况下，每次需要采集的数据量不断增加，传统的采集因数据过大而出现的数据不能及时保存、甚至丢失等一系列问题，而且需要扩容时提供系统处理数据能力时，需要停止服务，从而引起监控数据的丢失，甚至在停止服务期间出现重要故障问题而不被发现。

现有的监控系统或者监控平台的告警主要包括2种，模拟量告警以及开关量变位告警，模拟量包括电压、电流、无功功率，有功功率等电气量和温度、气压、湿度、有毒气体等环境量，这些模拟值是实时值，系统或者平台可以设置告警值，形成定值越线告警(上限或者下限)告警；开关变位告警需要监控人员在系统中设置相关开关开、合闸是否是正常的，否则会产生告警。在监控平台中这些告警会被汇总并集中展示给运维人员，同时也会根据模拟或者开关量的类型分类(例如电压，电流)，方便集中处理问题。但是当运维人员需要监控的告警范围比较大或者某一类的实时值会产生大量告警时，运维人员会面临如下问题：

1.如何在大量的告警中定位自己需要去处理的告警。

2.因为只设置了告警上限和下限，如何去分辨处理问题的优先度。

3.如何在去现场之前就对告警问题有预判断。

基于以上原因，运维人员会花费大量精力在告警的筛选以及分析上，极大的降低了问题处理效率甚至延误告警处理时间。

发明内容

为了克服现有技术的不足，本发明的目的之一在于提供一种针对电力仪表分布式大容量实时数据采样告警方法，其通过分布式消息系统实现数据的发送，在不停机的情况下动态增加kafka服务以提高系统处理能力，同时，通过多个目标监控点满足告警条件，在间隔时间满足预设时间时，发出告警信息，从而降低运维人员对告警的筛选和分析的时间消耗，提高问题处理效率，实现对告警的及时处理。

本发明的目的之二在于提供一种针对电力仪表分布式大容量实时数据采样告警系统，其通过分布式消息系统实现数据的发送，在不停机的情况下动态增加kafka服务以提高系统处理能力，同时，通过多个目标监控点满足告警条件，在间隔时间满足预设时间时，发出告警信息，从而降低运维人员对告警的筛选和分析的时间消耗，提高问题处理效率，实现对告警的及时处理。

本发明的目的之一采用如下技术方案实现：

一种针对电力仪表分布式大容量实时数据采样告警方法，包括以下步骤：

设置多个目标监控点，采集所述目标监控点的监控数据；

通过分布式消息系统将所述监控数据保存到数据库中；

在任意一个目标监控点的监控数据满足其对应的告警条件时，启动计时，进入告警准备；如果该多个目标监控点均满足告警条件，且任意两个相邻的目标监控点满足告警条件的时间间隔不大于预设时间时，则发出告警信息，否则，不发出告警信息。

进一步地，所述多个目标监控点为相关联的数据采集点。

进一步地，对目标监控点进行批量设置阈值，所述阈值与相应的目标监控点采集的实际数据进行比对，以判断是否满足告警条件。

进一步地，通过分布式消息系统将所述监控数据发送到数据库中，包括：

每个目标监控点将采集到的监控数据发送至kafka集群；

数据保存模块从所述kafka集群中获取监控数据，保存至数据库中。

进一步地，每个目标监控点将采集到的监控数据发送至kafka集群，包括：

目标监控点注册kafka的接口，并将每次采集到的监控数据保存为json格式后进行压缩，得到监控数据的压缩包文件，根据目标监控点的类型，决定发布的kafka集群的分区ID，以约定好格式的主题发布所述压缩包文件到kafka集群；约定好的主题格式包括目标监控点中数据采集终端的序列号、监控设备的编号以及目标监控点的编号。

进一步地，数据保存模块从所述kafka集群中获取监控数据，保存至数据库中，包括：

数据保存模块从kafka集群中获取所述压缩包文件，解压缩得到相应的监控数据，并从缓存中查找对应的数据采集终端的信息，验证监控数据的合理性后，根据所述监控数据的业务类型，批量保存到数据库中。

进一步地，在采集所述目标监控点的监控数据之后，还包括：

对所述监控数据进行筛选和计算，以得到类型完善和初步计算的监控数据，将所述类型完善和初步计算后的监控数据通过分布式消息系统保存到数据库中。

本发明的目的之二采用如下技术方案实现：

一种针对电力仪表分布式大容量实时数据采样告警系统，包括：

设置模块，用于设置多个目标监控点，采集所述目标监控点的监控数据；

发送模块，用于通过分布式消息系统将所述监控数据保存到数据库中；

判断模块，用于在任意一个目标监控点的监控数据满足其对应的告警条件时，启动计时，进入告警准备；如果该多个目标监控点均满足告警条件，且任意两个相邻的目标监控点满足告警条件的时间间隔不大于预设时间时，则发出告警信息，否则，不发出告警信息。

进一步地，所述发送模块，包括：

发送单元，用于每个目标监控点将采集到的监控数据发送至kafka集群；

保存单元，用于通过数据保存模块从所述kafka集群中获取监控数据，保存至数据库中。

进一步地，所述发送单元包括：目标监控点注册kafka的接口，并将每次采集到的监控数据保存为json格式后进行压缩，得到监控数据的压缩包文件，根据目标监控点的类型，决定发布的kafka集群的分区ID，以约定好格式的主题发布所述压缩包文件到kafka集群；约定好的主题格式包括目标监控点中数据采集终端的序列号、数据采集终端的编号以及目标监控点的编号；

所述保存单元包括：数据保存模块从kafka集群中获取所述压缩包文件，解压缩得到相应的监控数据，并从缓存中查找对应的数据采集终端的信息，验证监控数据的合理性后，根据所述监控数据的业务类型，批量保存到数据库中。

相比现有技术，本发明的有益效果在于：

本发明通过分布式消息系统实现数据的发送，在不停机的情况下动态增加kafka服务以提高系统处理能力，同时，通过多个目标监控点满足告警条件，在间隔时间满足预设时间时，发出告警信息，从而降低运维人员对告警的筛选和分析的时间消耗，提高问题处理效率，实现对告警的及时处理。

附图说明

图1为本发明实施例一的针对电力仪表分布式大容量实时数据采样告警方法的流程图；

图2为分布式消息系统的架构图；

图3为分布式消息系统进行实时数据采样的架构图；

图4为本发明实施例二的针对电力仪表分布式大容量实时数据采样告警系统的结构示意图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

实施例一

一个告警问题发生后可能会体现在多个监控点上，此时单个监控点告警不能满足这种需求，尤其是只关注单点告警的情况下，运维人员需要花费大量时间从大量告警中关联若干个单点告警去推断是否是多监测位置的告警问题。为此，监控平台设置的组合告警可以解决上述问题，可以组合多个单点告警并生成一条虚拟告警提示运维人员，考虑到多个单点告警发生的时间差，组合告警需要设置间隔时间。

具体地，本发明实施例一公开了一种针对电力仪表分布式大容量实时数据采样告警方法，该方法可以由监控平台(硬件或/和软件)来执行，请参照图1所示，其包括以下步骤：

110、设置多个目标监控点，采集所述多个目标监控点的监控数据。

所谓的监控点，即监控系统中被监控设备的具体某位置的信号采集点，该数据采集点通过数据采集终端实现数据采集，数据采集终端为一个兼容市场绝大多数通讯协议的采集工具，能够快速的批量采集各种仪表即监控设备RTU的监控数据。通过实现数据采集在该信号采集点布局相应的采集信号，获得目标监控点的监控数据。目标监控点，即是用于产生组合告警的具体设定的监控点，以示与普通监控点进行区分，这里的多个目标监控点，一般情况下他们之间存在一定的关联，例如都是电流数据，或者某个目标监控点会影响其他目标监控点的监控数据等，当然，也可以是运维人员根据自己的需求信息进行任意组合形成。

数据采集终端功能主要是对原始的电力采集数据，根据对应的分类，对数据再加工处理，生成经过初步处理之后的监控数据，发送给Kafka对应的主题。

仪表原始采集数据一般会存在采集类型不充分、数据质量差和需要再次计算等问题，数据采集终端的最重要的功能就是将这些原始采集的监控数据，经过筛选、计算，得出一个类型完善、数据质量高和已经初步计算的监控数据，最终通过Kafka发送给上层系统(这里主要是指监控系统，用于根据监控数据进行相应的告警)保存和使用。采集处理的监控数据一般分为三类：1.模拟量：包括仪表的三相电流、三相电压等在一定范围内不规则变化的测量量，对于部分仪表无法直接采集的类型，数据采集终端会根据已有的测量数据和预先设定的逻辑公式，同步计算最终的结果。比如根据三相有功功率，对三相有功功率求和，最终计算有功功率。2.数字量：包含各个开关的测量量，值通常是0或1，数据采集终端会根据设备的某些采集结果，判断对应设备是否通讯异常，以作为对应采集数据的补充和数据质量的依据。比如根据仪表的通讯状态是否正常，标识本次采集的数据质量，质量差的数据需要丢弃。3.累积量：通常指采集数据不断递增的测量点，最常见的就是电度表底值；对于这一类数据，数据采集终端(带有处理功能)会根据不同时刻的测量值，计算这一段时间内的用电量，直接得出仪表的用电情况，供上层系统直接使用；同时还包括处理仪表翻转、换表等异常情况处理。

120、通过分布式消息系统将所述监控数据保存到数据库中。

这里的分布式消息系统采用kafka集群和Zookeeper实现。Kafka为一个分布式、支持分区的、多副本，基于Zookeeper协调的分布式消息系统，具有一下特点；1.高吞吐量、低延迟，每秒可以处理几十万消息；2.可扩展性：集群部署支持热扩展；3，持久性：消息被持久化到本地磁盘，支持数据备份；4.容错性：分区具有副本，支持容错；5.高并发：支持多个分区的并发读写。Zookeeper：一个分布式应用程序协调服务，主要是为分布式应用提供一致性服务，提供的功能包含：配置维护、分布式同步、组服务等。Kafka主要使用Zookeeper来管理和协调代理，每个Kafka代理通过Zookeeper协调其他Kafka代理。

分布式消息系统，用于解耦数据采集终端(Producer)与数据保存模块(Consumer)之间的直接关联。Producer和Consumer分别实现Kafka注册的接口，数据从Producer发送到Kafka集群，Kafka集群承担消息的中间缓存和分发的作用，Kafka集群将消息分发给注册到系统的Consumer，最终Consumer实现数据的及时入库操作。

数据采集终端需要实现Kafka ProducerAPI，向一个或多个主题发布消息，作为消息的生成者，将已经经过初步计算和清洗的数据，向对应主题发送消息。首先实现注册Kafka集群的接口，将每次采集到的数据保存为约定好的Json格式，再压缩保存，以节省网络流量。将得到的压缩包文件，根据采集数据的类型，决定发布的Kafka集群的分区ID，以约定好格式的主题发布消息到Kafka集群。其中消息主题的格式为：采用数据采集终端的SN(即序列号，监控系统内唯一，即监控系统获取到该序列号后即可判断是哪个数据采集终端)+监控设备编号(在对应的数据采集终端内唯一)+目标监控点编号。

整个数据采集过程中，数据采集终端都是按照约定好的格式生产监控数据，压缩，生产指定格式的消息主题，发送到Kafka集群。

利用Kafka+Zookeeper实现一个分布式、可分区的消息系统，维护整个消息队列，很好的将消息生产、消息存储、消息消费的过程结合在一起，并实现生产者与消费者的负载均衡。Kafka以集群方式运行，由一个或者多个服务组成，分布式部署，每个服务叫做一个Broker；消息生产者将消息发送给Kafka集群，集群向消费者提供消息，请参照图2所示。

Kafka对一组消息的抽象叫做主题(Topic)，同时对每个Topic做了分区，每个分区都由一系列的有序的、不可变的消息组成，这些消息分别追加到分区中。通过分区的做法，减少了每个分区的消息数量，一定程度保证了消息的高并发处理；每个Consumer需要保存消费的消息的序列号，实现避免重复消费消息；同时每个Topic的分区都会在整个Kafka集群的若干服务中都有副本，副本使Kafka具备容错能力。每个分区都由一个服务做一个Leader，该分区的其他五福作为Follwers，Leader负责消息的读写，Follwers则取复制Leader，如果Leader不能访问，则Follwers中的其中一台自动成为Leader，继续提供服务，避免消息丢失，保证整个系统的高容错能力。Kafka提供分区内消息的有序性，分区之间消息不能有序。

随着采集的数据量不断上升，可以动态根据整个Kafka集群的负载情况，动态增加Broker节点，实现消息生成者的负载均衡，保证消息系统内消息的及时送达。

请参照图3所示，数据保存模块实现Kafka ConsumerAPI，订阅一个或多个主题，作为消息的消费者，负责处理主题里的数据流；Kafka会为每个消息的消费者分配一个唯一的消费组(Group ID)，Kafka为每个消费者分配一个消费者ID(Consumer ID)，这些信息都是由Zookeeper保存维护；Kafka保证每个消息分区有且只能同时有一个消费者进行消费，同时每个Topic的消费进度也会在Zookeeper中保存。数据保存模块根据从Kafka集群中获取到消息内容，解压缩得到具体的内容，从缓存中查找对应的采集设备的信息，验证数据的合理性之后，根据具体的业务类型，分别执行批量保存到数据库、推送具体信息等操作。

随着采集的数据量不断上升，可以动态根据系统当前的消息处理情况作出动态的增加和减少消费者的数量，来基本保证真个数据采集的实时性，避免因采集数据量增加而导致数据不能及时保存等问题。

上层系统根据数据库保存的数据，对数据做进一步加工，提炼出企业在一段时间范围内的需量、负载和功率因数等使用情况。上层系统根据仪表的采集数据变化，根据预先设定的告警规则，产生相应的预警和告警信息，通知运维人员和用电现场的最新情况，以便于提前处理安全隐患，减少经济损失，具体请参照130步骤。

130、在任意一个目标监控点的监控数据满足其对应的告警条件时，启动计时，进入告警准备；如果该多个目标监控点均满足告警条件，且任意两个相邻的目标监控点满足告警条件的时间间隔不大于预设时间时，则发出告警信息，否则，不发出告警信息。

这里的告警信息并不是实际的告警，而是一种虚拟告警，即逻辑告警，其是用于对运维人员进行提醒，有助于运维人员进行判断，而且，其触发告警信息是主动触发的，即当任意一个目标监控点的监控数据满足告警条件时，就开始告警准备，同时开始计时，当所有的目标监控点均满足告警条件，且相邻两个目标监控点满足告警条件的时间间隔均不大于预设时间(例如1min)，则触发最终的虚拟告警，给运维人员进行判断是否需要进一步的操作，至于哪个目标监控点先行满足告警条件，以及满足告警条件的先后顺序，则不做任何限定。

每个目标监控点均对应设置有阈值，该阈值可以是阈值上限，也可以是阈值下限，或者包括阈值上限和阈值下限，当对目标监控点的监控数据达到相应的阈值(例如，如果只有阈值上限，当监控数据大于该阈值上限时，即满足告警条件，如果既有阈值上限，又有阈值下限，则监控数据小于阈值下限或大于阈值上限时，视为满足告警条件)时，则视为满足告警条件。由此可知，告警条件其实就是阈值。

对所述监控系统中的目标监控点以及其他监控点进行批量配置，阈值配置好通用规则后，根据监控系统内的监控点去自动匹配并生成对应的规则，例如配置通用规则电流阈值X，那么如果监控系统中有30个电流监控点，可以一键自动批量生成30个规则，即每个电流监控点均被配置电流阈值X，可以节省大量的配置时间。

当然，该告警信息也可以是该多个目标监控点均满足告警条件而触发的实际的预警信号。

以两个条件产生告警信息为例，进行说明：

监控平台设置了组合告警的条件，例如A条件+B条件+预设时间，其中，预设时间为间隔时间值。当监控平台经由网关接收到A目标监控点的监控数据(该监控数据由A采集设备进行采集，称为A监控数据)时，如果A监控数据符合A条件，则监控平台会暂时记录这条告警，但是不会发出告警信息，如果在预设时间内接经由网关接收到B目标监控点的监控数据，称为B监控数据，且B监控数据符合B条件，则发出告警信息；否则如果在预设时间内接收到B监控数据，且B监控数据不符合B条件，或者在预设时间内未接收到B监控数据，均不会发出告警信息。条件的先后顺序不影响组合告警的判断，即先发生B条件再发生A条件，同样会产生组合告警。

实施例二

实施例二公开了一种对应上述实施例的针对电力仪表分布式大容量实时数据采样告警系统，请参照图4所示，其包括：

设置模块210，用于设置多个目标监控点，采集所述目标监控点的监控数据；

发送模块220，用于通过分布式消息系统将所述监控数据保存到数据库中；

判断模块230，用于在任意一个目标监控点的监控数据满足其对应的告警条件时，启动计时，进入告警准备；如果该多个目标监控点均满足告警条件，且任意两个相邻的目标监控点满足告警条件的时间间隔不大于预设时间时，则发出告警信息，否则，不发出告警信息。

其中，所述发送模块220包括：

发送单元，用于每个目标监控点将采集到的监控数据发送至kafka集群；

保存单元，用于通过数据保存模块从所述kafka集群中获取监控数据，保存至数据库中。

进一步地，所述发送单元包括：目标监控点注册kafka的接口，并将每次采集到的监控数据保存为json格式后进行压缩，得到监控数据的压缩包文件，根据目标监控点的类型，决定发布的kafka集群的分区ID，以约定好格式的主题发布所述压缩包文件到kafka集群；约定好的主题格式包括目标监控点中数据采集终端的序列号、数据采集终端的编号以及目标监控点的编号；

进一步地，所述保存单元包括：数据保存模块从kafka集群中获取所述压缩包文件，解压缩得到相应的监控数据，并从缓存中查找对应的数据采集终端的信息，验证监控数据的合理性后，根据所述监控数据的业务类型，批量保存到数据库中。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (5)

1.一种针对电力仪表分布式大容量实时数据采样告警方法，其特征在于包括以下步骤：

设置多个目标监控点，采集所述目标监控点的监控数据；

通过分布式消息系统将所述监控数据保存到数据库中；其中，所述分布式消息系统包含若干分区，每个分区都有一个Leader服务和若干Follwers副本，Leader服务负责消息的读写，Follwers副本复制Leader服务中的消息；

在任意一个目标监控点的监控数据满足其对应的告警条件时，启动计时，进入告警准备；如果该多个目标监控点均满足告警条件，且任意两个相邻的目标监控点满足告警条件的时间间隔不大于预设时间时，则发出告警信息，否则，不发出告警信息；

通过分布式消息系统将所述监控数据发送到数据库中，包括：

每个目标监控点将采集到的监控数据发送至kafka集群；

数据保存模块从所述kafka集群中获取监控数据，保存至数据库中；

每个目标监控点将采集到的监控数据发送至kafka集群，包括：

目标监控点注册kafka的接口，并将每次采集到的监控数据保存为json格式后进行压缩，得到监控数据的压缩包文件，根据目标监控点的类型，决定发布的kafka集群的分区ID，以约定好格式的主题发布所述压缩包文件到kafka集群；约定好的主题格式包括目标监控点中数据采集终端的序列号、监控设备的编号以及目标监控点的编号；

数据保存模块从所述kafka集群中获取监控数据，保存至数据库中，包括：

数据保存模块从kafka集群中获取所述压缩包文件，解压缩得到相应的监控数据，并从缓存中查找对应的数据采集终端的信息，验证监控数据的合理性后，根据所述监控数据的业务类型，批量保存到数据库中。

2.如权利要求1所述的针对电力仪表分布式大容量实时数据采样告警方法，其特征在于，所述多个目标监控点为相关联的数据采集点。

3.如权利要求1所述的针对电力仪表分布式大容量实时数据采样告警方法，其特征在于，对目标监控点进行批量设置阈值，所述阈值与相应的目标监控点采集的实际数据进行比对，以判断是否满足告警条件。

4.如权利要求1所述的针对电力仪表分布式大容量实时数据采样告警方法，其特征在于，在采集所述目标监控点的监控数据之后，还包括：

对所述监控数据进行筛选和计算，以得到类型完善和初步计算的监控数据，将所述类型完善和初步计算后的监控数据通过分布式消息系统保存到数据库中。

5.一种针对电力仪表分布式大容量实时数据采样告警系统，其特征在于，包括：

设置模块，用于设置多个目标监控点，采集所述目标监控点的监控数据；

发送模块，用于通过分布式消息系统将所述监控数据保存到数据库中；其中，所述分布式消息系统包含若干分区，每个分区都有一个Leader服务和若干Follwers副本，Leader服务负责消息的读写，Follwers副本复制Leader服务中的消息；

判断模块，用于在任意一个目标监控点的监控数据满足其对应的告警条件时，启动计时，进入告警准备；如果该多个目标监控点均满足告警条件，且任意两个相邻的目标监控点满足告警条件的时间间隔不大于预设时间时，则发出告警信息，否则，不发出告警信息；

所述发送模块，包括：

发送单元，用于每个目标监控点将采集到的监控数据发送至kafka集群；

保存单元，用于通过数据保存模块从所述kafka集群中获取监控数据，保存至数据库中；

所述发送单元包括：目标监控点注册kafka的接口，并将每次采集到的监控数据保存为json格式后进行压缩，得到监控数据的压缩包文件，根据目标监控点的类型，决定发布的kafka集群的分区ID，以约定好格式的主题发布所述压缩包文件到kafka集群；约定好的主题格式包括目标监控点中数据采集终端的序列号、数据采集终端的编号以及目标监控点的编号；

所述保存单元包括：数据保存模块从kafka集群中获取所述压缩包文件，解压缩得到相应的监控数据，并从缓存中查找对应的数据采集终端的信息，验证监控数据的合理性后，根据所述监控数据的业务类型，批量保存到数据库中。

Images