CN105007294A - 输变电设备状态监测大数据快速接收和分发系统 - Google Patents

Abstract

本发明涉及一种输变电设备状态监测大数据快速接收和分发系统，包括主控节点、多个数据节点和订阅进程节点，主控节点接收来自电力系统的监测数据，建立订阅进程与数据优先级队列的映射关系，包括负载均衡器，负载均衡器根据所述映射关系将需要分发的数据均匀地发送给多个数据节点；数据节点对接收到的每条消息分配一个唯一的id，每个数据优先级队列在数据节点的内存中对应一个索引表，索引表的每一行对应一个消息盒，该行的值是对应消息盒中第一条消息的id；订阅进程节点从数据节点获取订阅的监测数据。本发明的借助新兴的内存集群技术，设计了一个分布式的、考虑数据优先级的消息缓冲队列，实现监测大数据的快速收集、缓存和有效分发。

Description

输变电设备状态监测大数据快速接收和分发系统

技术领域

本发明属于电力系统网络化监控及信息处理技术领域，尤其涉及一种输变电设备状态监测大数据快速接收和分发系统。

背景技术

近年来，随着全球能源问题日益严峻，世界各国都开展了智能电网的研究工作。智能电网的最终目标是建设成为覆盖电力系统整个生产过程，包括发电、输电、变电、配电、用电及调度等多个环节的全景实时系统。而支撑智能电网安全、自愈、绿色、坚强及可靠运行的基础是电网全景实时数据采集、传输和存储，以及快速分析。因而随着智能电网建设的不断深入和推进，智能化电力一次设备和常规电力设备的在线监测都得到了较大发展并成为趋势，电网运行和设备检/监测产生的数据量呈指数级增长，输变电设备在线监测系统越来越面临巨大的技术挑战。输变电设备状态监测大数据如下特征：

1)数据体量巨大。常规SCADA系统10000个遥测点，按采样间隔3～4s计算，每年产生1.03TB数据；绝缘子泄漏电流监测中，采样频率可达2MHZ，按照每次采样2字节、每个越限量采集0.5秒计算，则每个越限绝缘子的数据量为2MB，仅按30％的绝缘子越限，每个越限绝缘子1分钟报警10次计算，数据量为：100条线路*2000个绝缘子*30％*2MB*10＝120GB。

2)数据类型繁多。电网数据广域分布、种类众多，包括实时数据、历史数据、文本数据、多媒体数据、时间序列数据等各类结构化、半结构化数据以及非结构化数据，各类数据查询与处理的频度和性能要求也不尽相同。比如，电力设备状态监测数据中的油色谱数据0.5h采样一次，而绝缘放电数据的采样速率高达几百kHz，甚至GHz。

3)处理速度快。在分钟级甚至秒级内对大量数据进行分析，以支持决策制定。对在线状态数据的处理性能要求远高于离线数据。这种在线的流数据分析与挖掘同传统数据挖掘技术有本质的不同。

大规模数据的接收及其分发技术是监测系统面临的首要问题。目前已有的电力设备在线监测装置大多都是针对某设备参数监测开发的，如充油设备的油中溶解气体在线监测、变压器/GIS的局部放电在线监测等。因此已有的输变电设备监测系统，以及现有的电网SCADA/EMS系统在这种巨量的监测数据面前显得难以应对。面临的技术问题主要包括如下方面：

1)监测大数据体量大，数据率高，需要进行实时的数据分析。而数据的到达速度和实时处理速度是不匹配的，会造成数据丢失；目前广泛采用的互为热备份的前置机用于数据收集和分发，很容易形成数据拥塞而造成整体吞吐量急剧下降，进而出现数据丢弃现象。

2)数据的类型多样，需要分派到不同的分析程序进行处理，因此需要对监测大数据进行有效、及时的分发；

3)与互联网数据类型不同，监测数据反映了电力设备运行的状态，越限报警数据、异常数据更需要优先得到处理，因此监测数据具有不同的优先级，在进行数据分发时需要按优先级进行分发。

发明内容

本发明的目的在于，提供一种输变电设备状态监测大数据快速接收和分发系统，实现监测大数据的可靠、快速接收和分发，提高输变电设备状态监测系统数据处理的实时性。

为了实现上述目的，本发明提供的输变电设备状态监测大数据快速接收和分发系统，其特征在于，包括主控节点、多个数据节点和订阅进程节点，主控节点接收来自电力系统的监测数据，监测数据包括多个类别数据，每个类别数据分为两个或两个以上不同优先级，数据的优先级由电力系统的数据采集设备赋予，类别相同、优先级相同的数据属于同一个数据优先级队列，主控节点建立订阅进程与数据优先级队列的映射关系，主控节点包括负载均衡器，负载均衡器根据所述映射关系将需要分发的数据均匀地发送给多个数据节点；一段监测数据为一条消息，数据节点对接收到的每条消息分配一个唯一的id，消息盒是数据节点的一个连续的内存空间，用于存放同属一个数据优先级队列的多条消息，每个数据优先级队列在数据节点的内存中对应一个索引表，索引表的每一行对应一个消息盒，该行的值是对应消息盒中第一条消息的id，每个消息盒中的消息id是连续的；订阅进程节点从数据节点获取订阅的监测数据。

本发明的借助新兴的内存集群技术，设计了一个分布式的、考虑数据优先级的消息缓冲队列，实现监测大数据的快速收集、缓存和有效分发，为实现快速的数据分析、异常检测以及设备状态在线评估提供了基础和前提，能够更好的满足智能电网的建设。

进一步地，主控节点从订阅进程节点接收订阅进程，所述订阅进程与数据优先级队列的映射关系随着订阅进程的变化而变化。

更进一步地，所述订阅进程节点支持订阅进程组，订阅进程组由多个子订阅进程组成，当所述订阅进程节点上的订阅进程发生变化时，所述主控节点删除原有的订阅进程与数据优先级队列的映射关系，读取与当前订阅进程相关的数据类别集合C，C＝{类别1，类别2，...类别N}，读取类别集合C中对应的数据优先级队列集合Q，Q＝{队列1，队列2，...队列R}，读取当前订阅进程P，P＝{子订阅进程1，子订阅进程2，...子订阅进程M}，将Q和P进行排序，计算订阅平均值Avr＝num(Q)/num(P)，对于订阅进程i，负载分配器将i×Avr→(i+1)×Avr-1范围内的数据优先级队列分配给订阅进程i，主控节点将新确定的订阅进程与数据优先级队列的映射关系记录至主控节点，并启动数据分发。

系统支持动态的订阅进程，以更好的支持后续数据处理和数据实时检测。订阅进程由多个子订阅进程组成，多个子订阅进程协同完成复杂的数据订阅，以支持上层的数据分析应用。

附图说明

图1为本发明接收和分发系统的整体架构图；

图2为数据优先级队列的索引结构和消息盒示意图。

下面结合附图对本发明作详细描述。

具体实施方式

参见图1，输变电设备状态监测大数据快速接收和分发系统，包括主控节点、多个数据节点和订阅进程节点。系统硬件由多台计算机通过以太网互联，构成计算机集群。由于需要进行数据的快速接收、缓存和分发，因此，存储介质均采用内存，所以集群中的计算机节点，需要较大容量的内存配置。单个节点的内存不少于16GB，CPU内核数不少于4核。系统在软件上，操作系统采用Linux操作系统(Ubuntu或者其他开源版本)。

主控节点接收来自电力系统多个数据源的不同类型的输变电设备状态监测数据，保存各数据节点的元数据信息，并负责数据分布的负载均衡。为了避免系统出现单点故障，主控节点采用热备份的方法，配有备份节点，主控节点和备份节点同时运行，当主控节点故障时，无缝切换至备份节点。监测数据包括多个类别数据，例如，类别1：泄露电流；类别2：导线电流等。每个类别数据分为两个或两个以上的不同优先级，数据的优先级由电力系统的数据采集设备根据采用值是否越限以及越限程度赋予，越限异常的数据具有较高的优先级，正常数据具有较低的优先级。类别相同、优先级相同的数据属于同一个数据优先级队列，数据优先级队列的数量根据监测数据的特点预先在主控节点的配置文件里设定。

主控节点从订阅进程节点接收订阅进程，建立订阅进程与数据优先级队列的映射关系，该映射关系保存在主控节点中，随着订阅进程的变化，映射关系也发生变化。订阅进程节点可以实现对监测数据的订阅，还可以进行后续的数据处理或实现数据流的实时异常检测，可以是专门的实时数据分析平台。主控节点包括负载均衡器，负载均衡器根据映射关系将需要分发的数据均匀地发送给多个数据节点。订阅进程节点从数据节点获取订阅的监测数据。订阅进程节点和数据节点通过系统内部的高速以太网连接，进程间的通信时，由订阅进程向数据节点主动要数据，并迭代读取数据，如果没有数据，订阅进程会阻塞直到有新的数据发布。

由于输变电设备的数据监测点非常多，一种类别的监测数据涉及多个监测点，因此仅一个类别的监测数据量就非常大(比如，来自各监测点的绝缘子泄漏电流数据)。因此，本发明把一个类别的数据分布存储在多个数据节点，这样就比较便于把同类别的数据按数据监测点来划分范围，把不同数据监测点范围的监测数据分发给不同的数据节点，有利于负载均衡器的负载均衡，此外，即使某个或某些数据节点出现故障，系统仍然接收到全部类别的监测数据。图1中，类别1可以是泄露电流类数据，数据节点1中的该类数据为1-50号杆塔的泄露电流类数据，数据节点n中的该类数据为500-550号杆塔的泄露电流类数据。

本发明监测数据由多个采样值构成，因此是一段一段的。参见图2，一段监测数据由起始时间戳(采集时刻)和多个采样值组成。本申请中，称一段监测数据为一条消息。数据节点以消息为单位进行监测数据的管理、缓存和分发。数据节点对接收到的每条消息分配一个唯一的id，并对消息进行缓存。消息盒是数据节点的一个连续的内存空间，用于存放同属一个数据优先级队列的多条消息。每个优先级队列对应一个逻辑优先级，由多个消息盒组成。每个消息盒中的消息id是连续的。可以使用消息进入消息盒的顺序作为id，则随着时间的推移，每个消息盒中的消息id是递增的。数据节点收到消息后往对应消息队列的最后一个消息盒上添加该消息，消息盒中的消息数量达到一定的大小后将不会再往该消息盒写数据，数据节点的控制进程会创建新的消息盒。为了防止数据丢失，当某个消息盒上的消息数量达到配置阈值时，消息盒上的消息会被转存到硬盘。每个数据优先级队列在数据节点的内存中对应一个索引表，索引表的每一行对应一个消息盒，该行的值是对应消息盒中第一条消息的id。消息盒可以简化索引的设计，提高检索效率。每个消息盒中存储多条同数据优先级队列的消息，消息id由其逻辑位置决定，从消息id可直接定位到消息的存储位置，避免id到位置的额外映射。

订阅进程节点采用同步方式进行数据获取，当没有新的消息时，订阅进程节点将在所订阅的消息类别上阻塞，直到有新的消息到达。某些复杂的数据分析应用程序需要同时对多种类别的监测数据进行分析，如，融合故障诊断等，因此，订阅进程节点支持订阅进程组的概念，订阅进程组由多个子订阅进程组成，组内进程协同完成复杂的数据订阅，以支持上层的数据分析应用。当组内成员发生变更(比如增加一个新的子订阅进程)，组内的负载会进行重新分配，负载重新分配方法如下：

主控节点删除保存在主控节点中原有的订阅进程与数据优先级队列的映射关系，读取与当前订阅进程相关的数据类别集合C，C＝{类别1，类别2，...类别N}，读取类别集合C中对应的数据优先级队列集合Q，Q＝{队列1，队列2，...队列R}，读取当前订阅进程P，P＝{子订阅进程1，子订阅进程2，...子订阅进程M}，将Q和P进行排序，计算订阅平均值Avr＝num(Q)/num(P)，对于订阅进程i，负载分配器将i×Avr→(i+1)×Avr-1范围内的数据优先级队列分配给订阅进程i，主控节点将新确定的订阅进程与数据优先级队列的映射关系记录至主控节点，并启动数据分发。

本发明的借助新兴的内存集群技术，设计了一个分布式的、考虑数据优先级的消息缓冲队列，实现监测大数据的快速收集、缓存和有效分发，为实现快速的数据分析、异常检测以及设备状态在线评估提供了基础和前提，能够更好的满足智能电网的建设。

Claims (7)

1.输变电设备状态监测大数据快速接收和分发系统，其特征在于，包括主控节点、多个数据节点和订阅进程节点，

主控节点接收来自电力系统的监测数据，监测数据包括多个类别数据，每个类别数据分为两个或两个以上不同优先级，数据的优先级由电力系统的数据采集设备赋予，类别相同、优先级相同的数据属于同一个数据优先级队列，主控节点建立订阅进程与数据优先级队列的映射关系，主控节点包括负载均衡器，负载均衡器根据所述映射关系将需要分发的数据均匀地发送给多个数据节点；

一段监测数据为一条消息，数据节点对接收到的每条消息分配一个唯一的id，消息盒是数据节点的一个连续的内存空间，用于存放同属一个数据优先级队列的多条消息，每个数据优先级队列在数据节点的内存中对应一个索引表，索引表的每一行对应一个消息盒，该行的值是对应消息盒中第一条消息的id，每个消息盒中的消息id是连续的；

订阅进程节点从数据节点获取订阅的监测数据。

2.根据权利要求1所述的输变电设备状态监测大数据快速接收和分发系统，其特征在于，所述主控节点从订阅进程节点接收订阅进程，所述订阅进程与数据优先级队列的映射关系随着订阅进程的变化而变化。

3.根据权利要求2所述的输变电设备状态监测大数据快速接收和分发系统，其特征在于，所述订阅进程节点支持订阅进程组，订阅进程组由多个子订阅进程组成，当所述订阅进程节点上的订阅进程发生变化时，所述主控节点删除原有的订阅进程与数据优先级队列的映射关系，读取与当前订阅进程相关的数据类别集合C，C＝{类别1，类别2，...类别N}，读取类别集合C中对应的数据优先级队列集合Q，Q＝{队列1，队列2，...队列R}，读取当前订阅进程P，P＝{子订阅进程1，子订阅进程2，...子订阅进程M}，将Q和P进行排序，计算订阅平均值Avr＝num(Q)/num(P)，对于订阅进程i，负载分配器将i×Avr→(i+1)×Avr-1范围内的数据优先级队列分配给订阅进程i，主控节点将新确定的订阅进程与数据优先级队列的映射关系记录至主控节点，并启动数据分发。

4.根据权利要求3所述的输变电设备状态监测大数据快速接收和分发系统，其特征在于，当消息盒上的消息数量达到配置阈值时，消息盒上的消息会被转存到数据节点的硬盘。

5.根据权利要求4所述的输变电设备状态监测大数据快速接收和分发系统，其特征在于，所述主控节点配有备份节点，主控节点和备份节点同时运行，当主控节点故障时，无缝切换至备份节点。

6.根据权利要求5所述的输变电设备状态监测大数据快速接收和分发系统，其特征在于，所述负载均衡器采用轮转分布或根据设定的回调函数将需要分发的数据优先级队列均匀地发送给多个数据节点。

7.根据权利要求6所述的输变电设备状态监测大数据快速接收和分发系统，其特征在于，一个类别数据占用多个数据节点。