CN107968840B - 一种大规模电力设备监测报警数据实时处理方法及系统 - Google Patents

一种大规模电力设备监测报警数据实时处理方法及系统 Download PDF

Info

Publication number
CN107968840B
CN107968840B CN201711353258.XA CN201711353258A CN107968840B CN 107968840 B CN107968840 B CN 107968840B CN 201711353258 A CN201711353258 A CN 201711353258A CN 107968840 B CN107968840 B CN 107968840B
Authority
CN
China
Prior art keywords
data
real
processing
time
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711353258.XA
Other languages
English (en)
Other versions
CN107968840A (zh
Inventor
宋亚奇
李莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China Electric Power University
Original Assignee
North China Electric Power University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China Electric Power University filed Critical North China Electric Power University
Priority to CN201711353258.XA priority Critical patent/CN107968840B/zh
Publication of CN107968840A publication Critical patent/CN107968840A/zh
Application granted granted Critical
Publication of CN107968840B publication Critical patent/CN107968840B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network-specific arrangements or communication protocols supporting networked applications
    • H04L67/10Network-specific arrangements or communication protocols supporting networked applications in which an application is distributed across nodes in the network
    • H04L67/1097Network-specific arrangements or communication protocols supporting networked applications in which an application is distributed across nodes in the network for distributed storage of data in a network, e.g. network file system [NFS], transport mechanisms for storage area networks [SAN] or network attached storage [NAS]
    • HELECTRICITY
    • H02GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02JCIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J13/00Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network
    • H02J13/0006Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network for single frequency AC networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network-specific arrangements or communication protocols supporting networked applications
    • H04L67/12Network-specific arrangements or communication protocols supporting networked applications adapted for proprietary or special purpose networking environments, e.g. medical networks, sensor networks, networks in a car or remote metering networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network-specific arrangements or communication protocols supporting networked applications
    • H04L67/28Network-specific arrangements or communication protocols supporting networked applications for the provision of proxy services, e.g. intermediate processing or storage in the network
    • H04L67/2842Network-specific arrangements or communication protocols supporting networked applications for the provision of proxy services, e.g. intermediate processing or storage in the network for storing data temporarily at an intermediate stage, e.g. caching

Abstract

一种大规模电力设备监测报警数据实时处理方法及系统,其包括数据接收与分发平台、SparkStreaming实时数据处理平台、Spark内存计算平台和HBase、Hadoop分布式文件系统,其对监测数据的处理过程包括:1)负责报警数据接收与分发的数据收集服务器集群,2)实时数据处理平台内的异常检测模块基于SparkStreaming实时数据处理技术实现;3)特征提取模块基于SparkStreaming实时数据处理技术实现;4)模式识别模块基于SparkStreaming实时数据处理技术实现;5)机器学习模块基于Spark大数据技术实现。其实现了应对大规模高并发的报警数据和持续远方监测的流式数据的快速收集和处理的方法,可以用于构建新一代输变电设备远程监测系统或大规模新能源电站群监控系统的建设。

Description

一种大规模电力设备监测报警数据实时处理方法及系统
技术领域
本发明涉及电力设备监测领域,尤指种一种大规模电力设备监测报警数据实时处理方法及系统。
背景技术
随着电网规模增长迅速,电网结构越来越复杂,信息化与电力生产深度融合,智能化电力一次设备和常规电力设备的在线监测都得到了较大发展并成为趋势,监测数据变得日益庞大,设备中进行获取与传输的监测数据成几何级增长。电力设备在线监测系统在数据存储、查询和数据分析等方面面临巨大的技术挑战。如何对电力设备监测大数据进行高效、可靠地存储,并快速访问和分析,是当前电力信息处理领域和大数据处理领域重要的研究课题。
当前,电力设备监测大数据的特点和所面临的技术挑战包括:
(1)电力设备状态监测数据的规模非常巨大,从TB级别往PB级别发展。
在线监测系统的计算处理速度及响应时间受限于硬件性能,在发生电网故障情况下,短时间内大量数据若得不到及时处理,可能面临信息延迟甚至丢失的风险。
(2)处理速度快。
对海量的输变电设备监测历史数据进行离线分析处理的过程包括数据清洗、格式转换、信号去噪、特征提取、模式识别等,任何一个环节处理速度慢,都会成为应用系统的性能瓶颈。因而数据处理平台要能够提供并行化、高吞吐量、批处理的能力。而且除历史数据的离线分析处理外,其他的一些应用场景,包括:Ad Hoc数据分析查询、监测大数据流式处理]等,都对系统的数据处理速度提出了挑战。
(3)数据存储与处理平台的架构。
如何根据输变电设备监测大数据的特点和应用需求,选择、组合、合理利用现有大数据技术(Hadoop、Spark、多核计算、云计算等)构建高可靠性及高可用性的分布式存储与计算平台,并利用并行计算技术(MapReduce、MR2、MPI等),满足海量历史数据查询分析、数据挖掘、在线服务等各类计算任务性能需求,助力电力大数据价值释放极具挑战性。
由于常规的数据存储与管理方法大都构建在大型服务器、磁盘阵列(存储硬件)以及关系数据库系统(数据管理软件)上,系统扩展性差、访问性能低下、成本高,面对上述挑战,其在存储和处理监测大数据时遇到了极大的困难。
因而发明人考虑,应对这些挑战,需要综合运用包括批量计算、在线计算和流式计算等场景的大数据处理工具来应对。本发明综合考虑上述挑战,设计实现了一种大规模电力设备监测报警数据实时处理方法。
发明内容
为解决上述技术问题,达到实现了一种大规模电力设备监测报警数据实时处理的目的。
本发明提供了一种大规模电力设备监测报警数据实时处理方法,其包括数据接收与分发平台、SparkStreaming实时数据处理平台、Spark内存计算平台和HBase、Hadoop分布式文件系统,其对监测数据的处理过程包括:
1)负责报警数据接收与分发的数据收集服务器集群,是采用高可扩展性的分布式集群,使用分布式Kafka软件实现订阅式的消息接收与发布,设置有冗余的多条优先级队列;
2)实时数据处理平台内的异常检测模块基于SparkStreaming实时数据处理技术实现,接收来自Kafka实时转发的监测数据流,以内存计算的方式,使用SparkStreaming阈值处理程序对监测数据值进行越线判别,对未越线数据,推送至HBase存储;对于越线数据,发送至特征提取模块,执行步骤3)的数据处理;
3)特征提取模块基于SparkStreaming实时数据处理技术实现,接收来自Kafka实时转发的报警数据以及来自异常检测模块转发的越线数据,使用预定的特征提取算法和预处理方法,计算数据特征,用于步骤4)的异常数据模式识别;
4)模式识别模块基于SparkStreaming实时数据处理技术实现,接收来自特征提取模块的待测特征样本,利用来自步骤5)的机器学习算法模型,对特征样本进行实时的模式识别;将分类结果数据存入HBase,更新样本库,当新增样本数量超过阈值x,触发全量的数据训练过程;
5)机器学习模块基于Spark大数据技术实现;由用户为机器学习任务配置调度策略,使机器学习任务按照固定周期执行;或者,由SparkStreaming模式识别模块来触发新的训练任务,训练接收后将产生新的模型,并将新模型发送至模式识别模块进行模型更新。
较佳的,在步骤1)中,所述冗余度默认设置为2。
较佳的,在步骤2)中,同时选择对HBase存储数据进行数据可视化处理。
较佳的,在步骤1)中,当报警事件或监测数据进入Kafka时,对处于不同级别的报警和监测数据分别发送至与之级别匹配的消息队列,根据冗余度R,将消息发送至R条消息队列;对高优先级的优先向下转发;数据按照不同的类别分发到SparkStreaming实时数据处理平台不同的计算节点进行分类处理;实时监测数据(流式数据)分发到异常检测模块,报警数据分发至特征提取模块。
较佳的,数据收集服务器集群与Storm云平台之间、以及Storm和Spark云平台内部的节点服务器之间采用千兆或万兆以太网交换机连接。
本发明还提供了一种大规模电力设备监测报警数据实时处理系统,其包括:数据接收与分发平台、SparkStreaming实时数据处理平台、Spark内存计算平台和HBase、Hadoop分布式文件系统;
其中包含:
1)负责报警数据接收与分发的数据接收与分发平台,即数据收集服务器集群是采用高可扩展性的分布式集群,使用分布式Kafka软件实现订阅式的消息接收与发布;该分布式集群设置有冗余的多条优先级队列,且Kafka能将报警事件或监测数据按照不同级别的报警和监测数据分别发送至与之级别匹配的消息队列,即根据冗余度R,将消息发送至R条消息队列;而且,能对高优先级的优先向下转发;而数据按照不同的类别分发到SparkStreaming实时数据处理平台不同的计算节点进行分类处理;其中,实时监测数据(流式数据)分发到异常检测模块,报警数据分发至特征提取模块;
而SparkStreaming实时数据处理平台包含异常检测模块、特征提取模块、模式识别模块;
2)异常检测模块,是基于SparkStreaming实时数据处理技术实现,接收来自Kafka实时转发的监测数据流,以内存计算的方式,使用SparkStreaming阈值处理程序对监测数据值进行越线判别。
对未越线数据,推送至HBase存储,同时可以选择对HBase存储数据进行数据可视化处理;
对于越线数据,发送至特征提取模块,由特征提取模块进行数据处理;
3)特征提取模块,是基于SparkStreaming实时数据处理技术实现,接收来自Kafka实时转发的报警数据以及来自异常检测模块转发的越线数据,使用预定的特征提取算法和预处理方法计算数据特征;
4)模式识别模块,是基于SparkStreaming实时数据处理技术实现,接收来自特征提取模块的待测特征样本,利用来自5)机器学习模块中的机器学习算法模型,对特征样本进行实时的模式识别;将分类结果数据存入HBase,更新样本库;当新增样本数量超过阈值x,触发全量的数据训练过程;
5)机器学习模块,位于Spark内存计算平台,是基于Spark大数据技术实现,其任务来自用户为机器学习任务配置的调度策略,使机器学习任务可以按照固定周期执行;或者,是由SparkStreaming模式识别模块来触发新的训练任务,训练接收后将产生新的模型,并将新模型发送至模式识别模块进行模型更新。
较佳的,所述数据收集服务器集群的冗余度默认为2。
较佳的,还包含对HBase存储数据进行数据可视化处理的可视化处理模块。
较佳的,各数据源同数据接收分发平台之间是通过电力数据通信专网双向的连接。
较佳的,数据收集服务器集群与Storm云平台之间、以及Storm和Spark云平台内部的节点服务器之间采用千兆或万兆以太网交换机连接。
借助上述方法,本发明综合运用了包括批量计算、在线计算和流式计算等场景的大数据处理工具来应对电力设备状态监测数据的规模非常巨大,从TB级别往PB级别发展的挑战,实现了对电力设备监测大数据进行高效、可靠地存储,并快速访问和分析。实现了应对大规模高并发的报警数据和持续远方监测的流式数据的快速收集和处理的方法,可以用于构建新一代输变电设备远程监测系统或大规模新能源电站群监控系统的建设。
附图说明
图1:本发明的数据处理方法的处理流程。
具体实施方式
下面通过实施例,并结合附图,对本发明的技术方案做进一步具体的说明。
由于在天气恶劣的条件下,电网中电力设备监测报警具有突发性,报警数据量很大,这对于监测平台提出了更高的快速收集、存储与计算要求。本发明提供的方法结合SparkStreaming和Spark实时云平台和大数据处理技术,提出能应对大规模高并发的报警数据和持续远方监测的流式数据的快速收集和处理的方法,可以用于构建新一代输变电设备远程监测系统或大规模新能源电站群监控系统的建设。
参见图1所示,为本发明的数据处理方法的处理流程。在本具体实施例中,本发明的方法应用的远程监测系统包括,与目前电网调控中心的监控系统的前置机(通信服务器)集群、数据服务器、应用服务器和历史数据服务器相对应的:数据接收与分发平台、SparkStreaming实时数据处理平台、Spark内存计算平台和HBase、Hadoop分布式文件系统(HDFS)。
较佳的图中数据源同数据接收分发平台之间是通过电力数据通信专网连接,而数据流向可以是双向的(向监测装置下发数据查询或控制命令的箭头未画出)。另外,数据收集服务器集群与Storm云平台之间、以及Storm和Spark云平台内部的节点服务器之间可采用千兆或万兆以太网交换机连接。
其中:
1)数据接收与分发平台(数据收集服务器集群)负责报警数据接收与分发。其采用高可扩展性的分布式集群,使用分布式Kafka软件实现订阅式的消息接收与发布。该分布式集群设置有冗余的多条优先级队列,于本具体实施例中,冗余度默认设置为2。Kafka可以将报警事件或监测数据按照不同级别的报警和监测数据分别发送至与之级别匹配的消息队列,即根据冗余度R,将消息发送至R条消息队列。而且可对高优先级的优先向下转发。而数据按照不同的类别分发到SparkStreaming实时数据处理平台不同的计算节点进行分类处理;其中,实时监测数据(流式数据)分发到异常检测模块,报警数据分发至特征提取模块。
而SparkStreaming实时数据处理平台包括异常检测模块、特征提取模块、模式识别模块。
2)异常检测模块,是基于SparkStreaming实时数据处理技术实现,接收来自Kafka实时转发的监测数据流,以内存计算的方式,使用SparkStreaming阈值处理程序对监测数据值进行越线判别。
对未越线数据,推送至HBase存储,同时可以选择对HBase存储数据进行数据可视化处理。
对于越线数据,发送至特征提取模块,由特征提取模块进行数据处理。
3)特征提取模块,是基于SparkStreaming实时数据处理技术实现,接收来自Kafka实时转发的报警数据以及来自异常检测模块转发的越线数据,使用预定的特征提取算法和预处理方法计算数据特征,用于步骤4)的异常数据模式识别,其中,预定的特征提取算法,主要取决于所要处理的数据。比如,局部放电监测数据,可能使用PRPD方法提取特征,而振动数据可以使用小波分析或EMD分解等方法来提取特征,本领域技术人员均知晓对各种类型的电力设备监测数据所需的特征提取算法。
4)模式识别模块,是基于SparkStreaming实时数据处理技术实现,接收来自特征提取模块的待测特征样本,利用来自5)机器学习模块中的机器学习算法模型,对特征样本进行实时的模式识别。将分类结果数据存入HBase,更新样本库;当新增样本数量超过阈值x,触发全量的数据训练过程。
5)机器学习模块,位于Spark内存计算平台,是基于Spark大数据技术实现,其任务来自用户为机器学习任务配置的调度策略,使机器学习任务可以按照固定周期执行;或者,是由SparkStreaming模式识别模块来触发新的训练任务,训练接收后将产生新的模型,并将新模型发送至模式识别模块进行模型更新。
本发明的系统采用的大规模电力设备监测报警数据实时处理方法对监测数据的具体处理过程如下:
1)报警数据接收与分发。采用高可扩展性的分布式集群,使用分布式Kafka软件实现订阅式的消息接收与发布。设置冗余的多条优先级队列,冗余度默认设置为2。当报警事件或监测数据进入Kafka时,对处于不同级别的报警和监测数据分别发送至与之级别匹配的消息队列,根据冗余度R,将消息发送至R条消息队列。对高优先级的优先向下转发。数据按照不同的类别分发到SparkStreaming实时数据处理平台不同的计算节点进行分类处理。实时监测数据(流式数据)分发到异常检测模块,报警数据分发至特征提取模块。
2)异常检测模块基于SparkStreaming实时数据处理技术实现,接收来自Kafka实时转发的监测数据流,以内存计算的方式,使用SparkStreaming阈值处理程序对监测数据值进行越线判别,对未越线数据,推送至HBase存储,同时可以选择对HBase存储数据进行数据可视化处理。对于越线数据,发送至特征提取模块,执行步骤3)的数据处理。
3)特征提取模块基于SparkStreaming实时数据处理技术实现,接收来自Kafka实时转发的报警数据以及来自异常检测模块转发的越线数据,使用特定的特征提取算法和预处理方法,计算数据特征,用于步骤4)的异常数据模式识别。
4)模式识别模块基于SparkStreaming实时数据处理技术实现,接收来自特征提取模块的待测特征样本,利用来自步骤5)的机器学习算法模型,对特征样本进行实时的模式识别。将分类结果数据存入HBase,更新样本库,当新增样本数量超过阈值x,触发全量的数据训练过程,如步骤5)所示。
5)机器学习模块基于Spark大数据技术实现。用户需要为机器学习任务配置调度策略,使机器学习任务可以按照固定周期执行;或者,由SparkStreaming模式识别模块来触发新的训练任务。训练接收后将产生新的模型,并将新模型发送至模式识别模块进行模型更新。
以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解,依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种大规模电力设备监测报警数据实时处理方法,其包括数据接收与分发平台、SparkStreaming实时数据处理平台、Spark内存计算平台和HBase、Hadoop分布式文件系统,其特征在于,对监测数据的处理过程包括:
1)负责报警数据接收与分发的数据收集服务器集群,是采用高可扩展性的分布式集群,使用分布式Kafka软件实现订阅式的消息接收与发布,设置有冗余的多条优先级队列;
2)实时数据处理平台内的异常检测模块基于SparkStreaming实时数据处理技术实现,接收来自Kafka实时转发的监测数据流,以内存计算的方式,使用SparkStreaming阈值处理程序对监测数据值进行越线判别,对未越线数据,推送至HBase存储;对于越线数据,发送至特征提取模块,执行步骤3)的数据处理;
3)特征提取模块基于SparkStreaming实时数据处理技术实现,接收来自Kafka实时转发的报警数据以及来自异常检测模块转发的越线数据,使用预定的特征提取算法和预处理方法,计算数据特征,用于步骤4)的异常数据模式识别;
4)模式识别模块基于SparkStreaming实时数据处理技术实现,接收来自特征提取模块的待测特征样本,利用来自步骤5)的机器学习算法模型,对特征样本进行实时的模式识别;将分类结果数据存入HBase,更新样本库,当新增样本数量超过阈值x,触发全量的数据训练过程;
5)机器学习模块基于Spark大数据技术实现;由用户为机器学习任务配置调度策略,使机器学习任务按照固定周期执行;或者,由SparkStreaming模式识别模块来触发新的训练任务,训练接收后将产生新的模型,并将新模型发送至模式识别模块进行模型更新。
2.根据权利要求1所述的一种大规模电力设备监测报警数据实时处理方法,其特征在于,在步骤1)中,所述数据收集服务器集群的冗余度默认设置为2。
3.根据权利要求1所述的一种大规模电力设备监测报警数据实时处理方法,其特征在于,在步骤2)中,同时选择对HBase存储数据进行数据可视化处理。
4.根据权利要求1所述的一种大规模电力设备监测报警数据实时处理方法,其特征在于,在步骤1)中,当报警事件或监测数据进入Kafka时,对处于不同级别的报警和监测数据分别发送至与之级别匹配的消息队列,根据冗余度R,将消息发送至R条消息队列;对高优先级的优先向下转发;数据按照不同的类别分发到SparkStreaming实时数据处理平台不同的计算节点进行分类处理;实时监测数据分发到异常检测模块,报警数据分发至特征提取模块。
5.根据权利要求1所述的一种大规模电力设备监测报警数据实时处理方法,其特征在于,数据收集服务器集群与Storm云平台之间、以及Storm和Spark云平台内部的节点服务器之间采用千兆或万兆以太网交换机连接。
6.一种大规模电力设备监测报警数据实时处理系统,其特征在于,其包括:数据接收与分发平台、SparkStreaming实时数据处理平台、Spark内存计算平台和HBase、Hadoop分布式文件系统;
其中包含:
1)负责报警数据接收与分发的数据接收与分发平台,即数据收集服务器集群是采用高可扩展性的分布式集群,使用分布式Kafka软件实现订阅式的消息接收与发布;该分布式集群设置有冗余的多条优先级队列,且Kafka能将报警事件或监测数据按照不同级别的报警和监测数据分别发送至与之级别匹配的消息队列,即根据冗余度R,将消息发送至R条消息队列;而且,能对高优先级的优先向下转发;而数据按照不同的类别分发到SparkStreaming实时数据处理平台不同的计算节点进行分类处理;其中,实时监测数据(流式数据)分发到异常检测模块,报警数据分发至特征提取模块;
而SparkStreaming实时数据处理平台包含异常检测模块、特征提取模块、模式识别模块;
2)异常检测模块,是基于SparkStreaming实时数据处理技术实现,接收来自Kafka实时转发的监测数据流,以内存计算的方式,使用SparkStreaming阈值处理程序对监测数据值进行越线判别;
对未越线数据,推送至HBase存储,同时可以选择对HBase存储数据进行数据可视化处理;
对于越线数据,发送至特征提取模块,由特征提取模块进行数据处理;
3)特征提取模块,是基于SparkStreaming实时数据处理技术实现,接收来自Kafka实时转发的报警数据以及来自异常检测模块转发的越线数据,使用预定的特征提取算法和预处理方法计算数据特征;
4)模式识别模块,是基于SparkStreaming实时数据处理技术实现,接收来自特征提取模块的待测特征样本,利用来自5)机器学习模块中的机器学习算法模型,对特征样本进行实时的模式识别;将分类结果数据存入HBase,更新样本库;当新增样本数量超过阈值x,触发全量的数据训练过程;
5)机器学习模块,位于Spark内存计算平台,是基于Spark大数据技术实现,其任务来自用户为机器学习任务配置的调度策略,使机器学习任务可以按照固定周期执行;或者,是由SparkStreaming模式识别模块来触发新的训练任务,训练接收后将产生新的模型,并将新模型发送至模式识别模块进行模型更新。
7.根据权利要求6所述的一种大规模电力设备监测报警数据实时处理系统,其特征在于,所述数据收集服务器集群的冗余度默认为2。
8.根据权利要求6所述的一种大规模电力设备监测报警数据实时处理系统,其特征在于,还包含对HBase存储数据进行数据可视化处理的可视化处理模块。
9.根据权利要求6所述的一种大规模电力设备监测报警数据实时处理系统,其特征在于,各数据源同数据接收分发平台之间是通过电力数据通信专网双向的连接。
10.根据权利要求6所述的一种大规模电力设备监测报警数据实时处理系统,其特征在于,数据收集服务器集群与Storm云平台之间、以及Storm和Spark云平台内部的节点服务器之间采用千兆或万兆以太网交换机连接。
CN201711353258.XA 2017-12-15 2017-12-15 一种大规模电力设备监测报警数据实时处理方法及系统 Active CN107968840B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711353258.XA CN107968840B (zh) 2017-12-15 2017-12-15 一种大规模电力设备监测报警数据实时处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711353258.XA CN107968840B (zh) 2017-12-15 2017-12-15 一种大规模电力设备监测报警数据实时处理方法及系统

Publications (2)

Publication Number Publication Date
CN107968840A CN107968840A (zh) 2018-04-27
CN107968840B true CN107968840B (zh) 2020-10-09

Family

ID=61994554

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711353258.XA Active CN107968840B (zh) 2017-12-15 2017-12-15 一种大规模电力设备监测报警数据实时处理方法及系统

Country Status (1)

Country Link
CN (1) CN107968840B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108737522A (zh) * 2018-05-09 2018-11-02 中兴通讯股份有限公司 一种消息的处理方法、装置和系统
CN109709389A (zh) * 2018-11-30 2019-05-03 珠海派诺科技股份有限公司 针对电力仪表分布式大容量实时数据采样告警方法和系统
CN109450934A (zh) * 2018-12-18 2019-03-08 国家电网有限公司 终端接入数据异常检测方法及系统
CN109828751A (zh) * 2019-02-15 2019-05-31 福州大学 集成化的机器学习算法库与统一编程框架
CN110007654A (zh) * 2019-04-10 2019-07-12 华夏天信(北京)智能低碳技术研究院有限公司 一种基于Red-Sensor传感器的生产大数据服务系统
CN110059775A (zh) * 2019-05-22 2019-07-26 湃方科技(北京)有限责任公司 旋转型机械设备异常检测方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102024999A (zh) * 2010-11-16 2011-04-20 上海交通大学 电动车行动力管理系统
CN104944240A (zh) * 2015-05-19 2015-09-30 重庆大学 一种基于大数据技术的电梯设备的状态监测系统
MY158856A (en) * 2009-12-21 2016-11-15 Univ Malaya A multiple patients wireless electrocardiogram monitoring system
CN106612505A (zh) * 2015-10-23 2017-05-03 国网智能电网研究院 基于区域划分的无线传感器安全通信及防泄密定位方法
CN106651633A (zh) * 2016-10-09 2017-05-10 国网浙江省电力公司信息通信分公司 一种基于大数据技术的用电信息采集系统及其采集方法
CN106777141A (zh) * 2016-12-19 2017-05-31 国网山东省电力公司电力科学研究院 一种融合多源异构电网数据的获取和分布式存储方法
CN106778259A (zh) * 2016-12-28 2017-05-31 北京明朝万达科技股份有限公司 一种基于大数据机器学习的异常行为发现方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MY158856A (en) * 2009-12-21 2016-11-15 Univ Malaya A multiple patients wireless electrocardiogram monitoring system
CN102024999A (zh) * 2010-11-16 2011-04-20 上海交通大学 电动车行动力管理系统
CN104944240A (zh) * 2015-05-19 2015-09-30 重庆大学 一种基于大数据技术的电梯设备的状态监测系统
CN106612505A (zh) * 2015-10-23 2017-05-03 国网智能电网研究院 基于区域划分的无线传感器安全通信及防泄密定位方法
CN106651633A (zh) * 2016-10-09 2017-05-10 国网浙江省电力公司信息通信分公司 一种基于大数据技术的用电信息采集系统及其采集方法
CN106777141A (zh) * 2016-12-19 2017-05-31 国网山东省电力公司电力科学研究院 一种融合多源异构电网数据的获取和分布式存储方法
CN106778259A (zh) * 2016-12-28 2017-05-31 北京明朝万达科技股份有限公司 一种基于大数据机器学习的异常行为发现方法及系统

Also Published As

Publication number Publication date
CN107968840A (zh) 2018-04-27

Similar Documents

Publication Publication Date Title
CN107968840B (zh) 一种大规模电力设备监测报警数据实时处理方法及系统
CN107256219B (zh) 应用于自动列车控制系统海量日志的大数据融合分析方法
CN105868075A (zh) 一种实时监控分析大量日志的系统及方法
CN105207826A (zh) 一种基于Tachyou的Spark大数据平台的安全攻击告警定位系统
CN107330056B (zh) 基于大数据云计算平台的风电场scada系统及其运行方法
CN103700031A (zh) 调控一体化模式下的电力告警信息发布方法
EP3373091A1 (en) Generic framework to detect cyber threats in electric power grid
WO2018140556A1 (en) Machine discovery of aberrant operating states
CN111177095A (zh) 日志分析方法、装置、计算机设备及存储介质
Ferry et al. Towards a big data platform for managing machine generated data in the cloud
Ivanović et al. Collection and analysis of system usage data in smart home automation systems
Dunne et al. A comparison of data streaming frameworks for anomaly detection in embedded systems
CN111741073B (zh) 基于5g通信网络的电力数据传输系统
KR20190017947A (ko) 실시간 데이터 수집에서의 사용을 위한 계층적 데이터 수집기 및 관련된 기법들
Yu et al. Troubleshooting and Traceability Method Based on MapReduce Big Data Platform and Improved Genetic Reduction Algorithm for Smart Substation
KR102078615B1 (ko) 인공지능 기반의 자가치유 네트워크 장치
KR20180128636A (ko) 지역난방을 위한 열수요 통합관리 시스템 및 그 방법
CN107465185B (zh) 一种基于二次系统运行方式的变电站智能运维系统
CN111324460B (zh) 一种基于云计算平台的电力监测控制系统及方法
CN111294553B (zh) 处理视频监控业务信令的方法、装置、设备和存储介质
CN111800293B (zh) 一种智能微电网的边缘计算控制网关
CN108075913B (zh) 一种播发系统服务质量的监控方法及其系统
CN110633259A (zh) 基于hdfs的故障推送系统
CN107872457B (zh) 一种基于网络流量预测进行网络操作的方法及系统
CN110912957B (zh) 一种实现生产设备状态实时监控的多服务集群设计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant