CN110531197A - 针对变电站一次设备监测大数据实现实时流式处理的系统 - Google Patents

针对变电站一次设备监测大数据实现实时流式处理的系统 Download PDF

Info

Publication number
CN110531197A
CN110531197A CN201910870834.0A CN201910870834A CN110531197A CN 110531197 A CN110531197 A CN 110531197A CN 201910870834 A CN201910870834 A CN 201910870834A CN 110531197 A CN110531197 A CN 110531197A
Authority
CN
China
Prior art keywords
data
real
module
monitoring
primary equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910870834.0A
Other languages
English (en)
Inventor
邬军军
沈永良
高玉宝
赵德基
王世奇
王志轩
黄保莉
张漪�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xuji Electric Co Ltd
State Grid Corp of China SGCC
Xuji Group Co Ltd
Original Assignee
Shanghai Xuji Electric Co Ltd
State Grid Corp of China SGCC
Xuji Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xuji Electric Co Ltd, State Grid Corp of China SGCC, Xuji Group Co Ltd filed Critical Shanghai Xuji Electric Co Ltd
Priority to CN201910870834.0A priority Critical patent/CN110531197A/zh
Publication of CN110531197A publication Critical patent/CN110531197A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R19/00—Arrangements for measuring currents or voltages or for indicating presence or sign thereof
    • G01R19/0092—Arrangements for measuring currents or voltages or for indicating presence or sign thereof measuring current only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G01R31/12—Testing dielectric strength or breakdown voltage ; Testing or monitoring effectiveness or level of insulation, e.g. of a cable or of an apparatus, for example using partial discharge measurements; Electrostatic testing
    • G01R31/1227—Testing dielectric strength or breakdown voltage ; Testing or monitoring effectiveness or level of insulation, e.g. of a cable or of an apparatus, for example using partial discharge measurements; Electrostatic testing of components, parts or materials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本发明涉及一种针对变电站一次设备监测大数据实现实时流式处理的系统，包括监测子系统，用于采集检测数据；数据分发模块，部署于通讯服务器，用于进行系统实时流数据的分发处理；数据分析模块，部署于应用服务器，用于进行各类检测单元的指标计算，并将结果推送至实时计算结果缓存模块；实时计算结果缓存模块，部署于应用服务器，用于缓存最近24小时指标数据缓存；变电站监测信息化子系统，用于对数据进行处理。采用了本发明的针对变电站一次设备监测大数据实现实时流式处理的系统，服务器系统资源可以实现相互共享；实现在多台计算机上平衡负载计算；具备对一次设备监测数据进行快速、高效、低延迟等的处理；实现了海量数据的存储计算的要求。

Description

针对变电站一次设备监测大数据实现实时流式处理的系统
技术领域
本发明涉及电力领域，尤其涉及变电站数据监测领域，具体是指一种针对变电站一次设备监测大数据实现实时流式处理的系统。
背景技术
在电力行业中，为了保证电力系统安全运行，需要对变电站一次设备重要的单元数据进行有效地监测，最终实现变电站全站的数字化、平台化和网络化，并完成数据信息共享的标准化要求。因此采用何种方式实现变电站大批量数据的处理、监测和分析显得尤为重要。
当前对变电站一次设备的数据监测主要依靠的还是传统软件架构，即通讯协议采用IEC61850的模式，将采集到一次设备单元数据通过通讯服务器(数据转发程序)转发，再由应用服务器中(分析处理程序)的程序对数据进行分析，最后将数据保持到oracle数据库(或者国产的达梦/金仓数据)的关系型数据库，供变电站监测系统界面展示，如图1所示)。
传统软件架构部署主要有以下缺点：
1对大批量的上送数据无法及时计算处理，容易造成数据的丢失和缺损，主要瓶颈为对海量数据的处理支持不够；
2无法支持分布式的系统部署，不能通过添加服务器的方式、升级系统；
3对采集数据进行的分析结果，不能实时反馈，显示数据不够完整；
4现有的关系型数据oracle数据库(或者国产的达梦/金仓数据)对大批量数据的读写操作性差。
鉴于当前框架需要对原有变电站一次设备的监测方式，进一步的改进和优化，引入流式处理方式来提高系统的实时计算效率，满足系统可靠性与有效性的统一，保障变电站一次设备的在线监视得到有效的实现。
发明内容
本发明的目的是克服了上述现有技术的缺点，提供了一种满足有效性、可靠性、效率高的针对变电站一次设备监测大数据实现实时流式处理的系统。
为了实现上述目的，本发明的针对变电站一次设备监测大数据实现实时流式处理的系统如下：
该针对变电站一次设备监测大数据实现实时流式处理的系统，其主要特点是，所述的系统包括：
监测子系统，用于采集检测数据；
数据分发模块，与所述的监测子系统相连接，部署于通讯服务器，用于进行系统实时流数据的分发处理；
数据分析模块，与所述的数据分发模块相连接，部署于应用服务器，用于进行各类检测单元的指标计算，并将结果推送至实时计算结果缓存模块；
实时计算结果缓存模块，与所述的数据分析模块相连接，部署于应用服务器，用于缓存最近24小时指标数据缓存；
变电站监测信息化子系统，与所述的实时计算结果缓存模块相连接，用于对数据进行处理。
较佳地，所述的系统还包括存储模块，所述的存储模块分别与所述的实时计算结果缓存模块和变电站监测信息化子系统相连接，部署于应用服务器，用于存储历史数据。
较佳地，所述的数据分析模块在各个独立的应用服务器上部署或者多个数据分析模块部署在同一应用服务器上。
较佳地，所述的数据分发模块包括第一数据分发模块和第二数据分发模块，所述的第一数据分发模块和第二数据分发模块均与所述的数据分析模块相连接。
较佳地，所述的监测子系统包括第一监测子系统和第二监测子系统，所述的第一监测子系统与所述的第一数据分发模块相连接，所述的第二监测子系统与所述的第二数据分发模块相连接。
较佳地，所述的第一监测子系统包括通用检测单元、油色谱检测单元和铁心电流检测单元，所述的通用检测单元、油色谱检测单元和铁心电流检测单元均与所述的第一数据分发模块相连接。
较佳地，所述的第二监测子系统包括GIS监测智能电子设备、密度微水智能电子设备、容器设备或避雷器监测单元和局部放电检测单元，所述的GIS监测智能电子设备、密度微水智能电子设备、容器设备或避雷器监测单元和局部放电检测单元均与所述的第二数据分发模块相连接。
采用了本发明的针对变电站一次设备监测大数据实现实时流式处理的系统，服务器系统资源可以实现相互共享；实现在多台计算机上平衡负载计算；具备对一次设备监测数据进行快速、高效、低延迟等的处理；实现了海量数据的存储计算的要求，支持了对大数据进行毫秒级的统计分析。
附图说明
图1为现有技术的系统结构图。
图2为本发明的针对变电站一次设备监测大数据实现实时流式处理的系统的结构示意图。
图3为本发明的针对变电站一次设备监测大数据实现实时流式处理的系统的实施例的系统结构图。
具体实施方式
为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。
本发明的该针对变电站一次设备监测大数据实现实时流式处理的系统，其中包括：
监测子系统，用于采集检测数据；
数据分发模块，与所述的监测子系统相连接，部署于通讯服务器，用于进行系统实时流数据的分发处理；
数据分析模块，与所述的数据分发模块相连接，部署于应用服务器，用于进行各类检测单元的指标计算，并将结果推送至实时计算结果缓存模块；
实时计算结果缓存模块，与所述的数据分析模块相连接，部署于应用服务器，用于缓存最近24小时指标数据缓存；
变电站监测信息化子系统，与所述的实时计算结果缓存模块相连接，用于对数据进行处理。
作为本发明的优选实施方式，所述的系统还包括存储模块，所述的存储模块分别与所述的实时计算结果缓存模块和变电站监测信息化子系统相连接，部署于应用服务器，用于存储历史数据。
作为本发明的优选实施方式，所述的数据分析模块在各个独立的应用服务器上部署或者多个数据分析模块部署在同一应用服务器上。
作为本发明的优选实施方式，所述的数据分发模块包括第一数据分发模块和第二数据分发模块，所述的第一数据分发模块和第二数据分发模块均与所述的数据分析模块相连接。
作为本发明的优选实施方式，所述的监测子系统包括第一监测子系统和第二监测子系统，所述的第一监测子系统与所述的第一数据分发模块相连接，所述的第二监测子系统与所述的第二数据分发模块相连接。
作为本发明的优选实施方式，所述的第一监测子系统包括通用检测单元、油色谱检测单元和铁心电流检测单元，所述的通用检测单元、油色谱检测单元和铁心电流检测单元均与所述的第一数据分发模块相连接。
作为本发明的优选实施方式，所述的第二监测子系统包括GIS监测智能电子设备、密度微水智能电子设备、容器设备或避雷器监测单元和局部放电检测单元，所述的GIS监测智能电子设备、密度微水智能电子设备、容器设备或避雷器监测单元和局部放电检测单元均与所述的第二数据分发模块相连接。
本发明的具体实施方式中，在变电站端引入一次设备监测的流式处理方式，解决大数据的实时流式处理，完成对系统部署的可扩展性，支持无限多的服务器高效并行处理、最终实现了分布式的实时计算处理结果，如图2所示。
通过IEC61850规约将采集到的检测单元数据推送给Kafka作为数据的分发处理，Storm作为Kafka的消费者，对数据进行实时的计算处理，并将处理后数据最新数据保存到Redais数据库中(同时将这些数据拷贝到mongoDB历史数据库中)，供前台界面访问。
Kafka具有高吞吐量、低延迟等特性，Kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，是整个系统实时流计算的数据分发节点，实现数据实时分发。
Storm拥有低延迟、高性能、分布式、可扩展、容错等特性，可以保证消息不丢失，消息处理严格有序，实现各类检测单元的指标计算，并将结果推送至Redis缓存；
Redis是实时计算结果缓存节点，将最近24小时指标数据缓存在内存，供应用访问；
mongoDB具备写入性能优越，海量的数据存储，用于存储历史数据，方便数据的历史查询和分析，供应用访问。
新的实现方式具备了分布式计算，能够实时处理大数据；对一次设备检测单元数据的处理和展现能够在秒级或者毫秒级得到响应；并且具备可扩展性，可以在同一台计算机上运行，也可以在通过网络连接起来的多台计算机上运行实现。
如图3所示，每个Storm可在任意应用服务器上部署，两个Storm可部署在同一台服务器上，也可以部署到每个独立服务器上。
可通过任意方式添加应用服务器，以较低成本实现数据的集群化处理，完善和加强数据的分析和处理能力，提升变电站监测信息化系统实时性要求。
本发明基于变电站一次设备监测大数据的流式处理方式，通过IEC61850+Kafka+strom+Redis+mongoDB，实现监测数据集群化处理，解决了对大批量的上送数据无法及时处理，数据的丢失和缺损的问题；解决实时数据丢失，计算不及时的问题，实现了流式大数据分布式实时计算的技术；解决一次设备监测海量数据写入的处理和数据的快速查询。
采用了本发明的针对变电站一次设备监测大数据实现实时流式处理的系统，服务器系统资源可以实现相互共享；实现在多台计算机上平衡负载计算；具备对一次设备监测数据进行快速、高效、低延迟等的处理；实现了海量数据的存储计算的要求，支持了对大数据进行毫秒级的统计分析。
在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (7)

1.一种针对变电站一次设备监测大数据实现实时流式处理的系统，其特征在于，所述的系统包括：
监测子系统，用于采集检测数据；
数据分发模块，与所述的监测子系统相连接，部署于通讯服务器，用于进行系统实时流数据的分发处理；
数据分析模块，与所述的数据分发模块相连接，部署于应用服务器，用于进行各类检测单元的指标计算，并将结果推送至实时计算结果缓存模块；
实时计算结果缓存模块，与所述的数据分析模块相连接，部署于应用服务器，用于缓存最近24小时指标数据缓存；
变电站监测信息化子系统，与所述的实时计算结果缓存模块相连接，用于对数据进行处理。
2.根据权利要求1所述的针对变电站一次设备监测大数据实现实时流式处理的系统，其特征在于，所述的系统还包括存储模块，所述的存储模块分别与所述的实时计算结果缓存模块和变电站监测信息化子系统相连接，部署于应用服务器，用于存储历史数据。
3.根据权利要求1所述的针对变电站一次设备监测大数据实现实时流式处理的系统，其特征在于，所述的数据分析模块在各个独立的应用服务器上部署或者多个数据分析模块部署在同一应用服务器上。
4.根据权利要求1所述的针对变电站一次设备监测大数据实现实时流式处理的系统，其特征在于，所述的数据分发模块包括第一数据分发模块和第二数据分发模块，所述的第一数据分发模块和第二数据分发模块均与所述的数据分析模块相连接。
5.根据权利要求4所述的针对变电站一次设备监测大数据实现实时流式处理的系统，其特征在于，所述的监测子系统包括第一监测子系统和第二监测子系统，所述的第一监测子系统与所述的第一数据分发模块相连接，所述的第二监测子系统与所述的第二数据分发模块相连接。
6.根据权利要求5所述的针对变电站一次设备监测大数据实现实时流式处理的系统，其特征在于，所述的第一监测子系统包括通用检测单元、油色谱检测单元和铁心电流检测单元，所述的通用检测单元、油色谱检测单元和铁心电流检测单元均与所述的第一数据分发模块相连接。
7.根据权利要求5所述的针对变电站一次设备监测大数据实现实时流式处理的系统，其特征在于，所述的第二监测子系统包括GIS监测智能电子设备、密度微水智能电子设备、容器设备或避雷器监测单元和局部放电检测单元，所述的GIS监测智能电子设备、密度微水智能电子设备、容器设备或避雷器监测单元和局部放电检测单元均与所述的第二数据分发模块相连接。
CN201910870834.0A 2019-09-16 2019-09-16 针对变电站一次设备监测大数据实现实时流式处理的系统 Pending CN110531197A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910870834.0A CN110531197A (zh) 2019-09-16 2019-09-16 针对变电站一次设备监测大数据实现实时流式处理的系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910870834.0A CN110531197A (zh) 2019-09-16 2019-09-16 针对变电站一次设备监测大数据实现实时流式处理的系统

Publications (1)

Publication Number Publication Date
CN110531197A true CN110531197A (zh) 2019-12-03

Family

ID=68668671

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910870834.0A Pending CN110531197A (zh) 2019-09-16 2019-09-16 针对变电站一次设备监测大数据实现实时流式处理的系统

Country Status (1)

Country Link
CN (1) CN110531197A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8424043B1 (en) * 2007-10-23 2013-04-16 Strategic Design Federation W, Inc. Method and system for detecting unscheduled events and recording programming streams
CN103166219A (zh) * 2013-01-30 2013-06-19 中国电力科学研究院 基于超实时仿真的电网在线稳定决策控制系统及控制方法
CN103326348A (zh) * 2012-03-19 2013-09-25 河南省电力公司焦作供电公司 一种提高地区电网供电能力分析及全过程在线监测的系统
CN105678398A (zh) * 2015-12-24 2016-06-15 国家电网公司 基于大数据技术的电力负荷预测方法及基于该方法的研究应用系统
CN105681397A (zh) * 2015-12-30 2016-06-15 曙光信息产业(北京)有限公司 一种网络流量数据存储方法及系统、查询方法及装置
CN109491339A (zh) * 2018-11-16 2019-03-19 国网江苏省电力有限公司盐城供电分公司 一种基于大数据的变电站设备运行状态预警系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8424043B1 (en) * 2007-10-23 2013-04-16 Strategic Design Federation W, Inc. Method and system for detecting unscheduled events and recording programming streams
CN103326348A (zh) * 2012-03-19 2013-09-25 河南省电力公司焦作供电公司 一种提高地区电网供电能力分析及全过程在线监测的系统
CN103166219A (zh) * 2013-01-30 2013-06-19 中国电力科学研究院 基于超实时仿真的电网在线稳定决策控制系统及控制方法
CN105678398A (zh) * 2015-12-24 2016-06-15 国家电网公司 基于大数据技术的电力负荷预测方法及基于该方法的研究应用系统
CN105681397A (zh) * 2015-12-30 2016-06-15 曙光信息产业(北京)有限公司 一种网络流量数据存储方法及系统、查询方法及装置
CN109491339A (zh) * 2018-11-16 2019-03-19 国网江苏省电力有限公司盐城供电分公司 一种基于大数据的变电站设备运行状态预警系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王德文 等: ""智能电网大数据流式处理方法与状态监测异常检测"", 《电力系统自动化》 *

Similar Documents

Publication Publication Date Title
CN110022226B (zh) 一种基于面向对象的数据采集系统及采集方法
CN110047014B (zh) 一种基于负荷曲线和历史电量的用户电量数据修复方法
CN109582667A (zh) 一种基于电力调控大数据的多数据库混合存储方法及系统
CN109739919B (zh) 一种用于电力系统的前置机和采集系统
CN109873499B (zh) 智能配电台区管理终端
CN106709003A (zh) 基于Hadoop的海量日志数据处理方法
CN103237045A (zh) 大规模实时交通数据的并行处理系统和并行处理方法
CN107330056A (zh) 基于大数据云计算平台的风电场scada系统及其运行方法
CN109710731A (zh) 一种基于Flink的数据流多向处理系统
CN104778188A (zh) 一种分布式设备日志采集方法
CN112765143B (zh) 一种基于边缘计算技术的低压物联网配网数据处理方法
CN103955509A (zh) 一种海量电力计量数据的快速检索方法
CN104486116A (zh) 多维度查询流量数据的方法及系统
CN103489139A (zh) 城市配电网规划综合分析与管理系统
CN103530335B (zh) 电力计量采集系统的入库操作方法及装置
CN105282045B (zh) 一种基于一致性哈希算法的分布式计算和储存方法
CN110232136A (zh) 一种基于云计算的大数据处理系统
CN102737061A (zh) 分布式话单查询管理系统及方法
CN113947498A (zh) 一种融合终端数据中心的数据存储与检索方法
CN110531197A (zh) 针对变电站一次设备监测大数据实现实时流式处理的系统
CN108989456B (zh) 一种基于大数据的网络实现方法
CN111049898A (zh) 一种实现计算集群资源跨域架构的方法及系统
CN114003602A (zh) 电网监测数据处理系统
CN114548690A (zh) 容迟数据通勤交通网络通信清洁供电联合调度方法与系统
CN110716909A (zh) 一种基于数据分析管理的商用系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191203