CN114116252A - 一种调控系统运行量测数据存储系统及方法 - Google Patents

一种调控系统运行量测数据存储系统及方法 Download PDF

Info

Publication number
CN114116252A
CN114116252A CN202111291622.0A CN202111291622A CN114116252A CN 114116252 A CN114116252 A CN 114116252A CN 202111291622 A CN202111291622 A CN 202111291622A CN 114116252 A CN114116252 A CN 114116252A
Authority
CN
China
Prior art keywords
data
measurement data
time sequence
sequence database
storing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111291622.0A
Other languages
English (en)
Inventor
郑晓露
张珂珩
陈鹏
王玉军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NARI Group Corp
Nari Technology Co Ltd
State Grid Electric Power Research Institute
Original Assignee
NARI Group Corp
Nari Technology Co Ltd
State Grid Electric Power Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NARI Group Corp, Nari Technology Co Ltd, State Grid Electric Power Research Institute filed Critical NARI Group Corp
Priority to CN202111291622.0A priority Critical patent/CN114116252A/zh
Publication of CN114116252A publication Critical patent/CN114116252A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Computational Linguistics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了电网调度自动化技术领域的一种调控系统运行量测数据存储系统及方法，包括：获取电网设备的量测数据；将量测数据按照不同的量测类型分类后发送至消息队列；基于消息队列将量测数据发送至接入程序节点；通过时序数据库对分类后的量测数据进行存储；存储时序数据库中量测数据与电网设备之间的映射关系；响应于接收到查询条件时，基于映射关系调用时序数据库查询接口查询数据。本发明能够实现量测数据的快速接入、存储和便捷访问。

Description

一种调控系统运行量测数据存储系统及方法
技术领域
本发明涉及一种调控系统运行量测数据存储系统及方法，属于电网调度自动化技术领域。
背景技术
电网调度自动化系统能够实现电网的一体化调度与精细化管理，及时发现电网运行中存在的问题，从而提升电网运行的稳定与安全。电网调度自动化系统经过多年的运行，积累了丰富的运行数据，包括量测、告警、故障与运行事件、电量、计划与预测类数据等。由于发电厂、变压器、刀闸、输电线路等设备的量测数据类型较多，因此难以实现量测数据的快速接入、存储和便捷访问，系统性能及可靠性较差。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种调控系统运行量测数据存储系统及方法，能够实现量测数据快速接入、存储和便捷访问的效果。
为达到上述目的，本发明是采用下述技术方案实现的：
第一方面，本发明提供了一种调控系统运行量测数据存储方法，包括：
获取电网设备的量测数据；
将量测数据按照不同的量测类型分类后发送至消息队列；
基于消息队列将量测数据发送至接入程序节点；
通过时序数据库对分类后的量测数据进行存储；
存储时序数据库中量测数据与电网设备之间的映射关系；
响应于接收到查询条件时，基于映射关系调用时序数据库查询接口查询数据。
进一步的，所述量测数据为时间序列类型的数据，且按照时间序列的方式顺序发送和接收。
进一步的，所述调控系统运行量测数据存储方法通过消息队列RocketMQ进行量测数据的发送和接收。
进一步的，所述量测类型包括电流、电压和功率。
进一步的，通过时序数据库对分类后的量测数据进行存储，包括：
通过开源时序数据库OpenTSDB对分类后的量测数据进行存储，且存储后量测数据结构包括所述量测类型和电力设备信息。
进一步的，存储时序数据库中量测数据与电网设备之间的映射关系，包括：
通过在关系数据库组件MySQL中以关系表的方式存储开源时序数据库OpenTSDB中的量测数据的类型、电力设备信息与实际电网设备之间的映射关系，所述映射关系包括OpenTSDB映射表、设备表和厂站表。
进一步的，所述电力设备信息包括设备id、设备类型和电力设备所属厂站。
第二方面，本发明提供了一种调控系统运行量测数据存储系统，包括：
数据采集模块：用于获取电网设备的量测数据；
数据分类模块：用于将量测数据按照不同的量测类型分类后发送至消息队列；
接入模块：用于基于消息队列将量测数据发送至接入程序节点；
数据存储模块：用于通过时序数据库对分类后的量测数据进行存储；
映射关系存储模块：用于存储时序数据库中量测数据与电网设备之间的映射关系；
数据查询模块：用于响应于接收到查询条件时，基于映射关系调用时序数据库查询接口查询数据。
第三方面，一种调控系统运行量测数据存储装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据上述任一项所述方法的步骤。
第四方面，计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述方法的步骤。
与现有技术相比，本发明所达到的有益效果：
一、本发明针对电网运行数据中的量测数据，例如发电厂、变压器、刀闸、输电线路等设备的量测数据，提出了一种调控系统运行量测数据存储系统及方法，通过该方法构建量测数据管理系统，能够实现量测数据的快速接入、存储和便捷访问，系统具备较高的性能和可靠性。
二、通过应用本方法进行电网运行量测数据的管理，可达到以下目标：实现电网海量设备量测数据的实时汇集接入；基于适用于电网量测数据的存储结构，减少存储空间占用；实现基于模型的量测数据访问，提升访问效率和便捷性。
附图说明
图1是本发明实施例一提供的消息收发模型；
图2是本发明实施例一提供的具体逻辑结构和物理存储结构示意图；
图3是本发明实施例一提供的映射表、设备表、厂站表示意图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例一：
一种调控系统运行量测数据存储方法，主要包括：
(1)基于消息队列MQ的实时量测数据接入方法
调控系统运行量测数据为时间序列类型的数据，需要按照时间序列的方式顺序发送和接收。通过消息队列提进行消息的顺序发送和接收，能够保证量测数据接入的时序，通过将不同的消息主题进行分布式多节点发送和处理，提升数据接入的效率。本方法采用消息队列RocketMQ，进行量测数据的发送和接收。RocketMQ消息队列提供的顺序消息能够保证消息先进先出(First In First Out，缩写FIFO)，适合顺序收发场景。通过在EMS、OMS和TMR等系统中部署消息发送程序，将量测数据按照量测类型分为电流、电压、功率等不同的Topic后发送到消息队列，并部署接入程序集群，不同的接入程序节点接入不同的Topic消息，实现并行数据接入。消息收发模型如图1所示。
(2)基于时序数据库OpenTSDB的量测数据存储方法
调控运行量测数据从逻辑上可以理解为一种<key-value>结构，key为一个电网设备在特定时刻下的某个量测指标，例如一个变压器的输入电压、输出电压、输入电流、输出电压，value为某个设备的某个量测指标在该时刻的数据。本方法使用开源时序数据库OpenTSDB存储调控运行量测数据，将该<key-value>结构使用OpenTSDB的Metric和Tag进行表示。OpenTSDB的Metric(度量)设为量测指标的类型，如电流、电压、功率等，这样便于数据接入时根据不同的Topic并行接入，OpenTSDB的Tag(标签)与具体的设备对应，OpenTSDB的Tag设置为设备id、设备类型、所属厂站等信息。具体逻辑结构和物理存储结构表示如图2所示。
(3)基于关系数据库MySQL的模型化量测数据访问方法
OpenTSDB中存储的数据为最小粒度的量测指标数据，这些数据是没有业务含义的，且不同量测指标之间是离散的。但在实际应用中，需要对一系列指标进行关联访问，例如访问一个设备的电流、电压、功率等所有指标，或者访问某个时刻下某个厂长下所有设备的电压指标。本方法结合关系数据库组件MySQL，通过存储设备模型以及服务化的访问方式，实现模型化的量测数据访问方法。
设备模型主要是通过在关系数据库组件MySQL中以关系表的方式存储OpenTSDB中的Metric、Tag与实际电网设备之间的映射关系，主要包含OpenTSDB映射表、设备表、厂站表等，表结构示意如图3所示。
通过将OpenTSDB的Metric、Tagk、Tagv与外部调控系统量测类型、设备类型、设备id、厂站id的进行映射，量测数据访问时，通过服务化的访问方式，外部输入具有业务含义的设备名称、厂站名称等，在服务内部进行业务含义到OpenTSDB中Metric、Tagk、Tagv关键字的映射，然后到OpenTSDB中进行查询。一方面提升查询服务的便捷性和易用性，另一方面同时通过预先进行关系表的查询，减少OpenTSDB大规模数据遍历的场景，提升数据查询效率。
以下将根据某区域电网EMS系统的量测数据实例来描述本方法的具体实施方式。该区域设备规模为50000、数据采样频率为5分钟。所需使用的资源如下：
(1)服务器
Figure BDA0003334899370000061
(2)其他组件
组件名称 组件规格
调控系统平台 D5000平台
RocketMQ 版本：RocketMQ 3.8
MySQL 版本：MySQL 5.6
OpenTSDB 版本：OpenTSDB 2.4.0
具体实施步骤如下：
(1)基于D5000平台，部署EMS系统数据发送程序，从D5000平台的实时库中实时采集量测数据，并调用RocketMQ的生产者接口通过消息方式发送数据。发送的数据包含设备id、量测类型、时间戳三个字段。
(2)在MySQL数据库中建立设备表、厂站表、OpenTSDB映射表，录入EMS系统对应的设备id及相关信息，以及OpenTSDB对应的Metric、Tag信息。
(3)在服务器上部署多个接入程序，每个接入程序处理一个Topic的消息，通过查询MySQL中的映射表将消息中的设备id转为OpenTSDB的设备id，并写入量测数据。
(4)在服务器上部署查询服务，查询服务将输入的设备名称、厂站名称等查询条件，通过查询MySQL中的映射表转化为OpenTSDB对应的设备id、厂站id，调用OpenTSDB查询接口查询数据。
实施例二：
一种调控系统运行量测数据存储系统，包括：
数据采集模块：用于获取电网设备的量测数据；
数据分类模块：用于将量测数据按照不同的量测类型分类后发送至消息队列；
接入模块：用于基于消息队列将量测数据发送至接入程序节点；
数据存储模块：用于通过时序数据库对分类后的量测数据进行存储；
映射关系存储模块：用于存储时序数据库中量测数据与电网设备之间的映射关系；
数据查询模块：用于响应于接收到查询条件时，基于映射关系调用时序数据库查询接口查询数据。
实施例三：
本发明实施例还提供了一种调控系统运行量测数据存储装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行下述方法的步骤：
获取电网设备的量测数据；
将量测数据按照不同的量测类型分类后发送至消息队列；
基于消息队列将量测数据发送至接入程序节点；
通过时序数据库对分类后的量测数据进行存储；
存储时序数据库中量测数据与电网设备之间的映射关系；
响应于接收到查询条件时，基于映射关系调用时序数据库查询接口查询数据。
实施例四：
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现下述方法的步骤：
获取电网设备的量测数据；
将量测数据按照不同的量测类型分类后发送至消息队列；
基于消息队列将量测数据发送至接入程序节点；
通过时序数据库对分类后的量测数据进行存储；
存储时序数据库中量测数据与电网设备之间的映射关系；
响应于接收到查询条件时，基于映射关系调用时序数据库查询接口查询数据。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种调控系统运行量测数据存储方法，其特征是，包括：
获取电网设备的量测数据；
将量测数据按照不同的量测类型分类后发送至消息队列；
基于消息队列将量测数据发送至接入程序节点；
通过时序数据库对分类后的量测数据进行存储；
存储时序数据库中量测数据与电网设备之间的映射关系；
响应于接收到查询条件时，基于映射关系调用时序数据库查询接口查询数据。
2.根据权利要求1所述的调控系统运行量测数据存储方法，其特征是，所述量测数据为时间序列类型的数据，且按照时间序列的方式顺序发送和接收。
3.根据权利要求1所述的调控系统运行量测数据存储方法，其特征是，所述调控系统运行量测数据存储方法通过消息队列RocketMQ进行量测数据的发送和接收。
4.根据权利要求1所述的调控系统运行量测数据存储方法，其特征是，所述量测类型包括电流、电压和功率。
5.根据权利要求1所述的调控系统运行量测数据存储方法，其特征是，通过时序数据库对分类后的量测数据进行存储，包括：
通过开源时序数据库OpenTSDB对分类后的量测数据进行存储，且存储后量测数据结构包括所述量测类型和电力设备信息。
6.根据权利要求5所述的调控系统运行量测数据存储方法，其特征是，存储时序数据库中量测数据与电网设备之间的映射关系，包括：
通过在关系数据库组件MySQL中以关系表的方式存储开源时序数据库OpenTSDB中的量测数据的类型、电力设备信息与实际电网设备之间的映射关系，所述映射关系包括OpenTSDB映射表、设备表和厂站表。
7.根据权利要求5所述的调控系统运行量测数据存储方法，其特征是，所述电力设备信息包括设备id、设备类型和电力设备所属厂站。
8.一种调控系统运行量测数据存储系统，其特征在于，包括：
数据采集模块：用于获取电网设备的量测数据；
数据分类模块：用于将量测数据按照不同的量测类型分类后发送至消息队列；
接入模块：用于基于消息队列将量测数据发送至接入程序节点；
数据存储模块：用于通过时序数据库对分类后的量测数据进行存储；
映射关系存储模块：用于存储时序数据库中量测数据与电网设备之间的映射关系；
数据查询模块：用于响应于接收到查询条件时，基于映射关系调用时序数据库查询接口查询数据。
9.一种调控系统运行量测数据存储装置，其特征在于，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1～7任一项所述方法的步骤。
10.计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1～7任一项所述方法的步骤。
CN202111291622.0A 2021-11-03 2021-11-03 一种调控系统运行量测数据存储系统及方法 Pending CN114116252A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111291622.0A CN114116252A (zh) 2021-11-03 2021-11-03 一种调控系统运行量测数据存储系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111291622.0A CN114116252A (zh) 2021-11-03 2021-11-03 一种调控系统运行量测数据存储系统及方法

Publications (1)

Publication Number Publication Date
CN114116252A true CN114116252A (zh) 2022-03-01

Family

ID=80380523

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111291622.0A Pending CN114116252A (zh) 2021-11-03 2021-11-03 一种调控系统运行量测数据存储系统及方法

Country Status (1)

Country Link
CN (1) CN114116252A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117596273A (zh) * 2024-01-19 2024-02-23 中国南方电网有限责任公司 一种电网调度系统间数据传输方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117596273A (zh) * 2024-01-19 2024-02-23 中国南方电网有限责任公司 一种电网调度系统间数据传输方法及系统
CN117596273B (zh) * 2024-01-19 2024-04-12 中国南方电网有限责任公司 一种电网调度系统间数据传输方法及系统

Similar Documents

Publication Publication Date Title
CN107402976B (zh) 一种基于多元异构模型的电网多源数据融合方法及系统
CN107330056B (zh) 基于大数据云计算平台的风电场scada系统及其运行方法
CN102426525B (zh) 一种多应用系统的全景建模方法
CN109726205B (zh) 一种电力系统安全稳定分析数据存储系统及存储方法
CN113595761A (zh) 电力系统信息通信一体化调度平台的微服务组件优化方法
CN111082521A (zh) 一种电网调控系统的运维数据监视方法及运维系统
CN116094174A (zh) 基于知识图谱的电网运维监控方法、系统、设备及介质
CN114116252A (zh) 一种调控系统运行量测数据存储系统及方法
CN111913933A (zh) 基于统一支撑平台的电网历史数据管理方法及系统
CN111104441A (zh) 一种数据采集方法及系统
CN109271350A (zh) 一种基于远动通信的数据库及信息点表自动比对及同步方法
CN112134927A (zh) 基于插件方式的电网数据交换平台和数据交换方法
CN116431324A (zh) 一种基于Kafka高并发数据采集与分发的边缘系统
CN114387124B (zh) 一种核电工业互联网平台的时序数据存储方法
CN107463540B (zh) 电能质量数据的处理方法及电能质量监测装置
CN116016117A (zh) 网络设备运维数据采集方法、系统、电子设备及存储介质
CN112286884B (zh) 一种配电网环网柜拓扑自动生成方法、系统及介质
CN105809577B (zh) 一种基于规则和组件的电厂信息化数据的分类处理方法
CN112101422B (zh) 电力系统故障案例的典型案例自学习方法
CN114201509A (zh) 一种基于实时数据库的电力数据信息监控系统
CN115374101A (zh) 轨道交通站段级数据管理系统
CN112667460A (zh) 一种航空电子系统应用任务栈空间的监控方法
CN116470968B (zh) 一种面向航天科学系统通讯功能的地面测试方法及装置
CN110738586A (zh) 一种基于cimiss和综合库数据的气象综合业务系统
CN118331828B (zh) 一种云端数据的存储管理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination