CN111913933B - 基于统一支撑平台的电网历史数据管理方法及系统 - Google Patents

基于统一支撑平台的电网历史数据管理方法及系统 Download PDF

Info

Publication number
CN111913933B
CN111913933B CN202010595790.8A CN202010595790A CN111913933B CN 111913933 B CN111913933 B CN 111913933B CN 202010595790 A CN202010595790 A CN 202010595790A CN 111913933 B CN111913933 B CN 111913933B
Authority
CN
China
Prior art keywords
historical
sampling
database
real
historical database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010595790.8A
Other languages
English (en)
Other versions
CN111913933A (zh
Inventor
吴晗
史浩秋
吴涛
王玉军
彭晖
陈鹏
王勇
管荑
马强
李慧聪
马晓红
耿玉杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Shandong Electric Power Co Ltd
NARI Group Corp
Nari Technology Co Ltd
NARI Nanjing Control System Co Ltd
State Grid Electric Power Research Institute
Original Assignee
State Grid Corp of China SGCC
State Grid Shandong Electric Power Co Ltd
NARI Group Corp
Nari Technology Co Ltd
NARI Nanjing Control System Co Ltd
State Grid Electric Power Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Shandong Electric Power Co Ltd, NARI Group Corp, Nari Technology Co Ltd, NARI Nanjing Control System Co Ltd, State Grid Electric Power Research Institute filed Critical State Grid Corp of China SGCC
Priority to CN202010595790.8A priority Critical patent/CN111913933B/zh
Publication of CN111913933A publication Critical patent/CN111913933A/zh
Application granted granted Critical
Publication of CN111913933B publication Critical patent/CN111913933B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/219—Managing data history or versioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1469—Backup restoration techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Electricity, gas or water supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/18—Multiprotocol handlers, e.g. single devices capable of handling multiple protocols
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Abstract

本发明公开了一种基于统一支撑平台的电网历史数据管理方法及系统，所述方法包括利用采样信息定义管理工具将采样点记录修改并将修改后的采样点记录实时同步到历史数据库的各个历史数据库表中；按照修改后的采样点记录将实时库设备表中存储的实时数据断面批量存入历史数据库中；当历史数据库故障发生时，自动将历史数据库中的实时数据断面存入指定硬盘中，当历史数据库故障恢复后，自动建立新的历史数据库连接，并将硬盘中存储的实时数据断面一次性写入历史数据库中；所述方法还包括基于历史数据采样结果，进行历史数据交互的步骤。本发明能够提升历史数据采样的效率与存储的可靠性，也能够提升历史数据交互的效率与电网数据的共享能力。

Description

基于统一支撑平台的电网历史数据管理方法及系统
技术领域
本发明涉及一种基于统一支撑平台的电网历史数据管理方法及系统，属于电网信息技术领域。
背景技术
统一支撑平台是电网调度控制系统的基础，为各类应用的开发、运行和管理提供通用的技术支撑，为整个系统的集成和高效可靠的运行提供保障。
电网历史数据管理的对象就是各类应用运行产生的大量有价值的数据，电网历史数据管理提供的服务包括历史数据采样服务与历史数据交互服务。
历史数据采样服务主要分为分钟级别的采样服务和秒级别的采样服务，需要存储电网模型中大量的运行数据，包括量测数据、事件类数据、计划预测类数据和电量数据，对历史数据采样的效率与存储的可靠性提出了很高的要求。
历史数据交互服务会根据不同应用存储的数据库结构从而开发不同的接口函数。在新增不同应用的电网模型和曲线需求后，商用数据库服务需要新增接口，而对外交互数据缺少统一的服务接口，需要由开发人员按照不同应用的需求开发特定的交互接口；因对外交互方式和不同应用存储的数据库结构不同，所以增加了人工维护成本，同时历史数据交互服务机制的通用性和灵活性不强，使用和维护都不够方便，影响业务协同效率。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种基于统一支撑平台的电网历史数据管理方法及系统，能够提升历史数据采样的效率与存储的可靠性，提升历史数据交互的效率与电网数据的共享能力。
为达到上述目的，本发明是采用下述技术方案实现的：
第一方面，本发明提供了一种基于统一支撑平台的电网历史数据管理方法，所述方法包括历史数据采样的步骤；
历史数据采样的步骤包括：
接收并解析各应用场景的采样请求事件，将解析后的事件按照量测类型与操作类型分类，所述量测类型包括普通遥测类型、批量遥测类型、普通遥信类型和批量遥信类型，所述操作类型包括加点操作、减点操作、更新操作和修改操作；
定制采样点的修改信息，在采样定义程序收到所述修改信息后，针对不同应用对历史数据库中间层服务的服务请求，将所述修改信息进行分类处理；
利用采样信息定义管理工具将采样点记录修改并将修改后的采样点记录实时同步到历史数据库的各个历史数据库表中；
按照修改后的采样点记录将实时库设备表中存储的实时数据断面批量存入历史数据库中；
当历史数据库故障发生时，自动将历史数据库中的实时数据断面存入指定硬盘中，当历史数据库故障恢复后，自动建立新的历史数据库连接，并将硬盘中存储的实时数据断面一次性写入历史数据库中；
所述方法还包括基于历史数据采样结果，进行历史数据交互的步骤。
结合第一方面，进一步的，将解析后的事件分类成普通遥测加点事件、普通遥测减点事件、普通遥测更新事件、批量遥测加点事件、批量遥测减点事件、普通遥信加点事件、普通遥信减点事件、普通遥信修改事件、批量遥信加点事件和批量遥信减点事件。
结合第一方面，进一步的，将采样点的修改信息分类为对带有质量位的量测信息进行增、删或改的配置信息，以及对不带质量位的量测信息进行增、删或改的配置信息，且所述量测信息包括遥信信息和遥测信息。
结合第一方面，进一步的，按照修改后的采样点记录将实时库设备表中存储的实时数据断面批量存入历史数据库中的方法包括如下步骤：对修改后的采样点记录进行定义管理，维护采样定义表，所述采样定义表包括采样周期和测点ID；根据采样周期和测点ID定期读取实时库设备表中存储的实时数据断面并批量写入历史数据库中，读取的实时库设备表中存储的实时数据断面为所有测点ID的采样数据。
结合第一方面，进一步的，当历史数据库故障发生时，自动将历史数据库中的实时数据断面存入指定硬盘中的方法包括如下步骤：以每分钟每个设备为一个文件的方式存储，文件名中包含时间和设备信息，文件格式表现为文件开头是存储的信息结构，文件后面为硬盘的存储数据；所述存储数据由硬盘大小决定。
结合第一方面，进一步的，所述历史数据交互的步骤包括：
建立解析协议的配置文件和数据库连接池的配置文件，所述解析协议的配置文件包括关系数据库表的基本结构和不同应用对历史数据库中间层服务的服务请求的内容；所述数据库连接池的配置文件为不同应用配置相应历史数据库用户的连接个数；
根据解析协议的配置文件中不同应用对历史数据库中间层服务的服务请求的内容，接收并解析不同应用对历史数据库中间层服务的服务请求，从而对于任意关系数据库表的基本结构自动形成有效的sql语句；
根据数据库连接池的配置文件，从事先开辟的数据库资源池中获得关系数据库表的链接，并将有效的sql语句发送至历史数据库，将历史数据库中间层服务对服务请求的反馈结果返回给各个不同应用。
结合第一方面，进一步的，所述不同应用包括人机、告警、电网运行稳态监控和自动发电控制应用。
第二方面，本发明提供了一种基于统一支撑平台的电网历史数据管理系统，所述系统包括历史数据采样单元，所述历史数据采样单元包括：
解析事件分类模块：用于接收并解析各应用场景的采样请求事件，将解析后的事件按照量测类型与操作类型分类，所述量测类型包括普通遥测类型、批量遥测类型、普通遥信类型和批量遥信类型，所述操作类型包括加点操作、减点操作、更新操作和修改操作；
修改信息分类模块：用于定制采样点的修改信息，在采样定义程序收到所述修改信息后，针对不同应用对历史数据库中间层服务的服务请求，将所述修改信息进行分类处理；
实时同步模块：用于利用采样信息定义管理工具将采样点记录修改并将修改后的采样点记录实时同步到历史数据库的各个历史数据库表中；
批量存入模块：用于按照修改后的采样点记录将实时库设备表中存储的实时数据断面批量存入历史数据库中；
数据备份模块：用于当历史数据库故障发生时，自动将历史数据库中的实时数据断面存入指定硬盘中，当历史数据库故障恢复后，自动建立新的历史数据库连接，并将硬盘中存储的实时数据断面一次性写入历史数据库中；
所述系统还包括历史数据采样单元，其用于基于历史数据采样结果，进行历史数据交互。
第三方面，本发明提供了一种基于统一支撑平台的电网历史数据管理系统，包括处理器及存储介质；所述存储介质用于存储指令；所述处理器用于根据所述指令进行操作以执行前述任一项所述方法的步骤。
第四方面，计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一项所述方法的步骤。
与现有技术相比，本发明所达到的有益效果：
针对电网调度控制系统不同应用的丰富运行数据，通过实时同步修改后的采样点记录和历史数据库故障时的数据备份，来提升历史数据采样的效率与存储的可靠性；
针对不同应用对历史数据库的请求，通过建立解析协议的配置文件和数据库连接池的配置文件，能够提升历史数据交互的效率与电网数据的共享能力。
附图说明
图1是本发明实施例提供的历史数据采样的部分步骤示意框图；
图2是本发明实施例提供的历史数据交互的部分步骤示意框图。
具体实施方式
本发明实施例提出一种基于统一支撑平台的电网历史数据管理方法及系统，本发明实施例主要包含以下内容：
(1)历史数据采样：历史数据采样支持多应用或多态扩展，为不同的应用场景提供业务支撑，包括主动采样、被动采样和触发式采样三种，一般我们定义的历史数据采样都是主动采样。采样定义表和实际存储表都包含应用，且它们的命名以各自包含的应用名称为后缀。
(2)历史数据交互：历史数据交互涉及服务端和客户端两个部分。服务端负责接收并解析客户端发来的服务请求，然后将服务请求发到相应的历史数据库中，并将反馈结果传回客户端；客户端力求达到用最简单的接口和协议向服务端发送服务请求和传递数据集合，而请求服务主要包括同步读历史数据库数据服务、同步写历史数据库数据服务、异步写历史数据库数据服务、曲线数据服务和表格数据服务。
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
本发明实施例提供的电网历史数据管理方法及系统是基于统一支撑平台的，所述统一支撑平台包括硬件、操作系统、历史数据管理、信息传输与交换、公共服务和基础功能6个层次，其中历史数据管理位于统一支撑平台的中间层，为各类应用的开发、运行和管理提供通用的数据支撑，使得电网调度控制系统能够高效、可靠运行。
本发明实施例提供的电网历史数据管理方法中历史数据采样步骤包括：
接收并解析各应用场景的采样请求事件，将解析后的事件按照量测类型与操作类型分类成普通遥测加点事件、普通遥测减点事件、普通遥测更新事件、批量遥测加点事件、批量遥测减点事件、普通遥信加点事件、普通遥信减点事件、普通遥信修改事件、批量遥信加点事件和批量遥信减点事件。所述量测类型包括普通遥测类型、批量遥测类型、普通遥信类型和批量遥信类型，所述操作类型包括加点操作、减点操作、更新操作和修改操作。
定制采样点的修改信息，在采样定义程序收到所述修改信息后，针对不同应用对历史数据库中间层服务的服务请求，将所述修改信息分类为对带有质量位的量测信息进行增、删或改的配置信息，以及对不带质量位的量测信息进行增、删或改的配置信息，且所述量测信息包括遥信信息和遥测信息。在本实施例中，所述不同应用包括JAVA人机、QT人机和其它应用，所述其它应用包括告警、电网运行稳态监控和AGC(Automatic GenerationControl，自动发电控制)等电网运行实际应用。
然后如图1所示，利用采样信息定义管理工具将采样点记录修改并将修改后的采样点记录通过模型管理实时同步到历史数据库的各个历史数据库表中，而且可以通过DBI实时库维护界面查看修改后的采样点记录，在本实施例中，历史数据库的各个历史数据库表分别为遥测数据表、遥测质量位表和遥信数据质量位表。
按照修改后的采样点记录将实时库设备表中存储的实时数据断面批量存入历史数据库中，历史数据库是国产商用数据库的一个存储模式。对修改后的采样点记录进行定义管理，维护采样定义表，所述采样定义表包括采样周期和测点ID；
根据采样周期和测点ID定期读取实时库设备表中存储的实时数据断面并批量写入历史数据库中，读取的实时库设备表中存储的实时数据断面为所有测点ID的采样数据。
当历史数据库故障发生时，例如网络连接断开、历史数据服务不存在或者其他硬和/或软件故障，采样程序自动将历史数据库中的实时数据断面存入指定硬盘中进行数据备份，以每分钟每个设备为一个文件的方式存储，文件名中包含时间和设备信息，文件格式表现为文件开头为存储的信息结构，文件后面为硬盘的存储数据。当历史数据库故障恢复后，采样程序自动检测出故障的恢复然后建立新的历史数据库连接，并且采样程序中专门有进程将硬盘中存储的实时数据断面一次性写入历史数据库中。所述存储数据由硬盘大小决定。
优化历史数据库，和国产商用数据库合作，改动关系数据库表的内核，实现了一种全新的数据快速更新方法，保证了历史数据存储效率，从而实现对超多列大表的支持，可满足各类DDL(Data Definition Language，数据定义语言)和DML(Data ManipulationLanguage，数据操纵语言)操作。通过查询优化器对超多列大表进行针对性优化工作，满足了历史数据查询的需求。目前在国产商用数据库中采样几十万条记录仅需耗时1-3秒，其工作效率只相当于使用oracle(甲骨文公司)采样的工作效率的十分之一。
针对电网调度控制系统不同应用的丰富运行数据，通过实时同步修改后的采样点记录、历史数据库故障时的数据备份和优化历史数据库，来提升历史数据采样的效率与存储的可靠性。
基于历史数据采样结果，进行本发明实施例提供的电网历史数据管理方法中历史数据交互的步骤，而所述历史数据交互的步骤包括：
建立解析协议的配置文件和数据库连接池的配置文件，所述解析协议的配置文件包括关系数据库表的基本结构和不同应用对历史数据库中间层服务的服务请求的内容；所述数据库连接池的配置文件为不同应用配置相应历史数据库用户的连接个数；从而大大缩小了历史数据交互的工作量，提升了历史数据交互的效率与电网数据的共享能力。
所述不同应用包括JAVA人机、QT人机和其它应用，所述其它应用包括告警、电网运行稳态监控和AGC(Automatic Generation Control，自动发电控制)等电网运行实际应用。
如图2所示，根据解析协议的配置文件中不同应用对历史数据库中间层服务的服务请求的内容，历史数据库中间层服务接收并解析不同应用对历史数据库中间层服务的服务请求，从而对于任意关系数据库表的基本结构自动形成有效的sql语句；为确保所述服务请求不丢失，建立了请求链表的管理机制与请求链表的后备机制。
根据数据库连接池的配置文件，从事先开辟的数据库资源池中获得关系数据库表的链接，并将有效的sql语句发送至历史数据库，将历史数据库中间层服务对服务请求的反馈结果返回给各个不同应用。
历史数据库服务程序MIDHS负责解析多种人机协议，为不同人机界面(Java人机和QT人机界面)提供服务，具体过程为：根据服务总线传来的消息头信息，以解析出的不同标志为信息，从而二次解析消息流传达的不同信息，为不同人机界面(Java人机和QT人机界面)提供服务。
在以Java、C++语言为开发工具的人机读取国产商用数据库时，中间数据传输层能最大限度地将以上两种语言的数据库查询报文协议统一起来。
人机协议开发以后，支持各种时间类型的表达方式，屏蔽因不同排列组合产生不同的时标而带来的服务表达不确定性，另外人机协议支持同时存储各种数据库表结构的内容，并支持同时读取各种数据类型的内容。举例说明，在新增不同应用的表格和曲线需求后，国产商用数据库服务无需新增接口，只需要在curve.conf文件中按照通用协议新配置一段表达数据库结构和服务需求的内容，程序就可以针对任意数据库结构自动形成精确的sql语句，而不做任何代码改动，从而方便地读取数据库数据或写回数据库数据。
历史数据库中间层服务通过解析数据库连接池的配置文件(即db_conf.XML文件)，并根据以往的应用经验和测试水平，为不同应用配置相应数据库用户的连接个数，从而从历史数据交互层面上减少了应用对历史数据库存储的历史数据资源的消耗，避免了因过度使用数据库服务器资源而导致数据库服务死锁的情况，同时所述历史数据库中间层服务还支持为重要程序保留足够连接数的优先级机制。
因此，针对不同应用对历史数据库的请求，通过建立解析协议的配置文件和数据库连接池的配置文件，能够提升历史数据交互的效率与电网数据的共享能力。
本发明提供了一种基于统一支撑平台的电网历史数据管理系统，所述系统包括历史数据采样单元，所述历史数据采样单元包括：
解析事件分类模块：用于接收并解析各应用场景的采样请求事件，将解析后的事件按照量测类型与操作类型分类，所述量测类型包括普通遥测类型、批量遥测类型、普通遥信类型和批量遥信类型，所述操作类型包括加点操作、减点操作、更新操作和修改操作；
修改信息分类模块：用于定制采样点的修改信息，在采样定义程序收到所述修改信息后，针对不同应用对历史数据库中间层服务的服务请求，将所述修改信息进行分类处理；
实时同步模块：用于利用采样信息定义管理工具将采样点记录修改并将修改后的采样点记录实时同步到历史数据库的各个历史数据库表中；
批量存入模块：用于按照修改后的采样点记录将实时库设备表中存储的实时数据断面批量存入历史数据库中；
数据备份模块：用于当历史数据库故障发生时，自动将历史数据库中的实时数据断面存入指定硬盘中，当历史数据库故障恢复后，自动建立新的历史数据库连接，并将硬盘中存储的实时数据断面一次性写入历史数据库中；
所述系统还包括历史数据采样单元，其用于基于历史数据采样结果，进行历史数据交互。
本发明实施例还提供了一种基于统一支撑平台的电网历史数据管理系统，包括处理器及存储介质；所述存储介质用于存储指令；所述处理器用于根据所述指令进行操作以执行前述分析方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述分析方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的系统。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令系统的制造品，该指令系统实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (9)

1.一种基于统一支撑平台的电网历史数据管理方法，其特征在于，所述方法包括历史数据采样的步骤；
历史数据采样的步骤包括：
接收并解析各应用场景的采样请求事件，将解析后的事件按照量测类型与操作类型分类，所述量测类型包括普通遥测类型、批量遥测类型、普通遥信类型和批量遥信类型，所述操作类型包括加点操作、减点操作、更新操作和修改操作；
定制采样点的修改信息，在采样定义程序收到所述修改信息后，针对不同应用对历史数据库中间层服务的服务请求，将所述修改信息进行分类处理；
利用采样信息定义管理工具将采样点记录修改并将修改后的采样点记录实时同步到历史数据库的各个历史数据库表中；
按照修改后的采样点记录将实时库设备表中存储的实时数据断面批量存入历史数据库中；
当历史数据库故障发生时，自动将历史数据库中的实时数据断面存入指定硬盘中，当历史数据库故障恢复后，自动建立新的历史数据库连接，并将硬盘中存储的实时数据断面一次性写入历史数据库中；
所述方法还包括基于历史数据采样结果，进行历史数据交互的步骤；
其中，所述历史数据交互的步骤包括：
建立解析协议的配置文件和数据库连接池的配置文件，所述解析协议的配置文件包括关系数据库表的基本结构和不同应用对历史数据库中间层服务的服务请求的内容；所述数据库连接池的配置文件为不同应用配置相应历史数据库用户的连接个数；
根据解析协议的配置文件中不同应用对历史数据库中间层服务的服务请求的内容，接收并解析不同应用对历史数据库中间层服务的服务请求，从而对于任意关系数据库表的基本结构自动形成有效的sql语句；
根据数据库连接池的配置文件，从事先开辟的数据库资源池中获得关系数据库表的链接，并将有效的sql语句发送至历史数据库，将历史数据库中间层服务对服务请求的反馈结果返回给各个不同应用。
2.根据权利要求1所述的基于统一支撑平台的电网历史数据管理方法，其特征在于，将解析后的事件分类成普通遥测加点事件、普通遥测减点事件、普通遥测更新事件、批量遥测加点事件、批量遥测减点事件、普通遥信加点事件、普通遥信减点事件、普通遥信修改事件、批量遥信加点事件和批量遥信减点事件。
3.根据权利要求1所述的基于统一支撑平台的电网历史数据管理方法，其特征在于，将采样点的修改信息分类为对带有质量位的量测信息进行增、删或改的配置信息，以及对不带质量位的量测信息进行增、删或改的配置信息，且所述量测信息包括遥信信息和遥测信息。
4.根据权利要求1所述的基于统一支撑平台的电网历史数据管理方法，其特征在于，按照修改后的采样点记录将实时库设备表中存储的实时数据断面批量存入历史数据库中的方法包括如下步骤：
对修改后的采样点记录进行定义管理，维护采样定义表，所述采样定义表包括采样周期和测点ID；
根据采样周期和测点ID定期读取实时库设备表中存储的实时数据断面并批量写入历史数据库中，读取的实时库设备表中存储的实时数据断面为所有测点ID的采样数据。
5.根据权利要求1所述的基于统一支撑平台的电网历史数据管理方法，其特征在于，
当历史数据库故障发生时，自动将历史数据库中的实时数据断面存入指定硬盘中的方法包括如下步骤：以每分钟每个设备为一个文件的方式存储，文件名中包含时间和设备信息，文件格式表现为文件开头是存储的信息结构，文件后面为硬盘的存储数据；所述存储数据由硬盘大小决定。
6.根据权利要求1所述的基于统一支撑平台的电网历史数据管理方法，其特征在于，所述不同应用包括人机、告警、电网运行稳态监控和自动发电控制应用。
7.一种基于统一支撑平台的电网历史数据管理系统，其特征在于，所述系统包括历史数据采样单元，所述历史数据采样单元包括：
解析事件分类模块：用于接收并解析各应用场景的采样请求事件，将解析后的事件按照量测类型与操作类型分类，所述量测类型包括普通遥测类型、批量遥测类型、普通遥信类型和批量遥信类型，所述操作类型包括加点操作、减点操作、更新操作和修改操作；
修改信息分类模块：用于定制采样点的修改信息，在采样定义程序收到所述修改信息后，针对不同应用对历史数据库中间层服务的服务请求，将所述修改信息进行分类处理；
实时同步模块：用于利用采样信息定义管理工具将采样点记录修改并将修改后的采样点记录实时同步到历史数据库的各个历史数据库表中；
批量存入模块：用于按照修改后的采样点记录将实时库设备表中存储的实时数据断面批量存入历史数据库中；
数据备份模块：用于当历史数据库故障发生时，自动将历史数据库中的实时数据断面存入指定硬盘中，当历史数据库故障恢复后，自动建立新的历史数据库连接，并将硬盘中存储的实时数据断面一次性写入历史数据库中；
所述系统还包括历史数据采样单元，其用于基于历史数据采样结果，进行历史数据交互；
其中，所述历史数据交互的步骤包括：
建立解析协议的配置文件和数据库连接池的配置文件，所述解析协议的配置文件包括关系数据库表的基本结构和不同应用对历史数据库中间层服务的服务请求的内容；所述数据库连接池的配置文件为不同应用配置相应历史数据库用户的连接个数；
根据解析协议的配置文件中不同应用对历史数据库中间层服务的服务请求的内容，接收并解析不同应用对历史数据库中间层服务的服务请求，从而对于任意关系数据库表的基本结构自动形成有效的sql语句；
根据数据库连接池的配置文件，从事先开辟的数据库资源池中获得关系数据库表的链接，并将有效的sql语句发送至历史数据库，将历史数据库中间层服务对服务请求的反馈结果返回给各个不同应用。
8.一种基于统一支撑平台的电网历史数据管理系统，其特征在于，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1~6任一项所述方法的步骤。
9.计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1~6任一项所述方法的步骤。
CN202010595790.8A 2020-06-28 2020-06-28 基于统一支撑平台的电网历史数据管理方法及系统 Active CN111913933B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010595790.8A CN111913933B (zh) 2020-06-28 2020-06-28 基于统一支撑平台的电网历史数据管理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010595790.8A CN111913933B (zh) 2020-06-28 2020-06-28 基于统一支撑平台的电网历史数据管理方法及系统

Publications (2)

Publication Number Publication Date
CN111913933A CN111913933A (zh) 2020-11-10
CN111913933B true CN111913933B (zh) 2022-10-14

Family

ID=73227847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010595790.8A Active CN111913933B (zh) 2020-06-28 2020-06-28 基于统一支撑平台的电网历史数据管理方法及系统

Country Status (1)

Country Link
CN (1) CN111913933B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112925845A (zh) * 2020-12-25 2021-06-08 深圳供电局有限公司 基于分布式列式存储的云数据中心系统历史数据管理方法
CN116737718B (zh) * 2023-05-26 2024-03-12 中国长江电力股份有限公司 一种可实现水电调系统间交互补数的系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116595A (zh) * 2012-10-24 2013-05-22 中国电力科学研究院 面向电网的scada历史数据分布式存储的实现方法
CN103700032A (zh) * 2013-12-19 2014-04-02 国家电网公司 电网调控一体化全景数据平台的构建方法
CN105740352A (zh) * 2016-01-26 2016-07-06 华中电网有限公司 用于智能电网调度控制系统的历史数据服务系统
CN107482773A (zh) * 2017-08-14 2017-12-15 杭州中恒云能源互联网技术有限公司 一种基于互联网+的微电网能量管理系统及方法
CN107943831A (zh) * 2017-10-23 2018-04-20 国家电网公司西北分部 一种基于HBase的电网历史数据集中存储方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116595A (zh) * 2012-10-24 2013-05-22 中国电力科学研究院 面向电网的scada历史数据分布式存储的实现方法
CN103700032A (zh) * 2013-12-19 2014-04-02 国家电网公司 电网调控一体化全景数据平台的构建方法
CN105740352A (zh) * 2016-01-26 2016-07-06 华中电网有限公司 用于智能电网调度控制系统的历史数据服务系统
CN107482773A (zh) * 2017-08-14 2017-12-15 杭州中恒云能源互联网技术有限公司 一种基于互联网+的微电网能量管理系统及方法
CN107943831A (zh) * 2017-10-23 2018-04-20 国家电网公司西北分部 一种基于HBase的电网历史数据集中存储方法

Also Published As

Publication number Publication date
CN111913933A (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
CN106951694B (zh) 一种电力系统二次设备在线监测系统自适应建模方法
CN109918349B (zh) 日志处理方法、装置、存储介质和电子装置
CN101354758B (zh) 整合实时数据和关系数据的系统和方法
CN112600891A (zh) 一种基于信息物理融合的边云协同系统及工作方法
CN112347071B (zh) 一种配电网云平台数据融合方法及配电网云平台
CN111913933B (zh) 基于统一支撑平台的电网历史数据管理方法及系统
CN111585344B (zh) 一种基于全站ied仿真的变电站智能校核方法及装置
CN112559475B (zh) 数据实时捕获和传输方法及系统
CN110019469A (zh) 分布式数据库数据处理方法、装置、存储介质及电子装置
CN112865311B (zh) 一种电力系统消息总线监视方法和装置
CN114218218A (zh) 基于数据仓库的数据处理方法、装置、设备及存储介质
CN114201540A (zh) 工业多源数据采集及存储系统
CN116009428A (zh) 基于流式计算引擎的工业数据监控系统和方法、介质
CN112506969A (zh) 一种bmc地址查询方法、系统、设备及可读存储介质
CN112488502A (zh) 一种标准的水资源管理一体化管控平台
CN115712623A (zh) 一种基于捕获元数据变更的批量数据容错采集方法
CN105069029A (zh) 一种实时etl系统及方法
CN114416868A (zh) 一种数据同步方法、装置、设备及存储介质
CN111752918A (zh) 一种历史数据交互系统及其配置方法
CN116010452A (zh) 基于流式计算引擎的工业数据处理系统和方法、介质
CN116644039B (zh) 一种基于大数据的在线能力运营日志自动采集分析的方法
CN111654410B (zh) 网关请求监控方法、装置、设备及介质
CN113741970B (zh) 数据仓库生产环境和开发环境分离实现方法和装置
CN113204534A (zh) 一种基于流计算的scada量测数据采集与存储方法及系统
Wu et al. Scene-Based Data Management Method for Power System Using Snapshot Technology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant