CN105354322B - 将电力系统历史数据高效完整同步到综合数据平台的方法 - Google Patents
将电力系统历史数据高效完整同步到综合数据平台的方法 Download PDFInfo
- Publication number
- CN105354322B CN105354322B CN201510783124.6A CN201510783124A CN105354322B CN 105354322 B CN105354322 B CN 105354322B CN 201510783124 A CN201510783124 A CN 201510783124A CN 105354322 B CN105354322 B CN 105354322B
- Authority
- CN
- China
- Prior art keywords
- time
- historical data
- measurement
- time point
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/219—Managing data history or versioning
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本发明公开了一种将电力系统历史数据完整同步到综合数据平台的方法包括以下步骤：⑴获取上次整体同步结束时间点；⑵获取量测与该量测最后一个记录时间点的映射表；⑶获取缺失历史数据的量测与时间点；⑷将查询到的缺失历史数据导入综合数据平台中，根据查询到的缺失历史数据删除丢失历史数据文件中已经补全的缺失历史数据时间点；⑸映射表中存在的每个量测的最后一个记录时间点作为该量测的本次同步起始时间；映射表中没有的量测作为新增量测，以上次整体同步结束时间点为新增量测的本次同步起始时间，全部量测整体同步结束时间统一为当前时间。本发明可保证数据高效同步到综合数据平台的完整性，保证及时同步补全数据及每次同步数据的无缝拼接。
Description
技术领域
本发明涉及一种将电力系统历史数据高效完整同步到综合数据平台的方法。
背景技术
电力调度机构中的调度自动化系统(SCADA/EMS)运行期间会产生大量的历史数据，这些数据包括一次性设备的电压、电流、有功、无功、系统统计值、系统计算值等。大部分历史数据都是以量测为单位每间隔5分钟进行存储，量测是指历史数据的种类，如：某个一次性设备的电压是一个量测，而电流是另一个量测。
目前，随着综合数据平台对调度自动化系统历史数据的应用分析越来越广泛，需要将调度自动化系统历史数据完整同步迁移到综合数据平台中，以方便分析应用，但是，因为历史数据数量庞大且随着时间不断增多，还存在部分数据中间丢失后又通过后期补全的历史数据，所以，历史数据的定时高效完整性同步迁移及数据补全同步是综合数据平台历史数据迁移的关键环节。
现有同步数据的一个方法是所有量测采用同一个起止时间查询数据，为了保证每个量测历史数据的完整拼接，每次查询数据的起始时间都是在上次结束时间基础上往前增加一段时间，，比如上次查询结束时间是12点，这次查询起始时间则是10点，其缺陷在于：因为调度自动化系统历史数据每个量测最后更新时间不一定一致，即使每次多重复查询一段时间的历史数据，也无法保证部分量测历史数据不丢失，使得部分量测历史数据无法完整拼接，从而不能保证同步历史数据的完整性，并且重复查询会在很大程度上降低了数据同步的效率，存在部分量测历史数据重复同步的问题。
现有同步数据的另一个方法是每个量测单独记录一个最后的时间点，但是，没有缺失点记录，其缺点在于：无法对后续补全的调度自动化历史数据进行同步补全，不能做到完整性同步，从而无法保证同步历史数据的完整性。
发明内容
本发明的目的在于提供一种同步效率高且确保同步历史数据的完整性的将电力系统历史数据完整同步到综合数据平台的方法，可将电力调度系统历史数据高效同步到综合数据平台，能够保证历史数据同步的无缝拼接与数据补全，确保同步历史数据的完整性。
本发明的上述目的通过以下的技术措施来实现：一种将电力系统历史数据完整同步到综合数据平台的方法，其特征在于包括以下步骤：
⑴解析整体同步时间记录文件，获取上次整体同步结束时间点；
⑵解析每个量测数据的最后同步时间点文件，获取量测与该量测最后一个记录时间点的映射表；
⑶解析丢失历史数据时间点文件，获取缺失历史数据的量测与时间点；
⑷连接调度自动化系统的历史数据库，根据缺失历史数据的量测与时间点查询历史数据库，将查询到的缺失历史数据导入综合数据平台中，根据查询到的缺失历史数据删除丢失历史数据文件中已经补全的缺失历史数据时间点；
⑸查询全部调度自动化系统的量测，获得全部量测信息，根据量测信息，在映射表中查找每个量测的最后一个记录时间点，映射表中存在的每个量测的最后一个记录时间点作为该量测的本次同步起始时间；映射表中没有的量测作为新增量测，以上次整体同步结束时间点为新增量测的本次同步起始时间，全部量测的整体同步结束时间统一为当前时间；
⑹查询具有相同同步起始时间的多个量测的历史数据，将查询到的历史数据导入综合数据平台中，在历史数据查询过程中，根据调度自动化系统储存一次历史数据的时间间隔找出缺失历史数据的时间点，并将缺失历史数据的量测与时间点记录到丢失历史数据文件中，同时根据查询到的历史数据将每个量测的最新数据时间点更新到同步时间点文件中，该同步时间点文件作为下次同步的最后同步时间点文件，最后将当前统一结束时间更新到整体同步时间记录文件中。
本发明能够有效保证数据同步到综合数据平台的完整性，保证及时同步补全数据及每次同步数据的无缝拼接，可以实现高效同步，解决了大多数电力调度系统历史数据在同步迁移时无法保证每个量测的历史数据的无缝拼接，且存在丢失数据及后续补全数据的问题。
作为本发明的一种实施方式，在所述步骤⑹中，所述的时间间隔为5分钟。
与现有技术相比，本发明具有如下显著的效果：
⑴本发明记录上次整体同步时间，作为新量测起始同步时间，保证了新量测的全部历史数据完整同步。
⑵本发明独立记录每个量测的最后一条数据时间，保证数据每次同步的无缝拼接。
⑶本发明根据源历史数据库历史数据每5分钟一个点的特点，记录缺失量测及时间点，保证同步补全缺失的历史数据。
具体实施方式
本发明一种将电力系统历史数据完整同步到综合数据平台的方法，包括以下步骤：
⑴解析整体同步时间记录文件syntime.opt，获取上次整体同步结束时间点；
⑵解析每个量测数据的最后同步时间点文件measurementtime.opt，，获取量测与该量测最后一个记录时间点的映射表；
⑶解析丢失历史数据时间点文件lose.opt，获取缺失历史数据的量测与时间点；
以上的syntime.opt、measurementtime.opt和lose.opt参见下表：
(表1)
⑷连接调度自动化系统的历史数据库，根据缺失历史数据的量测与时间点查询历史数据库，将查询到的缺失历史数据导入综合数据平台中，根据查询到的缺失历史数据删除丢失历史数据文件中已经补全的缺失历史数据时间点；
⑸查询全部调度自动化系统的量测，获得全部量测信息，根据量测信息，在映射表中查找每个量测的最后一个记录时间点，映射表中存在的每个量测的最后一个记录时间点，作为该量测的本次同步起始时间；映射表中没有的量测作为新增量测，以上次整体同步结束时间点为新增量测的本次同步起始时间，全部量测的整体同步结束时间统一为当前统一结束时间；
⑹查询具有相同同步起始时间的多个量测的历史数据，将查询到的历史数据导入综合数据平台中，在历史数据查询过程中，根据调度自动化系统历史数据每间隔5分钟一个时间点找出缺失历史数据的时间点，并将缺失历史数据的量测与时间点记录到丢失历史数据文件中，同时根据到的历史数据将每个量测的最新数据时间点更新到同步时间点文件中，该同步时间点文件作为下次同步的最后同步时间点文件，最后将当前统一结束时间更新到整体同步时间记录文件中。
本发明的实施方式不限于此，根据本发明的上述内容，按照本领域的普通技术知识和惯用手段，在不脱离本发明上述基本技术思想前提下，本发明还可以做出其它多种形式的修改、替换或变更，均落在本发明权利保护范围之内。
Claims (2)
1.一种将电力系统历史数据高效完整同步到综合数据平台的方法，其特征在于包括以下步骤：
⑴解析整体同步时间记录文件，获取上次整体同步结束时间点；
⑵解析每个量测数据的最后同步时间点文件，获取量测与该量测最后一个记录时间点的映射表；
⑶解析丢失历史数据时间点文件，获取缺失历史数据的量测与时间点；
⑷连接调度自动化系统的历史数据库，根据缺失历史数据的量测与时间点查询历史数据库，将查询到的缺失历史数据导入综合数据平台中，根据查询到的缺失历史数据删除丢失历史数据时间点文件中已经补全的缺失历史数据时间点；
⑸查询全部调度自动化系统的量测，获得全部量测信息，根据量测信息，在映射表中查找每个量测的最后一个记录时间点，映射表中存在的每个量测的最后一个记录时间点，作为该量测的本次同步起始时间；映射表中没有的量测作为新增量测，以上次整体同步结束时间点为新增量测的本次同步起始时间，全部量测的整体同步结束时间统一为当前统一结束时间；
⑹查询具有相同同步起始时间的多个量测的历史数据，将查询到的历史数据导入综合数据平台中，在历史数据查询过程中，根据调度自动化系统储存一次历史数据的时间间隔找出缺失历史数据的时间点，并将缺失历史数据的量测与时间点记录到丢失历史数据时间点文件中，同时根据查询到的历史数据将每个量测的最新数据时间点更新到同步时间点文件中，该同步时间点文件作为下次同步的最后同步时间点文件，最后将当前统一结束时间更新到整体同步时间记录文件中。
2.根据权利要求1所述的将电力系统历史数据高效完整同步到综合数据平台的方法，其特征在于：在所述步骤⑹中，所述的时间间隔为5分钟。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510783124.6A CN105354322B (zh) | 2015-11-13 | 2015-11-13 | 将电力系统历史数据高效完整同步到综合数据平台的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510783124.6A CN105354322B (zh) | 2015-11-13 | 2015-11-13 | 将电力系统历史数据高效完整同步到综合数据平台的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105354322A CN105354322A (zh) | 2016-02-24 |
| CN105354322B true CN105354322B (zh) | 2017-07-21 |
Family
ID=55330294
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510783124.6A Active CN105354322B (zh) | 2015-11-13 | 2015-11-13 | 将电力系统历史数据高效完整同步到综合数据平台的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105354322B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106708992A (zh) * | 2016-12-16 | 2017-05-24 | 浙江中控技术股份有限公司 | 一种数据查询方法、装置及系统 |
| CN109902102B (zh) * | 2019-01-15 | 2022-11-18 | 国网辽宁省电力有限公司鞍山供电公司 | 一种变电站监控信息验收卡的自动化核对方法 |
| CN110647533A (zh) * | 2019-09-17 | 2020-01-03 | 同恩(上海)工程技术有限公司 | 一种用于结构监测系统的数据监听方法，系统及存储介质 |
| CN114416718A (zh) * | 2022-03-28 | 2022-04-29 | 西安热工研究院有限公司 | 数据库同步历史数据的方法、系统、电子设备和储存介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103605766A (zh) * | 2013-11-26 | 2014-02-26 | 国家电网公司 | 变电数据接入实时/历史数据库的方法及装置 |
| CN104572978A (zh) * | 2014-12-31 | 2015-04-29 | 国家电网公司 | 基于日志的电力调度自动化系统用户行为统计方法 |
| CN104750740A (zh) * | 2013-12-30 | 2015-07-01 | 北京新媒传信科技有限公司 | 数据更新的方法及装置 |
| CN104881748A (zh) * | 2015-06-02 | 2015-09-02 | 广西大学 | 基于“云计算”调度应用的电力调度自动化方法和系统 |
-
2015
- 2015-11-13 CN CN201510783124.6A patent/CN105354322B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103605766A (zh) * | 2013-11-26 | 2014-02-26 | 国家电网公司 | 变电数据接入实时/历史数据库的方法及装置 |
| CN104750740A (zh) * | 2013-12-30 | 2015-07-01 | 北京新媒传信科技有限公司 | 数据更新的方法及装置 |
| CN104572978A (zh) * | 2014-12-31 | 2015-04-29 | 国家电网公司 | 基于日志的电力调度自动化系统用户行为统计方法 |
| CN104881748A (zh) * | 2015-06-02 | 2015-09-02 | 广西大学 | 基于“云计算”调度应用的电力调度自动化方法和系统 |
Non-Patent Citations (1)
| Title |
|---|
| 《文件同步理论在电力系统数据备份中的应用》;《电力系统自动化》;《电力系统自动化》;20030710;第27卷(第13期);第68-71页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105354322A (zh) | 2016-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105354322B (zh) | 将电力系统历史数据高效完整同步到综合数据平台的方法 | |
| CN105243067B (zh) | 一种实现实时增量同步数据的方法及装置 | |
| CN106815409B (zh) | 电网拓扑关系的分析方法 | |
| CN105512171B (zh) | 数据库同步的方法及装置 | |
| CN102426525B (zh) | 一种多应用系统的全景建模方法 | |
| CN107231400B (zh) | 一种数据的同步方法和装置 | |
| CN104993589A (zh) | 一种配电主站与终端之间模型共享的方法 | |
| CN108228726B (zh) | 配电网红黑图的增量异动内容获取方法及存储介质 | |
| CN105472412A (zh) | 一种区分智能电视状态的大数据处理方法 | |
| CN103399888A (zh) | 电网模型数据的差分同步方法及系统 | |
| CN107193917A (zh) | 基于iid的全站系统配置文件无损数据更新方法 | |
| JP2015530050A (ja) | 企画データの一致性を保証する方法及びそれに関連する装置 | |
| CN104850635A (zh) | 一种多数据源环境下数据缺失自动检查及集中监控方法 | |
| CN107066594B (zh) | 一种元数据同步的方法 | |
| CN104881739B (zh) | 一种基于iec61970/61968 cim标准的营配数据一致性校验方法 | |
| CN109191078A (zh) | 一种流程业务建模方法、装置及设备 | |
| CN112265570A (zh) | 一种列车定位方法及系统 | |
| CN110705969B (zh) | 一种变电站监控系统、主站及其自动关联测点id的方法 | |
| CN105260486A (zh) | 一种数据处理方法、装置及系统 | |
| CN108123997A (zh) | 一种基于差分更新的导航数据包更新方法及系统 | |
| CN106549494A (zh) | 一种基于iec61850实现终端自动配置的方法 | |
| CN104112183B (zh) | 智能变电站即插即用的智能调度模型管理系统及管理方法 | |
| CN106874412A (zh) | 一种基于云计算的电费查询监控系统 | |
| CN106250356A (zh) | 基于Hash表的继电保护装置抽象对象的快速解析方法 | |
| WO2014108800A3 (en) | Method for comparing and reconsolidating geo-redundant database |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20200414 Address after: 510080 Dongfeng East Road, Dongfeng, Guangdong, Guangzhou, Zhejiang Province, No. 8 Patentee after: Electric Power Research Institute of Guangdong Power Grid Co.,Ltd. Address before: 510080 Dongfeng East Road, Dongfeng, Guangdong, Guangzhou, Zhejiang Province, No. 8 Co-patentee before: WEIHAI CIMSTECH Co.,Ltd. Patentee before: Electric Power Research Institute of Guangdong Power Grid Co.,Ltd. |
|
| TR01 | Transfer of patent right |