CN102314517A - 一种水调历史数据库在线同步技术 - Google Patents

一种水调历史数据库在线同步技术 Download PDF

Info

Publication number
CN102314517A
CN102314517A CN201110286290A CN201110286290A CN102314517A CN 102314517 A CN102314517 A CN 102314517A CN 201110286290 A CN201110286290 A CN 201110286290A CN 201110286290 A CN201110286290 A CN 201110286290A CN 102314517 A CN102314517 A CN 102314517A
Authority
CN
China
Prior art keywords
data
change
database
field
access
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201110286290A
Other languages
English (en)
Inventor
余有胜
丁杰
黄春雷
李晓斌
李永红
裴哲义
唐勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Electric Power Research Institute
Original Assignee
State Grid Electric Power Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Electric Power Research Institute filed Critical State Grid Electric Power Research Institute
Priority to CN201110286290A priority Critical patent/CN102314517A/zh
Publication of CN102314517A publication Critical patent/CN102314517A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本技术方案通过在线访问、变化捕获、模型转换、时间标签实现水调历史数据库在线同步。建立基于ODBC的通用数据库访问接口和专用接口，通过线程实现数据库连接管理，数据库中断和访问异常进行处理，重新建立连接，从而维持连接，确保在线访问；采用数据修改消息接收处理、数据库触发器、文件修改时间监测等技术捕获数据源历史数据变更集。

Description

一种水调历史数据库在线同步技术
技术领域
本发明属于电网水调自动化领域。 
背景技术
  水调历史数据是电网调度机构水电调度分析、来水预报和调度计划等重要的数据源，水调历史数据在水电厂和多级调度机构之间实时通信传输。
发明内容
  水调历史数据具有动态统计、人工整编等特点（动态统计指将小时为单位的数据统计成以日为时间单位的数据、再统计成旬、月、年为时间单位的数据。人工整编指对过去数日或数月的数据进行调整修正。）。因此，水调历史数据存在修改几天、数月乃至多年之前数据的情况。因此，需要研究水电厂与调度机构之间、不同调度机构之间历史数据一致性和及时性的在线同步技术。
本技术方案通过在线访问、变化捕获、模型转换、时间标签实现水调历史数据库在线同步：
1）建立基于ODBC的通用数据库访问接口和专用接口，包括ORACLE、SQLSERVER、DB2、SYBASE以及MYSQL、ACCESS和EXCEL、文本文件等数据访问的支持，通过线程实现数据库连接管理，数据库中断和访问异常进行处理，重新建立连接，从而维持连接，确保在线访问。
2）采用数据修改消息接收处理、数据库触发器（对每条历史数据的插入、删除和修改等操作进行触发到指定数据表中）、文件修改时间监测（循环检测文件修改日期，与记录的文件最后修改日期比对）等技术捕获数据源历史数据变更集。这是水调历史数据库在线同步最关键的环节，水调历史数据库存储海量的历史数据，常规的数据库同步技术是全库所有数据的同步，传输数据量巨大，在广域网上无法实现实时同步。本方案通过获取变更的那部分数据，从而促使广域网传输的数据量大幅减少。如图1中“获取变更”部分，有三种情况：
a)    有应用软件在变更历史数据库时发送数据变更消息，这种情况可以通过获取、解释消息得到历史数据变更集，这是数据变更发生后最快获取变更的机制，但大多数应用软件未发送数据变更消息。
b)    利用数据库触发器机制将变更数据（插入、修改和删除操作）触发到临时数据库，获取历史数据变更集，如图1所示。
c)    另外，针对文本文件方式存储的数据，通过文件日期变化发现变更事件，然后通过文件比对获取变更数据集。
通过三种情况的不同处理，实现实时动态获取海量历史数据中变更的部分，减少传输的数据量，从机制上保证多级数据同步。
3）采用字段对应技术实现数据模型转换，建立数据编码对照表。通过字段和编码对照将修改数据转换为目标数据。如图1中“获取变更”部分。水调自动化数据模型转换分为三种情况：一是源字段可以是多个字段的算术合成。图2示例目标模型字段Field1t是源模型字段Field1s、Field2s和Field3s通过Field1t=0.3*Field1s+0.35* Field2s+ 0.35* Field3s算术合成；二是将多条数据记录转为一条记录，图3示例目标模型一条记录是源模型的3条记录，目标字段Field1t是源字段Field1s的算术合成，Field2s、Field3s和Field4s分别为源模型记录1、2和3的字段Field2s；三是者将一条记录转为多条记录。
 
4）对目标数据加以时间标签和优先级标签，设置目标数据优先级，确保目标数据及时传送到远程数据库。如图1中“数据传送”部分。
附图说明
图1历史数据库在线同步流程图；
图2 多个字段合成；
图3 多条记录转为一条。
具体实施方式
  该技术从数据源的角度确保电网调度各级机构水调历史数据同步。已在多个电网水调自动化系统中成功应用。该技术促使在数千万条的历史数据库中，只传输变化数据，从机制上保证了广域网中历史数据的一致性。
开发了水调历史数据在线同步软件，实现在线访问、变化捕获、模型转换、时间标签等功能，实现广域网水调历史数据库在线同步。
1）建立基于ODBC的通用数据库访问接口和专用接口，包括ORACLE、SQLSERVER、DB2、SYBASE以及MYSQL、ACCESS和EXCEL、文本文件等数据访问的支持，通过线程实现数据库连接管理，数据库中断和访问异常进行处理，重新建立连接，从而维持连接，确保在线访问。
2）采用数据修改消息接收处理、数据库触发器（对每条历史数据的插入、删除和修改等操作进行触发到指定数据表中）、文件修改时间监测（循环检测文件修改日期，与记录的文件最后修改日期比对）等技术捕获数据源历史数据变更集。这是水调历史数据库在线同步最关键的环节，水调历史数据库存储海量的历史数据，常规的数据库同步技术是全库所有数据的同步，传输数据量巨大，在广域网上无法实现实时同步。本方案通过获取变更的那部分数据，从而促使广域网传输的数据量大幅减少。如图1中“获取变更”部分，有三种情况：
a)    有应用软件在变更历史数据库时发送数据变更消息，这种情况可以通过获取、解释消息得到历史数据变更集，这是数据变更发生后最快获取变更的机制，但大多数应用软件未发送数据变更消息。
b)    利用数据库触发器机制将变更数据（插入、修改和删除操作）触发到临时数据库，获取历史数据变更集，如图1所示。
c)    另外，针对文本文件方式存储的数据，通过文件日期变化发现变更事件，然后通过文件比对获取变更数据集。
通过三种情况的不同处理，实现实时动态获取海量历史数据中变更的部分，减少传输的数据量，从机制上保证多级数据同步。
3）采用字段对应技术实现数据模型转换，建立数据编码对照表。通过字段和编码对照将修改数据转换为目标数据。如图1中“获取变更”部分。水调自动化数据模型转换分为三种情况：一是源字段可以是多个字段的算术合成。图2示例目标模型字段Field1t是源模型字段Field1s、Field2s和Field3s通过Field1t=0.3*Field1s+0.35* Field2s+ 0.35* Field3s算术合成；二是将多条数据记录转为一条记录，图3示例目标模型一条记录是源模型的3条记录，目标字段Field1t是源字段Field1s的算术合成，Field2s、Field3s和Field4s分别为源模型记录1、2和3的字段Field2s；三是者将一条记录转为多条记录。
 
4）对目标数据加以时间标签和优先级标签，设置目标数据优先级，确保目标数据及时传送到远程数据库。如图1中“数据传送”部分。

Claims (3)

1.一种水调历史数据库在线同步方法，其特征在于，包括以下步骤：
1)建立基于ODBC的通用数据库访问接口和专用接口，包括ORACLE、SQLSERVER、DB2、SYBASE以及MYSQL、ACCESS和EXCEL、文本文件数据访问的支持，通过线程实现数据库连接管理，数据库中断和访问异常进行处理，重新建立连接，从而维持连接，确保在线访问；
2)采用数据修改消息接收处理、数据库触发器、文件修改时间监测技术捕获数据源历史数据变更集；
3)采用字段对应技术实现数据模型转换，建立数据编码对照表；通过字段和编码对照将修改数据转换为目标数据；
4)对目标数据加以时间标签和优先级标签，设置目标数据优先级，确保目标数据及时传送到远程数据库。
2.根据权利要求1所述的一种水调历史数据库在线同步方法，其特征在于，所述步骤2）包括：
a)有应用软件在变更历史数据库时发送数据变更消息，这种情况通过获取、解释消息得到历史数据变更集，这是数据变更发生后最快获取变更的机制，但大多数应用软件未发送数据变更消息；
b)利用数据库触发器机制将变更数据（插入、修改和删除操作）触发到临时数据库，获取历史数据变更集；
c)另外，针对文本文件方式存储的数据，通过文件日期变化发现变更事件，然后通过文件比对获取变更数据集。
3.根据权利要求1所述的一种水调历史数据库在线同步方法，其特征在于，所述步骤3）包括：
水调自动化数据模型转换分为三种情况：一是源字段可以是多个字段的算术合成；目标模型字段Field1t是源模型字段Field1s、Field2s和Field3s通过Field1t=0.3*Field1s+0.35* Field2s+ 0.35* Field3s算术合成；
二是将多条数据记录转为一条记录，目标模型一条记录是源模型的3条记录，目标字段Field1t是源字段Field1s的算术合成，Field2s、Field3s和Field4s分别为源模型记录1、2和3的字段Field2s；
三是者将一条记录转为多条记录。
CN201110286290A 2011-09-25 2011-09-25 一种水调历史数据库在线同步技术 Pending CN102314517A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110286290A CN102314517A (zh) 2011-09-25 2011-09-25 一种水调历史数据库在线同步技术

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110286290A CN102314517A (zh) 2011-09-25 2011-09-25 一种水调历史数据库在线同步技术

Publications (1)

Publication Number Publication Date
CN102314517A true CN102314517A (zh) 2012-01-11

Family

ID=45427682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110286290A Pending CN102314517A (zh) 2011-09-25 2011-09-25 一种水调历史数据库在线同步技术

Country Status (1)

Country Link
CN (1) CN102314517A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108255623A (zh) * 2018-01-22 2018-07-06 深圳市卓讯信息技术有限公司 实现线程内外双重对账机制的数据交换监控方法及装置
CN110362632A (zh) * 2019-07-22 2019-10-22 无限极（中国）有限公司 一种数据同步方法、装置、设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040249855A1 (en) * 2003-06-05 2004-12-09 International Business Machines Corporation Method, apparatus, and computer program product for customized assistance to a user
CN1614601A (zh) * 2003-11-03 2005-05-11 石岳 校园智能管理系统的建造方法及设备
CN101673277A (zh) * 2009-09-28 2010-03-17 国电南瑞科技股份有限公司 监控系统内存数据库监视系统及其监视方法
CN102129478A (zh) * 2011-04-26 2011-07-20 广州从兴电子开发有限公司 数据库同步方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040249855A1 (en) * 2003-06-05 2004-12-09 International Business Machines Corporation Method, apparatus, and computer program product for customized assistance to a user
CN1614601A (zh) * 2003-11-03 2005-05-11 石岳 校园智能管理系统的建造方法及设备
CN101673277A (zh) * 2009-09-28 2010-03-17 国电南瑞科技股份有限公司 监控系统内存数据库监视系统及其监视方法
CN102129478A (zh) * 2011-04-26 2011-07-20 广州从兴电子开发有限公司 数据库同步方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108255623A (zh) * 2018-01-22 2018-07-06 深圳市卓讯信息技术有限公司 实现线程内外双重对账机制的数据交换监控方法及装置
CN108255623B (zh) * 2018-01-22 2022-03-15 深圳市卓讯信息技术有限公司 实现线程内外双重对账机制的数据交换监控方法及装置
CN110362632A (zh) * 2019-07-22 2019-10-22 无限极（中国）有限公司 一种数据同步方法、装置、设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN104408132B (zh) 数据推送方法和系统
CN107958082B (zh) 数据库到数据仓库的离线增量同步方法及系统
CN104820670B (zh) 一种电力信息大数据的采集和存储方法
CN102508908A (zh) 一种下级财政业务数据的采集方法和系统
CN104317800A (zh) 一种海量智能用电数据混合存储系统及方法
CN102722582B (zh) 基于逆向清理的数据整合系统及方法
CN104917627B (zh) 一种用于大型服务器集群的日志集群扫描与分析方法
CN105320085A (zh) 工业自动化数据的采集方法及装置、系统
CN103412916A (zh) 一种监控系统的多维度数据存储、检索方法及装置
CN104599032A (zh) 一种面向资源管理的分布式内存电网构建方法及系统
WO2021223451A1 (zh) 汽车生产动作数据采集方法、系统、装置和存储介质
CN104850635B (zh) 一种多数据源环境下数据缺失自动检查及集中监控方法
CN103955510A (zh) 基于etl云平台上传的海量电力营销数据整合方法
CN106446144A (zh) 一种基于kettle的大数据平台数据抽取和统计方法
CN107590749A (zh) 一种配用电数据的处理方法及系统
Ceci et al. Big data techniques for supporting accurate predictions of energy production from renewable sources
CN103412182A (zh) 利用电能计量装置监测电压合格率的方法
CN106599293A (zh) 一种用于调配一体化系统的cim xml电网模型
CN104063468A (zh) 一种数据报表自动生成及提取方法及装置
CN102314517A (zh) 一种水调历史数据库在线同步技术
CN105260372B (zh) 基于实时数据库统计任意时间段能耗的方法
CN103294802A (zh) 千万千瓦级风电基地风机运行信息实时监测方法
CN111556108A (zh) 基于云平台的电力大数据采集系统和方法
CN105740069A (zh) 一种多级数据转化任务的自动调度方法
CN103955863B (zh) 一种电网监测装置数据的处理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: STATE GRID CORPORATION OF CHINA

Effective date: 20121119

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20121119

Address after: Nan Shui Road Gulou District of Nanjing city of Jiangsu Province, No. 8 210003

Applicant after: State Grid Electric Power Research Insititute

Applicant after: State Grid Corporation of China

Address before: Nan Shui Road Gulou District of Nanjing city of Jiangsu Province, No. 8 210003

Applicant before: State Grid Electric Power Research Insititute

C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20120111