CN108614869A - 一种历史数据在不同自动化系统平台同步迁移的方法 - Google Patents
一种历史数据在不同自动化系统平台同步迁移的方法 Download PDFInfo
- Publication number
- CN108614869A CN108614869A CN201810344581.9A CN201810344581A CN108614869A CN 108614869 A CN108614869 A CN 108614869A CN 201810344581 A CN201810344581 A CN 201810344581A CN 108614869 A CN108614869 A CN 108614869A
- Authority
- CN
- China
- Prior art keywords
- historical data
- data
- migration
- text
- mapping relations
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013508 migration Methods 0.000 title claims abstract description 34
- 230000005012 migration Effects 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims abstract description 19
- 230000001360 synchronised effect Effects 0.000 title claims abstract description 16
- 238000013507 mapping Methods 0.000 claims abstract description 15
- 206010021703 Indifference Diseases 0.000 claims abstract description 6
- 241001269238 Data Species 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 230000008676 import Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- General Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Primary Health Care (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Water Supply & Treatment (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种历史数据在不同自动化系统平台同步迁移的方法，通过对源系统ID号和域名、表名的识别生成关键信息的结果文件，运用SQL语言SELECT、WHERE、INSERT、UPDATA等命令获取新旧系统采样定义信息，导出成为数据库插入语句，自动形成数据迁移脚本，在明确历史数据迁移的起点及终点的基础上，用已形成的源、目的系统历史数据之间映射关系文本，将所有数据无差别迁移至目的系统中，实现了对异构系统、异构数据库之间历史数据的迁移工作。
Description
技术领域
本发明属于电力系统自动化领域，具体涉及一种历史数据在不同自动化系统平台同步迁移的方法。
背景技术
在经济发展和技术带动之下，智能自动化系统已经成为电力系统提升服务质量、减少人工成本、提高经济效益的有效手段，而随着电网不断扩张、不断的复杂化，应用电力自动化系统中所存储的各种高精准性和高可靠性高实时和管理历史数据，建立完美的电网虚拟模型，从而进行负荷预测、改善电能质量，甚至研究电力能源使用结构的变化，对电网规划甚至地区经济发展趋势进行智能化分析也成为电力自动化系统应用不可或缺的部分。所以历史数据作为一种积累性资源，随着积累时间越长，其价值越凸显。
历史数据，存在以下特性：
1、作为一种基于时间积累的宝贵资源，一旦丢失不可恢复。
2、历史数据必须保证高精准性和高细致程度，才可被有效分析应用，而这也导致它必然是海量数据，不可用人工手段逐个备份。
3、由于电力自动化历史数据是针对特定应用而存储，导致其对操作系统、数据库、应用系统都具有高依赖性，只在特定系统平台中生成和保存、应用。
由于历史数据的以上特点，作为自动化历史数据存在环境的系统平台，由于软硬件老化应用扩展、兼容性支撑及网络安全等各种原因进行升级后，升级前的历史数据由于无法在新平台中保存，将不得不被抛弃，作为基于时间积累的资源，自动化系统历史数据价值又将从零积累，无形中给生产和管理造成巨大损失。所以迫切需要一种方法，使历史数据在不同自动化系统平台同步迁移。
发明内容
本发明的目的在于提供一种历史数据在不同自动化系统平台同步迁移的方法，旨在解决自动化系统平台升级后，历史数据无法同步迁移的问题。
为达到上述目的，本发明采用如下技术方案：
一种历史数据在不同自动化系统平台同步迁移的方法，包括以下步骤：
(1)分别在源系统和目的系统运行程序，自动执行SELECT命令获取源系统和目的系统采样定义信息，生成带有明确历史数据迁移的起点及终点约束的关键信息的结果文件；
(2)根据源系统和目的系统生成的结果文本，通过WHERE命令匹配id，匹配成功的形成源系统和目的系统遥测历史数据之间映射关系文本，未匹配成功的历史数据人为分析后手动添加；
(3)确定所有历史数据迁移的具体路径，确保数据流向准确唯一，用已形成的源系统和目的系统历史数据之间映射关系文本，将所有数据无差别迁移至目的系统中。
进一步地，步骤(1)中所述关键信息为RDF_ID、表ID和域ID。
进一步地，步骤(1)中生成的结果文件为TXT文本文件。
进一步地，步骤(2)中通过WHERE命令匹配id具体为：通过命令匹配RDF_ID和域ID，对一次匹配成功的，形成源系统和目的系统系统遥测历史数据之间映射关系文本，未一次匹配成功的历史数据通过人为分析后手动添加至映射关系文本。
与现有技术相比，本发明具有以下有益的技术效果：
本发明找到一种可靠的历史数据在不同自动化系统平台同步迁移的方法，避免由于系统平台更换导致的历史数据抛弃；只需明确历史数据迁移的起点及终点约束，通过程序自动执行，确保设备模型及参数的准确一致，且映射关系文本一经确立，可重复使用，无需多次生成，另外对于匹配不成功的数据，提供人为手动匹配，确保导入数据的完整性。
附图说明
图1是本发明历史数据在不同自动化系统平台同步迁移方法的示意图。
具体实施方式
下面结合附图对本发明作进一步详细描述：
参见图1，一种使历史数据在不同自动化系统平台同步迁移方法，通过对进口Oracle数据库及国产DM7等主流数据库研究，通过源系统ID号和域名、表名的识别生成关键信息的结果文件，运用SQL语言SELECT、WHERE、INSERT、UPDATA等命令获取新旧系统采样定义信息，导出成为数据库插入语句，自动形成数据迁移脚本。在明确历史数据迁移的起点及终点的基础上，用已形成的源系统、目的系统历史数据之间映射关系文本，将所有数据无差别迁移至目的系统中，实现了对异构系统、异构数据库之间历史数据的迁移工作。
作为本发明的进一步优选方案，以SQL语言为工具，通过比对数据库中表ID及域ID来自动进行匹配，可以解决“新旧系统历史数据存储路径匹配信息量大”的问题。
作为本发明的进一步优选方案，所述系统生成的结果文件为文本TXT文件，以保证多系统兼容性。且结果文本一经确立，可重复使用，无需多次生成。
下面对本发明实施例操作过程做详细描述：
如图1所示，本发明历史数据在不同自动化系统平台同步迁移的方法包括以下步骤：
(1)在进行跨平台数据迁移之前，需要解决新旧系统历史数据存储地址匹配的问题，因此首先分别在源、目的系统运行程序，后台将自动执行SELECT命令获取源、目的系统采样定义信息，通过对历史数据迁移的起点及终点约束的注入，生成包含采样定义、RDF_ID、表ID、域ID等关键信息的结果的txt文件。
(2)在源系统执行程序，人工指定起始时间、结束时间、存储目录。该程序可根据映射关系txt文本在后台采用SQL语句中SELECT命令直接从Oracle数据库中获取相应时间段内的历史数据并以SQL文件的方式导出到指定目录。考虑到系统资源分配及服务器内存分配等问题，单次历史数据导出的最大时间段应以月为限定。并将旧系统导出的全部历史数据(SQL文件的方式保存的)拷贝至目的系统指定目录。
(3)最后，在目的系统上执行脚本，系统将自动执行指定目录内的所有SQL文件，通过INSERT、UPDATA命令将历史数据直接写入目的系统数据库，完成历史数据导入。初次导入时可选取一天的数据量进行历史数据跨平台迁移测试。当历史数据导入成功后，可通过目的系统自带的曲线查询工具随机查询多个数据的当日历史曲线。曲线正常显示且与源系统一致，表示映射关系txt文本准确、导入导出程序运行正常。说明数据流向准确唯一，用已形成的源、目的系统历史数据之间映射关系文本，将所有数据无差别迁移至目的系统中。整个迁移过程，服务器CUP利用率及内存占用率均在安全运行范围内(占用率小于百分之二)，无卡顿、宕机等情况发生。
本发明通过源系统ID号和域名、表名的识别生成关键信息的结果文件，导出成为数据库插入语句，自动形成数据迁移脚本。在明确历史数据迁移的起点及终点的基础上，用已形成的源、目的系统历史数据之间映射关系文本，将所有数据无差别迁移至目的系统中，实现了对异构系统、异构数据库之间历史数据的迁移工作。
本发明具有以下优点：(1)找到一种可靠的历史数据在不同自动化系统平台同步迁移的方法，避免由于系统平台更换导致的历史数据抛弃；(2)只需明确历史数据迁移的起点及终点约束，通过程序自动执行，确保设备模型及参数的准确一致，且txt映射关系文本一经确立，可重复使用，无需多次生成。(3)对于匹配不成功的数据，提供人为手动匹配，确保导入数据的完整性。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明由所提交的权利要求书所确定的保护范围。
Claims (4)
1.一种历史数据在不同自动化系统平台同步迁移的方法，其特征在于，包括以下步骤：
(1)分别在源系统和目的系统运行程序，自动执行SELECT命令获取源系统和目的系统采样定义信息，生成带有明确历史数据迁移的起点及终点约束的关键信息的结果文件；
(2)根据源系统和目的系统生成的结果文本，通过WHERE命令匹配id，匹配成功的形成源系统和目的系统遥测历史数据之间映射关系文本，未匹配成功的历史数据人为分析后手动添加；
(3)确定所有历史数据迁移的具体路径，确保数据流向准确唯一，用已形成的源系统和目的系统历史数据之间映射关系文本，将所有数据无差别迁移至目的系统中。
2.根据权利要求1所述的一种历史数据在不同自动化系统平台同步迁移的方法，其特征在于，步骤(1)中所述关键信息为RDF_ID、表ID和域ID。
3.根据权利要求1所述的一种历史数据在不同自动化系统平台同步迁移的方法，其特征在于，步骤(1)中生成的结果文件为TXT文本文件。
4.根据权利要求1所述的一种历史数据在不同自动化系统平台同步迁移的方法，其特征在于，步骤(2)中通过WHERE命令匹配id具体为：通过命令匹配RDF_ID和域ID，对一次匹配成功的，形成源系统和目的系统系统遥测历史数据之间映射关系文本，未一次匹配成功的历史数据通过人为分析后手动添加至映射关系文本。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810344581.9A CN108614869A (zh) | 2018-04-17 | 2018-04-17 | 一种历史数据在不同自动化系统平台同步迁移的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810344581.9A CN108614869A (zh) | 2018-04-17 | 2018-04-17 | 一种历史数据在不同自动化系统平台同步迁移的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108614869A true CN108614869A (zh) | 2018-10-02 |
Family
ID=63660213
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810344581.9A Pending CN108614869A (zh) | 2018-04-17 | 2018-04-17 | 一种历史数据在不同自动化系统平台同步迁移的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108614869A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110209728A (zh) * | 2019-04-22 | 2019-09-06 | 凯通科技股份有限公司 | 一种分布式异构数据库同步方法、电子设备及存储介质 |
| CN112328574A (zh) * | 2020-11-03 | 2021-02-05 | 上海许继电气有限公司 | 一种继电保护故障信息主站数据迁移方法及装置 |
| CN117271482A (zh) * | 2023-11-23 | 2023-12-22 | 成方金融信息技术服务有限公司 | 历史数据迁移方法、装置、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102215268A (zh) * | 2011-07-14 | 2011-10-12 | 北京飞杰信息技术有限公司 | 一种迁移文件数据的方法和装置 |
| CN103440273A (zh) * | 2013-08-06 | 2013-12-11 | 北京航空航天大学 | 一种数据跨平台迁移方法及装置 |
| CN105354314A (zh) * | 2015-11-10 | 2016-02-24 | 中国建设银行股份有限公司 | 数据迁移方法及装置 |
-
2018
- 2018-04-17 CN CN201810344581.9A patent/CN108614869A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102215268A (zh) * | 2011-07-14 | 2011-10-12 | 北京飞杰信息技术有限公司 | 一种迁移文件数据的方法和装置 |
| CN103440273A (zh) * | 2013-08-06 | 2013-12-11 | 北京航空航天大学 | 一种数据跨平台迁移方法及装置 |
| CN105354314A (zh) * | 2015-11-10 | 2016-02-24 | 中国建设银行股份有限公司 | 数据迁移方法及装置 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110209728A (zh) * | 2019-04-22 | 2019-09-06 | 凯通科技股份有限公司 | 一种分布式异构数据库同步方法、电子设备及存储介质 |
| CN110209728B (zh) * | 2019-04-22 | 2023-10-20 | 凯通科技股份有限公司 | 一种分布式异构数据库同步方法、电子设备及存储介质 |
| CN112328574A (zh) * | 2020-11-03 | 2021-02-05 | 上海许继电气有限公司 | 一种继电保护故障信息主站数据迁移方法及装置 |
| CN117271482A (zh) * | 2023-11-23 | 2023-12-22 | 成方金融信息技术服务有限公司 | 历史数据迁移方法、装置、电子设备及存储介质 |
| CN117271482B (zh) * | 2023-11-23 | 2024-02-27 | 成方金融信息技术服务有限公司 | 历史数据迁移方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104133772A (zh) | 一种自动生成测试数据的方法 | |
| CN108614869A (zh) | 一种历史数据在不同自动化系统平台同步迁移的方法 | |
| CN104123227A (zh) | 一种自动生成测试用例的方法 | |
| CN103838672A (zh) | 一种通用报表的自动化测试方法及装置 | |
| CN103927314B (zh) | 一种数据批量处理的方法和装置 | |
| CN103942138A (zh) | 测试方法及装置 | |
| CN102043719A (zh) | 一种对iec61850配置描述文件进行测试的方法 | |
| CN110245145A (zh) | 关系型数据库到Hadoop数据库的结构同步方法和装置 | |
| EP2965492B1 (en) | Selection of data storage settings for an application | |
| CN106445815B (zh) | 一种自动化测试方法及装置 | |
| CN113032257B (zh) | 自动化测试方法、装置、计算机系统和可读存储介质 | |
| CN115599769A (zh) | 一种数据迁移方法、装置、电子设备及存储介质 | |
| CN104102701A (zh) | 一种基于hive的历史数据存档与查询方法 | |
| CN103984769A (zh) | 一种用例数据管理存储方法 | |
| CN113177090A (zh) | 数据处理方法及装置 | |
| CN105760505A (zh) | 基于hive的历史数据分析及存档方法 | |
| CN112700083A (zh) | 构建资源综合利用和服务指数指标体系场景的方法及装置 | |
| CN103777092A (zh) | 一种基于云技术的继电保护测试系统及其方法 | |
| CN111596899A (zh) | 一种基于Java开发的数据库迁移方法、系统、设备及存储介质 | |
| CN101645073A (zh) | 一种将已有数据库文件导入嵌入式数据库的方法 | |
| CN107959587A (zh) | 基于海量文件的处理结果日志合并装置及方法 | |
| CN113032256B (zh) | 自动化测试方法、装置、计算机系统和可读存储介质 | |
| CN111464617B (zh) | 生产规范化移动监控系统 | |
| CN112559641A (zh) | 拉链表的处理方法及装置、可读存储介质及电子设备 | |
| CN101867185A (zh) | 电力系统的pi测点自动维护系统及其维护方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181002 |
|
| RJ01 | Rejection of invention patent application after publication |