CN101620624B - 一种物理隔离条件下不同数据库间数据同步的方法 - Google Patents
一种物理隔离条件下不同数据库间数据同步的方法 Download PDFInfo
- Publication number
- CN101620624B CN101620624B CN2009100912374A CN200910091237A CN101620624B CN 101620624 B CN101620624 B CN 101620624B CN 2009100912374 A CN2009100912374 A CN 2009100912374A CN 200910091237 A CN200910091237 A CN 200910091237A CN 101620624 B CN101620624 B CN 101620624B
- Authority
- CN
- China
- Prior art keywords
- data
- database
- intranet
- metadata table
- different databases
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000001360 synchronised effect Effects 0.000 claims abstract description 7
- 230000008676 import Effects 0.000 claims description 19
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 2
- 230000003139 buffering effect Effects 0.000 abstract description 3
- 230000007613 environmental effect Effects 0.000 abstract 1
- 230000006378 damage Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
为保证目标数据库在导入数据时的稳定性，本发明提出一种物理隔离条件下不同数据库间数据同步的方法，通过在内部网建立临时的中间数据库，实现了不同网络环境数据库间同步的缓冲，同时满足了数据的同步和完整性要求，并通过设计元数据表，提高了操作的灵活性。本方法在安全性要求高，需要内外网物理隔离，且数据量较大的不同数据库间的数据同步中能够稳定的工作。
Description
技术领域
本发明属于数据库间数据同步的方法，尤其是指一种物理隔离条件下不同数据库间数据同步的方法。
背景技术
目前，现有的数据库间的数据同步都是在联机环境下进行的，而在安全性要求高，内外网物理隔离的不同数据库间的数据同步，一般都采用移动介质拷贝数据文件，然后直接通过数据库提供的命令工具导入。这种直接通过命令工具进行数据导入操作中如果导入出错，则需要重新导入整个数据文件，而且导入过程通常在业务量较少的时段进行，目的是避免操作错误可能导致的目标数据库异常，破坏稳定性的要求。
在数据库间物理隔离、数据量较大的情况下，通常的操作方法是：
1.将外网的所有数据导出成文件形式，拷贝到内网，再导入到内网目标数据库中。
2.将外网的数据结构导出成文件形式，并和数据物理存储文件一起拷贝到内网，并导入到目标数据库中。
以上两种操作方法比较简单直接。从源数据库到目标数据库，数据的写入是一次性的，虽然考虑到了操作的事务性，但如果数据量比较大，则失败一次将会浪费很多时间以及系统资源，在严重错误发生时，还有可能造成目标数据库的整体稳定性。
发明内容
为保证目标数据库在导入数据时的稳定性，本发明的数据同步方法采用建立临时的中间数据库，数据同步时将源数据库的数据通过中间数据库的过渡作为缓冲，中间数据库与目标数据库之间的数据传输转化为联网状态下的数据同步，从而在不损失数据稳定性以及同步效率之间达到折中平衡。
本发明一种物理隔离条件下不同数据库间数据同步的方法主要包括在外网源数据库中配置外网元数据表，在内网配置中间数据库和内网元数据表，本发明的方法包括以下操作步骤：
步骤一，在外网中根据外网元数据表规定的格式和内容对源数据库中需要传输的数据规范化处理，规范化后的业务数据包括需要操作的数据的表名称和各个表中需要同步的数据字段，以及进行操作时的时间戳；
步骤二，外网规范化后的业务数据导入U盘中；
步骤三，U盘中的业务数据导入内网的中间数据库；
步骤四，在内网中间数据库中的业务数据根据用户的最终需求导入目标数据库，导入过程通过数据库多会话操作实现多组数据同时进行，操作过程中出现的异常操作记录入日志文件，查看日志文件，再次导入操作异常的业务数据。
通过上面数据同步方法的操作步骤，可以避免数据直接导入时产生错误而导致目标数据库的稳定性的破坏，通过建立的临时中间数据库，实现了不同网络环境数据库间同步的缓冲，同时满足了数据的同步和完整性要求，并通过设计外网元数据表和内网元数据表，提高操作的灵活性。本方法在安全性要求高，需要内外网物理隔离，且数据量较大的不同数据库间的数据同步中能够稳定的工作。
附图说明
图1为本发明一种物理隔离条件下不同数据库间数据同步的方法的结构示意图；
图2为本发明一种物理隔离条件下不同数据库间数据同步的方法的操作流程图。
具体实施方式
图1为本发明一种物理隔离条件下不同数据库间数据同步的方法的具体实施结构示意图，操作过程中将外部网的源数据库中的业务数据同步到内部网的目标数据库，图中箭头方向为业务数据的流向。
图2为本发明具体实施时操作的完整流程图，具体操作步骤为：
1.按照外网元数据表的规定将源数据库中需要传输的业务数据的内容和格式进行规范化处理并导出到U盘中；
2.U盘中的业务数据导入中间数据库；
3.依据用户的最终需求设定内网元数据表，对中间数据库中的待传输的数据进行校验，并分组整理，使得导入时可以多组同时进行，提高工作效率；
4.根据内网元数据表的规定，通过数据库的多会话操作实现多组数据表同时从中间数据库导入到目标数据库；
5.操作没有出现异常的，在数据导入完成后清空中间数据库，结束数据同步工作；
6.在数据导入过程中出现的异常操作记录入日志文件，通过查看日志文件，再次向目标数据库导入未成功导入部分的数据，同时可以直接清空中间数据库中成功导入的部分数据，直至全部数据导入成功结束数据同步工作。
Claims (3)
1.一种物理隔离条件下不同数据库间数据同步的方法，其特征在于，在外网源数据库中配置外网元数据表，在内网配置中间数据库和内网元数据表，所述的方法包括以下步骤：
步骤一.按照外网元数据表的规定将源数据库中需要传输的业务数据的内容和格式进行规范化处理并导出到U盘中；
步骤二.U盘中的业务数据导入中间数据库；
步骤三.依据用户的最终需求设定内网元数据表，对中间数据库中的待传输的数据进行校验，并分组整理，使得导入时多组同时进行；
步骤四.根据内网元数据表的规定，通过数据库的多会话操作实现多组数据表同时从中间数据库导入到目标数据库；
步骤五.操作没有出现异常的，在数据导入完成后清空中间数据库，结束数据同步工作；
步骤六.在数据导入过程中出现的异常操作记录入日志文件，通过查看日志文件，再次向目标数据库导入未成功导入部分的数据，同时直接清空中间数据库中成功导入的部分数据，直至全部数据导入成功结束数据同步工作。
2.根据权利要求1所述的一种物理隔离条件下不同数据库间数据同步的方法，其特征在于，外网元数据表规范化后的业务数据包括需要操作的数据的表名称和各个表中需要同步的数据字段，以及进行操作时的时间戳。
3.根据权利要求1所述的一种物理隔离条件下不同数据库间数据同步的方法，其特征在于，所述的内网元数据表依据用户的最终需求制定。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009100912374A CN101620624B (zh) | 2009-08-13 | 2009-08-13 | 一种物理隔离条件下不同数据库间数据同步的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009100912374A CN101620624B (zh) | 2009-08-13 | 2009-08-13 | 一种物理隔离条件下不同数据库间数据同步的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101620624A CN101620624A (zh) | 2010-01-06 |
| CN101620624B true CN101620624B (zh) | 2011-07-06 |
Family
ID=41513863
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2009100912374A Expired - Fee Related CN101620624B (zh) | 2009-08-13 | 2009-08-13 | 一种物理隔离条件下不同数据库间数据同步的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101620624B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101848241B (zh) * | 2010-05-06 | 2012-12-19 | 安徽省电力公司合肥供电公司 | 一种ies500自动化实时数据与信息系统 |
| CN102289469B (zh) * | 2011-07-26 | 2013-01-30 | 国电南瑞科技股份有限公司 | 一种支持通用数据库基于物理隔离设备同步数据的方法 |
| CN102970328B (zh) * | 2012-10-25 | 2015-03-11 | 国家电网公司 | 电力行业典型生产系统数据在线迁移方法 |
| CN103870468B (zh) * | 2012-12-11 | 2017-12-01 | 金蝶软件（中国）有限公司 | 一种导入数据的处理方法及系统 |
| CN103455557B (zh) * | 2013-08-08 | 2016-06-29 | 上海新炬网络技术有限公司 | 一种基于日志的结构化数据同步方法 |
| CN105554114B (zh) * | 2015-12-17 | 2018-11-02 | 深圳市从晶科技有限公司 | 一种数据同步方法及数据同步固件平台 |
| CN107123178B (zh) * | 2016-01-22 | 2019-12-31 | 安朗杰安防技术（中国）有限公司 | 门禁管理系统 |
| CN106503104A (zh) * | 2016-10-17 | 2017-03-15 | 山东浪潮商用系统有限公司 | 一种内外网隔离模式下Oracle数据库数据复制方法 |
| CN110019524A (zh) * | 2017-12-01 | 2019-07-16 | 北京京穗蓝盾信息安全技术有限公司 | 基于触发器sql文件的隔离网闸数据库同步技术 |
| CN108304553B (zh) * | 2018-02-01 | 2021-04-27 | 平安普惠企业管理有限公司 | 数据迁移方法、装置、计算机设备和存储介质 |
| CN109783463A (zh) * | 2018-12-13 | 2019-05-21 | 杭州数梦工场科技有限公司 | 文件同步方法、装置及计算机可读存储介质 |
| CN111506923B (zh) * | 2020-05-11 | 2021-05-11 | 上海卓越睿新数码科技股份有限公司 | 一种教学教务信息与教学平台数据同步方法及系统 |
-
2009
- 2009-08-13 CN CN2009100912374A patent/CN101620624B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN101620624A (zh) | 2010-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101620624B (zh) | 一种物理隔离条件下不同数据库间数据同步的方法 | |
| CN102915336B (zh) | 一种基于时间戳和日志的增量数据捕获和抽取方法 | |
| CN100388675C (zh) | 一种网管系统中实现对前台数据配置的方法 | |
| CN105975502A (zh) | 一种基于cdc方式实现增量抽取数据的方法 | |
| CN109325072A (zh) | 一种基于CMSP实现跨网闸Oracle数据库同步的方法及装置 | |
| CN105518641B (zh) | 点对点数据复制方法、设备和系统以及主节点切换方法、设备和系统 | |
| CN101094026A (zh) | 大量数据同步、传输和入数据库的方法 | |
| CN107391306A (zh) | 一种异构数据库备份文件恢复方法 | |
| CN103970833A (zh) | 一种基于日志的异构数据库同步系统中双向同步数据循环的解决方法 | |
| CN103020024B (zh) | 一种文件格式转换方法 | |
| CN101650744A (zh) | 一种基于表空间迁移处理大数据量的系统及方法 | |
| CN101404661B (zh) | 一种基于udp协议的实时数据通讯方法 | |
| CN106547911A (zh) | 一种海量小文件的存取方法和系统 | |
| CN104462562A (zh) | 一种基于数据仓库自动化的数据迁移系统及方法 | |
| CN102624894B (zh) | 一种报文组装与解析的方法和系统 | |
| CN104216970A (zh) | 一种协同数据交换方法 | |
| CN104050251B (zh) | 一种文件管理方法及管理系统 | |
| CN102479211B (zh) | 基于数据库的海量数据处理系统及方法 | |
| CN105389384A (zh) | 一种医疗隐私数据交换文件生成方法 | |
| CN103500129A (zh) | 一种备份对象的发送、备份方法、生产端、灾备端及系统 | |
| CN102521318A (zh) | 基于xml的通用数据交换装置 | |
| CN102790766A (zh) | 对象查询的方法、系统、对象查询装置和对象查询获取装置 | |
| CN109783779B (zh) | 一种数据excel导入导出转换的工具 | |
| CN107045538A (zh) | 一种基于kettle的web端交换管理方法 | |
| CN106202573A (zh) | 一种通用的两个数据库联合查询方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110706 Termination date: 20140813 |
|
| EXPY | Termination of patent right or utility model |