CN110069566A - 一种单向导入系统中异构数据库同步方法 - Google Patents

一种单向导入系统中异构数据库同步方法 Download PDF

Info

Publication number
CN110069566A
CN110069566A CN201711245551.4A CN201711245551A CN110069566A CN 110069566 A CN110069566 A CN 110069566A CN 201711245551 A CN201711245551 A CN 201711245551A CN 110069566 A CN110069566 A CN 110069566A
Authority
CN
China
Prior art keywords
data
json
database
inner end
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711245551.4A
Other languages
English (en)
Inventor
杨育斌
彭琳
柯宗贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingsui Blueshield Information Safe Technology Ltd
Original Assignee
Beijing Jingsui Blueshield Information Safe Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingsui Blueshield Information Safe Technology Ltd filed Critical Beijing Jingsui Blueshield Information Safe Technology Ltd
Priority to CN201711245551.4A priority Critical patent/CN110069566A/zh
Publication of CN110069566A publication Critical patent/CN110069566A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G06F16/2443—Stored procedures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/273—Asynchronous replication or reconciliation

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种单向导入系统中异构数据库同步方法，该发明通过ODBC远程连接非涉密外网数据库，抽取变更数据，上传至服务器；再通过JSON组件做字段类型转换；然后封装成文件，数据文件通过单导系统传递到内端；再由内端JSON解析组件转换数据到目标数据使用的SQL语句。

Description

一种单向导入系统中异构数据库同步方法
技术领域
本发明涉及一种互联网通信技术领域，特别涉及一种单向导入系统中异构数据库同步方法。
背景技术
近年来计算机技术的不断发展，企业面临的环境越来越复杂，其信息系统往往采用多平台，多系统，这要求企业解决方案具有广泛的兼容性，可以支持不同的平台，数据格式和多连接方式。另外，不同的业务需求背景下，数据的使用和提取，非涉密外网和涉密内网之间数据复制，变得越来频繁，如何实现这种网络隔离环境下的数据复制变得越来越迫切。
各大主流数据库产品中采用发布/订阅模式，主备复制功能实现了数据的同步，但未提供异构数据库表结构和数据的同步功能。另外，已经市面上已经存在的异构数据库同步工具虽然能够实现数据库结构的同步，但是，每多出一个子系统或者外部系统，都要围绕同步功能对工具本身进行修改，不仅工作量巨大，代码的可维护性也得不到保证。而且，这些同步工具对安全性方面的考虑非常少，还需要参与同步的计算机开放额外的端口，这使得其在互联网上的应用收到局限。
为解决异构数据库的数据复制和共享，我们采用了JSON组件配置，解析和转换，基本能解决任意两个数据库之间的数据同步。通过内部定义的数据类型，解决不同数据库之间类型转换，SQL语句转换，解决大部分数据库之间数据同步。
发明内容
为克服现有技术的不足，本发明通过ODBC远程连接非涉密外网数据库，抽取变更数据，上传至服务器；再通过JSON组件做字段类型转换；然后封装成文件，数据文件通过单导系统传递到内端；再由内端JSON解析组件转换数据到目标数据使用的SQL语句。
本发明本发明技术方案带来的有益效果：
本发明针数据库连接采用ODBC驱动，兼容大部分数据库，提供了一组标准数据库访问API,这些API利用SQL来完成数据读取任务。非涉密外网和涉密内网之间采用光纤单向通信，自定义协议类型，增加数据校验，一旦发现数据差错可以实现数据重传。
自封装和解析JSON组件，JSON支持多种开发语言，便于服务端解析，数据库格式比较简单，易于读懂，而且是一种轻量级的数据交换格式。在本方案中作为一种中间中转组件，实现数据封装，类型转换，数据解析，实现任意两个数据库之间数据同步，并且具有很好的扩展性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明的流程图；
图2是本发明的实施示意图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种单向导入系统中异构数据库同步方法，其提供了一种在网络隔离环境下任意两个数据库之间表结构和数据的同步方法，其特征包括以下步骤：
1.外端程序使用ODBC连接外网源数据库，扫描源数据库，提取新数据，调用JSON组件将收集的新数据按照自定义格式封装成JSON格式的文件；
1.1启动外端程序定时收集源数据库数据；
1.2根据配置参数收集以上一次读取数据的时间点开始，扫描相关的数据库，提取符合条件的新数据；
1.3调用JSON组件封装数据，转换类型为自定义类型，生成JSON文件。
2.使用内部自定义协议通过单向光纤发送外端JSON文件至内端；
2.1调用发送模块采用内部自定义协议发送数据至内端。
3.内端程序使用ODBC连接内网目的数据库，根据配置信息，调用解析JSON组件，解析JSON文件，导入数据到目的数据库。
3.1内端程序接收JSON文件后调用解析组件，解析数据；
3.2内端程序获取本地配置表参数；
3.3根据配置参数将数据导入相应的目的数据库。
具体实施步骤如下：
1)数据收集封装：外端程序定时调用JSON组件扫描外网源数据库，提取新数据，之后收集的数据进行内部格式转换，封装成JSON格式的数据包；
a.应用程序以分钟间隔定时调用获取数据组件,读取配置参数；
b.采用ODBC远程连接源数据库；
c.根据配置参数取回数据，调用JSON组件做数据类型转换，自定义格式封装数据包；
d.调用发送模块将JSON数据包发送至内端接收程序。
2)数据分发解析：内端接收程序调用JSON组件解析数据包，根据参数配置分发到个目的数据库；
a.内端程序监听指定端口，读取JSON数据包；
b.读取本地配置参数；
c.接收程序调用JSON组件，解析数据包，根据本地配置参数做数据类型转换；
d.通过ODBC连接目的数据，根据配置参数导入数据。
案例说明：
1.Oralce作为源数据库，外端收集源数据库的3条语句：
insert into EMP_RESUME("EMPNO","RESUME","RESUME_FORMAT")values('000120','201701This is the thirdresume','html2')；
delete from EMP_RESUME where EMPNO＝'000120'and RESUME＝'201701 Thisis the third resume'and RESUME_FORMAT＝'html2'；
update EMP_RESUME set EMPNO＝'000121'where EMPNO＝000120”and RESUME＝'201701 This is the third resume'andRESUME_FORMAT＝'html2'；
2.通过组件封装成JSON数据包：
3.解析后的语句导入MS SQL Server的3条语句：
insert into EMP_RESUME(EMPNO,RESUME,RESUME_FORMAT)values (000120,'201701 This is the thirdresume','html2')；
delete from EMP_RESUME where EMPNO＝000120and RESUME＝'201701 This isthe third resume'and RESUME_FORMAT＝'html2'；
update EMP_RESUME set EMPNO＝000121 where EMPNO＝000120 and RESUME＝'201701 This is the third resume'and RESUME_FORMAT＝'html2'；
以上对本发明实施例所提供的一种单向导入系统中异构数据库同步方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (4)

1.一种单向导入系统中异构数据库同步方法，该发明通过ODBC远程连接非涉密外网数据库，抽取变更数据，上传至服务器；再通过JSON组件做字段类型转换；然后封装成文件，数据文件通过单导系统传递到内端；再由内端JSON解析组件转换数据到目标数据使用的SQL语句。
2.根据权利要求1所述的一种单向导入系统中异构数据库同步方法，其特征在于，外端程序使用ODBC连接外网源数据库，启动外端程序定时收集源数据库数据，扫描源数据库，根据配置参数收集以上一次读取数据的时间点开始，扫描相关的数据库，提取符合条件的新数据，提取出新数据，调用JSON组件将收集的新数据按照自定义格式封装成JSON格式的文件。
3.根据权利要求1所述的一种单向导入系统中异构数据库同步方法，其特征在于，调用发送模块采用内部自定义协议通过单向光纤发送外端JSON文件至内端。
4.根据权利要求1所述的一种单向导入系统中异构数据库同步方法，其特征在于，内端程序使用ODBC连接内网目的数据库，内端程序获取本地配置表参数；根据配置信息，内端程序接收JSON文件后调用解析JSON组件，解析JSON文件；根据配置参数将数据导入相应的目的数据库。
CN201711245551.4A 2017-12-01 2017-12-01 一种单向导入系统中异构数据库同步方法 Pending CN110069566A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711245551.4A CN110069566A (zh) 2017-12-01 2017-12-01 一种单向导入系统中异构数据库同步方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711245551.4A CN110069566A (zh) 2017-12-01 2017-12-01 一种单向导入系统中异构数据库同步方法

Publications (1)

Publication Number Publication Date
CN110069566A true CN110069566A (zh) 2019-07-30

Family

ID=67364719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711245551.4A Pending CN110069566A (zh) 2017-12-01 2017-12-01 一种单向导入系统中异构数据库同步方法

Country Status (1)

Country Link
CN (1) CN110069566A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112905706A (zh) * 2021-03-19 2021-06-04 平安消费金融有限公司 数据库同步方法、装置、存储介质和计算机设备
CN112905552A (zh) * 2021-01-29 2021-06-04 山东特检鲁安工程技术服务有限公司 特种设备异构数据共享方法、系统、服务器及存储设备
CN113486030A (zh) * 2021-06-29 2021-10-08 北京安盟信息技术股份有限公司 一种基于工业协议分析的实时数据库同步方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101615199A (zh) * 2009-07-31 2009-12-30 深圳市珍爱网信息技术有限公司 异构数据库同步方法及系统
CN102063502A (zh) * 2011-01-06 2011-05-18 天津神舟通用数据技术有限公司 实现异构数据库数据同步的方法
CN103440336A (zh) * 2013-09-06 2013-12-11 济钢集团有限公司 安全物理隔离的网络数据库表自动传输方法
CN103714151A (zh) * 2013-12-26 2014-04-09 北京锐安科技有限公司 一种单向光闸以及异构数据库间进行数据同步的方法
CN105653532A (zh) * 2014-11-13 2016-06-08 镇江华扬信息科技有限公司 一种异构数据库同步的方法
CN106503104A (zh) * 2016-10-17 2017-03-15 山东浪潮商用系统有限公司 一种内外网隔离模式下Oracle数据库数据复制方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101615199A (zh) * 2009-07-31 2009-12-30 深圳市珍爱网信息技术有限公司 异构数据库同步方法及系统
CN102063502A (zh) * 2011-01-06 2011-05-18 天津神舟通用数据技术有限公司 实现异构数据库数据同步的方法
CN103440336A (zh) * 2013-09-06 2013-12-11 济钢集团有限公司 安全物理隔离的网络数据库表自动传输方法
CN103714151A (zh) * 2013-12-26 2014-04-09 北京锐安科技有限公司 一种单向光闸以及异构数据库间进行数据同步的方法
CN105653532A (zh) * 2014-11-13 2016-06-08 镇江华扬信息科技有限公司 一种异构数据库同步的方法
CN106503104A (zh) * 2016-10-17 2017-03-15 山东浪潮商用系统有限公司 一种内外网隔离模式下Oracle数据库数据复制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郑煜: "结构化数据异构同步技术的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112905552A (zh) * 2021-01-29 2021-06-04 山东特检鲁安工程技术服务有限公司 特种设备异构数据共享方法、系统、服务器及存储设备
CN112905706A (zh) * 2021-03-19 2021-06-04 平安消费金融有限公司 数据库同步方法、装置、存储介质和计算机设备
CN113486030A (zh) * 2021-06-29 2021-10-08 北京安盟信息技术股份有限公司 一种基于工业协议分析的实时数据库同步方法及装置

Similar Documents

Publication Publication Date Title
CN101778168B (zh) 一种移动终端浏览器上网页优化显示方法和系统
CN105429858A (zh) 一种多机器人间实时消息传递方法
CN109325072A (zh) 一种基于CMSP实现跨网闸Oracle数据库同步的方法及装置
CN109739931A (zh) 一种基于CMSP的MySQLBinlog日志解析的增量同步方法
CN110069566A (zh) 一种单向导入系统中异构数据库同步方法
CN104394211A (zh) 一种基于Hadoop用户行为分析系统设计与实现方法
CN101340448A (zh) 一种面向数字家庭的医疗数据集成方案
CN103324605B (zh) 一种多用户协同编辑的方法、设备及系统
CN101997714A (zh) 时间处理方法、装置和系统
CN112131087B (zh) 一种模拟软件通信层与业务应用层解耦系统及实现方法
CN107656951A (zh) 一种同步异构数据库系统中实时数据的方法
CN109857808B (zh) 基于中立数据结构的纵向数据同步系统及方法
CN110362624A (zh) 一种基于安全隔离网闸系统的异构数据库同步方法
Bonnarel et al. IVOA server-side operations for data access Version 1.0
CN103761388A (zh) 一种基于hla通用化的异构仿真系统互联方法
CN103036877A (zh) 一种基于tlv格式协议的编解码代码生成装置及方法
CN102420827A (zh) 面向智能移动平台的Web服务推送方法
CN107222461A (zh) 通信处理方法和装置
CN109445384A (zh) 一种多设备控制系统
CN101572624B (zh) 一种跨平台跨方法的snmp扩展mib实现方法
CN109218142A (zh) 一种基于OneM2M协议物联网平台终端接入方法和装置
CN103631854A (zh) 基于模型对象化语义的icd与scd一致性校验方法
Mangler et al. On the origin of services using riddl for description, evolution and composition of restful services
CN103514376A (zh) 异构医疗信息系统之间协同交换中间件实现方法
CN104333578A (zh) 一种分布式数据交换系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190730