CN110362624A

CN110362624A - 一种基于安全隔离网闸系统的异构数据库同步方法

Info

Publication number: CN110362624A
Application number: CN201810282587.8A
Authority: CN
Inventors: 杨育斌; 杨伟业; 柯宗贵
Original assignee: Blue Shield Information Security Technology Co Ltd
Current assignee: Blue Shield Information Security Technology Co Ltd; Bluedon Information Security Technologies Co Ltd
Priority date: 2018-04-02
Filing date: 2018-04-02
Publication date: 2019-10-22

Abstract

本发明公开了一种基于安全隔离网闸系统的异构数据库同步方法，该发明提供一种在网络隔离环境下的安全隔离网闸系统中任意两个数据库之间数据库表结构和数据的同步方法。通过ODBC远程连接非涉密外网数据库，抽取变更数据，上传至服务器，再通过JSON组件做字段类型转换，然后封装成文件，数据通过安全隔离网闸隔离网卡发送到内端，再由内端JSON解析组件转换数据到目标数据使用的SQL语句，完成源数同步到目的数据库。

Description

一种基于安全隔离网闸系统的异构数据库同步方法

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于安全隔离网闸系统的异构数据库同步方法

背景技术

近年来计算机技术的不断发展，企业面临的环境越来越复杂，其信息系统往往采用多平台，多系统，这要求企业解决方案具有广泛的兼容性，可以支持不同的平台，数据格式和多连接方式。另外，不同的业务需求背景下，数据的使用和提取，非涉密外网和涉密内网之间数据复制，变得越来频繁，如何实现这种网络隔离环境下的数据复制变得越来越迫切。

各大主流数据库产品中采用发布/订阅模式，主备复制功能实现了数据的同步，但未提供异构数据库表结构和数据的同步功能。另外，已经市面上已经存在的异构数据库同步工具虽然能够实现数据库结构的同步，但是，每多出一个子系统或者外部系统，都要围绕同步功能对工具本身进行修改，不仅工作量巨大，代码的可维护性也得不到保证。而且，这些同步工具对安全性方面的考虑非常少，还需要参与同步的计算机开放额外的端口，这使得其在互联网上的应用收到局限。

为解决异构数据库的数据复制和共享，我们采用了JSON组件配置，解析和转换，基本能解决任意两个数据库之间的数据同步。通过内部定义的数据类型，解决不同数据库之间类型转换，SQL语句转换，解决大部分数据库之间数据同步。

发明内容

一种安全隔离网闸系统中异构数据库同步方法，其提供了一种在网络隔离环境下任意两个数据库之间表结构和数据的同步方法，其包含以下步骤：

1.外端程序使用ODBC连接外网源数据库，扫描源数据库，提取新数据，调用JSON组件将收集的新数据按照自定义格式封装成JSON格式的文件

2.使用内部自定义协议通过隔离网卡发送外端JSON文件至内端

3.内端程序使用ODBC连接内网目的数据库，根据配置信息，调用解析JSON组件，解析JSON文件，导入数据到目的数据库。

本发明技术方案带来的有益效果：

数据库连接采用ODBC驱动，兼容大部分数据库，提供了一组标准数据库访问API,这些API利用SQL来完成数据读取任务。非涉密外网和涉密内网之间通过隔离网卡通信，自定义私密协议类型，增加数据校验，一旦发现数据差错可以实现数据重传。

自封装和解析JSON组件，JSON支持多种开发语言，便于服务端解析，数据库格式比较简单，易于读懂，而且是一种轻量级的数据交换格式。在本方案中作为一种中间中转组件，实现数据封装，类型转换，数据解析，实现任意两个数据库之间数据同步，并且具有很好的扩展性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明流程图；

具体实施方式

下面将结合附图，对本发明进行详细说明。所描述的详细案例仅是本发明的一部分，而不是对本发明的限制。

步骤1.外端程序使用ODBC连接外网源数据库，扫描源数据库，提取新数据，调用JSON组件将收集的新数据按照自定义格式封装成JSON格式的文件

步骤2.使用内部自定义协议通过隔离网卡发送外端JSON文件至内端

步骤3.内端程序使用ODBC连接内网目的数据库，根据配置信息，调用解析JSON组件，解析JSON文件，导入数据到目的数据库。

所述步骤1的具体过程为：

1.1启动外端程序定时收集源数据库数据

1.2根据配置参数收集以上一次读取数据的时间点开始，扫描相关的数据库，提取符合条件的新数据

1.3调用JSON组件封装数据，转换类型为自定义类型，生成JSON文件

所述步骤2的具体过程：

2.1调用发送模块采用内部自定义协议发送数据至内端

所述步骤3的具体过程：

3.1内端程序接收JSON文件后调用解析组件，解析数据

3.2内端程序获取本地配置表参数

3.3根据配置参数将数据导入相应的目的数据库

具体实施方式:

1)数据收集封装：外端程序定时调用JSON组件扫描外网源数据库，提取新数据，之后收集的数据进行内部格式转换，封装成JSON格式的数据包

a.应用程序以分钟间隔定时调用获取数据组件,读取配置参数

b.采用ODBC远程连接源数据库

c.根据配置参数取回数据，调用JSON组件做数据类型转换，自定义格式封装数据包

d.调用发送模块将JSON数据包发送至内端接收程序

2)数据分发解析：内端接收程序调用JSON组件解析数据包，根据参数配置分发到个目的数据库

a.内端程序监听指定端口，读取JSON数据包

b.读取本地配置参数

c.接收程序调用JSON组件，解析数据包，根据本地配置参数做数据类型转换

d.通过ODBC连接目的数据，根据配置参数导入数据

案例说明：

(1)Oralce作为源数据库，外端收集源数据库的3条语句：

insert into EMP_RESUME("EMPNO","RESUME","RESUME_FORMAT")values('000120','201701This is the third resume','html2')；

delete from EMP_RESUME where EMPNO＝'000120'and RESUME＝'201701Thisis the third resume'and RESUME_FORMAT＝'html2'；

update EMP_RESUME set EMPNO＝'000121'where EMPNO＝000120”and RESUME＝'201701This is the third resume'andRESUME_FORMAT＝'html2'；

(2)通过组件封装成JSON数据包：

(3)解析后的语句导入MS SQL Server的3条语句：

insert into EMP_RESUME(EMPNO,RESUME,RESUME_FORMAT)values(000120,'201701This is the third resume','html2')；

delete from EMP_RESUME where EMPNO＝000120and RESUME＝'201701This isthe third resume'and RESUME_FORMAT＝'html2'；

update EMP_RESUME set EMPNO＝000121where EMPNO＝000120and RESUME＝'201701This is the thirdresume'and RESUME_FORMAT＝'html2'；

以上对本发明实施例所提供的一种基于安全隔离网闸系统的异构数据库同步进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种基于安全隔离网闸系统的异构数据库同步方法，该发明外端程序通过ODBC连接源数据库，调用API抽取数据，之后将收集到的数据通过JSON组件封装成JSON数据包，调用发送模块将数据传至内端，内端接收到JSON数据包后，通过JSON组件解析数据，然后导入到目的数据库，以实现异构数据之间数据同步。

2.根据权利要求1所述的一种基于安全隔离网闸系统的异构数据库同步方法，其特征在于，外端程序使用ODBC连接外网源数据库，扫描源数据库，提取新数据，调用JSON组件将收集的新数据按照自定义格式封装成JSON格式的文件。

3.根据权利要求1所述的一种基于安全隔离网闸系统的异构数据库同步方法，其特征在于，使用内部自定义协议通过隔离网卡发送外端JSON文件至内端；内端程序使用ODBC连接内网目的数据库，根据配置信息，调用解析JSON组件，解析JSON文件，导入数据到目的数据库。