CN105117654A - 一种网络物理隔离情况下相同系统之间数据同步方法 - Google Patents

一种网络物理隔离情况下相同系统之间数据同步方法 Download PDF

Info

Publication number
CN105117654A
CN105117654A CN201510441022.6A CN201510441022A CN105117654A CN 105117654 A CN105117654 A CN 105117654A CN 201510441022 A CN201510441022 A CN 201510441022A CN 105117654 A CN105117654 A CN 105117654A
Authority
CN
China
Prior art keywords
data
xml file
update
systems under
record
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510441022.6A
Other languages
English (en)
Inventor
邹和平
郑安刚
巫钟兴
陈昊
张密
苏良立
乔文俞
沈琳
刘兴奇
惠晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
China Electric Power Research Institute Co Ltd CEPRI
Original Assignee
State Grid Corp of China SGCC
China Electric Power Research Institute Co Ltd CEPRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, China Electric Power Research Institute Co Ltd CEPRI filed Critical State Grid Corp of China SGCC
Priority to CN201510441022.6A priority Critical patent/CN105117654A/zh
Publication of CN105117654A publication Critical patent/CN105117654A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/606—Protecting data by securing the transmission between two devices or processes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2358—Change logging, detection, and notification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/71—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure computing or processing of information
    • G06F21/74—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure computing or processing of information operating in dual or compartmented mode, i.e. at least one secure mode

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Storage Device Security (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及一种网络物理隔离情况下相同系统之间数据同步方法，包括以下步骤：(1)、在某个网络环境中的系统中，对需要进行数据同步的表上建立触发器，记录数据更新；(2)、定时获取需要同步的数据；(3)、将需要同步的数据转换成XML文件并加密；(4)、将所述XML文件压缩为zip格式数据包并导出；(5)、在另一网络环境中的相同系统中上传zip格式数据包；(6)、解密所述zip格式数据包中XML文件，并转换为数据库记录；(7)、执行数据更新操作，记录更新日志，完成数据同步。本发明技术方案用于满足在网络物理隔离的环境下实现同系统之间数据同步的要求。

Description

一种网络物理隔离情况下相同系统之间数据同步方法
技术领域：
本发明涉及数据同步领域，更具体涉及一种网络物理隔离情况下相同系统之间数据同步方法。
背景技术：
目前，在某些对系统、数据安全性要求较高的领域，除了做好系统本身的防护之外，对网络访问亦有较高限制。比如，同一个系统分为内网和外网访问，内网是指公司内部搭建的网络，只能在公司内部的电脑中进行访问，并具有较高的安全控制级别，不允许连接外部网络；外网是指具备或不具备安全控制机制，可连接互联网的网络。有些系统因实际需要，既要在内网访问，又可以在外网访问，如在内网发布一篇新闻稿件，审核通过后需要在外网进行展示等。为满足此类需求，需要在内、外网之间建立一个数据同步机制，实现内外网数据之间的同步。
发明内容：
本发明的目的是提供一种网络物理隔离情况下相同系统之间数据同步方法，用于满足在网络物理隔离的环境下实现同系统之间数据同步的要求。
为实现上述目的，本发明采用以下技术方案：一种网络物理隔离情况下相同系统之间数据同步方法，所述系统包括数据重要、保密性强的应用系统，如实验室检测信息化系统等，包括以下步骤：
(1)、在某个网络环境中的系统中，对需要进行数据同步的表上建立触发器，记录数据更新；
(2)、定时获取需要同步的数据；
(3)、将需要同步的数据转换成XML文件并加密；
(4)、将所述XML文件压缩为zip格式数据包并导出；
(5)、在另一网络环境中的相同系统中上传zip格式数据包；
(6)、解密所述zip格式数据包中XML文件，并转换为数据库记录；
(7)、执行数据更新操作，记录更新日志，完成数据同步。
所述步骤(1)的记录更新包括数据新增操作、数据更新操作和数据删除操作；将执行操作的数据主键和操作类型记录在数据同步的表中。
所述步骤(2)根据在数据同步的表中的上一次同步时间获得本次需要同步的数据；所述上一次同步时间根据数据同步日志获得。
所述步骤(3)通过将所述步骤(2)中获得的需要同步的数据按数据表字段描述，转换为XML文件；每条数据记录是XML文件的一个节点，每个所述XML文件对应一张表。
将所述步骤(4)中的XML文件集合在一起压缩成zip格式数据包，并通过系统导出或下载。
所述步骤(7)的数据更新操作包括将转换后的数据库使用记录依次取出，根据数据更新标识和数据主键，对数据进行数据新增操作、数据更新操作和数据删除操作；在完成全部数据更新后，记录数据更新日志和更新时间并作为下次数据更新日期节点。
所述XML文件使用3DES法进行加密。
和最接近的现有技术比，本发明提供技术方案具有以下优异效果
1、本发明的技术方案实现了网络物理隔离环境下相同系统间的数据同步；
2、本发明的技术方案操作简单，只需通过系统提供的功能对需要同步的数据表进行配置，即可完成数据表中数据的同步；
3、本发明的技术方案采用独特的触发器技术、主键记录和操作行为记录技术，能够精确记录数据变更情况，确保需要同步的数据完整性；
4、本发明的技术方案对数据采用加密技术存储，在传输过程中使用加密介质进行传输，保证数据安全；
5、本发明的技术方案采用毫秒级的数据同步时间，同时具备更新顺序判断功能，保证数据同步准确性，防止数据被之前数据覆盖。
附图说明
图1为本发明实施例的方法流程图；
图2为本发明实施例的数据同步结构示意图。
具体实施方式
下面结合实施例对发明作进一步的详细说明。
实施例1：
本例的发明提供一种网络物理隔离情况下相同系统之间数据同步方法，如图2所示，分别在内网和外网部署相同的一套系统，使用不同的数据库。需要实现的是将内网数据库中更新的数据导入到外网数据库中，或将外网数据库更新的数据导入到内网中。
所述方法的步骤如附图1所示：
(1)、将需要进行数据同步的表建立触发器，记录数据更新
系统从数据库中将表信息获得，并展示在列表中。配置人员勾选需要建立触发器的表，完成触发器创建。触发器包含了记录新增、更新和删除监听，当记录执行上述操作时，会自动被触发器捕捉到，并记录在数据更新信息表中。数据更新表中包含[更新类型]、[更新数据主键]和[更新数据表]信息。
(2)、数据收集程序定时获取需要同步的数据
数据收集程序是一套任务调度程序，可事先配置好数据收集时间，当到达指定的时间点时，数据收集程序自动触发。数据收集程序从数据更新记录表中根据上一次更新日期获取在这日期之后之后产生的数据，并形成数据集合。
(3)、将需要同步的数据转换成XML文件并加密
遍历从数据更新记录表中获得更新数据集合，根据[更新数据主键]、[更新数据表]从相关表中取得实际数据，并读取表中列信息，根据列信息形成数据XML文件，格式如下：
XML文件名称以[更新数据表]命名。
XML文件生成完成后，调用3DES加密算法对文件进行加密。
(4)、将XML文件压缩为zip格式数据包并导出
将各表生成的XML加密文件进行压缩，生成以[上一次数据同步时间]-[本次同步时间]命名的文件。
(5)、在另一网络环境中的系统中上传zip格式数据包
在另一网络部署的系统中，通过数据包上传功能，将压缩数据包上传到系统中。上传时，系统会根据文件名称起止时间，在系统中判定上传文件是否符合要求，若上传的文件顺序不符合要求，则不允许上传。
(6)、解密数据包中XML文件，并转换为数据库记录
验证通过后，将数据包中的文件解压导出，依次遍历解压收的文件，并对文件进行解密。解密后，读取XML文件内容，将每个XML文件中的data节点，转换为对应的一条数据库记录。
(7)、执行数据更新操作，记录更新日志，完成数据同步
根据文件名关联数据表，读取数据记录，获得数据操作方式，并根据数据主键对相关数据进行新增、更新和删除操作。全部更新完成后，对将更新结果放入数据同步日志表中，数据同步完成。
国网计量中心信息化平台系统网络分为“办公网”和“实验网”。办公网负责试验委托创建和任务派发，实验网负责试验数据录入和报告生成。实验网需要接收来自办公网的任务数据来进行试验，办公网需要接收来自实验网生成的报告进行查看和签发，这两个网络是物理隔离的，采用了网络物理隔离情况下相同系统之间数据同步方法实现了两种网络环境下系统之间数据的同步。
针对国网计量中心信息化平台系统(以下简称“平台”)，数据管理员在办公网通过定时程序将需要同步的数据导出并保存到加密U盘中，再登录到实验网系统将数据上传，系统自动解析数据包中的数据，并对实验网库中的相关表进行数据新增、更新或删除，数据同步完成后，就可在实验网看到由办公网传递的数据。同样，在实验网中产生的检验报告数据，由实验网的数据同步程序将数据压缩打包后，通过加密U盘拷贝上传到办公网，办公网中的数据同步程序解析数据包，并将数据报告中的数据更新到办公网数据库中。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，所属领域的普通技术人员尽管参照上述实施例应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。

Claims (7)

1.一种网络物理隔离情况下相同系统之间数据同步方法，所述系统包括实验室检测信息化系统，其特征在于：包括以下步骤：
(1)、在某个网络环境中的系统中，对需要进行数据同步的表上建立触发器，记录数据更新；
(2)、定时获取需要同步的数据；
(3)、将需要同步的数据转换成XML文件并加密；
(4)、将所述XML文件压缩为zip格式数据包并导出；
(5)、在另一网络环境中的相同系统中上传zip格式数据包；
(6)、解密所述zip格式数据包中XML文件，并转换为数据库记录；
(7)、执行数据更新操作，记录更新日志，完成数据同步。
2.如权利要求1所述的一种网络物理隔离情况下相同系统之间数据同步方法，其特征在于：所述步骤(1)的记录数据更新包括数据新增操作、数据更新操作和数据删除操作；将执行操作的数据主键和操作类型记录在数据同步的表中。
3.如权利要求1所述的一种网络物理隔离情况下相同系统之间数据同步方法，其特征在于：所述步骤(2)根据在数据同步的表中的上一次同步时间获得本次需要同步的数据；所述上一次同步时间根据数据同步日志获得。
4.如权利要求1或3所述的一种网络物理隔离情况下相同系统之间数据同步方法，其特征在于：所述步骤(3)通过将所述步骤(2)中获得的需要同步的数据按数据表字段描述，转换为XML文件；每条数据记录是XML文件的一个节点，每个所述XML文件对应一张表。
5.如权利要求1所述的一种网络物理隔离情况下相同系统之间数据同步方法，其特征在于：将所述步骤(4)中的XML文件集合在一起压缩成zip格式数据包，并通过系统导出或下载。
6.如权利要求1所述的一种网络物理隔离情况下相同系统之间数据同步方法，其特征在于：所述步骤(7)的数据更新操作包括将转换后的数据库使用记录依次取出，根据数据更新标识和数据主键，对数据进行数据新增操作、数据更新操作和数据删除操作；在完成全部数据更新后，记录数据更新日志和更新时间并作为下次数据更新日期节点。
7.如权利要求4所述的一种网络物理隔离情况下相同系统之间数据同步方法，其特征在于：所述XML文件使用3DES法进行加密。
CN201510441022.6A 2015-07-24 2015-07-24 一种网络物理隔离情况下相同系统之间数据同步方法 Pending CN105117654A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510441022.6A CN105117654A (zh) 2015-07-24 2015-07-24 一种网络物理隔离情况下相同系统之间数据同步方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510441022.6A CN105117654A (zh) 2015-07-24 2015-07-24 一种网络物理隔离情况下相同系统之间数据同步方法

Publications (1)

Publication Number Publication Date
CN105117654A true CN105117654A (zh) 2015-12-02

Family

ID=54665639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510441022.6A Pending CN105117654A (zh) 2015-07-24 2015-07-24 一种网络物理隔离情况下相同系统之间数据同步方法

Country Status (1)

Country Link
CN (1) CN105117654A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106227822A (zh) * 2016-07-22 2016-12-14 深圳市中润四方信息技术有限公司 一种数据分发方法及数据同步系统
CN108449415A (zh) * 2018-03-27 2018-08-24 深圳中兴网信科技有限公司 数据同步方法、数据同步装置、计算机设备和存储介质
CN109462592A (zh) * 2018-11-20 2019-03-12 北京旷视科技有限公司 数据共享方法、装置、设备及存储介质
CN110019524A (zh) * 2017-12-01 2019-07-16 北京京穗蓝盾信息安全技术有限公司 基于触发器sql文件的隔离网闸数据库同步技术
CN110413702A (zh) * 2019-06-18 2019-11-05 山谷网安科技股份有限公司 异构数据库内外网同步方法、装置及系统
CN112380291A (zh) * 2020-11-20 2021-02-19 上海许继电气有限公司 一种故障信息保护系统的自动同步方法及装置
CN114996354A (zh) * 2022-06-02 2022-09-02 北京圣博润高新技术股份有限公司 一种部省市数据同步方法、装置、计算机设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7451163B2 (en) * 2001-10-24 2008-11-11 Bea Systems, Inc. Data synchronization
CN102456052B (zh) * 2010-11-02 2013-04-10 江苏大学 一种嵌入式设备与数据库数据同步方法
CN104699760A (zh) * 2015-02-11 2015-06-10 安徽继远电网技术有限责任公司 一种基于安全隔离的异构系统数据同步方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7451163B2 (en) * 2001-10-24 2008-11-11 Bea Systems, Inc. Data synchronization
CN102456052B (zh) * 2010-11-02 2013-04-10 江苏大学 一种嵌入式设备与数据库数据同步方法
CN104699760A (zh) * 2015-02-11 2015-06-10 安徽继远电网技术有限责任公司 一种基于安全隔离的异构系统数据同步方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
曹静: "基于物理隔离的分布式数据库同步", 《计算机工程》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106227822A (zh) * 2016-07-22 2016-12-14 深圳市中润四方信息技术有限公司 一种数据分发方法及数据同步系统
CN110019524A (zh) * 2017-12-01 2019-07-16 北京京穗蓝盾信息安全技术有限公司 基于触发器sql文件的隔离网闸数据库同步技术
CN108449415A (zh) * 2018-03-27 2018-08-24 深圳中兴网信科技有限公司 数据同步方法、数据同步装置、计算机设备和存储介质
CN109462592A (zh) * 2018-11-20 2019-03-12 北京旷视科技有限公司 数据共享方法、装置、设备及存储介质
CN109462592B (zh) * 2018-11-20 2021-06-22 北京旷视科技有限公司 数据共享方法、装置、设备及存储介质
CN110413702A (zh) * 2019-06-18 2019-11-05 山谷网安科技股份有限公司 异构数据库内外网同步方法、装置及系统
CN112380291A (zh) * 2020-11-20 2021-02-19 上海许继电气有限公司 一种故障信息保护系统的自动同步方法及装置
CN112380291B (zh) * 2020-11-20 2022-10-21 上海许继电气有限公司 一种故障信息保护系统的自动同步方法及装置
CN114996354A (zh) * 2022-06-02 2022-09-02 北京圣博润高新技术股份有限公司 一种部省市数据同步方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN105117654A (zh) 一种网络物理隔离情况下相同系统之间数据同步方法
KR102649209B1 (ko) 암호화된 사용자 데이터 송신 및 저장
CN108520183B (zh) 一种数据存储方法及装置
CN101820449B (zh) 跨安全区应用服务隔离平台
EP2051183B1 (en) Query processing system and method for database with encrypted column by query encryption transformation
CN110457190A (zh) 一种基于区块链的全链路监控方法、装置及系统
WO2019190839A1 (en) Distributed key management and encryption for blockchains
CN110457929B (zh) 异构his大数据实时加解密压缩上链的共享方法及系统
CN110598456B (zh) 一种数据存储方法、装置、电子设备以及存储介质
CN111201519A (zh) 用于低时延读取和写入大型数据集的不可变数据存储
CN109639819B (zh) 文件传输方法、客户端、服务器及系统
CN103841180B (zh) 一种基于操作指令的网络数据同步方法、装置、终端设备和服务器
CN103617402B (zh) 一种多媒体电子数据取证报告及其生成、展示方法和系统
CN103595727A (zh) 基于交换标识的跨域增量数据交换模型及交换方法
CN104113532A (zh) 物理隔离网络间信息自动安全交换的方法
CN114398243A (zh) 一种关于用户操作轨迹的回溯方法及系统
CN104660617A (zh) 一种数据传输系统及方法
CN107770276A (zh) 一种实现用户数据独立管理与更新的网络系统和方法
US10191818B2 (en) Filtered replication of data in distributed system of data centers
CN110598193B (zh) 一种审计离线文档管理系统
CN109254893B (zh) 一种业务数据稽核方法、装置、服务器和存储介质
CN107770153B (zh) 一种基于协同安全防护模型的电力信息通用采集系统
CN116910820A (zh) 数据报表处理方法、装置、计算机设备以及存储介质
CN111367686A (zh) 业务接口的调用方法及装置、计算机设备、存储介质
CN103532986A (zh) 终端、服务器、文件传输系统和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20151202