CN104699760A - 一种基于安全隔离的异构系统数据同步方法 - Google Patents

一种基于安全隔离的异构系统数据同步方法 Download PDF

Info

Publication number
CN104699760A
CN104699760A CN201510070268.7A CN201510070268A CN104699760A CN 104699760 A CN104699760 A CN 104699760A CN 201510070268 A CN201510070268 A CN 201510070268A CN 104699760 A CN104699760 A CN 104699760A
Authority
CN
China
Prior art keywords
data
database
trigger
synchronization
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510070268.7A
Other languages
English (en)
Inventor
汪胜和
杨晓旭
于娟
王松
黄少雄
郑浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ANHUI JIYUAN POWER SYSTEM TECHNOLOGY Co Ltd
State Grid Anhui Electric Power Co Ltd
Original Assignee
ANHUI JIYUAN POWER SYSTEM TECHNOLOGY Co Ltd
State Grid Anhui Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ANHUI JIYUAN POWER SYSTEM TECHNOLOGY Co Ltd, State Grid Anhui Electric Power Co Ltd filed Critical ANHUI JIYUAN POWER SYSTEM TECHNOLOGY Co Ltd
Priority to CN201510070268.7A priority Critical patent/CN104699760A/zh
Publication of CN104699760A publication Critical patent/CN104699760A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于安全隔离的异构系统数据同步方法,该异构系统包括内网和外网,所述内网和外网分别设置一台数据交换服务器,所述内网与外网之间设置隔离装置,该异构系统数据同步方法包括以下步骤:构建触发器;源数据实时跟踪;同步文件生成;数据库同步。本发明内网数据可以通过安全隔离装置自动同步到外网,无需人工干涉,运行稳定、可靠;大幅减轻了运行维护的工作量,当内网系统数据发生变化时,无需运行人员通过数据交换系统的维护模块将数据传输到外网,避免造成数据漏传引起的内、外网数据不一致;本发明设计方法也为其它类似系统数据交换问题提供了一个很好的解决方案,具有借鉴意义。

Description

一种基于安全隔离的异构系统数据同步方法
技术领域
本发明涉及一种数据同步方法,具体涉及一种基于安全隔离的异构系统数据同步方法,应用于采用安全隔离装置进行强隔离的安全区之间的数据同步。
背景技术
由于不用应用系统安全管理的要求,这些应用系统部署在不同的安全级别的物理区域中。重要的应用系统处于安全等级高的区域中(简称内网),而一般的应用系统则处于安全等级稍低的区域中(简称外网),安全等级高的区域与安全等级低的区域中间通过安全隔离装置实现物理强隔离,以满足安全要求。但为了满足业务应用要求,需要将安全等级高的区域中的信息、数据从内网同步到外网中。
多数应用系统均构建在关系数据库的基础之上,这些关系数据库运行在多种平台上,同时,应用系统相互之间需要能够实现数据共享,从而为深层次的业务分析提供数据支撑和服务。为了保障重要系统和数据的安全可靠,需要将一些重要的应用系统和其它非重要的应用系统实现可靠的安全隔离,避免二者之间TCP/IP的连接。这种模式虽然保障了重要系统的安全运行,但同时也给系统间的数据交换设置了障碍。
目前国内已有的解决异构平台数据交换的方法主要是通过开发相应软件来实现,客户端程序负责从源数据库中得到数据,并发送到服务器端程序,由服务器端程序接收并进行相应处理。该模式实现虽然比较简单,但是若源数据库数据发生变化,则需要通过人工处理才能够保障数据交换的正确性,从而大幅增加了人工维护工作量,同时也很难保证数据交换的可靠性和不同系统间数据的一致性,为基于该数据基础上的其它应用带来较大影响。
发明内容
本发明针对上述存在的技术问题,提出了一种基于安全隔离的异构系统数据同步方法,有效解决了异构平台跨区数据交换与同步问题。
本发明所采用的技术方案为:
一种基于安全隔离的异构系统数据同步方法,该异构系统包括内网和外网,所述内网和外网分别设置一台数据交换服务器,所述内网与外网之间设置安全隔离装置,该异构系统数据同步方法包括以下步骤:
构建触发器;
源数据实时跟踪;
同步文件生成;
数据库同步。
进一步地,所述构建触发器,具体包括:在内网数据交换服务器上构建源数据库触发器。
进一步地,所述数据库变化实时跟踪,具体包括:源数据库中的数据发生变更触发源数据库触发器,自动生成数据源变化信息作为数据表增量写入专用的数据表中。
进一步地,所述同步文件生成,具体包括:客户端程序读取该数据表的增量数据,生成数据文件。
进一步地,所述数据库同步,具体包括:数据文件传送到目的服务器,自动根据数据表的信息,对目的数据库进行同步更新,完成目的数据库自动同步。
进一步地,所述隔离装置为电力专用横向隔离装置。
本发明的有益效果为:内网数据可以通过安全隔离装置自动同步到外网,无需人工干涉,运行稳定、可靠;大幅减轻了运行维护的工作量,当内网系统数据发生变化时,无需运行人员通过数据交换系统的维护模块将数据传输到外网,避免造成数据漏传引起的内、外网数据不一致;本专利设计方法也为其它类似系统数据交换问题提供了一个很好的解决方案,具有借鉴意义。
附图说明
图1是本发明提出的一种基于安全隔离的异构系统结构图;
图2是本发明提出的数据同步方法的数据处理流程及数据流图。
具体实施方式
参见图1,是本发明提出的一种基于安全隔离的异构系统结构图。
如图1所示,提出了一种基于安全隔离的异构系统数据同步方法,该异构系统包括内网和外网,所述内网和外网分别设置一台数据交换服务器,所述内网与外网之间设置安全隔离装置,该异构系统数据同步方法包括以下步骤:
构建触发器;
源数据实时跟踪;
同步文件生成;
数据库同步。
本发明实施例中异构系统包括内网和外网两大部分,其中内网的安全等级高,外网的安全等级低,内、外网间采用安全隔离装置实现强隔离。内、外网各部署1台数据交换服务器,用于内、外网的数据交换和传输。数据交换和传输相关的模块软件根据实际应用需要部署在数据库服务器上。内网应用系统采用的操作系统类型不限,采用的数据库类型不限。外网应用系统服务器采用的操作系统不限,关系数据库类型不限。
所述构建触发器,具体包括:在内网数据交换服务器上构建源数据库触发器。
所述数据库变化实时跟踪,具体包括:源数据库中的数据发生变更触发源数据库触发器,自动生成数据源变化信息作为数据表增量写入专用的数据表中。
所述同步文件生成,具体包括:客户端程序读取该数据表的增量数据,生成数据文件。
所述数据库同步,具体包括:数据文件传送到目的服务器,自动根据数据表的信息,对目的数据库进行同步更新,完成目的数据库自动同步。
所述隔离装置为电力专用横向隔离装置。
本发明实施例在部署安全隔离装置的网络环境下,实现跨区数据单向同步交换。当位于内网源数据库数据变化时,源数据库触发器触发自动实时生成数据库数据处理信息,经过基于C/S的数据交换系统传输到目的数据库后,完成目的数据库的数据自动更新工作,从而实现内外网数据的自动同步工作,避免了人工处理过程。
本发明提供的基于安全隔离的异构系统数据同步方法是使用最新计算机技术、网络技术、安全技术等,按照分布式模块化设计的数据交换体系,充分体现了在确保安全情况下应用系统数据共享的要求,能够满足当前安全网络结构下应用系统数据交换与同步的需要,解决了系统数据交换维护安全及其它技术难题。
本发明专利具有如下的创新点:
(1)数据交换主要通过数据库触发器技术来实时跟踪源数据的变化:源数据库中的数据发生变更(增加、删除、变更)后,经过设计的源数据库触发器,自动实时生成数据源变化信息(包括数据变化方式、数据变化内容),并将数据变化方式和变化内容写入到专用的一个数据表中。此数据表增量记录了数据库变化信息和变化内容。客户端程序读取该数据表的增量数据,生成数据文件。然后传送到目的服务器,目的服务器自动根据数据表的信息,对目的数据库进行同步更新,完成目的数据库自动同步。
(2)该数据交换方法可以实现不同安全等级间数据跨区透明传输。基于网络安全要求,为了保证应用系统的安全可靠运行,通常将重要的应用系统和安全等级稍低的应用系统置于不同的安全等级环境中。安全等级环境之间通过采用诸如安全隔离装置来实现强隔离。不同安全等级环境下的应用系统不能建立直接联系。本数据交换方法采用的是最简单的文本文件单向传输模式,避免了采用强安全措施后对上层应用系统数据交换的影响,对应用业务系统而言,数据交换是透明的,实现了在提高系统安全性的同时,不影响系统间数据传输的及时性和一致性。
(3)该数据交换设计方法采用了分布式架构设计。系统功能可根据需要运行于不同的服务器,有利于系统的扩展。同时具备完善的数据交换监控功能,对数据交换过程中的任何节点均进行数据交换监控,同时记录数据交换每个环节的运行情况,有效保障数据交换的正确性、可靠性。
本发明实施例中所述的触发器是在插入、删除或修改特定表中的数据时触发执行,触发器比数据库本身标准的功能有更精细和更复杂的数据控制能力。数据库触发器功能如下:
(1)安全性。可以基于数据库的值使用户具有操作数据库的某种权利。可以基于时间限制用户的操作,如不允许下班后和节假日修改数据库数据;可以基于数据库中的数据限制用户的操作,如不允许数据的升幅一次超过10%。
(2)审计。可以跟踪用户对数据库的操作,审计用户操作数据库的语句以及把用户对数据库的更新写入审计表。
(3)实现复杂的数据完整性规则。实现非标准的数据完整性检查和约束,触发器可产生比规则更为复杂的限制,与规则不同,触发器可以引用列或数据库对象并提供可变的缺省值。
(4)实现复杂的非标准的数据库相关完整性规则。触发器可以对数据库中相关的表进行连环更新。在修改或删除时级联修改或删除其它表中的与之匹配的行;在修改或删除时把其它表中的与之匹配的行设成NULL值;在修改或删除时把其它表中的与之匹配的行级联设成缺省值。触发器能够拒绝或回退那些破坏相关完整性的变化,取消试图进行数据更新的事务。当插入一个与其主健不匹配的外部键时,触发器会拒绝插入。
(5)能自动将内网中变化的数据通过安全隔离装置同步至外网。
以上触发器的功能实施效果是通过在内网应用系统数据服务器上部署数据库触发器工具实现的,具体实现方法是当内网应用系统数据库相关表中数据发生变化时,触发器通过事件(增加、删除、修改)进行触发并自动执行,常用的触发器包括after(for)、instead of,用于insert、update、delete事件,相关数据库触发规则可通过编写触发器代码实现。
本发明实施例中,触发器的构建是实施数据交换的基础,针对实际应用系统,在应用系统的数据库上可构建大量的触发器,这些触发器用来监视并跟踪数据表的变化行为,并将变化模式和内容保存到另外一个数据表中。
图2是本发明提出的数据同步方法的数据处理流程及数据流图。其中左边为安全等级高的应用系统(内网),实例中的数据库为ORACLE For UNIX。右边为安全等级低的应用系统,实例中的数据库为SQL SERVER,操作系统为Windows系统。
以图2为例,对基于安全隔离的异构系统数据交换方法进行具体描述。
数据库变化实时跟踪过程:此过程主要由设计的数据库触发器来完成。当源数据库中数据表的数据发生变化(增加、删除、更新等)时,设计的与该数据表关联的数据库触发器自动触发,将源数据库中该数据表的数据变化信息(行为、具体内容)记录下来,并写入到Redo_log数据表中。数据表Redo_log中记录的不仅有数据表变化的行为,如insert、delete、update,还有数据表变化的内容。
同步文件生成过程:此过程主要由数据交换软件负责。数据交换软件定时从Redo_log数据表中读取数据,并将数据写入到同步文件中,同时删除被记录到同步文件中的Redo_log相关数据。为了可靠起见,数据交换软件可以同时写多个同步文件。同步文件生成过程的有关信息记录到相关日志中。
同步文件传输过程:此过程主要由数据传输软件负责。数据传输软件定时将内网应用系统中的同步文件传输到外网应用系统中。若传输成功,则将内网中的同步文件删除。同时将相关信息进行记录。
数据库同步过程:此过程主要由数据交换软件负责。数据交换软件定时监测到外网有新的同步文件后,对同步文件内容进行解析,获取需要更新的数据表信息,更新的行为和更新的具体内容后,对外网应用系统中的SQL SERVER数据库进行同步操作。同步操作成功后,将同步文件删除。若写入不成功,则给出具体的报错信息。整个过程记录到有关日志中。
本发明专利已成功运行在公司的应用系统数据同步体系中,运行稳定、可靠。内网数据可以通过安全隔离装置自动同步到外网,无需人工干涉。基于安全隔离的异构系统数据交换设计方法大幅减轻了运行维护的工作量,当内网系统数据发生变化时,无需运行人员通过数据交换系统的维护模块将数据传输到外网,避免造成数据漏传引起的内、外网数据不一致。本专利设计方法的成功运用也为其它类似系统数据交换问题提供了一个很好的解决方案,具有借鉴意义。
以上对本发明所进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种基于安全隔离的异构系统数据同步方法,其特征在于,该异构系统包括内网和外网,所述内网和外网分别设置一台数据交换服务器,所述内网与外网之间设置隔离装置,该异构系统数据同步方法包括以下步骤:
构建触发器;
源数据实时跟踪;
同步文件生成;
数据库同步。
2.根据权利要求1所述的方法,其特征在于,所述构建触发器具体包括:在内网数据交换服务器上构建源数据库触发器。
3.根据权利要求1所述的方法,其特征在于,所述数据库变化实时跟踪,具体包括:源数据库中的数据发生变更触发源数据库触发器,自动生成数据源变化信息作为数据表增量写入专用的数据表中。
4.根据权利要求1所述的方法,其特征在于,所述同步文件生成,具体包括:客户端程序读取该数据表的增量数据,生成数据文件。
5.根据权利要求1所述的方法,其特征在于,所述数据库同步,具体包括:数据文件传送到目的服务器,自动根据数据表的信息,对目的数据库进行同步更新,完成目的数据库自动同步。
6.根据权利要求1所述的方法,其特征在于,所述隔离装置为电力专用横向隔离装置。
CN201510070268.7A 2015-02-11 2015-02-11 一种基于安全隔离的异构系统数据同步方法 Pending CN104699760A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510070268.7A CN104699760A (zh) 2015-02-11 2015-02-11 一种基于安全隔离的异构系统数据同步方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510070268.7A CN104699760A (zh) 2015-02-11 2015-02-11 一种基于安全隔离的异构系统数据同步方法

Publications (1)

Publication Number Publication Date
CN104699760A true CN104699760A (zh) 2015-06-10

Family

ID=53346881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510070268.7A Pending CN104699760A (zh) 2015-02-11 2015-02-11 一种基于安全隔离的异构系统数据同步方法

Country Status (1)

Country Link
CN (1) CN104699760A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105117654A (zh) * 2015-07-24 2015-12-02 中国电力科学研究院 一种网络物理隔离情况下相同系统之间数据同步方法
CN107943829A (zh) * 2017-10-20 2018-04-20 珠海许继芝电网自动化有限公司 一种跨安全区数据库同步方法
CN109977170A (zh) * 2019-03-20 2019-07-05 南威软件股份有限公司 一种政务内外网数据同步的方法及系统
CN110933144A (zh) * 2019-11-09 2020-03-27 许继集团有限公司 一种变电站主站系统及数据库同步方法
CN110941621A (zh) * 2018-09-25 2020-03-31 北京国双科技有限公司 一种内外网间同步数据库的方法及装置
CN111506923A (zh) * 2020-05-11 2020-08-07 上海卓越睿新数码科技有限公司 一种教学教务信息与教学平台数据同步方法及系统
CN111858749A (zh) * 2020-06-15 2020-10-30 武汉旷视金智科技有限公司 底库同步方法、装置和电子系统
CN115460225A (zh) * 2022-08-10 2022-12-09 国家电网有限公司客户服务中心 内外网数据同步方法及相关设备
CN116303623A (zh) * 2023-05-12 2023-06-23 国网信息通信产业集团有限公司 一种跨网络异构业务数据汇聚至移动门户的系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101615199A (zh) * 2009-07-31 2009-12-30 深圳市珍爱网信息技术有限公司 异构数据库同步方法及系统
CN102609645A (zh) * 2012-01-19 2012-07-25 北京工业大学 一种基于网络隔离结构的网站数据防篡改方法
CN103067366A (zh) * 2012-12-21 2013-04-24 广东电网公司电力调度控制中心 电力调度自动化系统的分区网络架构
CN103559198A (zh) * 2013-09-27 2014-02-05 杭州意能软件有限公司 一种数据同步的方法及设备
US20140118864A1 (en) * 2012-10-31 2014-05-01 General Electric Company Method and system for power swing detection in a generator
CN104468310A (zh) * 2014-11-14 2015-03-25 国家电网公司 电力通信系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101615199A (zh) * 2009-07-31 2009-12-30 深圳市珍爱网信息技术有限公司 异构数据库同步方法及系统
CN102609645A (zh) * 2012-01-19 2012-07-25 北京工业大学 一种基于网络隔离结构的网站数据防篡改方法
US20140118864A1 (en) * 2012-10-31 2014-05-01 General Electric Company Method and system for power swing detection in a generator
CN103067366A (zh) * 2012-12-21 2013-04-24 广东电网公司电力调度控制中心 电力调度自动化系统的分区网络架构
CN103559198A (zh) * 2013-09-27 2014-02-05 杭州意能软件有限公司 一种数据同步的方法及设备
CN104468310A (zh) * 2014-11-14 2015-03-25 国家电网公司 电力通信系统及方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105117654A (zh) * 2015-07-24 2015-12-02 中国电力科学研究院 一种网络物理隔离情况下相同系统之间数据同步方法
CN107943829A (zh) * 2017-10-20 2018-04-20 珠海许继芝电网自动化有限公司 一种跨安全区数据库同步方法
CN110941621A (zh) * 2018-09-25 2020-03-31 北京国双科技有限公司 一种内外网间同步数据库的方法及装置
CN109977170A (zh) * 2019-03-20 2019-07-05 南威软件股份有限公司 一种政务内外网数据同步的方法及系统
CN110933144A (zh) * 2019-11-09 2020-03-27 许继集团有限公司 一种变电站主站系统及数据库同步方法
CN111506923A (zh) * 2020-05-11 2020-08-07 上海卓越睿新数码科技有限公司 一种教学教务信息与教学平台数据同步方法及系统
CN111506923B (zh) * 2020-05-11 2021-05-11 上海卓越睿新数码科技股份有限公司 一种教学教务信息与教学平台数据同步方法及系统
CN111858749A (zh) * 2020-06-15 2020-10-30 武汉旷视金智科技有限公司 底库同步方法、装置和电子系统
CN115460225A (zh) * 2022-08-10 2022-12-09 国家电网有限公司客户服务中心 内外网数据同步方法及相关设备
CN116303623A (zh) * 2023-05-12 2023-06-23 国网信息通信产业集团有限公司 一种跨网络异构业务数据汇聚至移动门户的系统及方法
CN116303623B (zh) * 2023-05-12 2023-10-13 国网信息通信产业集团有限公司 一种跨网络异构业务数据汇聚至移动门户的系统及方法

Similar Documents

Publication Publication Date Title
CN104699760A (zh) 一种基于安全隔离的异构系统数据同步方法
CN102693324B (zh) 一种分布式数据库同步系统、同步方法和节点管理方法
CN103914526B (zh) 一种用于sap erp系统与oracle erp系统的接口方法和装置
CN104573056A (zh) 一种基于oracle数据库大数据量在线迁移的方法
CN107729366A (zh) 一种普适多源异构大规模数据同步系统
CN102609281B (zh) 分布式软件补丁更新方法及系统
CN103455557B (zh) 一种基于日志的结构化数据同步方法
US20120221605A1 (en) Linking framework for information technology management
CN109240598A (zh) 用于在存储系统中执行复制控制的方法以及相关装置
US20120150797A1 (en) Method and system for safely transporting legacy data to an object semantic form data grid
CN101578599A (zh) 数据的动态大块到砖块转换
CN102495853A (zh) 一种面向切面的云存储引擎构造方法
CN108629035A (zh) 一种基于jdbc代理的异构数据库应用迁移方法
CN103064976A (zh) 基于主动数据库技术的同异构dbms间数据交换方法
US20140365437A1 (en) System and method for implementing database replication configurtions using replication modeling and transformation
CN109933416A (zh) 一种应用数据的迁移方法、装置及存储介质
JP6617253B1 (ja) 文書管理システム
CN112579613B (zh) 数据库集群差异比对与数据同步的方法、系统及介质
CN110474870B (zh) 基于区块链的网络主动防御方法、系统及计算机可读存储介质
CN104517181A (zh) 一种核电站企业内容管理系统及方法
CN109977170A (zh) 一种政务内外网数据同步的方法及系统
CN106528341A (zh) 基于Greenplum数据库的自动化容灾系统
CN106802905A (zh) 一种同构plm系统的协同数据交换方法
CN102402600A (zh) 一种维护数据库复本一致性的异步归集方法
CN106155835A (zh) 一种基于同步复制技术的容灾方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 230088 science Road, No. 669 Changjiang West Road, Anhui, Hefei, China

Applicant after: ANHUI NARI JIYUAN POWER GRID TECHNOLOGY CO., LTD.

Applicant after: State Grid Anhui Electric Power Company

Address before: 230088 science Avenue, No. 699, Changjiang West Road, Hefei, Anhui

Applicant before: Anhui Jiyuan Power System Technology Co., Ltd.

Applicant before: State Grid Anhui Electric Power Company

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Wang Shenghe

Inventor after: Yang Xiaoxu

Inventor after: Yu Juan

Inventor after: Wang Song

Inventor after: Huang Shaoxiong

Inventor after: Zheng Hao

Inventor before: Wang Shenghe

Inventor before: Yang Xiaoxu

Inventor before: Yu Juan

Inventor before: Wang Song

Inventor before: Huang Shaoxiong

Inventor before: Zheng Hao

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20150610