CN102289469B - 一种支持通用数据库基于物理隔离设备同步数据的方法 - Google Patents
一种支持通用数据库基于物理隔离设备同步数据的方法 Download PDFInfo
- Publication number
- CN102289469B CN102289469B CN2011102101200A CN201110210120A CN102289469B CN 102289469 B CN102289469 B CN 102289469B CN 2011102101200 A CN2011102101200 A CN 2011102101200A CN 201110210120 A CN201110210120 A CN 201110210120A CN 102289469 B CN102289469 B CN 102289469B
- Authority
- CN
- China
- Prior art keywords
- data
- database
- log file
- logic log
- physical isolation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种支持通用数据库基于物理隔离设备同步数据的方法，包括以下步骤：1）实时监视源端数据库的物理日志，若发现有新的变化数据产生，则依次解析物理日志的变化内容，生成逻辑日志，并放入外存逻辑日志文件中；2）从外存逻辑日志文件读取逻辑日志记录，然后封装成网络报文，并通过物理隔离设备与目的数据库建立链接，进行发送；3）目的数据库若收到连接请求，则创建一个逻辑日志接收线程，用于接收源端发送的数据；4）读取接收到的网络报文，并保存到外存逻辑日志文件中；5）目的端实时监测接受到的外存逻辑日志文件，依次读取并写入到目的端数据库中。本发明的方法具有较强的通用性，可以支持多种数据库产品和多种物理隔离设备。
Description
技术领域
本发明属于电力系统电网数据管理技术领域，尤指一种支持通用数据库基于物理隔离设备同步数据的方法。
背景技术
智能电网调度技术支持系统网络架构分为安全I、II、III区。为了保证数据安全，I、II区与III区之间架有物理隔离设备。安全I、II区上部署有实时监控与预警类应用、调度计划类应用和安全校核应用，而安全III区则部署有调度管理应用。
为了对部署在安全I、II、III区上的四大类电网应用所需的电网数据进行统一的管理和维护，需要支持跨物理隔离设备同步数据。原有的方式是由上层应用来实现，在同步效率和可靠性上都较低，不能保证数据一致性，无法满足新一代智能电网调度技术支持系统的要求。需要提供一种全新的数据同步方法，可以做到在数据库层面的高效同步，支持多种数据库和多种物理隔离设备，具有高可靠性和完善的异常处理机制，保证已提交的数据不会在同步过程中丢失。
发明内容
本发明所要解决的技术问题是提供一种支持通用数据库基于物理隔离设备同步数据的方法。
为解决以上问题，本发明提供一种支持通用数据库基于物理隔离设备同步数据的方法，包括以下步骤：
（1）实时监视源端数据库的物理日志，若发现有新的变化数据产生，则依次解析物理日志的变化内容，生成逻辑日志，并放入外存逻辑日志文件中；
（2）当外存逻辑日志文件存在新的变化数据时，从外存逻辑日志文件读取一条或多条逻辑日志记录，然后封装成网络报文，并通过物理隔离设备与目的数据库建立链接，进行发送；
（3）目的数据库实时监视源端发送的连接请求，若收到连接请求，则创建一个逻辑日志接收线程，用于接收源端发送的数据；
（4）读取接收到的网络报文，重新组装成逻辑日志记录，并保存到外存逻辑日志文件中；
（5）目的端实时监测接受到的外存逻辑日志文件，依次读取每条逻辑日志记录，写入到目的端数据库中，完成数据同步，若无法写入目的端数据库，则反复重新尝试写入，直至写入成功。
本发明支持多种通用数据库产品，支持跨多种物理隔离设备进行数据同步；数据同步方式采用触发式实现，当源端数据库发生数据修改时，可以立即触发同步流程，同步到目的数据库中；针对物理隔离设备对带宽的限制，支持网络数据包的压缩功能，提高数据同步性能；数据同步采用异步复制方式，当数据写入源端数据库后立即将执行结果返回给调用者，数据同步在后台完成；数据同步支持DDL和DML语句，既可以同步INSERT、DELETE、UPDATE等数据更新语句，也可以同步CREATE、ALTER、DROP等结构更新语句；数据同步可以提供完善的异常处理机制，可以保证在网络异常或目的数据库异常时，在源端数据库已提交的数据不丢失。
本发明的方法具有较强的通用性，可以支持多种数据库产品和多种物理隔离设备；具有完善的异常处理机制，可以最大程度保证源端数据库和目的数据库的数据一致性；具有网络数据包压缩功能，可以提高数据同步的效率；异步复制方式可以最大限度降低数据同步对源端数据库数据访问的影响。
本发明的工作原理为：
实时监视源端数据库的物理日志，若发现有新的变化数据产生，则依次解析物理日志的变化内容，生成外存逻辑日志，然后从外存逻辑日志文件读取一条或多条逻辑日志记录，封装成网络报文（可选择是否压缩），并通过物理隔离设备与目的数据库建立链接，进行发送。发送完毕后若未收到回执报文，将关闭并尝试重建链接，重发此网络报文，直至发送成功。目的数据库实时监视源端发送的连接请求，接收源端发送的数据，读取接收到的网络报文，重新组装成逻辑日志记录，并保存到外存逻辑日志文件中。如果保存成功，则发送回执报文到源端数据库，若出现失败，则关闭当前建立的链接，等待源端数据库重连重发。目的端实时监测外存逻辑日志文件，依次读取每条逻辑日志记录，写入到目的端数据库中，完成数据同步，若无法写入目的端数据库，则反复重新尝试写入，直至写入成功。
附图说明
图1为本发明的一种支持通用数据库基于物理隔离设备同步数据的方法流程图。
具体实施方式
下面结合附图对本发明作进一步说明。图1为本发明的一种支持通用数据库基于物理隔离设备同步数据的方法的流程图。
本发明的处理流程为：
流程开始时，源端数据库接收外部的数据更新请求，形成变化数据，写入物理日志中。
实时监视源端数据库的物理日志，若发现有新的变化数据产生，则依次解析物理日志的变化内容，生成逻辑日志，并放入外存逻辑日志文件中。
当外存逻辑日志文件存在新的变化数据时，从外存逻辑日志文件读取一条或多条（可动态配置）逻辑日志记录，然后封装成网络报文（可选择是否压缩），并通过物理隔离设备与目的数据库建立链接，进行发送。发送完毕后等待回执报文，若收到则准备进行下次发送，若未收到回执报文，将关闭并尝试重建链接，重发此网络报文，直至发送成功。
目的数据库实时监视源端发送的连接请求，若收到连接请求，则创建一个逻辑日志接收线程，用于接收源端发送的数据。
读取接收到的网络报文，重新组装成逻辑日志记录，并保存到外存逻辑日志文件中。如果上述过程成功，则发送回执报文到源端数据库。若出现失败，则关闭当前建立的链接，等待源端数据库重连重发。
目的端实时监测接受到的外存逻辑日志文件，依次读取每条逻辑日志记录，写入到目的端数据库中，完成数据同步。若无法写入目的端数据库，则反复重新尝试写入，直至写入成功。
本发明按照优选实施例进行了说明，应当理解，上述实施例不以任何形式限定本发明，凡采用等同替换或等效变换的形式所获得的技术方案，均落在本发明的保护范围之内。
Claims (5)
1.一种支持通用数据库基于物理隔离设备同步数据的方法，其特征在于包括以下步骤：
（1）实时监视源端数据库的物理日志，若发现有新的变化数据产生，则依次解析物理日志的变化内容，生成逻辑日志，并放入外存逻辑日志文件中；
（2）当外存逻辑日志文件存在新的变化数据时，从外存逻辑日志文件读取一条或多条逻辑日志记录，然后封装成网络报文，并通过物理隔离设备与目的数据库建立链接，进行发送；
（3）目的数据库实时监视源端发送的连接请求，若收到连接请求，则创建一个逻辑日志接收线程，用于接收源端发送的数据；
（4）读取接收到的网络报文，重新组装成逻辑日志记录，并保存到外存逻辑日志文件中；
（5）目的端实时监测接收到的外存逻辑日志文件，依次读取每条逻辑日志记录，写入到目的端数据库中，完成数据同步，若无法写入目的端数据库，则反复重新尝试写入，直至写入成功。
2.根据权利要求1所述的一种支持通用数据库基于物理隔离设备同步数据的方法，其特征在于：在所述步骤2）中，发送完毕后等待回执报文，若收到回执报文则准备进行下次发送，若未收到回执报文，将关闭并重建链接，重发此网络报文，直至发送成功。
3.根据权利要求1所述的一种支持通用数据库基于物理隔离设备同步数据的方法，其特征在于：在所述步骤3）和4）中，如果保存成功，则发送回执报文到源端数据库，若出现失败，则关闭当前建立的链接，等待源端数据库重连重发。
4.根据权利要求1所述的一种支持通用数据库基于物理隔离设备同步数据的方法，其特征在于：在所述步骤2）中，针对物理隔离设备对带宽的限制，支持网络数据包的压缩功能，提高数据同步性能。
5.根据权利要求1所述的一种支持通用数据库基于物理隔离设备同步数据的方法，其特征在于：在所述步骤2）中，数据同步采用异步复制方式，当数据写入源端数据库后立即将执行结果返回给调用者，数据同步在后台完成。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011102101200A CN102289469B (zh) | 2011-07-26 | 2011-07-26 | 一种支持通用数据库基于物理隔离设备同步数据的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011102101200A CN102289469B (zh) | 2011-07-26 | 2011-07-26 | 一种支持通用数据库基于物理隔离设备同步数据的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102289469A CN102289469A (zh) | 2011-12-21 |
| CN102289469B true CN102289469B (zh) | 2013-01-30 |
Family
ID=45335896
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2011102101200A Active CN102289469B (zh) | 2011-07-26 | 2011-07-26 | 一种支持通用数据库基于物理隔离设备同步数据的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102289469B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103838757B (zh) | 2012-11-26 | 2017-06-09 | 腾讯科技（深圳）有限公司 | 对用户的长关系链数据的处理系统和方法 |
| CN103067483B (zh) * | 2012-12-25 | 2017-04-05 | 广东邮电职业技术学院 | 基于数据包的远程数据增量同步方法 |
| CN104967658B (zh) * | 2015-05-08 | 2018-11-30 | 成都品果科技有限公司 | 一种多终端设备上的数据同步方法 |
| CN106227822A (zh) * | 2016-07-22 | 2016-12-14 | 深圳市中润四方信息技术有限公司 | 一种数据分发方法及数据同步系统 |
| CN107943829A (zh) * | 2017-10-20 | 2018-04-20 | 珠海许继芝电网自动化有限公司 | 一种跨安全区数据库同步方法 |
| CN108491218B (zh) * | 2018-03-12 | 2021-09-14 | 浙江中控技术股份有限公司 | 一种数据库变更文件生成的方法和装置 |
| CN109033268A (zh) * | 2018-07-10 | 2018-12-18 | 安心财产保险有限责任公司 | 数据同步方法、装置、设备及存储介质 |
| CN113987078B (zh) * | 2021-12-24 | 2022-04-19 | 中兴通讯股份有限公司 | 数据同步方法、设备及计算机可读存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080140734A1 (en) * | 2006-12-07 | 2008-06-12 | Robert Edward Wagner | Method for identifying logical data discrepancies between database replicas in a database cluster |
| CN101369283A (zh) * | 2008-09-25 | 2009-02-18 | 中兴通讯股份有限公司 | 一种内存数据库与物理数据库间的数据同步方法及系统 |
| CN101519078B (zh) * | 2009-03-13 | 2011-06-29 | 国电南瑞科技股份有限公司 | 综合监控系统多区域数据同步方法 |
| CN101620624B (zh) * | 2009-08-13 | 2011-07-06 | 公安部第一研究所 | 一种物理隔离条件下不同数据库间数据同步的方法 |
| CN101944114B (zh) * | 2010-09-16 | 2012-07-25 | 深圳天源迪科信息技术股份有限公司 | 内存数据库和物理数据库间的数据同步方法 |
| CN102098342B (zh) * | 2011-01-31 | 2013-08-28 | 华为技术有限公司 | 一种基于事务级的数据同步方法、装置及系统 |
-
2011
- 2011-07-26 CN CN2011102101200A patent/CN102289469B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN102289469A (zh) | 2011-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102289469B (zh) | 一种支持通用数据库基于物理隔离设备同步数据的方法 | |
| CN102880475B (zh) | 计算机软件系统中基于云计算的实时事件处理系统及方法 | |
| CN110807063B (zh) | 基于边缘计算的变电站实时数据快速分发同步系统及方法 | |
| CA2450869A1 (en) | Methods and systems for transferring data over a network | |
| CN111556008B (zh) | 拟态架构交换设备中有状态协议的同步方法 | |
| CN102480335B (zh) | 一种业务数据的发送方法及系统 | |
| CN105337991A (zh) | 一种一体化的报文流查找与更新方法 | |
| CN102231679A (zh) | 网元和网管实现配置同步的方法 | |
| CN104580158A (zh) | 一种分布式平台文件与内容分发方法及系统 | |
| CN102984757A (zh) | 一种物联网网关数据处理方法及装置 | |
| CN101771548A (zh) | 文件同步方法及系统 | |
| RU2013108211A (ru) | Способ предотвращения повторного использования пакетов цифровых данных в сетевой системе передачи данных | |
| CN102387040A (zh) | 一种前置机保持高速稳定运行的方法及系统 | |
| CN106375362A (zh) | 分布式服务器的缓存同步方法及系统 | |
| CN100385407C (zh) | 网络信息系统异地数据镜像方法 | |
| CN109471737B (zh) | 高速磁浮运行控制系统半实物仿真的软件适配方法及设备 | |
| CN106027534A (zh) | 一种基于Netty实现金融报文处理系统 | |
| CN101771717A (zh) | 数据库同步方法及系统 | |
| CN102521356A (zh) | 基于确定有限状态自动机的正则表达式匹配设备和方法 | |
| CN101123490B (zh) | 用消息服务机制实现不同服务器间发收同步数据的方法 | |
| CN103997760A (zh) | 一种用户用电信息采集系统的数据打包采集方法 | |
| CN105933325A (zh) | 一种基于NFSoRDMA的内核态RPC通信加速方法 | |
| CN101771718A (zh) | 剪贴板同步方法及系统 | |
| CN107948217A (zh) | 交换机系统和通信方法 | |
| CN103973530A (zh) | 基于缓存技术的信息交互总线数据可靠传输方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| ASS | Succession or assignment of patent right |
Owner name: NARI NANJING CONTROL SYSTEM LTD. Effective date: 20141128 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20141128 Address after: High road high tech Development Zone Nanjing city Jiangsu province 210061 No. 20 Patentee after: NARI Technology Development Co., Ltd. Patentee after: SGCC NARI Nanjing Control System Co., Ltd. Address before: High road high tech Development Zone Nanjing city Jiangsu province 210061 No. 20 Patentee before: NARI Technology Development Co., Ltd. |