CN108156264B - 一种面向双机冗余的数据同步方法 - Google Patents
一种面向双机冗余的数据同步方法 Download PDFInfo
- Publication number
- CN108156264B CN108156264B CN201810181718.3A CN201810181718A CN108156264B CN 108156264 B CN108156264 B CN 108156264B CN 201810181718 A CN201810181718 A CN 201810181718A CN 108156264 B CN108156264 B CN 108156264B
- Authority
- CN
- China
- Prior art keywords
- data
- time
- host
- machine
- standby machine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Hardware Redundancy (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种面向双机冗余的数据同步方法，在主机和备机上同时运行数据同步模块；当备机运行起来时，数据同步模块将比对主、备机上的数据的时间索引；当主、备机数据的时间索引不一致时，进一步判断需同步的时间长度，数据同步模块将主机在该时间长度内新增的数据同步至备机。本发明方法可以轻松实现主备机间历史数据的同步，而且在同步过程中扰乱备机本机历史数据的生成，同步效率高，能够有效保障数据的完整性、安全性和可靠性，提高了用户体验。
Description
技术领域
本发明属于工业自动化控制技术领域。，更具体地说，涉及一种面向双机冗余的数据同步方法。
背景技术
工控组态软件随着微处理器技术、计算机网络技术、计算机软件技术的发展而成为现今工厂主流监控方式。而双机冗余是工控组态软件系统稳定、可靠、有效、持续运行的重要保证。它通过系统冗余的方法解决计算机应用系统的可靠性问题，具有安装维护简单、稳定可靠、监测直观等优点。双机冗余的核心是将计算机安装成互为备份的两台，同一时间只有一台计算机采集数据。正常情况下执行采集任务的计算机称为主机，备机是在主机正常的情况下，主机发实时数据给备机，备机将实时数据自己处理成历史数据、报警等信息，备机在运行的时候进行一次数据同步。当运行中的主机出现故障，备机将在短时间内自动切换为主机，从而恢复整个系统的运行。
双机冗余实现的关键是如何实现主备机之间的数据同步，要求数据的同步满足系统实时性、可靠性和高效性的要求。在以往的解决方案中，数据的同步过程经常需要人工干预，例如需要人工把数据库中的数据导出发送到目的端，再由人工导入到目的数据库，整个过程既繁琐又不能实时，而且会影响到数据的完整性、可靠性和安全性。
有鉴于此，本发明提出了一种面向双机冗余的数据同步方法，用以解决现有技术中由于数据同步效率低，完整性、安全性和可靠性差等问题。
发明内容
本发明要解决的技术问题，在于提供一种面向双机冗余的数据同步方法，用以解决现有技术中由于数据同步效率低，完整性、安全性和可靠性差等问题。
本发明是这样实现的：一种面向双机冗余的数据同步方法，在主机和备机上同时运行数据同步模块；当备机运行起来时，数据同步模块将比对主、备机上的数据的时间索引；当主、备机数据的时间索引不一致时，进一步判断需同步的时间长度，数据同步模块将主机在该时间长度内新增的数据同步至备机。
进一步的，所述主机上的数据的时间索引保存在主机时间索引文件中，该主机时间索引文件存储所有历史IO点的压缩时间信息，且该主机索引文件以年为单位，每年只生成一个主机时间索引文件，当主机进行数据压缩时，压缩数据段的起始时间、结束时间以及该段数据所在的数据文件名称写入所述主机时间索引文件；
所述备机上的数据的时间索引保存在备机时间索引文件中，当备机获取同步数据的同时获取同步数据中的时间索引数据，并将该时间索引数据写入备机时间索引文件中。
进一步的，所述数据同步模块比对主、备机上的数据的时间索引的过程是：
备机启动时，位于备机的数据同步模块将备机每个历史IO点在所述备机时间索引文件中最后一个数据包中的结束时间T1发给主机；
主机的数据同步模块获取到所述结束时间T1后，将T1与主机时间索引文件中该历史IO点的记录起始时间T2进行比较。.
进一步的，所述需同步的时间长度判断方法是：
(1)当T1≤T2时，主机以当前时间往前遍历该历史IO点所有历史数据时间T3，直到T3≤T2为止，则此时的T3为该历史IO点时间同步的起始时间；
(2)当T1>T2时，主机以当前时间往前遍历该历史IO点所有历史数据时间T3，直到T3≤T1为止，则此时的T3为该历史IO点时间同步的起始时间。
进一步的，所述数据同步模块将主机在该时间长度内新增的数据同步至备机的具体过程是：
当确定需同步的时间长度后，数据同步模块将该时间长度内位于主机的历史数据文件发送至备机；
备机在同步主机历史数据的同时，将获取同步数据中的时间索引数据，并将该时间索引数据写入备机临时时间索引文件中；
当备机完成该历史IO点数据同步，生成历史IO点备份文件后，上述临时时间索引数据将被写入备机时间索引文件中，从而完成一次数据同步过程。
本发明具有如下优点：本发明给出了一种新的主备机之间的同步方法，用户可以轻松实现主备机间历史数据的同步，而且在同步过程中扰乱备机本机历史数据的生成，同步效率高，能够有效保障数据的完整性、安全性和可靠性，提高了用户体验。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本发明面向双机冗余的数据同步方法的执行流程图。
图2为本发明方法的同步原理示意框图。
具体实施方式
本发明是这样实现的：一种面向双机冗余的数据同步方法，在主机和备机上同时运行数据同步模块；当备机运行起来时，数据同步模块将比对主、备机上的数据的时间索引；当主、备机数据的时间索引不一致时，进一步判断需同步的时间长度，数据同步模块将主机在该时间长度内新增的数据同步至备机。
主、备机均存在时间索引文件。
所述主机上的数据的时间索引保存在主机时间索引文件中，该主机时间索引文件存储所有历史IO点的压缩时间信息，且该主机索引文件以年为单位，每年只生成一个主机时间索引文件，当主机进行数据压缩时，压缩数据段的起始时间、结束时间以及该段数据所在的数据文件名称写入所述主机时间索引文件；
所述备机上的数据的时间索引保存在备机时间索引文件中，当备机获取同步数据的同时获取同步数据中的时间索引数据，并将该时间索引数据写入备机时间索引文件中。
主机和备机启动时，数据同步模块将自动启动，当主机和备机网络通讯处于正常状态下，即可进行数据同步，同步是针对历史IO点进行。
如图1所示，所述数据同步模块比对主、备机上的数据的时间索引的过程是：
备机启动时，位于备机的数据同步模块将备机每个历史IO点在所述备机时间索引文件中最后一个数据包中的结束时间T1发给主机；
主机的数据同步模块获取到所述结束时间T1后，将T1与主机时间索引文件中该历史IO点的记录起始时间T2进行比较，以判断需同步的时间长度。.
所述需同步的时间长度判断方法是：
(1)当T1≤T2时，主机以当前时间往前遍历该历史IO点所有历史数据时间T3，直到T3≤T2为止，则此时的T3为该历史IO点时间同步的起始时间；
(2)当T1>T2时，主机以当前时间往前遍历该历史IO点所有历史数据时间T3，直到T3≤T1为止，则此时的T3为该历史IO点时间同步的起始时间。
如图2所示，所述数据同步模块将主机在该时间长度内新增的数据同步至备机的具体过程是：
当确定需同步的时间长度后，数据同步模块将该时间长度内位于主机的历史数据文件发送至备机；
备机的数据同步模块Sync.exe在同步主机历史数据的同时，将获取同步数据中的时间索引数据，并将该时间索引数据写入备机临时时间索引文件TimeTemp,idx中；
当备机完成该历史IO点数据同步，生成历史IO点备份文件3200-X.dat后，上述临时时间索引文件TimeTemp,idx的数据将被写入备机时间索引文件Time,idx中，从而完成一次数据同步过程。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。
Claims (4)
1.一种面向双机冗余的数据同步方法，其特征在于：在主机和备机上同时运行数据同步模块；当备机运行起来时，数据同步模块将比对主、备机上的数据的时间索引；当主、备机数据的时间索引不一致时，进一步判断需同步的时间长度，数据同步模块将主机在该时间长度内新增的数据同步至备机；
所述主机上的数据的时间索引保存在主机时间索引文件中，该主机时间索引文件存储所有历史IO点的压缩时间信息，且该主机索引文件以年为单位，每年只生成一个主机时间索引文件，当主机进行数据压缩时，压缩数据段的起始时间、结束时间以及该段数据所在的数据文件名称写入所述主机时间索引文件；
所述备机上的数据的时间索引保存在备机时间索引文件中，当备机获取同步数据的同时获取同步数据中的时间索引数据，并将该时间索引数据写入备机时间索引文件中。
2.根据权利要求1所述的一种面向双机冗余的数据同步方法，其特征在于：所述数据同步模块比对主、备机上的数据的时间索引的过程是：
备机启动时，位于备机的数据同步模块将备机每个历史IO点在所述备机时间索引文件中最后一个数据包中的结束时间T1发给主机；
主机的数据同步模块获取到所述结束时间T1后，将T1与主机时间索引文件中该历史IO点的记录起始时间T2进行比较。
3.根据权利要求2所述的一种面向双机冗余的数据同步方法，其特征在于：所述需同步的时间长度判断方法是：
(1)当T1≤T2时，主机以当前时间往前遍历该历史IO点所有历史数据时间T3，直到T3≤T2为止，则此时的T3为该历史IO点时间同步的起始时间；
(2)当T1>T2时，主机以当前时间往前遍历该历史IO点所有历史数据时间T3，直到T3≤T1为止，则此时的T3为该历史IO点时间同步的起始时间。
4.根据权利要求1所述的一种面向双机冗余的数据同步方法，其特征在于：所述数据同步模块将主机在该时间长度内新增的数据同步至备机的具体过程是：
当确定需同步的时间长度后，数据同步模块将该时间长度内位于主机的历史数据文件发送至备机；
备机在同步主机历史数据的同时，将获取同步数据中的时间索引数据，并将该时间索引数据写入备机临时时间索引文件中；
当备机完成该历史IO点数据同步，生成历史IO点备份文件后，上述临时时间索引数据将被写入备机时间索引文件中，从而完成一次数据同步过程。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810181718.3A CN108156264B (zh) | 2018-03-06 | 2018-03-06 | 一种面向双机冗余的数据同步方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810181718.3A CN108156264B (zh) | 2018-03-06 | 2018-03-06 | 一种面向双机冗余的数据同步方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108156264A CN108156264A (zh) | 2018-06-12 |
| CN108156264B true CN108156264B (zh) | 2021-01-26 |
Family
ID=62456049
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810181718.3A Active CN108156264B (zh) | 2018-03-06 | 2018-03-06 | 一种面向双机冗余的数据同步方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108156264B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111813859A (zh) * | 2020-07-14 | 2020-10-23 | 积成电子股份有限公司 | 一种基于时间片段的变电站历史事项主辅双机同步方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101291209A (zh) * | 2007-04-17 | 2008-10-22 | 大唐移动通信设备有限公司 | 数据同步的方法和装置 |
| CN103019888A (zh) * | 2012-12-21 | 2013-04-03 | 华为技术有限公司 | 备份方法与装置 |
| CN103793500A (zh) * | 2014-01-23 | 2014-05-14 | 浪潮集团山东通用软件有限公司 | 基于增量的主数据同步方法 |
| CN104166606A (zh) * | 2014-08-29 | 2014-11-26 | 华为技术有限公司 | 文件备份方法和主存储设备 |
| CN105446828A (zh) * | 2014-09-30 | 2016-03-30 | 北京金山云网络技术有限公司 | 一种数据库备份、恢复方法、装置及系统 |
| KR101662212B1 (ko) * | 2014-05-30 | 2016-10-04 | 주식회사 알티베이스 | 부분동기화 지원 데이터베이스 관리 시스템 및 데이터베이스 관리 시스템에서 부분동기화 방법 |
| CN106095622A (zh) * | 2016-06-22 | 2016-11-09 | 上海爱数信息技术股份有限公司 | 数据备份方法及装置 |
-
2018
- 2018-03-06 CN CN201810181718.3A patent/CN108156264B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101291209A (zh) * | 2007-04-17 | 2008-10-22 | 大唐移动通信设备有限公司 | 数据同步的方法和装置 |
| CN103019888A (zh) * | 2012-12-21 | 2013-04-03 | 华为技术有限公司 | 备份方法与装置 |
| CN103793500A (zh) * | 2014-01-23 | 2014-05-14 | 浪潮集团山东通用软件有限公司 | 基于增量的主数据同步方法 |
| KR101662212B1 (ko) * | 2014-05-30 | 2016-10-04 | 주식회사 알티베이스 | 부분동기화 지원 데이터베이스 관리 시스템 및 데이터베이스 관리 시스템에서 부분동기화 방법 |
| CN104166606A (zh) * | 2014-08-29 | 2014-11-26 | 华为技术有限公司 | 文件备份方法和主存储设备 |
| CN105446828A (zh) * | 2014-09-30 | 2016-03-30 | 北京金山云网络技术有限公司 | 一种数据库备份、恢复方法、装置及系统 |
| CN106095622A (zh) * | 2016-06-22 | 2016-11-09 | 上海爱数信息技术股份有限公司 | 数据备份方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108156264A (zh) | 2018-06-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106202075B (zh) | 一种数据库主备切换的方法及装置 | |
| CN112328456B (zh) | 一种基于服务发现的集群资源监控系统 | |
| CN105589797B (zh) | 主从数据库间数据同步延时检测的方法 | |
| US10545807B2 (en) | Method and system for acquiring parameter sets at a preset time interval and matching parameters to obtain a fault scenario type | |
| CN102681917B (zh) | 一种操作系统及其修复方法 | |
| CN103345470A (zh) | 一种数据库容灾方法、系统及服务器 | |
| CN105589961A (zh) | 一种数据库实时同步系统数据一致性的检测方法及系统 | |
| CN109634970A (zh) | 表数据同步方法、设备、存储介质及装置 | |
| CN112968815B (zh) | 一种断网续传的实现方法 | |
| CN104615511A (zh) | 一种基于双中心的主机批量恢复处理方法及装置 | |
| CN102369514A (zh) | 一种建立检查点的方法和系统 | |
| CN102722579A (zh) | 一种在集群存储系统内部数据库的双向同步方法 | |
| CN104516796A (zh) | 一种基于命令集的网元备份与恢复方法及装置 | |
| CN103248522B (zh) | 一种性能数据的上报方法及装置 | |
| CN108156264B (zh) | 一种面向双机冗余的数据同步方法 | |
| CN103744901A (zh) | 智能变电站双机同步存储历史数据的系统和装置 | |
| CN103581262A (zh) | 一种主备数据同步方法、装置和系统 | |
| CN111158952B (zh) | 一种利用外接存储设备自动备份配置文件的方法 | |
| CN109116818B (zh) | 一种scada系统升级时的实时数据转储方法和装置 | |
| CN113472891B (zh) | 一种sdn控制器集群数据处理方法、设备及介质 | |
| CN113127435A (zh) | 一种主备系统文件智能同步方法及系统 | |
| CN113194124B (zh) | 基于分布式实时数据库的dcs后台多节点间点目录同步方法 | |
| CN115017235A (zh) | 数据同步方法及电子设备、存储介质 | |
| CN115114094A (zh) | 一种服务器fru信息双备份和自恢复实现方法及系统 | |
| CN114490196A (zh) | 数据库切换方法、系统、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |