CN102968486A - 一种基于变化日志的高可靠文件同步方法 - Google Patents
一种基于变化日志的高可靠文件同步方法 Download PDFInfo
- Publication number
- CN102968486A CN102968486A CN2012104862605A CN201210486260A CN102968486A CN 102968486 A CN102968486 A CN 102968486A CN 2012104862605 A CN2012104862605 A CN 2012104862605A CN 201210486260 A CN201210486260 A CN 201210486260A CN 102968486 A CN102968486 A CN 102968486A
- Authority
- CN
- China
- Prior art keywords
- file
- log
- synchronous
- method based
- journal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种基于变化日志的高可靠文件同步方法，其方法为：文件服务收到客户请求时，先判断请求操作的文件是否已被加锁，若被加锁需等待锁解除后再进行相关操作;文件服务以日志方式记录下每次修改操作的操作类型和操作文件；文件服务实时扫描日志文件，当操作日志个数超过阈值个数时，全量同步文件到其他各个节点；当操作日志个数小于阈值个数时，根据日志文件生成时间顺序依次处理每个日志文件。对于每个日志文件，根据操作日志内容，增量同步文件到其他各个节点；同步成功结束后删除操作日志，若同步失败，则保留操作日志。本发明同步文件时，对目标节点加锁，有效地解决同步文件时主备机突然切换所引起的文件不一致问题。
Description
技术领域
本发明涉及一种基于变化日志的高可靠文件同步方法，属于电网调度自动化领域。
背景技术
在现今的电网调度自动化系统中，存在着多个应用，每个应用是一份数据实体和一组对此数据实体进行处理的服务程序的组合，比如SCADA应用的组成有：SCADA实时库、数据服务进程、操作服务进程、遥信遥测及工况处理服务进程等。为了保证系统的可靠性，每一个应用运行在不同的节点上，节点之间一般为一个主机，其余为（热）备机。当主机节点应用程序出现异常情况时，会发生主备机切换，备机中的一个节点按照相关算法切换为主机。
文件服务是运行在DATA_SRV（数据服务）应用下，用于满足调度自动化系统中文件存储、查询、版本管理等功能的一个服务，由于DATA_SRV应用一般运行在两个或更多的节点上，因此文件服务还需要维护着这些节点之间文件的一致性。当DATA_SRV应用主备机发生切换后，如果没有较好的同步方案，会引发数据不一致，甚至数据文件被破坏的情况。例如，某系统中存在A、B、C三个DATA_SRV应用节点，节点A为主机，节点B、C为备机，当客户进程p更新主机上的某文件后，DATA_SRV应用主备机发生切换，节点B成DATA_SRV应用主机，节点A成DATA_SRV应用备机，另一客户进程q此时再次读此文件，若没有较好的同步方案，进程q会读取到旧的文件。
发明内容
为解决现有技术上的不足，本发明目的是在于提供一种满足调度自动化系统中主备机之间文件同步的需要的基于变化日志的高可靠文件同步方法，满足了调度自动化系统中主备机发生切换时确保文件一致性的需要。
为解决上述技术问题，本发明提供一种基于变化日志的高可靠文件同步方法。
本发明的特征在于包括以下步骤：
（1）文件服务接收客户端请求，根据请求操作类型做相应操作，并返回操作结果；
（2）文件服务记录下每次修改操作操作日志；
（3）文件服务实时扫描日志文件，根据操作日志内容，同步文件或目录到其他各个DATA_SRV应用节点；
（4）在夜间，当主机值班时间超过阈值T时，主机向所有DATA_SRV应用备机节点做一次全量同步；
（5）文件服务在向任意一个节点增量同步或全量同步文件时，先加锁，再同步，同步结束后，解锁。
前述的一种基于变化日志的高可靠文件同步方法，其特征在于：在步骤（1）中，文件服务收到客户请求时，先判断请求操作的文件是否已被加锁，若被加锁需等待锁解除后再进行相关操作，若未被加锁则直接进行相关操作。
前述的一种基于变化日志的高可靠文件同步方法，其特征在于：在步骤（2）中，文件服务记录下每次修改操作操作日志，修改操作包括：增加、修改、删除文件，修改文件属性，增加、删除目录。操作日志按照操作当时时间命名，日志内容包括本次操作类型和操作相关文件名等。
前述的一种基于变化日志的高可靠文件同步方法，其特征在于：在步骤（3）中，文件服务实时扫描日志文件，根据日志文件生成时间顺序依次处理每个日志文件。对于每个日志文件，根据操作日志内容，增量同步文件或目录到其他各个DATA_SRV节点，同步成功结束后删除操作日志，若同步失败，则保留操作日志。当操作日志个数超过阈值N时，全量同步文件到其他各个节点，同步结束后删除所有操作日志，若同步失败，则保留操作日志。
前述的一种基于变化日志的高可靠文件同步方法，其特征在于：在步骤（4）中，在夜间，且当DATA_SRV主机值班时间超过阈值T时，主机向所有备机节点做一次全量同步。
前述的一种基于变化日志的高可靠文件同步方法，其特征在于：在步骤（5）中，文件服务在向任意一个节点增量同步或全量同步文件时，必须先加锁，再同步，同步结束后，再解锁。加锁失败情况下，不能进行同步。锁的信息中包含：锁类型、锁范围、锁超时时间。
本发明所达到的有益效果：
本发明操作日志记录了操作类型和操作相关文件，当目标节点发生网络故障情况下，仍然保留着操作日志，一旦网络恢复，文件服务可以快速同步文件到目标节点;当存在两个或两个以上的堆积日志文件时，文件服务按照日志文件生成的次序依次同步每个日志，确保文件操作的时序性；增量同步可以实时保证文件服务节点之间的一致性，降低网络负载，减少对系统中其他应用程序的影响；在日志文件个数大于阈值N时，采用全量同步方式可以快速同步所有变化文件，避免连续增量同步单个文件耗时过长的问题；在夜间全量同步DATA_SRV应用主机到所有DATA_SRV应用备机，可以最大化保证文件服务节点之间的一致性，避免人工误操作或网络故障引起的不一致性；同步文件时，对目标节点加锁，有效地解决同步文件时主备机突然切换所引起的文件不一致问题。
附图说明
图1是本发明的高可靠文件同步方法中客户请求处理流程图。
图2是本发明的高可靠文件同步方法中日志处理流程图。
图3是本发明的高可靠文件同步方法中文件同步流程图。
具体实施方式
以下结合附图对本发明的高可靠文件同步方法作进一步详细的介绍。
图1是同步方法中客户请求处理流程图，当文件服务的服务端收到客户端请求时，先判断文件是否被加锁，若被加锁，需要等待到此文件解锁后，再进行后续操作。根据处理情况判断操作类型是否属于修改操作，若操作类型属于修改操作，需记录下操作日志；否则返回处理结果。
图2是同步方法中日志处理流程图。
文件服务实时扫描日志文件，若存在日志文件，再判断日志文件个数是否超过阀值个数N：
若超过N，则进行一次全量同步，成功同步后删除所有日志文件，若同步失败则保留日志文件；
若不超过Ｎ，则按照日志文件生成的时间先后顺序，依次处理每个日志文件，成功同步一个日志文件所涉及的所有文件后，删除该日志文件，同步失败时保留此日志文件。
当节点为值班主机时，在夜间持续值班时间超过阀值时间Ｔ且无日志文件的情况下，对备机节点进行一次全量同步。
图3是同步方法中文件同步流程图，当向待同步节点Ｃ同步文件时，先向Ｃ加锁，若加锁失败，则判本次同步失败；若加锁成功，则同步文件到节点Ｃ，同步成功结束后，解除锁，判本次同步成功；若同步文件发生失败，则解除锁，判本次同步失败。
本实施例中，文件服务在向任意一个节点增量同步或全量同步文件时，必须先加锁，再同步，同步结束后，再解锁。加锁失败情况下，不能进行同步。锁的信息中包含：锁类型、锁范围、锁超时时间。文件服务记录下每次修改操作操作日志，修改操作包括：增加、修改、删除文件，修改文件属性，增加、删除目录。操作日志按照操作当时时间命名，日志内容包括本次操作类型和操作相关文件名等。
本发明中，操作日志记录了操作类型和操作相关文件，当目标节点发生网络故障情况下，仍然保留着操作日志，一旦网络恢复，文件服务可以快速同步文件到目标节点;当存在两个或两个以上的堆积日志文件时，文件服务按照日志文件生成的次序依次同步每个日志，确保文件操作的时序性；并通过增量同步可以实时保证文件服务节点之间的一致性，降低网络负载，减少对系统中其他应用程序的影响。
在日志文件个数大于阈值N时，采用全量同步方式可以快速同步所有变化文件，避免连续增量同步单个文件耗时过长的问题；在夜间全量同步DATA_SRV应用主机到所有DATA_SRV应用备机，可以最大化保证文件服务节点之间的一致性，避免人工误操作或网络故障引起的不一致性；同步文件时，对目标节点加锁，有效地解决同步文件时主备机突然切换所引起的文件不一致问题。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (8)
1.一种基于变化日志的高可靠文件同步方法，包含以下步骤：
（1）文件服务接收客户端请求，根据请求操作类型做相应操作，并返回操作结果；
（2）文件服务记录下每次修改操作操作日志；
（3）文件服务实时扫描日志文件，根据操作日志内容，同步文件或目录到其他各个DATA_SRV应用节点；
（4）在夜间，当主机值班时间超过阈值T时，主机向所有DATA_SRV应用备机节点做一次全量同步；
（5）文件服务在向任意一个节点增量同步或全量同步文件时，先加锁，再同步，同步结束后，解锁。
2. 根据权利要求1所述的一种基于变化日志的高可靠文件同步方法，其特征在于：在所述步骤（1）中，文件服务收到客户请求时，先判断请求操作的文件或目录是否已被加锁，若被加锁需等待锁解除后再进行下一步骤，若未被加锁则直接进行下一步骤。
3. 根据权利要求1所述的一种基于变化日志的高可靠文件同步方法，其特征在于：在所述步骤（2）中，文件服务以日志方式记录下每次修改操作，修改操作包括：增加、修改、删除文件、修改文件属性、增加和删除目录；所述操作日志按照操作当时时间命名，日志内容包括本次操作类型和操作相关文件。
4. 根据权利要求1所述的一种基于变化日志的高可靠文件同步方法，其特征在于：在所述步骤（3）中，文件服务实时扫描日志文件，根据日志文件生成时间顺序依次处理每个日志文件；对于每个日志文件，根据操作日志内容，增量同步文件或目录到其他各个DATA_SRV节点，同步成功结束后删除操作日志，若同步失败，则保留操作日志。
5. 根据权利要求4所述的一种基于变化日志的高可靠文件同步方法，其特征在于：在所述步骤（3）中，当操作日志个数超过阈值个数时，全量同步文件到其他各个节点，同步结束后删除所有操作日志，若同步失败，则保留操作日志。
6. 根据权利要求4所述的一种基于变化日志的高可靠文件同步方法，其特征在于：在所述步骤（4）中，在夜间，且当DATA_SRV主机值班时间超过阈值时间时，主机向所有备机节点做一次全量同步。
7. 根据权利要求1所述的一种基于变化日志的高可靠文件同步方法，其特征在于：在步骤（5）中，文件服务在向任意一个节点增量同步或全量同步文件时，需先加锁，再同步，同步结束后，再解锁；当加锁失败情况下，不能进行同步。
8. 根据权利要求7所述的一种基于变化日志的高可靠文件同步方法，其特征在于：所述加锁的信息中包含：锁类型、锁范围、锁超时时间。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210486260.5A CN102968486B (zh) | 2012-11-26 | 2012-11-26 | 一种基于变化日志的高可靠文件同步方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210486260.5A CN102968486B (zh) | 2012-11-26 | 2012-11-26 | 一种基于变化日志的高可靠文件同步方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102968486A true CN102968486A (zh) | 2013-03-13 |
| CN102968486B CN102968486B (zh) | 2016-09-07 |
Family
ID=47798624
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210486260.5A Active CN102968486B (zh) | 2012-11-26 | 2012-11-26 | 一种基于变化日志的高可靠文件同步方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102968486B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103199978A (zh) * | 2013-03-25 | 2013-07-10 | 天脉聚源(北京)传媒科技有限公司 | 一种同步日志的方法及装置 |
| CN103701770A (zh) * | 2013-11-22 | 2014-04-02 | 汉柏科技有限公司 | 一种基于租约机制的异常解锁方法 |
| CN104486319A (zh) * | 2014-12-09 | 2015-04-01 | 上海爱数软件有限公司 | 适用于高可用系统的配置文件实时同步方法及其系统 |
| CN105389507A (zh) * | 2015-11-13 | 2016-03-09 | 小米科技有限责任公司 | 监控系统分区文件的方法及装置 |
| CN105446768A (zh) * | 2015-11-05 | 2016-03-30 | 小米科技有限责任公司 | 系统升级方法及装置 |
| CN105468966A (zh) * | 2015-11-16 | 2016-04-06 | 北京奇虎科技有限公司 | 企业级终端文件扫描方法及装置 |
| CN105630875A (zh) * | 2015-12-17 | 2016-06-01 | 曙光信息产业(北京)有限公司 | 文件修复方法及装置 |
| US9665593B2 (en) | 2013-03-28 | 2017-05-30 | International Business Machines Corporation | Dynamically synching elements in file |
| CN106817387A (zh) * | 2015-11-28 | 2017-06-09 | 成都华为技术有限公司 | 一种数据同步方法、装置和系统 |
| US9767210B2 (en) | 2013-03-28 | 2017-09-19 | International Business Machines Corporation | Dynamically enhancing user interface |
| CN108965383A (zh) * | 2018-05-31 | 2018-12-07 | 康键信息技术（深圳）有限公司 | 文件同步方法、装置、计算机设备和存储介质 |
| CN110263211A (zh) * | 2019-05-06 | 2019-09-20 | 视联动力信息技术股份有限公司 | 资源同步方法及装置 |
| CN110609813A (zh) * | 2019-08-14 | 2019-12-24 | 北京华电天仁电力控制技术有限公司 | 一种数据存储系统及方法 |
| CN112416885A (zh) * | 2020-12-09 | 2021-02-26 | 成都傲梅科技有限公司 | 一种文件的实时同步方法 |
-
2012
- 2012-11-26 CN CN201210486260.5A patent/CN102968486B/zh active Active
Non-Patent Citations (2)
| Title |
|---|
| 屈志毅等: "DB2大型数据库容灾备份实时复制系统", 《计算机系统应用》 * |
| 王亦然: "Oracle数据库灾备技术探讨", 《个人电脑》 * |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103199978A (zh) * | 2013-03-25 | 2013-07-10 | 天脉聚源(北京)传媒科技有限公司 | 一种同步日志的方法及装置 |
| US9665593B2 (en) | 2013-03-28 | 2017-05-30 | International Business Machines Corporation | Dynamically synching elements in file |
| US10877938B2 (en) | 2013-03-28 | 2020-12-29 | International Business Machines Corporation | Dynamically synching elements in file |
| CN104111966B (zh) * | 2013-03-28 | 2018-04-10 | 国际商业机器公司 | 用于动态地同步技术环境中的元素的方法和系统 |
| US9779107B2 (en) | 2013-03-28 | 2017-10-03 | International Business Machines Corporation | Dynamically synching elements in file |
| US9767210B2 (en) | 2013-03-28 | 2017-09-19 | International Business Machines Corporation | Dynamically enhancing user interface |
| CN103701770A (zh) * | 2013-11-22 | 2014-04-02 | 汉柏科技有限公司 | 一种基于租约机制的异常解锁方法 |
| CN104486319B (zh) * | 2014-12-09 | 2018-06-19 | 上海爱数信息技术股份有限公司 | 适用于高可用系统的配置文件实时同步方法及其系统 |
| CN104486319A (zh) * | 2014-12-09 | 2015-04-01 | 上海爱数软件有限公司 | 适用于高可用系统的配置文件实时同步方法及其系统 |
| CN105446768A (zh) * | 2015-11-05 | 2016-03-30 | 小米科技有限责任公司 | 系统升级方法及装置 |
| CN105446768B (zh) * | 2015-11-05 | 2019-07-05 | 小米科技有限责任公司 | 系统升级方法及装置 |
| CN105389507A (zh) * | 2015-11-13 | 2016-03-09 | 小米科技有限责任公司 | 监控系统分区文件的方法及装置 |
| CN105468966A (zh) * | 2015-11-16 | 2016-04-06 | 北京奇虎科技有限公司 | 企业级终端文件扫描方法及装置 |
| CN105468966B (zh) * | 2015-11-16 | 2019-07-23 | 北京奇虎科技有限公司 | 企业级终端文件扫描方法及装置 |
| CN106817387B (zh) * | 2015-11-28 | 2021-01-29 | 成都华为技术有限公司 | 一种数据同步方法、装置和系统 |
| CN106817387A (zh) * | 2015-11-28 | 2017-06-09 | 成都华为技术有限公司 | 一种数据同步方法、装置和系统 |
| CN105630875A (zh) * | 2015-12-17 | 2016-06-01 | 曙光信息产业(北京)有限公司 | 文件修复方法及装置 |
| CN108965383A (zh) * | 2018-05-31 | 2018-12-07 | 康键信息技术（深圳）有限公司 | 文件同步方法、装置、计算机设备和存储介质 |
| CN108965383B (zh) * | 2018-05-31 | 2023-03-24 | 康键信息技术（深圳）有限公司 | 文件同步方法、装置、计算机设备和存储介质 |
| CN110263211A (zh) * | 2019-05-06 | 2019-09-20 | 视联动力信息技术股份有限公司 | 资源同步方法及装置 |
| CN110263211B (zh) * | 2019-05-06 | 2021-09-21 | 视联动力信息技术股份有限公司 | 资源同步方法及装置 |
| CN110609813A (zh) * | 2019-08-14 | 2019-12-24 | 北京华电天仁电力控制技术有限公司 | 一种数据存储系统及方法 |
| CN112416885A (zh) * | 2020-12-09 | 2021-02-26 | 成都傲梅科技有限公司 | 一种文件的实时同步方法 |
| CN112416885B (zh) * | 2020-12-09 | 2023-05-09 | 成都傲梅科技有限公司 | 一种文件的实时同步方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102968486B (zh) | 2016-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102968486A (zh) | 一种基于变化日志的高可靠文件同步方法 | |
| CN102985911B (zh) | 高度可伸缩和分布式重复数据删除 | |
| CN104919428B (zh) | 环境设定服务器、计算机系统以及环境设定方法 | |
| CN104679772A (zh) | 分布式数据仓库中删除文件的方法、装置、设备及系统 | |
| CN102446217A (zh) | 复合事件处理设备和复合事件处理方法 | |
| US20120278429A1 (en) | Cluster system, synchronization controlling method, server, and synchronization controlling program | |
| CN103761148A (zh) | 集群定时调度任务的控制方法 | |
| CN103500120A (zh) | 基于多线程异步双写的分布式缓存高可用处理方法及系统 | |
| CN101594256A (zh) | 容灾方法、装置和系统 | |
| CN105376277A (zh) | 一种数据同步方法及装置 | |
| CN105512171A (zh) | 数据库同步的方法及装置 | |
| CN105138691A (zh) | 分析用户业务量的方法和系统 | |
| CN101127640B (zh) | 一种提高增量方式数据同步效率的方法 | |
| CN112131286A (zh) | 一种基于时间序列的数据处理方法、装置及存储介质 | |
| CN109684130B (zh) | 一种机房间数据备份的方法及装置 | |
| CN109495528A (zh) | 分布式锁所有权调度方法和装置 | |
| CN114610567A (zh) | 容器监控方法、网络设备及存储介质 | |
| CN107105037B (zh) | 一种基于文件校验的分布式视频cdn资源管理系统及方法 | |
| CN104866943A (zh) | 基于cim/e文件的分布式数据采集系统主备调同步方法 | |
| CN105373549B (zh) | 数据迁移方法、设备及数据节点服务器 | |
| CN111831954A (zh) | 内容数据更新方法、装置、计算机设备及存储介质 | |
| CN111797068A (zh) | 一种基于区块链和ipfs的物联网数据管理系统和方法 | |
| US11386043B2 (en) | Method, device, and computer program product for managing snapshot in application environment | |
| CN101662382A (zh) | 一种抑制网管系统中振荡告警上报的方法及系统 | |
| CN111597147B (zh) | 空间回收方法、装置、存储介质以及处理器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C53 | Correction of patent of invention or patent application | ||
| CB03 | Change of inventor or designer information |
Inventor after: Lei Baolong Inventor after: Peng Hui Inventor after: Chen Peng Inventor after: Wan Shupeng Inventor before: Lei Baolong Inventor before: Peng Hui Inventor before: Chen Peng Inventor before: Wan Shupeng |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |