CN113127435A - 一种主备系统文件智能同步方法及系统 - Google Patents

一种主备系统文件智能同步方法及系统 Download PDF

Info

Publication number
CN113127435A
CN113127435A CN202110345390.6A CN202110345390A CN113127435A CN 113127435 A CN113127435 A CN 113127435A CN 202110345390 A CN202110345390 A CN 202110345390A CN 113127435 A CN113127435 A CN 113127435A
Authority
CN
China
Prior art keywords
module
file
monitoring
machine
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110345390.6A
Other languages
English (en)
Inventor
代存折
李妃军
王金华
刘国强
戴金晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Arcvideo Technology Co ltd
Original Assignee
Hangzhou Arcvideo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Arcvideo Technology Co ltd filed Critical Hangzhou Arcvideo Technology Co ltd
Priority to CN202110345390.6A priority Critical patent/CN113127435A/zh
Publication of CN113127435A publication Critical patent/CN113127435A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/178—Techniques for file synchronisation in file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Debugging And Monitoring (AREA)
  • Hardware Redundancy (AREA)

Abstract

本发明公开了一种主备装置文件智能同步方法及系统，其中系统实施例中启动模块用于主、备装置的文件同步应用程序的启动；同时启动模块在运行时向注册中心模块上报本机IP信息，上报的同时与注册中心模块建立心跳连接，当该装置宕机或断网时，心跳连接中断，触发监听计算模块工作；以及在机器恢复时创建连接，同样的也触发监听计算模块工作；本地存储模块用于主、备装置各自的文件存储；文件读取模块在主、备装置异常时触发，由监听计算模块调用，根据时间范围获取文件，写入至待恢复装置中的文件写入模块；监听计算模块用于监听注册中心中的主、备装置连接情况，当主装置或备装置的任一一方出现宕机或网络异常时计算出对应系统文件同步的时间范围，从而实时触发同步。

Description

一种主备系统文件智能同步方法及系统
技术领域
本发明数据同步技术领域，具体涉及一种主备系统文件智能同步方法及系统。
背景技术
目前主备系统中的文件如果要保持一致，通常的做法是使用一款开源的，快速的，多功能的，可实现全量及增量的本地或远程数据同步备份的工具rsync，通过此工具虽然可以实现同步，但是触发同步的时机要么是人工主动触发，要么是定时对比触发，无法做到当机器宕机恢复后实时触发同步，有一定延迟性且不够智能。
同时大部分同步软件都会以主备中的一台作为同步源，很难实现双向同步。
发明内容
本发明要解决的技术问题是提供一种主备系统文件智能同步方法及系统。
为解决上述技术问题，本发明采用如下的技术方案：
本发明实施例的一个方面提供了一种主备装置文件智能同步系统，包括主装置、备装置和监听装置，主装置和备装置都包括启动模块、文件写入模块、本地存储模块和文件读取模块，监听装置包括注册中心模块和监听计算模块，
启动模块用于主、备装置的文件同步应用程序的启动，用于规定该系统待下载的源文件地址，交由文件写入模块读取源文件并写入本地；
同时启动模块在运行时向注册中心模块上报本机IP信息，上报的同时与注册中心模块建立心跳连接，当该装置宕机或断网时，心跳连接中断，触发监听计算模块工作；以及在机器恢复时创建连接，同样的也触发监听计算模块工作；
本地存储模块用于主、备装置各自的文件存储，存储时额外记录每个文件的时间及位置索引；
文件读取模块在主、备装置异常时触发，由监听计算模块调用，根据时间范围获取文件，写入至待恢复装置中的文件写入模块；
监听计算模块用于监听注册中心中的主、备装置连接情况，当主装置或备装置的任一一方出现宕机或网络异常时计算出对应系统文件同步的时间范围，从而实时触发同步。
优选地，所述注册中心模块采用zookeeper实现，创建一个服务器节点，该节点下的具体机器节点信息由启动模块创建，且创建的机器是一种临时节点，当心跳连接丢失后该机器节点会自动被删除；机器节点下的信息发生改变或丢失时都通知到监听计算模块。
优选地，监听计算模块监听注册中心模块中的服务器节点，当收到机器节点删除的监听消息后，代表该机器节点对应的系统出现故障，此时需要记录故障开始时间，并且与该机器节点进行关联；当收到机器节点新增的监听消息后，代表该机器节点对应的系统故障恢复，或系统首次上线，如过是系统故障恢复记录故障结束时间，然后在之前删除监听中存储的信息中查询是否有该机器节点信息：
如果有，表示是故障恢复，根据删除监听消息的时间以及新增监听消息的时间之间的时间范围，向未发生故障机器中的文件读取模块获取到该时间范围内的文件，写入发生故障机器的文件写入模块；
如果没有，表示是系统首次上线运行，无需额外操作。
本发明实施例的又一方面提供了一种主备装置文件智能同步方法，应用于包括主装置、备装置和监听装置的同步系统，主装置和备装置都包括启动模块、文件写入模块、本地存储模块和文件读取模块，监听装置包括注册中心模块和监听计算模块，包括以下步骤：
通过启动模块启动主、备装置的文件同步应用程序，规定该系统待下载的源文件地址，交由文件写入模块读取源文件并写入本地；存储模块存储主、备装置各自的文件，存储时额外记录每个文件的时间及位置索引；
启动模块在运行时向注册中心模块上报本机IP信息，上报的同时与注册中心模块建立心跳连接，当该装置宕机或断网时，心跳连接中断，触发监听计算模块工作；以及在机器恢复时创建连接，同样的也触发监听计算模块工作；
监听计算模块监听注册中心模块中的服务器节点，当收到机器节点删除的监听消息后，代表该机器节点对应的系统出现故障，此时需要记录故障开始时间，并且与该机器节点进行关联；当收到机器节点新增的监听消息后，代表该机器节点对应的系统故障恢复，或系统首次上线，如过是系统故障恢复记录故障结束时间，然后在之前删除监听中存储的信息中查询是否有该机器节点信息：
如果有，表示是故障恢复，根据删除监听消息的时间以及新增监听消息的时间之间的时间范围，向未发生故障机器中的文件读取模块获取到该时间范围内的文件，写入发生故障机器的文件写入模块；
如果没有，表示是系统首次上线运行，无需额外操作。
优选地，所述注册中心模块采用zookeeper实现，创建一个服务器节点，该节点下的具体机器节点信息由启动模块创建，且创建的机器是一种临时节点，当心跳连接丢失后该机器节点会自动被删除；机器节点下的信息发生改变或丢失时都通知到监听计算模块。
采用本发明具有如下的有益效果：在主备系统下，通过增加一个监听机器，基于简单的注册监听机制使任何一方系统宕机、断网等异常恢复后自动触发同步，且仅智能同步宕机、断网等异常发生的时间范围内的文件，充分保障系统文件完整性的同时还避免了文件对比造成的性能浪费。
附图说明
图1为本发明实施例的主备系统文件智能同步系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，所示为本发明实施例的主备系统文件智能同步系统的结构示意图，包括主装置、备装置和监听装置，其中主装置和备装置都包括启动模块、文件写入模块、本地存储模块和文件读取模块，监听装置包括注册中心模块和监听计算模块，启动模块用于主、备装置的文件同步应用程序的启动，用于规定该系统待下载的源文件地址，交由文件写入模块读取源文件并写入本地；同时启动模块在运行时向注册中心模块上报本机IP信息，上报的同时与注册中心模块建立心跳连接，当该装置宕机或断网时，心跳连接中断，触发监听计算模块工作；以及在机器恢复时创建连接，同样的也触发监听计算模块工作；本地存储模块用于主、备装置各自的文件存储，存储时额外记录每个文件的时间及位置索引；文件读取模块在主、备装置异常时触发，由监听计算模块调用，根据时间范围获取文件，写入至待恢复装置中的文件写入模块；监听计算模块用于监听注册中心中的主、备装置连接情况，当主装置或备装置的任一一方出现宕机或网络异常时计算出对应系统文件同步的时间范围，从而实时触发同步。
具体应用实例中，源文件地址为直播源或ftp地址。
注册中心模块是本发明实施例中体现智能的核心模块，注册中心模块采用zookeeper实现创建一个服务器节点，该节点下的具体机器节点信息由启动模块创建，且创建的机器是一种临时节点，当心跳连接丢失后该机器节点会自动被删除，机器节点由监听计算模块读取及监听，即当该节点下的信息发生改变或丢失时都会通知到监听计算模块。
比如如下创建的节点路径为：
/
/服务器节点
/172.17.230.221
/172.17.230.222
其中：172.17.230.221、172.17.230.222为主、备装置的IP，‘服务器节点’是监听计算模块读取和监听的节点。
具体应用实例中，监听计算模块监听注册中心模块中的服务器节点，当收到机器节点删除的监听消息后，代表该机器节点对应的系统出现故障，此时需要记录故障开始时间，并且与该机器节点进行关联；当收到机器节点新增的监听消息后，代表该机器节点对应的系统故障恢复，或系统首次上线，如过是系统故障恢复记录故障结束时间，然后在之前删除监听中存储的信息中查询是否有该机器节点信息：
如果有，表示是故障恢复，根据删除监听消息的时间以及新增监听消息的时间之间的时间范围，向未发生故障机器中的文件读取模块获取到该时间范围内的文件，写入发生故障机器的文件写入模块；
如果没有，表示是系统首次上线运行，无需额外操作。
根据以上描述可知，实际工作过程中，文件写入模块分别会由启动模块、监听计算模块触发：
启动模块触发的文件写入是系统正常的业务运行，主要是读取启动模块定义的源地址，写入本地磁盘模块，这种情况按照时间顺序写磁盘；
计算模块触发的文件写入是系统异常时产生的，此时文件写入模块会接收到待同步的文件时间范围，需要去对方系统(即主装置从备装置，备装置从主装置)中的文件读取模块下载该时间范围内的文件至本系统中的本地存储模块。
本地存储模块用于主备系统各自的文件存储，存储时需要额外记录每个文件的时间及位置索引，便于提升在触发同步时的文件读取效率。
文件读取模块仅在主备装置异常时才会触发，由监听计算模块调用，根据时间范围获取文件，写入至待恢复主备装置中的文件写入模块。
本领域技术人员可以理解的是，本发明实施例中的监听装置与主装置或备装置，可以不是绝对物理隔离，只是逻辑上隔离，实际上可以把监听服务安装到主、备装置上面，但是这样会导致，主、备装置宕机，监听装置也无法工作，故从最佳实施效果来说，建议监听装置设置为单独的硬件装置，但是不强制要求。
与本发明系统实施例对应的，本发明实施例还提供了一种主备装置文件智能同步方法，应用于包括主装置、备装置和监听装置的同步系统，主装置和备装置都包括启动模块、文件写入模块、本地存储模块和文件读取模块，监听装置包括注册中心模块和监听计算模块，包括以下步骤：
通过启动模块启动主、备装置的文件同步应用程序，规定该系统待下载的源文件地址，交由文件写入模块读取源文件并写入本地；存储模块存储主、备装置各自的文件，存储时额外记录每个文件的时间及位置索引；
启动模块在运行时向注册中心模块上报本机IP信息，上报的同时与注册中心模块建立心跳连接，当该装置宕机或断网时，心跳连接中断，触发监听计算模块工作；以及在机器恢复时创建连接，同样的也触发监听计算模块工作；
监听计算模块监听注册中心模块中的服务器节点，当收到机器节点删除的监听消息后，代表该机器节点对应的系统出现故障，此时需要记录故障开始时间，并且与该机器节点进行关联；当收到机器节点新增的监听消息后，代表该机器节点对应的系统故障恢复，或系统首次上线，如过是系统故障恢复记录故障结束时间，然后在之前删除监听中存储的信息中查询是否有该机器节点信息：
如果有，表示是故障恢复，根据删除监听消息的时间以及新增监听消息的时间之间的时间范围，向未发生故障机器中的文件读取模块获取到该时间范围内的文件，写入发生故障机器的文件写入模块；
如果没有，表示是系统首次上线运行，无需额外操作。
具体应用实例中，注册中心模块采用zookeeper实现，创建一个服务器节点，该节点下的具体机器节点信息由启动模块创建，且创建的机器是一种临时节点，当心跳连接丢失后该机器节点会自动被删除；机器节点下的信息发生改变或丢失时都通知到监听计算模块。
其它实施细节与系统实施例相同，在此不再赘述。
应当理解，本文所述的示例性实施例是说明性的而非限制性的。尽管结合附图描述了本发明的一个或多个实施例，本领域普通技术人员应当理解，在不脱离通过所附权利要求所限定的本发明的精神和范围的情况下，可以做出各种形式和细节的改变。

Claims (5)

1.一种主备装置文件智能同步系统，其特征在于，包括主装置、备装置和监听装置，主装置和备装置都包括启动模块、文件写入模块、本地存储模块和文件读取模块，监听装置包括注册中心模块和监听计算模块，
启动模块用于主、备装置的文件同步应用程序的启动，用于规定该系统待下载的源文件地址，交由文件写入模块读取源文件并写入本地；
同时启动模块在运行时向注册中心模块上报本机IP信息，上报的同时与注册中心模块建立心跳连接，当该装置宕机或断网时，心跳连接中断，触发监听计算模块工作；以及在机器恢复时创建连接，同样的也触发监听计算模块工作；
本地存储模块用于主、备装置各自的文件存储，存储时额外记录每个文件的时间及位置索引；
文件读取模块在主、备装置异常时触发，由监听计算模块调用，根据时间范围获取文件，写入至待恢复装置中的文件写入模块；
监听计算模块用于监听注册中心中的主、备装置连接情况，当主装置或备装置的任一一方出现宕机或网络异常时计算出对应系统文件同步的时间范围，从而实时触发同步。
2.如权利要求1所述的主备装置文件智能同步系统，其特征在于，所述注册中心模块采用zookeeper实现，创建一个服务器节点，该节点下的具体机器节点信息由启动模块创建，且创建的机器是一种临时节点，当心跳连接丢失后该机器节点会自动被删除；机器节点下的信息发生改变或丢失时都通知到监听计算模块。
3.如权利要求1所述的主备装置文件智能同步系统，其特征在于，监听计算模块监听注册中心模块中的服务器节点，当收到机器节点删除的监听消息后，代表该机器节点对应的系统出现故障，此时需要记录故障开始时间，并且与该机器节点进行关联；当收到机器节点新增的监听消息后，代表该机器节点对应的系统故障恢复，或系统首次上线，如过是系统故障恢复记录故障结束时间，然后在之前删除监听中存储的信息中查询是否有该机器节点信息：
如果有，表示是故障恢复，根据删除监听消息的时间以及新增监听消息的时间之间的时间范围，向未发生故障机器中的文件读取模块获取到该时间范围内的文件，写入发生故障机器的文件写入模块；
如果没有，表示是系统首次上线运行，无需额外操作。
4.一种主备装置文件智能同步方法，其特征在于，应用于包括主装置、备装置和监听装置的同步系统，主装置和备装置都包括启动模块、文件写入模块、本地存储模块和文件读取模块，监听装置包括注册中心模块和监听计算模块，包括以下步骤：
通过启动模块启动主、备装置的文件同步应用程序，规定该系统待下载的源文件地址，交由文件写入模块读取源文件并写入本地；存储模块存储主、备装置各自的文件，存储时额外记录每个文件的时间及位置索引；
启动模块在运行时向注册中心模块上报本机IP信息，上报的同时与注册中心模块建立心跳连接，当该装置宕机或断网时，心跳连接中断，触发监听计算模块工作；以及在机器恢复时创建连接，同样的也触发监听计算模块工作；
监听计算模块监听注册中心模块中的服务器节点，当收到机器节点删除的监听消息后，代表该机器节点对应的系统出现故障，此时需要记录故障开始时间，并且与该机器节点进行关联；当收到机器节点新增的监听消息后，代表该机器节点对应的系统故障恢复，或系统首次上线，如过是系统故障恢复记录故障结束时间，然后在之前删除监听中存储的信息中查询是否有该机器节点信息：
如果有，表示是故障恢复，根据删除监听消息的时间以及新增监听消息的时间之间的时间范围，向未发生故障机器中的文件读取模块获取到该时间范围内的文件，写入发生故障机器的文件写入模块；
如果没有，表示是系统首次上线运行，无需额外操作。
5.如权利要求4所述的主备装置文件智能同步方法，其特征在于，所述注册中心模块采用zookeeper实现，创建一个服务器节点，该节点下的具体机器节点信息由启动模块创建，且创建的机器是一种临时节点，当心跳连接丢失后该机器节点会自动被删除；机器节点下的信息发生改变或丢失时都通知到监听计算模块。
CN202110345390.6A 2021-03-30 2021-03-30 一种主备系统文件智能同步方法及系统 Pending CN113127435A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110345390.6A CN113127435A (zh) 2021-03-30 2021-03-30 一种主备系统文件智能同步方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110345390.6A CN113127435A (zh) 2021-03-30 2021-03-30 一种主备系统文件智能同步方法及系统

Publications (1)

Publication Number Publication Date
CN113127435A true CN113127435A (zh) 2021-07-16

Family

ID=76774918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110345390.6A Pending CN113127435A (zh) 2021-03-30 2021-03-30 一种主备系统文件智能同步方法及系统

Country Status (1)

Country Link
CN (1) CN113127435A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115373907A (zh) * 2022-10-26 2022-11-22 北京智芯微电子科技有限公司 工控机与数据备份系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106790595A (zh) * 2016-12-29 2017-05-31 上海理想信息产业（集团）有限公司 一种Docker容器主动负载均衡装置及方法
CN106850308A (zh) * 2017-02-27 2017-06-13 湘电风能有限公司 一种双机热备份系统
CN107908708A (zh) * 2017-11-09 2018-04-13 北京锐安科技有限公司 一种集群文件同步的方法、系统、设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106790595A (zh) * 2016-12-29 2017-05-31 上海理想信息产业（集团）有限公司 一种Docker容器主动负载均衡装置及方法
CN106850308A (zh) * 2017-02-27 2017-06-13 湘电风能有限公司 一种双机热备份系统
CN107908708A (zh) * 2017-11-09 2018-04-13 北京锐安科技有限公司 一种集群文件同步的方法、系统、设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115373907A (zh) * 2022-10-26 2022-11-22 北京智芯微电子科技有限公司 工控机与数据备份系统

Similar Documents

Publication Publication Date Title
CN107291787B (zh) 主备数据库切换方法和装置
US7428657B2 (en) Method for rolling back from snapshot with log
CN102981931B (zh) 虚拟机备份方法及装置
CN102355368B (zh) 一种网络设备的故障处理方法及系统
CN105159795A (zh) 数据同步方法、装置和系统
CN110609813B (zh) 一种数据存储系统及方法
CN110659158A (zh) 基于双机热备环境的Influx DB数据备份方法
CN102968360A (zh) 具有n+1冗余功能的存储系统及方法
CN110351313B (zh) 数据缓存方法、装置、设备及存储介质
CN111966467B (zh) 基于kubernetes容器平台灾备的方法及装置
CN111176900A (zh) 一种分布式存储系统及其数据恢复方法、装置和介质
CN113127435A (zh) 一种主备系统文件智能同步方法及系统
CN113535665B (zh) 一种主数据库与备数据库之间同步日志文件的方法及装置
CN106487852B (zh) 实现客户端文件同步的方法、装置、终端设备及系统
CN103744901A (zh) 智能变电站双机同步存储历史数据的系统和装置
CN116737462A (zh) 一种数据处理方法、系统、装置及介质
CN112948484A (zh) 分布式数据库系统和数据灾备演练方法
CN113239005B (zh) 一种电力监控系统i、iv区数据同步方法及装置
CN114579671A (zh) 集群间数据同步方法及装置
CN108959504B (zh) 一种文件系统远程数据同步实现方法和系统
CN108156264B (zh) 一种面向双机冗余的数据同步方法
CN114647535A (zh) 一种用于mes的cdp系统及其方法
CN113515574A (zh) 一种数据同步方法及装置
CN111581013A (zh) 基于元数据和影子文件的系统信息备份与重构方法
CN111245929B (zh) 一种cocc非实时通道数据断点续传的实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210716