CN117076204A - 一种远程复制任务恢复方法、装置、设备及介质 - Google Patents
一种远程复制任务恢复方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN117076204A CN117076204A CN202311086302.0A CN202311086302A CN117076204A CN 117076204 A CN117076204 A CN 117076204A CN 202311086302 A CN202311086302 A CN 202311086302A CN 117076204 A CN117076204 A CN 117076204A
- Authority
- CN
- China
- Prior art keywords
- directory
- files
- identification
- catalogs
- cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000010076 replication Effects 0.000 title claims abstract description 23
- 238000011084 recovery Methods 0.000 title claims description 18
- 230000004044 response Effects 0.000 claims abstract description 19
- 238000012216 screening Methods 0.000 claims abstract description 8
- 230000001360 synchronised effect Effects 0.000 claims description 37
- 238000004590 computer program Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 11
- 230000008439 repair process Effects 0.000 claims description 10
- 238000013467 fragmentation Methods 0.000 claims description 3
- 238000006062 fragmentation reaction Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 abstract description 11
- 230000006870 function Effects 0.000 description 18
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 239000012634 fragment Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1464—Management of the backup or restore process for networked environments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及分布式存储领域，尤其涉及一种远程复制任务恢复方法、装置、设备及介质。所述方法包括：利用主线程对主集群上两个时间点快照对应的目录树上所有目录和所有文件自下而上依次执行轮询比对操作并对差异执行复制操作；响应于任意目录执行完轮询比对操作则在从集群目录树上为对应目录打标识；响应于发生中断导致远程复制任务未完成退出且再次启动远程复制任务，则基于目录、各文件对应的复制操作执行结果对已打标识进行修复；根据从集群目录树上修复后的标识对重新轮询比对的目录树上的目录和文件进行筛选；利用主线程重新对筛选出的目录和所有文件自下而上执行轮询比对操作。本发明的方案实现了远程复制任务断点续传，提升轮询比对的效率。
Description
技术领域
本发明涉及分布式存储领域，尤其涉及一种远程复制任务恢复方法、装置、设备及介质。
背景技术
随着数字化程度的提高，数据逐渐成为企事业单位的业务核心，用户对承载数据的存储系统的稳定性要求也逐渐提高，虽然很多存储厂商能够向用户提供稳定性极高的存储设备，但还是无法防止各种自然灾难对生产系统造成无法恢复的损坏，保护数据的方式多种多样，其中最普遍的就是将我们的数据复制多份保存在多处，其中一处发生了故障造成了数据丢失，我们还可以通过其它处的数据进行数据恢复，从而保证我们的数据的安全性。为了保证数据存储的持续性、可恢复性、高可用性，远程复制技术应运而生。
传统文件远程复制任务的实现原理如下：基于两个时间点的快照(snapshot)比对来寻找需要传输的差异文件，每一次远程复制本质上是将主集群的snapshot同步到从集群，主从集群之间的差异其实就是主集群上两次snapshot之间的差异。snapshot的差异是通过目录树轮询比对同一个inode(文件唯一标识)在两个snaoshot的元数据来进行判定是否一致，如果不一致则将不一致的差异数据同步到从集群。当目录和文件比较多的时候，轮询比对将会需要较长的时间。如果在复制过程中发生中断，再次复制的时候需要重新开始轮询比对，会增加中断后恢复复制的时间，从而降低远程复制在特殊场景的效率，因而亟需改进。
发明内容
有鉴于此，有必要针对以上技术问题，提供一种远程复制任务恢复方法、装置、设备及介质。
根据本发明的第一方面，提供了一种远程复制任务恢复方法，所述方法包括：
在远程复制任务启动后，利用主线程对主集群上两个时间点快照对应的目录树上所有目录和所有文件自下而上依次执行轮询比对操作；
响应于任意目录或任意文件比对存在差异，则创建子线程为差异执行复制操作；
响应于任意目录执行完轮询比对操作，则在从集群目录树上为对应目录打标识；
响应于发生中断导致远程复制任务未完成退出且再次启动远程复制任务，则基于目录、各文件对应的复制操作执行结果对已打标识进行修复；
根据从集群目录树上修复后的标识对重新轮询比对的目录树上的目录和文件进行筛选；
利用主线程重新对筛选出的目录和所有文件自下而上执行轮询比对操作，直至主集群上两个时间点快照对应的目录树差异目录和文件均已复制到从集群。
在一些实施例中，所述在从集群目录树上为对应目录打标识的步骤，包括：
为执行完轮询比对操作的目录创建一个同步完成标识；
将所述同步完成标识的状态设置为是。
在一些实施例中，所述方法还包括：
获取每个子线程执行复制操作的复制文件路径，并将所述复制文件路径写入日志；
响应于某个复制操作执行完成，则将日志中某个复制操作对应的复制文件路径删除。
在一些实施例中，所述基于目录、各文件对应的复制操作执行结果对已打标识进行修复的步骤，包括：
读取日志中未删除的复制文件路径；
基于复制文件路径确定被复制文件；
确定被复制文件在目录树上的所有父目录，将具有同步完成标识状态标识的父目录状态更改为否。
在一些实施例中，所述根据从集群目录树上修复后的标识对重新轮询比对的目录树上的目录和文件进行筛选的步骤，包括：
响应于某个目录带有同步完成标识且同步完成标识状态为是，则确认某个目录不需要重新比对；
响应于某个父目录任意带有同步完成标识且同步完成标识状态为是，则某个父目录下的所有子目录、子文件均不需要重新比对；
将两个时间点快照对应的目录树上所有目录和所有文件中不需要重新比对的目录和文件过滤掉，得到筛选出的目录和所有文件。
在一些实施例中，所述方法还包括：
响应于某个目录所包括的目录和文件总数超过预设值，则将某个目录下的目录、文件划分成多片，并在为其创建同步完成标识状态的同时创建与每个分片对应的分片标识；
响应于属于同一个分片的所有文件和目录均复制完成，则将对应的分片标识的状态设置为是，否则设置为否。
在一些实施例中，所述根据从集群目录树上修复后的标识对重新轮询比对的目录树上的目录和文件进行筛选的步骤，还包括：
响应于某个目录的同步完成标识状态为否且带有分片标识；则确认某个目录下分片标识状态为是的分片对应的文件及目录不需要重新比对。
根据本发明的第二方面，提供了一种远程复制任务恢复装置，所述装置包括：
比对模块，配置用于在远程复制任务启动后，利用主线程对主集群上两个时间点快照对应的目录树上所有目录和所有文件自下而上依次执行轮询比对操作；
复制模块，配置用于响应于任意目录或任意文件比对存在差异，则创建子线程为差异执行复制操作；
标识模块，配置用于响应于任意目录执行完轮询比对操作，则在从集群目录树上为对应目录打标识；
标识修复模块，配置用于响应于发生中断导致远程复制任务未完成退出且再次启动远程复制任务，则基于目录、各文件对应的复制操作执行结果对已打标识进行修复；
筛选模块，配置用于根据从集群目录树上修复后的标识对重新轮询比对的目录树上的目录和文件进行筛选；
重新比对模块，配置用于利用主线程重新对筛选出的目录和所有文件自下而上执行轮询比对操作，直至主集群上两个时间点快照对应的目录树差异目录和文件均已复制到从集群。
根据本发明的第三方面，还提供了一种电子设备，该电子设备包括：
至少一个处理器；以及
存储器，存储器存储有可在处理器上运行的计算机程序，处理器执行程序时执行前述的远程复制任务恢复方法。
根据本发明的第四方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时执行前述的远程复制任务恢复方法。
上述一种远程复制任务恢复方法，通过在远程复制任务执行过程中，对从集群的目录树中复制完成的目录打标识，当发生中断需要重新轮询比对的时候，基于所打标识可以过滤掉有标识的目录，实现了远程复制任务断点续传，显著提升轮询比对的效率。
此外，本发明还提供了一种远程复制任务恢复装置、一种电子设备和一种计算机可读存储介质，同样能实现上述技术效果，这里不再赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本发明一个实施例提供的一种远程复制任务恢复方法的流程图；
图2为本发明一个实施例提供的远程复制任务执行过程中文件比对打标识的示意图；
图3为本发明一个实施例提供的远程复制任务中断重启后标识修复示意图；
图4为本发明一个实施例提供的远程复制任务中断重启后重新轮询比对的示意图；
图5为本发明一个实施例提供的远程复制任务对对超大目录进行分片标识的示意图；
图6为本发明另一个实施例提供的一种远程复制任务恢复装置的结构示意图；
图7为本发明另一个实施例中电子设备的内部结构图；
图8为本发明另一个实施例中计算机可读存储介质结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
在一个实施例中，请参照图1所示，本发明提供了一种远程复制任务恢复方法100，具体来说，所述方法包括以下步骤：
步骤101，在远程复制任务启动后，利用主线程对主集群上两个时间点快照对应的目录树上所有目录和所有文件自下而上依次执行轮询比对操作；
在本实施例中，主集群上两个时间点快照中一个是主集群最近时间点形成的快照，另一个则是前一次主从集群完成远程复制后形成的快照，因而主集群上的一个参与比对的快照的目录树与从集群当前的目录树是相同的。
步骤102，响应于任意目录或任意文件比对存在差异，则创建子线程为差异执行复制操作；
步骤103，响应于任意目录执行完轮询比对操作，则在从集群目录树上为对应目录打标识；
步骤104，响应于发生中断导致远程复制任务未完成退出且再次启动远程复制任务，则基于目录、各文件对应的复制操作执行结果对已打标识进行修复；
步骤105，根据从集群目录树上修复后的标识对重新轮询比对的目录树上的目录和文件进行筛选；
步骤106，利用主线程重新对筛选出的目录和所有文件自下而上执行轮询比对操作，直至主集群上两个时间点快照对应的目录树差异目录和文件均已复制到从集群。
本实施例的一种远程复制任务恢复方法，通过在远程复制任务执行过程中，对从集群的目录树中复制完成的目录打标识，当发生中断需要重新轮询比对的时候，基于所打标识可以过滤掉有标识的目录，实现了远程复制任务断点续传，显著提升轮询比对的效率。
在一些实施例中，前述步骤103，在从集群目录树上为对应目录打标识，包括：
为执行完轮询比对操作的目录创建一个同步完成标识；
将所述同步完成标识的状态设置为是。
在本实施例中，同步完成标识是一个预先创建的标识，该同步完成标识在轮询比对操作完成后立即创建，对于不发生远程复制任务中断的情况，该标识通常具有较高的准确，而且后续无需修改，显著提升标识效率。
在一些实施例中，所述方法还包括：
获取每个子线程执行复制操作的复制文件路径，并将所述复制文件路径写入日志；
响应于某个复制操作执行完成，则将日志中某个复制操作对应的复制文件路径删除。
在本实施例中，通过将复制操作设计的文件的路径写到日志中，实现了复制操作的实时监测，能够有效保证差异文件复制的有效完成，提升远程复制任务执行的准确性，具有较高的安全性。
在一些实施例中，前述步骤104，基于目录、各文件对应的复制操作执行结果对已打标识进行修复，包括：
读取日志中未删除的复制文件路径；
基于复制文件路径确定被复制文件；
确定被复制文件在目录树上的所有父目录，将具有同步完成标识状态标识的父目录状态更改为否。
在本实施例中，利用日志中记录的未执行完的复制操作对预先建立的同步完成标识进行更正，使得更正后的同步完成标识准确的被中断的远程复制任务执行进度进行标识，有助于减少后续传时的轮询比对操作次数。
在一些实施例中，前述步骤105，根据从集群目录树上修复后的标识对重新轮询比对的目录树上的目录和文件进行筛选，包括：
响应于某个目录带有同步完成标识且同步完成标识状态为是，则确认某个目录不需要重新比对；
响应于某个父目录任意带有同步完成标识且同步完成标识状态为是，则某个父目录下的所有子目录、子文件均不需要重新比对；
将两个时间点快照对应的目录树上所有目录和所有文件中不需要重新比对的目录和文件过滤掉，得到筛选出的目录和所有文件。
在本实施例中，通过对每个目录是否具有同步完成标识、同步完成标识的具体状态进行判定，从而实现自动过滤掉不需要比对的目录，具有较高的准确性，且无需人工介入，处理效率较高。
在一些实施例中，所述方法还包括：
响应于某个目录所包括的目录和文件总数超过预设值，则将某个目录下的目录、文件划分成多片，并在为其创建同步完成标识状态的同时创建与每个分片对应的分片标识；
响应于属于同一个分片的所有文件和目录均复制完成，则将对应的分片标识的状态设置为是，否则设置为否。
在一些实施例中，前述步骤105，根据从集群目录树上修复后的标识对重新轮询比对的目录树上的目录和文件进行筛选，还包括：
响应于某个目录的同步完成标识状态为否且带有分片标识；则确认某个目录下分片标识状态为是的分片对应的文件及目录不需要重新比对。
在本实施例中，在对目录进行标识的基础上，通过判断目录所包括的目录和文件数量筛选出大目录，对于大目录的情形将同步完成标识打在目录分片上，利用大目录分片目录上的标识可以有效的过滤无效的轮询比对次数，避免大目录重新轮询，极大降低重复执行轮询比对和复制操作，显著提升远程复制任务的执行效率。
在又一个实施例中，为了便于理解本发明的方案，下面将结合一个具体的目录树进行详细说明，本实施例提供了又一种远程复制任务恢复方法，该方法在目录轮询比对的基础上，通过在目录和目录分片上打同步完成标识，设计了同步完成标识预创建功能、同步完成标识修复功能、同步完成标识过滤功能、分片目录标识功能，从而形成远程复制任务中断后高效率、低资源消耗的断点续传。下面将以上所提及的同步完成标识预创建功能、同步完成标识修复功能、同步完成标识过滤功能、分片目录标识功能进行分别说明：
(1)同步完成标识预创建功能
远程复制的数据传输是异步执行的，同步完成标识的首次创建并不完全是等复制完成后，所以首次创建是一个预创建的过程。
具体描述如附图2所示，文件远程复制在主集群上轮询比对基准快照和目标快照的目录树，比对到差异文件时开启一个线程对差异文件进行复制，同步数据的过程不会阻塞轮询比对。轮询比对从目录树的最下层开始，每比对完一个子目录(该目录下所有的文件和子目录都已经比对完成)就在该子目录上设置同步完成标识。如果复制过程中发生人为或异常的中断导致复制任务退出，再次启动任务后会重新开始轮询比对，此时会先判断目录上是否有同步完成标识。如果有，则说明此目录下所有的文件和子目录都已经同步完成，则跳过此目录；如果没有，则说明该目录还未同步成功，将会重新对该目录轮询比对。差异数据的传输是异步的，当主线程轮询比对到差异文件时会开启一个子线程进行差异数据的传输，主线程继续进行轮询比对。所以当轮询比对完一个目录的时候，该目录下的文件可能还未传输完毕，此时在目录上对同步完成标识进行预创建，代表目录已经轮询完成但是目录下的数据不保证同步完成。
(2)同步完成标识修复功能
同步完成标识预创建后如果发生远程复制任务中断，并不能保证预创建的标识是有效的。如果同步完成标识已经预创建但是其目录下还有未复制完成的文件，重新开始轮询比对的时候需要先将同步完成标识修复。
复制任务进行时，会将同步中的文件路径落盘到日志，当此文件同步完成时再将其删除。如果任务进行中发生中断，则还未同步完成的文件路径将会遗留在日志中。复制任务重启开始轮询比对前，需要根据日志中记录的路径将失败文件的所有父目录的同步标识置为“未完成”。这样就能保证轮询比对判断同步标识的时候所有的同步标识都是有效的。
具体描述如附图3所示，图3中file1为dir1.1下最后一个轮询比对的文件，此时正在异步线程中进行数据同步，dir1.1下所有的文件和目录都已经轮询完毕，所以给dir1.1预打同步标识。不妨假设恰好此时发生中断，file1还未复制完成，所以同步中文件路径“dir1/dir1.1/file1”遗留在日志中。当复制任务重新开始的时候，远程复制进程先检查是否有同步中文件路径日志，通过读取日志中的路径“dir1/dir1.1/file1”可知文件file1还未复制完成，需要将其所有层级的父目录dir1.1和dir1的同步完成标识置为N。dir1.1已有复制完成预标识，将其修复为正确的状态N。dir1因为还未进行同步完成标识预创建，其同步标识为N，无需处理。所有的同步中文件路径处理完成后，同步标识已经恢复正常，此时可以开始轮询比对。
(3)同步完成标识过滤功能
同步完成标识过滤功能是实现断点续传的核心功能，在轮询比对的时候，每轮询到一个目录先判断目录上的同步完成标识是否为“Y”，如果是说明该目录下的文件和子目录都已经完成复制，此时跳过该目录继续轮询下一个目录。
具体描述如附图4所示，轮询比对的时候按层级由下到上，由左到右的顺序进行。比对下级目录的时候必须先读取其父目录的同步标识，如果某一层父目录的同步标识为“Y”，则其下所有的子目录和文件都无需比对。根目录是所有文件和目录的父目录，轮询比对的第一步就是读取根目录的同步完成标识。根目录为dir1，如果其同步完成标识为“Y”则说明所有的文件和目录都已经轮询完成。当前为“N”，则继续轮询比对dir1下的子目录和文件。轮询到dir1.1，其同步完成标识为“N”，则继续轮询其子目录和文件。轮询到dir1.1.1，其同步完成标识为“Y”，说明其已经完全复制完成，无需继续向下轮询。继续轮询dir1.1下的其它目录和文件，对于目录如果其轮询标识为“N”则继续向其下级轮询，如果为“Y”则跳过当前目录继续向右轮询。此时dir1.1.1右面的文件为file1，比对file1是否有差异数据。如果有则开启同步线程进行数据同步，主线程继续轮询比对，断点续传由此开始。
(4)分片目录标识功能
由于文件没有轮询标识，所以断点续传是以目录为单位进行。当目录子项数目太多但是层级较浅的时候，仍需要轮询比对大多数子项。针对此种情况，将同步完成标识打在目录分片上，大目录时判断其分片目录上的标识，可以有效的过滤无效的轮询比对次数。
具体描述如附图5所示，图5中目录dir1下有几千文件，以1000为单位进行分片。轮询比对的时候将同步标识打在分片目录上。图5中目录dir1的分片1和分片2都已经同步完成。断点续传时从分片3开始轮询比对即可。
本实施例的一种远程复制任务恢复方法，至少具备以下有益技术效果：对传统远程复制任务进行改进，使用同步完成标识预创建功能、复同步完成标识修复功能、同步完成标识过滤功能、分片目录标识功能实现了一种基于轮询比对的高效率、高精度的断点续传，可以应用到分布式文件系统中进行数据传输的业务场景，显著提高相关业务的性能，减少对业务资源的占用，从而间接的提升分布式文件系统的产品竞争力。
在一些实施例中，请参照图6所示，本发明还提供了一种远程复制任务恢复装置200，所述装置包括：
比对模块201，配置用于在远程复制任务启动后，利用主线程对主集群上两个时间点快照对应的目录树上所有目录和所有文件自下而上依次执行轮询比对操作；
复制模块202，配置用于响应于任意目录或任意文件比对存在差异，则创建子线程为差异执行复制操作；
标识模块203，配置用于响应于任意目录执行完轮询比对操作，则在从集群目录树上为对应目录打标识；
标识修复模块204，配置用于响应于发生中断导致远程复制任务未完成退出且再次启动远程复制任务，则基于目录、各文件对应的复制操作执行结果对已打标识进行修复；
筛选模块205，配置用于根据从集群目录树上修复后的标识对重新轮询比对的目录树上的目录和文件进行筛选；
重新比对模块206，配置用于利用主线程重新对筛选出的目录和所有文件自下而上执行轮询比对操作，直至主集群上两个时间点快照对应的目录树差异目录和文件均已复制到从集群。
本实施例的一种远程复制任务恢复装置，通过在远程复制任务执行过程中，对从集群的目录树中复制完成的目录打标识，当发生中断需要重新轮询比对的时候，基于所打标识可以过滤掉有标识的目录，实现了远程复制任务断点续传，显著提升轮询比对的效率。
需要说明的是，关于远程复制任务恢复装置的具体限定可以参见上文中对远程复制任务恢复方法的限定，在此不再赘述。上述远程复制任务恢复装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中，也可以以软件形式存储于电子设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
根据本发明的另一方面，提供了一种电子设备，该电子设备可以是服务器，其内部结构图请参照图7所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的数据库用于存储数据。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时实现以上所述的远程复制任务恢复方法，具体来说，所述方法包括以下步骤：
在远程复制任务启动后，利用主线程对主集群上两个时间点快照对应的目录树上所有目录和所有文件自下而上依次执行轮询比对操作；
响应于任意目录或任意文件比对存在差异，则创建子线程为差异执行复制操作；
响应于任意目录执行完轮询比对操作，则在从集群目录树上为对应目录打标识；
响应于发生中断导致远程复制任务未完成退出且再次启动远程复制任务，则基于目录、各文件对应的复制操作执行结果对已打标识进行修复；
根据从集群目录树上修复后的标识对重新轮询比对的目录树上的目录和文件进行筛选；
利用主线程重新对筛选出的目录和所有文件自下而上执行轮询比对操作，直至主集群上两个时间点快照对应的目录树差异目录和文件均已复制到从集群。
根据本发明的又一方面，提供了一种计算机可读存储介质，请参照图8所示，其上存储有计算机程序，计算机程序被处理器执行时实现以上所述的远程复制任务恢复方法，具体来说，包括执行以下步骤：
在远程复制任务启动后，利用主线程对主集群上两个时间点快照对应的目录树上所有目录和所有文件自下而上依次执行轮询比对操作；
响应于任意目录或任意文件比对存在差异，则创建子线程为差异执行复制操作；
响应于任意目录执行完轮询比对操作，则在从集群目录树上为对应目录打标识；
响应于发生中断导致远程复制任务未完成退出且再次启动远程复制任务，则基于目录、各文件对应的复制操作执行结果对已打标识进行修复；
根据从集群目录树上修复后的标识对重新轮询比对的目录树上的目录和文件进行筛选；
利用主线程重新对筛选出的目录和所有文件自下而上执行轮询比对操作，直至主集群上两个时间点快照对应的目录树差异目录和文件均已复制到从集群。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种远程复制任务恢复方法，其特征在于，所述方法包括：
在远程复制任务启动后，利用主线程对主集群上两个时间点快照对应的目录树上所有目录和所有文件自下而上依次执行轮询比对操作；
响应于任意目录或任意文件比对存在差异，则创建子线程为差异执行复制操作；
响应于任意目录执行完轮询比对操作，则在从集群目录树上为对应目录打标识；
响应于发生中断导致远程复制任务未完成退出且再次启动远程复制任务，则基于目录、各文件对应的复制操作执行结果对已打标识进行修复；
根据从集群目录树上修复后的标识对重新轮询比对的目录树上的目录和文件进行筛选；
利用主线程重新对筛选出的目录和所有文件自下而上执行轮询比对操作，直至主集群上两个时间点快照对应的目录树差异目录和文件均已复制到从集群。
2.根据权利要求1所述的远程复制任务恢复方法，其特征在于，所述在从集群目录树上为对应目录打标识的步骤，包括：
为执行完轮询比对操作的目录创建一个同步完成标识；
将所述同步完成标识的状态设置为是。
3.根据权利要求2所述的远程复制任务恢复方法，其特征在于，所述方法还包括：
获取每个子线程执行复制操作的复制文件路径，并将所述复制文件路径写入日志；
响应于某个复制操作执行完成，则将日志中某个复制操作对应的复制文件路径删除。
4.根据权利要求3所述的远程复制任务恢复方法，其特征在于，所述基于目录、各文件对应的复制操作执行结果对已打标识进行修复的步骤，包括：
读取日志中未删除的复制文件路径；
基于复制文件路径确定被复制文件；
确定被复制文件在目录树上的所有父目录，将具有同步完成标识状态标识的父目录状态更改为否。
5.根据权利要求4所述的远程复制任务恢复方法，其特征在于，所述根据从集群目录树上修复后的标识对重新轮询比对的目录树上的目录和文件进行筛选的步骤，包括：
响应于某个目录带有同步完成标识且同步完成标识状态为是，则确认某个目录不需要重新比对；
响应于某个父目录任意带有同步完成标识且同步完成标识状态为是，则某个父目录下的所有子目录、子文件均不需要重新比对；
将两个时间点快照对应的目录树上所有目录和所有文件中不需要重新比对的目录和文件过滤掉，得到筛选出的目录和所有文件。
6.根据权利要求5所述的远程复制任务恢复方法，其特征在于，所述方法还包括：
响应于某个目录所包括的目录和文件总数超过预设值，则将某个目录下的目录、文件划分成多片，并在为其创建同步完成标识状态的同时创建与每个分片对应的分片标识；
响应于属于同一个分片的所有文件和目录均复制完成，则将对应的分片标识的状态设置为是，否则设置为否。
7.根据权利要求5所述的远程复制任务恢复方法，其特征在于，所述根据从集群目录树上修复后的标识对重新轮询比对的目录树上的目录和文件进行筛选的步骤，还包括：
响应于某个目录的同步完成标识状态为否且带有分片标识；则确认某个目录下分片标识状态为是的分片对应的文件及目录不需要重新比对。
8.一种远程复制任务恢复装置，其特征在于，所述装置包括：
比对模块，配置用于在远程复制任务启动后，利用主线程对主集群上两个时间点快照对应的目录树上所有目录和所有文件自下而上依次执行轮询比对操作；
复制模块，配置用于响应于任意目录或任意文件比对存在差异，则创建子线程为差异执行复制操作；
标识模块，配置用于响应于任意目录执行完轮询比对操作，则在从集群目录树上为对应目录打标识；
标识修复模块，配置用于响应于发生中断导致远程复制任务未完成退出且再次启动远程复制任务，则基于目录、各文件对应的复制操作执行结果对已打标识进行修复；
筛选模块，配置用于根据从集群目录树上修复后的标识对重新轮询比对的目录树上的目录和文件进行筛选；
重新比对模块，配置用于利用主线程重新对筛选出的目录和所有文件自下而上执行轮询比对操作，直至主集群上两个时间点快照对应的目录树差异目录和文件均已复制到从集群。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
存储器，所述存储器存储有可在所述处理器中运行的计算机程序，所述处理器执行所述程序时执行权利要求1-7任意一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时执行权利要求1-7任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311086302.0A CN117076204A (zh) | 2023-08-28 | 2023-08-28 | 一种远程复制任务恢复方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311086302.0A CN117076204A (zh) | 2023-08-28 | 2023-08-28 | 一种远程复制任务恢复方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117076204A true CN117076204A (zh) | 2023-11-17 |
Family
ID=88716785
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311086302.0A Pending CN117076204A (zh) | 2023-08-28 | 2023-08-28 | 一种远程复制任务恢复方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117076204A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117290328A (zh) * | 2023-11-22 | 2023-12-26 | 苏州元脑智能科技有限公司 | 存储系统文件并发同步方法、装置、设备及可读存储介质 |
-
2023
- 2023-08-28 CN CN202311086302.0A patent/CN117076204A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117290328A (zh) * | 2023-11-22 | 2023-12-26 | 苏州元脑智能科技有限公司 | 存储系统文件并发同步方法、装置、设备及可读存储介质 |
| CN117290328B (zh) * | 2023-11-22 | 2024-02-27 | 苏州元脑智能科技有限公司 | 存储系统文件并发同步方法、装置、设备及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10423585B2 (en) | Method and device for making differential upgrade package, and method and device for system differential upgrading | |
| CN110543386B (zh) | 一种数据存储方法、装置、设备和存储介质 | |
| CN117076204A (zh) | 一种远程复制任务恢复方法、装置、设备及介质 | |
| US20070220328A1 (en) | Shutdown recovery | |
| US8051041B2 (en) | Apparatus and method for file difference management | |
| CN112286728A (zh) | 数据备份方法、装置、设备及计算机存储介质 | |
| CN109522160B (zh) | 通过保存文件信息摘要进行文件目录比较备份方法和系统 | |
| CN110263095B (zh) | 数据备份与恢复方法、装置、计算机设备及存储介质 | |
| CN107479881B (zh) | 差异代码的同步方法、存储介质、电子设备及系统 | |
| CN105376277A (zh) | 一种数据同步方法及装置 | |
| US7770065B2 (en) | File data restoring system and method of computer operating system and software thereof | |
| CN111858468B (zh) | 分布式文件系统元数据校验方法、系统、终端及存储介质 | |
| CN110750546A (zh) | 一种数据库的更新方法及装置 | |
| CN114968966A (zh) | 分布式元数据远程异步复制方法、装置和设备 | |
| EP3147789B1 (en) | Method for re-establishing standby database, and apparatus thereof | |
| CN108039960B (zh) | 配置信息下发方法及服务器 | |
| WO2018059239A1 (zh) | 一种文件存储方法及装置 | |
| CN114780298A (zh) | 文件数据处理方法、装置、计算机终端及存储介质 | |
| CN113420081A (zh) | 数据校验方法、装置、电子设备及计算机存储介质 | |
| CN117763046A (zh) | 集群间数据同步的方法、装置、设备及存储介质 | |
| CN110543485B (zh) | 一种基于快照的区块链预约归档方法 | |
| CN111680040A (zh) | 数据表处理方法及装置 | |
| CN116383161A (zh) | 一种文件同步方法、装置以及介质 | |
| CN110109934B (zh) | 一种数据库管理方法、装置、服务器及存储介质 | |
| CN104715059A (zh) | 一种数据处理方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |