CN117370310A - 一种分布式文件系统跨集群数据增量迁移的方法 - Google Patents

一种分布式文件系统跨集群数据增量迁移的方法 Download PDF

Info

Publication number
CN117370310A
CN117370310A CN202311353018.5A CN202311353018A CN117370310A CN 117370310 A CN117370310 A CN 117370310A CN 202311353018 A CN202311353018 A CN 202311353018A CN 117370310 A CN117370310 A CN 117370310A
Authority
CN
China
Prior art keywords
migration
file
file system
etcd
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311353018.5A
Other languages
English (en)
Other versions
CN117370310B (zh
Inventor
周鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongdian Cloud Computing Technology Co ltd
Original Assignee
Zhongdian Cloud Computing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongdian Cloud Computing Technology Co ltd filed Critical Zhongdian Cloud Computing Technology Co ltd
Priority to CN202311353018.5A priority Critical patent/CN117370310B/zh
Publication of CN117370310A publication Critical patent/CN117370310A/zh
Application granted granted Critical
Publication of CN117370310B publication Critical patent/CN117370310B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种分布式文件系统跨集群数据增量迁移的方法。本方法包括启动数据迁移，拉起迁移工作进程；迁移工作进程开始后，解析当前迁移文件的路径，将解析获得的文件路径作为key，定义其value为0，写入ETCD中，然后创建一个协程用于执行etcd.Watch函数，当该路径的目录下出现文件写打开时，则将key对应的value加1，当写打开关闭时，将key对应的value减1，每次value的更新都会唤醒上述协程；迁移完成后删除ETCD中Watch的key。本方法通过引入ETCD组件使迁移工作进程自动识别出需要重新迁移或暂停迁移的文件，从而实现了迁移过程中不停止写业务情况下完成文件增量的迁移。

Description

一种分布式文件系统跨集群数据增量迁移的方法
技术领域
本发明属于数据迁移方法技术领域，尤其涉及一种分布式文件系统跨集群数据增量迁移的方法。
背景技术
当前，分布式文件系统在不停止写业务的前提下进行跨集群数据迁移时会遇到以下问题：
(1)若正在迁移的文件同时被用户修改，则迁移到目的集群的文件很可能是非预期的结果。因此，当出现上述情况时，需要暂停迁移该文件，等该文件完成修改操作后再去对比数据并进行再次迁移，从而降低了数据迁移的效率。
(2)若迁移过程中，当某个文件已经被迁移成功后，用户又修改了该文件，则需要对该文件做增量的迁移，从而增加了工作量。
(3)若某一个目录已完成了迁移，此后用户又向源文件系统的该目录上传了文件，则需要将该文件识别出来并同步到目的文件系统，识别和同步过程会耗费较长的时间和增加额外的人力成本。
发明内容
为了解决目前分布式文件系统跨集群数据迁移过程中存在的上述问题，本发明提出了一种新的分布式文件系统跨集群数据增量迁移的方法，本方法通过引入ETCD组件使迁移工作进程自动识别出需要重新迁移或暂停迁移的文件，从而实现了迁移过程中不停止写业务情况下完成文件增量的迁移，大大提高了数据迁移的效率，并降低了人力成本。
具体地，本发明提供了一种分布式文件系统跨集群数据增量迁移的方法，本方法包括：
S1.启动源文件系统向目的文件系统的数据迁移，拉起迁移工作进程；
S2.迁移工作进程开始后，首先解析当前迁移文件的路径，一直解析到该文件的最后一个目录分量，将解析获得的文件路径作为key，定义其value为0，写入ETCD中，然后创建一个协程用于执行etcd.Watch函数，等待出现key被修改的事件，当该路径的目录下出现文件写打开时，则将key对应的value加1，当写打开关闭时，将key对应的value减1，每次value的更新都会唤醒上述协程(阻塞等待的协程)；
S3.迁移完成后，迁移工作进程删除ETCD中Watch的key。
进一步地，根据本发明的一些实施例，本发明分布式文件系统跨集群数据增量迁移的方法步骤S1中所述启动源文件系统向目的文件系统的数据迁移是通过执行clisync--src_fs＝A--dst_fs＝B命令向源文件系统发起数据迁移的请求，该命令中--src_fs指定源文件系统，-dst_fs指定目的文件系统，执行完上述命令，即可拉起迁移工作进程。
进一步地，本发明分布式文件系统跨集群数据增量迁移的方法中所述迁移工作进程能够将文件从源文件系统中读取出来，然后写入到目的文件系统中。
进一步地，根据本发明的一些实施例，本发明分布式文件系统跨集群数据增量迁移的方法步骤S2中还包括：当用户对正在迁移的文件进行修改时，该文件出现了写打开，执行etcd.Watch函数的协程会被唤醒，此时value为1，则停止迁移，当写打开关闭后，上述协程会再次被唤醒，此时value变回为0，表示文件的修改操作完成，重新开始对该文件进行迁移。
进一步地，根据本发明的一些实施例，本发明分布式文件系统跨集群数据增量迁移的方法步骤S2中还包括：当某个文件已经被迁移到目的文件系统后，用户又在源文件系统中对该文件进行了修改，此时执行etcd.Watch函数的协程会被唤醒，当value变为0后，将该文件重新迁移到目的文件系统中。
进一步地，根据本发明的一些实施例，本发明分布式文件系统跨集群数据增量迁移的方法步骤S2中还包括：当某个目录已经完成了迁移，用户又向源文件系统的该目录写入了新文件，此时执行etcd.Watch函数的协程会被唤醒，该协程对比源文件系统和目的文件系统中该目录下的文件，识别出源文件系统中该目录下的新增文件，然后将该新增文件迁移到目的文件系统中。
另外，本发明还提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述程序被处理器执行时实现上述的分布式文件系统跨集群数据增量迁移的方法的步骤。
另一方面，本发明还提供了一种分布式文件系统跨集群数据增量迁移系统，本迁移系统包括：
迁移启动模块：通过执行cli sync--src_fs＝A--dst_fs＝B命令向源文件系统发起数据迁移的请求，启动源文件系统向目的文件系统的数据迁移，拉起迁移工作进程；
路径解析模块：解析当前迁移文件的路径，一直解析到该文件的最后一个目录分量；
函数定义模块：将解析获得的文件路径作为key，定义其value为0，写入ETCD中，当该路径的目录下出现文件写打开时，则将key对应的value加1，当写打开关闭时，将key对应的value减1；
协程管理模块：创建一个协程用于执行etcd.Watch函数，每次value的更新都会唤醒该协程；
数据传输模块：从源文件系统读取数据，再写入到目的文件系统；
路径清除模块：迁移完成后删除ETCD中Watch的key。
各模块按照上述的分布式文件系统跨集群数据增量迁移的方法实施运行。
综上，本发明分布式文件系统跨集群数据增量迁移的方法通过引入ETCD组件使迁移工作进程自动识别出需要重新迁移或暂停迁移的文件，从而实现了迁移过程中不停止写业务情况下完成文件增量的迁移，很好地克服了现有分布式文件系统跨集群数据迁移方法迁移效率低、耗时长、人力成本高等缺陷，本方法大大提高了数据迁移的效率，并降低了人力成本。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面对本发明实施例中需要使用的附图作简要介绍，显而易见地，下述附图仅是本发明中记载的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明方法的设计原理示意图。
图2为本发明方法的整体实施流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合具体实施例及相应的附图对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例，本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。
同时，应理解，本发明的保护范围并不局限于下述特定的具体实施方案；还应当理解，本发明实施例中使用的术语是为了描述特定的具体实施方案，而不是为了限制本发明的保护范围。
实施例1：一种分布式文件系统跨集群数据增量迁移的方法
以某分布式文件系统A为例，分布式文件系统A有100万文件及目录，需要同步迁移到分布式文件系统B，现分别对以下三种情况进行讨论：
(1)假设正在迁移/dir1/dir2/migrating_file文件，迁移过程中又对该文件进行了修改。
(2)假设迁移完成了/dir1目录后，系统A又对原有的文件/dir1/dir2/old_file进行了修改。
(3)假设迁移完成了/dir1/dir2目录后，用户又向/dir1/dir2中新写入了new_file文件。
如图1和图2所示，上述三种情况整个迁移过程的具体执行步骤如下：
步骤1：启动系统A向系统B的数据迁移：通过执行cli sync--src_fs＝A--dst_fs＝B命令(--src_fs指定源文件系统，-dst_fs指定目的文件系统)向分布式文件系统发起数据迁移的请求，执行完该命令，会拉起迁移工作进程，该进程负责将文件从系统A读取出来，然后写入到系统B中。
步骤2：迁移进行中：例如迁移进程正在迁移/dir1/dir2/file文件，首先根据‘/’符号解析文件的路径，一直解析到最后一个目录分量，该文件的最后一个目录分量为file，以这个文件的路径(/dir1/dir2/file)作为key，value为0，写入ETCD中，并创建一个协程执行etcd.Watch函数阻塞等待出现key被修改的事件，当该目录下出现文件写打开时，则将key对应的value加1，当写打开的fd关闭时，key对应的value减1，每次value的更新都会唤醒阻塞等待的协程，此时包括以下三种情况：
情况1：该目录中的文件还正在迁移过程中，若value是非0则先停止迁移，当value变为0后即文件的增删改操作完成后再重新对比文件并迁移。例如，/dir1/dir2/migrating_file正在迁移，此时该文件出现了写打开，则执行Watch函数的协程会被唤醒，此时value是1，因此终止该迁移任务；当文件句柄被关闭后，协程会再次被唤醒此时value是0，因此重新开始对/dir1/dir2/migrating_file进行迁移。
情况2：该目录中的文件已经迁移完成，但系统A中文件再次被用户修改，则当value的值变为0后重新对比文件并迁移。例如，/dir1/dir2/old_file已经迁移到系统B后，用户对系统A中的/dir1/dir2/old_file进行了追加写或覆盖写操作，则Watch协程会被唤醒，发现value值是0时，则将该文件重新迁移到系统B中。
情况3：该目录中的文件已经迁移完成，会以该目录路径作为key执行Watch函数，当目录内有新增的文件时，会唤醒协程，对比目录中的文件，然后迁移新增的文件。例如，迁移完成/dir1/dir2目录后，用户向系统A中新写了/dir1/dir2/new_file文件，此时，Watch/dir1/dir2的协程会被唤醒，该协程对比系统A和系统B之间的/dir1/dir2目录发现系统A新增了/dir1/dir2/new_file，因此将该文件迁移到系统B中。
通过以上方法，可保证上述三种情况发生后系统A和系统B中的数据始终是一致的。
步骤3：迁移完成后，迁移工作进程删除ETCD中watch的key。
实施例2：一种分布式文件系统跨集群数据增量迁移系统
本迁移系统包括：
迁移启动模块：通过执行cli sync--src_fs＝A--dst_fs＝B命令向源文件系统发起数据迁移的请求，启动源文件系统向目的文件系统的数据迁移，拉起迁移工作进程；
路径解析模块：解析当前迁移文件的路径，一直解析到该文件的最后一个目录分量；
函数定义模块：将解析获得的文件路径作为key，定义其value为0，写入ETCD中，当该路径的目录下出现文件写打开时，则将key对应的value加1，当写打开关闭时，将key对应的value减1；
协程管理模块：创建一个协程用于执行etcd.Watch函数，每次value的更新都会唤醒该协程；
数据传输模块：从源文件系统读取数据，再写入到目的文件系统；
路径清除模块：迁移完成后删除ETCD中Watch的key。
上述各模块按照实施例1所述的分布式文件系统跨集群数据增量迁移的方法实施运行。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰获得等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均应包含在本发明的权利要求保护范围之内。

Claims (8)

1.一种分布式文件系统跨集群数据增量迁移的方法，其特征在于，所述方法包括：
S1.启动源文件系统向目的文件系统的数据迁移，拉起迁移工作进程；
S2.迁移工作进程开始后，首先解析当前迁移文件的路径，一直解析到该文件的最后一个目录分量，将解析获得的文件路径作为key，定义其value为0，写入ETCD中，然后创建一个协程用于执行etcd.Watch函数，当该路径的目录下出现文件写打开时，则将key对应的value加1，当写打开关闭时，将key对应的value减1，每次value的更新都会唤醒上述协程；
S3.迁移完成后，迁移工作进程删除ETCD中Watch的key。
2.根据权利要求1所述的分布式文件系统跨集群数据增量迁移的方法，其特征在于，步骤S1中所述启动源文件系统向目的文件系统的数据迁移是通过执行cli sync--src_fs＝A--dst_fs＝B命令向源文件系统发起数据迁移的请求，该命令中--src_fs指定源文件系统，-dst_fs指定目的文件系统，执行完上述命令，即可拉起迁移工作进程。
3.根据权利要求2所述的分布式文件系统跨集群数据增量迁移的方法，其特征在于，所述迁移工作进程能够将文件从源文件系统中读取出来，然后写入到目的文件系统中。
4.根据权利要求1所述的分布式文件系统跨集群数据增量迁移的方法，其特征在于，步骤S2中还包括：当用户对正在迁移的文件进行修改时，该文件出现了写打开，执行etcd.Watch函数的协程会被唤醒，此时value为1，则停止迁移，当写打开关闭后，上述协程会再次被唤醒，此时value变回为0，表示文件的修改操作完成，重新开始对该文件进行迁移。
5.根据权利要求1所述的分布式文件系统跨集群数据增量迁移的方法，其特征在于，步骤S2中还包括：当某个文件已经被迁移到目的文件系统后，用户又在源文件系统中对该文件进行了修改，此时执行etcd.Watch函数的协程会被唤醒，当value变为0后，将该文件重新迁移到目的文件系统中。
6.根据权利要求1所述的分布式文件系统跨集群数据增量迁移的方法，其特征在于，步骤S2中还包括：当某个目录已经完成了迁移，用户又向源文件系统的该目录写入了新文件，此时执行etcd.Watch函数的协程会被唤醒，该协程对比源文件系统和目的文件系统中该目录下的文件，识别出源文件系统中该目录下的新增文件，然后将该新增文件迁移到目的文件系统中。
7.一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述程序被处理器执行时实现权利要求1-6任一项所述的分布式文件系统跨集群数据增量迁移的方法的步骤。
8.一种分布式文件系统跨集群数据增量迁移系统，其特征在于，所述迁移系统包括：
迁移启动模块：通过执行cli sync--src_fs＝A--dst_fs＝B命令向源文件系统发起数据迁移的请求，启动源文件系统向目的文件系统的数据迁移，拉起迁移工作进程；
路径解析模块：解析当前迁移文件的路径，一直解析到该文件的最后一个目录分量；
函数定义模块：将解析获得的文件路径作为key，定义其value为0，写入ETCD中，当该路径的目录下出现文件写打开时，则将key对应的value加1，当写打开关闭时，将key对应的value减1；
协程管理模块：创建一个协程用于执行etcd.Watch函数，每次value的更新都会唤醒该协程；
数据传输模块：从源文件系统读取数据，再写入到目的文件系统；
路径清除模块：迁移完成后删除ETCD中Watch的key。
CN202311353018.5A 2023-10-19 2023-10-19 一种分布式文件系统跨集群数据增量迁移的方法 Active CN117370310B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311353018.5A CN117370310B (zh) 2023-10-19 2023-10-19 一种分布式文件系统跨集群数据增量迁移的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311353018.5A CN117370310B (zh) 2023-10-19 2023-10-19 一种分布式文件系统跨集群数据增量迁移的方法

Publications (2)

Publication Number Publication Date
CN117370310A true CN117370310A (zh) 2024-01-09
CN117370310B CN117370310B (zh) 2024-05-28

Family

ID=89401870

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311353018.5A Active CN117370310B (zh) 2023-10-19 2023-10-19 一种分布式文件系统跨集群数据增量迁移的方法

Country Status (1)

Country Link
CN (1) CN117370310B (zh)

Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100274825A1 (en) * 2009-04-23 2010-10-28 Hitachi, Ltd. Data migration system and data migration method
US9563628B1 (en) * 2012-12-11 2017-02-07 EMC IP Holding Company LLC Method and system for deletion handling for incremental file migration
US20170075907A1 (en) * 2015-09-14 2017-03-16 Komprise, Inc. Electronic file migration system and various methods of transparent data migration management
CN106844510A (zh) * 2016-12-28 2017-06-13 北京五八信息技术有限公司 一种分布式数据库集群的数据迁移方法和装置
CN108256002A (zh) * 2017-12-31 2018-07-06 广东欧珀移动通信有限公司 跨机房数据同步方法、装置、系统以及服务器
US20190065096A1 (en) * 2017-08-25 2019-02-28 Vmware, Inc. Distributed file storage system supporting accesses from multiple container hosts
US20190213175A1 (en) * 2016-12-26 2019-07-11 Tencent Technology (Shenzhen) Company Limited Data migration method and system
CN110427284A (zh) * 2019-07-31 2019-11-08 中国工商银行股份有限公司 数据处理方法、分布式系统、计算机系统和介质
CN110995871A (zh) * 2019-12-24 2020-04-10 浪潮云信息技术有限公司 一种实现kv存储服务高可用的方法
CN111314416A (zh) * 2019-12-30 2020-06-19 广州市百果园网络科技有限公司 数据同步方法、装置、系统、设备和存储介质
WO2020168692A1 (zh) * 2019-02-22 2020-08-27 全球能源互联网研究院有限公司 海量数据共享方法、开放共享平台及电子设备
US20200311035A1 (en) * 2017-09-28 2020-10-01 Research Institute Of Tsinghua University In Shenzhen Hybrid file system architecture, file storage, dynamic migration, and application thereof
CN111984274A (zh) * 2020-07-03 2020-11-24 新浪网技术(中国)有限公司 一种一键自动化部署etcd集群的方法及装置
CN112000292A (zh) * 2020-08-21 2020-11-27 北京金山云网络技术有限公司 数据迁移的方法、装置、电子设备和计算机存储介质
CN112069154A (zh) * 2020-09-18 2020-12-11 中国工商银行股份有限公司 etcd分布式数据库自动运维方法及相关装置
CN113050890A (zh) * 2021-03-26 2021-06-29 北京沃东天骏信息技术有限公司 一种数据迁移方法和装置
CN113051108A (zh) * 2021-03-26 2021-06-29 北京明略昭辉科技有限公司 一种数据备份方法及系统
WO2021232243A1 (zh) * 2020-05-19 2021-11-25 深圳市欢太科技有限公司 集群管理方法、集群管理装置、存储介质与电子设备
CN113704218A (zh) * 2021-08-26 2021-11-26 哈尔滨工业大学 一种容器环境中运行时数据迁移方法及系统
CN115292245A (zh) * 2022-07-27 2022-11-04 浪潮云信息技术股份公司 一种Apache Phoenix表的跨集群数据迁移方法
CN115543687A (zh) * 2022-09-27 2022-12-30 网络通信与安全紫金山实验室 Etcd集群业务数据恢复方法、装置、设备及存储介质
CN115687367A (zh) * 2023-01-04 2023-02-03 成都精灵云科技有限公司 基于etcd键值版本号的id生成方法及系统
CN116414798A (zh) * 2023-02-03 2023-07-11 浪潮电子信息产业股份有限公司 基于集群文件系统的分布式一致性实现方法、装置及介质

Patent Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100274825A1 (en) * 2009-04-23 2010-10-28 Hitachi, Ltd. Data migration system and data migration method
US9563628B1 (en) * 2012-12-11 2017-02-07 EMC IP Holding Company LLC Method and system for deletion handling for incremental file migration
US20170075907A1 (en) * 2015-09-14 2017-03-16 Komprise, Inc. Electronic file migration system and various methods of transparent data migration management
US20190213175A1 (en) * 2016-12-26 2019-07-11 Tencent Technology (Shenzhen) Company Limited Data migration method and system
CN106844510A (zh) * 2016-12-28 2017-06-13 北京五八信息技术有限公司 一种分布式数据库集群的数据迁移方法和装置
US20190065096A1 (en) * 2017-08-25 2019-02-28 Vmware, Inc. Distributed file storage system supporting accesses from multiple container hosts
US20200311035A1 (en) * 2017-09-28 2020-10-01 Research Institute Of Tsinghua University In Shenzhen Hybrid file system architecture, file storage, dynamic migration, and application thereof
CN108256002A (zh) * 2017-12-31 2018-07-06 广东欧珀移动通信有限公司 跨机房数据同步方法、装置、系统以及服务器
WO2020168692A1 (zh) * 2019-02-22 2020-08-27 全球能源互联网研究院有限公司 海量数据共享方法、开放共享平台及电子设备
CN110427284A (zh) * 2019-07-31 2019-11-08 中国工商银行股份有限公司 数据处理方法、分布式系统、计算机系统和介质
CN110995871A (zh) * 2019-12-24 2020-04-10 浪潮云信息技术有限公司 一种实现kv存储服务高可用的方法
CN111314416A (zh) * 2019-12-30 2020-06-19 广州市百果园网络科技有限公司 数据同步方法、装置、系统、设备和存储介质
WO2021232243A1 (zh) * 2020-05-19 2021-11-25 深圳市欢太科技有限公司 集群管理方法、集群管理装置、存储介质与电子设备
CN111984274A (zh) * 2020-07-03 2020-11-24 新浪网技术(中国)有限公司 一种一键自动化部署etcd集群的方法及装置
CN112000292A (zh) * 2020-08-21 2020-11-27 北京金山云网络技术有限公司 数据迁移的方法、装置、电子设备和计算机存储介质
CN112069154A (zh) * 2020-09-18 2020-12-11 中国工商银行股份有限公司 etcd分布式数据库自动运维方法及相关装置
CN113050890A (zh) * 2021-03-26 2021-06-29 北京沃东天骏信息技术有限公司 一种数据迁移方法和装置
CN113051108A (zh) * 2021-03-26 2021-06-29 北京明略昭辉科技有限公司 一种数据备份方法及系统
CN113704218A (zh) * 2021-08-26 2021-11-26 哈尔滨工业大学 一种容器环境中运行时数据迁移方法及系统
CN115292245A (zh) * 2022-07-27 2022-11-04 浪潮云信息技术股份公司 一种Apache Phoenix表的跨集群数据迁移方法
CN115543687A (zh) * 2022-09-27 2022-12-30 网络通信与安全紫金山实验室 Etcd集群业务数据恢复方法、装置、设备及存储介质
CN115687367A (zh) * 2023-01-04 2023-02-03 成都精灵云科技有限公司 基于etcd键值版本号的id生成方法及系统
CN116414798A (zh) * 2023-02-03 2023-07-11 浪潮电子信息产业股份有限公司 基于集群文件系统的分布式一致性实现方法、装置及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
罗永安: "基于Kubernetes的资源调度策略研究与优化", 《中国优秀硕士学位论文全文数据库》 信息科技辑, 15 March 2022 (2022-03-15) *

Also Published As

Publication number Publication date
CN117370310B (zh) 2024-05-28

Similar Documents

Publication Publication Date Title
US9460184B2 (en) Application of a differential dataset to a data store using sequential change sets
US9710186B2 (en) Performing online data migration with concurrent active user access to the data
TWI479341B (zh) 資訊系統中轉換資料之高處理能力，可靠複寫
CN109299072B (zh) 一种数据库在线迁移的方法及装置
CN105868343B (zh) 数据库迁移方法及系统
US20070239949A1 (en) Method and apparatus for reclaiming space in memory
US8484644B2 (en) Auto-restart processing in an IMS batch application
US7698319B2 (en) Database system management method, database system, database device, and backup program
JP2006268139A (ja) データ複製装置、方法及びプログラム並びに記憶システム
WO2023165196A1 (zh) 一种日志存储加速方法、装置、电子设备及非易失性可读存储介质
US9298733B1 (en) Storing files in a parallel computing system based on user or application specification
CN112256400A (zh) 一种虚拟机快照管理方法及装置
CN117370310B (zh) 一种分布式文件系统跨集群数据增量迁移的方法
US11294866B2 (en) Lazy optimistic concurrency control
US11093348B2 (en) Method, device and computer program product for recovering metadata
US7219096B2 (en) Method for migrating open files on a busy file system
CN115658391A (zh) 基于QianBase MPP数据库的WAL机制的备份恢复方法
CN115953017A (zh) 流程变更方法、装置、电子设备及计算机可读存储介质
WO2004077219A2 (en) System and method of mapping patterns of data, optimising disk read and write, verifying data integrity across clients and servers of different functionality having shared resources
WO2023272895A1 (zh) 一种数据和日志一体化的值日志实现方法、装置、设备及存储介质
CN101650735B (zh) 一种数据初始状态恢复方法、装置和单点登录系统
JP2008129967A (ja) ボリューム移行プログラム及び方法
CN111400108A (zh) 搭建HBase灾备集群的方法
CN116166204B (zh) 一种多版本加密存储的迁移方法
CN111427519B (zh) 一种分布式存储数据迁移方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant