CN106844417B - 基于文件目录的热迁移方法及装置 - Google Patents
基于文件目录的热迁移方法及装置 Download PDFInfo
- Publication number
- CN106844417B CN106844417B CN201611041877.0A CN201611041877A CN106844417B CN 106844417 B CN106844417 B CN 106844417B CN 201611041877 A CN201611041877 A CN 201611041877A CN 106844417 B CN106844417 B CN 106844417B
- Authority
- CN
- China
- Prior art keywords
- migration
- data
- file
- file directory
- migrated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
- G06F16/119—Details of migration of file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于文件目录的热迁移方法，应用于分布式文件系统，包括：创建待迁移文件目录下各文件的本地副本；采用异步操作迁移数据，将本地副本中的第一部分数据从迁出端迁移到迁入端，并在数据迁移过程中对前台IO进行隔离；当完成第一部分数据的迁移时，阻塞前台IO，并采用同步操作迁移数据，将本地副本中的第二部分数据从迁出端迁移到迁入端；将待迁移文件目录下各文件的访问路径从迁出端切换到迁入端，其中，异步操作迁移的总数据量大于同步操作迁移的总数据量。本发明还公开了一种基于文件目录的热迁移装置。本发明在实现了大量数据热迁移的同时，达到了对前台IO影响最小的效果。
Description
技术领域
本发明涉及分布式文件系统领域，尤其涉及基于文件目录的热迁移方法及装置。
背景技术
现有基于文件系统的分布式存储系统中，随着读写量的增多或者出现扩容缩容行为时，系统中文件就会出现分布不均衡，因而需要进行热迁移。
而现有基于分布式文件系统的热迁移技术中，需要同时对多个待迁移文件的副本进行同步写，因而不能实现与前台IO进行隔离，从而造成在漫长的数据迁移过程中持续影响前台IO性能。
发明内容
本发明的主要目的在于提供一种基于文件目录的热迁移方法及装置，旨在解决现有热迁移技术中未与前台IO进行隔离，进而使得在漫长的数据迁移过程中，持续影响前台IO性能的技术问题。
为实现上述目的，本发明提供一种基于文件目录的热迁移方法，应用于分布式文件系统，所述基于文件目录的热迁移方法包括：
创建待迁移文件目录下各文件的本地副本；
采用异步操作迁移数据，将所述本地副本中的第一部分数据从迁出端迁移到迁入端，并在数据迁移过程中对前台IO进行隔离；
当完成所述第一部分数据的迁移时，阻塞前台IO，并采用同步操作迁移数据，将所述本地副本中的第二部分数据从所述迁出端迁移到所述迁入端；
将所述待迁移文件目录下各文件的访问路径从所述迁出端切换到所述迁入端，其中，异步操作迁移的总数据量大于同步操作迁移的总数据量。
优选地，采用后台主动创建与写时复制被动创建的并行创建方式，对所述待迁移文件目录下各文件进行全量快照，以创建对应的本地副本；
其中，在所述后台主动创建方式下，若所述待迁移文件目录所在磁盘的读写IO队列由非空变换为空，则启动进行所述本地副本的创建，若该磁盘的读写IO队列由空变换为非空，则暂停进行所述本地副本的创建；
在所述写时复制被动创建方式下，若前台IO对未创建本地副本的文件进行读写，则在该文件被修改之前，完成该文件的本地副本的创建。
优选地，所述在数据迁移过程中对前台IO进行隔离包括：
在数据迁移过程中，对前台IO队列进行监控；
若前台IO队列由非空变换为空，则启动进行数据迁移，若前台IO队列由空变换为非空，则暂停进行数据迁移。
优选地，所述基于文件目录的热迁移方法还包括：
在采用异步操作迁移数据之前，将写操作的日志状态设置为异步记录日志状态，在采用同步操作迁移数据之前，将写操作的日志状态设置为同步记录日志状态。
优选地，采用租约机制回收所述分布式文件系统的客户端写权限，以供阻塞前台IO。
进一步地，为实现上述目的，本发明还提供一种基于文件目录的热迁移装置，应用于分布式文件系统，所述基于文件目录的热迁移装置包括：
创建模块，用于创建待迁移文件目录下各文件的本地副本；
异步迁移模块，用于采用异步操作迁移数据，将所述本地副本中的第一部分数据从迁出端迁移到迁入端，并在数据迁移过程中对前台IO进行隔离；
同步迁移模块，用于当完成所述第一部分数据的迁移时，阻塞前台IO，并采用同步操作迁移数据，将所述本地副本中的第二部分数据从所述迁出端迁移到所述迁入端；
切换模块，用于将所述待迁移文件目录下各文件的访问路径从所述迁出端切换到所述迁入端，其中，异步操作迁移的总数据量大于同步操作迁移的总数据量。
优选地，采用后台主动创建与写时复制被动创建的并行创建方式，对所述待迁移文件目录下各文件进行全量快照，以创建对应的本地副本；
其中，所述创建模块还用于：在所述后台主动创建方式下，若所述待迁移文件目录所在磁盘的读写IO队列由非空变换为空，则启动进行所述本地副本的创建，若该磁盘的读写IO队列由空变换为非空，则暂停进行所述本地副本的创建；在所述写时复制被动创建方式下，若前台IO对未创建本地副本的文件进行读写，则在该文件被修改之前，完成该文件的本地副本的创建。
优选地，所述异步迁移模块还用于：
在数据迁移过程中，对前台IO队列进行监控；
若前台IO队列由非空变换为空，则启动进行数据迁移，若前台IO队列由空变换为非空，则暂停进行数据迁移。
优选地，所述基于文件目录的热迁移装置还包括：
设置模块，用于在采用异步操作迁移数据之前，将写操作的日志状态设置为异步记录日志状态，在采用同步操作迁移数据之前，将写操作的日志状态设置为同步记录日志状态。
优选地，采用租约机制回收所述分布式文件系统的客户端写权限，以供阻塞前台IO。
本发明中，将数据迁移过程分为异步阶段与同步阶段两个部分，其中异步阶段迁移绝大部分数据量，但不会对前台IO业务造成阻塞，而同步阶段迁移数据量少，但会瞬间阻塞前台IO业务，本发明采用上述方式可以在保证大量数据迁移的情况下，达到对前台IO影响最小的效果。
附图说明
图1为本发明基于文件目录的热迁移方法中分布式文件系统一实施例的逻辑关系示意图；
图2为本发明基于文件目录的热迁移方法一实施例的流程示意图；
图3为基于文件目录的热迁移装置第一实施例的功能模块示意图；
图4为基于文件目录的热迁移装置第二实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明基于文件目录的热迁移方法中分布式文件系统一实施例的逻辑关系示意图。
如图1所示，本实施例中具体在上层的分布式文件系统之下，增加一层透明的迁移逻辑，整个迁移过程由服务侧进而控制，对客户端透明，因此，本实施例中的迁移逻辑与客户端的迁移逻辑互不干扰。
MDS表示元数据服务器，主要负责监控物理节点的状态和按负载情况计算数据布局以及：1.定时采集各brick的负载情况，按负载重新计算布局OSD-Brick映射视图；2.统一保存brick状态，包括up/down/in/out；3.发放/回收对OSD的写权限；4.MDS采用Zk集群，保障可靠性。
Brick表示物理节点，对应一个磁盘。主要用于：1.管理迁入/迁出任务；2.每个brick对应一个BrickProxy。
OSD表示逻辑节点，对应磁盘上一个文件目录，主要用于具体执行写开关和缓冲IO。
基于上述分布式文件系统的逻辑关系，提出本发明基于文件目录的热迁移方法及装置的各实施例。
参照图2，图2为本发明基于文件目录的热迁移方法一实施例的流程示意图。
为实现大量数据热迁移的同时，达到对前台IO影响最小的目的，本实施例中，基于文件目录的热迁移方法包括：
步骤S10，创建待迁移文件目录下各文件的本地副本；
本实施例中，为进行数据的热迁移，因此，需要先创建待迁移数据的副本。本实施例中具体基于文件目录进行数据热迁移，因此，需要创建待迁移文件目录下各文件的本地副本。比如待迁移文件目录下有五个文件，则需要创建该五个文件所各自对应的总共五个本地副本，也即在本地迁出端创建对应的镜像文件。
需要进一步说明的是，本实施例中的文件目录下的文件通常都是小文件(数据量小于4M)，因此，在迁移效率上较现有方式效率更高。同时，本实施例中并不限定本地副本的创建方式，具体根据实际需要进行设置。
步骤S20，采用异步操作迁移数据，将本地副本中的第一部分数据从迁出端迁移到迁入端，并在数据迁移过程中对前台IO进行隔离；
步骤S30，当完成第一部分数据的迁移时，阻塞前台IO，并采用同步操作迁移数据，将本地副本中的第二部分数据从迁出端迁移到迁入端；
本实施例中，具体基于前台IO操作以区分同步操作与异步操作。若与前台IO的写操作同步而迁移数据，则为采用同步操作迁移数据，而若与前台IO的写操作不同步而迁移数据，则为采用异步操作迁移数据。其中，异步操作迁移数据不需要阻塞前台IO，而同步操作迁移数据则需要阻塞前台IO。
此外，本实施例中，对于第一部分数据与第二部分数据的划分方式不限，例如直接将本地副本划分为两部分，分别对应第一部分数据与第二部分数据，或者以当前所满足的条件进行划分，比如在迁移数据的过程中，若当前迁移的数据量达到总数据量的N％时，则将之前迁移的数据看成是第一部分数据而采用异步操作迁移数据，而剩余的看成是第二部分数据而采用同步操作迁移数据。
本实施例中，迁入端与迁出端分别对应不同的磁盘。同时，为降低数据迁移对前台IO所带来的影响，因此，需要在数据迁移过程中对前台IO进行隔离。可选的，采用租约机制回收分布式文件系统的客户端写权限，以供阻塞前台IO。
步骤S40，将待迁移文件目录下各文件的访问路径从迁出端切换到迁入端，其中，异步操作迁移的总数据量大于同步操作迁移的总数据量。
本实施例中，在完成数据迁移后，客户端访问迁移数据的路径也已经发生了改变，因此还需进一步将待迁移文件目录下各文件的访问路径从迁出端切换到迁入端。
本实施例中，为将数据迁移对前台IO的影响降到最低，因此，在异步迁移数据时，尽量迁移更多的数据，而在同步迁移数据(需要阻塞前台IO)时，则尽量迁移更少的数据，也即第一部分的数据量要远远大于第二部分的数据量。
本实施例中，将数据迁移过程分为异步阶段与同步阶段两个部分，其中异步阶段迁移绝大部分数据量，但不会对前台IO业务造成阻塞，而同步阶段迁移数据量少，但会瞬间阻塞前台IO业务，本实施例采用上述方式可以在保证大量数据迁移的情况下，达到对前台IO影响最小的效果。
进一步地，在本发明基于文件目录的热迁移方法另一实施例中，具体采用后台主动创建与写时复制被动创建的并行创建方式，对待迁移文件目录下各文件进行全量快照，以创建对应的本地副本。
本实施例中，在后台主动创建方式下，若待迁移文件目录所在磁盘的读写IO队列由非空变换为空，则启动进行本地副本的创建，若该磁盘的读写IO队列由空变换为非空，则暂停进行本地副本的创建；
而在写时复制被动创建方式下，若前台IO对未创建本地副本的文件进行读写，则在该文件被修改之前，完成该文件的本地副本的创建，进而延迟了副本的创建，也即通过控制同时创建副本的并发数量，以避免集中创建多个文件副本而造成磁盘IO被全部占用。
与现有热迁移技术中迁移大文件的方案不同的是，本实施例中具体针对文件目录以及4M小文件，因此，本地副本也是小文件镜像且采用主动与被动两种方式进行并行创建，从而在控制创建镜像的并发数量的同时，避免造成磁盘IO全占用。
进一步地，在本发明基于文件目录的热迁移方法另一实施例中，在数据迁移过程中对前台IO进行隔离包括：
(1)在数据迁移过程中，对前台IO队列进行监控；
(2)若前台IO队列由非空变换为空，则启动进行数据迁移，若前台IO队列由空变换为非空，则暂停进行数据迁移。
为将数据迁移对前台IO的影响降到最低，因此，本实施例中对前台IO进行隔离具体是针对CPU、带宽等多个维度。而现有技术中则需要在指定时间内完成数据迁移，因而现有热迁移技术是没有做完全前台IO隔离的。
本实施例中，采用异步迁移与同步迁移相结合的方式，进而可使得对前台IO的阻塞时间最短。同时，通过全量快照可避免数据迁移过程中影响前台IO的读写，同时进一步提供了前台IO隔离，以进一步保证前台IO不受影响。
进一步可选地，在本发明基于文件目录的热迁移方法又一实施例中，基于文件目录的热迁移方法还包括：
在采用异步操作迁移数据之前，将写操作的日志状态设置为异步记录日志状态，在采用同步操作迁移数据之前，将写操作的日志状态设置为同步记录日志状态。
现有热迁移技术中通常是将整个虚拟机的运行状态完整保存下来进行迁移，因此，现有技术中的虚拟机迁移是大成功概率事件，因而需要在指定的时间内完成热迁移，所以使用同步日志以支持重启后的续传，而所产生的副作用是同步日志影响性能。
而本实施例针对的是热平衡，这是小成功概率事件，系统永远处于热平衡状态，没有起点与终点，同时热平衡持续时间远长于虚拟机迁移。同时，大部分的热平衡任务可能出现暂停取消，且每次只有少量会成功。因而本实施例中在初始阶段使用异步日志，就是考虑重启后不需要续传，同时将性能影响降到最低。
参照图3，图3为基于文件目录的热迁移装置第一实施例的功能模块示意图。本实施例中，基于文件目录的热迁移装置包括：
创建模块10，用于创建待迁移文件目录下各文件的本地副本；
本实施例中，为进行数据的热迁移，因此，需要先创建待迁移数据的副本。本实施例中具体基于文件目录进行数据热迁移，因此，需要创建待迁移文件目录下各文件的本地副本。比如待迁移文件目录下有五个文件，则需要创建该五个文件所各自对应的总共五个本地副本，也即在本地迁出端创建对应的镜像文件。
需要进一步说明的是，本实施例中的文件目录下的文件通常都是小文件(数据量小于4M)，因此，在迁移效率上较现有方式效率更高。同时，本实施例中并不限定本地副本的创建方式，具体根据实际需要进行设置。
异步迁移模块20，用于采用异步操作迁移数据，将本地副本中的第一部分数据从迁出端迁移到迁入端，并在数据迁移过程中对前台IO进行隔离；
同步迁移模块30，用于当完成第一部分数据的迁移时，阻塞前台IO，并采用同步操作迁移数据，将本地副本中的第二部分数据从迁出端迁移到迁入端；
本实施例中，具体基于前台IO操作以区分同步操作与异步操作。若与前台IO的写操作同步而迁移数据，则为采用同步操作迁移数据，而若与前台IO的写操作不同步而迁移数据，则为采用异步操作迁移数据。其中，异步操作迁移数据不需要阻塞前台IO，而同步操作迁移数据则需要阻塞前台IO。
此外，本实施例中，对于第一部分数据与第二部分数据的划分方式不限，例如直接将本地副本划分为两部分，分别对应第一部分数据与第二部分数据，或者以当前所满足的条件进行划分，比如在迁移数据的过程中，若当前迁移的数据量达到总数据量的N％时，则将之前迁移的数据看成是第一部分数据而采用异步操作迁移数据，而剩余的看成是第二部分数据而采用同步操作迁移数据。
本实施例中，迁入端与迁出端分别对应不同的磁盘。同时，为降低数据迁移对前台IO所带来的影响，因此，需要在数据迁移过程中对前台IO进行隔离。可选的，采用租约机制回收分布式文件系统的客户端写权限，以供阻塞前台IO。
切换模块40，用于将待迁移文件目录下各文件的访问路径从迁出端切换到迁入端，其中，异步操作迁移的总数据量大于同步操作迁移的总数据量。
本实施例中，在完成数据迁移后，客户端访问迁移数据的路径也已经发生了改变，因此还需进一步将待迁移文件目录下各文件的访问路径从迁出端切换到迁入端。
为将数据迁移对前台IO的影响降到最低，因此，在异步迁移数据时，尽量迁移更多的数据，而在同步迁移数据(需要阻塞前台IO)时，则尽量迁移更少的数据，也即第一部分的数据量要远远大于第二部分的数据量。
本实施例中，将数据迁移过程分为异步阶段与同步阶段两个部分，其中异步阶段迁移绝大部分数据量，但不会对前台IO业务造成阻塞，而同步阶段迁移数据量少，但会瞬间阻塞前台IO业务，本实施例采用上述方式可以在保证大量数据迁移的情况下，达到对前台IO影响最小的效果。
进一步地，基于文件目录的热迁移装置一实施例中，采用后台主动创建与写时复制被动创建的并行创建方式，对待迁移文件目录下各文件进行全量快照，以创建对应的本地副本；
本实施例中，创建模块10还用于：在后台主动创建方式下，若待迁移文件目录所在磁盘的读写IO队列由非空变换为空，则启动进行本地副本的创建，若该磁盘的读写IO队列由空变换为非空，则暂停进行本地副本的创建；在写时复制被动创建方式下，若前台IO对未创建本地副本的文件进行读写，则在该文件被修改之前，完成该文件的本地副本的创建。
与现有热迁移技术中迁移大文件的方案不同的是，本实施例中具体针对文件目录以及4M小文件，因此，本地副本也是小文件镜像且采用主动与被动两种方式进行并行创建，从而在控制创建镜像的并发数量的同时，避免造成磁盘IO全占用。
进一步可选地，基于文件目录的热迁移装置一实施例中，异步迁移模块20还用于：
(1)在数据迁移过程中，对前台IO队列进行监控；
(2)若前台IO队列由非空变换为空，则启动进行数据迁移，若前台IO队列由空变换为非空，则暂停进行数据迁移。
为将数据迁移对前台IO的影响降到最低，因此，本实施例中对前台IO进行隔离具体是针对CPU、带宽等多个维度。而现有技术中则需要在指定时间内完成数据迁移，因而现有热迁移技术是没有做完全前台IO隔离的。
本实施例中，采用异步迁移与同步迁移相结合的方式，进而可使得对前台IO的阻塞时间最短。同时，通过全量快照可避免数据迁移过程中影响前台IO的读写，同时进一步提供了前台IO隔离，以进一步保证前台IO不受影响。
参照图4，图4为基于文件目录的热迁移装置第二实施例的功能模块示意图。本实施例中，基于文件目录的热迁移装置包括：
设置模块50，用于在采用异步操作迁移数据之前，将写操作的日志状态设置为异步记录日志状态，在采用同步操作迁移数据之前，将写操作的日志状态设置为同步记录日志状态。
现有热迁移技术中通常是将整个虚拟机的运行状态完整保存下来进行迁移，因此，现有技术中的虚拟机迁移是大成功概率事件，因而需要在指定的时间内完成热迁移，所以使用同步日志以支持重启后的续传，而所产生的副作用是同步日志影响性能。
而本实施例针对的是热平衡，这是小成功概率事件，系统永远处于热平衡状态，没有起点与终点，同时热平衡持续时间远长于虚拟机迁移。同时，大部分的热平衡任务可能出现暂停取消，且每次只有少量会成功。因而本实施例中在初始阶段使用异步日志，就是考虑重启后不需要续传，同时将性能影响降到最低。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于文件目录的热迁移方法，应用于分布式文件系统，其特征在于，所述基于文件目录的热迁移方法包括：
创建待迁移文件目录下各文件的本地副本；
采用异步操作迁移数据，将所述本地副本中的第一部分数据从迁出端迁移到迁入端，并在数据迁移过程中对前台输入输出IO进行隔离；
当完成所述第一部分数据的迁移时，阻塞前台输入输出IO，并采用同步操作迁移数据，将所述本地副本中的第二部分数据从所述迁出端迁移到所述迁入端；
将所述待迁移文件目录下各文件的访问路径从所述迁出端切换到所述迁入端，其中，异步操作迁移的总数据量大于同步操作迁移的总数据量。
2.如权利要求1所述的基于文件目录的热迁移方法，其特征在于，采用后台主动创建与写时复制被动创建的并行创建方式，对所述待迁移文件目录下各文件进行全量快照，以创建对应的本地副本；
其中，在所述后台主动创建方式下，若所述待迁移文件目录所在磁盘的读写输入输出IO队列由非空变换为空，则启动进行所述本地副本的创建，若该磁盘的读写输入输出IO队列由空变换为非空，则暂停进行所述本地副本的创建；
在所述写时复制被动创建方式下，若前台输入输出IO对未创建本地副本的文件进行读写，则在该文件被修改之前，完成该文件的本地副本的创建。
3.如权利要求1所述的基于文件目录的热迁移方法，其特征在于，所述在数据迁移过程中对前台输入输出IO进行隔离包括：
在数据迁移过程中，对前台输入输出IO队列进行监控；
若前台输入输出IO队列由非空变换为空，则启动进行数据迁移，若前台输入输出IO队列由空变换为非空，则暂停进行数据迁移。
4.如权利要求1所述的基于文件目录的热迁移方法，其特征在于，所述基于文件目录的热迁移方法还包括：
在采用异步操作迁移数据之前，将写操作的日志状态设置为异步记录日志状态，在采用同步操作迁移数据之前，将写操作的日志状态设置为同步记录日志状态。
5.如权利要求1至4中任一项所述的基于文件目录的热迁移方法，其特征在于，采用租约机制回收所述分布式文件系统的客户端写权限，以供阻塞前台输入输出IO。
6.一种基于文件目录的热迁移装置，应用于分布式文件系统，其特征在于，所述基于文件目录的热迁移装置包括：
创建模块，用于创建待迁移文件目录下各文件的本地副本；
异步迁移模块，用于采用异步操作迁移数据，将所述本地副本中的第一部分数据从迁出端迁移到迁入端，并在数据迁移过程中对前台输入输出IO进行隔离；
同步迁移模块，用于当完成所述第一部分数据的迁移时，阻塞前台输入输出IO，并采用同步操作迁移数据，将所述本地副本中的第二部分数据从所述迁出端迁移到所述迁入端；
切换模块，用于将所述待迁移文件目录下各文件的访问路径从所述迁出端切换到所述迁入端，其中，异步操作迁移的总数据量大于同步操作迁移的总数据量。
7.如权利要求6所述的基于文件目录的热迁移装置，其特征在于，采用后台主动创建与写时复制被动创建的并行创建方式，对所述待迁移文件目录下各文件进行全量快照，以创建对应的本地副本；
其中，所述创建模块还用于：在所述后台主动创建方式下，若所述待迁移文件目录所在磁盘的读写输入输出IO队列由非空变换为空，则启动进行所述本地副本的创建，若该磁盘的读写输入输出IO队列由空变换为非空，则暂停进行所述本地副本的创建；在所述写时复制被动创建方式下，若前台输入输出IO对未创建本地副本的文件进行读写，则在该文件被修改之前，完成该文件的本地副本的创建。
8.如权利要求6所述的基于文件目录的热迁移装置，其特征在于，所述异步迁移模块还用于：
在数据迁移过程中，对前台输入输出IO队列进行监控；
若前台输入输出IO队列由非空变换为空，则启动进行数据迁移，若前台输入输出IO队列由空变换为非空，则暂停进行数据迁移。
9.如权利要求6所述的基于文件目录的热迁移装置，其特征在于，所述基于文件目录的热迁移装置还包括：
设置模块，用于在采用异步操作迁移数据之前，将写操作的日志状态设置为异步记录日志状态，在采用同步操作迁移数据之前，将写操作的日志状态设置为同步记录日志状态。
10.如权利要求6至9中任一项所述的基于文件目录的热迁移装置，其特征在于，采用租约机制回收所述分布式文件系统的客户端写权限，以供阻塞前台输入输出IO。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611041877.0A CN106844417B (zh) | 2016-11-21 | 2016-11-21 | 基于文件目录的热迁移方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611041877.0A CN106844417B (zh) | 2016-11-21 | 2016-11-21 | 基于文件目录的热迁移方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106844417A CN106844417A (zh) | 2017-06-13 |
| CN106844417B true CN106844417B (zh) | 2020-07-28 |
Family
ID=59146050
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611041877.0A Active CN106844417B (zh) | 2016-11-21 | 2016-11-21 | 基于文件目录的热迁移方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106844417B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107145395B (zh) * | 2017-07-04 | 2020-12-08 | 北京百度网讯科技有限公司 | 用于处理任务的方法和装置 |
| CN111078120B (zh) * | 2018-10-18 | 2023-11-03 | 深信服科技股份有限公司 | 一种分布式文件系统的数据迁移方法、系统及相关组件 |
| CN112955873B (zh) * | 2018-11-12 | 2024-03-26 | 华为技术有限公司 | 用于同步镜像文件系统的方法及其存储设备 |
| CN111694517B (zh) * | 2020-05-28 | 2024-02-13 | 新浪技术（中国）有限公司 | 分布式数据迁移方法、系统和电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103020315A (zh) * | 2013-01-10 | 2013-04-03 | 中国人民解放军国防科学技术大学 | 一种基于主从分布式文件系统的海量小文件存储方法 |
| CN103136043A (zh) * | 2013-01-28 | 2013-06-05 | 华为技术有限公司 | 一种异步io的迁移方法、系统和网络节点 |
| CN104065685A (zh) * | 2013-03-22 | 2014-09-24 | 中国银联股份有限公司 | 面向云计算环境的分层存储系统中的数据迁移方法 |
| CN105068758A (zh) * | 2015-07-23 | 2015-11-18 | 清华大学 | 面向并行数据采集的分布式文件系统数据i/o优化方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10289684B2 (en) * | 2011-05-03 | 2019-05-14 | Vmware, Inc. | Live migration of virtual machine persistent data using mirrored input-output operations |
| US9857974B2 (en) * | 2013-10-03 | 2018-01-02 | International Business Machines Corporation | Session execution decision |
-
2016
- 2016-11-21 CN CN201611041877.0A patent/CN106844417B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103020315A (zh) * | 2013-01-10 | 2013-04-03 | 中国人民解放军国防科学技术大学 | 一种基于主从分布式文件系统的海量小文件存储方法 |
| CN103136043A (zh) * | 2013-01-28 | 2013-06-05 | 华为技术有限公司 | 一种异步io的迁移方法、系统和网络节点 |
| CN104065685A (zh) * | 2013-03-22 | 2014-09-24 | 中国银联股份有限公司 | 面向云计算环境的分层存储系统中的数据迁移方法 |
| CN105068758A (zh) * | 2015-07-23 | 2015-11-18 | 清华大学 | 面向并行数据采集的分布式文件系统数据i/o优化方法 |
Non-Patent Citations (1)
| Title |
|---|
| 海量信息存储测评技术研究与服务平台建设;阳小珊等;《计算机工程与应用》;20130901;第47页-第52页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106844417A (zh) | 2017-06-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10725878B2 (en) | Storage apparatus, storage system, and control method of storage system for dynamically securing free space when a storage apparatus is disused | |
| EP2437167B1 (en) | Method and system for virtual storage migration and virtual machine monitor | |
| US9354907B1 (en) | Optimized restore of virtual machine and virtual disk data | |
| JP4824374B2 (ja) | ディスクの回転を制御するシステム | |
| CN106844417B (zh) | 基于文件目录的热迁移方法及装置 | |
| WO2022089281A1 (zh) | 基于容器的应用管理方法和装置 | |
| JP4884198B2 (ja) | ストレージネットワークの性能管理方法、並びに、その方法を用いた計算機システム及び管理計算機 | |
| US10235282B2 (en) | Computer system, computer, and method to manage allocation of virtual and physical memory areas | |
| EP2686763A1 (en) | Optimized shrinking of virtual disks | |
| JP2008293149A (ja) | 予知型データ移行を行う階層ストレージシステム | |
| EP3311272B1 (en) | A method of live migration | |
| US10705764B2 (en) | Performing nearline storage of a file | |
| CN103516549A (zh) | 一种基于共享对象存储的文件系统元数据日志机制 | |
| US10776035B2 (en) | Storage system and storage control method | |
| US8078798B2 (en) | Managing first level storage in a multi-host environment | |
| JP2015162091A (ja) | 記憶制御装置、ストレージシステム、記憶制御方法、および記憶制御プログラム | |
| CN106873902B (zh) | 一种文件存储系统、数据调度方法及数据节点 | |
| JP6028415B2 (ja) | 仮想サーバ環境のデータ移行制御装置、方法、システム | |
| US20160179423A1 (en) | File system, control method for file system, and control program for file system | |
| US9015385B2 (en) | Data storage device and method of controlling data storage device | |
| CN114077517A (zh) | 数据处理的方法、设备及系统 | |
| JP2015052853A (ja) | ストレージ制御装置、制御方法及びプログラム | |
| JP2012022645A (ja) | データ記憶システムおよび非同期レプリケーション方法 | |
| CN104461382A (zh) | 运行多个文件系统的文件服务器的内部写方法和服务器 | |
| US20210004475A1 (en) | Computer apparatus, data sharing system, and data access method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: Nanshan District Xueyuan Road in Shenzhen city of Guangdong province 518052 No. 1001 Nanshan Chi Park building A1 layer Applicant after: SANGFOR TECHNOLOGIES Inc. Address before: Nanshan District Xueyuan Road in Shenzhen city of Guangdong province 518052 No. 1001 Nanshan Chi Park building A1 layer Applicant before: Sangfor Technologies Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |