CN109359086A - 一种基于动态Compound RPC的快速状态服务迁移方法和系统 - Google Patents

一种基于动态Compound RPC的快速状态服务迁移方法和系统 Download PDF

Info

Publication number
CN109359086A
CN109359086A CN201811013323.9A CN201811013323A CN109359086A CN 109359086 A CN109359086 A CN 109359086A CN 201811013323 A CN201811013323 A CN 201811013323A CN 109359086 A CN109359086 A CN 109359086A
Authority
CN
China
Prior art keywords
state
rpc
file
structural body
services migrating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811013323.9A
Other languages
English (en)
Inventor
孙丹琦
马建辉
刘健
张强
王宇
王一宇
卢森
邵冰清
许鲁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Zhongke Bluewhale Information Technology Co ltd
Institute of Computing Technology of CAS
Original Assignee
Tianjin Zhongke Bluewhale Information Technology Co ltd
Institute of Computing Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Zhongke Bluewhale Information Technology Co ltd, Institute of Computing Technology of CAS filed Critical Tianjin Zhongke Bluewhale Information Technology Co ltd
Priority to CN201811013323.9A priority Critical patent/CN109359086A/zh
Publication of CN109359086A publication Critical patent/CN109359086A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/547—Remote procedure calls [RPC]; Web services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/541—Client-server

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于动态Compound RPC的快速状态服务迁移方法和系统，包括：获取迁出端中待迁移的元数据子卷；该迁出端初始化一个结构体m，依次遍历该元数据子卷中所有拥有open、lock、delegation、layout状态的文件，将文件中的状态及状态的数目写入m；新建RPC连接，发送m至迁入端，该迁入端对m中的各状态的迁移信息进行逐一恢复，然后新建一个Compound D，将D返回该迁出端；该迁出端通过检查D，确认该文件的状态是否迁移成功。本发明可以保证迁移前后的状态一致性，并降低状态迁移在迁移过程中的时间开销。

Description

一种基于动态Compound RPC的快速状态服务迁移方法和系统
技术领域
本发明涉及计算机存储领域，特别涉及分布式文件系统的服务迁移技术。
背景技术
NFS(Network File System)即网络文件系统，它允许网络中的计算机之间通过TCP/IP网络共享资源，本地NFS的客户端应用可以透明地读写位于远端NFS服务器上的文件，就像访问本地文件一样。pNFS是NFSv4的高性能增强，它在保持了NFSv4操作系统和硬件平台独立的同时又提供了对并行文件系统的直接存储访问。pNFS中为了保持文件的一致性，由元数据服务器为访问文件的客户端分配四种状态：open、lock、delegation、layout。open代表文件的一次打开；lock代表对文件中的一个字节加锁；delegation代表可召回的文件授权；layout代表获取文件的布局。pNFS通过服务器对客户端分发这些状态，更好地保持了多客户端的并行访问和一致性处理。
服务器对客户端授权的状态存放在元数据服务器的内存中。当元数据服务器的负载过大时，为了保持元数据客户端正常提供服务，需要对状态进行迁移，即将状态迁移到另一元数据服务器上提供服务。而显然由于客户端的不同和文件的不同，状态数目和种类也不同。以状态为粒度进行迁移时，迁移时间随状态数目的增长显著增大(如图1).
RPC(Remote Procedure Call)即远程过程调用，是一种通过网络从远程计算机程序上请求服务的协议。RPC采用客户机/服务器模式。请求程序就是一个客户机，而服务提供程序就是一个服务器。首先，客户机调用进程发送一个有进程参数的调用信息到服务进程，然后等待应答信息。在服务器端，进程保持睡眠状态直到调用信息到达为止。当一个调用信息到达，服务器获得进程参数，计算结果，发送答复信息，然后等待下一个调用信息，最后，客户端调用进程接收答复信息，获得进程结果，然后调用执行继续进行。
Compound RPC。Compound意为复合的。Compound RPC相对于RPC每次发送多个请求，降低网络交互的时间延迟。Compound过程被定义为一连串的单独操作，在每个Compound中规定了操作的类型，将一系列的操作编码后由一个RPC传给服务器，由服务器进行操作后，将结果按顺序返回，客户端再根据发送时确定的顺序进行解码。一次或一个RPC指的是客户端对服务器的一次RPC调用过程。具体包括“客户端发送给服务器->服务器执行操作并返回结果给客户端->客户端收到回复后处理”的全部过程。
基于上述分析，现有技术目前还存在以下局限：以状态为粒度进行状态迁移时，当状态数目显著增大时，状态迁移时间性能急剧下降；而每个文件的状态数目不固定，无法在Compound中固定操作，现有的Compound RPC机制无法将同一文件的状态聚合在一个RPC中发送。
针对以上考虑，提出一种基于动态Compound RPC的快速状态服务迁移机制。
发明内容
本发明的目的是以pNFS为基础，增加了动态Compound RPC机制，解决了状态迁移时间随状态数目线性增长的问题，提供了一种快速状态服务迁移方法。
具体来说，本发明公开了一种基于动态Compound RPC的快速状态服务迁移方法，其中包括：
步骤1、获取迁出端中待迁移的元数据子卷，该迁出端初始化一个结构体m；
步骤2、遍历该元数据子卷中的一个文件，按照拥有状态open,lock,delegation,layout的顺序，依次将该文件中的迁移信息写入m；
步骤3、新建RPC连接，发送m至迁入端，该迁入端对m中的各状态的迁移信息进行逐一恢复，该迁入端将标志每个状态恢复成功与否的错误码返回该迁出端，该迁出端根据该错误码判断该文件的状态是否恢复成功。
该基于动态Compound RPC的快速状态服务迁移方法，其中
该步骤2还包括：每次将该迁移信息写入m之前，获取该迁出端一次RPC能够发送的最大数据量，根据该最大数据量判断当前m是否还有空间容纳当前该迁移信息，若是，则将当前该迁移信息写入m，否则执行该步骤3；
该基于动态Compound RPC的快速状态服务迁移方法，其中该迁移信息包括文件的序号及文件建立时间等。
该基于动态Compound RPC的快速状态服务迁移方法，其中该步骤3还包括：该迁入端根据收到的结构体m，恢复得到文件结构体m，即该文件的状态，该迁入端替代该迁出端支持客户端访问。
该基于动态Compound RPC的快速状态服务迁移方法，其中该步骤3还包括：该迁出端通过检查该错误码，确认结构体m中的状态是否全部成功迁移至该迁入端，若是，则执行步骤2遍历该元数据子卷中的下一个文件。
本发明还公开了一种基于动态Compound RPC的快速状态服务迁移系统，其中包括：
初始化模块，获取迁出端中待迁移的元数据子卷，该迁出端初始化一个结构体m；
结构体写入模块，遍历该元数据子卷中的一个文件，按照拥有状态open,lock,delegation,layout的顺序，依次将该文件中的迁移信息写入结构体m；
迁移模块，用于新建RPC连接，发送m至迁入端，该迁入端对m中的各状态的迁移信息进行逐一恢复，该迁入端将标志每个状态恢复成功与否的错误码返回该迁出端，该迁出端根据该错误码判断该文件的状态是否恢复成功。
该基于动态Compound RPC的快速状态服务迁移系统，其中
该结构体写入模块还包括：每次将该迁移信息写入m之前，获取该迁出端一次RPC能够发送的最大数据量，根据该最大数据量判断当前m是否还有空间容纳当前该迁移信息，若是，则将当前该迁移信息写入m，否则调用该迁移模块；
该基于动态Compound RPC的快速状态服务迁移系统，其中该迁移信息包括文件的序号及文件建立时间等。
该基于动态Compound RPC的快速状态服务迁移系统，其中该迁移模块还包括：该迁入端根据收到的结构体m，恢复得到文件的状态，该迁入端替代该迁出端支持客户端访问。
该基于动态Compound RPC的快速状态服务迁移系统，其中该迁移模块还包括：该迁出端通过检查该错误码，确认结构体m中的状态是否全部成功迁移至该迁入端，若是，则调用该结构体写入模块遍历该元数据子卷中的下一个文件。
本发明的优势在于：
1)保证迁移前后的状态一致性；
2)降低状态迁移在迁移过程中的时间开销。
附图说明
图1为迁移时间随状态数目递增测试图；
图2为nfs4_file结构示意图；
图3为migarg结构体示意图；
图4为文件粒度状态服务迁移示意图。
具体实施方式
具体来说，本发明公开了一种基于动态Compound RPC的快速状态服务迁移方法，其中包括：
步骤1、获取迁出端中待迁移的元数据子卷，该迁出端初始化一个结构体m；
步骤2、遍历该元数据子卷中的一个文件，按照拥有状态open,lock,delegation,layout的顺序，依次将该文件中的迁移信息写入m；
步骤3、新建RPC连接，发送m至迁入端，该迁入端对m中的各状态的迁移信息进行逐一恢复，该迁入端将标志每个状态恢复成功与否的错误码返回该迁出端，该迁出端根据该错误码判断该文件的状态是否恢复成功。
该基于动态Compound RPC的快速状态服务迁移方法，其中
该步骤2还包括：每次将该迁移信息写入m之前，获取该迁出端一次RPC能够发送的最大数据量，根据该最大数据量判断当前m是否还有空间容纳当前该迁移信息，若是，则将当前该迁移信息写入m，否则执行该步骤3；
该基于动态Compound RPC的快速状态服务迁移方法，其中该迁移信息包括文件的序号及文件建立时间等。
该基于动态Compound RPC的快速状态服务迁移方法，其中该步骤3还包括：该迁入端根据收到的结构体m，恢复得到文件结构体m，即该文件的状态，该迁入端替代该迁出端支持客户端访问。
该基于动态Compound RPC的快速状态服务迁移方法，其中该步骤3还包括：该迁出端通过检查该错误码，确认结构体m中的状态是否全部成功迁移至该迁入端，若是，则执行步骤2遍历该元数据子卷中的下一个文件。
下面给出本发明的具体实施方式，结合附图对本发明做出了详细描述。本发明包括相关相关结构、迁移流程两个部分。
1、相关结构：
pNFS中与VFS层结构对应的文件内存结构体nfs4_file，如图2，nfs4_file中维护三个链表：fi_stateids、fi_delegations、fi_layout_state，三个链表中记录的是该文件的所有状态结构体。其中fi_stateids存放open和lock两种状态，通过标志位进行判断。nfs4_file中还有标志位mig_flag，记录该文件是否正在被迁移。每一个nfs4_file代表一个文件，所有文件的nfs4_file组成一个链表。链表存放在元数据卷信息结构体vol_info下。VFS(Virtual File System)即虚拟文件系统，是Linux操作系统中文件系统对外的接口，任何只用文件系统的程序都必须经由这层接口来使用文件系统。图2中file_list表示结构体链表，每个nfs4_file结构体中有指向下一nfs4_file的指针，通过该指针遍历链表
状态迁出时，初始化一个migarg结构(如图3)，其中migopen、miglock、migdeleg、miglayout为四个链表，链表的每个单位存放该状态需要迁出的字段，字段即该状态结构体中所有数据信息。state_count结构体中有四个值open_count、lock_count、deleg_count、layout_count，记录migarg结构中每种状态的数目，buf为一个数值，记录migarg中所有状态所占字节数，即Migarg中所有状态(migopen/maglock/migdeleg/miglayout的总和)的大小。若buf已达到RPC最大容量，说明当前RPC已不能承载下一个状态，则将当前RPC发送，下一状态开始加入新的RPC中。其中，RPC最大容量是根据实际应用系统确定的，其对每一次RPC能够发送的最大数据量有限定。
2、迁移流程：
子卷内有多个文件，每个文件有多个状态。迁移的整体流程是：每次遍历子卷内的一个文件，将文件中的状态按照open,lock,delegation,layout的顺序写入m,并记录个数。如果这一文件的状态数目过多，超过RPC能传送的总量，则分多次RPC；如果未超过则一次发送。不同文件的状态不在同一RPC中发送。
基于动态Compound RPC的快速状态服务迁移机制整体流程如下(如图示4)：
1、迁出端MDS发起状态服务迁移过程，获取被迁移元数据子卷的vol_info结构体，进而获得nfs4_file文件访问链表的表头指针p；
2、迁出端判断p是否为空，如果p为空，状态服务迁移阶段结束，返回上层，否则执行第3步；
3、迁出端访问p所指向的nfs4_file结构体，判断该结构体的标志位flag，即文件状态迁移标志位：如果flag为LOCAL，执行第4步，否则执行第13步；
4、将文件状态迁移表示位flag修改为迁移状态MIGRATING，进入第5步；
5、迁出端初始化一个migarg m；遍历p中所有open状态的文件，每次编码前，先判断m中可承载容量：若能容纳该状态，则新建一个migopen，写入该状态的所有需迁移信息(迁移信息包括文件id，文件建立的时间等)并链入链表，将open状态的数目记录在m的state_count中,进入第6步；否则进入第9步；
6、遍历p中所有lock状态，每次编码前，先判断m中可承载容量：若能容纳该状态，新建一个miglock,写入该状态的所有需迁移信息并链入链表，将lock状态的数目记录在m的state_count中,进入第7步；否则进入第9步；
7、遍历p中所有delegation状态，每次编码前，先判断m中可承载容量：若能容纳该状态，新建一个migdeleg,写入该状态的所有需迁移信息并链入链表，将delegation状态的数目记录在m的state_count中,进入第8步；否则进入第9步；
8、遍历p中所有layout状态，每次编码前，先判断m中可承载容量：若能容纳该状态，新建一个miglayout,写入该状态的所有需迁移信息并链入链表，将layout状态的数目记录在m的state_count中,进入第9步；
9、新建RPC连接，发送m，迁出端等待迁入端处理结果，进入第10步；
10、迁入端对m中的各状态进行逐一恢复，然后新建一个Compound D，按照原顺序记录子操作号和处理结果，将D返回迁出端，进入第11步；迁入端根据收到的状态信息，建立起新的状态结构体，并形成链表(即前文提到的nfs4_file结构体下的链表)，恢复后可以替代迁出端支持客户端访问。迁入端对状态的恢复是否成功，如果不成功，会有标识各种错误信息的错误码，如果成功，也有相应的错误码，将每个状态恢复的错误码按顺序存入D中，传回给迁出端。
11、迁出端收到D，首先根据m中记录的open状态数目按照open状态的解码方式解码处理，然后采用相同策略根据m中记录的lock、delegation、layout状态数目按照lock、delegation、layout状态顺序对三类状态按照各自的解码方式解码处理，若该文件还有未迁移的open/lock/delegation/layout状态，则返回第5/6/7/8步，否则进入下一步；
12、将flag修改为ABSENT，进入第14步；
13、阻塞等待，直至文件状态迁移标志位flag＝＝ABSENT，进入第14步；
14、指针p指向下一个nfs4_file结构体，返回第2步。
以下为与上述方法实施例对应的系统实施例，本实施方式可与上述实施方式互相配合实施。上述实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在上述实施方式中。
本发明还公开了一种基于动态Compound RPC的快速状态服务迁移系统，其中包括：
初始化模块，获取迁出端中待迁移的元数据子卷，该迁出端初始化一个结构体m；
结构体写入模块，遍历该元数据子卷中的一个文件，按照拥有状态open,lock,delegation,layout的顺序，依次将该文件中的迁移信息写入结构体m；
迁移模块，用于新建RPC连接，发送m至迁入端，该迁入端对m中的各状态的迁移信息进行逐一恢复，该迁入端将标志每个状态恢复成功与否的错误码返回该迁出端，该迁出端根据该错误码判断该文件的状态是否恢复成功。
该基于动态Compound RPC的快速状态服务迁移系统，其中
该结构体写入模块还包括：每次将该迁移信息写入m之前，获取该迁出端一次RPC能够发送的最大数据量，根据该最大数据量判断当前m是否还有空间容纳当前该迁移信息，若是，则将当前该迁移信息写入m，否则调用该迁移模块；
该基于动态Compound RPC的快速状态服务迁移系统，其中该迁移信息包括文件的序号及文件建立时间。
该基于动态Compound RPC的快速状态服务迁移系统，其中该迁移模块还包括：该迁入端根据收到的结构体m，恢复得到文件的状态，该迁入端替代该迁出端支持客户端访问。
该基于动态Compound RPC的快速状态服务迁移系统，其中该迁移模块还包括：该迁出端通过检查该错误码，确认结构体m中的状态是否全部成功迁移至该迁入端，若是，则调用该结构体写入模块遍历该元数据子卷中的下一个文件。
综上，本发明主要技术点在于动态Compound机制和分包机制。每个Compound中的状态种类顺序固定，但数目可变。根据同一文件状态访问的依赖关系，确定同一文件进行状态服务迁移时，整体迁移顺序按照预设状态顺序open、lock、delegation、layout进行。同一种类的状态完成后继续下一种类。当RPC发送到迁入端，迁入端完成操作后，会返回操作是否成功。而Compound RPC发送的是一组状态，迁入端需要对每一个状态分别进行操作，返回的是一组表示每一个操作是否成功的错误码，迁出端需要根据这组错误码找到操作错误的状态和错误原因，并进行相应处理。本发明采取的办法是，固定状态的顺序，每次记录此次传输的每个状态的个数。不同种类状态之间存在一定依赖关系，比如当获取lock状态之前，一般会先用到open状态。本发明根据状态之间的依赖关系，确定了open、lock、delegation、layout这个顺序。分包机制。在编码阶段判断已编码的字节数是否大于RPC中所能发送的最大容量，若是，则分批发送。
由此本发明可保证迁移前后的状态一致性以及从降低状态迁移在迁移过程中的时间开销。
虽然本发明以上述实施例公开，但具体实施例仅用以解释本发明，并不用于限定本发明，任何本技术领域技术人员，在不脱离本发明的构思和范围内，可作一些的变更和完善，故本发明的权利保护范围以权利要求书为准。

Claims (10)

1.一种基于动态Compound RPC的快速状态服务迁移方法，其特征在于，包括：
步骤1、获取迁出端中待迁移的元数据子卷，该迁出端初始化一个结构体m；
步骤2、遍历该元数据子卷中的一个文件，按照拥有状态open,lock,delegation,layout的顺序，依次将该文件中的迁移信息写入m；
步骤3、新建RPC连接，发送m至迁入端，该迁入端对m中的各状态的迁移信息进行逐一恢复，该迁入端将标志每个状态恢复成功与否的错误码返回该迁出端，该迁出端根据该错误码判断该文件的状态是否恢复成功。
2.如权利要求1所述的基于动态Compound RPC的快速状态服务迁移方法，其特征在于，
该步骤2还包括：每次将该迁移信息写入m之前，获取该迁出端一次RPC能够发送的最大数据量，根据该最大数据量判断当前m是否还有空间容纳当前该迁移信息，若是，则将当前该迁移信息写入m，否则执行该步骤3。
3.如权利要求1所述的基于动态Compound RPC的快速状态服务迁移方法，其特征在于，该迁移信息包括文件的序号及文件建立时间。
4.如权利要求1或2所述的基于动态Compound RPC的快速状态服务迁移方法，其特征在于，该步骤3还包括：该迁入端根据收到的结构体m，恢复得到文件结构体m，该迁入端替代该迁出端支持客户端访问。
5.如权利要求1或2所述的基于动态Compound RPC的快速状态服务迁移方法，其特征在于，该步骤3还包括：该迁出端通过检查该错误码，确认结构体m中的状态是否全部成功迁移至该迁入端，若是，则执行步骤2遍历该元数据子卷中的下一个文件。
6.一种基于动态Compound RPC的快速状态服务迁移系统，其特征在于，包括：
初始化模块，获取迁出端中待迁移的元数据子卷，该迁出端初始化一个结构体m；
结构体写入模块，遍历该元数据子卷中的一个文件，按照拥有状态open,lock,delegation,layout的顺序，依次将该文件中的迁移信息写入结构体m；
迁移模块，用于新建RPC连接，发送m至迁入端，该迁入端对m中的各状态的迁移信息进行逐一恢复，该迁入端将标志每个状态恢复成功与否的错误码返回该迁出端，该迁出端根据该错误码判断该文件的状态是否恢复成功。
7.如权利要求1所述的基于动态Compound RPC的快速状态服务迁移系统，其特征在于，
该结构体写入模块还包括：每次将该迁移信息写入m之前，获取该迁出端一次RPC能够发送的最大数据量，根据该最大数据量判断当前m是否还有空间容纳当前该迁移信息，若是，则将当前该迁移信息写入m，否则调用该迁移模块。
8.如权利要求6所述的基于动态Compound RPC的快速状态服务迁移系统，其特征在于，该迁移信息包括文件的序号及文件建立时间。
9.如权利要求6或7所述的基于动态Compound RPC的快速状态服务迁移系统，其特征在于，该迁移模块还包括：该迁入端根据收到的结构体m，恢复得到该元数据子卷，该迁入端替代该迁出端支持客户端访问。
10.如权利要求6或7所述的基于动态Compound RPC的快速状态服务迁移系统，其特征在于，该迁移模块还包括：该迁出端通过检查该错误码，确认结构体m中的状态是否全部成功迁移至该迁入端，若是，则调用该结构体写入模块遍历该元数据子卷中的下一个文件。
CN201811013323.9A 2018-08-31 2018-08-31 一种基于动态Compound RPC的快速状态服务迁移方法和系统 Pending CN109359086A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811013323.9A CN109359086A (zh) 2018-08-31 2018-08-31 一种基于动态Compound RPC的快速状态服务迁移方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811013323.9A CN109359086A (zh) 2018-08-31 2018-08-31 一种基于动态Compound RPC的快速状态服务迁移方法和系统

Publications (1)

Publication Number Publication Date
CN109359086A true CN109359086A (zh) 2019-02-19

Family

ID=65350431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811013323.9A Pending CN109359086A (zh) 2018-08-31 2018-08-31 一种基于动态Compound RPC的快速状态服务迁移方法和系统

Country Status (1)

Country Link
CN (1) CN109359086A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110297813A (zh) * 2019-05-22 2019-10-01 平安银行股份有限公司 数据迁移方法、装置、计算机设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103067506A (zh) * 2012-12-28 2013-04-24 中国科学院计算技术研究所 一种块设备异步数据迁移方法和系统
US20160026513A1 (en) * 2014-07-25 2016-01-28 Netapp, Inc. Aysnchronous communications having compounded responses
CN105530273A (zh) * 2014-09-29 2016-04-27 国际商业机器公司 用于数据迁移的方法和装置
CN106446114A (zh) * 2016-09-14 2017-02-22 广东欧珀移动通信有限公司 数据迁移方法及装置
CN106953893A (zh) * 2017-02-15 2017-07-14 北京百度网讯科技有限公司 云存储系统间的数据迁移

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103067506A (zh) * 2012-12-28 2013-04-24 中国科学院计算技术研究所 一种块设备异步数据迁移方法和系统
US20160026513A1 (en) * 2014-07-25 2016-01-28 Netapp, Inc. Aysnchronous communications having compounded responses
CN105530273A (zh) * 2014-09-29 2016-04-27 国际商业机器公司 用于数据迁移的方法和装置
CN106446114A (zh) * 2016-09-14 2017-02-22 广东欧珀移动通信有限公司 数据迁移方法及装置
CN106953893A (zh) * 2017-02-15 2017-07-14 北京百度网讯科技有限公司 云存储系统间的数据迁移

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘健等: "蓝鲸元数据服务器集群的细粒度负载迁移", 《计算机研究与发展》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110297813A (zh) * 2019-05-22 2019-10-01 平安银行股份有限公司 数据迁移方法、装置、计算机设备及存储介质
CN110297813B (zh) * 2019-05-22 2022-09-02 平安银行股份有限公司 数据迁移方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
US11061865B2 (en) Block allocation for low latency file systems
CN110554834B (zh) 文件系统数据访问方法和文件系统
US10140312B2 (en) Low latency distributed storage service
JP3704573B2 (ja) クラスタシステム
JP5007350B2 (ja) ハードウェアベースのファイルシステムのための装置および方法
US11287994B2 (en) Native key-value storage enabled distributed storage system
US20070271350A1 (en) Method and apparatus for data storage using striping
US8321487B1 (en) Recovery of directory information
WO2016124959A1 (en) Management of cloned objects in file systems
CN101084481A (zh) 在群集存储环境中执行并行数据迁移的方法
CN109614165A (zh) 一种com组件的多版本并行运行方法和装置
CN111435286B (zh) 一种数据存储方法、装置和系统
US8082230B1 (en) System and method for mounting a file system on multiple host computers
CN112262378B (zh) 脱水文件的层级的水合
CN113448946B (zh) 数据迁移方法及装置、电子设备
US10387384B1 (en) Method and system for semantic metadata compression in a two-tier storage system using copy-on-write
CN109359086A (zh) 一种基于动态Compound RPC的快速状态服务迁移方法和系统
US10942912B1 (en) Chain logging using key-value data storage
US20170286442A1 (en) File system support for file-level ghosting
CN114584551B (zh) 文件上传方法、电子设备及计算机程序产品
US10628391B1 (en) Method and system for reducing metadata overhead in a two-tier storage architecture
KR100785774B1 (ko) 객체 기반 파일 입출력 시스템 및 방법
CN116821058B (zh) 元数据访问方法、装置、设备及存储介质
CN104794011B (zh) 基于虚拟磁盘的坏块重定向方法及装置
CN113535094B (zh) 基于分布式存储的跨平台客户端实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190219