CN111858541A

CN111858541A - 一种分布式文件系统的数据迁移控制方法及相关装置

Info

Publication number: CN111858541A
Application number: CN202010605994.5A
Authority: CN
Inventors: 孙业宽; 孟祥瑞
Original assignee: Guangdong Inspur Big Data Research Co Ltd
Current assignee: Guangdong Inspur Smart Computing Technology Co Ltd
Priority date: 2020-06-29
Filing date: 2020-06-29
Publication date: 2020-10-30

Abstract

本申请公开了一种分布式文件系统的数据迁移控制方法，包括：元数据服务器向第一客户端发送迁移任务，以便第一客户端按照文件顺序逐个申请读权限并进行数据迁移操作；当接收到第二客户端发送的当前迁移文件的写权限申请时，根据写权限申请将第一客户端的当前迁移文件对应的读权限回收，以便第一客户端当读权限被回收时，根据被回收的读权限撤销对应文件的迁移操作。通过当前迁移文件进行写权限申请时，将该文件对应的读权限回收，以便第一客户端将该迁移文件的迁移操作撤销，避免了迁移过程中因数据修改出现的数据错误问题，提高了文件系统的可靠性。本申请还公开了一种数据迁移控制装置、服务器以及计算机可读存储介质，具有以上有益效果。

Description

一种分布式文件系统的数据迁移控制方法及相关装置

技术领域

本申请涉及分布式文件系统技术领域，特别涉及一种分布式文件系统的数据迁移控制方法、数据迁移控制装置、服务器以及计算机可读存储介质。

背景技术

随着信息技术的不断发展，为了提高数据存储的性能，现有技术提出了一种分布式文件系统，多个文件存储节点服务器构成的集群，文件切块存储，以对象为基本单位，支持一份数据存储在多个节点上，每个节点通过节点间通信都可以获取到完整的数据，当节点出现宕机时根据配置的策略可以进行完整数据的恢复，具有高可用、高性能、高扩展性等特点，其中每个节点都提供元数据服务即MDS(Metadata Serve元数据服务器)，用于元数据的各种访问操作，均衡业务压力。

现有技术中，在分布式文件系统中进行数据迁移，需要考虑考虑迁移性能，需要文件并发迁移，MDS准备批量文件的迁移任务，任务中包含多个待迁移的文件信息(包括文件、原池子、目的池子、迁移大小等)，MDS准备好任务后发送给迁移客户端，迁移客户端收到迁移任务后执行文件从原池子到目的池子的迁移，文件迁移具体步骤：

步骤1，首先将文件根基迁移大小从原池子将指定大小的数据复制到目的池子，复制完成后集群中该文件在原池子和目的池子各存一份数据；

步骤2，迁移客户端通知MDS更新文件的池子属性信息；

步骤3，MDS更新完成后应答迁移客户端，迁移客户端收到应答清理原池子数据，至此只有目的池子有一份数据，文件迁移完成；

步骤4，迁移客户端迁移完整个任务后，应答MDS，MDS继续下一个任务；

当时，在迁移任务已经下发给迁移客户端后，文件迁移过程中，即数据从源池子复制到目的池子过程中，文件数据有可能被其他客户端访问被修改，此时复制的数据属于过期数据，如果继续复制则会导致数据不一致问题，出现数据迁移错误等问题，降低了文件系统的存储可靠性。

因此，如何在数据迁移过程中避免因数据修改出现的数据错误问题是本领域技术人员关注的重点问题。

发明内容

本申请的目的是提供一种分布式文件系统的数据迁移控制方法、数据迁移控制装置、服务器以及计算机可读存储介质，通过元数据服务器先向第一客户端发送迁移任务使第一客户端执行该迁移任务，然后在对当前迁移文件进行写权限申请时，将该文件对应的读权限回收，以便第一客户端将该迁移文件的迁移操作撤销，避免了迁移过程中因数据修改出现的数据错误问题，提高了文件系统的可靠性。

为解决上述技术问题，本申请提供一种分布式文件系统的数据迁移控制方法，包括：

元数据服务器向第一客户端发送迁移任务，以便所述第一客户端按照文件顺序逐个申请读权限并进行数据迁移操作；

当接收到第二客户端发送的当前迁移文件的写权限申请时，根据所述写权限申请将所述第一客户端的所述当前迁移文件对应的读权限回收，以便所述第一客户端当读权限被回收时，根据被回收的读权限撤销对应文件的迁移操作。

可选的，还包括：

当接收到所述第一客户端发送的读权限申请时，根据所述读权限申请向所述第一客户端发送读权限的授权消息。

可选的，还包括：

当接收到所述第二客户端发送的写权限申请时，判断所述写权限申请对应的文件是否为当前迁移文件；

若是，则执行将所述第一客户端对应的读权限回收的操作。

可选的，所述第一客户端当读权限被回收时，根据被回收的读权限撤销对应文件的迁移操作，包括：

当所述第一客户端的读权限被回收时，所述第一客户端根据所述读权限确定对应的被修改文件；

对所述被修改文件设置撤销标记；

控制迁移线程当处理到设置有撤销标记的迁移文件时，撤销该迁移文件的迁移操作。

可选的，还包括：

所述第一客户端将已撤销迁移操作的文件的数据进行清除。

本申请还提供一种分布式文件系统的数据迁移控制装置，包括：

数据迁移模块，用于向第一客户端发送迁移任务，以便所述第一客户端按照文件顺序逐个申请读权限并进行数据迁移操作；

数据权限回收模块，用于当接收到第二客户端发送的当前迁移文件的写权限申请时，根据所述写权限申请将所述第一客户端的所述当前迁移文件对应的读权限回收，以便所述第一客户端当读权限被回收时，根据被回收的读权限撤销对应文件的迁移操作。

可选的，还包括：

读权限授权模块，用于当接收到所述第一客户端发送的读权限申请时，根据所述读权限申请向所述第一客户端发送读权限的授权消息。

可选的，还包括：

写权限申请判断模块，用于当接收到所述第二客户端发送的写权限申请时，判断所述写权限申请对应的文件是否为当前迁移文件；

读权限回收模块，用于当所述写权限申请对应的文件为当前迁移文件时，执行将所述第一客户端对应的读权限回收的操作。

本申请还提供一种服务器，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上所述的数据迁移方法的步骤。

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的数据迁移方法的步骤。

本申请所提供的一种分布式文件系统的数据迁移控制方法，包括：元数据服务器向第一客户端发送迁移任务，以便所述第一客户端按照文件顺序逐个申请读权限并进行数据迁移操作；当接收到第二客户端发送的当前迁移文件的写权限申请时，根据所述写权限申请将所述第一客户端的所述当前迁移文件对应的读权限回收，以便所述第一客户端当读权限被回收时，根据被回收的读权限撤销对应文件的迁移操作。

通过元数据服务器先向第一客户端发送迁移任务，以便该第一客户端按照文件顺序对迁移任务中的文件逐个进行数据迁移操作，使第一客户端实现正常的数据迁移操作，并且，当接收到第二客户端发送的对当前正在迁移的当前迁移文件对应的写权限申请时，将该写权限申请对应的第一客户端的读权限回收，以便告知第一客户端该文件正在被修改，使得第一客户端撤销该文件的迁移操作，避免将错误的数据继续进行迁移，提高了迁移过程中数据正确性，提高了文件系统的可靠性。

本申请还提供一种分布式文件系统的数据迁移控制装置、服务器以及计算机可读存储介质，具有以上有益效果，在此不做赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例所提供的一种分布式文件系统的数据迁移控制方法的流程图；

图2为本申请实施例所提供的另一种分布式文件系统的数据迁移控制方法的示意图；

图3为本申请实施例所提供的一种分布式文件系统的数据迁移控制装置的结构示意图。

具体实施方式

本申请的核心是提供一种分布式文件系统的数据迁移控制方法、数据迁移控制装置、服务器以及计算机可读存储介质，通过元数据服务器先向第一客户端发送迁移任务使第一客户端执行该迁移任务，然后在对当前迁移文件进行写权限申请时，将该文件对应的读权限回收，以便第一客户端将该迁移文件的迁移操作撤销，避免了迁移过程中因数据修改出现的数据错误问题，提高了文件系统的可靠性。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

步骤2，迁移客户端通知MDS更新文件的池子属性信息；

因此，本申请提供一种分布式文件系统的数据迁移控制方法，通过元数据服务器先向第一客户端发送迁移任务，以便该第一客户端按照文件顺序对迁移任务中的文件逐个进行数据迁移操作，使第一客户端实现正常的数据迁移操作，并且，当接收到第二客户端发送的对当前正在迁移的当前迁移文件对应的写权限申请时，将该写权限申请对应的第一客户端的读权限回收，以便告知第一客户端该文件正在被修改，使得第一客户端撤销该文件的迁移操作，避免将错误的数据继续进行迁移，提高了迁移过程中数据正确性，提高了文件系统的可靠性。

请参考图1，图1为本申请实施例所提供的一种分布式文件系统的数据迁移控制方法的流程图。

本实施例中，该方法可以包括：

S101，元数据服务器向第一客户端发送迁移任务，以便第一客户端按照文件顺序逐个申请读权限并进行数据迁移操作；

本步骤旨在元数据服务器向第一客户端发送迁移任务，以便第一客户端按照文件顺序逐个申请读权限并进行数据迁移操作。也就是说使第一客户端执行正常的数据迁移操作，实现第一客户端对多个文件进行迁移。

具体来说，本步骤中的第一客户端接收到迁移任务时，根据该迁移任务按照文件顺序逐个对待迁移文件申请对应的读权限，当接收到读权限的授权后，对这些待迁移文件进行对应的数据迁移操作，也就是将数据从源地址复制到目的地。并且，从功能上来说该第一客户端在分布式文件系统中可以被称为迁移客户端。

可选的，本步骤还可以包括：

当接收到第一客户端发送的读权限申请时，根据读权限申请向第一客户端发送读权限的授权消息。

可见，本可选方案中，主要是对服务器如何对第一客户端进行读权限授权进行说明。具体的，当该元数据服务器接收到该第一客户端发送的读权限申请时，根据该读权限申请向该第一客户端发送读权限的授权消息，以便应答第一客户端的读权限申请。

S102，当接收到第二客户端发送的当前迁移文件的写权限申请时，根据写权限申请将第一客户端的当前迁移文件对应的读权限回收，以便第一客户端当读权限被回收时，根据被回收的读权限撤销对应文件的迁移操作。

在S101的基础上，本步骤旨在当接收到第二客户端发送的当前迁移文件的写权限申请时，根据写权限申请将第一客户端的当前迁移文件对应的读权限回收，以便第一客户端当读权限被回收时，根据被回收的读权限撤销对应文件的迁移操作。实现将正在进行修改的迁移文件的迁移操作进行撤销。也就是说，本步骤中将对应的读权限进行回收，以便告知第一客户端是哪一个文件正在被修改，以便第一客户端确定对应的文件，并进行迁移操作的撤销。

具体来说，本步骤中当第二客户端需要对存储的文件进行修改时，向元数据服务器发送对应的写权限申请，以便获取写权限，并执行修改写操作。因此，本步骤中当元数据服务器接收到第二客户端发送的当前迁移文件的写权限时，就确定了当前迁移的文件中哪些文件被申请进行修改写操作。然后在授权写权限的同时，将该文件的读权限同时进行回收，以便告知第一客户端该文件正在被修改写。据此，第一客户端通过被回收的读权限就可以确定对应的迁移文件，并且将该迁移文件的迁移操作进行撤销。

可选的，本步骤中第一客户端可以执行以下过程：

当第一客户端的读权限被回收时，第一客户端根据读权限确定对应的被修改文件；

对被修改文件设置撤销标记；

可见，本可选方案主要是对第一客户端执行的操作进行说明。本可选方案中当第一客户端的读权限被回收时，第一客户端首先根据读权限确定对应的被修改文件；然后，对被修改文件设置撤销标记；也就是对所有迁移文件中被修改文件进行标记，以便通过标记进行操作撤销。最后，控制迁移线程当处理到设置有撤销标记的迁移文件时，撤销该迁移文件的迁移操作。

可选的，本实施例中的第一客户端还可以：

第一客户端将已撤销迁移操作的文件的数据进行清除。

在上一可选方案的基础上，当第一客户端的迁移操作被撤销时，目的地中还存保存剩余的垃圾数据。因此，通过本可选方案将该剩余的垃圾数据进行删除处理，清理存储空间。

可选的，本步骤还可以包括：

当接收到第二客户端发送的写权限申请时，判断写权限申请对应的文件是否为当前迁移文件；

若是，则执行将第一客户端对应的读权限回收的操作。

可见，本可选方案，主要是元数据服务器执行的何种回收操作进行说明。具体的，本可选方案中当元数据服务器接收到第二客户端发送的写权限申请时，判断写权限申请对应的文件是否为当前迁移文件；若是，则执行将第一客户端对应的读权限回收的操作。也就是说，元数据服务器接收到写权限申请时，都需要进行判断，以便确定该写权限申请对应的文件是否为当前正在进行迁移的文件。若是，就可以对第一客户端执行将对应的读权限进行回收的操作。

综上，本实施例通过元数据服务器先向第一客户端发送迁移任务，以便该第一客户端按照文件顺序对迁移任务中的文件逐个进行数据迁移操作，使第一客户端实现正常的数据迁移操作，并且，当接收到第二客户端发送的对当前正在迁移的当前迁移文件对应的写权限申请时，将该写权限申请对应的第一客户端的读权限回收，以便告知第一客户端该文件正在被修改，使得第一客户端撤销该文件的迁移操作，避免将错误的数据继续进行迁移，提高了迁移过程中数据正确性，提高了文件系统的可靠性。

以下通过一个具体的实施例，对本申请提供的一种分布式文件系统的数据迁移控制方法进行说明。

请参考图2，图2为本申请实施例所提供的另一种分布式文件系统的数据迁移控制方法的示意图。

本实施例中，迁移客户端(图2中为backend)在文件迁移时首先向MDS(MetadataServer元数据服务器)申请读权限，然后再进行数据迁移，在文件迁移过程中，当有其他客户端修改写时，MDS会评估所有客户端当前的权限，然后对迁移客户端进行权限回收，迁移客户端接收到权限回收消息之后，释放读缓存权限，然后应答MDS，修改写客户端继续其正常业务访问。

迁移客户端应答权限回收后，查找对应的迁移文件，设置撤销标记，在迁移线程中文件逐个对象复制过程中识别是否需要撤销。如果需要撤销，则对剩余对象不再继续复制，等已复制的对象全部返回后删除目的池子中已复制的垃圾对象，迁移过程结束，以此来保证数据一致性，提升分布式文件系统整体可靠性和性能。

具体的，该方法可以包括：

步骤1，MDS下发迁移任务，迁移客户端收到迁移任务；

步骤2，迁移客户端文件迁移时，首先向MDS申请读和读缓存权限，MDS授权应答迁移客户端后，迁移客户端进行文件数据迁移；

步骤3，在数据迁移过程中，当有其他客户端发起修改写操作时，其同样也会向MDS申请写权限，MDS评估所有客户端权限，对迁移客户端进行读缓存权限回收，对修改写客户端进行写权限授权，迁移客户端收到权限回收后释放读缓存权限，应答MDS；

步骤4，迁移客户端应答权限回收后，查找迁移文件，设置撤销标记；

步骤5，迁移客户端迁移线程处理迁移任务，迁移任务中的文件在迁移复制过程中判断是否需要撤销。也就是，判断迁移文件是否设有撤销标记。如果有，则需要撤销则剩余对象不再继续复制，等所有已复制的对象都完成后，清理目的池子垃圾对象数据，迁移结束。如果不需要撤销，迁移任务文件迁移完成后迁移客户端应答MDS。

可见，本实施例通过元数据服务器先向第一客户端发送迁移任务，以便该第一客户端按照文件顺序对迁移任务中的文件逐个进行数据迁移操作，使第一客户端实现正常的数据迁移操作，并且，当接收到第二客户端发送的对当前正在迁移的当前迁移文件对应的写权限申请时，将该写权限申请对应的第一客户端的读权限回收，以便告知第一客户端该文件正在被修改，使得第一客户端撤销该文件的迁移操作，避免将错误的数据继续进行迁移，提高了迁移过程中数据正确性，提高了文件系统的可靠性。

下面对本申请实施例提供的一种分布式文件系统的数据迁移控制装置进行介绍，下文描述的一种分布式文件系统的数据迁移控制装置与上文描述的一种分布式文件系统的数据迁移控制方法可相互对应参照。

请参考图3，图3为本申请实施例所提供的一种分布式文件系统的数据迁移控制装置的结构示意图。

本实施例中，该装置可以包括：

数据迁移模块100，用于向第一客户端发送迁移任务，以便第一客户端按照文件顺序逐个申请读权限并进行数据迁移操作；

数据权限回收模块200，用于当接收到第二客户端发送的当前迁移文件的写权限申请时，根据写权限申请将第一客户端的当前迁移文件对应的读权限回收，以便第一客户端当读权限被回收时，根据被回收的读权限撤销对应文件的迁移操作。

可选的，该装置还可以包括：

读权限授权模块，用于当接收到第一客户端发送的读权限申请时，根据读权限申请向第一客户端发送读权限的授权消息。

可选的，该装置还可以包括：

写权限申请判断模块，用于当接收到第二客户端发送的写权限申请时，判断写权限申请对应的文件是否为当前迁移文件；

读权限回收模块，用于当写权限申请对应的文件为当前迁移文件时，执行将第一客户端对应的读权限回收的操作。

本申请实施例还提供一种服务器，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如以上实施例所述的数据迁移方法的步骤。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如以上实施例所述的数据迁移方法的步骤。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的一种分布式文件系统的数据迁移控制方法、数据迁移控制装置、服务器以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims

1.一种分布式文件系统的数据迁移控制方法，其特征在于，包括：

2.根据权利要求1所述的数据迁移控制方法，其特征在于，还包括：

3.根据权利要求1所述的数据迁移控制方法，其特征在于，还包括：

若是，则执行将所述第一客户端对应的读权限回收的操作。

4.根据权利要求1所述的数据迁移方法，其特征在于，所述第一客户端当读权限被回收时，根据被回收的读权限撤销对应文件的迁移操作，包括：

对所述被修改文件设置撤销标记；

5.根据权利要求1所述的数据迁移控制方法，其特征在于，还包括：

所述第一客户端将已撤销迁移操作的文件的数据进行清除。

6.一种分布式文件系统的数据迁移控制装置，其特征在于，包括：

7.根据权利要求6所述的数据迁移控制装置，其特征在于，还包括：

8.根据权利要求6所述的数据迁移控制装置，其特征在于，还包括：

9.一种服务器，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述的数据迁移方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的数据迁移方法的步骤。