CN112269759A

CN112269759A - 一种共享文件存储的迁移方法及相关装置

Info

Publication number: CN112269759A
Application number: CN202011147961.7A
Authority: CN
Inventors: 马翱宇; 亓开元; 马豹
Original assignee: Beijing Inspur Data Technology Co Ltd
Current assignee: Beijing Inspur Data Technology Co Ltd
Priority date: 2020-10-23
Filing date: 2020-10-23
Publication date: 2021-01-26
Anticipated expiration: 2040-10-23
Also published as: CN112269759B

Abstract

本申请公开了一种共享文件存储的迁移方法，应用于云平台，包括：当目标共享文件存储可迁移且目标文件存储类型的后端存储可用时，设置所述目标共享文件存储的访问控制状态为只读；创建所述目标文件存储类型对应的文件存储；将所述目标共享文件存储的文件复制到创建的所述文件存储中；将创建的所述文件存储的权限设置为与所述目标共享文件存储的权限一致。该迁移方法在云平台层面进行共享文件存储的迁移，屏蔽掉了底层存储差异，能够实现文件、元数据以及权限的迁移与同步。本申请还公开了一种共享文件存储的迁移装置、设备及计算机可读存储介质，均具有上述技术效果。

Description

一种共享文件存储的迁移方法及相关装置

技术领域

本申请涉及云平台技术领域，特别涉及一种共享文件存储的迁移方法；还涉及一种共享文件存储的迁移装置、设备以及计算机可读存储介质。

背景技术

Manila是OpenStack中的重要组件，为OpenStack提供共享文件存储服务，供云主机可以方便地使用共享文件系统。在云平台操作系统上，用户可以通过Manila方便地创建文件存储类型，不同的文件存储类型可以对应不同的底层存储，选择任意一个文件存储类型，最终将在对应驱动完成底层共享文件目录的创建。若想在云主机内使用该文件存储，需要进入云主机，Linux系统手动执行mount命令，将文件存储导出路径挂载到本地目录才能使用；Windows系统需要手动映射一个网络驱动器到一个分区，并且需要账号密码认证才能够使用。

随着云平台上文件存储的长期使用，可能由于某种原因，例如原底层存储空间不足、需要将文件存储迁移到网络更优的地区；底层存储硬件升级或者安全原因等，需要将文件存储迁移到其他后端。由于底层存储的不同，不能直接在底层存储上迁移文件存储数据，或者底层存储不支持迁移。由此目前针对任意文件存储实现在云平台层面上的通用迁移，支持将一个文件存储的内容转移到其他文件存储内显得尤为必要。

因此，提供一种在云平台层面进行共享文件存储的迁移方案已成为本领域技术人员亟待解决的技术问题。

发明内容

本申请的目的是提供一种共享文件存储的迁移方法，在云平台层面进行共享文件存储的迁移，屏蔽掉了底层存储差异，能够实现文件、元数据以及权限的迁移与同步。本申请的另一个目的是提供一种共享文件存储的迁移装置、设备以及计算机可读存储介质，均具有上述技术效果。

为解决上述技术问题，本申请提供了一种共享文件存储的迁移方法，应用于云平台，包括：

当目标共享文件存储可迁移且目标文件存储类型的后端存储可用时，设置所述目标共享文件存储的访问控制状态为只读；

创建所述目标文件存储类型对应的文件存储；

将所述目标共享文件存储的文件复制到创建的所述文件存储中；

将创建的所述文件存储的权限设置为与所述目标共享文件存储的权限一致。

可选的，所述将所述目标共享文件存储的文件复制到创建的所述文件存储中包括：

将所述目标共享文件存储与创建的所述文件存储挂载到宿主机的临时目录下；

通过文件过滤器过滤掉所述目标共享存储中不需要复制的文件，并计算所述目标共享文件存储中需要复制的文件的总量；

将所述目标共享文件存储的挂载点的文件复制到所创建的所述文件存储的挂载点，并统计已复制文件的大小；

当已复制文件的大小达到所述需要复制的文件的总量后结束文件复制，并将所述目标共享文件的挂载点与创建的所述文件存储的挂载点从所述宿主机的临时目录卸载。

可选的，所述将创建的所述文件存储的权限设置为与所述目标共享文件存储的权限一致包括：

将复制到创建的所述文件存储的文件的权限设置为与所述目标共享文件存储中对应的文件的权限一致；

将复制到创建的所述文件存储的文件的拥有者设置为与所述目标共享文件存储中对应的文件的拥有者一致；

将创建的所述文件存储的访问控制权限设置为与所述目标共享文件存储设置为只读前的访问控制权限一致。

可选的，还包括：

每复制完成一个文件后，使用安全散列算法验证验证复制的文件的完整性。

可选的，还包括：

完成共享文件存储迁移后，解除所述目标共享文件存储的只读限制。

可选的，还包括：

当所述目标共享文件存储带快照时，将所述快照删除。

可选的，还包括：

当所述目标共享文件存储不可迁移时报错。

为解决上述技术问题，本申请还提供了一种共享文件存储的迁移装置，包括：

第一设置模块，用于当目标共享文件存储可迁移且目标文件存储类型的后端存储可用时，设置所述目标共享文件存储的访问控制状态为只读；

创建模块，用于创建所述目标文件存储类型对应的文件存储；

复制模块，用于将所述目标共享文件存储的文件复制到创建的所述文件存储中；

第二设置模块，用于将创建的所述文件存储的权限设置为与所述目标共享文件存储的权限一致。

为解决上述技术问题，本申请还提供了一种共享文件存储的迁移设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上所述的共享文件存储的迁移方法的步骤。

为解决上述技术问题，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的共享文件存储的迁移方法的步骤。

本申请所提供的共享文件存储的迁移方法，应用于云平台，包括：当目标共享文件存储可迁移且目标文件存储类型的后端存储可用时，设置所述目标共享文件存储的访问控制状态为只读；创建所述目标文件存储类型对应的文件存储；将所述目标共享文件存储的文件复制到创建的所述文件存储中；将创建的所述文件存储的权限设置为与所述目标共享文件存储的权限一致。可见，本申请所提供的共享文件存储的迁移方法，在云平台层面实现共享文件存储的迁移，屏蔽掉了底层存储的差异，针对不同存储后端的共享文件存储能够无差别的迁移数据，且在迁移数据的同时还能够同步权限，可以方便项目管理人员进行数据迁移。

本申请所提供的共享文件存储的迁移装置、设备以及计算机可读存储介质均具有上述技术效果。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例所提供的一种共享文件存储的迁移方法的流程示意图；

图2为本申请实施例所提供的一种共享文件存储的迁移装置的示意图；

图3为本申请实施例所提供的一种共享文件存储的迁移设备的示意图。

具体实施方式

本申请的核心是提供一种共享文件存储的迁移方法，在云平台层面进行共享文件存储的迁移，屏蔽掉了底层存储差异，能够实现文件、元数据以及权限的迁移与同步。本申请的另一核心是提供一种共享文件存储的迁移装置、设备以及计算机可读存储介质，均具有上述技术效果。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参考图1，图1为本申请实施例所提供的一种共享文件存储的迁移方法的流程示意图，参考图1所示，该方法包括：

S101：当目标共享文件存储可迁移且目标文件存储类型的后端存储可用时，设置目标共享文件存储的访问控制状态为只读；

具体的，用户进入云平台，创建文件存储类型，不同的文件存储类型对应不同的底层存储(backend_name)，当使用一个文件存储类型创建文件存储之后，可以选择将该文件存储迁移到其他文件存储类型，即迁移到其他底层存储后端上。在云平台操作系统内，项目管理员可以选择一个共享文件存储即目标共享文件存储)，选择一个其他的文件存储类型即目标文件存储类型。云平台将挂载请求(os-migration)通过Manila REST Api下发给Manila服务(Manila服务中新扩展有os-migration接口)。收到下发的迁移操作后Manila-api层进行一系列校验操作，验证该目标共享文件存储是否可迁移，不可迁移的话，api层返回报错。同时api层还检查目标文件存储类型的后端存储是否可用。当目标共享文件存储可迁移且目标文件存储类型的后盾存储可用时，Manila-api通过消息队列发送消息给Manila-scheduler，进而Manila-scheduler根据目标文件存储类型及容量选择相应的Manila-share。进一步Manila-share将目标共享文件存储的状态修改为迁移中，并将目标共享文件存储的访问控制状态设置为只读，使目标共享文件存储在迁移过程中无法进行写操作。

S102：创建目标文件存储类型对应的文件存储；

具体的，Manila-share还根据目标文件存储类型创建一个新的文件存储，用于接收数据。在创建完新的文件存储后，Manila-share通过消息队列发送消息给Manila-data，以进行数据复制。

S103：将目标共享文件存储的文件复制到创建的文件存储中；

具体的，本步骤旨在进行文件复制，且在一种具体的实施方式中，将目标共享文件存储的文件复制到创建的文件存储中的方式为：将目标共享文件存储与所创建的文件存储挂载到宿主机的临时目录下；通过文件过滤器过滤掉目标共享存储中不需要复制的文件，并计算目标共享文件存储中需要复制的文件的总量；将目标共享文件存储的挂载点的文件复制到所创建的文件存储的挂载点，并统计已复制文件的大小；当已复制文件的大小达到需要复制的文件的总量后结束文件复制，并将目标共享文件的挂载点与所创建的文件存储的挂载点从宿主机的临时目录卸载。另外，在一种具体的实施方式中，还包括：每复制完成一个文件后，使用安全散列算法验证验证复制的文件的完整性。

具体而言，Manila-data将目标共享文件存储和新创建的文件存储挂载到宿主机临时目录下，在目标共享文件存储的挂载点中，通过下发命令“ls-pA1--group-directories-first/dir”获取所有目录，通过下发命令“stat–c file"获取文件大小，并且通过文件过滤器过滤掉部分不需要复制的文件，计算出需要复制的文件的总量。进而，Manila-data服务遍历目标共享文件存储的挂载点的所有文件夹及文件(“ls-pA1--group-directories-first/dir”)，在新创建的文件存储的挂载点中执行命令“mkdir–p/dir"创建目录，通过下发命令“cp–P--preserve＝all src_file dest_file”将文件拷贝到新创建的文件存储的挂载点。执行“stat–c file"统计已复制的文件的大小。当已复制文件的大小达到需要复制的文件的总量时，表明数据复制已完成。其中，Manila-data在复制完成一个文件后，使用sha256sum(安全散列算法)进一步验证文件的完整性，以确保文件一致。迁移完成后将目标共享文件的挂载点与所创建的文件存储的挂载点从宿主机的临时目录卸载。

S104：将创建的文件存储的权限设置为与目标共享文件存储的权限一致。

具体的，本步骤旨在同步权限，将创建的文件存储的权限设置为与目标共享文件存储一致。且在一种具体的实施方式中，上述将创建的文件存储的权限设置为与目标共享文件存储的权限一致包括：将复制到创建的文件存储的文件的权限设置为与目标共享文件存储中对应的文件的权限一致；将复制到创建的文件存储的文件的拥有者设置为与目标共享文件存储中对应的文件的拥有者一致；将创建的文件存储的访问控制权限设置为与目标共享文件存储设置为可读前的访问控制权限一致。

具体而言，Manila-data通过“chmod--reference＝src_item dest_item”命令将复制到新创建的文件存储中的文件的权限设置为与目标共享文件存储汇总该文件的文件权限一致，通过“chown--reference＝src_item dest_item”命令将复制到新创建的文件存储中的文件的拥有者设置为与目标共享文件存储汇总该文件的拥有者一致。此外，在完成文件迁移之后，Manila-share将所创建的文件存储的访问控制权限设置为与目标共享文件存储设置为可读前的访问控制权限一致。例如，目标共享文件存储在设置为可读前的访问控制权限为可读可写，则对应的将新创建的文件存储的访问控制权限设置为可读可写。

进一步，完成共享文件存储迁移后，Manila-share解除目标共享文件存储的只读限制，恢复目标共享文件存储的访问控制权限。

此外，由于底层存储的不兼容，对于带快照的文件存储不允许迁移，将快照删除后才能迁移，故当目标共享文件存储带快照时，首先删除目标共享文件存储的快照，在删除了快照后迁移目标共享文件存储，并在目标共享文件存储迁移完成后再补偿上相应的快照。

综上所述，本申请所提供的共享文件存储的迁移方法，应用于云平台，包括：当目标共享文件存储可迁移且目标文件存储类型的后端存储可用时，设置所述目标共享文件存储的访问控制状态为可读；创建所述目标文件存储类型对应的文件存储；将所述目标共享文件存储的文件复制到创建的所述文件存储中；将所创建的所述文件存储的权限设置为与所述目标共享文件存储一致。该方法，在云平台层面实现共享文件存储的迁移，屏蔽掉了底层存储的差异，针对不同存储后端的共享文件存储能够无差别的迁移数据，且在迁移数据的同时还能够同步权限，可以方便项目管理人员进行数据迁移。该方法能够解决因底层存储升级，故障等原因导致需要迁移共享文件存储的问题；云平台迁移共享存储时，不仅需要迁移存储数据，还需要迁移元数据，访问控制信息，和文件权限等的问题。

本申请还提供了一种共享文件存储的迁移装置，下文描述的该装置可以与上文描述的方法相互对应参照。请参考图2，图2为本申请实施例所提供的一种共享文件存储的迁移装置的示意图，结合图2所示，该装置包括：

第一设置模块10，用于当目标共享文件存储可迁移且目标文件存储类型的后端存储可用时，设置所述目标共享文件存储的访问控制状态为只读；

创建模块20，用于创建所述目标文件存储类型对应的文件存储；

复制模块30，用于将所述目标共享文件存储的文件复制到创建的所述文件存储中；

第二设置模块40，用于将创建的所述文件存储的权限设置为与所述目标共享文件存储的权限一致。

在上述实施例的基础上，作为一种具体的实施方式，复制模块30包括：

挂载单元，用于将所述目标共享文件存储与创建的所述文件存储挂载到宿主机的临时目录下；

计算单元，用于通过文件过滤器过滤掉所述目标共享存储中不需要复制的文件，并计算所述目标共享文件存储中需要复制的文件的总量；

复制单元，用于将所述目标共享文件存储的挂载点的文件复制到所创建的所述文件存储的挂载点，并统计已复制文件的大小；

卸载单元，用于当已复制文件的大小达到所述需要复制的文件的总量后结束文件复制，并将所述目标共享文件的挂载点与创建的所述文件存储的挂载点从所述宿主机的临时目录卸载。

在上述实施例的基础上，作为一种具体的实施方式，第二设置模块40包括：

文件权限设置单元，用于将复制到创建的所述文件存储的文件的权限设置为与所述目标共享文件存储中对应的文件的权限一致；

文件拥有者设置单元，用于将复制到创建的所述文件存储的文件的拥有者设置为与所述目标共享文件存储中对应的文件的拥有者一致；

访问控制权限设置单元，用于将创建的所述文件存储的访问控制权限设置为与所述目标共享文件存储设置为只读前的访问控制权限一致。

在上述实施例的基础上，作为一种具体的实施方式，还包括：

验证模块，用于每复制完成一个文件后，使用安全散列算法验证验证复制的文件的完整性。

解除模块，用于完成共享文件存储迁移后，解除所述目标共享文件存储的只读限制。

删除模块，用于当所述目标共享文件存储带快照时，将所述快照删除。

本申请还提供了一种共享文件存储的迁移设备，参考图3所示，该设备包括存储器1和处理器2。

存储器1，用于存储计算机程序；

处理器2，用于执行计算机程序实现如下的步骤：

当目标共享文件存储可迁移且目标文件存储类型的后端存储可用时，设置所述目标共享文件存储的访问控制状态为只读；创建所述目标文件存储类型对应的文件存储；将所述目标共享文件存储的文件复制到创建的所述文件存储中；将创建的所述文件存储的权限设置为与所述目标共享文件存储的权限一致。

对于本申请所提供的设备的介绍请参照上述方法实施例，本申请在此不做赘述。

本申请还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现如下的步骤：

该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

对于本申请所提供的计算机可读存储介质的介绍请参照上述方法实施例，本申请在此不做赘述。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、设备以及计算机可读存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的共享文件存储的迁移方法、装置、设备以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围。

Claims

1.一种共享文件存储的迁移方法，其特征在于，应用于云平台，包括：

创建所述目标文件存储类型对应的文件存储；

2.根据权利要求1所述的共享文件存储的迁移方法，其特征在于，所述将所述目标共享文件存储的文件复制到创建的所述文件存储中包括：

3.根据权利要求2所述的共享文件存储的迁移方法，其特征在于，所述将创建的所述文件存储的权限设置为与所述目标共享文件存储的权限一致包括：

4.根据权利要求3所述的共享文件存储的迁移方法，其特征在于，还包括：

5.根据权利要求4所述的共享文件存储的迁移方法，其特征在于，还包括：

6.根据权利要求5所述的共享文件存储的迁移方法，其特征在于，还包括：

当所述目标共享文件存储带快照时，将所述快照删除。

7.根据权利要求6所述的共享文件存储的迁移方法，其特征在于，还包括：

当所述目标共享文件存储不可迁移时报错。

8.一种共享文件存储的迁移装置，其特征在于，包括：

9.一种共享文件存储的迁移设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的共享文件存储的迁移方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的共享文件存储的迁移方法的步骤。