CN103744875B - 基于文件系统的数据快速迁移方法及系统 - Google Patents

Abstract

本发明适用于存储技术领域，提供了一种基于文件系统的数据快速迁移方法，包括步骤有：元数据读取步骤，根据慢速存储设备的文件系统的属性，读取所述文件系统的各元数据；元数据分析步骤，分析所述元数据，获取所述元数据在所述慢速存储设备中的有效数据块位置；元数据迁移步骤，将所述元数据迁移到固态存储设备；有效数据块迁移步骤，根据所述有效数据块位置，将有效数据块迁移到所述固态存储设备。本发明还提供一种数据快速迁移系统。借此，本发明可实现慢速存储设备上的数据快速迁移到固态存储设备。

Description

基于文件系统的数据快速迁移方法及系统

技术领域

本发明涉及固态存储技术领域，尤其涉及一种基于文件系统的数据快速迁移方法及系统。

背景技术

随着科学技术的发展，SSD（Solid State Disk，固态硬盘）产品与人们工作、生活的关系日益密切，而产品的性能需要更加高效、稳定、可靠，目前，SSD 产品在市场中已经趋于成熟，其高速的性能也已得到企业和消费级受众群所认可，将SSD全部或部分替代慢速存储设备（如硬盘）也已成为一种趋势。当人们将SSD加入自己的应用场景时，会面临需要将现有数据从慢速存储设备上迁移到SSD的问题。

现在流行的文件系统种类有很多，如EXT2、EXT3、EXT4、JFS(Journal FileSystem)>GFS(Distributed File System)、ReiserFS(Reiser File System)、GoogleFS(Google File System)、ZFS(Zettabyte File System)等等。

上述种类的文件系统采用的是超级块（Super block)-索引节点(inode)-数据块（data block)三层结构。文件系统首先被分成一个个的物理块（block)，这些物理块被划分成超级块和索引节点区及数据区。超级块位于文件卷的第一个 block，其存储的数据是文件卷的控制信息，其中包括文件系统的目录结构树的根目录。数据区的data block用来存放文件的内容。索引节点区保存有目录结构树和对应于各个文件的索引节点inode。inode中保存有文件的属性和存储地址，该存储地址指向保存该文件内容的数据块。

在存储设备中，并非所有的数据均为有效数据，特别是建立了文件系统的存储设备。众所周知，当删除文件时，并不是真的将文件从存储设备中对应的数据块清零，而仅仅将文件系统中与此对应数据块的链接关系删除。

迁移数据时若是将存储设备中数据简单复制到SSD中，不仅会拷贝大量的无效数据，也会拷贝大量的全零数据（即未被文件系统和应用使用过的空间）。

综上可知，现有技术在实际使用上显然存在不便与缺陷，所以有必要加以改进。

发明内容

针对上述的缺陷，本发明的目的在于提供一种基于文件系统的数据快速迁移方法及系统，当此慢速存储设备上有文件系统时，本发明提出了可将数据快速迁移到SSD的方法。采用此方法，不仅节省了迁移数据的时间，而且减少SSD 中无效数据的存储和维护，大大提高了SSD的寿命和性能。

本发明提供一种基于文件系统的数据快速迁移方法，包括步骤有：

元数据读取步骤，根据慢速存储设备的文件系统的属性，读取所述文件系统的各元数据；

元数据分析步骤，分析所述元数据，获取所述元数据在所述慢速存储设备中的有效数据块位置；

元数据迁移步骤，将所述元数据迁移到固态存储设备；

有效数据块迁移步骤，根据所述有效数据块位置，将有效数据块迁移到所述固态存储设备。

根据本发明所述的数据快速迁移方法，所述元数据读取步骤包括：

读取超级块，获取文件系统块大小、块组数量kn、每块组中索引节点表大小x个块、每个块组中块数y；

所述元数据分析步骤包括：

读取第一块组的组描述符信息，从所述组描述符信息中获取第一块组的数据块位图的块号、数据块起始块号z；

所述元数据迁移步骤包括：

迁移所述第一块组的元数据，从所述第一块组起始到所述数据块起始块号 z；

所述有效数据块迁移步骤包括：

根据所述数据块位图的块号获取第一块组中各块对应的状态，并迁移状态为1的有效数据块；

依次执行所述元数据分析步骤、所述元数据迁移步骤和所述有效数据块迁移步骤，迁移其他块组，直至所有其他块组迁移完毕。

根据本发明所述的数据快速迁移方法，所述块组数量kn=索引节点总数/每个块组中索引节点数；

所述索引节点表大小x个块=每组中索引节点数×索引节点数据结构大小；

所述数据块起始块号z=数据块位图块号+2+x。

根据本发明所述的数据快速迁移方法，所述元数据包括超级块、组描述符、数据块位图、索引节点位图以及索引节点表。

根据本发明所述的数据快速迁移方法，所述元数据读取步骤之前还包括：

迁移引导块。

本发明还提供一种基于文件系统的数据快速迁移系统，包括：

元数据读取模块，用于根据慢速存储设备的文件系统的属性，读取所述文件系统的各元数据；

元数据分析模块，用于分析所述元数据，获取所述元数据在所述慢速存储设备中的有效数据块位置；

元数据迁移模块，用于将所述元数据迁移到固态存储设备；

有效数据块元数据迁移模块，用于根据所述有效数据块位置，将有效数据块迁移到所述固态存储设备。

根据本发明所述的数据快速迁移系统，所述元数据读取模块用于读取超级块，获取文件系统块大小、块组数量kn、每块组中索引节点表大小x个块、每个块组中块数y；

所述元数据分析模块用于读取第一块组的组描述符信息，从所述组描述符信息中获取第一块组的数据块位图的块号、数据块起始块号z；

所述元数据迁移模块用于迁移所述第一块组的元数据，从所述第一块组起始到所述数据块起始块号z；

所述有效数据块元数据迁移模块用于根据所述数据块位图的块号获取第一块组中各块对应的状态，并迁移状态为1的有效数据块；

依次执行所述元数据分析模块、所述元数据迁移模块和所述有效数据块元数据迁移模块，迁移其他块组，直至所有其他块组迁移完毕。

根据本发明所述的数据快速迁移系统，所述块组数量kn=索引节点总数/每个块组中索引节点数；

所述索引节点表大小x个块=每组中索引节点数×索引节点数据结构大小；

所述数据块起始块号z=数据块位图块号+2+x。

根据本发明所述的数据快速迁移系统，所述元数据包括超级块、组描述符、数据块位图、索引节点位图以及索引节点表。

根据本发明所述的数据快速迁移系统，还包括：

迁移引导块模块，用于在读取所述元数据之前，迁移引导块。

本发明在从慢速存储设备中迁移数据到固态存储设备时，分析文件系统中的元数据，获取元数据的有效数据块位置，迁移所述元数据之后，根据所述有效数据块位置，将有效数据块迁移到固态存储设备，而不必迁移无效数据块。借此，本发明能够将慢速存储设备中的数据快速迁移到固态存储设备，不仅减少了迁移数据的时间，而且减少了SSD中无效数据的存储和维护，大大提高了 SSD的寿命和性能。

附图说明

图1是本发明基于文件系统的数据快速迁移系统结构示意图；

图2为本发明基于文件系统的数据快速迁移方法的流程图；

图3为本发明优选的基于文件系统的数据快速迁移方法的流程实例图；

图4是本发明基于文件系统的数据快速迁移方法中EXT3文件系统实例图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对上述问题，当此慢速存储设备上有文件系统时，本发明提出了基于文件系统的数据快速迁移方法。采用此方法，不仅节省了迁移数据的时间，而且减少SSD中无效数据的存储和维护，大大提高了SSD的寿命和性能。

图1示出了本发明基于文件系统的数据快速迁移系统100的结构，所述数据快速迁移系统100可以是与PC、手机、平板电脑等结合运行的软硬件结合的计算机设备，也可以是专门用于迁移数据的设备，并且所述数据快速迁移系统 100包括有：

元数据读取模块10，用于根据慢速存储设备的文件系统的属性，读取所述文件系统的各元数据。

元数据分析模块20，用于分析所述元数据，获取所述元数据在所述慢速存储设备中的有效数据块位置。优选的是，读取慢速存储设备中的文件系统、元数据，分析文件系统的元数据得到有效数据块位置。

元数据迁移模块30，用于将所述元数据迁移到固态存储设备。将获取到元数据及有效数据进行复制、备份，迁移完整的拷贝到新的存储设备当中。

有效数据块迁移模块40，用于根据所述有效数据块位置，将有效数据块迁移到所述固态存储设备。

尤其是在此类采用的是超级块（Super block)-索引节点(inode)-数据块（datablock)三层结构的文件系统中，块组数量kn=索引节点总数/每个块组中索引节点数；所述索引节点表大小x个块=每组中索引节点数×索引节点数据结构大小；所述数据块起始块号z=数据块位图块号+2+x，所述元数据包括超级块、组描述符、数据块位图、索引节点位图以及索引节点表。

数据快速迁移系统100的进一步的实施例，更好的是，还包括迁移引导块模块50，用于在读取所述元数据之前，迁移引导块。

在具体的实施例子当中，是按照迁移数据过程中从旧设备读取元数据和有效数据传输到新存储设备的顺序，各模块逐一负责一个步骤。

进一步地，元数据读取模块10用于读取超级块，获取文件系统块大小、块组数量kn、每块组中索引节点表大小x个块、每个块组中块数y；元数据分析模块20用于读取第一块组的组描述符信息，从所述组描述符信息中获取第一块组的数据块位图的块号、数据块起始块号z；元数据迁移模块30用于迁移所述第一块组的元数据，从所述第一块组起始到所述数据块起始块号z。有效数据块迁移模块40用于根据所述数据块位图的块号获取第一块组中各块对应的状态，并迁移状态为1的有效数据块。

依次执行元数据分析模块20、元数据迁移模块30和所述有效数据块迁移模块40，迁移其他块组，直至所有其他块组迁移完毕。

针对上述问题，当此慢速存储设备上有文件系统时，只迁移有效数据块，因此本发明可将数据快速迁移到SSD。本发明不仅节省了迁移数据的时间，而且减少SSD中无效数据的存储和维护，大大提高了SSD的寿命和性能。

图2为本发明方法的流程图，其可通过如图1所示的数据快速迁移系统100 实现，包括步骤如下：

步骤S201中，根据慢速存储设备的文件系统的属性，读取所述文件系统的各元数据。

步骤S202中，分析所述元数据，获得有效数据块的位置。即分析元数据的分布，获取所述元数据在所述慢速存储设备中的有效数据块位置。

步骤S203中，将所述元数据迁移到固态存储设备。

步骤S204中，根据有效数据块地址，将有效数据块迁移到所述固态存储设备。

本发明基于文件系统的数据快速迁移方法可识别当前文件系统，读取文件系统中的元数据，所述元数据包括超级块、组描述符、数据块位图、索引节点位图以及索引节点表，分析元数据得出有效数据的位置，例如检测文件系统为 EXT3，读取并分析文件系统中的元数据，之后根据数据块位图、索引节点位图以及索引节点表的分析结果逐步迁移数据块各块组的有效索引节点和有效数据块。

通过减少无效数据块的数据的写入操作，缩短数据从慢速存储设备迁移到固态存储设备上的迁移时间，因此，本发明可以将慢速设备上的数据快速迁移到固态存储设备上。

以EXT3文件系统为例，其块组结构如图4所示，其中本发明优选的快速迁移方法的流程，如图3所示，步骤如下：

步骤S301，迁移引导块。

步骤S302，读取超级块，获取文件系统块大小、块组数量kn、每块组中索引节点表大小x个块、每个块组中块数y。所述块组数量kn=索引节点总数/每个块组中索引节点数。所述索引节点表大小x个块=每组中索引节点数×索引节点数据结构大小。

步骤S303，读取第一块组的组描述符信息，从所述组描述符信息中获取第一块组的数据块位图的块号、数据块起始块号z。所述数据块起始块号z=数据块位图块号+2+x。

步骤S304，迁移所述第一块组的元数据，从所述第一块组起始到所述数据块起始块号z。所述元数据包括超级块、组描述符、数据块位图、索引节点位图以及索引节点表。

步骤S305，根据所述数据块位图的块号获取第一块组中各块对应的状态，并迁移状态为1的有效数据块。校验有效数据块迁移是否完毕。如果否，即还有有效数据块未迁移完毕，需检查索引节点位图。读取并分析索引节点位图，获取迁移中断处的索引节点位置。其中根据所述数据块位图的块号获取各块组中各块对应的迁移状态，检测到中断点，继续迁移有效数据块。

依次执行步骤S304、步骤S304、步骤S305，迁移其他块组，直至所有其他块组迁移完毕。

同理可知具体实施中，本发明中由于迁移过程中元数据指向的有效数据块和有效索引节点已全部确认，无需对无效数据进行访问，减少因无效数据增加的迁移时间，检测中断点确认是否所有有效数据块读取完毕，当读取完毕时，确认迁移完毕。

综上所述，本发明在从慢速存储设备中迁移数据到固态存储设备时，分析文件系统中的元数据，获取元数据的有效数据块位置，迁移所述元数据之后，

根据所述有效数据块位置，将有效数据块迁移到固态存储设备，而不必迁移无效数据块。借此，本发明能够将慢速存储设备中的数据快速迁移到固态存储设备，不仅减少了迁移数据的时间，而且减少了SSD中无效数据的存储和维护，大大提高了SSD的寿命和性能。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (8)

1.一种基于文件系统的数据快速迁移方法，其特征在于，包括步骤有：

元数据读取步骤，根据慢速存储设备的文件系统的属性，读取所述文件系统的各元数据；

元数据分析步骤，分析所述元数据，获取所述元数据在所述慢速存储设备中的有效数据块位置；

元数据迁移步骤，将所述元数据迁移到固态存储设备；

有效数据块迁移步骤，根据所述有效数据块位置，将有效数据块迁移到所述固态存储设备；

所述元数据读取步骤包括：

读取超级块，获取文件系统块大小、块组数量kn、每块组中索引节点表大小x个块、每个块组中块数y；

所述元数据分析步骤包括：

读取第一块组的组描述符信息，从所述组描述符信息中获取第一块组的数据块位图的块号、数据块起始块号z；

所述元数据迁移步骤包括：

迁移所述第一块组的元数据，从所述第一块组起始到所述数据块起始块号z；

所述有效数据块迁移步骤包括：

根据所述数据块位图的块号获取第一块组中各块对应的状态，并迁移状态为1的有效数据块；

依次执行所述元数据分析步骤、所述元数据迁移步骤和所述有效数据块迁移步骤，迁移其他块组，直至所有其他块组迁移完毕。

2.根据权利要求1所述的数据快速迁移方法，其特征在于，所述块组数量kn＝索引节点总数/每个块组中索引节点数；

所述索引节点表大小x个块＝每组中索引节点数×索引节点数据结构大小；

所述数据块起始块号z＝数据块位图块号+2+x。

3.根据权利要求1所述的数据快速迁移方法，其特征在于，所述元数据包括超级块、组描述符、数据块位图、索引节点位图以及索引节点表。

4.根据权利要求1所述的数据快速迁移方法，其特征在于，所述元数据读取步骤之前还包括：

迁移引导块。

5.一种基于文件系统的数据快速迁移系统，其特征在于，包括：

元数据读取模块，用于根据慢速存储设备的文件系统的属性，读取所述文件系统的各元数据；

元数据分析模块，用于分析所述元数据，获取所述元数据在所述慢速存储设备中的有效数据块位置；

元数据迁移模块，用于将所述元数据迁移到固态存储设备；

有效数据块元数据迁移模块，用于根据所述有效数据块位置，将有效数据块迁移到所述固态存储设备；所述元数据读取模块用于读取超级块，获取文件系统块大小、块组数量kn、每块组中索引节点表大小x个块、每个块组中块 数y；

所述元数据分析模块用于读取第一块组的组描述符信息，从所述组描述符信息中获取第一块组的数据块位图的块号、数据块起始块号z；

所述元数据迁移模块用于迁移所述第一块组的元数据，从所述第一块组起始到所述数据块起始块号z；

所述有效数据块元数据迁移模块用于根据所述数据块位图的块号获取第一块组中各块对应的状态，并迁移状态为1的有效数据块；

依次执行所述元数据分析模块、所述元数据迁移模块和所述有效数据块元数据迁移模块，迁移其他块组，直至所有其他块组迁移完毕。

6.根据权利要求5所述的数据快速迁移系统，其特征在于，所述块组数量kn＝索引节点总数/每个块组中索引节点数；

所述索引节点表大小x个块＝每组中索引节点数×索引节点数据结构大小；

所述数据块起始块号z＝数据块位图块号+2+x。

7.根据权利要求5所述的数据快速迁移系统，其特征在于，所述元数据包括超级块、组描述符、数据块位图、索引节点位图以及索引节点表。

8.根据权利要求5所述的数据快速迁移系统，其特征在于，还包括：

迁移引导块模块，用于在读取所述元数据之前，迁移引导块。