CN105653642A - 分布式文件系统的数据管理方法和装置 - Google Patents

Abstract

本发明公开了一种分布式文件系统的数据管理方法和装置，该方法包括：在对文件对象进行访问时，记录文件对象中每个被访问的数据段的访问次数；统计预定统计周期内每个被访问的数据段的访问次数，得到预定统计周期内每个被访问的数据段的访问统计次数；将满足预定访问频度的访问统计次数所对应的数据段迁移至快设备。本发明通过以数据段为单位进行访问次数统计以及数据的迁移，避免了迁移数据过多的问题从而充分利用快速设备空间，并提高了热点数据的访问速度和性能。

Description

分布式文件系统的数据管理方法和装置

技术领域

本发明涉及分布式文件系统领域，具体来说，涉及一种分布式文件系统的数据管理方法和装置。

背景技术

分布式文件系统一般包含客户端，元数据服务器和数据服务器，客户端负责文件数据的访问接口制定，元数据服务器处理文件的布局及属性，数据服务器存储文件的数据内容。

对于分布式文件系统，可以存储海量数据是其最主要的特征，当系统中存储了大量的文件，而某些文件被作为上层应用的关键文件被频繁访问时，往往这些关键文件的访问延时决定了系统可以承载的IO数量，最典型的应用场景为虚拟机的应用，该场景下作为虚拟机的系统盘的文件的访问热度比普通文件要高很多，这样会造成对虚拟机的访问性能的下降。

传统解决方案是以文件为单位，直接统计文件的访问频次，并按文件为单位将文件迁移至快速设备，但是，在大多数情况下，只有文件中的某些数据段被频繁访问，而将整个文件进行直接迁移，显然会会大大的浪费快速设备的空间，而对无效的热点数据(即文件中访问频率低的数据段)的迁移也会影响热点数据的访问性能。

针对相关技术中的上述问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的上述问题，本发明提出一种分布式文件系统的数据管理方法和装置，能够避免迁移数据过多的缺点，并提高热点数据的访问速度。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种分布式文件系统的数据管理方法。

该数据管理方法包括：

在对文件对象进行访问时，记录文件对象中每个被访问的数据段的访问次数；

统计预定统计周期内每个被访问的数据段的访问次数，得到预定统计周期内每个被访问的数据段的访问统计次数；

将满足预定访问频度的访问统计次数所对应的数据段迁移至快设备。

可选的，该数据管理方法进一步包括：

在将满足预定访问频度的访问统计次数所对应的数据段迁移至快设备之前，对预定统计周期内每个被访问的数据段的访问次数作排序。

此外，该数据管理方法进一步包括：

将预定统计周期内每个被访问的数据段的访问统计次数与预定的统计次数阈值作比较。

对应的，在将满足预定访问频度的访问统计次数所对应的数据段迁移至快设备时，可将大于预定的统计次数阈值的访问统计次数确定为满足预定访问频度的访问统计次数；

然后，将满足预定访问频度的访问统计次数所对应的数据段设定为热点数据段；

并将热点数据段迁移至快设备。

此外，该数据管理方法进一步包括：

在预定统计周期内每个被访问的数据段的访问统计次数均小于预定的统计次数阈值的情况下，调整预定统计周期。

此外，该数据管理方法进一步包括：

按预定检测周期遍历快设备上的热点数据段的未访问间隔时间，其中，未访问间隔时间为该热点数据段距离当前时间最近一次的访问时间与当前时间的间隔时间；

将热点数据段的未访问间隔时间与预定最大未访问间隔时间作比较；

将未访问间隔时间大于预定最大未访问间隔时间的热点数据段从快设备迁移至慢设备。

根据本发明的另一方面，提供了一种分布式文件系统的数据管理装置。

该数据管理装置包括：

记录模块，用于在对文件对象进行访问时，记录文件对象中每个被访问的数据段的访问次数；

统计模块，用于统计预定统计周期内每个被访问的数据段的访问次数，得到预定统计周期内每个被访问的数据段的访问统计次数；

迁移模块，用于将满足预定访问频度的访问统计次数所对应的数据段迁移至快设备。

此外，该数据管理装置进一步包括：

排序模块，用于在将满足预定访问频度的访问统计次数所对应的数据段迁移至快设备之前，对预定统计周期内每个被访问的数据段的访问次数作排序。

另外，该数据管理装置进一步包括：

比较模块，用于将预定统计周期内每个被访问的数据段的访问统计次数与预定的统计次数阈值作比较。

其中，该迁移模块包括：

确定模块，用于将大于预定的统计次数阈值的访问统计次数确定为满足预定访问频度的访问统计次数；

设定模块，用于将满足预定访问频度的访问统计次数所对应的数据段设定为热点数据段；

迁移子模块，用于将热点数据段迁移至快设备。

本发明通过以数据段为单位进行访问次数统计以及数据的迁移，避免了迁移数据过多的问题从而充分利用快速设备空间，并提高了热点数据的访问速度和性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的分布式文件系统的数据管理方法的流程图；

图2是根据本发明另一实施例的分布式文件系统的数据管理方法的流程图；

图3是根据本发明实施例的分布式文件系统的数据管理装置的框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的实施例，提供了一种分布式文件系统的数据管理方法。

如图1所示，根据本发明实施例的数据管理方法包括：

步骤S101，在对文件对象进行访问时，记录文件对象中每个被访问的数据段的访问次数；

步骤S103，统计预定统计周期内每个被访问的数据段的访问次数，得到预定统计周期内每个被访问的数据段的访问统计次数；

步骤S105，将满足预定访问频度的访问统计次数所对应的数据段迁移至快设备。

为了更好的理解本发明的上述实施例，下面结合图2来对本发明的上述技术方案进行详细阐述。

从图2可以看出，本发明的分布式文件系统包括客户端、元数据服务器和多个数据服务器(即数据节点1～3，实际应用中对数据节点的数量不作限定)。

为了提高热数据的访问速度以及充分利用快设备的存储空间，根据本发明实施例的数据管理方法包括以下步骤：

1、当数据节点的文件被读写(即被访问)时，客户端会向数据节点(1～3)发起读写的请求；

2、数据节点根据热点指定的统计单位(即文件的数据段为单位)，对读写到的文件对象中读写到的数据段分别做访问次数统计，即记录文件对象中每个被访问的数据段的访问次数；

3、元数据服务器按设定的统计周期向每个数据节点发送收集统计信息的命令，以从每个数据节点收集其被访问的每个数据段的在该统计周期内的访问统计次数；

4、元数据服务器收集完每个数据节点的每个被访问的数据段在该统计周期内的访问统计次数后，将每个数据段按访问频次做排序；

5、排序后，从该统计周期内所有被访问的数据段中筛选出热点数据段，具体为：将该统计周期内每个被访问的数据段的访问统计次数与预定的统计次数阈值作比较，将大于该预定的统计次数阈值的访问统计次数确定为满足预定访问频度的访问统计次数；将满足预定访问频度的访问统计次数所对应的数据段筛选为热点数据段；

6、元数据服务器将热点数据段迁移到快设备上；

7、而若该统计周期内无热点数据被筛选出(即在预定统计周期内每个被访问的数据段的访问统计次数均小于预定的统计次数阈值的情况下)，则调整该预定统计周期(可以延长或缩短统计周期)，重复步骤3～6。

其中，对于上述步骤2的具体实现来说，在一个实施例中，在由数据节点对其所包含的数据段进行访问次数的记录以及对上述预定统计周期内每个被访问的数据段的访问次数进行统计时可以采用如下方案：

例如，客户端对数据节点上的数据段每秒的访问次数为5万次，并为每个数据段的记录的访问次数分配16B的存储空间，则T时间(即上述预定统计周期)内需要内存为16*T*50000B，并分配这样的内存数组{key1＝inodeID，key2＝访问次数}，T时间内访问的数据段均放到连续的这块数组里，T时间结束后以inodeID为关键字做快速排序，则可将相同的访问的数据段相邻的排列，然后合并相同的inodeID的访问次数(即同一数据段在T时间内的访问次数之和)，并将每个数据段的访问统计次数(作为新Key2)写到该内存里；然后再以访问统计次数Key2为关键字做快速排序，选出前N个热数据段(即将访问统计次数大于预定的统计次数阈值的数据段)，该内存可循环进行下一轮的使用。整个过程是无锁访问，只需用一个原子变量，对业务几乎无影响。

此外，为了避免存储在快设备上的热数据段的访问次数已经变低，降低快设备的空间利用效率，根据本发明实施例的数据管理方法还可包括对快设备上的热数据的迁出策略，具体包括：

元数据服务器按预定检测周期遍历快设备上的热点数据段的未访问间隔时间，其中，未访问间隔时间为该热点数据段距离当前时间最近一次的访问时间与当前时间的间隔时间；并将热点数据段的未访问间隔时间与预定最大未访问间隔时间作比较；将未访问间隔时间大于预定最大未访问间隔时间的热点数据段从快设备迁移至慢设备。

由此可见，本发明通过以文件的区间段为单位来统计数据的访问频度，并以此为单位进行数据的迁移，并通过动态的调整统计的周期，对同一统计周期内数据段访问次数做记录，并排序找出前N个，若满足设定的访问频度则认为其为热点，然后通过数据迁移的技术将这些区间段迁移到指定的快设备上。既杜绝了以文件为单位的热点时迁移数据过多且存在非热点内容的缺点，又减少以页面为单位的热点过于分散无法迁移的问题，而动态调整的统计周期又保证了尽可能准确的统计到真正的热点，从而提高热点数据的访问速度。

根据本发明的实施例，还提供了一种分布式文件系统的数据管理装置。

如图3所示，根据本发明实施例的数据管理装置包括：

记录模块31，用于在对文件对象进行访问时，记录文件对象中每个被访问的数据段的访问次数；

统计模块32，用于统计预定统计周期内每个被访问的数据段的访问次数，得到预定统计周期内每个被访问的数据段的访问统计次数；

迁移模块33，用于将满足预定访问频度的访问统计次数所对应的数据段迁移至快设备。

此外，在一个实施例中，根据本发明实施例的数据管理装置进一步包括：

排序模块(未示出)，用于在将满足预定访问频度的访问统计次数所对应的数据段迁移至快设备之前，对预定统计周期内每个被访问的数据段的访问次数作排序。

另外，在一个实施例中，根据本发明实施例的数据管理装置进一步包括：

比较模块(未示出)，用于将预定统计周期内每个被访问的数据段的访问统计次数与预定的统计次数阈值作比较。

其中，在一个实施例中，根据本发明实施例的迁移模块包括：

确定模块(未示出)，用于将大于预定的统计次数阈值的访问统计次数确定为满足预定访问频度的访问统计次数；

设定模块(未示出)，用于将满足预定访问频度的访问统计次数所对应的数据段设定为热点数据段；

迁移子模块(未示出)，用于将热点数据段迁移至快设备。

综上所述，借助于本发明的上述技术方案，通过以数据段为单位进行访问次数统计以及数据的迁移，既避免了迁移数据过多且存在非热点内容的缺点，又杜绝了以页面为单位的热点过于分散无法迁移的问题，从而提高热点数据的访问速度；并且配合自适应的统计周期，在大多数情况下可以精确的找到文件中的热点段，并迁移到快速设备上，从而充分利用快速设备空间，尽可能的提升了应用的访问速度。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种分布式文件系统的数据管理方法，其特征在于，包括：

在对文件对象进行访问时，记录所述文件对象中每个被访问的数据段的访问次数；

统计预定统计周期内所述每个被访问的数据段的访问次数，得到所述预定统计周期内每个被访问的数据段的访问统计次数；

将满足预定访问频度的访问统计次数所对应的数据段迁移至快设备。

2.根据权利要求1所述的数据管理方法，其特征在于，在将满足预定访问频度的访问统计次数所对应的数据段迁移至快设备之前，进一步包括：

对所述预定统计周期内每个被访问的数据段的访问次数作排序。

3.根据权利要求1或2所述的数据管理方法，其特征在于，进一步包括：

将所述预定统计周期内每个被访问的数据段的访问统计次数与预定的统计次数阈值作比较。

4.根据权利要求3所述的数据管理方法，其特征在于，将满足预定访问频度的访问统计次数所对应的数据段迁移至快设备包括：

将大于所述预定的统计次数阈值的访问统计次数确定为所述满足预定访问频度的访问统计次数；

将满足所述预定访问频度的访问统计次数所对应的数据段设定为热点数据段；

将所述热点数据段迁移至快设备。

5.根据权利要求3所述的数据管理方法，其特征在于，进一步包括：

在所述预定统计周期内每个被访问的数据段的访问统计次数均小于所述预定的统计次数阈值的情况下，调整所述预定统计周期。

6.根据权利要求4所述的数据管理方法，其特征在于，进一步包括：

按预定检测周期遍历所述快设备上的热点数据段的未访问间隔时间，其中，所述未访问间隔时间为该热点数据段距离当前时间最近一次的访问时间与当前时间的间隔时间；

将所述热点数据段的未访问间隔时间与预定最大未访问间隔时间作比较；

将未访问间隔时间大于所述预定最大未访问间隔时间的热点数据段从所述快设备迁移至慢设备。

7.一种分布式文件系统的数据管理装置，其特征在于，包括：

记录模块，用于在对文件对象进行访问时，记录所述文件对象中每个被访问的数据段的访问次数；

统计模块，用于统计预定统计周期内所述每个被访问的数据段的访问次数，得到所述预定统计周期内每个被访问的数据段的访问统计次数；

迁移模块，用于将满足预定访问频度的访问统计次数所对应的数据段迁移至快设备。

8.根据权利要求7所述的数据管理装置，其特征在于，进一步包括：

排序模块，用于在将满足预定访问频度的访问统计次数所对应的数据段迁移至快设备之前，对所述预定统计周期内每个被访问的数据段的访问次数作排序。

9.根据权利要求7或8所述的数据管理装置，其特征在于，进一步包括：

比较模块，用于将所述预定统计周期内每个被访问的数据段的访问统计次数与预定的统计次数阈值作比较。

10.根据权利要求9所述的数据管理装置，其特征在于，所述迁移模块包括：

确定模块，用于将大于所述预定的统计次数阈值的访问统计次数确定为所述满足预定访问频度的访问统计次数；

设定模块，用于将满足所述预定访问频度的访问统计次数所对应的数据段设定为热点数据段；

迁移子模块，用于将所述热点数据段迁移至快设备。