CN106227795A

CN106227795A - 分级存储的检测方法和系统

Info

Publication number: CN106227795A
Application number: CN201610576909.0A
Authority: CN
Inventors: 邢乐恺; 刘建锋
Original assignee: Dawning Information Industry Beijing Co Ltd
Current assignee: Dawning Information Industry Beijing Co Ltd
Priority date: 2016-07-20
Filing date: 2016-07-20
Publication date: 2016-12-14

Abstract

本发明公开了一种分布式文件系统中分级存储的检测方法和系统，该分级存储的检测方法包括：确定分级存储策略并创建存储文件，存储文件包括：符合分级存储策略的存储文件；将符合分级存储策略的存储文件迁移至符合分级存储策略的存储介质中；以及获得存储文件的实际存储位置。本发明通过在对符合分级存储策略的存储文件进行迁移操作后，获得存储文件的实际存储位置，以验证存储文件是否被迁移到了符合分级存储策略的存储介质中，提高了对分布式文件系统分级存储功能检测的准确性。

Description

分级存储的检测方法和系统

技术领域

本发明涉及计算机领域，具体来说，涉及一种分级存储的检测方法和系统。

背景技术

随着大数据时代的到来，越来越多的数据被记录在存储系统中，分布式文件系统以其在容量和扩展性方面的优势，得到了广泛的发展。在分布式文件系统中会根据文件的属性或访问频度进行分级存储，将访问性能需求高的热点数据存储在速度快的存储介质上，将访问性能需求不高的数据存储在速度较慢的存储介质上，从而优化存储系统的整体性能，提高工作效能。

对于分布式文件系统的分级存储功能在实际场景中很难进行准确、全面的检测，即现有技术无法针对每个文件进行分级效果的检查和检测。为了实现对分级存储的检测，现有技术采用的方法是从海量文件中进行抽样检测。当分级存储策略执行完成后，将文件分布情况与分级存储策略进行比对，检查文件的各对象是否存在于正确的存储介质上。但由于文件数据量庞大，抽样检测只能在一定程度上验证分级存储功能的正确性，而不能准确的检测系统内每一个文件真实的存储情况。

针对现有技术中抽样检测不能准确检测分布式文件系统的分级存储功能正确性的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中抽样检测不能准确验证分布式文件系统的分级存储功能正确性的问题，本发明提出一种分级存储的检测方法和系统，能够提高对分布式文件系统分级存储功能检测的准确性。

本发明的技术方案是这样实现的：根据本发明的一个方面，提供了一种分布式文件系统中分级存储的检测方法。

该分布式文件系统中分级存储的检测方法包括：确定分级存储策略并创建存储文件，存储文件包括：符合分级存储策略的存储文件；将符合分级存储策略的存储文件迁移至符合分级存储策略的存储介质中；以及获得存储文件的实际存储位置。

优选地，获得存储文件的实际存储位置，包括：通过文件分布检查接口获得存储文件的所有对象的分布信息；以及根据分布信息，得到存储文件的所有对象的实际存储位置。

优选地，分级存储策略包括：迁移启动时间；以及文件修改时间。

优选地，在将符合分级存储策略的存储文件迁移至符合分级存储策略的存储介质中之前，还包括：根据迁移启动时间和文件修改时间，在相应的时间对存储文件进行修改操作。

优选地，分级存储策略包括：访问时间规则，访问时间规则为单位时间内的访问次数；以及目标存储介质，目标存储介质为快速存储介质。

优选地，分级存储策略还包括：文件名规则、文件大小规则、和修改时间规则。

优选地，存储文件还包括：不符合分级存储策略的文件。

优选地，还包括：输出并记录存储文件的实际存储位置。

根据本发明的另一方面，提供了一种分布式文件系统中分级存储的检测系统。

该分布式文件系统中分级存储的检测系统包括：文件模拟模块，用于确定分级存储策略并创建存储文件；分级存储验证模块，用于将符合分级存储策略的存储文件迁移至符合分级存储策略的存储介质中；以及文件分布检查模块，用于获得存储文件的实际存储位置。

优选地，分级存储策略包括：迁移启动时间、以及文件修改时间；文件模拟模块还用于根据迁移启动时间和文件修改时间，在相应的时间对存储文件进行修改操作。

优选地，还包括：结果输出模块，用于输出并记录存储文件的实际存储位置。

本发明通过在对符合分级存储策略的存储文件进行迁移操作后，获得存储文件的实际存储位置，以验证存储文件是否被迁移到了符合分级存储策略的存储介质中，提高了对分布式文件系统分级存储功能检测的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的分布式文件系统中分级存储的检测方法的流程图；

图2是根据本发明实施例的检测目录的结构示意图；

图3是根据本发明实施例的分布式文件系统中分级存储的检测系统的框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的实施例，提供了一种分布式文件系统中分级存储的检测方法。

如图1所示，根据本发明实施例的分级存储的检测方法包括以下步骤：

步骤S101，确定分级存储策略并创建存储文件，存储文件包括：符合分级存储策略的存储文件；

步骤S103，将符合分级存储策略的存储文件迁移至符合分级存储策略的存储介质中；

步骤S105，获得存储文件的实际存储位置。

通过在对符合分级存储策略的存储文件进行迁移操作后，获得存储文件的实际存储位置，以验证存储文件是否被迁移到了符合分级存储策略的存储介质中，提高了对分布式文件系统分级存储功能检测的准确性。

具体地，需要将分级存储策略的规则写入脚本配置文件中，脚本配置文件如下所示：

#文件路径规则

filepath＝

#文件名规则，文件名规则间以’，’逗号分割，如’.avi,？.txt’，默认*

filename＝

#文件大小规则，单位KB，如’10,102400’

larger_than＝

less_than＝

between＝

#访问规则，单位月、天、小时，如’1m30’，’3dn’，’1h1000’1m30:1个月内30次；3dn：3天内没有变化；1h1000：1小时1000次

ctime＝

mtime＝

atime＝

#目标存储介质，fast：快速存储介质、slow：慢速存储介质

target＝

#分级存储策略运行开始时间，如：2015/12/18 13:00 2015

start＝

#分级存储策略运行结束时间，如：2015/12/18 16:00 2015

end＝

#快速存储介质

nodeip1，sde nodeip2，sde nodeip3，sde noseip4，sde nodeip5，sde

#慢速存储介质

nodeip1，sdf nodeip2，sdf nodeip3，sdf nodeip4，sdf nodeip5，sdf

优选地，分级存储策略可以包括：文件名规则、文件大小规则、和修改时间规则。例如：文件名规则为test_*.txt文件名称及后缀；文件大小规则为文件大小大于5MB。

分级存储策略还可以包括：访问时间规则和目标存储介质，访问时间规则为单位时间内文件被访问的次数。例如，访问时间规则为1小时内被访问的次数在3次以上、符合分级存储策略的文件的目标存储介质为快速存储介质，即要将访问需求较高的、1小时内被访问的次数在3次以上的文件存储在速度较快的快速存储介质中。

在一个实施例中，所创建的存储文件还包括：不符合分级存储策略的文件。

具体地，需要创建符合分级存储策略的存储文件，并创建一部分不符合分级存储策略的存储文件，以构造需要检测的存储文件的目录结构。具体的，参考图2，可创建如图2所示的检测目录test_DIR，其中的分级存储策略包括文件大小规则、文件名规则、访问时间规则、元数据修改时间规则、和修改时间规则。文件大小目录size_DIR和其他文件大小目录other_size_DIR建立在检测目录test_DIR下，文件名目录file_name_DIR和其他文件名目录other_name_DIR建立在文件名目录file_name_DIR下，访问时间目录atime_DIR、其他访问时间目录other_atime_DIR、元数据修改时间目录mtime_DIR、其他元数据修改时间目录other_mtime_DIR、修改时间目录ctime_DIR、和其他修改时间目录other_ctime_DIR都建立在文件名目录file_name_DIR下。不符合文件大小规则的文件在其他文件大小目录other_size_DIR下；符合文件大小规则的文件在文件大小目录size_DIR下，其中符合文件名规则的文件在文件名目录file_name_DIR下、不符合文件名规则的文件在其他文件名目录other_name_DIR下；符合访问时间规则的第十一文件file11、第十二文件file12、和第十三文件file13在访问时间目录atime_DIR下，不符合访问时间规则的第二十一文件file21、第二十二文件file22、和第二十三文件file23在其他访问时间目录other_atime_DIR下，符合元数据修改时间规则的第三十一文件file31、第三十二文件file32、和第三十三文件file33在元数据修改时间目录mtime_DIR下，不符合元数据修改时间规则的第四十一文件file41、第四十二文件file42、和第四十三文件file43在其他元数据修改时间目录other_mtime_DIR下，符合修改时间规则的第五十一文件file51、第五十二文件file52、和第五十三文件file53在修改时间目录ctime_DIR下，不符合修改时间规则的第六十一文件file61、第六十二文件file62、和第六十三文件file63在其他修改时间目录other_ctime_DIR下。

在一个实施例中，步骤S105进一步包括：

通过文件分布检查接口获得存储文件的所有对象的分布信息；

根据分布信息，得到存储文件的所有对象的实际存储位置。

其中文件分布检查接口可以是由分布式文件系统提供的。通过获得存储文件的所有对象的实际存储位置，检测符合分级存储策略的文件被迁移到了正确的介质中，而不符合分级存储策略的文件没有被迁移。以验证存储文件的所有对象是否存在于分布存储策略所规定的存储介质中。该存储介质可以是快速存储介质或者是慢速存储介质。

另外，在另一个实施例中，分级存储策略包括：迁移启动时间；以及文件修改时间。在此实施例中，在步骤S103之前还包括以下步骤：根据迁移启动时间和文件修改时间，在相应的时间对存储文件进行修改操作。也就是需要根据脚本配置文件中的分级存储策略规定的迁移启动时间，对比当前操作系统的时间，自动在符合分级存储策略的时间对存储文件进行符合分级存储策略的操作。例如，分级存储策略的修改时间规则和目标存储介质分别是：将1小时内修改时间被修改的存储文件迁移到快速存储介质中，分级存储策略还规定在10:00启动并完成存储文件的创建操作、12:00为迁移启动时间即启动分级存储的迁移操作，那么在11:00自动启动并完成对存储文件的修改操作。

在一个实施例中，在步骤S105之后还包括：输出并记录存储文件的实际存储位置。

根据本发明的实施例，还提供了一种分级存储的检测系统。

如图3所示，根据本发明实施例的分级存储的检测系统包括：

文件模拟模块31，用于确定分级存储策略并创建存储文件；

分级存储验证模块32，用于将符合分级存储策略的存储文件迁移至符合分级存储策略的存储介质中；

文件分布检查模块33，用于获得存储文件的实际存储位置；以及

结果输出模块34，用于输出并记录存储文件的实际存储位置。

本发明的分级存储的检测系统通过创建存储文件，并在对存储文件进行分级迁移后检测存储文件的实际存储位置，以验证分级存储功能的准确性，解决了现有技术中抽样检测不能准确验证分级存储功能的问题。

优选地，分级存储策略包括：迁移启动时间、以及文件修改时间；

优选地，文件模拟模块31还用于根据迁移启动时间和文件修改时间，在相应的时间对存储文件进行修改操作。

综上所述，借助于本发明的上述技术方案，通过确定分级存储策略，并通过在对符合分级存储策略的存储文件进行迁移操作后，获得存储文件的实际存储位置，以验证存储文件是否被迁移到了符合分级存储策略的存储介质中，解决了现有技术中抽样检测不能准确验证分布式文件系统的分级存储功能的问题，提高了对分布式文件系统分级存储功能检测的准确性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种分级存储的检测方法，其特征在于，包括：

确定分级存储策略并创建存储文件，所述存储文件包括：符合所述分级存储策略的存储文件；

将所述符合分级存储策略的存储文件迁移至符合所述分级存储策略的存储介质中；以及

获得所述存储文件的实际存储位置。

2.根据权利要求1所述的分级存储的检测方法，其特征在于，获得所述存储文件的实际存储位置，包括：

通过文件分布检查接口获得所述存储文件的所有对象的分布信息；以及

根据所述分布信息，得到所述存储文件的所有对象的实际存储位置。

3.根据权利要求1所述的分级存储的检测方法，其特征在于，所述分级存储策略包括：

迁移启动时间；以及

文件修改时间。

4.根据权利要求3所述的分级存储的检测方法，其特征在于，在将所述符合分级存储策略的存储文件迁移至符合所述分级存储策略的存储介质中之前，还包括：

根据所述迁移启动时间和文件修改时间，在相应的时间对所述存储文件进行修改操作。

5.根据权利要求1所述的分级存储的检测方法，其特征在于，所述分级存储策略包括：

访问时间规则，所述访问时间规则为单位时间内的访问次数；以及

目标存储介质，所述目标存储介质为快速存储介质。

6.根据权利要求5所述的分级存储的检测方法，其特征在于，所述分级存储策略还包括：

文件名规则、文件大小规则、和修改时间规则。

7.根据权利要求1所述的分级存储的检测方法，其特征在于，所述存储文件还包括：

不符合所述分级存储策略的存储文件。

8.根据上述权利要求1-7中的任一项所述的分级存储的检测方法，其特征在于，还包括：

输出并记录所述存储文件的实际存储位置。

9.一种分级存储的检测系统，其特征在于，包括：

文件模拟模块，用于确定分级存储策略并创建存储文件；

分级存储验证模块，用于将所述符合分级存储策略的存储文件迁移至符合所述分级存储策略的存储介质中；以及

文件分布检查模块，用于获得所述存储文件的实际存储位置。

10.根据权利要求9所述的分级存储的检测系统，其特征在于，

所述分级存储策略包括：迁移启动时间、以及文件修改时间；

所述文件模拟模块还用于根据所述迁移启动时间和文件修改时间，在相应的时间对所述存储文件进行修改操作。

11.根据权利要求9所述的分级存储的检测系统，其特征在于，还包括：

结果输出模块，用于输出并记录所述存储文件的实际存储位置。