CN108170789A

CN108170789A - 一种基于分布式文件系统的分级存储方法以及相关装置

Info

Publication number: CN108170789A
Application number: CN201711446273.9A
Authority: CN
Inventors: 马顺
Original assignee: Zhengzhou Yunhai Information Technology Co Ltd
Current assignee: Zhengzhou Yunhai Information Technology Co Ltd
Priority date: 2017-12-27
Filing date: 2017-12-27
Publication date: 2018-06-15

Abstract

本申请公开了一种基于分布式文件系统的分级存储方法，包括：根据分布式文件系统的数据存储类型设置分级存储的最小操作单位；判断分布式文件系统的高性能存储空间的剩余存储空间是否低于预设大小；若是，则根据最小操作单位对高性能存储空间中的原始数据执行分级存储操作。通过针对不同的存储类型设置对应的最小操作单位，降低分级存储过程中对文件存储系统的影响，提高数据读写的利用率，优化分级存储方法，提高系统整体的利用率。本申请还公开了一种基于分布式文件系统的分级存储装置、服务器以及计算机可读存储介质，具有上述有益效果。

Description

一种基于分布式文件系统的分级存储方法以及相关装置

技术领域

本申请涉及计算机技术领域，特别涉及一种基于分布式文件系统的分级存储方法、分级存储装置、服务器以及计算机可读存储介质。

背景技术

随着信息技术的发展，网络中产生的数据越来越多。在不同的领域所产生的数据量一般都达到了PB级别。面对不断增长的数据量，在访问、存储以及管理数据方面都变得越来越困难，所花费的成本也变得越来越高昂。

实际上，数据通常具有使用的周期，在不同的时期数据具有不同的意义。例如，在数据刚刚生成时，访问频率较高，数据价值也是最高的，随着时间的推移，访问频率降低，数据的价值也会随之下降。并且，一把情况低访问频率的数据量远远超过了高访问频率的数据量。因此，一般的会按照数据的不同访问频率将数据分级存储，将高访问频率的数据存储在高性能磁盘系统中，将低访问频率的数据存储在低性能磁盘系统中。通过将不同的数据分级存放，使硬件系统的新能得到了充分的利用，降低了维护成本。

但是，目前在进行数据分类存放中，都是以OSD(Object Storage Device，对象存储设备)为基本的操作单位，在分级存储的过程中占用大量的系统资源，对正常使用造成影响，并没有起到分级存储应有的作用。

因此，如何使数据分类存储的过程中，降低对系统的影响，提高性能的利用率，是本领域技术人员所关注的热点问题。

发明内容

本申请的目的是提供一种基于分布式文件系统的分级存储方法、分级存储装置、服务器以及计算机可读存储介质，通过针对不同的存储类型设置对应的最小操作单位，降低分级存储过程中对文件存储系统的影响，提高数据读写的利用率，优化分级存储方法，提高系统整体的利用率。

为解决上述技术问题，本申请提供一种基于分布式文件系统的分级存储方法，包括：

根据分布式文件系统的数据存储类型设置分级存储的最小操作单位；

判断所述分布式文件系统的高性能存储空间的剩余存储空间是否低于预设大小；

若是，则根据所述最小操作单位对所述高性能存储空间中的原始数据执行分级存储操作。

可选的，服务器根据分布式文件系统的数据存储类型设置分级存储的最小操作单位，包括：

所述服务器获取分布式文件系统的存储类型；

当所述存储类型为文件存储，将所述最小操作单位设置为PG；

当所述存储类型为对象存储，将所述最小操作单位设置为Buckets。

可选的，根据所述最小操作单位对所述高性能存储空间中的原始数据执行分级存储操作，包括：

以所述最小操作单位判断所述原始数据的迁移优先级是否大于预设迁移优先级；

若是，则将所述迁移优先级大于所述预设迁移优先级的原始数据标记为待迁移数据；

将所述待迁移数据以所述最小操作单位迁移至所述低性能存储空间。

可选的，该方法还包括：

当对所述待迁移数据进行数据迁移时，获取所述分布式文件系统的读取负载；

当所述读取负载大于预设读取负载时，将所述数据迁移的速率限制在零速率到预设速率之间。

本申请还提供一种基于分布式文件系统的分级存储装置，包括：

迁移单位设置模块，用于根据分布式文件系统的数据存储类型设置分级存储的最小操作单位；

剩余存储空间判断模块，用于判断所述分布式文件系统的高性能存储空间的剩余存储空间是否低于预设大小；

迁移模块，用于根据所述最小操作单位对所述高性能存储空间中的原始数据执行分级存储操作。

可选的，所述迁移单位设置模块包括：

存储类型获取单元，用于获取分布式文件系统的存储类型；

文件存储设置单元，用于当所述存储类型为文件存储，将所述最小操作单位设置为PG；

对象存储设置单元，用于当所述存储类型为对象存储，将所述最小操作单位设置为Buckets。

可选的，所述迁移模块包括：

优先级判断单元，用于以所述最小操作单位判断所述原始数据的迁移优先级是否大于预设迁移优先级；

迁移数据标记单元，用于将所述迁移优先级大于所述预设迁移优先级的原始数据标记为待迁移数据；

分级存储单元，用于将所述待迁移数据以所述最小操作单位迁移至所述低性能存储空间。

可选的，该装置还包括：

读取负载获取模块，用于当对所述待迁移数据进行数据迁移时，获取所述分布式文件系统的读取负载；

速率调整模块，用于当所述读取负载大于预设读取负载时，将所述数据迁移的速率限制在零速率到预设速率之间。

本申请还提供一种服务器，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上所述的分级存储方法的步骤。

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的分级存储方法的步骤。

本申请所提供的一种基于分布式文件系统的分级存储方法，包括：根据分布式文件系统的数据存储类型设置分级存储的最小操作单位；判断所述分布式文件系统的高性能存储空间的剩余存储空间是否低于预设大小；若是，则根据所述最小操作单位对所述高性能存储空间中的原始数据执行分级存储操作。

通过针对不同的存储类型设置对应的最小操作单位，避免了在分级存储过程中以OSD的全部性能进行分级存储，降低分级存储过程中对文件存储系统的影响，提高数据读写的利用率，优化分级存储方法，提高系统整体的利用率。

本申请还提供一种基于分布式文件系统的分级存储装置、服务器以及计算机可读存储介质，具有上述有益效果，在此不做赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例所提供的一种基于分布式文件系统的分级存储方法的流程图；

图2为本申请实施例提供的基于分布式文件系统的分级存储方法中的数据分级存储的流程图；

图3为本申请实施例所提供的一种基于分布式文件系统的分级存储装置的结构示意图。

具体实施方式

本申请的核心是提供一种基于分布式文件系统的分级存储方法、分级存储装置、服务器以及计算机可读存储介质，通过针对不同的存储类型设置对应的最小操作单位，降低分级存储过程中对文件存储系统的影响，提高数据读写的利用率，优化分级存储方法，提高系统整体的利用率。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参考图1，图1为本申请实施例所提供的一种基于分布式文件系统的分级存储方法的流程图。

本实施例提供一种基于分布式文件系统的分级存储方法，可以降低分级存储对系统的影响，该方法可以包括：

S101，根据分布式文件系统的数据存储类型设置分级存储的最小操作单位；

本步骤旨在根据分布式文件系统的数据存储类型设置分级存储的最小操作单位。

该领域内一般都使用的分级存储方法都是以OSD为单位将数据进行迁移，OSD是分布式文件系统管理文件的相对底层的对象，，因此在实施时设置方便，利于开发者对存储的数据进行进一步的迁移操作，但是OSD通常对应与一个对象存储的硬件设备，此时该硬件设备中会存有大量的数据，迁移时需要消耗大量的系统资源，影响前端设备的正常使用。进一步的，对于一个硬件设备中的所有数据进行迁移，通常会动用该硬件设备的所有系统性能进行数据迁移，进一步的消耗大量的系统资源，影响其他功能的正常使用。

因此，本步骤中，需要设置分级存储的最小操作单位，在后续的分级存储中以最小操作单位对数据进行操作。进一步的，由于分布式文件系统对于数据存储类型的不同，可以进行最小操作单位的设置也不同，因此需要根据不同的存储类型设置最小操作单位。

可选的，本实施例中可以获取分布式文件系统的存储类型；

如果存储类型为文件存储，将最小操作单位设置为PG；

如果存储类型为对象存储，将最小操作单位设置为Buckets。

该可选方案给出了具体的最小操作单位的设置方式，其中，针对文件存储系统将最小操作单位设置为PG(placement group安置组)，针对对象存储将最小操作单位设置为Buckets。由于快存储系统不常用，因此对块存储系统不设置特别的最小操作单位。

S102，判断分布式文件系统的高性能存储空间的剩余存储空间是否低于预设大小；

在步骤S101的基础上，本步骤旨在判断是否需要进行数据的分级存储操作，具体的，本步骤通过判断高性能存储空间中的剩余存储空间是否低于预设大小，来确定是否进行相应的分级存储操作。

其中，预设大小可以根据实际环境中使用的分布式文件系统和高性能存储空间的大小、属性以及所存储的数据类型进行相应的设置，具体的，在此不做限定。

S103，若是，则根据最小操作单位对高性能存储空间中的原始数据执行分级存储操作。

在步骤S102的基础上，本步骤旨在根据设置的最小操作单位对数据进行分级存储操作。

在实际实施中，一般是将可以进行迁移的数据从高性能存储空间迁移至低性能存储空间，本实施例中执行的分级存储操作也可以如此进行操作，以提高硬件利用率。

其中，高性能存储空间可以是指性能较好的存储设备，也可以是指分布式文件系统中可以使用更多性能的存储空间，只要可以以更高的性能对数据进行操作的，都可以做为本实施例中的高性能存储空间，在此不做赘述。

可选的，本实施例中还可以包括：

步骤一、当对待迁移数据进行数据迁移时，获取分布式文件系统的读取负载；

步骤二、当所述读取负载大于预设读取负载时，将所述数据迁移的速率限制在零速率到预设速率之间。

本可选方案主要是根据前台的读取负载即分布式文件系统的读取负载，调整数据迁移的速率大小。其中，数据迁移即为在对数据进行分级存储中迁移数据的过程。

其中，预设读取负载和预设速率可以根据实际情况中分布式文件系统的属性进行设定，具体的在此不做限定。

通过本可选的方案，使得数据迁移过程对存储提供的负载影响十分小，避免了数据迁移对系统整体使用的影响。

综上，本实施例通过针对不同的存储类型设置对应的最小操作单位，降低分级存储过程中对文件存储系统的影响，提高数据读写的利用率，优化分级存储方法，提高系统整体的利用率。

请参考图2，图2为本申请实施例提供的基于分布式文件系统的分级存储方法中的数据分级存储的流程图。

基于上一实施例，本实施例主要是针对上一实施例中如何进行分级存储做的一个说明，其他部分与上一实施例大体相同，相同部分可以参考上一实施例，在此不做赘述。

本实施例可以包括：

S201，以最小操作单位判断原始数据的迁移优先级是否大于预设迁移优先级；

本步骤旨在以最小操作单位判断原始数据的迁移优先级是否大于预设迁移优先级。其中，以最小操作单位进行判断，是将原始数据按照最小操作单位分割为多分数据，判断每份数据的迁移优先级是否大于预设迁移优先级。当该数据的迁移优先级大于预设迁移优先级时，就可以判定该数据需要迁移到低性能存储空间。

其中，迁移优先级表示的是数据是否需要进行迁移的优先级，迁移优先级越大该数据越需要进行迁移，也就是该数据被访问的频率也就越低，可以将该数据迁移到低性能存储空间。

S202，若是，则将迁移优先级大于预设迁移优先级的原始数据标记为待迁移数据；

在步骤S201的基础上，本步骤旨在将上一步骤中判定通过的原始数据标记为待迁移数据。

S203，将待迁移数据以最小操作单位迁移至低性能存储空间。

在步骤S202的基础上，本步骤旨在将标记了的待迁移数据迁移至低性能存储。通过本步骤的迁移，可以将访问频率较低的数据即待迁移数据，迁移至低性能存储空间。

本申请实施例提供了一种基于分布式文件系统的分级存储方法，通过针对不同的存储类型设置对应的最小操作单位，降低分级存储过程中对文件存储系统的影响，提高数据读写的利用率，优化分级存储方法，提高系统整体的利用率。

下面对本申请实施例提供的一种基于分布式文件系统的分级存储装置进行介绍，下文描述的一种基于分布式文件系统的分级存储装置与上文描述的一种基于分布式文件系统的分级存储方法可相互对应参照。

请参考图3，图3为本申请实施例所提供的一种基于分布式文件系统的分级存储装置的结构示意图。

本实施例可以包括：

迁移单位设置模块100，用于根据分布式文件系统的数据存储类型设置分级存储的最小操作单位；

剩余存储空间判断模块200，用于判断所述分布式文件系统的高性能存储空间的剩余存储空间是否低于预设大小；

迁移模块300，用于根据所述最小操作单位对所述高性能存储空间中的原始数据执行分级存储操作。

该迁移单位设置模块100，可以包括：

存储类型获取单元，用于获取分布式文件系统的存储类型；

该迁移模块300，可以包括：

该装置，还可以包括：

读取负载获取模块，用于当所述服务器对所述待迁移数据进行数据迁移时，获取所述分布式文件系统的读取负载；

基于上述设备，可以使用分级功能，系统中必须已经配置了不同类型的存储介质，例如SSD硬盘、SAS硬盘、SATA硬盘。配置分级功能时首先要建立不同的磁盘池，来区分存储介质类型。

可以实现如下步骤：

第一步：添加Buckets；

需要添加两种类型的Buckets，分别为root类型和host类型。root类型的Bucket对于一个类型的磁盘池只需要添加一个，用作根节点。host类型Bucket根据实际的物理主机的数量确定，对应于每个配置有SSD的host。例如上述示例中，集群有2个host配有SSD，则需要添加2个host类型的Bucket。

命令为：icfs osdcrush add-bucket<name><type>

第二步：建立链接关系；

命令为：icfsosd crush link<name><args>[<args>...]

第三步：移动SSD对应的osd到新的host类型的Bucket下；

命令为：

icfsosd crush create-or-move<osdname(id|osd.id)><float[0.0-]><args>[<args>...]

第四步：创建规则；

为新添加的Buckets创建使用规则。

命令为：icfs osd crush rule create-simple<name><root><type>{firstn|indep}

第五步：应用规则；

命令为：icfs osdpoolset<pooname>crush_ruleset<rule_id>

第六步：修改配置文件icfs.conf；

修改部署目录(例如：/home/inspur/)下的icfs.conf，添加如下参数：

osd crush update on start＝false，然后使用icfs-deploy工具将配置文件推送到系统的各个节点。

本申请实施例还提供一种服务器，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时可以实现如上述实施例所述的分级存储方法的步骤。

本申请实施例还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时可以实现如上述实施例所述的分级存储方法的步骤。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的一种基于分布式文件系统的分级存储方法、分级存储装置、服务器以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims

1.一种基于分布式文件系统的分级存储方法，其特征在于，包括：

2.根据权利要求1所述的分级存储方法，其特征在于，服务器根据分布式文件系统的数据存储类型设置分级存储的最小操作单位，包括：

所述服务器获取分布式文件系统的存储类型，

3.根据权利要求2所述的分级存储方法，其特征在于，根据所述最小操作单位对所述高性能存储空间中的原始数据执行分级存储操作，包括：

将所述待迁移数据以所述最小操作单位迁移至低性能存储空间。

4.根据权利要求3所述的分级存储方法，其特征在于，还包括：

5.一种基于分布式文件系统的分级存储装置，其特征在于，包括：

6.根据权利要求5所述的分级存储装置，其特征在于，所述迁移单位设置模块包括：

存储类型获取单元，用于获取分布式文件系统的存储类型；

7.根据权利要求6所述的分级存储装置，其特征在于，所述迁移模块包括：

分级存储单元，用于将所述待迁移数据以所述最小操作单位迁移至低性能存储空间。

8.根据权利要求7所述的分级存储装置，其特征在于，还包括：

9.一种服务器，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述的分级存储方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的分级存储方法的步骤。