CN111427844A - 一种面向文件分级存储的数据迁移系统及方法 - Google Patents

Abstract

本发明公开了一种面向文件分级存储的数据迁移系统及方法，根据周期内文件的访问次数和最近访问时间为依据对文件进行冷热程度的判别；并在数据的性质由潜热数据转变为潜冷数据时引发真正的文件迁移；包括迁移速率控制和数据迁移的控制流程。本发明通过数据冷热程度算法对数据性质进行分类，并通过计算时间长度确定负载状态，达到通过内部的数据存储调度和迁移调度，以及在业务场景下的数据自动评估方法，实现系统中数据的自动迁移，从而达到在降低数据存储成本的同时保证数据访问的高性能访问的发明目的。

Description

一种面向文件分级存储的数据迁移系统及方法

技术领域

本发明涉及计算机领域，主要涉及一种面向文件分级存储的数据迁移系统及方法。

背景技术

随着网络技术的发展，数据存储服务器分为两类：高速存储服务器和低速存储服务器，而系统中存储的数据则分为四类：热数据、潜热数据、潜冷数据以及冷数据。高速存储服务器上存储的是热数据和潜热数据，低速存储服务器上存储的是潜冷数据和冷数据。

热数据指的是周期内被访问较为频繁的数据；冷数据指的是周期内较少被访问的数据；潜热数据指的是存储在高速存储服务器上、周期内被访问的次数相较于热数据较少或频率较低的数据；潜冷数据指的是存储在低速存储上、周期内被访问次数相较于冷数据来说较多或频率较高的数据。数据的冷热变化顺序为：热数据->潜热数据->潜冷数据->冷数据。一般地，数据性质逐级递增或递减，特殊情况下可能会发生越级变化。其中，数据的性质由潜热数据转变为潜冷数据时才会引发真正的文件迁移，而数据的性质在热数据和潜热数据、冷数据和潜冷数据之间的转换不会引起实质上的文件迁移，只是改变了文件元数据中的相应的字段。

因此，依据文件访问的局部性和不同存储设备的特性和应用场景，可以构建一种多级的存储系统。将经常访问的文件存储在高性能的存储设备中，以提高新能，将不经常访问的文件存储在价格低廉的大容量存储设备中，以节约成本。

目前存在的主要问题：分层存储系统可以基于阵列、存储虚拟化和文件系统实现。不同的实现方式具有不同的特点。基于阵列和存储虚拟化的实现方式迁移粒度较小，往往为子 LUN级别或块级别，且也具有较好的性能，但是应用范围较小，不具有兼容性。

发明内容

针对现有技术中存在的问题，本发明旨在发明一种面向文件分级存储的数据迁移系统及方法，其中：

一种面向文件分级存储的数据迁移系统，其特征在于，包括：元数据服务器，用于管理存储服务器上所有文件的元数据，以及文件的存储和迁移调度；据存储服务器，用于存储文件内容的服务器，通过冷热程度算法对数据进行冷热程度判别；其中，数据存储服务器存储的数据，包括热数据、潜热数据、潜冷数据和冷数据；所述的热数据指的是周期内被访问较为频繁的数据；冷数据指的是周期内较少被访问的数据；潜热数据指的是存储在高速存储服务器上、周期内被访问的次数相较于热数据较少或频率较低的数据；潜冷数据指的是存储在低速存储上、周期内被访问次数相较于冷数据来说较多或频率较高的数据。

进一步的，所述的数据存储服务器，包括高性能存储服务器和低速存储服务器，其中，高性能存储服务器用于保证经常访问的文件读写的高性能，从而保证系统的整体性能，由性能较高的新型存储设备组成；低速存储服务器用于管理系统中不经常访问的文件的存储以及文件的备份、归档，从而降低系统的整体存储成本。

进一步的，所述的高性能存储服务器，存储热数据和潜热数据。

进一步的，所述的低速存储服务器，存储潜冷数据和冷数据。

进一步的，所述的元数据服务器，包括FTP服务器、数据存储调度器和数据迁移调度器。

进一步的，所述的元数据服务器，通过对ApacheFTPServer的改造，实现为上层应用程序提供了一个系统全局统一的透明性视图，并通过Redis将所有文件的元数据缓存在DRAM 中，加速文件索引。

进一步的，所述的元数据服务器，通过使用标准的FTP接口连接经过改造的FTPServer，对系统中HPS和LCS上的所有文件进行直接访问。

进一步的，所述的冷热程度算法，根据周期内文件的访问次数和最近访问时间为依据对文件进行冷热程度的判别；

数据冷热程度表达式如下：

其中，D表示数据冷热程度；T表示设定的周期，根据实际业务来设定的；Lat表示文件最近访问时间，N是周期内该文件的访问次数，由系统监控记录，在每个周期结束后清零；通过计算出的数据冷热程度与数据性质的阈值对比，即可判别数据的性质。

一种面向文件分级存储的数据迁移方法，其特征在于，包括以下步骤：

S1.通过冷热程度算法对存储数据的性质进行分类；

S2.判断存储数据的性质是否发生变化；

S3进行文件迁移。

进一步的，所述的步骤S1，根据周期内文件的访问次数和最近访问时间为依据对文件进行冷热程度的判别；

数据冷热程度表达式如下：

其中，D表示数据冷热程度；T表示设定的周期，根据实际业务来设定的；Lat表示文件最近访问时间，N是周期内该文件的访问次数，由系统监控记录，在每个周期结束后清零；通过计算出的数据冷热程度与数据性质的阈值对比，即可判别数据的性质。

进一步的，所述的步骤S2，根据数据性质逐级递增或递减顺序，数据的冷热变化顺序为：热数据->潜热数据->潜冷数据->冷数据；

数据的性质由潜热数据转变为潜冷数据时，引发真正的文件迁移；

数据的性质在热数据和潜热数据、冷数据和潜冷数据之间的转换，改变了文件元数据中的相应的字段，不会引发实质上的文件迁移。

进一步的，所述的步骤S3，通过迁移速率控制，对文件迁移进行控制，具体如下：

计算数据迁移应该等待的时间长度；

W＝E×(L-T)

其中W表示时间长度；E是一个常数；L表示I/O队列长度；T表示设置的阈值；E和T的值依据实际情况设定。

本发明的有益效果：

(1)按照周期内访问次数对数据进行分类；

(2)根据计算时间长度判定前端负载状态；

(3)降低数据存储成本的同时保证数据访问的高性能访问。

附图说明

图1是本发明的不同性质数据的分布图；

图2是本发明的系统架构图；

图3是本发明的FTPMDS技术架构图。

具体实施方式

为了对发明的技术特征、目的和效果有更加清楚的理解，先对照附图说明本发明的具体实施方式。

一种面向文件分级存储的数据迁移系统，其特征在于，包括：元数据服务器，用于管理存储服务器上所有文件的元数据，以及文件的存储和迁移调度；据存储服务器，用于存储文件内容的服务器，通过冷热程度算法对数据进行冷热程度判别；其中，数据存储服务器存储的数据，包括热数据、潜热数据、潜冷数据和冷数据；所述的热数据指的是周期内被访问较为频繁的数据；冷数据指的是周期内较少被访问的数据；潜热数据指的是存储在高速存储服务器上、周期内被访问的次数相较于热数据较少或频率较低的数据；潜冷数据指的是存储在低速存储上、周期内被访问次数相较于冷数据来说较多或频率较高的数据。

进一步的，所述的数据存储服务器，包括高性能存储服务器和低速存储服务器，其中，高性能存储服务器用于保证经常访问的文件读写的高性能，从而保证系统的整体性能，由性能较高的新型存储设备组成；低速存储服务器用于管理系统中不经常访问的文件的存储以及文件的备份、归档，从而降低系统的整体存储成本。

进一步的，所述的高性能存储服务器，存储热数据和潜热数据。

进一步的，所述的低速存储服务器，存储潜冷数据和冷数据。

进一步的，所述的元数据服务器，包括FTP服务器、数据存储调度器和数据迁移调度器。

进一步的，所述的元数据服务器，通过对ApacheFTPServer的改造，实现为上层应用程序提供了一个系统全局统一的透明性视图，并通过Redis将所有文件的元数据缓存在DRAM 中，加速文件索引。

进一步的，所述的元数据服务器，通过使用标准的FTP接口连接经过改造的FTPServer，对系统中HPS和LCS上的所有文件进行直接访问。

进一步的，所述的冷热程度算法，根据周期内文件的访问次数和最近访问时间为依据对文件进行冷热程度的判别；

数据冷热程度表达式如下：

其中，D表示数据冷热程度；T表示设定的周期，根据实际业务来设定的；Lat表示文件最近访问时间，N是周期内该文件的访问次数，由系统监控记录，在每个周期结束后清零；通过计算出的数据冷热程度与数据性质的阈值对比，即可判别数据的性质。

一种面向文件分级存储的数据迁移方法，其特征在于，包括以下步骤：

S1.通过冷热程度算法对存储数据的性质进行分类；

S2.判断存储数据的性质是否发生变化；

S3进行文件迁移。

进一步的，所述的步骤S1，根据周期内文件的访问次数和最近访问时间为依据对文件进行冷热程度的判别；

数据冷热程度表达式如下：

其中，D表示数据冷热程度；T表示设定的周期，根据实际业务来设定的；Lat表示文件最近访问时间，N是周期内该文件的访问次数，由系统监控记录，在每个周期结束后清零；通过计算出的数据冷热程度与数据性质的阈值对比，即可判别数据的性质。

进一步的，所述的步骤S2，根据数据性质逐级递增或递减顺序，数据的冷热变化顺序为：热数据->潜热数据->潜冷数据->冷数据；

数据的性质由潜热数据转变为潜冷数据时，引发真正的文件迁移；

数据的性质在热数据和潜热数据、冷数据和潜冷数据之间的转换，改变了文件元数据中的相应的字段，不会引发实质上的文件迁移。

进一步的，所述的步骤S3，通过迁移速率控制，对文件迁移进行控制，具体如下：

计算数据迁移应该等待的时间长度；

W＝E×(L-T)

其中W表示时间长度；E是一个常数；L表示I/O队列长度；T表示设置的阈值；E和T的值依据实际情况设定。

以下结合附图描述根本发明实施例的一种面向文件分级存储的数据迁移系统及方法：

图1是根据本发明实例中，不同性质数据的分布图。数据存储服务器分为两类：高速存储服务器和低速存储服务器，而系统中存储的数据则分为四类：热数据、潜热数据、潜冷数据以及冷数据。高速存储服务器上存储的是热数据和潜热数据，低速存储服务器上存储的是潜冷数据和冷数据。

热数据指的是周期内被访问较为频繁的数据；冷数据指的是周期内较少被访问的数据；潜热数据指的是存储在高速存储服务器上、周期内被访问的次数相较于热数据较少或频率较低的数据；潜冷数据指的是存储在低速存储上、周期内被访问次数相较于冷数据来说较多或频率较高的数据。数据的冷热变化顺序为：热数据->潜热数据->潜冷数据->冷数据。一般地，数据性质逐级递增或递减，特殊情况下可能会发生越级变化。其中，数据的性质由潜热数据转变为潜冷数据时才会引发真正的文件迁移，而数据的性质在热数据和潜热数据、冷数据和潜冷数据之间的转换不会引起实质上的文件迁移，只是改变了文件元数据中的相应的字段。

目前的阶段中，我们只根据周期内文件的访问次数和最近访问时间为依据对文件进行冷热程度的判别。数据冷人程度D的计算公式如下：

D＝Lat/T×N

其中，T是设定的周期，是一个经验值或根据实际业务来设定的；Lat是文件最近访问时间，N是周期内该文件的访问次数，由系统监控记录，在每个周期结束后清零。根据计算出的数据冷热程度与数据性质的阈值对比，即可判别数据的性质。

图2是本发明的系统架构图。以ApacheFTPServer为基础进行分布式存储系统的改造，我们将该分布式分级存储系统称作HK-HSM。

HK-HSM系统由一个改造后的FTP服务器和若干数据存储服务器(DSS，DataStorage Server)组成，数据存储服务器包括了高性能存储服务器HPS和低速存储服务器LCS。FTP 服务器经过改造后作为元数据管理服务器MDS，用于数据的接收，然后直接转发给存储服务器进行数据的存储。元数据服务器可以配置一个备份节点以避免单点故障，存储服务器可以根据业务需求自由地进行横向扩展，通过更改配置文件，元数据服务器可以对扩展的存储服务器进行识别和判断。数据从收集到分布式存储系统的存储一共经历一次转发操作和一次持久化写操作。数据的收集利用FTP提供的通用接口，在接入后进入FTPDS系统的处理流程，经过分布式消息队列以及负载均衡处理后，向存储服务器进行数据写入请求派发，存储服务器收到数据写入请求后可进行数据存储。

图3是根据本发明实例中，MDS上Apache FTPServer的改造示意图，即FTPMDS结构示意图。如图1所示，FTPDS提供和FTP服务一样的数据读写接口，也提供了系统中所有文件的透明性统一视图。FTPDS中MDS主要分为五个模块：FTP分发器，日志引擎，元数据管理，相应的业务处理和系统监控。其中元数据管理模块包括了对文件和文件夹元数据信息的管理以及系统的命名空间的管理；FTP分发器包括了数据的接收、处理、传播和迁移；日志引擎包括了操作日志、监控日志、检查点日志等；系统监控模块用于监控各存储节点的使用情况、IO情况等。FTP分发器主要的技术点在于对数据的统一调度技术，统一调度技术中主要包含了数据存储调度器和数据迁移调度器，存储调度器是在数据从收集到入库的过程中对数据存储的调度以及在数据迁移时对数据在相同层级的服务器间的存储调度；迁移调度器是协同存储调度器负责整个系统的负载均衡的。存储调度器负责的是整个系统中数据的高可用性以及数据存储的负载均衡；而迁移调度器负责的是数据的高性能访问以及协同存储调度器实现数据存储的可扩展性。

由于存储系统中I/O访问负载的不确定性，系统使用逻辑上开/关两种状态来调整数据迁移速度。文件迁移进行与否，是依据数据管理客户端中前端应用的负载来确定的。如果前端负载相对较低，则进行数据迁移，如果负载过高，则对文件迁移进行限制。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (12)

1.一种面向文件分级存储的数据迁移系统，其特征在于，包括：

元数据服务器，用于管理存储服务器上所有文件的元数据，以及文件的存储和迁移调度；

数据存储服务器，用于存储文件内容的服务器，通过冷热程度算法对数据进行冷热程度判别；其中，数据存储服务器存储的数据，包括热数据、潜热数据、潜冷数据和冷数据；所述的热数据指的是周期内被访问较为频繁的数据；冷数据指的是周期内较少被访问的数据；潜热数据指的是存储在高速存储服务器上、周期内被访问的次数相较于热数据较少或频率较低的数据；潜冷数据指的是存储在低速存储上、周期内被访问次数相较于冷数据来说较多或频率较高的数据。

2.根据权利要求1所述的一种面向文件分级存储的数据迁移系统，其特征在于，所述的数据存储服务器，包括高性能存储服务器和低速存储服务器，其中，高性能存储服务器用于保证经常访问的文件读写的高性能，从而保证系统的整体性能，由性能较高的新型存储设备组成；低速存储服务器用于管理系统中不经常访问的文件的存储以及文件的备份、归档，从而降低系统的整体存储成本。

3.根据权利要求2所述的一种面向文件分级存储的数据迁移系统，其特征在于，所述的高性能存储服务器，存储热数据和潜热数据。

4.根据权利要求2所述的一种面向文件分级存储的数据迁移系统，其特征在于，所述的低速存储服务器，存储潜冷数据和冷数据。

5.根据权利要求1所述的一种面向文件分级存储的数据迁移系统，其特征在于，所述的元数据服务器，包括FTP服务器、数据存储调度器和数据迁移调度器。

6.根据权利要求1所述的一种面向文件分级存储的数据迁移系统，其特征在于，所述的元数据服务器，通过对Apache FTPServer的改造，实现为上层应用程序提供了一个系统全局统一的透明性视图，并通过Redis将所有文件的元数据缓存在DRAM中，加速文件索引。

7.根据权利要求1所述的一种面向文件分级存储的数据迁移系统，其特征在于，所述的元数据服务器，通过使用标准的FTP接口连接经过改造的FTPServer，对系统中HPS和LCS上的所有文件进行直接访问。

8.根据权利要求1所述的一种面向文件分级存储的数据迁移系统，其特征在于，所述的冷热程度算法，根据周期内文件的访问次数和最近访问时间为依据对文件进行冷热程度的判别；数据冷热程度表达式如下：

其中，D表示数据冷热程度；T表示设定的周期，根据实际业务来设定的；Lat表示文件最近访问时间，N是周期内该文件的访问次数，由系统监控记录，在每个周期结束后清零；

通过计算出的数据冷热程度与数据性质的阈值对比，即可判别数据的性质。

9.一种面向文件分级存储的数据迁移方法，其特征在于，包括以下步骤：

S1.通过冷热程度算法对存储数据的性质进行分类；

S2.判断存储数据的性质是否发生变化；

S3进行文件迁移。

10.根据权利要求9所述的一种面向文件分级存储的数据迁移方法，其特征在于，所述的步骤S1，根据周期内文件的访问次数和最近访问时间为依据对文件进行冷热程度的判别；

数据冷热程度表达式如下：

其中，D表示数据冷热程度；T表示设定的周期，根据实际业务来设定的；Lat表示文件最近访问时间，N是周期内该文件的访问次数，由系统监控记录，在每个周期结束后清零；

通过计算出的数据冷热程度与数据性质的阈值对比，即可判别数据的性质。

11.根据权利要求9所述的一种面向文件分级存储的数据迁移方法，其特征在于，所述的步骤S2，根据数据性质逐级递增或递减顺序，数据的冷热变化顺序为：热数据->潜热数据->潜冷数据->冷数据；

数据的性质由潜热数据转变为潜冷数据时，引发真正的文件迁移；

数据的性质在热数据和潜热数据、冷数据和潜冷数据之间的转换，改变了文件元数据中的相应的字段，不会引发实质上的文件迁移。

12.根据权利要求9所述的一种面向文件分级存储的数据迁移方法，其特征在于，所述的步骤S3，通过迁移速率控制，对文件迁移进行控制，具体如下：

计算数据迁移应该等待的时间长度；

W＝E×(L-T)

其中W表示时间长度；E是一个常数；L表示I/O队列长度；T表示设置的阈值；E和T的值依据实际情况设定。

Images