CN100571281C - 海量数据分级存储方法 - Google Patents

Abstract

海量数据分级存储方法属于数据迁移领域，其特征在于：各前端主机上的并行文件系统客户代理软件通过系统接口子模块和VFS层子模块实现对VFS访问的支持；元数据服务器负责把不同数据服务器上的数据文件组织成统一的并行文件系统视图，由元数据管理模块提供访问元数据的操作，由文件迁移决策模块定期从数据服务器获取文件访问信息，并根据文件系统负载和设备分级情况对文件迁移进行决策。数据服务器的迁移执行模块执行具体的迁移工作。该方法根据负载情况自动地完成数据迁移过程，有效提高了系统的吞吐率，并且迁移文件少，迁移进程对前端应用的影响也较小。

Description

海量数据分级存储方法

技术领域

海量数据分级存储方法属于数据迁移领域，尤其涉及其中的数据分级，数据管理和迁移决策领域。

背景技术

海量数据分级存储技术是指：由具有不同性能、可用性和每位价格等指标的存储设备构成多级存储系统；根据海量数据的访问规律，按照近期访问概率的不同将数据分成不同级别；根据数据级别的变化在不同级别的存储设备之间迁移数据。在合适的时间将合适的数据动态迁移到合适的位置，目的是使该存储系统的服务质量在统计上较高，而总拥有成本较低。传统的分级存储系统由在线设备(磁盘)和离线设备(磁带)两级构成，数据在创建时放在在线设备上，当在线设备容量快满时将不重要的文件迁移到离线设备上。而离线设备不能提供在线访问，用户如果需要访问离线设备上的文件，必须将其先迁移到在线设备上，这样不但造成访问不命中开销很大，也造成了迁移数据量过大。因此，传统的分级存储系统主要应用在访问不是特别频繁的归档/备份环境中。另外，传统的分级存储系统没有考虑到设备的性能差异，性能差异大的设备和性能差异小的设备采用相同的迁移触发条件，不利于系统的可扩展性。

本发明提出了一种新的海量数据分级存储方法，分级存储系统由均可提供在线访问的快速设备和慢速设备构成，将数据按照访问情况进行分级，同时在迁移决策过程中考虑设备的性能差异，有效解决了上述问题。

发明内容

本发明的目的在于提供一种能全面满足网络服务和科学计算需要的海量数据分级存储方法，实现多级存储设备中文件的统一管理，能够兼顾较高的访问性能和较低的总拥有成本。本发明的重点在于元数据服务器中迁移决策模块和数据服务器中迁移执行模块的设计，数据分级方法和数据服务器在迁移过程的一致性保证。

本发明的特征在于：它是在由以下设备构成的并行文件系统中实现的，该系统含有：

各种类型的前端主机，即应用服务器，该前端主机的并行文件系统客户代理模块实现虚拟文件系统层(VFS)的各种文件操作以及从下述元数据服务器读取相应文件的元数据；

元数据服务器，有一台或多台，按照TCP/IP协议经以太网与上述各前端主机相连，把位于不同数据服务器上的数据文件组织成统一的并行文件系统视图，为上述各前端主机提供元数据操作服务，同时执行文件扫描，数据分级，迁移决策和迁移速率控制等操作，实现对海量数据分级存储系统的文件管理；

数据服务器，有多台，按照性能高低划分为快速数据服务器和慢速数据服务器，保存着每个文件分片后的数据文件，可以为前端主机提供文件I/O操作，同时执行元数据服务器发来的文件迁移命令；

1.海量数据分级存储方法，其特征在于，依次含有以下步骤：

步骤(1).初始化：

在作为应用服务器的各种类型的前端主机上部署并行文件系统客户代理模块，以实现虚拟文件系统层VFS的各种文件操作，并从下述元数据服务器中存取各文件的元数据，该模块由下述两部分子模块构成：系统接口子模块及VFS子模块，其中：

系统接口子模块，在用户空间实现，为文件访问提供系统接口：通过网络通信层读写元数据服务器中的文件元数据；通过网络通信层从数据服务器读写文件数据；该系统接口子模块又提供文件迁移的客户端接口，支持用户手动对文件迁移；

VFS子模块，在内核空间实现，通过系统接口子模块中的系统接口，实现文件的VFS层操作，供用户通过VFS层对由所述应用服务器、元数据服务器和数据服务器构成的并行文件系统中的文件进行访问；

该并行文件系统客户代理模块按如下步骤运行：

VFS子模块接收由应用层发来的VFS访问请求，并把该请求转化为对系统接口子模块的各系统接口的请求；

在元数据服务器上部署元数据系统模块、元数据管理模块以及文件迁移决策模块，模块由运行在Linux系统上的用户空间程序实现，其中：

元数据系统模块，通过网络通信层接收到并行文件系统客户代理模块发来的元数据访问指令后，提供以下执行元数据操作的接口：文件创建、文件删除、目录创建、目录删除以及文件查找，供通过网络通信层与并行文件系统客户代理模块通信用；

元数据管理模块，为由多个数据服务器并行组成的文件自管理系统提供管理元数据的接口，执行包括目录项管理、系统负载获取、所述文件系统统计信息显示在内的操作；

文件迁移决策模块，由增量扫描器、文件访问表管理器和迁移调度控制器组成，按以下步骤执行文件的迁移：

增量扫描器定期向所有数据服务器发出扫描请求，每个数据服务器在收到该请求后，把本扫描周期内所有被访问文件的访问情况发送给该增量扫描器，这些访问情况包括：文件的inode节点值、文件所对应的数据文件的inode节点值、数据文件的大小、所述文件在本扫描周期内的被访问次数以及所述文件在本扫描周期内的被访问字节数，其中数据文件是文件在数据服务器上的分片；

增量扫描器在收到这些数据后，将其发送到并通知文件访问表管理器对自己维护的文件访问表进行更新，该文件访问表包括：文件的inode节点值、文件大小、文件从创建开始到当前的生存时间、文件的平均访问时间间隔、文件的总访问次数、文件的总访问字节数以及文件从上次访问到现在的未访问时间；

文件访问表管理器计算每个文件当前访问和上次访问之间的时间间隔current_rereference_time，并利用该值来更新平均访问时间间隔rerefcrence_time，更新后的平均访问时间间隔为：

$\mathrm{rereference}\_{\mathrm{time}}_1=\left\{\begin{array}{c}\mathrm{\α}*\mathrm{current}\_\mathrm{rereference}\_\mathrm{time}+(1-\mathrm{\α})*\mathrm{rereference}\_{\mathrm{time}}_0,\mathrm{rereference}\_{\mathrm{time}}_0>0\\ \mathrm{current}\_\mathrm{rereference}\_\mathrm{time},\mathrm{rereference}\_{\mathrm{time}}_0=0\end{array}\right\},$

其中，rereference_time₀为更新前的平均访问时间间隔，rereference_time₁为更新后的平均访问时间间隔；α为遗忘因子，在[0，1]之间取值；

文件访问表管理器按下式计算文件升级的预期收益时间benefit_time；

$\mathrm{benefit}\_\mathrm{time}=\frac{\mathrm{rereference}\_\mathrm{time}*\mathrm{filesize}*\mathrm{access}\_\mathrm{num}}{\mathrm{access}\_\mathrm{bytes}}*\frac{{\mathrm{Thru}}_{\mathrm{fast}}}{{\mathrm{Thru}}_{\mathrm{slow}}-{\mathrm{Thre}}_{\mathrm{fast}}},$

其中：

Thru_fast，快速设备的吞吐率，快速设备包括固态磁盘SSD，光纤阵列在内的设备；

Thru_slow，慢速设备的吞吐率，慢速设备包括IDE阵列，SATA阵列在内的设备；

access_num，文件的被访问总次数；

access_bytes，文件的被访问总字节数；

filesize，文件大小；

rereference_time，文件平均访问时间间隔；

若文件的升级预期收益大于设定的升级阈值时，文件访问表管理器把该文件放入升级候选队列中，由升级线程处理；若文件从上次访问到现在的未访问时间大于设定的降级阈值时，文件访问表管理器把该文件放入降级候选队列中，由降级线程处理；

迁移调度控制器由升级线程和降级线程两部分组成，负责迁移指令的生成和速率控制；对于升级候选文件，迁移调度控制器读取它的元数据，从其中查找该升级候选文件对应的数据文件所在的已经包含在数据服务器中的源数据服务器，然后向该源数据服务器中的迁移执行模块发送升级指令；对于降级候选文件，迁移调度控制器读取它的元数据，从其中查找该降级候选文件对应的数据文件所在的已经包含在数据服务器中的源数据服务器，在系统负载空闲时才向源数据服务器中的迁移执行模块发送降级指令；

在数据服务器上部署源数据服务器和目标数据服务器后，分别在这两个数据服务器上部署I/O记录模块和迁移执行模块；对数据降级来说，源数据服务器中的I/O记录模块与固态磁盘SSD互连，而该固态磁盘SSD受迁移执行模块控制；目标数据服务器中部署的I/O记录模块与电子集成驱动器IDE阵列互连，而该IDE阵列受该目标数据服务器中的迁移执行模块控制；并行文件系统客户代理模块与所述源数据服务器以及目标数据服务器中相应的I/O记录模块相连，以执行I/O操作；

当源数据服务器中的I/O记录模块收到并行文件系统客户代理模块发出的I/O操作指令以及后继的由元数据服务器中的迁移调度控制器发给迁移执行模块的迁移指令后，得到要迁移文件的inode节点值、目标数据服务器的通信地址以及目标数据文件的inode节点值，然后，该源数据服务器中的迁移执行模块与目标数据服务器中的迁移执行模块建立连接并把源数据文件的数据写入目标数据文件，发往目标数据服务器中的迁移执行模块，再送往IDE阵列；

步骤(2).由步骤(1)所述的并行文件系统依次按以下步骤执行海量数据分级存储方法：

步骤(2.1).初始化元数据服务器和数据服务器：

步骤(2.1.1).把配置文件分别读入元数据服务器和数据服务器；

步骤(2.1.2).元数据服务器和数据服务器分别从该配置文件中读取各自的通信地址和服务端口，同时解析出inode节点分配表，根据文件的inode节点值将其映射到对应的数据服务器并存储；同时元数据服务器启动文件迁移模块中的升级线程、降级线程以及增量扫描器中的文件扫描线程；

步骤(2.2).初始化并行文件系统客户代理模块：

步骤(2.2.1).把配置文件读入该客户代理模块，

步骤(2.2.2).获取元数据服务器的通信地址和服务端口，

步骤(2.2.3).初始化该代理模块的cache子系统，

步骤(2.2.4).虚拟出子设备，供VFS子模块存入用户的VFS访问命令，并在处理完后将返回值写入，供VFS子模块调用；

步骤(2.3).按以下步骤执行文件迁移：

步骤(2.3.1).元数据服务器从本地读取该文件的元数据，获取文件的inode节点值和所在的数据服务器编号；

步骤(2.3.2).元数据服务器中的迁移调度控制器向文件要迁移的目标数据服务器发出创建数据文件的指令，待创建完毕后，再由该目标数据服务器向所述的迁移调度控制器返回新创建好的数据文件的inode节点值；

步骤(2.3.3).元数据服务器中的迁移调度控制器向文件所在的源数据服务器发送迁移指令，包含：目标数据服务器的通信地址、该文件所在源数据服务器上的数据文件的inode节点值、该文件所在目标数据服务器上的数据文件的inode节点值；

步骤(2.3.4).源数据服务器中的迁移执行模块收到迁移指令后，根据其中的通信地址与目标数据服务器中的迁移执行模块建立连接，之后通过所述的SSD把本地的数据文件的内容全部写入目标数据服务器对应的数据文件中去，执行完毕后，源数据服务器中迁移执行模块把本地数据文件从源数据服务器中删除，并向元数据服务器的迁移调度控制器返回迁移成功的指令；

步骤(2.3.5).迁移调度控制器读取文件的元数据信息，把它所在的位置改成目标数据服务器，同时把该文件所对应的数据文件的inode节点值改成目标数据服务器上的数据文件的inode节点值。

2.根据权利要求1所述的海量数据分级存储方法，其特征在于：所述源数据服务器和目标数据服务器的迁移执行模块通过读写锁来解决在迁移时由于用户对被迁移文件执行写操作产生的源数据服务器和目标数据服务器中所述数据文件的一致性问题。

本发明的优点如下：

(1)元数据服务器对数据服务器上的文件执行周期性的增量扫描，仅读取近期被访问过的文件信息，对近期访问过的文件重新进行迁移价值评价即可，无需扫描整个文件系统。

(2)将升级操作和降级操作区分开来，设计了双候选队列的迁移体系结构。将升级候选文件放入升级队列中，因为升级任务比较紧迫，升级线程采用“尽力而为”的方法进行升级迁移；将降级候选文件放入降低队列中，对降级任务进行速率控制，在系统空闲时才对其进行迁移，避免降级对前端应用造成影响。

(3)所有的迁移决策都由元数据服务器给出，数据服务器负责具体的迁移工作，实现了单点管理，降低了管理复杂性，提高了系统的可控性和安全性。

(4)使用对源数据文件加锁的方法解决了迁移过程中有写操作时源数据文件和目标数据文件的一致性问题。

本发明在清华大学计算机系高性能计算技术研究所进行了测试。结果表明，海量数据分级存储方法可以根据负载情况完成自动的数据迁移过程，有效提高了快速设备I/O访问的命中率，并且迁移文件较少，迁移进程对前端应用造成的影响较小。

对海量数据分级存储方法的测试从字节命中率和迁移文件数等两方面进行衡量。测试环境由一台元数据服务器、一台代表慢速设备的数据服务器，一台代表快速设备的数据服务器，一台前端主机，1台千兆以太网交换机组成。元数据服务器和两台数据服务器均采用64位Intel Itanium 2 1GHZ双CPU服务器，内存2GB，操作系统为Linux，内核版本为2.6.9。我们采用清华大学计算机系高性能计算技术研究所开发的文件trace播放器作为测试工具，使用美国加州大学大学伯克利分校Roselli等人在1997年采集的文件trace：Research作为测试数据，在上述实验环境中模拟运行了15天，测试了文件访问在快速设备上的字节命中率和升级迁移的文件数。测试结果见图8、图9。从测试结果中可以看出，文件访问命中在快速设备上的命中率接近90％，迁移文件字节数同总文件字节数相比较小，同时由于降级的作用，快速设备上的总文件大小也维持在较低范围。

附图说明

图1.数据文件分片示意图。

图2.海量数据分级存储方法硬件结构图。

图3.海量数据分级存储方法软件结构图。

图4.元数据服务器文件迁移决策模块示意图。

图5.海量数据分级存储方法整体各模块结构关系图。

图6.海量数据分级存储方法在线数据迁移示意图。

图7.海量数据分级存储方法整体流程图。

图8.文件访问命中在快速设备上的字节命中率。

图9.升级迁移字节数，所有设备总文件字节数和快速设备上总文件字节数的比较：

所有设备总文件大小，

快速设备上的总文件大小，

升级迁移的总文件大小。

具体实施方式

海量数据分级存储方法主要由元数据服务器、数据服务器和前端主机上的并行文件系统客户代理软件组成。该方法是基于并行文件系统实施的。在并行文件系统中，为提高访问吞吐率，每个文件的数据都按照分片方式保存在各数据服务器上，文件在数据服务器上的分片称为数据文件。文件分片的方式如图1所示。元数据服务器主要负责将不同数据服务器上的数据文件构建成一个统一的文件视图，并通过周期性扫描数据服务器来更新文件访问表，以负责文件迁移的决策和管理。应用服务器上的并行文件系统客户代理模块主要功能包括根据文件名从元数据服务器查找文件inode值，根据文件inode值从元数据服务器获取元数据，根据文件inode值查找映射表获取保存该文件对应数据文件的数据服务器的地址。为了消除一台元数据服务器带来的单点故障，可以由两台或多台元数据服务器形成集群。海量数据分级存储方法硬件结构如图2所示。

前端主机，元数据服务器和数据服务器通过以太网交换机连接在一起，按照数据服务器上挂载设备的性能不同，将其划分为快速和慢速数据服务器。被迁移文件的迁移起始端称为源数据服务器，迁移目的端称为目标数据服务器。

元数据服务器上的元数据系统模块和元数据管理模块完成对元数据的操作，文件迁移决策模块完成增量扫描，文件访问情况更新，迁移决策并负责生成迁移指令，发送给源数据服务器。海量数据分级存储方法软件结构如图3所示。

并行文件系统客户代理模块分为应用层、系统接口层、任务管理层和网络通信层。应用层发来的VFS访问请求由并行文件系统客户代理模块中的VFS子模块来处理，将VFS访问请求转化成对并行文件系统的系统接口层访问请求。系统接口层提供一组可以直接访问并行文件系统的接口。任务管理层在元数据服务器和数据服务器的软件中也都存在，它负责把系统接口层和操作状态机发来的操作请求按照不同的操作类型(如网络访问，本地数据访问，远程数据访问等)放入不同的调度队列中进行调度处理。网络通信层使用TCP/IP协议，支持并行文件系统客户代理模块、元数据服务器和数据服务器之间进行通信。元数据服务器由于管理迁移过程包含文件迁移决策模块，源和目标数据服务器为执行元数据服务器发来的迁移指令包含迁移执行模块。元数据服务器的元数据系统模块和元数据管理模块与数据服务器的数据服务模块都维护一张操作映射表，映射表中每个表项的内容包括操作码，字符串类型的操作名称以及执行该操作请求的操作状态机入口地址。执行元数据或数据操作时，根据操作请求的操作码在操作映射表中找到相应表项，然后进入该操作请求的操作状态机执行操作。操作状态机是执行一次操作的若干组操作状态的集合，每个操作状态包括操作名称，该状态要执行的操作函数以及下一个操作状态的入口地址。根据操作函数返回值的不同，每个操作状态的下一个状态，以及何时进入下一个状态都是不同的。例如，如果一个操作状态的执行函数需要通过网络通信层传输若干数据，而传输过程被阻塞不能立即完成，那么执行函数就返回“该状态需要等待”的返回值，由状态机调度器将该状态放入等待队列进行等待，等其需要的操作执行完之后再执行。图3中，在迁移操作完成之前，并行文件系统客户代理模块通过访问源数据服务器执行文件I/O操作，迁移操作完成之后，元数据服务器将被迁移文件元数据中文件存放位置从源数据服务器修改为目标数据服务器，因此并行文件系统客户代理模块访问目标数据服务器执行文件I/O操作。

元数据服务器的文件迁移决策模块是海量数据分级存储方法的核心模块，由一组用户空间程序构成，包括增量扫描器，文件访问表管理器和迁移调度控制器。各模块之间的关系如图4所示。

增量扫描器定期向所有数据服务器发出扫描请求，数据服务器收到该请求后将本周期内所有被访问文件的访问情况发送给元数据服务器。文件访问情况的消息内容如下：

Struct scan_info{

  uint64_t meta_handle/*文件的inode值*/

  uint64_t data_handle/*文件对应数据文件的inode值*/

  uint64_t dspace_size/*数据文件的大小*/

  uint64_t access_size/*该文件在本扫描周期内的访问字节数*/

}

增量扫描器收到这些数据之后，通知文件访问表管理器对文件访问表中的相关文件进行更新。文件访问表中一个表项的格式如下：

Typedef struct

{

    uint64_t meta_handle  /*文件的inode值*/

    uint64_t file_size    /*文件大小*/

    uint32_t lifetime    /*文件从创建开始到当前的生存时间*/

    uint32_t rereference_time/*文件的平均访问时间间隔*/

    uint32_t access_num    /*文件的总访问次数*/

    uint64_t access_bytes  /*文件的总访问字节数*/

    uint32_t unaccess_time  /*文件从上次访问到现在的未访问时间*/

}file_migration

每个访问表项占用的空间是40字节，对于百万文件规模的文件系统来说，占用的内存空间为40M。

文件访问表管理器计算每个文件当前访问和上次访问之间的时间间隔current_rereference_time，并利用该值来更新平均访问时间间隔rereference_time。

rereference_time的计算公式如下：

$\mathrm{rereference}\_{\mathrm{time}}_1=\left\{\begin{array}{c}\mathrm{\α}*\mathrm{current}\_\mathrm{rereference}\_\mathrm{time}+(1-\mathrm{\α})*\mathrm{rereference}\_{\mathrm{time}}_0,\mathrm{rereference}\_{\mathrm{time}}_0>0\\ \mathrm{current}\_\mathrm{rereference}\_\mathrm{time},\mathrm{rereference}\_{\mathrm{time}}_0=0\end{array}\right\},$

其中，rereference_time₀为更新前的平均访问时间间隔，rereference_time₁为更新后的平均访问时间间隔；rereference_time的计算公式中使用遗忘因子α把当前的访问时间间隔累加到历史访问时间间隔中去，是根据文件的历史访问时间间隔和当前访问时间间隔对文件的下次访问时间间隔进行的预测值。遗忘因子α取值范围为[0，1]。

海量分级存储方法按照性能高低将设备分为快速设备和慢速设备。快速设备包括固态磁盘SSD，光纤阵列等设备，其吞吐率较高但是价格相对昂贵；慢速设备包括IDE阵列，SATA阵列等设备，其吞吐率较低但是价格相对便宜。设Thru_fast和Thru_slow分别是快速设备和慢速设备的吞吐率，access_num表示文件的被访问总次数，access_bytes表示文件的被访问总字节数，filesize表示文件大小。对文件升级的预期收益时间计算公式如下：

$\mathrm{benefit}\_\mathrm{time}=\frac{\mathrm{rereference}\_\mathrm{time}*\mathrm{filesize}*\mathrm{access}\_\mathrm{num}}{\mathrm{access}\_\mathrm{bytes}}*\frac{{\mathrm{Thru}}_{\mathrm{fast}}}{{\mathrm{Thru}}_{\mathrm{slow}}-{\mathrm{Thre}}_{\mathrm{fast}}},$

如果文件的升级预期收益时间大于给定的升级阈值(实验中使用5小时)，文件访问表管理器将该文件放入升级候选队列中，由升级线程进行处理。

如果文件的未访问时间大于给定的降级阈值(实验中使用10小时)，文件访问表管理器将文件放入降级候选队列中，由降级线程进行处理。

迁移调度控制器由升级线程和降级线程两部分组成，负责迁移指令的生成和速率控制。对于升级候选文件，迁移调度控制器读取它的元数据，从元数据中查找该文件对应数据文件所在的源数据服务器，然后向该源数据服务器发出升级指令。降级候选文件迁移指令的生成同升级候选文件相同，但是由于降级任务的不紧迫性，需要加入速率控制，当系统负载空闲时才把降级指令发出。

源和目标数据服务器的迁移执行模块负责执行具体的迁移工作。源数据服务器解析元数据服务器发来的迁移指令，得到要迁移数据文件的inode节点值，目标数据服务器的通信地址，以及目标数据文件的inode节点值。之后源数据服务器同目标数据服务器建立连接，将源数据文件的数据写入目标数据文件。

由于海量数据分级存储方法是支持不间断在线访问的，如果在文件迁移过程中，用户对该文件执行了写操作，那么在源数据服务器和目标数据服务器的两份数据文件之间就会出现一致性问题。为解决该问题，源和目标数据服务器的迁移执行模块通过读写锁实现数据一致性的保证。读写锁有三种状态：读模式下加锁状态即读者锁，写模式下加锁状态即写者锁，不加锁状态。当读写锁是写者锁时，在该锁被解锁之前，所有试图对这个锁加锁的线程都会被阻塞。当读写锁是读者锁时，所有试图以读模式对它进行加锁的线程都可以得到访问权。在迁移进程开始之前，由源数据服务器对迁移文件申请写者锁，由于文件是以块为单位执行迁移的，当有写请求发生时，有以下几种情况：

(1)写请求作用于已经迁移过的块时，可以不申请读者锁，直接对目标数据文件进行写操作；

(2)写请求作用于正在迁移的块时，需要申请读者锁，之后对目标数据文件进行写操作；

(3)写请求作用于还未迁移的块时，申请读者锁，之后对源数据文件进行写操作；

(4)如果写请求改变了文件的大小，则需要对目标数据文件进行同样的写操作。

一致性策略可以保证迁移过程中数据的一致性，同时由于迁移粒度以划分块为单位，减小了对前台IO访问的影响。

源数据服务器和目标数据服务器还包含I/O记录模块，每次对文件的I/O操作，都由该模块进行记录，在元数据服务器进行增量扫描时将记录的内容发送给元数据服务器。

所述的海量数据分级存储方法依次含有以下步骤：

步骤1：构造软件模块；

并行文件系统客户代理模块，由两部分子模块构成：系统接口子模块和VFS子模块。系统接口子模块在用户空间实现，负责提供一组文件访问的系统接口：通过网络通信层同元数据服务器通信以存取文件元数据，通过网络通信层同数据服务器通信以存取文件数据，同时系统接口子模块提供文件迁移的客户端接口，支持用户手动对文件进行迁移，提高迁移的灵活性；VFS子模块在内核空间实现，通过调用系统接口子模块中的系统接口，实现文件的VFS层操作，以支持用户通过VFS层对并行文件系统中的文件进行访问。

元数据服务器的软件，运行在Linux系统上，由一组用户空间程序组成，包括以下模块：

元数据系统模块，接受到并行文件系统客户代理模块的元数据访问指令后，提供执行元数据操作的接口，包括文件创建，文件删除，目录创建，目录删除、文件查找等操作，该接口通过网路通信模块与并行文件系统客户代理模块通信，通过存储服务模块与底层文件系统和数据库通信。

元数据管理模块，提供管理元数据的接口，把多个数据服务器并行组织成一个统一的文件自管理系统，包括管理目录项，获取系统负载情况，显示文件系统统计信息等操作。

文件迁移决策模块，根据文件系统负载和设备分级情况，执行对文件迁移的决策任务，该模块维护一个文件访问信息表，保存每个文件的访问次数，文件大小，当前位置等信息。该文件访问信息表由文件迁移决策模块中的文件扫描器定期进行更新，每次更新后，文件迁移模块根据文件的历史访问信息和当前访问信息计算文件的访问热度并判断文件的迁移价值，当文件迁移价值达到规定的阈值时，由该模块将文件放入升级或者降级队列中，作为升级或降级的候选文件。根据迁移目标的不同，文件迁移决策模块把迁移队列分为两类：升级队列和降级队列，分别保存需要升级和降级的候选文件，并由升级线程和降级线程处理这两个队列中的候选文件。由于升级任务的紧迫性，每当升级队列中有未升级的升级候选文件，升级线程就对其进行升级操作；由于降级任务的紧迫性相对较小，降级线程加入了速率控制技术，当系统负载较小时才对降级候选文件进行处理，系统负载较重时不进行降级操作，避免降级任务同前端负载争用带宽资源。文件迁移决策模块中包含文件扫描器。每隔一个扫描周期，由文件扫描器中的文件扫描线程向数据服务器发出扫描指令，获取文件访问的信息，包括文件的inode数值，文件在本周期内的访问次数和文件大小等信息，并利用该信息更新文件访问信息表。更新后，通知文件迁移决策模块判断是否有新的文件需要迁移。

数据服务器的软件运行在Linux用户空间，负责管理文件分片后的数据文件，它由两部分模块组成：

数据服务模块，向并行文件系统客户代理模块提供文件读写等操作接口，同时负责创建或者释放数据文件空间，对数据文件进行管理。

迁移执行模块，在收到元数据服务器发来的迁移指令之后，同目标数据服务器建立连接，同时把要迁移的源数据文件中的数据写入目标数据服务器中的目标数据文件。

步骤2：初始化元数据服务器和数据服务器：

元数据服务器和数据服务器读取海量数据分级存储软件的配置文件，解析出各元数据服务器和数据服务器的通信地址和服务端口，同时解析出inode节点分配表，以根据文件的inode节点值将其映射到对应的数据服务器上。然后在本地文件系统上创建存储空间，保存元数据服务器或数据服务器生成的各种数据。同时，元数据服务器启动文件迁移决策模块中的升级线程，降级线程和文件扫描线程，

步骤3：初始化并行文件系统客户代理模块：

并行文件系统客户代理模块读取海量数据分级存储软件的配置文件，获取元数据服务器的通信地址和服务端口，初始化并行文件系统客户代理模块的Cache子系统，以保存热点文件的元数据。同时，创建一个监控子进程，调用系统调用poll监控并行文件系统客户代理模块虚拟出的一个设备，每接受到用户的VFS访问，VFS子模块都会向该虚拟设备中写入相应的VFS命令，由系统子接口模块处理，处理完后将该操作的返回值写入虚拟设备中，由VFS子模块读取并将其返回给VFS层的调用。

步骤4：当元数据服务器的文件迁移决策模块对一个文件进行迁移时，按以下步骤执行：

步骤4.1：元数据服务器读取该文件的元数据，获取文件的inode节点值和文件所在的数据服务器编号；

步骤4.2：元数据服务器向文件要迁移的目标数据服务器发出创建数据文件的指令，目标数据服务器创建完毕之后，返回给元数据服务器新创建好的数据文件的inode节点值；

步骤4.3：元数据服务器向文件所在的数据服务器发出迁移指令，指令内容包括：目标数据服务器的通信地址，该文件在源数据服务器上的数据文件inode节点值，该文件在目标数据服务器上的数据文件inode节点值；

步骤4.4：源数据服务器收到元数据服务器发来的迁移指令之后，根据迁移指令中的通信地址与目标数据服务器建立连接，然后将本地的数据文件中的内容全部写入目标数据服务器的数据文件中去。执行完毕之后，将本地的数据文件删除，并向元数据服务器返回迁移成功的消息；

步骤4.5：元数据服务器修改文件的元数据信息，把它所在的位置改成目标数据服务器，同时把该文件对应数据文件的inode节点值改成目标数据服务器上的数据文件的inode节点值。

海量数据分级存储方法的整体各模块结构关系图如图5所示。

在线数据迁移的过程如图6所示。海量数据分级存储方法同时支持两种迁移方式：用户通过并行文件系统客户代理模块执行手工文件迁移，元数据服务器上的文件迁移决策模块执行自动文件迁移。系统负载变化剧烈时，由于增量扫描的时延，文件迁移决策模块可能难以有效及时地管理和迁移数据。在这种情况下，管理员对海量数据分级存储方法进行人工干预是非常必要的。手工文件迁移接口为管理员的人工干预提供了操作界面，它由系统管理员通过并行文件系统客户代理模块启动。在同元数据服务器建立连接后，手工迁移的执行步骤同自动迁移的执行步骤完全相同。图6中，手工文件迁移对应步骤1～步骤17，自动文件迁移对应步骤2～步骤16。

Claims (2)

1、海量数据分级存储方法，其特征在于，依次含有以下步骤：

步骤(1).初始化：

在作为应用服务器的各种类型的前端主机上部署并行文件系统客户代理模块，以实现虚拟文件系统层VFS的各种文件操作，并从下述元数据服务器中存取各文件的元数据，该模块由下述两部分子模块构成：系统接口子模块及VFS子模块，其中：

系统接口子模块，在用户空间实现，为文件访问提供系统接口：通过网络通信层读写元数据服务器中的文件元数据；通过网络通信层从数据服务器读写文件数据；该系统接口子模块又提供文件迁移的客户端接口，支持用户手动对文件迁移；

VFS子模块，在内核空间实现，通过系统接口子模块中的系统接口，实现文件的VFS层操作，供用户通过VFS层对由所述应用服务器、元数据服务器和数据服务器构成的并行文件系统中的文件进行访问；

该并行文件系统客户代理模块按如下步骤运行：

VFS子模块接收由应用层发来的VFS访问请求，并把该请求转化为对系统接口子模块的各系统接口的请求；

在元数据服务器上部署元数据系统模块、元数据管理模块以及文件迁移决策模块，上述模块由运行在Linux系统上的用户空间程序实现，其中：

元数据系统模块，通过网络通信层接收到并行文件系统客户代理模块发来的元数据访问指令后，提供以下执行元数据操作的接口：文件创建、文件删除、目录创建、目录删除以及文件查找，供通过网络通信层与并行文件系统客户代理模块通信用；

元数据管理模块，为由多个数据服务器并行组成的文件自管理系统提供管理元数据的接口，执行包括目录项管理、系统负载获取、所述文件系统统计信息显示在内的操作；

文件迁移决策模块，由增量扫描器、文件访问表管理器和迁移调度控制器组成，按以下步骤执行文件的迁移：

增量扫描器定期向所有数据服务器发出扫描请求，每个数据服务器在收到该请求后，把本扫描周期内所有被访问文件的访问情况发送给该增量扫描器，这些访问情况包括：文件的inode节点值、文件所对应的数据文件的inode节点值、数据文件的大小、所述文件在本扫描周期内的被访问次数以及所述文件在本扫描周期内的被访问字节数，其中数据文件是文件在数据服务器上的分片；

增量扫描器在收到这些数据后，将其发送到并通知文件访问表管理器对自己维护的文件访问表进行更新，该文件访问表包括：文件的inode节点值、文件大小、文件从创建开始到当前的生存时间、文件的平均访问时间间隔、文件的总访问次数、文件的总访问字节数以及文件从上次访问到现在的未访问时间；

文件访问表管理器计算每个文件当前访问和上次访问之间的时间间隔current_rereference_time，并利用该值来更新平均访问时间间隔rereference_time，更新后的平均访问时间间隔为：

${\mathrm{rereference}\_\mathrm{time}}_1=\left\{\begin{array}{c}\mathrm{\α}*\mathrm{current}\_\mathrm{rereference}\_\mathrm{time}+(1-\mathrm{\α})*{\mathrm{rereference}\_\mathrm{time}}_0,{\mathrm{rereference}\_\mathrm{time}}_0>0\\ \mathrm{current}\_\mathrm{rereference}\_\mathrm{time},{\mathrm{rereference}\_\mathrm{time}}_0=0\end{array}\right\},$

其中，rereference_time₀为更新前的平均访问时间间隔，rereference_time₁为更新后的平均访问时间间隔；α为遗忘因子，在[0，1]之间取值；

文件访问表管理器按下式计算文件升级的预期收益时间benefit_time；

$\mathrm{benefit}\_\mathrm{time}=\frac{\mathrm{rereference}\_\mathrm{time}*\mathrm{filesize}*\mathrm{access}\_\mathrm{num}}{\mathrm{access}\_\mathrm{bytes}}*\frac{{\mathrm{Thru}}_{\mathrm{fast}}}{{\mathrm{Thru}}_{\mathrm{slow}}-{\mathrm{Thru}}_{\mathrm{fast}}},$

其中：

Thru_fast，快速设备的吞吐率，快速设备包括固态磁SSD，光纤阵列在内的设备；

Thru_slow，慢速设备的吞吐率，慢速设备包括IDE阵列，SATA阵列在内的设备；

access_num，文件的被访问总次数；

access_bytes，文件的被访问总字节数；

filesize，文件大小；

rereference_time，文件平均访问时间间隔；

若文件的升级预期收益大于设定的升级阈值时，文件访问表管理器把该文件放入升级候选队列中，由升级线程处理；若文件从上次访问到现在的未访问时间大于设定的降级阈值时，文件访问表管理器把该文件放入降级候选队列中，由降级线程处理；

迁移调度控制器由升级线程和降级线程两部分组成，负责迁移指令的生成和速率控制；对于升级候选文件，迁移调度控制器读取它的元数据，从其中查找该升级候选文件对应的数据文件所在的已经包含在数据服务器中的源数据服务器，然后向该源数据服务器中的迁移执行模块发送升级指令；对于降级候选文件，迁移调度控制器读取它的元数据，从其中查找该降级候选文件对应的数据文件所在的已经包含在数据服务器中的源数据服务器，在系统负载空闲时才向源数据服务器中的迁移执行模块发送降级指令；

在数据服务器上部署源数据服务器和目标数据服务器后，分别在这两个数据服务器上部署I/O记录模块和迁移执行模块；对数据降级来说，源数据服务器中的I/O记录模块与固态磁盘SSD互连，而该固态磁盘SSD受迁移执行模块控制；目标数据服务器中部署的I/O记录模块与电子集成驱动器IDE阵列互连，而该IDE阵列受该目标数据服务器中的迁移执行模块控制；并行文件系统客户代理模块与所述源数据服务器以及目标数据服务器中相应的I/O记录模块相连，以执行I/O操作；

当源数据服务器中的I/O记录模块收到并行文件系统客户代理模块发出的I/O操作指令以及后继的由元数据服务器中的迁移调度控制器发给迁移执行模块的迁移指令后，得到要迁移文件的inode节点值、目标数据服务器的通信地址以及目标数据文件的inode节点值，然后，该源数据服务器中的迁移执行模块与目标数据服务器中的迁移执行模块建立连接并把源数据文件的数据写入目标数据文件，发往目标数据服务器中的迁移执行模块，再送往IDE阵列；

步骤(2).由步骤(1)所述的并行文件系统依次按以下步骤执行海量数据分级存储方法：

步骤(2.1).初始化元数据服务器和数据服务器：

步骤(2.1.1).把配置文件分别读入元数据服务器和数据服务器；

步骤(2.1.2).元数据服务器和数据服务器分别从该配置文件中读取各自的通信地址和服务端口，同时解析出inode节点分配表，根据文件的inode节点值将其映射到对应的数据服务器并存储；同时元数据服务器启动文件迁移模块中的升级线程、降级线程以及增量扫描器中的文件扫描线程；

步骤(2.2).初始化并行文件系统客户代理模块：

步骤(2.2.1).把配置文件读入该客户代理模块，

步骤(2.2.2).获取元数据服务器的通信地址和服务端口，

步骤(2.2.3).初始化该代理模块的cache子系统，

步骤(2.2.4).虚拟出子设备，供VFS子模块存入用户的VFS访问命令，并在处理完后将返回值写入，供VFS子模块调用；

步骤(2.3).按以下步骤执行文件迁移：

步骤(2.3.1).元数据服务器从本地读取该文件的元数据，获取文件的inode节点值和所在的数据服务器编号；

步骤(2.3.2).元数据服务器中的迁移调度控制器向文件要迁移的目标数据服务器发出创建数据文件的指令，待创建完毕后，再由该目标数据服务器向所述的迁移调度控制器返回新创建好的数据文件的inode节点值；

步骤(2.3.3).元数据服务器中的迁移调度控制器向文件所在的源数据服务器发送迁移指令，包含：目标数据服务器的通信地址、该文件所在源数据服务器上的数据文件的inode节点值、该文件所在目标数据服务器上的数据文件的inode节点值；

步骤(2.3.4).源数据服务器中的迁移执行模块收到迁移指令后，根据其中的通信地址与目标数据服务器中的迁移执行模块建立连接，之后通过所述的SSD把本地的数据文件的内容全部写入目标数据服务器对应的数据文件中去，执行完毕后，源数据服务器中的迁移执行模块把本地数据文件从源数据服务器中删除，并向元数据服务器的迁移调度控制器返回迁移成功的指令；

步骤(2.3.5).迁移调度控制器读取文件的元数据信息，把它所在的位置改成目标数据服务器，同时把该文件所对应的数据文件的inode节点值改成目标数据服务器上的数据文件的inode节点值。

2.根据权利要求1所述的海量数据分级存储方法，其特征在于：所述源数据服务器和目标数据服务器的迁移执行模块通过读写锁来解决在迁移时由于用户对被迁移文件执行写操作产生的源数据服务器和目标数据服务器中所述数据文件的一致性问题。

Images