CN103106152B - 基于层次存储介质的数据调度方法 - Google Patents

Abstract

本发明涉及计算机领域的存储技术，提供了一种基于层次存储介质的数据调度方法，该方法包括如下步骤：存储自动分级；定向存取；监控数据访问操作；数据估值；数据迁移。本发明使集群能够使用层次存储介质进行合理的数据调度，访问性能高，成本低。

Description

基于层次存储介质的数据调度方法

技术领域

本发明涉及计算机领域的存储技术，特别是涉及一种基于层次存储介质的数据调度方法。

背景技术

随着互联网的普及，数据量呈爆炸性增长。这些数据的存储就成了很多企业需要考虑的重点问题。目前用于存储数据的设备，常见的有硬盘、光盘、磁带、闪存卡等。不同的设备，存储数据的方式不同，访问性能有差异，价格也有区别。通常情况下，访问性能越好，单位容量的价格就越高。很多企业都希望能够用最小的成本达到最佳的性能，达到性能与成本最佳的权衡，这就需要将多种不同特性的存储介质组合多个层次统一使用，这种存储介质被称为层次存储介质。

层次存储介质是指用于存储的介质分为多个不同的层次，一般分为至少两层。不同的存储层次，其访问性能、容量、成本等都有着较大的区别。层次越高，访问性能越好，单位存储容量的价格越高。通常情况下，数据的访问主要在层次高的介质上进行，存储主要在层次低的介质上进行。

工业研究表明，大约有80％的数据处于不活跃状态，而只有20％的数据处于活跃状态，这就意味着只需将这20％的数据存放于层次高的存储介质上，就能满足访问性能的需求；把剩余80％的数据存放于层次较低的存储介质上，就能满足存储成本的限制。这其实是数据与存储介质的匹配问题，分两步进行：一是如何找出活跃数据，即“热”数据；二是如何能保持“热”数据一直存储于层次较高的存储上。找出“热”数据通常有很多方法，有的是依照生命周期，即最新产生的数据为“热”数据，有的是统计数据的访问频率，频率越高，数据越“热”；找到“热”数据后，就要看其与存储位置是否匹配，如果不匹配，即“热”数据存于较低层次的存储上，而“冷”数据存于较高层次的存储上，就需要对数据的位置进行调整，这就是数据迁移。

在使用层次存储介质的环境中，数据的调度与数据迁移策略有关。数据的迁移策略其实就是跟数据迁移有关的各种问题。例如，迁移对象的选择，迁移的方向，迁移时机的选择，迁移过程的控制等。

(1)迁移对象的选择：

通常有两种方法，一种是人为制定规则，如规定某种特定类型的文件在特定的时间从某一级存储迁移到另一级存储上，这种方法多与应用环境相关。另一种方法，就是搜集数据的访问特性，根据数据的访问特性，建模分析，分析的结果是具体的数值，值越大，表明其之后的访问频率可能越高；随后再将数据与其对应的值结合起来，结合相关规则进行筛选，找出需要迁移的对象即可。

(2)迁移的方向：

指的是数据迁移过程中的数据流向问题。数据流向，有的是单向的，如存储区域网络(Storage Area Network，SAN)中用到的分级存储，使用了在线存储(高端磁盘阵列)+近线存储(低端磁盘阵列)+离线存储(磁带库、光盘库)，数据迁移是单向的，即只能从高层的存储移到低级的存储，依据的是信息生命周期的原理；有的是双向的，在由高性能磁盘阵列和低性能磁盘阵列组成的层次存储介质环境中，数据迁移的流向是双向的，存在数据的回迁问题，即数据要先从二级存储迁移到一级存储中，然后再传输给客户端，这类读取过程因为牵涉到两次读操作一次写操作，因此对性能损耗比较大，故从高层往低层的迁移，会非常谨慎。

(3)迁移时机的选择：

数据迁移，是个耗时耗资源的过程，如果迁移时机选的不好，系统的资源就得不到合理地利用。如在系统很繁忙的时候，发生大规模迁移，可能会导致处理用户访问请求的时间变长，影响服务质量；若迁移次数过多，会导致系统在很大的一部分资源与时间都用于内耗，其对外服务的质量也得不到有效提高；而如果迁移的次数太少或几乎不迁移，又会使得优质的资源得不到充分的利用，也不利于系统的合理使用。目前选择迁移时机的方法有两种，一种是一级存储空间的使用率；一种是固定周期。第一种方法，通过监视一级存储空间的使用率，保证一级存储空间的负载处于一个合理的范围内，使得数据访问能够有效进行；第二种方法，是每隔一段时间就对系统中的数据进行迁移，调整数据位置。

(4)迁移过程的控制：

主要包括迁移速率的控制和迁移过程的访问控制，要求迁移过程不能过分影响整个系统的访问性能。迁移速率的控制，主要分为两大类，一种是迁移进程优先，即不惜代价完成迁移；一种是保证服务质量的方法，即迁移的过程需要保证服务质量，需要监测系统的负载与带宽等因素。迁移过程的访问控制，指的是对于正在迁移的数据进行访问时的处理方法，多用文件锁的方法。

现有的分级存储技术有如下的不足之处：

(1)选择迁移对象：

使用特定规则的方法，简单有效，但是只能适用于特定的应用场景，一般需要某领域的专家来制定规则；使用搜集数据访问信息并建模的方法，接近于底层，偏重于模型分析，好的模型很重要，应用的范围很广泛。建模时，要考虑到系统中数据传输的基本单位，现在的很多模型中有的是基于文件的，有的是基于对象的，也有的是基于块的。但是对于有着广泛应用的hadoop分布式文件系统(HDFS，Hadoop Distributed File System)而言，它的数据访问的基本单位是文件，但数据传输时的基本单位却是固定大小的数据块，没有适合的模型可供使用。

(2)迁移的方向：

单向的数据迁移，仅适合于“在线存储+近线存储+离线存储”三级存储模型，对于hadoop集群中的数据节点来说，每个数据节点都能提供在线访问，这种模型显然不适合；双向的数据迁移，在访问低端磁盘阵列时，存在数据的回迁问题，即数据如果不在高端磁盘阵列中时，会先迁移再读取，耗时太多。

(3)迁移时机的选择：

监视一级存储空间使用率的方法，确实能够使得一级存储空间得到充分的利用，但是在系统中不再有数据写入而只有频繁的数据读取时，一级存储空间不会出现容量不足的情况，就不会触发迁移，数据的位置就得不到动态调整。而采用固定周期的方法，能够定期的调整数据的位置，但是周期的设置需要针对特定的应用场景，通用性不强，而且可能会出现一级存储空间过载的情形。

(4)迁移过程的控制：

迁移速率控制上，使用迁移过程优先的方法，难以保证系统的服务质量。迁移时的访问控制问题，与系统的访问控制有关，但是使用文件锁的方法很麻烦。

而且，针对有着广泛应用的集群来讲，还没有在其中实现分级存储技术，无法合理使用层次存储介质。因此，提供一种使集群能够使用层次存储介质进行合理的数据调度的方法，是目前亟待解决的问题。

发明内容

本发明针对现有技术的上述缺陷，提供一种基于层次存储介质的数据调度方法，使集群能够使用层次存储介质进行合理的数据调度，访问性能高，成本低。

本发明采用如下技术方案：

一种基于层次存储介质的数据调度方法，所述方法包括如下步骤：

存储自动分级：集群启动，根据主机名将各个节点划分为不同的存储层次；

定向存取：选择距离近、存储层次高的空闲节点存储和读取文件；

监控数据访问操作：记录文件访问信息，并判断迁移时机是否到来，若迁移时机到来，则执行下述操作；

数据估值：根据访问记录，使用信息估值模型对数据进行估值；

数据迁移：根据所述数据的估值结果，判断数据的位置是否满足数据越热存储层次越高的特点，若不满足，则进行数据迁移，使得数据的位置满足数据越热存储层次越高的特点。

优选地，所述方法还包括：

自适应调整：数据迁移完成后，根据迁移结果更新相关信息，重新启动监控。

优选地，在存储自动分级时，所述存储层次至少包括2级，存储层次的划分标准为：存储层次越高，访问性能越好，处理用户请求的响应时间越短。

优选地，所述信息估值模型中所用到的模型的建立方法为：

利用搜集到的文件访问记录进行建模，计算出一个反映数据热度的数值，所述数值越大，说明所述数值对应的数据以后的访问概率就越大。

优选地，在数据迁移时，通过队列过滤模型和路径匹配模型，在信息估值模型处理后得到的数值队列的基础上，形成具体的数据迁移任务，利用迁移控制模型完成数据迁移。

优选地，所述队列过滤模型为：根据阈值过滤掉不需要迁移的数据分段，所述阈值反映了本存储层次上前一次的迁移结果，过滤后形成的队列中所有数据分段都已经确定迁移方向，所述迁移方向为全相连模式。

优选地，所述路径匹配模型为：在队列中所有数据分段都确定了迁移方向后，如果系统中该数据分段有多个副本，确定距离较近的迁移源和迁移目标，迁移源优先选择剩余空间较少、负载轻的节点，迁移目标优先选择负载轻的节点。

优选地，所述迁移控制模型为：进行迁移速率控制，使用多线程分批次执行所述数据迁移任务，降低迁移过程对集群中节点访问性能的影响。

优选地，所述多线程是指使用线程池的方法并发执行迁移任务，每个具体的迁移任务是指两个节点间的某数据分段置换的过程；

分批次执行所述数据迁移任务包括如下步骤：

限定集群中同一时刻用于迁移的线程数，使得迁移只在集群的局部范围内发生，减少对集群整体服务质量的影响；

限定节点上同一时刻用于迁移的线程数，使得节点仅有少量的资源用于迁移，减少对该节点所能提供服务质量的影响。

优选地，所述根据迁移结果更新相关信息，重新启动监控的步骤具体为：

存储数据的估值结果，以备下一次估值时使用；

对于已经被删除的数据，在系统所保留的访问记录中删除；

根据迁移的实际情况进行各存储层次的阈值更新；

唤醒监视进程，等待下一次数据迁移的到来。

本发明具有以下有益效果：

1.应用广泛：在集群中实现分级存储技术，其应用范围很广泛；

2.容易配置：配置时只需要将不同性能的磁盘安装在不同节点上，并标识以不同的主机名，即可，无需其他复杂操作，可实现三层存储，同时兼容二层存储；

3.访问性能高、成本低：可以使用容量大、价格低的SATA硬盘作为用于存储数据的大部分磁盘，其数据访问性能接近于使用SSD硬盘的性能，性价比高。

4.拓展性强：本发明的数据调度方法经过简单的改进后，可实现集群节能、绿色环保的功能。

附图说明

图1为本发明一优选实施例基于层次存储介质的数据调度方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明在集群中实现了分级存储技术，建立多层次存储架构，使得集群能够使用层次存储介质进行合理的数据调度，实现数据在各层存储介质间透明迁移，且不影响集群的服务质量，使集群的访问性能较高而成本较低。

本实施例以hadoop集群为例，对本发明的数据调度方法进行说明。当然，本发明提供的基于层次存储介质的数据调度方法不限于在hadoop集群中实现，其他集群也可以采用本发明的方法进行数据调度，只要集群中的每个数据节点都能够提供在线访问，且数据的传输直接在客户端与数据节点之间进行，这种集群就可以使用本发明提供的方法进行集群性能的改善。

本实施例在hadoop集群的分布式文件系统HDFS中实现分级存储，在实现时考虑了如下问题：

1.选择迁移对象时，使用建模的方法，其基本单位是固定大小的数据块；

2.迁移的方向有多个，这与层次存储模型有关；若数据未在一级存储上，访问时不需要数据回迁，而是直接访问数据所在的存储节点；

3.迁移的时机综合考虑：一方面保证一级存储空间的使用率不能过高，另一方面保证数据会得到及时的调整，不管在何种情况下，均保证系统资源的合理利用；

4.迁移过程中，通过监控负载与带宽的方法对迁移速率进行控制。

请参阅图1所示，为本发明一优选实施例基于层次存储介质的数据调度方法流程图。该方法包括下述步骤：

步骤S1：存储自动分级。

本步骤中，集群启动，根据主机名将各个节点划分为不同的存储层次。存储层次至少包括2级，其划分标准为：存储层次越高，访问性能越好，处理用户请求的响应时间越短。本实施例在hadoop集群启动时，通过“主机名标识法”(也即分级依据)，系统可自动识别每个节点的访问性能。如主机名中含有“high”，则访问性能最好，列为一级存储；含有“middle”，则访问性能适中，列为二级存储；含有“low”，列为三级存储。系统将所有的节点分成这3个存储层次，存储层次越高，访问性能越好。必要时，存储层次高的节点还可以配以更快的网络、CPU等。本实施例最多可实现三层存储，同时可以兼容二层存储，其分级存储系统使用SSD+SAS+SATA三级存储模型，符合hadoop集群的应用。

步骤S2：定向存取。

本步骤中，选择距离近、存储层次高的空闲节点存储和读取文件。

在hadoop集群中存储文件时，将文件划分为固定大小的块，存放于集群中的各个节点上，同时文件会有多个备份，保证容错，例如拷贝3个副本，存放在3个不同的数据节点上。

在hadoop集群中读取文件时，按块读取，客户端首先从名称节点获取数据块的位置，然后直接与相应的数据节点进行数据传输。数据块通常有多个存储位置，优先考虑距离近、存储层次高的空闲节点，以缩短数据传输时间。

步骤S3：监控数据访问操作。

本步骤中，记录文件访问信息，并判断迁移时机是否到来，若迁移时机到来，则执行下述操作。具体地，hadoop集群中客户端对文件的读取是以块为单位的，系统把块的每次读取操作都记录下来，记录的内容包括：访问用户、访问时间、块信息等，每读取一次系统就会生成一条记录。根据迁移的周期判断迁移时机是否到来，当迁移周期到来时，说明迁移时机到来，此时需执行下述操作，进行数据估值。其中，迁移周期可以是系统设置的一固定的迁移周期。

步骤S4：数据估值。

本步骤中，根据访问记录，使用信息估值模型对数据进行估值，从而找到用户频繁访问的数据集。信息估值模型中所用到的模型的建立方法是：利用搜集到的文件访问记录进行建模，计算出一个反映数据热度的数值，该数值越大，说明该数值对应的数据以后的访问概率就越大，表明该数据为“热”数据。

本实施例中，hadoop集群中的节点被分为3个不同的存储层次，存储层次越高，配置的硬盘访问性能越好，容量越小，价格也越贵。因此只能有少量的数据存放在存储层次最高的节点上。通常情况下，一个集群中的所有数据中只有少量数据被频繁访问。我们通过记录文件的访问信息，通过信息估值模型处理这些信息，得出一个数值，该数值越大，代表该数据访问越频繁，存储层次就该越高。在特定时刻，使用信息估值模型处理搜集到的文件访问记录，进行建模，，模型的处理对象是块，用到的参数有：访问时间、访问次数、用户数量、块的大小、块与其他块的关联度、块的历史值(块的历史值指的是该数据块上一次估值的结果)等，利用公式计算出特定的值，来衡量块的“热”度，并按照数值从高到低形成队列。

本实施例的信息估值模型专门针对HDFS的数据块特点，充分考虑到HDFS“一写多读”的情形。块关联度的计算时，对于不同文件下的数据块区别对待；充分利用了块的历史价值，有效减缓突发访问带来的抖动。

步骤S5：数据迁移。

本步骤中，根据步骤S4中数据的估值结果，判断数据的位置是否满足“数据越热存储层次越高”的特点，若不满足，则进行数据迁移，使得数据的位置满足“数据越热存储层次越高”的特点。

本实施例中，通过队列过滤模型和路径匹配模型，在信息估值模型处理后得到的数值队列的基础上，形成具体的数据迁移任务，利用迁移控制模型完成数据迁移，按照“热”高“冷”低的原则，使得访问越频繁的数据，其所在的存储层次越高，从而确保大多数的读取数据操作都在存储层次高的节点上进行。

其中，队列过滤模型为：根据阈值过滤掉不需要迁移的数据分段(也即hadoop集群中的数据块)，阈值反映了本存储层次上前一次的迁移结果，过滤后形成的队列中所有数据分段都已经确定迁移方向，迁移方向为全相连模式，即任何两个存储层次间都可以进行数据迁移，在三级存储模型中，有6种不同的迁移方向。通过此次过滤，使迁移的块尽可能少。本实施例利用阈值来过滤数据块，有效减少了迁移数据量。

路径匹配模型为：在队列中所有数据分段都确定了迁移方向后，如果系统中该数据分段有多个副本，确定距离较近的迁移源和迁移目标，迁移源优先选择剩余空间较少、负载轻的节点，迁移目标优先选择负载轻的节点。本实施例充分考虑到数据块存储位置有多个的情况，选择迁移源与迁移目标时考虑到了两者的剩余空间和距离，尽量缩短迁移时间。

迁移控制模型为：进行迁移速率控制，使用多线程分批次执行所述数据迁移任务，降低迁移过程对集群中节点访问性能的影响。多线程是指使用线程池的方法并发执行迁移任务，每个具体的迁移任务是指两个节点间的某数据分段置换的过程；分批次执行数据迁移任务按如下步骤进行：

A、限定集群中同一时刻用于迁移的线程数，使得迁移只在集群的局部范围内发生，减少对集群整体服务质量的影响；

B、限定节点上同一时刻用于迁移的线程数，使得节点仅有少量的资源用于迁移，减少对该节点所能提供服务质量的影响。

本实施例中，数据迁移的方向有多个，不存在数据回迁问题，能适应多种情况下的数据访问。迁移时，通过“模拟迁移”，适当调整迁移顺序，防止真实迁移过程中的异常；实行分批次迁移，每次迁移的总线程数不超过50个；进行节点迁移限制，每个节点同一时刻用于迁移的线程数不超过5个。通过这种小规模、连续的迁移方式，使得迁移的速率适应了集群负载的变化，尽可能的减少迁移带来的性能损失。

步骤S6：自适应调整。

本步骤中，数据迁移完成后，根据迁移结果更新相关信息，重新启动监控。本实施例中，在数据迁移完成后，存储数据的估值结果，以备下一次估值时使用；对于已经被删除的数据，在系统所保留的访问记录中删除；根据迁移的实际情况进行各存储层次的阈值更新；上述步骤完成后，唤醒监视进程，等待下一次数据迁移的到来。

在步骤S6之后，返回执行步骤S2，数据调度的过程循环进行。

本实施例在hadoop集群的分布式文件系统HDFS中实现了分级存储技术，建立多层次存储架构，使得hadoop集群能够使用层次存储介质进行合理的数据调度，实现数据在各层存储介质间透明迁移，且不影响集群的服务质量，使集群的访问性能较高而成本较低。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于层次存储介质的数据调度方法，其特征在于，所述方法包括如下步骤：

存储自动分级：hadoop集群启动，根据主机名将各个节点划分为不同的存储层次；

定向存取：选择距离近、存储层次高的空闲节点存储和读取文件；

监控数据访问操作：记录文件访问信息，并判断迁移时机是否到来，若迁移时机到来，则执行下述操作；

数据估值：根据访问记录，使用信息估值模型对数据进行估值；

数据迁移：根据所述数据的估值结果，判断数据的位置是否满足数据越热存储层次越高的特点，若不满足，则进行数据迁移，使得数据的位置满足数据越热存储层次越高的特点；

在数据迁移时，通过队列过滤模型和路径匹配模型，在信息估值模型处理后得到的数值队列的基础上，形成具体的数据迁移任务，利用迁移控制模型完成数据迁移；

所述队列过滤模型为：根据阈值过滤掉不需要迁移的数据分段，所述阈值反映了本存储层次上前一次的迁移结果，过滤后形成的队列中所有数据分段都已经确定迁移方向，所述迁移方向为全相连模式；

所述路径匹配模型为：在队列中所有数据分段都确定了迁移方向后，如果系统中该数据分段有多个副本，确定距离较近的迁移源和迁移目标，迁移源优先选择剩余空间较少、负载轻的节点，迁移目标优先选择负载轻的节点；

所述迁移控制模型为：进行迁移速率控制，使用多线程分批次执行所述数据迁移任务，降低迁移过程对集群中节点访问性能的影响。

2.根据权利要求1所述的基于层次存储介质的数据调度方法，其特征在于，所述方法还包括：

自适应调整：数据迁移完成后，根据迁移结果更新相关信息，重新启动监控。

3.根据权利要求1所述的基于层次存储介质的数据调度方法，其特征在于，在存储自动分级时，所述存储层次至少包括2级，存储层次的划分标准为：存储层次越高，访问性能越好，处理用户请求的响应时间越短。

4.根据权利要求1所述的基于层次存储介质的数据调度方法，其特征在于，所述信息估值模型中所用到的模型的建立方法为：

利用搜集到的文件访问记录进行建模，计算出一个反映数据热度的数值，所述数值越大，说明所述数值对应的数据以后的访问概率就越大。

5.根据权利要求1所述的基于层次存储介质的数据调度方法，其特征在于，所述多线程是指使用线程池的方法并发执行迁移任务，每个具体的迁移任务是指两个节点间的某数据分段置换的过程；

分批次执行所述数据迁移任务包括如下步骤：

A、限定集群中同一时刻用于迁移的线程数，使得迁移只在集群的局部范围内发生，减少对集群整体服务质量的影响；

B、限定节点上同一时刻用于迁移的线程数，使得节点仅有少量的资源用于迁移，减少对该节点所能提供服务质量的影响。

6.根据权利要求2所述的基于层次存储介质的数据调度方法，其特征在于，所述根据迁移结果更新相关信息，重新启动监控的步骤具体为：

存储数据的估值结果，以备下一次估值时使用；

对于已经被删除的数据，在系统所保留的访问记录中删除；

根据迁移的实际情况进行各存储层次的阈值更新；

唤醒监视进程，等待下一次数据迁移的到来。