CN103092526B - 在存储设备间进行数据迁移的方法和装置 - Google Patents

Abstract

根据本发明实施例的一种用于在存储设备间进行数据迁移的方法包括：收集低速存储设备中的数据卷的负载参数的原始时域序列；基于所收集的负载参数的原始时域序列，估计数据卷的负载周期；以及根据估计得到的负载周期迁移数据卷的数据，使得在数据卷的负载峰值期间，其数据位于高速存储设备中。根据本发明实施例，可以提高存储设备中对数据的访问速度。

Description

在存储设备间进行数据迁移的方法和装置

技术领域

本发明涉及存储技术，更具体地说，涉及在存储设备间进行数据迁移的方法和设备。

背景技术

大型存储系统往往由不同类型的存储设备构成。这些不同类型的存储设备在价格和性能上具有显著的差异。例如，从一个每分钟转速15000的硬盘举动器HDD中读取一份数据需要的平均响应时间是10毫秒，而从一个固态硬盘SSD中直接读取该数据需要的平均响应时间小于1毫秒。由于高速存储设备的造价高于低速存储器，系统中高速存储设备的数据容量小于低速存储器的数据容量。因此，只有一部分数据才会被存储在高速存储设备中。

假设在存储系统中，数据的最小单位是数据块；多个数据块组成数据卷；应用程序请求一个或多个数据卷。可以根据数据被访问的频繁程度来确定哪些数据需要被存储在高速存储设备中，从而将这些数据从低速存储设备迁移到高速存储设备。本领域技术人员可以理解，这里的数据块和数据卷都是逻辑概念，而不是物理概念。换句话说，一个数据卷或者一个数据块的数据，可能被存储在多个物理存储设备上。因此，这种迁移对于使用这些数据的应用程序来说是透明的。可以根据某数据块被访问的频率以及访问该数据块时的响应时间来确定某个数据块是否为热点(hotspot)数据块。对于热点数据块，则将该数据块从低速存储器中迁移到高速存储设备。但是，数据块过去一段时间内被频繁访问并不表示其在未来一段时间内还会被频繁访问。

因此，需要一种新的在存储设备间进行数据迁移的解决方案。

发明内容

本发明实施例提供了用于在存储设备间进行数据迁移的方法和装置。

根据本发明实施例的用于在存储设备间进行数据迁移的方法包括：收集低速存储设备中的数据卷的负载参数的原始时域序列；基于所收集的负载参数的原始时域序列，估计数据卷的负载周期；以及根据估计得到的负载周期迁移数据卷的数据，使得在数据卷的负载峰值期间，其数据位于高速存储设备中。

根据本发明实施例的用于在存储设备间进行数据迁移的装置包括：收集模块，配置为收集低速存储设备中的数据卷的负载参数的原始时域序列；估计模块，配置为基于所收集的负载参数的原始时域序列，估计数据卷的负载周期；以及迁移模块，配置为根据估计得到的负载周期迁移数据卷的数据，使得在数据卷的负载峰值期间，其数据位于高速存储设备中。

根据本发明实施例，可以提高存储设备中对数据的访问速度。

附图说明

图1是适于用来实现本发明实施方式的示例性计算系统100的框图。

图2是根据本发明实施例的组织存储设备的层次示意图。

图3是根据本发明实施例的在存储设备间迁移数据的方法的流程图。

图4是对负载参数的原始时域序列进行快速傅里叶变换后得到的频域特性。

图5是选择图4中的部分频率分量通过傅里叶反变换后得到的恢复时域序列与原始时域序列的对比。

图6是根据本发明实施例的在存储设备间迁移数据的装置的方框图。

具体实施方式

所属技术领域的技术人员知道，本发明的多个方面可以体现为系统、方法或计算机程序产品。因此，本发明的多个方面可以具体实现为以下形式，即，可以是完全的硬件、完全的软件(包括固件、驻留软件、微代码等)、或者本文一般称为“电路”、“模块”或“系统”的软件部分与硬件部分的组合。此外，本发明的多个方面还可以采取体现在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可用的程序码。

可以使用一个或多个计算机可读的介质的任何组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电的、磁的、光的、电磁的、红外线的、或半导体的系统、装置、器件或任何以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括以下：有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任何合适的组合。在本文件的语境中，计算机可读存储介质可以是任何包含或存储程序的有形的介质，该程序被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可包括在基带中或者作为载波一部分传播的、其中体现计算机可读的程序码的传播的数据信号。这种传播的信号可以采用多种形式，包括——但不限于——电磁信号、光信号或任何以上合适的组合。计算机可读的信号介质可以是并非为计算机可读存储介质、但是能发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序的任何计算机可读介质。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者任何合适的上述组合。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者任何合适的上述组合。

用于执行本发明的操作的计算机程序码，可以以一种或多种程序设计语言的任何组合来编写，所述程序设计语言包括面向对象的程序设计语言-诸如Java、Smalltalk、C++之类，还包括常规的过程式程序设计语言-诸如“C”程序设计语言或类似的程序设计语言。程序码可以完全地在用户的计算上执行、部分地在用户的计算机上执行、作为一个独立的软件包执行、部分在用户的计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在后一种情形中，远程计算机可以通过任何种类的网络——包括局域网(LAN)或广域网(WAN)-连接到用户的计算机，或者，可以(例如利用因特网服务提供商来通过因特网)连接到外部计算机。

以下参照按照本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本发明的多个方面。要明白的是，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得通过计算机或其它可编程数据处理装置执行的这些指令，产生实现流程图和/或框图中的方框中规定的功能/操作的装置。

也可以把这些计算机程序指令存储在能指令计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令产生一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置(instructionmeans)的制造品。

也可以把计算机程序指令加载到计算机或其它可编程数据处理装置上，使得在计算机或其它可编程数据处理装置上执行一系列操作步骤，以产生计算机实现的过程，从而在计算机或其它可编程装置上执行的指令就提供实现流程图和/或框图中的方框中规定的功能/操作的过程。

下面参照附图，结合具体实施例对本发明进行描述。这样的描述仅仅出于说明目的，而不意图对本发明的范围进行限制。

图1示出了适于用来实现本发明实施方式的示例性计算系统100的框图。如所示，计算机系统100可以包括：CPU(中央处理单元)101、RAM(随机存取存储器)102、ROM(只读存储器)103、系统总线104、硬盘控制器105、键盘控制器106、串行接口控制器107、并行接口控制器108、显示控制器109、硬盘110、键盘111、串行外部设备112、并行外部设备113和显示器114。在这些设备中，与系统总线104耦合的有CPU101、RAM102、ROM103、硬盘控制器105、键盘控制器106、串行控制器107、并行控制器108和显示控制器109。硬盘110与硬盘控制器105耦合，键盘111与键盘控制器106耦合，串行外部设备112与串行接口控制器107耦合，并行外部设备113与并行接口控制器108耦合，以及显示器114与显示控制器109耦合。应当理解，图1所述的结构框图仅仅为了示例的目的而示出的，而不是对本发明范围的限制。在某些情况下，可以根据具体情况而增加或者减少某些设备。

图2是根据本发明实施例存储系统层级结构。一般的情况下，在CPU要处理位于外部存储器上的数据时，该数据先从外部存储器上读取到内存中，然后再从内存中读取到高速缓冲存储器中。在以下的描述中，外部存储器由多种类型的存储设备构成，这些存储设备可以分为高速存储设备和低速存储设备。但是本领域技术人员可以理解，其他层次的存储器同样也可能由不同类型的存储设备构成，从而根据本发明实施例的方法也同样适用于这些情况。

图3是根据本发明实施例的在存储设备间迁移数据的方法的流程图。

步骤301，收集数据卷的负载参数的原始时域序列。

如前所述，应用程序以数据卷为单位使用存储系统中的存储容量。不同应用程序以不同的模式访问存储系统。因此，针对数据卷收集的负载参数能够反映不同的访问模式。所述负载参数可以是响应时间，即在各采样时刻访问该数据卷的响应时间。所述负载参数也可以使访问速率，即访问该数据卷时的IOPS。本领域技术人员还可以采用其他类型的负载参数。

对于一个特定的数据卷来说，在步骤301中所收集到的是该数据卷在各采样时刻的负载参数，即负载参数的原始时域序列。

根据本发明的一个实施例，在收集各数据卷的负载参数的原始时域序列后，对各数据卷的负载参数的原始时域序列进行聚类操作。经过聚类操作后，类似的原始时域序列被归入同一个类别中。这样，可以针对每个类别进行后续操作，得到的结果可以应用于该类别中的多个原始时域序列对应的数据卷。如何进行聚类操作是本领域的常用技术手段，在此不再赘述。

步骤302，基于所收集的负载参数的原始时域序列，估计数据卷的负载周期。

根据本发明的一个实施例，可以采用时频变换(time-frequencytransform)分析方法来从负载参数的原始时域序列得到所述负载参数的频域特性，例如傅里叶变换、Z变换、拉普拉斯变换等。

在下面的描述中，以傅里叶变换为例进行说明。本领域技术人员可以理解，由于步骤301中所收集到的是离散数据，因此可以采用离散傅里叶变换，更优选地可以采用快速傅里叶变换来得到负载参数的频域特性。

在后面的描述中，将更加详细地说明如何根据时频变换的结果来估计各数据卷的负载周期。

根据本发明的一个实施例，在进行时频变换之前，先从负载参数的原始时域序列中去除线性分量。在实际中，应用程序可能会由于收到指令而临时增加或者减少所使用的数据卷的量。这种变化并非应用程序对存储设备的访问模式的一部分，但是会引起对应的数据卷的负载参数的变化，从而在频域特性上施加噪声。

可以采用线性拟合分析、线性回归分析等方法来从负载参数的原始时域序列中得到所述线性分量。如果进行线性拟合分析和线性回归分析是本领域的常用技术手段，在此不再赘述。

步骤303，根据估计得到的负载周期迁移数据卷的数据，使得在数据卷的负载峰值期间，其数据位于高速存储设备中。

在步骤302中已经得到了各数据卷的负载周期，从而可以预测在未来的某一个时段内，会有大量的对数据卷的访问即出现负载峰值。根据预测结果，可以提前将这些数据卷的数据从低速存储设备迁移到高速存储设备。如前所述，将数据卷的数据在存储设备之间迁移对于使用该数据卷的应用程序来说是透明的。

本领域技术人员可以理解，这里所谓的负载峰值期间并不一定指的是出现负载最高值的时刻，其也可能是指负载大于某负载阈值的时间段。所述负载阈值可以是绝对值也可以是相对值。以相对值为例，所述负载阈值可以是实际负载与该数据卷的额定负载的比值。另外，此处所述的在数据卷的负载峰值期间，数据位于高速存储设备中，也不应该被理解为整个所述负载峰值期间所述数据都位于高速存储设备中。根据本发明的一个实施例，可以在数据卷的负载峰值期间结束时，将所述数据迁移回低速存储设备。根据本发明的另一个实施例，可以设置计时器，从所述数据迁移到高速存储设备开始计时，计时结束后将所述数据迁移回低速存储设备。在这一实施例中，有可能在数据卷的负载峰值期间结束前，其数据就被迁移回低速存储设备。

由于在存储系统中存在大量卷，可能会有多个数据卷在同一时段内出现负载峰值。另一方面，高速存储设备的存储容量是有限的，而多个出现负载峰值的数据卷的数据总量可能超过高速存储设备的存储容量。

为了解决这一问题，根据本发明的一个实施例，可以只移动数据卷中的个别数据块。如前所述，可以根据某数据块被访问的频率以及访问该数据块时的响应时间来确定某个数据块是否为热点数据块。对于即将出现负载峰值的数据卷，可以确定其所包含的热点数据块，并且将这些热点数据块迁移到高速存储设备。通过设置热点数据块的认定标准，可以控制热点数据块的数量，从而适应于高速存储设备的存储容量。

根据本发明的另一个实施例，采用基于优先权的迁移策略。对于某一时段，优先对优先级高的数据卷进行迁移操作。各数据卷对应的不同的应用程序，这些应用程序可能被设置有不同的优先权。因此，可以采用所对应的应用程序的优先权来设置数据卷的优先权。还可以根据热点数据量来设置数据卷的优先权。例如，如果某数据卷所含热点数据块的数据量大于另一数据卷，则该数据卷的优先权高于所述另一数据卷。本领域技术人员可以以其他方式来设置所述优先权。

上述控制被迁移的数据量的方法可以单独使用，也可以结合起来使用。例如，对于优先级高的数据卷进行的迁移操作可以是对整个数据卷进行迁移操作，也可以是对数据卷中的热点数据块进行迁移操作。

下面结合附图4和附图5描述如何根据时频变换的结果来估计各数据卷的负载周期。

图4是对负载参数的原始时域序列进行快速傅里叶变换后得到的频域特性。其中横轴表示快速傅里叶变换后的各频率分量，纵轴表示各频率分量的功率。

图5是选择图4中的部分频率分量通过傅里叶反变换进行频时变换(frequency-timetransform)后得到的恢复时域序列与原始时域序列的对比。其中虚线是原始时域序列，粗实线是仅考虑功率最大的一个频率分量进行傅里叶反变换后得到的恢复时域序列，细实线是考虑功率最大的九个频率分量进行快速傅里叶反变换后得到的恢复时域序列。可以看出，考虑的频率分量越多，对原始时域序列的逼近越充分。图5中细实线比较精确地体现了虚线的变化。但是，图5中的粗实线也已经体现了虚线的大体变化趋势，尤其是粗实线的负载峰值与虚线的负载峰值在时间轴上几乎重合。

本领域技术人员还可以理解，经过快速傅里叶变换后得到的各频率分量，彼此之间没有倍数关系；理论上讲，该信号的周期是各频率分量所对应的周期的最小公倍数。在实践中，对于负载参数的原始时域序列这样的信号，如果考虑所有频率分量，则估计出的周期可能会变得非常大，从而无法根据所述周期预测负载峰值。

因此，一方面，需要选取尽可能多的频率分量，从而更好地逼近原始时域序列，提高周期估计的准确性；另一方面，又需要选取尽可能少的频率分量，使得估计出的周期尽可能小，从而有效地预测负载峰值。

由于功率越大的频率分量，在信号中所占的比重越大。因此，根据本发明的一个实施例，可以设置功率阈值。只选择功率大于所述功率阈值的频率分量来估计数据卷的负载周期。对于功率小于所述功率阈值的频率分量，由于其对预测负载峰值的影响比较小，所以不再考虑。所述功率阈值可以针对单个频率分量的功率，也可以针对频率分量在功率排名中的位次。

根据本发明的另一个实施例，设置误差阈值。所述误差表示在只考虑某些频率分量的情况下，经过快速傅里叶反变换所得到的恢复时域序列与原始时域序列的逼近程度。例如，可以将恢复时域序列和原始时域序列作为两个向量，以两个向量的距离作为所述误差。又例如，可以将所选择的频率分量的功率总和与所有频率分量的功率总和之差作为所述误差。选择尽可能少的频率分量，使得恢复时域序列与原始时域序列的误差小于所述误差阈值。

根据本发明的再一个实施例，设置周期阈值。选择尽可能多的频率分量，使得根据所选择的频率分量估计的周期小于所述周期阈值。

实践中可能发生这样的情况，一方面，选取较少的频率分量满足不了误差阈值；另一方面，选取较多的频率分量满足不了周期阈值。这说明应用程序访问该数据卷的模式周期性不强。在这种情况下，仍然可以利用传统的基于热点数据块的迁移方案。

图6是根据本发明实施例的用于在存储设备间进行数据迁移的装置的框图。

根据本发明实施例的用于在存储设备间进行数据迁移的装置包括：

收集模块，配置为收集低速存储设备中的数据卷的负载参数的原始时域序列；

估计模块，配置为基于所收集的负载参数的原始时域序列，估计数据卷的负载周期；以及

迁移模块，配置为根据估计得到的负载周期迁移数据卷的数据，使得在数据卷的负载峰值期间，其数据位于高速存储设备中。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑卷功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

虽然以上结合具体实施例，对本发明的各个装置和方法进行了详细描述，但本发明并不限于此。本领域普通技术人员能够在说明书教导之下对本发明进行多种变换、替换和修改而不偏离本发明的精神和范围。应该理解，所有这样的变化、替换、修改仍然落入本发明的保护范围之内。本发明的保护范围由所附权利要求来限定。

Claims (16)

1.一种用于在存储设备间进行数据迁移的方法，该方法包括：

收集低速存储设备中的数据卷的负载参数的原始时域序列；

基于所收集的负载参数的原始时域序列，估计数据卷的负载周期；以及

根据估计得到的负载周期迁移数据卷的数据，使得在数据卷的负载峰值期间，所述数据位于高速存储设备中，

其中基于所收集的负载参数的原始时域序列估计数据卷的负载周期包括：

对所述负载参数的原始时域序列进行时频变换以得到所述负载参数的频域特性；以及

根据所述负载参数的频域特性估计数据卷的负载周期，

其中根据所述负载参数的频域特性估计所述数据卷的负载周期包括：

选择尽可能少的频率分量，使得恢复时域序列与原始时域序列的误差小于误差阈值，其中所述恢复时域序列是根据所选择的频率分量进行频时变换后得到的时域序列；和

根据所选择的频率分量估计所述数据卷的负载周期。

2.如权利要求1所述的方法，进一步包括：

在对所述负载参数的原始时域序列进行时频变换前，从所述负载参数的原始时域序列中去除线性分量。

3.如权利要求1所述的方法，其中根据估计得到的负载周期迁移数据卷的数据包括：

迁移所述数据卷中热点数据块的数据。

4.如权利要求1或3所述的方法，其中根据估计得到的负载周期迁移数据卷的数据包括：

在需要迁移多个数据卷的数据的情况下，优先对优先级高的数据卷进行所述迁移。

5.根据权利要求1所述的方法，其中收集低速存储设备中的数据卷的负载参数的原始时域序列包括：

收集多个数据卷的负载参数的原始时域序列；

其中基于所收集的负载参数的原始时域序列估计数据卷的负载周期包括：

对所述多个数据卷的负载参数的原始时域序列进行聚类操作，使得类似的原始时域序列被归入同一个类别中；

针对各类别估计负载周期，并将所估计的负载周期应用于该类别中的各原始时域序列所对应的数据卷。

6.如权利要求1所述的方法，其中根据所述负载参数的频域特性估计所述数据卷的负载周期包括：

根据所述频域特性，选择功率大于频率阈值的频率分量；和

根据所选择的频率分量估计所述数据卷的负载周期。

7.如权利要求1所述的方法，其中根据所述负载参数的频域特性估计所述数据卷的负载周期包括：

选择尽可能多的频率分量，使得根据所选择的频率分量预估的周期小于周期阈值；和

根据所选择的频率分量估计所述数据卷的负载周期。

8.根据权利要求1所述的方法，进一步包括：

将所述数据从高速存储设备迁移回低速存储设备。

9.一种用于在存储设备间进行数据迁移的装置，该装置包括：

收集模块，配置为收集低速存储设备中的数据卷的负载参数的原始时域序列；

估计模块，配置为基于所收集的负载参数的原始时域序列，估计数据卷的负载周期；以及

迁移模块，配置为根据估计得到的负载周期迁移数据卷的数据，使得在数据卷的负载峰值期间，其数据位于高速存储设备中，

其中所述估计模块包括：

配置为对所述负载参数的原始时域序列进行时频变换以得到所述负载参数的频域特性的模块；以及

配置为根据所述负载参数的频域特性估计数据卷的负载周期的模块，

其中根据所述负载参数的频域特性估计所述数据卷的负载周期包括：

配置为选择尽可能少的频率分量，使得恢复时域序列与原始时域序列的误差小于误差阈值的模块，其中所述恢复时域序列是根据所选择的频率分量进行频时变换后得到的时域序列；和

配置为根据所选择的频率分量估计所述数据卷的负载周期的模块。

10.如权利要求9所述的装置，进一步包括：

配置为在对所述负载参数的原始时域序列进行时频变换前，从所述负载参数的原始时域序列中去除线性分量的模块。

11.如权利要求9所述的装置，其中所述迁移模块包括：

配置为迁移所述数据卷中热点数据块的数据的模块。

12.如权利要求9或11所述的装置，其中所述迁移模块包括：

配置为在需要迁移多个数据卷的数据的情况下，优先对优先级高的数据卷进行所述迁移的模块。

13.根据权利要求9所述的装置，其中所述收集模块包括：

配置为收集多个数据卷的负载参数的原始时域序列的模块；

其中所述估计模块包括：

配置为对所述多个数据卷的负载参数的原始时域序列进行聚类操作，使得类似的原始时域序列被归入同一个类别中的模块；

配置为针对各类别估计负载周期，并将所估计的负载周期应用于该类别中的各原始时域序列所对应的数据卷的模块。

14.如权利要求9所述的装置，其中所述估计模块包括：

配置为根据所述频域特性，选择功率大于频率阈值的频率分量的模块；和

配置为根据所选择的频率分量估计所述数据卷的负载周期的模块。

15.如权利要求9所述的装置，其中根据所述负载参数的频域特性估计所述数据卷的负载周期包括：

配置为选择尽可能多的频率分量，使得根据所选择的频率分量预估的周期小于周期阈值的模块；和

配置为根据所选择的频率分量估计所述数据卷的负载周期的模块。

16.如权利要求9所述的装置，进一步包括：

配置为将所述数据从高速存储设备迁移回低速存储设备的模块。