CN105094700A

CN105094700A - 云存储系统中分层存储的数据热度计算方法和装置

Info

Publication number: CN105094700A
Application number: CN201510417521.1A
Authority: CN
Inventors: 于涛; 张在贵
Original assignee: Inspur Beijing Electronic Information Industry Co Ltd
Current assignee: Inspur Beijing Electronic Information Industry Co Ltd
Priority date: 2015-07-15
Filing date: 2015-07-15
Publication date: 2015-11-25
Anticipated expiration: 2035-07-15
Also published as: CN105094700B

Abstract

本发明公开了一种云存储系统中分层存储的数据热度计算方法，系统运行中，按照时间顺序依次建立若干个命中集合，并在每个命中集合的生命周期内，在命中集合中记录每个对象操作的对象标识；该方法包括：选定一预迁移对象；确定当前时刻所在的命中集合N；根据命中集合N和预设的命中集合历史数M确定统计集合；判断预迁移对象在统计集合的每个命中集合中是否有对象标识，设置命中集合的命中值D；根据各个命中集合的命中值D和预设的各个命中集合的权重值Q，计算预迁移对象的数据热度值R。本发明通过设置命中集合和命中集合的权重值，使获得的数据热度值综合考虑了对象的操作时间和对象的操作频率，获得的数据热度值更加准确。

Description

云存储系统中分层存储的数据热度计算方法和装置

技术领域

本发明涉及云存储技术领域，尤其涉及一种云存储系统中分层存储的数据热度计算方法和装置。

背景技术

随着云存储技术的快速发展，存储系统的高并行性、高可靠性和高性价比变得越来越重要。分层存储系统是基于不同存储设备的物理特性，将不同性能、不同可靠性和不同价格的存储设备组合在一起构成的存储系统，用多层存储介质来存放访问热度不同的数据，将高性能高成本的存储设备空间分配给高热度的数据，低热度的数据则迁移到低性能低成本的存储设备中，进而释放高性能高成本的存储空间，使得存储系统的成本接近于低成本的存储设备，而存储系统的整体性能倾向于高性能的存储设备。

目前，现有技术虽然提出了一些分层存储系统，但其数据迁移策略中的热度值统计或是基于最近访问次数，或者仅考虑历史访问频度。例如，SANBoost系统使用SSD设备和磁盘构成两层存储系统，并引入一个迁移阈值以减少数据迁移量，热度值统计是基于最近访问次数，只有用户访问达到一定次数后才进行数据迁移。又如，基于存储空间的高低水位法，热度值统计是基于历史访问频度，根据磁盘的使用情况进行数据迁移。

虽然上述两种数据迁移策略具有最大利用磁盘空间的优点，但其热度值统计存在不合理之处。例如，对于基于最近访问次数的热度值统计，没有考虑对象访问一次后可能长久不会被访问的情况，对于基于历史访问频度的热度值统计，没有考虑该历史多次访问可能是很久之前访问过多次的情况。因此，现有热度值统计在有些应用场景下是不准确的。

发明内容

为了解决上述技术问题，本发明提供一种云存储系统中分层存储的数据热度计算方法和装置，以克服现有热度值统计在有些应用场景下不准确的技术缺陷。

为了达到本发明目的，本发明提供了一种云存储系统中分层存储的数据热度计算方法，系统运行中，按照时间顺序依次建立若干个命中集合，并在每个命中集合的生命周期内，在命中集合中记录每个对象操作的对象标识；所述方法包括：

选定一预迁移对象；

确定当前时刻所在的命中集合，记为命中集合N；

根据命中集合N和预设的命中集合历史数M，确定统计集合，所述统计集合为：命中集合N、命中集合N-1、命中集合N-2、……、命中集合N-M；

判断所述预迁移对象在所述统计集合的每个命中集合中是否有对象标识，有则设置命中集合的命中值D＝1，没有则设置命中集合的命中值D＝0；

根据各个命中集合的命中值D和预设的各个命中集合的权重值Q，计算所述预迁移对象的数据热度值R，

R＝D_N×Q_N+D_N-1×Q_N-1+D_N-2×Q_N-2+……+D_N-M×Q_N-M。

进一步地，所述命中集合的生命周期是预先设置的时间区间；在命中集合中记录对象操作的对象标识时，每个命中集合中同一个对象的对象标识只记录一次。

进一步地，所述命中集合历史数M用于表示本次计算数据热度值所考虑的时间跨度和时间程度，所述统计集合表示本次计算数据热度值所基于的命中集合。

进一步地，所述命中集合的权重值Q用于表示命中集合的热度，不同的命中集合具有不同的权重值。

进一步地，各个命中集合的权重值采用权重值衰减比例的方式设置，即以当前命中集合为基点，各个命中集合的权重值由近及远按照设定的衰减比例进行衰减。

为了达到本发明目的，本发明还提供了一种云存储系统中分层存储的数据热度计算装置，包括：

命中集合模块，用于在系统运行中，按照时间顺序依次建立若干个命中集合，并在每个命中集合的生命周期内，在命中集合中记录对象操作的对象标识；

统计集合模块，用于确定当前时刻所在的命中集合，记为命中集合N，并根据命中集合N和预设的命中集合历史数M，确定统计集合，所述统计集合为：命中集合N、命中集合N-1、命中集合N-2、……、命中集合N-M；

判断模块，用于判断所述预迁移对象在所述统计集合的每个命中集合中是否有对象标识，有则设置命中集合的命中值D＝1，没有则设置命中集合的命中值D＝0；

计算模块，用于根据各个命中集合的命中值D和预设的各个命中集合的权重值Q，计算所述预迁移对象的数据热度值R，

R＝D_N×Q_N+D_N-1×Q_N-1+D_N-2×Q_N-2+……+D_N-M×Q_N-M。

本发明提供了一种云存储系统中分层存储的数据热度计算方法和装置，通过设置命中集合和命中集合的权重值，使获得的数据热度值综合考虑了对象的操作时间和对象的操作频率。先利用建立的若干个命中集合，分别记录不同时间区间内的对象操作，建立起对象操作时间与命中集合、对象操作频率与命中集合的对应关系，然后通过设置反映命中集合热度的命中集合的权重值，因而建立起对象操作时间与热度、对象操作频率与热度的对应关系。进一步地，通过设置命中集合历史数来限定计算数据热度值考虑历史命中集合的数量和远近程度，根据最近的操作时间和操作频率来计算数据热度值，使获得的数据热度值更加准确，克服了现有热度值统计在有些应用场景下不准确的技术缺陷。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本发明命中集合的示意图；

图2为本发明云存储系统中分层存储的数据热度计算方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

系统运行中，按照时间顺序依次建立若干个命中集合，并在每个命中集合的生命周期T内，在命中集合中记录对象操作的对象标识，且每个命中集合中同一个对象的对象标识只记录一次，T为预先设定的时间区间。

本发明命中集合用来记录一个时间区间内的对象操作，命中集合实质是一个有生命周期Period的时间区间，在该时间区间进行的对象操作记录在命中集合中，当时间跨度超过命中集合的生命周期后，该命中集合所记录的对象操作则不再改变，对象操作将记录在下一个命中集合中。本发明采用记录对象标识的方式来记录对象操作，在命中集合生命周期的时间区间内，只要有对象的任何操作，都记录这个对象的对象标识，以表明这个对象操作过。

图1为本发明命中集合的示意图。如图1所示，在分层存储系统开机运行时刻(t＝0)，系统建立一具有生命周期T的命中集合1，命中集合1的时间区间为[0，T)，在命中集合1的生命周期[0，T)时间段内，当有对象操作(读数据、写数据或其它任意操作)时，系统在对象操作完成后在命中集合1中记录该对象的对象标识。例如，假设在此期间共有4次对象操作，分别是：对象1、对象2、对象3、对象1，在对象1、2、3操作完成后，系统在命中集合1中分别记录ID₁、ID₂、ID₃，其中ID为对象标识。在对象1第2次操作完成后，系统判断命中集合1中已经存在ID₁，则不再记录。当分层存储系统运行到命中集合1的生命周期结束时刻(t＝T)时，系统建立命中集合2，命中集合2的时间区间为[T，2T)，在命中集合2的生命周期[T，2T)时间段内，系统按照相同的方法记录所有的对象操作。例如，假设在此期间共有2次对象操作，分别是：对象1、对象2，在对象1、2操作完成后，系统分别在命中集合2中记录ID₁、ID₂。……当分层存储系统运行到(N-1)T时刻时，系统建立命中集合N，命中集合N的时间区间为[(N-1)T，NT)，在[(N-1)T，NT)时间段内，系统同样记录对象操作。

这样一来，当分层存储系统运行到(N-1)T时刻后，系统共建立了N个命中集合，分别是：命中集合1、命中集合2……命中集合N，每个命中集合中都记录了对象操作。如果把系统运行示意成一个以t＝0时刻为原点的时间轴的话，N个命中集合就是按照时间顺序依次建立的N个时间区间，不仅每个命中集合具有时间概念，而且命中集合之间还具有远近关系。以命中集合N来说，命中集合N-1就是距命中集合N较近的命中集合，命中集合1就是距命中集合N较久远的命中集合。

本发明通过设置命中集合来反映对象的操作时间，利用依次建立的若干个命中集合，分别记录不同时间区间内的对象操作，先建立起对象操作时间与命中集合的对应关系，然后通过设置不同的命中集合具有不同的热度，因而可以建立起对象操作时间与热度的对应关系。

图2为本发明云存储系统中分层存储的数据热度计算方法的流程图。如图2所示，该方法包括：

步骤1、选定一预迁移对象；

实际应用中，当系统触发数据迁移操作时才进行数据热度值计算。系统进行数据迁移操作时，通常是先选定一个对象，计算该对象的数据热度值，并根据数据热度值判断该对象是否需要迁移，是则将该对象迁移，否则不迁移。有关判断对象是否需要迁移以及如何迁移，是本领域的公知技术，这里不再赘述。

步骤2、确定当前命中集合；

本发明中，当前命中集合即为当前时刻所在的命中集合。例如，如果系统触发数据迁移的时刻是在[(N-1)T，NT)时间段内，则当前命中集合即为命中集合N。

步骤3、根据当前命中集合和命中集合历史数确定统计集合；

本发明中，统计集合即为本次计算数据热度值所基于的命中集合。统计集合为当前命中集合与最近的M个历史命中集合之和，共M+1个命中集合。其中，“最近的”的是指命中集合的时间区间与当前命中集合的时间区间邻近。如图1所示，对于前命中集合为命中集合N，命中集合历史数为M，则统计集合包括的命中集合分别是：命中集合N、命中集合N-1、命中集合N-2、……、命中集合N-M，共M+1个命中集合。

本发明设置命中集合历史数实质上是设置本次计算数据热度值所考虑的时间跨度和所考虑的时间程度。时间跨度是指命中集合的数量程度，命中集合历史数越大，则本次数据热度值计算涉及的命中集合越多，涉及的时间跨度越大；命中集合历史数越小，则本次数据热度值计算涉及的命中集合越少，涉及的时间跨度越小。时间程度是指命中集合距当前命中集合的远近程度(时间上的远近)，命中集合历史数越大，则意味着本次数据热度值计算会考虑较久远的历史命中集合；命中集合历史数越小，则意味着本次数据热度值计算主要考虑近期的命中集合。也就是说，通过设置命中集合历史数，可以在计算数据热度值时将很久之前的对象操作考虑进去或排除掉。

步骤4、判断该预迁移对象在统计集合的每个命中集合中是否有对象操作，有则将命中集合的命中值D设置为1，没有则将命中集合的命中值D设置为0；

例如，对于统计集合包括命中集合N、命中集合N-1、命中集合N-2、……命中集合N-M，如果该预迁移对象仅在命中集合N、命中集合N-1和命中集合N-M中有对象操作，则各个命中集合的命中值D分别为D_N＝1，D_N-1＝1，D_N-2＝0，……D_N-M＝1。

本发明命中值用于反映对象的操作频率。如果多个命中集合的命中值D＝1，说明对象的操作频繁，如果多个命中集合的命中值D＝0，说明对象的操作不频繁，如果距当前命中集合较近的多个命中集合的命中值D＝1，说明对象的近期操作频繁，如果距当前命中集合较远的多个命中集合的命中值D＝1，说明对象的历史操作频繁。

本发明通过设置命中值来反映对象的操作频率，利用依次建立的若干个命中集合，分别记录不同时间区间内的对象操作，先建立起对象操作频率与命中集合的对应关系，通过设置不同的命中集合具有不同的热度，因而建立起对象操作频率与热度的对应关系。

步骤5、根据各个命中集合的命中值和各个命中集合的权重值，计算预迁移对象的数据热度值，数据热度值为每个命中集合的命中值×该命中集合的权重值的总和。

本发明中，每个命中集合均预先设置有权重值，不同的命中集合具有不同的权重值。本发明权重值用于反映命中集合的热度。实际应用中，可以设置当前命中集合具有最大的权重值，离当前命中集合越近的命中集合则权重值较大，离当前命中集合越远的命中集合则权重值较小。也就是说，离当前时刻较近的对象操作热度较大，离当前时刻较为久远的对象操作热度较小。实际应用中，可以采用权重值衰减比例的方式设置各个命中集合的权重值，即以当前命中集合(当前时刻)为基点，各个命中集合的权重值由近及远按照设定的衰减比例进行衰减。

例如，对于当前命中集合为命中集合N，命中集合历史数为M，统计集合包括命中集合N、命中集合N-1、命中集合N-2、……命中集合N-M，如果设置各个命中集合的权重值Q分别为：Q_N＝M+1，Q_N-1＝M，Q_N-2＝M-1，……Q_N-M＝1。则预迁移对象的数据热度值R为：

R＝D_N×Q_N+D_N-1×Q_N-1+D_N-2×Q_N-2+……+D_N-M×Q_N-M

具体地，对于当前命中集合为命中集合6，命中集合历史数为3，则统计集合包括命中集合6、命中集合5、命中集合4和命中集合3，各个命中集合的命中值D分别为D₆＝1，D₅＝1，D₄＝0，和D₃＝1，各个命中集合的权重值Q分别为：Q₆＝4，Q₅＝3，Q₄＝2和Q₃＝1，则预迁移对象的数据热度值R为：R＝1×4+1×3+0×2+1×1＝8。

一般而言，对于某个对象，当前进行对象操作的热度要高于在此之前进行对象操作的热度，即当前命中集合中对象操作的热度要高于之前命中集合中对象操作的热度。本发明通过设置命中集合的权重值来反映命中集合中对象操作的热度，命中集合的权重值大，则命中集合的热度高，即命中集合中对象操作的热度高；命中集合的权重值小，则命中集合的热度低，即命中集合中对象操作的热度低。

从本申请上述技术方案可以看出，本发明通过设置命中集合和命中集合的权重值，使获得的数据热度值综合考虑了对象的操作时间和对象的操作频率。先利用建立的若干个命中集合，分别记录不同时间区间内的对象操作，建立起对象操作时间与命中集合的对应关系，以及建立起对象操作频率与命中集合的对应关系，然后通过设置反映命中集合热度的命中集合的权重值，因而建立起对象操作时间与热度的对应关系，以及建立起对象操作频率与热度的对应关系。进一步地，通过设置命中集合历史数来限定计算数据热度值考虑历史命中集合的数量和远近程度，根据最近的操作时间和操作频率来计算数据热度值，使获得的数据热度值更加准确，克服了现有热度值统计在有些应用场景下不准确的技术缺陷。

在本发明一种云存储系统中分层存储的数据热度计算方法技术方案基础上，本发明还提供了一种云存储系统中分层存储的数据热度计算装置，包括：

R＝D_N×Q_N+D_N-1×Q_N-1+D_N-2×Q_N-2+……+D_N-M×Q_N-M。

本发明云存储系统中分层存储的数据热度计算装置技术方案中的命中集合、命中集合历史数M、统计集合、命中集合的命中值D、命中集合的权重值Q等概念及处理手段与前述云存储系统中分层存储的数据热度计算方法中的概念及处理手段相同，这里不再赘述。

虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims

1.一种云存储系统中分层存储的数据热度计算方法，其特征在于，系统运行中，按照时间顺序依次建立若干个命中集合，并在每个命中集合的生命周期内，在命中集合中记录每个对象操作的对象标识；所述方法包括：

选定一预迁移对象；

确定当前时刻所在的命中集合，记为命中集合N；

判断所述预迁移对象在所述统计集合的每个命中集合中是否有对象标识，有则设置命中集合的命中值D=1，没有则设置命中集合的命中值D=0；

R=D_N×Q_N+D_N-1×Q_N-1+D_N-2×Q_N-2+……+D_N-M×Q_N-M。

2.根据权利要求1所述的方法，其特征在于，所述命中集合的生命周期是预先设置的时间区间；在命中集合中记录对象操作的对象标识时，每个命中集合中同一个对象的对象标识只记录一次。

3.根据权利要求1所述的方法，其特征在于，所述命中集合历史数M用于表示本次计算数据热度值所考虑的时间跨度和时间程度，所述统计集合表示本次计算数据热度值所基于的命中集合。

4.根据权利要求1所述的方法，其特征在于，所述命中集合的权重值Q用于表示命中集合的热度，不同的命中集合具有不同的权重值。

5.根据权利要求4所述的方法，其特征在于，各个命中集合的权重值采用权重值衰减比例的方式设置，即以当前命中集合为基点，各个命中集合的权重值由近及远按照设定的衰减比例进行衰减。

6.一种云存储系统中分层存储的数据热度计算装置，其特征在于，包括：

判断模块，用于判断所述预迁移对象在所述统计集合的每个命中集合中是否有对象标识，有则设置命中集合的命中值D=1，没有则设置命中集合的命中值D=0；

R=D_N×Q_N+D_N-1×Q_N-1+D_N-2×Q_N-2+……+D_N-M×Q_N-M。

7.根据权利要求6所述的装置，其特征在于，所述命中集合的生命周期是预先设置的时间区间；在命中集合中记录对象操作的对象标识时，每个命中集合中同一个对象的对象标识只记录一次。

8.根据权利要求6所述的装置，其特征在于，所述命中集合历史数M用于表示本次计算数据热度值所考虑的时间跨度和时间程度，所述统计集合表示本次计算数据热度值所基于的命中集合。

9.根据权利要求6所述的装置，其特征在于，所述命中集合的权重值Q用于表示命中集合的热度，不同的命中集合具有不同的权重值。

10.根据权利要求9所述的装置，其特征在于，各个命中集合的权重值采用权重值衰减比例的方式设置，即以当前命中集合为基点，各个命中集合的权重值由近及远按照设定的衰减比例进行衰减。