CN106155929A - 数据存储管理系统和方法 - Google Patents

Abstract

本公开提供一种数据存储管理系统和方法。在一个实施方式中，所述数据存储管理系统包括：数据访问监视器，被配置为监视对存储在多个存储设备中的数据的访问情况，其中所述多个存储设备根据各自特性而被划分为多个存储设备层级；活跃度计量器，被配置为基于各个数据的访问情况，确定各个数据的活跃度；数据移动控制器，被配置为基于各个数据的活跃度，控制各个数据在所述多个存储设备层级之间的移动，以使得所述各个数据被存储在与其各自的活跃度相适应的存储设备层级中。利用本公开的实施方式，不仅能够提供高性能和开放架构的优势，而且可以具有良好的可扩展性。

Description

数据存储管理系统和方法

技术领域

本公开的实施方式涉及数据存储领域，并且更具体地涉及用于数据存储管理系统、数据存储管理方法和计算机程序产品。

背景技术

目前，网络速度越来越快，已经出现了超高速网络，各种应用和服务也持续涌现并不断变化，同时访问网络的设备的数量也在日益增长。这些导致迅速产生海量数据。为了适应这种情况，已经发展了诸如数据湖的大型数据中心的技术，以用于处理和存储这些迅速产生的海量数据。然而，从数据中心的观点来看，针对如此大量的数据进行实时数据存储和分析仍将是一个巨大的挑战。

当前的数据存储解决方案并不能满足实时存储和和高性能分析的解决方案。因而对诸如数据湖的大型数据中心，如何对不断地快速产生的大量数据进行高效管理是一个亟待解决的问题。

发明内容

有鉴于此，本公开提供了一种新的数据存储管理方案，以克服或者缓解如前所述的现有技术中存在的至少一部分缺陷。

根据本公开的第一方面，提供了一种数据存储管理系统。该数据存储管理系统包括：数据访问监视器，被配置为监视对存储在多个存储设备中的数据的访问情况，其中所述多个存储设备根据各自特性而被划分为多个存储设备层级；活跃度计量器，被配置为基于各个数据的访问情况，确定所述各个数据的活跃度；数据移动控制器，被配置为基于所述各个数据的活跃度，控制所述各个数据在所述多个存储设备层级之间的移动，以使得所述各个数据被存储在与其各自的活跃度相适应的存储设备层级中。

在根据本公开的一个实施方式中，所述多个存储设备层级可以至少包括层级依次降低的实时处理存储层级、高性能存储层级、大容量存储层级以及归档存储层级，且所述数据移动控制器可以被配置为使得较为活跃的数据被存储在层级较高的存储设备中，而较不活跃的数据被存储在层级较低的存储设备中。

在根据本公开的另一实施方式中，所述活跃度计量器可以被配置为通过确定所述各个数据的最近使用MRU值来确定所述各个数据的活跃度。

在根据本公开的又一实施方式中，所述活跃度计量器可以被配置为：当数据被写入到实时实时处理存储层级时，向所述数据的MRU值赋予初始值；当存储在所述实时处理存储层级或者所述高性能存储层级中的数据被访问时，使所述数据的MRU值减小；当存储在所述大容量存储层级或者归档存储层级中的数据被访问时，使所述数据的MRU值增加；以及当存储在所述大容量存储层级中的数据在预定的时间段内没有被访问时，使所述数据的MRU值减小。

在根据本公开的再一实施方式中，所述活跃度基于所述MRU值至少被划分为“热”、“温”、“冷”和“归档”，其中所述数据移动控制器可以被配置为：当数据的活跃度为“热”时，使所述数据被实时保持在所述实时处理存储层级；当数据的活跃度变为“温”时，使得所述数据被存储在所述高性能存储层级；当所述数据的活跃度变为“冷”时，使得所述数据被存储在所述大容量存储层级；以及当所述数据的活跃度变为“归档”时，使得所述数据被存储在归档存储层级。

在根据本公开的另一实施方式中，所述数据存储管理系统可以进一步包括数据移动子模块，被配置为在数据被写入到较高的存储设备层级时，将对所述数据的所有写操作同步地或者异步地复制到较低的存储设备层级中。

在根据本公开的又一实施方式中，所述数据存储管理系统可以进一步包括使用状况监视器，被配置为监视所述多个存储设备层级中的多个存储设备的使用状况，以及所述数据移动控制器可以被配置为进一步基于所述多个存储设备层级中的多个存储设备的使用状况，来控制所述各个数据在所述不同存储设备层级之间的移动。

在根据本公开的再一实施方式中，所述数据移动控制器可以被配置为当一个存储设备层级中的存储设备的使用率达到预定使用阈值时，使得将所述存储设备层级中活跃度最低的数据向层级更低的存储设备层级中移动。

在根据本公开的另一实施方式中，所述数据访问监视器可以包括分别用于所述多个存储设备层级中的相应层级的多个访问拦截器中，且所述多个访问拦截器通过对各个层级中的数据输入/输出进行监视来监视对各个存储设备层级中的数据的访问情况。

根据本公开的第二方面，提供了一种数据存储管理方法，所述方法可以包括：监视对存储在多个存储设备中的数据的访问情况，其中所述多个存储设备根据各自特性而被划分为多个存储设备层级；基于各个数据的访问情况，确定所述各个数据的活跃度；以及基于所述各个数据的活跃度，控制所述各个数据在所述多个存储设备层级之间的移动，以使得所述各个数据被存储在与其各自的活跃度相适应的存储设备层级中。

根据本公开的第三方面，还提供了一种计算机程序产品，其上包括程序代码，当所述程序代码在处理器上执行时致使所述处理器中执行根据本公开的第一方面的方法。

在本公开的实施方式中，提供了一种改进的用于对数据存储进行管理的技术方案。根据该技术方案，可以根据数据的不同活跃度将数据存储在不同存储设备层级的存储设备中。这样，不仅能够提供高性能和开放架构的优势，而且可以具有良好的可扩展性。

附图说明

通过结合附图并参考以下详细说明，本公开各实施方式的特征、优点及其他方面将变得更加明显，在附图中：

图1示意性地示出了根据本公开的一个实施方式的数据存储管理系统的方框图；

图2示意性的示出了根据本公开的一个实施方式的数据活跃度划分的示意图；

图3示意性地示出了根据本公开的一个实施方式的存储设备层级划分的示意图；

图4示意性地示出了根据本公开的一个具体实现的数据存储管理系统的示意图；

图5示意性地示出了根据本公开的一个实施方式的数据存储管理方法的流程图；以及

图6示意性地示出了可以在其中实现根据本公开的实施方式的计算机设备的结构方框图。

具体实施方式

在下文中，将参考附图详细描述本公开的各个示例性实施方式。应当注意，这些附图和描述涉及的仅仅是作为示例的优选实施方式。应该指出的是，根据随后描述，很容易设想出此处公开的结构和方法的替换实施方式，并且可以在不脱离本公开要求保护的公开的原理的情况下使用这些替代实施方式。

应当理解，给出这些示例性实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本公开的范围。此外，在附图中，出于说明的目的，将可选的步骤、模块、单元等以虚线框示出。

在此使用的术语“包括”、“包含”及类似术语应该被理解为是开放性的术语，即“包括/包含但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”。其他术语的相关定义将在下文描述中给出

在下文中，将参考附图通过实施方式来来详细描述根据本公开的实施方式的用于数据存储管理的技术方案。

如前所述，针对迅速产生的海量数据，当前的数据存储技术并不能同时支持实时数据存储和高性能分析。为此，在本公开中提出了一种数据存储管理方案以在支持实时数据存储的同时，允许高性能数据分析。下面将参考图1至图6对根据本公开的实施方式进行详细说明。

首先参考图1，图1示意性地示出了根据本公开的一个实施方式的数据存储管理系统100的方框图。如图1所示，该数据存储管理系统100中包括数据访问监视器110，活跃度计量器120和数据移动控制器130。所述多个存储设备根据各自特性而被划分为多个存储设备层级，例如层级302-1至302-4。数据访问监视器110监视对数据中心300中的多个存储设备中存储的数据的访问情况，并将监视到的访问情况通知活跃度计量器120。活跃度计量器120根据该访问情况，确定数据的活跃度。数据移动控制器130将基于所述活跃度，来控制数据在数据中心160中的不同存储设备层级之间的移动。

在本公开中，数据中心中用于存储数据的多个存储设备被划分为层级不断降低的多个存储设备层级或者群集。此处，存储设备层级是指按照存储设备的各自特性(例如，容量、存取速度等)而划分的用于存储不同活跃度的数据的多个层级或者群集。数据的活跃度是指示数据被使用的概率或可能性的指标。一般而言，该活跃度将随着时间而逐渐降低。出于说明的目的，在下文中将参考图2和图3示出的示例来详细描述数据的活跃度和存储设备层级的划分。

图2示出了根据本发明的一个示例实施方式的活跃度划分的示意图。一般而言，数据在刚刚输入和处理完毕时将处于非常活跃的状态(即被访问的概率很大)，而随着时间的流逝和访问次数的增加，逐渐变得不太活跃。基于这种假设，活跃度可以被划分为但不局限于例如“热”201、“温”202、“冷”203和“归档”204四个级别，如图2所示。因此，当数据新产生时，其活跃度为“热”201，而随着时间流逝和其访问频率的概率逐渐减少，其活跃度逐渐变为“温”202、“冷”203，并最终变为“归档”204状态。例如“热”数据是刚刚产生或者刚刚输入的数据，其很可能立刻会被访问，即具有极大的访问几率；“温”数据与“热”数据相比访问几率稍小，但是仍有较大的访问几率；“冷”数据与“温”数据相比访问几率较小，但仍存在一定的被访问的可能性；而“存档”数据与“冷”数据相比访问几率更小，即具有极小的访问几率，几乎不会被访问。然而如果在“冷”或者“归档状态”发生多次访问，数据的状态可能会发生倒流，例如从归档变为“冷”，从“冷”变为“温”等。

图3示出了根据本公开的一个实施方式的示例性存储设备层级划分。如图3所示，数据存储设备被划分为例如4个层级，即层级1至层级4，其中每个层级用于存储相应活跃度的数据。最低层级为层级1，即归档存储层级，用于存储被访问几率极小的“归档”数据，该层级中的存储设备对诸如性能的要求极低。层级2为大容量存储层级，其用于存储被访问几率较小的“冷”数据，这样“冷”数据尽管被访问的几率较小但是其数量很大，因此该层级的存储设备要求具有容量大的特性，但与归档设备相比存储设备的性能要求可以略高一些。层级3为高性能存储层级，其用于存储被访问几率较大“温”数据，因此层级3的存储设备具有高性能的特性，以便与“温”数据的特性相匹配。层级4为最高层级，即实时处理存储层级，其具有能够支持实时存储和处理的特性，诸如内存设备。

尽管在图2和图3中示出了四种活跃度和与四种活跃度相对应的四个存储设备层级，但需要说明的是，事实上根据实际应用需要还可以划分更多或更少的活跃度水平和存储设备等级。

返回参考图1，继续描述本发明的存储管理系统100中的部件的操作。数据访问监视器110可以是在各个存储设备层级之外的一个独立的数据访问监视器，或者是设置在各个存储设备层级中的多个访问拦截器，以便监视对各个存储设备层级中的数据的访问情况。数据中心160中的存储设备的所有数据输入/输出(I/O)均通过所述访问监视器110，因此可以通过监视数据I/O来监视数据的I/O活动，从而收集关于到关于数据访问的情况。

活跃度计量器120接收数据访问监视器110报告的数据访问情况，并据此确定数据的活跃度。例如，活跃度计量器120可以通过确定数据的最近使用(MRU)值来确定数据的活跃度。所述MRU值是反映数据最近访问情况的指标，其将随着访问频率的改变而改变。可在数据刚被写入到用于实时处理和分析的实时处理存储层级302-4时，向所述数据的MRU值赋予的初始值。例如，对于刚刚从外部输入的值，或者对于实时处理过程中新产生的值，当他们被写入内存中时，为其赋予初始的MRU值。当数据被存储在实时处理存储层级302-4或高性能存储层级302-3中且被访问时，所述数据的MRU值将会减小。这是因为根据数据的生命周期，随着时间和使用次数的增加，其通常越来越不活跃。另一方面，当所述数据被存储在所述大容量存储层级302-2或者存档存储层级302-1中且被访问时，使所述数据的MRU值增加。这是基于以下假设，对于已经变得不太活跃的数据的频繁访问意味着其活跃度增加。而当存储在所述大容量存储层级中的数据在预定的时间段内没有被访问时，使所述数据的MRU值减小，这是因为在大容量存储层级中的数据在预定时间内没有被访问则意味着数据活跃度的降低。

根据数据的MRU值，可以确定该数据的活跃度水平，例如确定其是处于“热”、“温”、“冷”水平还是处于“归档”水平。例如，可以设置与不同水平的活跃度对应的MRU阈值或者MRU值范围。如果数据的MRU值超过一个特定的MRU阈值或者落入相应的MRU值范围，则该数据的活跃度处于与该特定的MRU阈值或者MRU范围对应的活跃度水平。活跃度计量器120可以将计算的MRU值发送给数据移动控制器130，并由数据移动控制器130来基于MRU值确定数据的活跃度水平，也可以在完成MRU至的计算之后并确定出数据的活跃度水平，然后交给移动控制器130。

在根据本公开的实施方式中，数据移动控制器130将基于数据的活跃度在例如图3示出的四个层级之间移动数据，进而使数据自动移动至对应的存储设备层级。例如，从较高层级移动到较低层级，或者从较低层级移动至较高层级，从而使得较为活跃的数据被存储在所述层级中较高层级的存储设备中，而较不活跃的数据被存储在层级较低的存储设备中。举例而言，如果数据移动控制器130确定数据的活跃度从“热”变为“温”则将数据从实时处理存储层级302-4移动至高性能存储层级302-3，如果数据的活跃度从“温”变为“冷”，则将其从高性能存储层级302-3移动至大容量存储层级302-2；如果数据的活跃度变为“冷”，则将其从大容量存储层级302-2移动至归档存储层级302-0，反之亦然。

这样，具有较高活跃度的数据可以存储在性能较高的存储设备中，以便满足对较高性能的数据处理的需要，而对于活跃度较低的数据，则可以存储在较低层级中，以便在支持对他们的访问的同时避免存储资源的浪费。通过这种方式就可以更加有效地利用存储资源，同时支持对数据的实时处理和高性能分析。。这样，不仅能够提供高性能和开放架构的优势，而且可以具有良好的可扩展性。

可选地，数据存储管理系统100还可以进一步包括使用状况监视器140。该使用状况监视器140可以用于监视数据中心300中的各个存储设备的使用情况。例如，使用状况监视器140可以周期性地收集各个层级中的各个存储设备的使用情况，并将其汇报给数据移动控制器130。数据移动控制器130在控制数据在各个存储设备层级之间的移动时，除了基于数据的活跃度之外，还可以进一步基于存储设备的使用状况。例如当高性能存储设备层级的存储设备的使用率达到一个预定的使用阈值(例如90％)时，可以将其中活跃度(例如MRU值)最低的一批数据移动到下一层级，即大容量存储层级，以确保高性能存储设备层级具有足够的空间(例如70％)来存储活跃程度较高的数据。因此，在本公开中，每个层级的存储空间被当作数据输入口池，其具有预定数目的入口来服务即将到来的数据。当需要进入的数据大于预定的可允许的入口数目时，具有最小活跃度(特别是MRU值)的数据将会被移动到容量较大的下一存储设备层级。通过这样的方式，不仅可以在数据移动时考虑数据本身的活跃度还可以考虑到存储设备本身的存储能力，从而确保活跃度较高的数据可以具有较高的处理性能。

此外，为了进一步优化性能，存储管理系统100还可以包括数据移动模子块150，该移动子模块150被配置为在数据被写入到较高存储设备层级时，将对所述数据的写操作同步或者异步地复制到随后的较低层级中。例如，在数据写入内存时，可以将数据及其随后与数据相关的写入操作复制至所述高性能存储层级和大容量存储层级中，以保持与内存中的数据基本同步。与数据相关的写入操作例如包括对数据本身的修改，以及对该数据相关处理结果和分析结果的写入或者修改。这样在数据的活跃度变低进而需要向下一层级移动时，仅需删除内存中的数据而保留其后层级中的数据。因而，可以在需要对数据移动时，避免在短时间的大量数据复制，进而提高性能。

接下来，出于说明的目的，将参考图4来描述根据本公开的一个实施方式的数据存储管理系统的具体实现。

如图4所示，该数据湖400中包括内存存储库402-5、高性能存储群集402-3、大容量存储群集402-2和数据归档群集402-1，他们分别属于实时处理存储层级、高性能存储层级、大容量存储层级和数据归档层级。在图4中，随着大量原始数据401的稳定数据流的达到，数据首先被分组成数据区块并赋予其MRU初始值，然后将数据区块实时写入内存存储库402-4中，此处数据处于“热”的活跃度水平。与此同时，利用高性能分析工具对数据区块进行实时分析和处理。MRU计量器430则基于针对内存存储库设置的数据访问拦截器DAI410-4所监视到的数据访问情况，确定所述数据区块的MRU值，例如，如果数据被访问则使得MRU至从初始值减小。同时使用状况监视器440检测各个层级的存储设备的使用情况。如果数据移动控制器130根据MRU值以及预设阈值或者值范围确定数据区块的活跃度发生改变，例如从“热”变为“温”，或者内存存储库的使用率到达一定阈值(例如90％)，则数据移动控制器410执行控制以便将数据区块及其分析结果从内存存储库402-4中移出并向下移动到具有永久保持能力的低一级的存储设备层级中，即高性能存储群集402-3。同时针对高性能存储群集402-3设置的DAI 410-3监视对高性能存储群集中的数据的访问，MRU计量器420根据数据的访问情况，确定数据区块当前的MRU值，当数据移动控制器430根据数据区块当前的MRU值确定所述数据区块的活跃度从“温”变为“冷”时，或者高性能存储群集402-3的存储设备的总使用率到达一定阈值(例如90％)时，将该数据区块从高性能存储群集402-3移动到大容量存储群集402-2中。然而需要说明的是，针对高性能存储群集402-3和大容量存储群集402-2中的数据区块，均可以执行批处理数据分析，不过高性能存储群集中的数据将会得到较高的数据处理和分析性能。当根据针对大容量存储群集设置的DAI 410-2检测到访问情况，发现对该数据区块的访问频率持续下降，例如从“冷”变为“归档”时，该数据区块及其相关分析结果将被归档并保存在归档存储库402-1中。另一方面，当对存储在较低层级的数据的访问时，MRU值将发生反向改变，当MRU值的增加导致活跃度水平的改变时，则执行数据区块从较低层级向较高层级的移动。例如，如果大容量存储群集402-2中的数据被访问，则会造成其MRU值增加，该增加使得数据区块的MRU值达到“温”的活跃度的阈值或者落入“温”的相应MRU值范围时，可以将该数据区块从层级较低的大容量存储群集420-2提高至较高层级的高性能存储群集420-3。

在上文中，针对一个特定数据区块从其数据生命周期的角度对图4中示出的具体实现进行了介绍。然而，在实际应用中，多个DAI 410-1至410-4、MRU计量器420、使用状况监视器440和数据移动控制器430针对大量数据各自执行他们自己的工作。特别地，DPI 410-1至410-4各自负责监视相应层级中的数据的访问情况，并且周期性地或者在被访问时，将访问情况汇报给MRU计量器420。MRU计量器420根据汇报的访问情况，计算各个数据的MRU值。使用状态监视器440监视各个层级中的存储设备的使用情况。数据移动控制器430根据各个数据的MRU值和存储设备使用状况确定需要对那些数据区块进行移动。例如，如果确定数据的活跃度水平已经发生改变，则数据移动控制器430执行控制以便移动数据区块从而将其存放在与其活跃度对应的存储层级中，如果某个存储设备层级的存储设备的使用率达到一个预定阈值例如90％，则数据移动控制器430执行控制以便将其中MRU值最低的一部分数据移动到较低层级，尽管他们可能还未达到下一层的活跃度水平。针对由于存储设备使用率超过预定阈值而移入下一层级的数据区块，可以将其数据活跃度降低到与所述下一层级相应的MRU值。

此外，本公开还提供一种数据存储管理方法。下面见参考图5进行描述，其中图5示出了根据本公开的一个实施方式的数据存储管理方法的流程图500。

如图5所示，首先在步骤510，监视对存储在多个存储设备中的数据的访问情况，其中所述多个存储设备根据各自特性而被划分为多个存储设备层级。特别地，所述多个存储设备层级可以至少包括层级依次降低的实时处理存储层级、高性能存储层级、大容量存储层级以及归档存储层级。监视操作可以针对各个层级中的存储设备类进行，可以是集中式也可以是分布式。特别地，可以通过对各个层级中的数据输入/输出进行监视来获得对各个存储设备层级中的数据的访问情况。

接着，在步骤520，基于各个数据的访问情况，确定所述各个数据的活跃度。在一个实施方式中，各个数据的活跃度可以通过确定所述各个数据的最近使用MRU值来确定。

特别地，可以在数据被写入到实时处理存储层级时，向数据的MRU值赋予初始值。当存储在所述实时处理存储层级或者所述高性能存储层级中的数据被访问时，可以使所述数据的MRU值减小。当存储在所述大容量存储层级或者归档存储层级中的数据被访问时，可以使所述数据的MRU值增加。当存储在所述大容量存储层级中的数据在预定的时间内没有被访问时，可以使所述数据的MRU值减小。

所述活跃度可以基于MRU值至少被划分为“热”、“温”、“冷”和“归档”。该划分可以是基于与各个活跃度水平对应的预先设置的阈值或者值范围。如果数据的MUR至达到预定的阈值或者落入预定的值范围，则所述数据的活跃度处于与该预定的阈值或者值范围对应的水平。

随后在步骤530，基于所述各个数据的活跃度，控制所述各个数据在所述多个存储设备层级之间的移动，以使得所述各个数据被存储在与其各自的活跃度相适应的存储设备层级中。

特别地，使得较为活跃的数据被存储在层级较高的存储设备中，而较不活跃的数据被存储在层级较低的存储设备中。例如，当数据的活跃度为“热”时，使所述数据被实时保持在实时处理存储层级。当数据的活跃度变为“温”时，使得所述数据被存储在所述高性能存储层级。当所述数据的活跃度变为“冷”时，使得所述数据被存储在所述大容量存储层级。而当所述数据的活跃度变为“归档”时，使得所述数据被存储在归档存储层级。

此外，为了改善性能，可以在数据被写入到较高的存储设备层级时，将对所述数据的所有写操作同步地或者异步地复制到较低的存储设备层级中。例如，在数据写入内存时，可以将数据及其随后与数据相关的写入操作复制至所述高性能存储层级和大容量存储层级中，以保持与内存中的数据基本同步。这样可以在需要对数据移动时，避免在短时间的大量数据复制，进而提高性能。

可以选地，还可以在步骤540监视所述多个存储设备层级中的多个存储设备的使用状况。这样可以进一步基于所述多个存储设备层级中的多个存储设备的使用状况，来控制所述各个数据在所述不同存储设备层级之间的移动。特别地，当一个存储设备层级中的存储设备的使用率达到预定使用阈值时，使得将所述存储设备层级中活跃度最低的数据向层级更低的存储设备层级中移动。

此外，需要说明的是，本公开的数据存储管理方案还可以通过一种计算机程序产品来实现。该计算机程序其上包括程序代码，所述程序代码在被处理器上执行时，致使所述处理器执行根据本公开的数据存储管理方法。

在下文中，将参考图6来描述可以在其中实现本公开的实施方式的计算机设备。图6示意性地示出了可以实现根据本公开的实施方式的计算机设备的结构方框图。需要说明的是，下面示出的仅仅是一个示例，实际应用中根据实现数据存储管理方案的需要，可以删除、添加、替换和修改其中很多部件。

图6中所示的计算机系统包括CPU(中央处理单元)601、RAM(随机存取存储器)602、ROM(只读存储器)603、系统总线604、硬盘控制器605、键盘控制器606、串行接口控制器607、并行接口控制器608、显示器控制器609、硬盘610、键盘611、串行外部设备612、并行外部设备613和显示器614。在这些部件中，与系统总线604相连的有CPU 601、RAM 602、ROM 603、硬盘控制器605、键盘控制器606、串行接口控制器607、并行接口控制器608和显示器控制器609。硬盘610与硬盘控制器605相连，键盘611与键盘控制器606相连，串行外部设备612与串行接口控制器607相连，并行外部设备613与并行接口控制器608相连，以及显示器614与显示器控制器609相连。需要说明的是，图9所述的结构方框图仅仅为了示例的目的而示出的，并非是对本公开的限制。在一些情况下，可以根据需要添加或者减少其中的一些设备。

本公开的实施方式可以作为计算机程序代码存储在上计算机的例如硬盘610的存储设备中，在被载入诸如内存中运行时，将使得CPU 601执行根据本公开的压缩和解压缩的方法。

需要注意的是，本公开的实施方式可以在软件和/或软件与硬件的在上文中结合附图通过实施方式对本公开提供的压缩和解压缩方案进行了详细说明。然而本领域技术人员应该理解的是，尽管以文本流形式的日志为例，对文本数据进行了描述，然而本公开并不仅限于日志数据，事实上任何其他适当的文本数据均可以采用本公开的方案进行压缩，而且文件数据也不一定是以文件流的形式。此外，在上文中以分布式系统或者SaaS为例子进行了描述，然而本公开也可以应用于其他类似的场合。此外，在前文示出的权重计算也是示例性的，实际应用中也可以采用不同的方式来计算该权重，例如采用不同的算法，考虑更多或者更少的因素等。另外，还可以理解的是，根据此处的公开内容和教导，本领域技术人员还可以设想到各种修改、变形、替换或等效而并不背离本公开的精神和范围。这些修改、变形、替换或等效均包括在仅由权利要求书限定的本公开的范围内。

组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本公开的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本公开的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本公开的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

另外，本公开的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本公开的方法和/或技术方案。而调用本公开的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本公开的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本公开的多个实施例的方法和/或技术方案。

对于本领域技术人员而言，显然本公开不限于上述示范性实施例的细节，而且在不背离本公开的精神或基本特征的情况下，能够以其他的具体形式实现本公开。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本公开的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本公开内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (18)

1.一种数据存储管理系统，包括：

数据访问监视器，被配置为监视对存储在多个存储设备中的数据的访问情况，其中所述多个存储设备根据各自特性而被划分为多个存储设备层级；

活跃度计量器，被配置为基于各个数据的访问情况，确定所述各个数据的活跃度；以及

数据移动控制器，被配置为基于所述各个数据的活跃度，控制所述各个数据在所述多个存储设备层级之间的移动，以使得所述各个数据被存储在与其各自的活跃度相适应的存储设备层级中。

2.根据权利要求1所述的数据存储管理系统，其中所述多个存储设备层级至少包括层级依次降低的实时处理存储层级、高性能存储层级、大容量存储层级以及归档存储层级，且所述数据移动控制器被配置为使得较为活跃的数据被存储在层级较高的存储设备中，而较不活跃的数据被存储在层级较低的存储设备中。

3.根据权利要求2所述的数据存储管理系统，其中所述活跃度计量器被配置为通过确定所述各个数据的最近使用MRU值来确定所述各个数据的活跃度。

4.根据权利要求3所述的数据存储管理系统，其中所述活跃度计量器被配置为：

当数据被写入到实时处理存储层级时，向所述数据的MRU值赋予初始值；

当存储在所述实时处理存储层级或者所述高性能存储层级中的数据被访问时，使所述数据的MRU值减小；

当存储在所述大容量存储层级或者归档存储层级中的数据被访问时，使所述数据的MRU值增加；以及

当存储在所述大容量存储层级中的数据在预定的时间内没有被访问时，使所述数据的MRU值减小。

5.根据权利要求3所述的数据存储管理系统，其中所述活跃度基于所述MRU值至少被划分为“热”、“温”、“冷”和“归档”，其中所述数据移动控制器被配置为：

当数据的活跃度为“热”时，使所述数据被实时保持在所述实时处理存储层级；

当数据的活跃度变为“温”时，使得所述数据被存储在所述高性能存储层级；

当所述数据的活跃度变为“冷”时，使得所述数据被存储在所述大容量存储层级；和

当所述数据的活跃度变为“归档”时，使得所述数据被存储在归档存储层级。

6.根据权利要求1所述的数据存储管理系统，进一步包括：

数据移动子模块，被配置为在数据被写入到较高的存储设备层级时，将对所述数据的所有写操作同步地或者异步地复制到较低的存储设备层级中。

7.根据权利要求1所述的数据存储管理系统，进一步包括：

使用状况监视器，被配置为监视所述多个存储设备层级中的多个存储设备的使用状况，以及所述数据移动控制器被配置为进一步基于所述多个存储设备层级中的多个存储设备的使用状况，来控制所述各个数据在所述不同存储设备层级之间的移动。

8.根据权利要求7所述的数据存储管理系统，其中所述数据移动控制器被配置为当一个存储设备层级中的存储设备的使用率达到预定使用阈值时，使得将所述存储设备层级中活跃度最低的数据向层级更低的存储设备层级中移动。

9.根据权利要求1所述的数据存储管理系统，其中所述数据访问监视器包括分别用于所述多个存储设备层级中的相应层级的多个访问拦截器中，且所述多个访问拦截器通过对各个层级中的数据输入/输出进行监视来监视对各个存储设备层级中的数据的访问情况。

10.一种数据存储管理方法，包括：

监视对存储在多个存储设备中的数据的访问情况，其中所述多个存储设备根据各自特性而被划分为多个存储设备层级；

基于各个数据的访问情况，确定所述各个数据的活跃度；以及

基于所述各个数据的活跃度，控制所述各个数据在所述多个存储设备层级之间的移动，以使得所述各个数据被存储在与其各自的活跃度相适应的存储设备层级中。

11.根据权利要求10所述的数据存储管理方法，其中所述多个存储设备层级至少包括层级依次降低的实时处理存储层级、高性能存储层级、大容量存储层级以及归档存储层级，且使得较为活跃的数据被存储在层级较高的存储设备中，而较不活跃的数据被存储在层级较低的存储设备中。

12.根据权利要求11所述的数据存储管理方法，其中所述基于对所述各个数据的访问确定所述各个数据的活跃度包括确定所述各个数据的最近使用MRU值。

13.根据权利要求12所述的数据存储管理方法，其中

当数据被写入到实时实时处理存储层级时，向所述数据的MRU值赋予初始值；

当存储在所述实时处理存储层级或者所述高性能存储层级中的数据被访问时，使所述数据的MRU值减小；

当存储在所述大容量存储层级或者归档存储层级中的数据被访问时，使所述数据的MRU值增加；以及

当存储在所述大容量存储层级中的数据在预定的时间段内没有被访问时，使所述数据的MRU值减小。

14.根据权利要求12所述的数据存储管理方法，其中所述活跃度基于所述MRU值至少被划分为“热”、“温”、“冷”和“归档”，其中，

当数据的活跃度为“热”时，使所述数据被实时保持在所述实时处理存储层级；

当数据的活跃度变为“温”时，使得所述数据被存储在所述高性能存储层级；

当所述数据的活跃度变为“冷”时，使得所述数据被存储在所述大容量存储层级；和

当所述数据的活跃度变为“归档”时，使得所述数据被存储在归档存储层级。

15.根据权利要求10所述的数据存储管理方法，进一步包括：

在数据被写入到较高的存储设备层级时，将对所述数据的所有写操作同步地或者异步地复制到较低的存储设备层级中。

16.根据权利要求10所述的数据存储管理方法，包括：

监视所述多个存储设备层级中的多个存储设备的使用状况，以及

进一步基于所述多个存储设备层级中的多个存储设备的使用状况，来控制所述各个数据在所述不同存储设备层级之间的移动。

17.根据权利要求16所述的数据存储管理方法，其中当一个存储设备层级中的存储设备的使用率达到预定使用阈值时，使得将所述存储设备层级中活跃度最低的数据向层级更低的存储设备层级中移动。

18.根据权利要求10所述的数据存储管理方法，其中通过对各个层级中的数据输入/输出进行监视来监视对各个存储设备层级中的数据的访问情况。