CN101499073B - 基于访问频率的连续存储数据的存储管理方法和系统 - Google Patents

Abstract

一种基于访问频率的连续存储数据的存储管理方法和系统，该方法包括以下步骤：确定取决于对存储在存储系统中的连续存储数据中的一时间点的数据快照的访问频率的访问权重；判断所述访问权重是否达到第一阈值以及所述时间点的数据快照的完整副本是否存在于所述存储系统中；以及当所述访问权重达到所述第一阈值且所述时间点的数据快照的完整副本不存在于所述存储系统中时，将所述时间点的数据快照的完整副本存储在所述存储系统中。

Description

基于访问频率的连续存储数据的存储管理方法和系统

技术领域

本发明涉及数据处理领域，具体涉及数据存储管理领域，更具体涉及一种基于访问频率的连续存储数据的存储管理方法和系统。

背景技术

具有强烈的顾客导向的企业，例如零售、金融、通信和市场营销组织等，经常需要查询所存储的业务数据(通常是大量数据，且典型地是与商业或市场有关的)，以便寻找稳定的模式和/或变量之间的系统性关系，然后将所发现的模式应用于新的数据子集来验证所发现的模式，并据此预测未来的趋势。

在IT系统管理领域，为了进行问题确定、响应分析以及变化管理，经营需要查询存储在配置变更管理数据库(CCMDB)中的数据，以寻找稳定的模式和/或配置项(CI)之间的系统性关系，然后通过将所发现的模式应用于新的数据子集来验证所发现的模式，并据此预测未来的趋势。

在其他需要连续地监视、采集以及存储或者备份或存档数据的领域中，往往也需要经常地访问所连续存储的数据，以便进行分析和评估等。

这种需求产生了如何以尽量少的计算资源和时间快速地获得所需要的数据的挑战。而现有的数据存储管理和访问技术由于其局限性不能很好地解决这一挑战。

例如，在大型商业数据中心，其历史数据按照安全等策略经常性被备份和归档，这些被备份和归档的数据需要被商业智能分析数据软件经常访问。表1列出了可用于存储和/或备份诸如大型商业数据中心的历史数据的现有的几种常用的数据备份方法及其特点。

表1  常用备份方法

常用备份方法	工作原理	特点
			完整备份	●给定计算机或文件  系统中的每个文件  都被复制，无论其自  上次备份以来是否  发生变化	●需要移动大量的数 据。通常不适合于网 络环境。
完整+增量备份	●定期进行完整备份，  例如，每周一次  ●在完整备份之间，定  期的增量备份仅复  制自上次备份以来  已发生变化的文件	●与完整备份相比，需 要移动较少的数据。 仅恢复最近的增量 备份。
			完整+差异备份	●定期进行完整备份，  例如，每周一次  ●在完整备份之间，差  异备份仅复制自上  次完整备份以来已  发生变化的文件	与完整+增量备份相比， 具有较好的恢复性能。 但差异备份方案将备份 更多的数据，因为它不 考虑在上次完整备份和 当前差异备份之间所作 的差异备份。
渐近备份	●完整备份仅进行一  次  ●在完整备份之后，增  量备份仅复制自上  次备份以来发生变  化的文件  ●在诸如Tivoli存储管  理器的数据库中记	●完全消除了冗余数 据备份 ●Tivoli存储管理器自 动地释放过期文件 空间以便被盖写。这 减少了操作者的干 预以及对当前数据 的意外盖写的可能。

录与备份副本相关  的元数据。所存储的  备份副本的数量以  及它们被保持的时  间由存储管理员指  定。

●长期来看，与完整+  增量或完整+差异备  份相比，需要移动较  少的数据，并且数据  恢复通过数据库进  行。

由上表可见，在每个时间点上进行完整备份的方案，由于其需要占有过多的存储空间和网络带宽，因此已很少采用。现有的备份方案多采用某种完整备份+差异性备份的形式，无论这种完整备份是只进行一次，还是定期进行，也无论这种差异性备份是相对于上次完整备份进行的，还是相对于上次差异性备份进行的。这种完整备份+差异性备份的解决方案尽管节约了存储空间和备份时用于传输数据的网络带宽，但在需要恢复某一时间点的数据时，却往往需要根据该时间点处的差异性备份以及该时间点之前的完整备份(以及两者之间的差异性备份)重构出该时间点的完整的数据快照，因而需要占用较多的计算资源以及较长的数据恢复时间。因此，在需要频繁地访问备份数据的场合，这种完整备份+差异性备份的解决方案是不适用的。

在CCMDB系统中也存在着同样的问题。CCMDB系统中的配置等数据的存储和管理类似于存储管理系统中的备份机制，也是基于差异性存储的，即保存某一时间点的完整数据，而此后保存的数据都是基于该完整数据的差异性数据。这样，如果需要访问某个时间点的数据，就需要根据该时间点处的差异性数据以及该时间点之前的完整数据进行重构计算，得出该时间点的完整的数据以供使用，因而需要占用较多的计算资源和时间。由于CCMDB系统中的数据是整个IT管理的核心数据，根据管理和应用的需求需要经常性地被访问，因此现有的CCMDB系统中的数据存储与管理方案的开销很大，从而严重地影响了整个IT管理的效率和效果。

显然，本领域中需要一种用于诸如备份系统和CCMDB系统中的连续存储数据的、使能对数据的快速恢复和访问的存储管理及访问解决方案。

发明内容

为使能针对诸如备份系统和CCMDB系统中的连接存储数据的快速恢复和访问，提高数据存储管理和访问系统的性能和效率，而提出了本发明。

根据本发明的一个方面，提供了一种基于访问频率的连续存储数据的存储管理方法，该方法包括以下步骤：确定取决于对存储在存储系统中的连续存储数据中的一时间点的数据快照的访问频率的访问权重；判断所述访问权重是否达到第一阈值以及所述时间点的数据快照的完整副本是否存在于所述存储系统中；以及当所述访问权重达到所述第一阈值且所述时间点的数据快照的完整副本不存在于所述存储系统中时，将所述时间点的数据快照的完整副本存储在所述存储系统中。

根据本发明的另一个方面，提供了一种基于访问频率的连续存储数据的存储管理系统，该系统包括：用于确定取决于对存储在存储系统中的连续存储数据中的一时间点的数据快照的访问频率的访问权重的装置；用于判断所述访问权重是否达到第一阈值以及所述时间点的数据快照的完整副本是否存在于所述存储系统中的装置；以及用于当所述访问权重达到所述第一阈值且所述时间点的数据快照的完整副本不存在于所述存储系统中时，将所述时间点的数据快照的完整副本存储在所述存储系统中的装置。

本发明可应用于一切以完整副本+差异性副本的形式存储和管理数据、数据又需要经常性被访问以供使用的场合，无论是用户业务历史数据的存储和利用，还是CCDMB领域，使得对大量数据的快速访问以及分析和利用成为可能，并极大地节约了计算资源和网络资源。

附图说明

所附权利要求中阐述了被认为是本发明的特点的创造性特征。但是，通过参照附图阅读下面对说明性实施例的详细说明可更好地理解发明本身以及其优选使用模式、另外的目标、特征以及优点，在附图中：

图1示出了根据本发明的实施例的一种基于访问频率的连续存储数据的存储管理系统；

图2示出了根据本发明的一实施例的元数据库107的示例性结构；

图3示出了在根据本发明的实施例的系统执行根据本发明的实施例的操作之前存储系统101的状态；

图4示出了在根据本发明的实施例的该系统执行根据本发明的操作之后存储系统101的状态；以及

图5示出了根据本发明的实施例的基于访问频率的连续存储数据的存储管理方法。

具体实施方式

本发明涉及对存储设备中被连续存储的数据(该连续存储的数据带或不带特定的模式或者关系约束)的存储形态的动态调整。根据存储设备原来的存储策略，从存储设备中恢复某一时刻的被访问数据快照，供访问者使用，并同时将恢复的被访问数据快照放置到访问缓存中。其后，如果该数据快照被访问，则可以将访问缓存中的该数据快照提供给访问者，同时监视和记录该数据快照被访问的频率或权重。当该数据快照被访问的频率或权重超过某个阀值时，调整被访问数据在存储设备中的存储形式，将其以完整备份形式存储，并且还可以该数据的完整备份为基础，按照存储设备的存储策略，相应地调整在此时刻以后的该数据在存储介质上的存储，从而提高存储访问的速度和降低存储访问开销。

下面参照附图来描述本发明的实施例。然而，应当理解的是，本发明并不限于所介绍的特定实施例。相反，可以考虑用下面的特征和元素的任意组合来实施和实践本发明，而无论它们是否涉及不同的实施例。因此，下面的方面、特征、实施例和优点仅作说明之用而不应被看作是所附权利要求的要素或限定，除非权利要求中明确提出。

图1示出了根据本发明的实施例的一种基于访问频率的连续存储数据的存储管理系统。如图所示，该系统包括：存储系统101，数据管理器102， 高速缓存管理器103。

其中，所述存储系统101用于存储和/或备份数据。所述存储系统101可以是本领域中所知的任何存储系统和/或备份系统，且优选地可被配置为以完整副本+差异性副本的形式存储数据，例如IBM公司的Tivoli StorageManager。存储系统101可以采用各样存储策略，且所述存储策略优选地是可设置的。根据不同的存储策略，存储系统101既可以仅存储初始时间点处的一个完整副本，也可以定期地或以其他方式存储多个时间点处的多个完整副本。所述差异性副本既可以是相对于初始时间点或前一时间点处的完整副本，也可以是相对于前一时间点处的差异性副本。此外，在本文中，存储应被理解为也包括备份。

所述数据优选地是被连续监视、获取和存储的数据。例如包含被连续监视的IT系统的配置、日志和性能信息的CCMDB数据，以及企业的包含例如顾客、市场营销、销售等信息的连续产生和存储的业务数据等。

所述数据管理器102用于访问所述存储系统101，并通过所述存储系统101根据数据存储方法和存储策略存储、调整和恢复数据快照。具体地，当接收到下文所述的数据采集器104所获取的数据后，数据管理器102可将该数据提供给存储系统101，以便存储在存储系统101中的持久存储器中。当接收到来自所述高速缓存管理器103的、从存储系统101加载某一时间点的数据快照的请求时，数据管理器102可从存储系统101的持久存储器中获取或恢复该时间点的数据快照的完整副本(例如通过使用该时间点的数据快照的差异性副本以及以前时间点的数据快照的完整副本来重构和恢复该时间点的数据快照的完整副本)，并将其提供给高速缓存管理器103。当接收到来自高速缓存管理器103的、在存储系统101中存储某一时间点的数据快照的完整副本的请求时，数据管理器102可将该时间点的数据快照的完整副本存储在存储系统101的持久存储器中，这样当此后接收到来自高速缓存管理器103的、加载该时间点的数据的请求时，数据管理器102可直接将存储系统101的持久存储器中存储的该时间点的数据快照的完整副本提供给高速缓存管理器103，而不必通过该时间点的数据快照 的差异性副本以及以前时间点的该数据快照的完整副本来重构和恢复该时间点的数据快照的完整副本。此外，当数据管理器102已根据来自高速缓存管理器103的请求将某时间点的数据快照的完整副本存储在存储系统101的持久存储器中之后，数据管理器102可进一步地基于所述时间点的数据快照的完整副本以及已设置的存储策略调整所述存储系统101中该时间点之后的数据的存储。也就是说，使该时间点之后的差异性数据基于该时间点的数据快照的完整副本，而不再基于先前的某时间点的数据快照的完整副本。

所述数据管理器102可以是所述存储系统101之外的部件，也可以是所述存储系统101的一部分。所述数据管理器102可以是任何现有的可以与存储系统101进行交互以存储、调整和恢复持久存储器中的数据快照的部件，也可以是根据本发明创建的部件。

所述高速缓存管理器103用于管理一访问高速缓存106，并接收对存储在所述存储系统101中的连续存储数据中一时间点的数据快照的访问请求，然后判断请求访问的所述时间点的数据快照的完整副本是否存在于所述访问高速缓存106中。当判断所请求访问的所述时间点的数据快照的完整副本存在于访问高速缓存中时，高速缓存管理器103可用访问高速缓存106中的所述时间点的数据快照的完整副本服务于该访问请求，即将该数据快照的完整副本发送给请求者。当判断请求访问的所述时间点的数据快照的完整副本不存在于访问高速缓存中时，高速缓存管理器103可通过所述数据管理器102获取或恢复所述存储系统101中存储的所述时间点的数据快照的完整副本并将其加载到该访问高速缓存106中，并用加载的所述时间点的数据快照的完整副本服务于所述访问请求。这样，当此后高速缓存管理器103再次接收到对该时间点的数据快照的访问请求时，它可以直接用缓存在访问高速缓存106中的该时间点的数据快照的完整副本来服务于该访问请求，直到缓存在访问高速缓存106中的该时间点的数据快照的完整副本被移除。

在本发明的进一步的实施例中，所述高速缓存管理器103还用于管理 一数据高速缓存105。在接收到对存储在所述存储系统101中的连续存储数据中一时间点的数据快照的访问请求后，所述高速缓存管理器103可判断请求访问的所述时间点的数据快照的完整副本是否存在于所述访问高速缓存106中。当判断请求访问的所述时间点的数据快照的完整副本不存在于访问高速缓存106中时，高速缓存管理器103可进一步判断请求访问的所述时间点的数据快照的完整副本是否存在于所述数据高速缓存105中。当判断请求访问的所述时间点的数据快照的完整副本存在于所述数据高速缓存105中时，高速缓存管理器103可从所述数据高速缓存105中获取所述时间点的数据快照的完整副本，将其加载到所述访问高速缓存106中，并同时用所述时间点的数据快照的完整副本服务于所述访问请求。当判断请求访问的所述时间点的数据快照的完整副本不存在于所述数据高速缓存105中时，高速缓存管理器103可如上所述通过所述数据管理器102从所述存储系统101中恢复和加载所述时间点的数据快照的完整副本。这样，当此后再次接收到对该时间点的数据快照的访问请求时，高速缓存管理器103可以直接用缓存在访问高速缓存106中的该时间点的数据快照的完整副本来服务于该访问请求，直到缓存在访问高速缓存106中的该时间点的数据快照的完整副本被移除。

所述高速缓存管理器103还用于监视和统计对一时间点的数据快照的访问请求，并计算取决于对该时间点的数据快照的访问频率的访问权重。所述高速缓存管理器103可进一步判断对某一时间点的数据快照的访问权重是否达到第一阈值以及该时间点的数据快照的完整副本是否存在于所述存储系统101中。当判断对该时间点的数据快照的访问权重达到第一阈值并且该时间点的数据快照的完整副本不存在于存储系统101中时，所述高速缓存管理器103可通过所述数据管理器102将所述时间点的数据快照的完整副本存储在存储系统101中。这样，当此后再次接收到对该时间点的数据快照的访问请求时，高速缓存管理器103可通过数据管理器102从存储系统101中直接获得该时间点的数据快照的完整副本，而不必再用该时间点的数据快照的差异性副本以及先前时间点的数据快照的完整副本(和 两者之间的其他时间点的差异性副本)来重构和恢复该时间点的数据快照的完整副本。

在本发明的进一步的实施例中，当计算取决于对一时间点的数据快照的访问频率的访问权重之后，所述高速缓存管理器103还可判断对该时间点的数据快照的访问权重是否达到第二阈值以及该时间点的数据快照的完整副本是否存在于所述数据高速缓存105中。当判断对该时间点的访问权重达到第二阈值并且该时间点的数据快照的完整副本不存在于该数据高速缓存105中时，高速缓存管理器103可将所述时间点的数据快照的完整副本存储在所述数据高速缓存105中。这样，当此后再次接收到对该时间点的数据快照的访问请求时，高速缓存管理器103可直接从数据高速缓存105中获得该时间点的数据快照的完整副本，而不必再从所述存储系统中101获得该时间点的数据快照的完整副本。在本发明的一实施例中，所述第一阈值为一较低阈值，所述第二阈值为一较高阈值。

所述高速缓存管理器103可以多种方式计算所述访问权重。在本发明的一实施例中，所述访问权重等于访问频率，即在某一时间段内对某一时间点的数据快照的访问次数。

所述高速缓存管理器103可以在所述访问高速缓存106中保存一个或多个数据快照的完整副本。高速缓存管理器103可以将在设定时间段内对其的访问未达到所述第一阈值和第二阈值的数据快照的完整副本从所述访问高速缓存106中移除；高速缓存管理器103也可以定期地将访问高速缓存106中访问权重较低的数据快照的完整副本移除；或者，高速缓存管理器103也可以在访问高速缓存106已满时或加载新的数据快照的完整副本时，将现有的访问权重较低的时间点的数据快照的完整副本移除。

所述高速缓存管理器103优选地在所述数据高速缓存105中保存多个数据快照的完整副本。高速缓存管理器103定期地将数据高速缓存105中访问权重较低的数据快照的完整副本移除；或者，高速缓存管理器103也可以在数据高速缓存105已满时或加载新的数据快照的完整副本时，将访问权重较低的数据快照的完整副本移除。

所述访问高速缓存106和所述数据高速缓存105可以是多种类型的存储设备。所述访问高速缓存106可以是易失性或非易失性存储设备。所述数据高速缓存105优选地是非易性存储设备。

尽管图中示出所述访问高速缓存106位于高速缓存管理器103的内部，而所述数据高速缓存105位于高速缓存管理器103的外部，但这并非是本发明的限制。所述访问高速缓存106和数据高速缓存105均既可以位于所述高速缓存管理器103的内部，也可以位于所述高速缓存管理器103的外部。

在本发明的一实施例中，所述高速缓存管理器103在一元数据库107中维护所述访问频率、访问权重、第一阈值和/或第二阈值、以及所述时间点的数据快照的存储位置信息。图2示出了根据本发明的一实施例的元数据库107的示例性结构。如图所示，该元数据库107中包括数据标识、数据源、请求条件、访问次数、最后请求时间、访问权重、第一阈值、第二阈值和存储位置。其中，所述数据标识用于标识在存储系统101中所存储的、由本发明的系统所管理的、且在该元数据库107中记录其信息的数据；所述数据源表示该数据的来源；所述请求条件表示请求访问该数据的条件，例如所请求访问的数据所在的时间点或所属的时间段以及任何其他条件；所述访问次数表示该数据被访问的次数；所述最后请求时间表示该数据最近一次被访问的时间；所述访问权重是与该数据被访问的频率等有关的一种度量，且在本发明的一实施例中等于在给定时间段内的访问次数；所述第一阈值是用于判断是否应当将该数据的完整副本存储在存储系统101中的标准；所述第二阈值是用于判断是否应当将该数据的完整副本保存在数据高速缓存105中的标准。所述存储位置表示该数据的完整副本的存储位置，例如所述数据高速缓存105中，或存储系统101中。以上元数据库结构仅是示例，而不是对本发明的限制。根据本发明的实施例的元数据库结构可具有更多、更少和不同的信息项。例如，元数据库107中可包括多个存储位置信息项，以分别表示某一时间点的数据快照的完整副本是否存在于访问高速缓存106、数据高速缓存105以及存储系统101中。此外，所 述元数据库107可位于可由所述高速缓存管理器103访问的任何位置和存储设备中。

在本发明的实施例中，所述基于访问频率的连续存储数据的存储管理系统根据所述元数据库107中的信息进行前述各操作，并在执行前述各操作的过程中记录和更新元数据库中的信息。

例如，当接收到对存储系统101中的一时间点处的数据快照的访问请求时，所述高速缓存管理器103可通过查询该元数据库107判断在该元数据库107是否包含了该时间点处的数据快照的信息。

如果判断在所述元数据库107中不包含该时间点处的数据快照的信息，则高速缓存管理器103可通过数据管理器102根据存储系统101的存储策略使用存储系统101中存储的前一时间点处的数据快照的完整副本以及当前时间点的数据快照的完整副本(和两者之间的一个或多个时间点处的数据快照的差异性副本)重构和恢复当前时间点的数据快照的完整副本，将其加载到所述访问高速缓存106中，并用所加载的该时间点处的数据快照的完整副本服务于所述数据请求。同时，所述高速缓存管理器103可在元数据库107中创建关于该时间点处的数据快照的条目，并添加该数据快照的数据标识、数据源、请求条件、访问次数、访问权重、最后请求时间、第一阈值、第二阈值和存储位置等信息。

如果判断该元数据库107包含了该时间点处的数据快照的信息，则高速缓存管理器103进一步通过查询元数据库107中相应的信息项判断该时间点处的数据快照的完整副本是否存储在访问高速缓存106中。

如果判断该时间点处的数据快照的完整副本存储在访问高速缓存106中，则高速缓存管理器103直接用访问高速缓存106中的该时间点处的数据快照的完整副本来服务于该数据访问请求，并同时更新元数据库中的访问次数、访问权重和最后请求时间等信息。然后，高速缓存管理器103判断所述更新的访问权重是否超过了元数据库107中存储的所述第一阈值，以及根据元数据库107中相应的信息项判断该时间点处的数据快照的完整副本是否存在于所述存储系统101中，并且在所述更新的访问权重超过了 所述第一阈值且该时间点处的数据快照的完整副本不存在于存储系统101中时，通过所述数据管理器102将该时间点处的数据快照的完整副本存储在存储系统101中，并同时更新元数据库107中相应的存储位置信息项。此外，高速缓存管理器103可进一步判断所述更新的访问权重是否超过了元数据库107中存储的所述第二阈值，以及根据元数据库107中相应的信息项判断该时间点处的数据快照的完整副本是否存在于所述数据高速缓存105中，并且在所述更新的访问权重超过了所述第二阈值且该时间点处的数据快照的完整副本不存在于数据高速缓存105中时，将该时间点处的数据快照的完整副本保存在数据高速缓存105中，并同时更新元数据库107相应的存储位置信息项。

如果判断该时间点处的数据快照的完整副本不存在于访问高速缓存106中，则高速缓存管理器103进一步通过查询元数据库107中相应的信息项来判断该时间点处的数据快照的完整副本是否存在于所述数据高速缓存105中。如果判断该时间点处的数据快照的完整副本存在于数据高速缓存105中，则高速缓存管理器103将数据高速缓存105中的该时间点处的数据快照的完整副本加载到访问高速缓存106中，并用该时间点处的数据快照的完整副本来服务于该数据访问请求，同时更新元数据库中的访问次数、访问权重、最后请求时间和存储位置等信息。

如果判断该时间点处的数据快照的完整副本既不存在于所述访问高速缓存106中，也不存在于所述数据高速缓存105中，则高速缓存管理器103进一步通过查询元数据库107中相应的信息项来判断该时间点处的数据快照是否存在于所述存储系统101中。如果判断该时间点处的数据快照的完整副本存在于存储系统101中，则高速缓存管理器103通过所述数据管理器102将存储系统101中该时间点的数据快照的完整副本加载到所述访问高速缓存106中，并用该时间点处的数据快照的完整副本来服务于该数据访问请求，同时更新元数据库107中的访问次数、访问权重、最后请求时间和存储位置等信息。此外，高速缓存管理器103可进一步判断所述更新的访问权重是否达到元数据库107中存储的所述第二阈值，并在判断所述 更新的访问权重达到元数据库107中存储的所述第二阈值时，将该时间点处的数据快照的完整副本进一步保存到所述数据高速缓存105，并更新元数据库中相应的存储位置信息项。另一方面，如果判断该时间点处的数据快照的完整副本不存在于所述存储系统101中，则高速缓存管理器103可通过数据管理器102根据存储系统101的存储策略从存储系统101中存储的前一时间点处的数据快照的完整副本以及当前时间点的数据快照的完整副本(和两者之间的一个或多个时间点处的数据快照的差异性副本)重构和恢复当前时间点的数据快照的完整副本，将其加载到所述访问高速缓存106中，并用所加载的该时间点处的数据快照的完整副本服务于所述数据请求。同时，所述高速缓存管理器103可在元数据库107中更新该数据快照的访问次数、访问权重、最后请求时间和存储位置等信息。

在本发明的一实施例中，所述基于访问频率的连续存储数据的存储管理系统还包括数据采集器104，该数据采集器104用于持续地从数据源采集相关数据，并将所采集的数据提交给数据管理器102，以便存储在存储系统101中。在将所采集的数据提交给数据管理器102之前，数据采集器可以在其上执行必要的过虑、处理和转换操作。数据采集器102可以是本领域中所知的任何数据采集器。数据采集器104既可以从单个数据源采集数据，也可以从多个不同的数据源采集数据。

在本发明的一实施例中，所述基于访问频率的连续存储数据的存储管理系统还包括数据访问器109，用户通过该数据访问器109来访问所述高速缓存管理器109。该数据访问器109既可以是可用于访问高速缓存管理器的任何现有的数据访问器，也可以是根据本发明创建的数据访问器。此外，该数据访问器109既可以是所述高速缓存管理器103之外的部件，也可以并入高速缓存管理器之中。此外，该数据访问器109还可以是用户所在的客户机的一部分。

在本发明的一些实施例中，所述基于访问频率的连续存储数据的存储管理系统可以不包括所述数据采集器104以及所述数据访问器109。

图3和图4示意性地示出了以上所述根据本发明的实施例的基于访问 频率的连续存储数据的存储管理系统的操作原理。其中，图3具体示出了在该系统执行根据本发明的实施例的操作之前存储系统101的状态，图4具体示出了在该系统执行根据本发明的操作之后存储系统101的状态。如图3所示，在该系统执行根据本发明的操作之前，在存储系统101中存储有T0时间点上数据的完整副本F0，以及T1、T2等时间点上数据的差异性副本d1、d2等。从图中可见，除时间点T0处存储的完整副本F0外，在其他时间点T1、T2等处存储的差异性副本d1、d2等均是以前一时间点处的完整副本或差异性副本为基础的，也就是说，在时间点T1、T2等处仅存储了数据在该时间点处与在前一时间点处之间的变化。在这种存储方案中，为了恢复时间点T1、T2等处完整的数据快照，应当将该时间点处的差异性副本与前一个完整副本以及两者之间的所有差异性副本结合起来。图3中还示出了在访问高速缓存106中保存有时间点T2处的数据快照的完整副本，该完整副本显然是通过将存储系统101中所存储的时间点T2处的差异性副本d2与前一时间点T1处的差异性副本d1以及时间点T0处的完整副本相结合而重构和恢复出来的。

如图4所示，在访问高速缓存106中保存了时间点T2和T10处的数据快照的完整副本，且由于对时间点T2和T10处的数据快照的完整副本的访问超出了某一设定阈值，根据本发明的系统在存储系统101中存储了时间点T2和T10处的数据快照的完整副本F2和F3，并同时调整了时间点T2和T10之后的数据存储形式，使得时间点T2和T10之后的差异性副本不再是基于时间点T0处的完整副本，而是分别基于T2和T10处的完整副本。这样，为服务于以后对时间点T2和T10处的数据快照的访问，可从存储系统101中直接获得时间点T2和T10处的数据快照的完整副本；而为了服务于以后对时间点T2和T10之后的时间点处的数据快照的访问，可分别基于时间点T2和T10处的完整副本来恢复各时间点处的数据快照的完整副本，而不必基于时间点T0处的完整副本来恢复各时间点处的数据快照的完整副本。

以上参照附图描述了根据本发明的实施例的基于访问频率的连续存储 数据的存储管理系统，应注意的是，以上描述仅为示例，而不是对本发明的限制。本发明的系统可具有与所图示和描述相比更多、更少和不同的模块，此外，各模块之间的关系也可以与所图示和描述的不同。例如，也可以考虑所述高速缓存管理器103只用于根据访问权重调整数据在存储系统101中的存储形态和/或数据在数据高速缓存105中的存储，而不服务于数据访问请求，以及可以考虑本发明的系统只包括高速缓存管理器103，而不包括存储系统101和数据管理器102，等等。

此外，以上所述的高速缓存管理器103所执行的各项功能都可以实现为由该高速缓存管理器103包含的相应的装置来执行。例如，在本发明的实施例中，所述高速缓存管理器103包括：用于确定取决于对存储在存储系统中的连续存储数据中的一时间点的数据快照的访问频率的访问权重的装置；用于判断所述访问权重是否达到第一阈值以及所述时间点的数据快照的完整副本是否存在于所述存储系统中的装置；以及用于当所述访问权重达到所述第一阈值且所述时间点的数据快照的完整副本不存在于所述存储系统中时，将所述时间点的数据快照的完整副本存储在所述存储系统中的装置。在本发明的实施例中，所述高速缓存管理器103还包括：用于判断所述访问权重是否达到第二阈值以及所述时间点的数据快照的完整副本是否存在于一数据高速缓存的装置；以及用于当所述访问权重达到所述第二阈值且所述时间点的数据快照的完整副本不存在于该数据高速缓存时，将所述时间点的数据快照的完整副本存储到该数据高速缓存中的装置。在本发明的实施例中，所述高速缓存管理器103还包括：用于接收对存储在所述存储系统中的连续存储数据中一时间点的数据快照的访问请求的装置；以及用于服务于所述访问请求的装置。且在本发明的实施例中，所述用于服务于所述访问请求的装置进一步包括：用于判断所述请求访问的所述时间点的数据快照是否存在于一访问高速缓存中的装置；用于当该判断为否时，从所述存储系统中获取或恢复所述时间点的数据快照的完整副本并将其加载到该访问高速缓存中的装置；以及用于用所述加载的所述时间点的数据快照的完整副本服务于对所述时间点的数据快照的访问请求的装 置。而在本发明的另一实施例中，所述用于服务于所述访问请求的装置进一步包括：用于判断所述请求访问的所述时间点的数据快照是否存在于一访问高速缓存中的装置；用于当该判断为否时，进一步判断所述时间点的数据快照是否存在于所述数据高速缓存中的装置；用于当所述进一步判断为是时，将所述时间点的数据快照的完整副本从所述数据高速缓存加载到所述访问高速缓存中的装置；用于当所述进一步判断是否时，从所述存储系统中获取或恢复所述时间点的数据快照的完整副本并将其加载到所述访问高速缓存中的装置；以及用于用所述加载的所述时间点的数据快照的完整副本服务于对所述时间点的数据快照的访问请求的装置。

下面参照图5描述根据本发明的实施例的基于访问频率的连续存储数据的存储管理方法。

如图所示，在步骤501，接收对存储在存储系统中的连续存储数据中一时间点的数据快照的访问请求。所述存储系统可以是任何本领域中已知的数据存储和/或备份系统，且优选地可被配置为以完整副本+差异性副本的形式存储数据。

在步骤502，判断所请求的所述时间点的数据快照是否存在于一访问高速缓存中。当该判断为否时，前进到步骤503；当该判断为是时，前进到步骤506。

在步骤503，判断所请求的所述时间点的数据快照是否存在于一数据高速缓存中。当该判断为是时，前进到步骤505；当该判断为否时，前进到步骤504。

在步骤504，通过所述存储系统的数据管理器获取或恢复存储系统中的该时间点的数据快照的完整副本，并将其加载到访问高速缓存中。也就是说，当在存储系统中该时间点的数据快照是以完整副本的形式存在时，直接通过数据管理器将该完整副本加载到访问高速缓存中；而当在存储系统中该时间点的数据快照是以差异性副本的形式存在时，则由数据管理器根据该存储系统的存储策略使用该时间点的数据快照的差异性副本以及该时间点之前的完整性副本(以及该差异性副本和完整性副本之间的其他差异 性副本)来重构和恢复该时间点的数据快照的完整副本，并将该完整副本加载到访问高速缓存中。

在步骤505，将数据快照的完整副本从数据高速缓存加载到访问高速缓存。

在本发明的一实施例中，不存在步骤503和505。这样，当在步骤502中判断数据快照不存在于访问高速缓存中时，直接前进到步骤504。

在步骤506，向请求者返回该时间点的数据快照的完整副本。

在步骤507，计算和更新访问权重。该访问权重优选地存储在一元数据库中。该元数据库中存储有关于所访问的各时间点的数据快照的信息，例如各时间点的数据快照的数据源、请求条件、最后访问时间、访问次数、访问权重、第一阈值和第二阈值等。所述访问权重是根据访问次数计算的，并且在本发明的一实施例中，访问权重等于给定时间段内的访问次数，即访问频率。也就是说，在该步骤中，将提取元数据库中原有的访问次数，将该访问次数加一，从而得到新的访问次数，根据该新的访问次数计算新的访问权重，然后用新的访问次数和访问权重替换元数据库中原来的访问次数和访问权重。

在步骤508，判断访问权重是否达到第一阈值并且存储系统中不存在该时间点的数据快照的完整副本。当判断访问权重达到第一阈值并且存储系统中不存在该时间点的数据快照的完整副本时，前进到步骤509；当判断访问权重未达到第一阈值或者存储系统中已存在该时间点处的数据快照的完整副本时，前进到步骤510。所述第一阈值优选地存储在元数据库中。

在步骤509，通过数据管理器在存储系统中存储该时间点的数据快照的完整副本。同时，更新元数据库中关于该时间点的数据快照的存储位置信息。在本发明的一实施例中，在存储系统中存储了该时间点的数据快照的完整副本之后，需要调整该时间点之后的数据快照的存储形式。也就是说，将原有的以先前时间点的数据快照的完整副本为基础的差异性副本修改为以该时间点的数据快照的完整副本为基础的差异性副本，或者在原有的以先前时间点的数据快照的完整副本为基础的差异性副本之外重新生成以该 时间点的数据快照的完整副本为基础的差异性副本，或者只是当需要存储新的、该时间点以后的时间点的数据快照的副本时，根据该存储系统中的存储策略以该时间点的完整副本为基础存储该数据快照的差异性副本。

在步骤510，判断访问权重是否达到第二阈值并且一数据高速缓存中不存在该时间点的数据快照的完整副本。当判断访问权重已达到第二阈值并且数据高速缓存中不存在该时间点的数据快照的完整副本时，前进到步骤511；当判断访问权重未达到第二阈值或者数据高速缓存中已存在该时间点的数据快照的完整副本时，过程结束，从而结束对该访问请求的处理。所述第二阈值优选地存储在元数据库中。

在步骤511，将该时间点的数据快照的完整副本存储在数据高速缓存中。同时，更新元数据库中关于该时间点的数据快照的相应的存储位置信息。

在本发明的一实施例中，不存在步骤510和511。这样，当在步骤508中判断访问权重未达到第一阈值或者存储系统中已存在该时间点处的数据快照的完整副本时，或者在步骤509中在存储系统中存储该时间点的数据快照的完整副本执行完成以后，过程结束。

在该过程结束之后，当接收到新的对存储系统中一时间点的数据快照的访问请求时，可重复该过程以处理该新的访问请求。

以上参照附图描述了根据本发明的实施例的基于访问频率的连续存储数据的存储管理方法，应指出的是，所图示及描述的方法仅为示例，而不是对本发明的限制。本发明的方法可以具有更多、更不和不同的步骤，一些步骤的顺序可能与所图示和描述的不同，且可能并行执行。此外，所图示和描述的一些步骤可合并为更大的步骤或划分为更小的步骤，例如，所图示和描述的步骤502-506可被合并为一个步骤，该步骤可称为服务于数据访问请求的步骤，等等。这些变化都处于本发明的范围之内。

本发明可以硬件、软件、固件或其组合的方式实现。本发明可以集中的方式在一个计算机系统中实现，或以分布方式实现，在这种分布方式中，不同的部件分布在若干互连的计算机系统中。适于执行本文中描述的方法 的任何计算机系统或其它装置都是合适的。优选地，本发明以计算机软件和通用计算机硬件的组合的方式实现，在这种实现方式中，当该计算机程序被加载和执行时，控制该计算机系统而使其执行本发明的方法，或构成本发明的系统。

尽管已参照实施例具体示出和说明了本发明，但是本领域内的那些技术人员应理解，可在形式和细节上对其进行各种改变而不会背离本发明的精神和范围。

Claims (23)

1.一种基于访问频率的连续存储数据的存储管理方法，包括以下步骤： 

确定取决于对存储在存储系统中的连续存储数据中的一时间点的数据快照的访问频率的访问权重； 

判断所述访问权重是否达到第一阈值以及所述时间点的数据快照的完整副本是否存在于所述存储系统中；以及 

当所述访问权重达到所述第一阈值且所述时间点的数据快照的完整副本不存在于所述存储系统中时，将所述时间点的数据快照的完整副本存储在所述存储系统中。 

2.如权利要求1所述的方法，还包括以下步骤： 

判断所述访问权重是否达到第二阈值以及所述时间点的数据快照的完整副本是否存在于一数据高速缓存中；以及 

当所述访问权重达到所述第二阈值且所述时间点的数据快照的完整副本不存在于该数据高速缓存时，将所述时间点的数据快照的完整副本存储到该数据高速缓存中。 

3.根据权利要求1的方法，还包括以下步骤： 

接收对存储在存储系统中的连续存储数据中的该时间点的数据快照的访问请求；以及 

服务于所述访问请求。 

4.如权利要求3所述的方法，其中，所述服务于所述访问请求的步骤包括： 

判断所述请求访问的所述时间点的数据快照是否存在于一访问高速缓存中； 

当该判断为否时，从所述存储系统中获取或恢复所述时间点的数据快照的完整副本并将其加载到该访问高速缓存中；以及 

用所述加载的所述时间点的数据快照的完整副本服务于对所 述时间点的数据快照的访问请求。 

5.如权利要求3所述的方法，其中，所述服务于所述访问请求的步骤包括： 

判断所述请求访问的所述时间点的数据快照是否存在于一访问高速缓存中； 

当该判断为否时，进一步判断所述时间点的数据快照是否存在于所述数据高速缓存中； 

当所述进一步判断为是时，将所述时间点的数据快照的完整副本从所述数据高速缓存加载到所述访问高速缓存中； 

当所述进一步判断是否时，从所述存储系统中获取或恢复所述时间点的数据快照的完整副本并将其加载到所述访问高速缓存中；以及 

用所述加载的所述时间点的数据快照的完整副本服务于对所述时间点的数据快照的访问请求。 

6.如权利要求1所述的方法，其中，所述访问权重等于所述访问频率。 

7.如权利要求4或5所述的方法，其中所述访问频率、访问权重、第一阈值和/或第二阈值、以及所述时间点的数据快照的存储位置信息是在一元数据库中维护的，且所述各判断是基于所述元数据库中的信息进行的。 

8.如权利要求1所述的方法，其中所述存储在存储系统中的连续存储数据是以完整副本加差异性副本的形式存储的。 

9.如权利要求1所述的方法，其中所述连续存储数据为配置变更管理数据库数据或业务数据。 

10.如权利要求1所述的方法，还包括以下步骤： 

从数据源采集数据；以及 

将所采集的数据存储在所述存储系统中，作为所述连续存储数据。 

11.如权利要求1所述的方法，还包括基于所述时间点的数据快照的完整副本以及存储策略调整所述存储系统中该时间点之后的数据的存储的步骤。

12.一种基于访问频率的连续存储数据的存储管理系统，包括：

用于确定取决于对存储在存储系统中的连续存储数据中的一时间点的数据快照的访问频率的访问权重的装置；

用于判断所述访问权重是否达到第一阈值以及所述时间点的数据快照的完整副本是否存在于所述存储系统中的装置；以及

用于当所述访问权重达到所述第一阈值且所述时间点的数据快照的完整副本不存在于所述存储系统中时，将所述时间点的数据快照的完整副本存储在所述存储系统中的装置。

13.如权利要求12所述的系统，还包括：

用于判断所述访问权重是否达到第二阈值以及所述时间点的数据快照的完整副本是否存在于一数据高速缓存的装置；以及

用于当所述访问权重达到所述第二阈值且所述时间点的数据快照的完整副本不存在于该数据高速缓存时，将所述时间点的数据快照的完整副本存储到该数据高速缓存中的装置。

14.如权利要求12所述的系统，还包括：

用于接收对存储在所述存储系统中的连续存储数据中一时间点的数据快照的访问请求的装置；以及

用于服务于所述访问请求的装置。

15.如权利要求14所述的系统，其中，所述用于服务于所述访问请求的装置进一步包括：

用于判断所述请求访问的所述时间点的数据快照是否存在于一访问高速缓存中的装置；

用于当该判断为否时，从所述存储系统中获取或恢复所述时 间点的数据快照的完整副本并将其加载到该访问高速缓存中的装置；以及

用于用所述加载的所述时间点的数据快照的完整副本服务于对所述时间点的数据快照的访问请求的装置。

16.如权利要求14所述的系统，其中，所述用于服务于所述访问请求的装置进一步包括：

用于判断所述请求访问的所述时间点的数据快照是否存在于一访问高速缓存中的装置；

用于当该判断为否时，进一步判断所述时间点的数据快照是否存在于所述数据高速缓存中的装置；

用于当所述进一步判断为是时，将所述时间点的数据快照的完整副本从所述数据高速缓存加载到所述访问高速缓存中的装置；

用于当所述进一步判断是否时，从所述存储系统中获取或恢复所述时间点的数据快照的完整副本并将其加载到所述访问高速缓存中的装置；以及

用于用所述加载的所述时间点的数据快照的完整副本服务于对所述时间点的数据快照的访问请求的装置。

17.如权利要求12所述的系统，其中，所述访问权重等于所述访问频率。

18.如权利要求15或16所述的系统，还包括一元数据库，其中所述访问频率、访问权重、第一阈值和/或第二阈值、以及所述时间点的数据快照的存储位置信息是在所述元数据库中维护的，且所述各判断是基于所述元数据库中的信息进行的。

19.如权利要求12所述的系统，其中所述存储在所述存储系统中的连续存储数据是以完整副本加差异性副本的形式存储的。

20.如权利要求12所述的系统，其中所述连续存储数据为配置变更管理数据库数据或业务数据。 

21.如权利要求12所述的系统，还包括：

存储系统，其被配置为存储连续存储数据；

数据管理器，其被配置为访问所述存储系统；并且其中，对所述存储系统中的连续存储数据的访问是通过所述数据管理器进行的。

22.如权利要求21所述的系统，还包括：数据采集器，其被配置为从数据源采集数据；且其中所述数据管理器还被配置为将所采集的数据存储在所述存储系统中，作为所述连续存储数据。

23.如权利要求21所述的系统，其中所述数据管理器还被配置为基于所述时间点的数据快照的完整副本以及存储策略调整所述存储系统中该时间点之后的数据的存储。 

Images