CN1760875B - 基于文件存取特性在各种类型的存储卷之间透明迁移文件 - Google Patents

Abstract

在一个实施例中，提出一种用于将文件存储在存储域的方法和系统。所述方法包括监视对文件的存取以确定文件存取模式(202)，标记所述文件以指示所识别出的存取模式(208)，并利用所述标记来基于所述存取模式识别出存储域中适合于所述文件且可用的存储媒体(210)。

Description

基于文件存取特性在各种类型的存储卷之间透明迁移文件

技术领域

本发明涉及基于文件存取特性在各种类型的存储卷之间透明迁移文件的方法。

背景技术

现代的信息系统将数据存储在各种类型的存储卷或存储设备中。每种类型的存储卷具有它自己的存储特征。例如，某些存储卷高速运行，例如提供数据高速缓存来存储频繁被存取的数据。其他存储卷的速度较慢，但是省去了一些昂贵的部件，如数据高速缓存，因此更经济。目前市场上销售的各种存储卷之间的差异还体现在其他的许多因素，如容量、备份容量、便携性、接口、工作模式、可靠性、RAID特性、性能等。

系统设计人员或管理员通常基于系统预期的需求针对特定的系统来选择存储卷。某些系统采用一个存储卷，而其他系统布设有由存储阵列中的多个存储卷构成的虚拟磁盘。在这两种方式中，系统设计人员都采用常规技术基于要运行于系统上预期应用程序来选择存储系统的解决方案。当采用多于一个存储卷时，系统设计人员确定存储每个应用程序的数据文件所用的存储系统。这种将文件捆绑于存储卷通常是属于静态的，只能通过系统设计人员或管理员的人工干预才能更改。

可以将应用程序配置为基于各种不同的存储解决方案来存储它们的数据，但是由此可能无法以最优方式与操作效率和性能相适配。有时候，应用程序采用初始存储配置工作得很好，但是一段时间之后，应用程序开始遇到与使用存储配置有关的性能问题。因此，系统管理器监视应用程序的运行，以确定是否存在因用于存储该应用程序数据的存储配置所导致的性能或操作上的问题。如果发现问题，则管理员通过将数据文件与另一种类型的存储卷捆绑来介入。查找数据文件和存储卷之间一个简单的不匹配源头都可能是耗时费力的操作，而且可能需要将应用程序置于脱机状态，同时执行重新捆绑操作，从而影响了整个系统的可用性以及可能影响服务提供商与客户之间的服务级协议。

发明内容

本发明的实施例基于文件存取特性在各种类型的存储卷之间实现文件的透明迁移。

在一个实施例中，提出一种方法，用于以动态方式在存储域迁移文件且该迁移对于正在使用所述文件的任何应用程序是透明的。该方法包括在所述存储域中多个存储卷的其中之一上存储的文件中周期性地检查标记，其中所述标记识别对文件的先前存取的模式，确定所述存取模式是否与存储所述文件的多个存储卷的其中之一的存储类别匹配，而当所述存取模式与所述多个存储卷的其中之一的存储类别不匹配时，将所述文件转移至所述多个存储卷中存储类别与所述文件的存取模式匹配且可用的另一个。

在另一个实施例中，提出一种用于将文件存储在存储域的方法。所述方法包括监视对文件的存取以确定文件存取模式，标记所述文件以指示所识别出的存取模式，并利用所述标记来基于所述存取模式识别出存储域中适合于所述文件且可用的存储媒体。

在另一个实施例中，提出一种具有动态且透明的文件迁移的数据存储系统。所述数据存储系统包括多个存储卷，每个存储卷具有相关联的存储类别。所述数据存储系统还包括模式识别功能，它监视对所述多个存储卷中存储的文件的存取，以确定每个文件的存取模式。所述数据存储系统还包括将每个存储卷的存储类别与至少一个文件存取模式相关联的查询表；以及文件管理功能，它周期性地利用存储在所述多个存储卷上的文件的存取模式将所述文件从所述多个存储卷中的一个存储卷迁移到另一个存储卷，以使所述存储卷的存储类别与所述模式识别功能基于所述查询表为所述文件识别的存取模式匹配。

附图说明

图1是本发明系统实施例的框图，其中动态地将文件与存储域中的存储卷捆绑。

图2以流程图说明用于使存储卷的存储特征与数据文件的存取模式匹配的过程实施例。

图3以表格说明用于将数据文件的存取模式与相应存储特征的存储卷相关联的数据结构。

图4以流程图说明用于基于文件的存取模式和存储卷的存储特征在多个存储卷之间迁移文件的过程实施例。

具体实施方式

在下文的详细描述中，参考了属于本发明说明书的这些附图，通过示范方式显示可以实施本发明的特定示范实施例。这些实施例在细节上进行了充分描述，以使本领域技术人员能够实施本发明，而且要明确的是还可以采用其他实施例，在不背离本发明精神和范围的前提下可以进行逻辑、机械和电气方面的更改。因此，下文的详细描述不构成范围的限定。

本发明的实施例允许基于所述存储卷的特征和基于监视的文件存取模式实现以动态方式将文件与相应匹配的存储卷捆绑。本申请中所采用的术语存储域指的是存储设备集合，如可用于文件系统的存储卷和存储阵列。作为一个优点，本发明的实施例允许在无需人工的管理操作以将文件与适合的存储卷捆绑，以及不将应用程序置于脱机状态或不影响系统服务的情况下实现文件系统性能的提高。

图1是本发明系统实施例(如图中100所示)的框图，其中可以动态地捆绑存储域101中的文件。系统100还包括处理器102、存储器104、输入/输出装置110和存储域110。存储域101包括许多存储卷106-1至106-N。在一个实施例中，存储域101包括存储阵列。在其他实施例中，存储域101包括存储卷和存储阵列的任何适合的组合。存储域101中的存储卷106-1至106-N的数量和类型由系统管理员或设计人员根据预期运行于系统100上的应用程序的类型来选择。本发明的原理并不局限于存储域101中任何特定数量或类型的存储卷。相反，在一个实施例中，系统100包括至少两种不同类型的存储卷，以使存储域101中存储的任何给定文件有不同存储卷可供选择。

处理器102运行控制系统100的操作的功能或程序.在一个实施例中，这些功能以程序代码的形式存储在存储器104中.在操作的一个方面，处理器102运行文件系统功能116以控制将文件捆绑于存储域101中的存储卷106-1至106-N.文件系统功能116基于两个因素将文件指定到存储卷：对文件的存取模式和存储卷106-1至106-N的存储特征.

模式识别功能114识别存储在存储域101中的文件的存取模式。在一个实施例中，模式识别功能114运行于处理器102上。在其他实施例中，模式识别功能114运行于另一个处理器上。在再一些实施例中，模式识别功能114以硬件方式实施，例如专用集成电路。模式识别功能114监视对存储在存储域101中文件的存取。在一个实施例中，模式识别功能114存储对存储在存储域101中文件的每次存取的有关信息。出于规范的目的，术语“存取”指从文件读取数据或向文件写入数据。不断分析有关对文件存取的信息，直到呈现出足以表征特定文件的存取模式的模式为止。例如，在一个实施例中，模式识别功能114收集有关每次存取的数据，诸如读取数据的地址、高速缓存利用率以及用于识别应用程序所请求的顺序或非顺序的(例如随机的)文件块或比特范围的存取模式的推理。根据该数据，模式识别功能114确定文件存取模式是否与某个已知的模式匹配，例如随机的存取模式、顺序的存取模式或某种其他可识别的存取模式。在一个实施例中，即使在已经识别出存取模式之后，模式识别功能114不断地监视文件的存取信息。由此，如果文件的存取模式随时间变更的话，模式识别功能114将检测到该变更，并提供该信息以供系统功能116使用。

文件系统功能116利用存储器104中的数据基于此存取模式确定适合于文件的存储卷。在一个实施例中，存储器104包括查询表112，它提供存取模式的类型与不同存储类别之间的映射。在一个实施例中，存储类别包括RAID特性(例如0、1、0+1、5)、存储卷的速度、存储卷的成本等，存取模式包括顺序、随机、非经常和向前和向后跨序(strided sequence)等。要明确的是本文所述的存储类别和存取模式是作为实例提出的，而非用于限定范围。可以预见到随时间推移，当可能具有新功能和性能特征的附加存储卷被添加到存储域101以及识别出新的存取模式时，查询表112中的数据将发生改变。还有，当向存储域101添加新的存储卷时，添加卷逻辑118将在该存储卷被添加时自动更新与该存储卷相关的元数据以指示该存储卷的类别。

在一个实施例中，文件系统功能116对存储域101中的每个文件执行周期性存储位置检查。例如，文件系统功能116基于查询表112中的数据对照存储域101中的存储卷的存储类别检查文件的当前存取模式。如果存储类别不与存取模式匹配，文件系统功能116动态地将该文件迁移到与该存取模式匹配的存储卷。此迁移对于使用该文件的任何应用程序来说是透明的。

图2以流程图说明用于使存储卷的存储特征与数据文件的存取模式匹配的过程实施例。过程开始于方框200。在方框202，该过程监视应用程序对该文件的存取。如上所述，该存取操作包括应用程序从文件读取数据或向文件写入数据。在每次存取操作时，过程在方框204存储有关该次存取的信息。在一个实施例中，该信息包括数据在存储卷中的位置、数据量、数据在文件中的偏移量等。在一个实施例中，过程监视反映高速缓存利用率的高速缓存的文件量值。这些量值包括识别有效率的高速缓存效益，包括可以用于表征打开文件的存取模式(例如顺序、随机等)的预读量值。在方框206中，过程分析对文件存取时收集的信息，以确定对文件的存取是否与任何已知存取模式匹配。在一个实施例中，过程确定文件被关闭时存取是否与已知的模式匹配。在一个实施例中，它包括监视用于测定匹配的相对强度的加权系数。如果未发现与已知模式匹配的情况，则返回到方框202，并监视对该文件的下次存取。在一个实施例中，过程以“未定义的”存取模式标记该文件。

如果在方框206中过程识别出已知模式，则在方框208标记该文件。在一个实施例中，过程当该文件关闭时标记该文件。在一个实施例中，该标记包含用于识别所识别模式的代码。在一个实施例中，将该标记添加到该文件的元数据。例如，如果过程确定以顺序方式存取该文件，则将该代码添加到文件以指示为顺序存取模式。过程还在方框210利用该代码以确保将该文件存储在存储特征与该存取模式匹配的存储卷上。过程终止于方框212。

图3以表格说明用于将数据文件的存取模式与相应存储特征的存储卷相关联的数据结构。在该实施例中，数据结构是查询表300。该查询表300包含两列数据。列302包含一个已知存取模式的列表。在该实例中，已知的存取模式包括随机、顺序和非经常。在另一些实施例中，还支持其他可识别的存取模式。列304提供存储域中的存储卷的存储类别。在该实例中，存储类别包括RAID特性(例如RAID0、1、0+1、5等)以及其他类别(如“便宜/慢速”)。要明确的是该查询表300中的数据是作为实例提供的，而非限定范围。查询表300的每一行定义存取模式和存储类别之间的适合捆绑。在一个实施例中，查询表300存储在图1的存储器104中，并且文件系统功能116利用该查询表来控制将文件捆绑于存储域101中相应的存储卷106-1至106-N。

图4以流程图说明用于基于文件的存取模式和存储卷的存储特征在存储域中多个存储卷之间迁移文件的过程实施例。在一个实施例中，图4的过程基于周期性的方式执行，以确保基于该文件的存取模式将存储在系统中的文件存储在适合的存储卷中。在一个实施例中，图4的过程是基于存储策略按周期性方式运行的多个过程的其中之一。

过程开始于方框400。在方框402，过程检查文件的标记(如果有的话)。在一个实施例中，该标记识别该文件的存取模式。在一个实施例中，该标记是基于不断监视对文件的存取的模式识别功能对应于该文件生成的。在方框403，过程通过检查该标记是否是有效标记来确定是否已经识别出存取模式。如果该文件不含有效的标记，则在方框405，过程执行该文件与其他未标记文件的负载平衡。出于规范的目的，术语“负载平衡”指均匀地将文件分布到适合的可用存储卷上。

在方框404，过程确定该标记是否与该文件所在的存储卷的存储类别一致。在一个实施例中，过程基于图3所示的类型查询表确定该标记是否与存储卷的存储类别一致。如果该标记与存储类别不一致，则过程在方框406确定该存储域中是否有存储类别与该标记一致的存储卷。如果没有，则过程返回到方框405，并在与未标记文件的负载平衡时包括该文件。如果有存储卷与该标记相关的存储类别匹配，则在方框408中动态地且透明地将该文件迁移到存储卷。在一个实施例中，通过识别出存储类别与文件的存取模式匹配的存储卷，从当前存储卷中删除该文件并将该文件存储在所识别的存储卷上来迁移该文件。要注意的是，文件的删除和保存是通过事务方式来执行，以确保这两个操作要么都执行，要么都不执行。否则，如果在方框404，标记与存储类别一致，则过程跳过方框406和408，并移至方框409。在方框409，过程确定是否还有其他文件要处理。如果是这样的话，则过程返回到方框402，并基于存储类别和文件存取模式验证文件和存储卷的捆绑是否适合。如果没有其他文件要处理，则过程终止于方框410。

如上所述，如果标记了文件，但是在方框406确定没有具有适合存储类别的存储卷，则不移动该文件.但是，图4的过程以足够的频度来重复，以便一旦将适合的存储卷添加到存储域，则可以动态方式迁移标记的文件.由此，在将具有适合特征的存储域添加到存储域之后，过程将再次尝试查找匹配存储卷，并在发现此类匹配情况时以动态方式将该文件迁移到该存储卷.

本领域技术人员应认识到通过在某个实施例中以适合的指令对可编程处理器进行编程来实现本文所述功能，以便实施上述原理和方法。在这些实施例中，此类程序指令被存储在适合的存储装置中(例如只读存储器和/或随机存取存储器)，在执行过程中会从这些存储装置中检索这些程序指令。在这些实施例中，还将适合的数据结构存储在存储器中。

上述方法和技术可以在数字电路中或利用可编程处理器(例如专用处理器或通用处理器，如计算机)固件、软件或者它们的组合方式来实施。实施这些技术的装置可以包括适合输入和输出装置、可编程处理器和具体实施该可编程处理器执行的程序指令的存储媒体。可编程处理器通过对输入数据执行操作和生成适合的输出来执行程序指令以执行期望的功能，由此可以执行实施这些技术的过程。作为一个优点，这些技术可以在可在可编程系统上执行的一个或多个程序中实施，可编程系统包括通过连接以从数据存储系统、至少一个输入装置和至少一个输出装置接收数据和指令以及向其发送数据和指令的至少一个可编程处理器。一般来说，处理器将从只读存储器和/或随机存取存储器接收指令和数据。适合于具体实施计算机程序指令和数据的存储装置包括任何形式的非易失存储器，包括例如半导体存储装置(如EPROM、EEPROM和闪速存储装置)、磁盘(如硬盘和可移动磁盘)、磁光盘和DVD光盘。前述的任何内容可以通过专门设计的专用集成电路(ASIC)来补充或集成于其中。

上文描述了由所附权利要求定义的本发明多个实施例。但是，要明确的是，在不背离要求权利的本发明精神和范围的前提下可以对所述实施例进行多种修改。因此，其他实施例也属于所附权利要求的范围内。

Claims (10)

1.一种方法，用于以动态方式在存储域之间迁移文件且所述迁移对于正在使用所述文件的任何应用程序是透明的，所述方法包括如下步骤：

在所述存储域中多个存储卷的其中之一上存储的文件中周期性地检查标记，其中所述标记识别所述文件的先前存取模式(402)；

确定所述存取模式是否与所述文件所在的多个存储卷的其中之一的存储类别匹配(404)；以及

当所述存取模式不与存储所述文件的多个存储卷的其中之一的存储类别匹配时，将所述文件迁移到所述多个存储卷中其存储类别与所述文件的存取模式匹配且可用的另一个存储卷中(408)。

2.如权利要求1所述的方法，其特征在于它还包括如下步骤：

将所述标记与所述文件一起保存，直到向所述存储域添加存储卷且其存储类别与所述文件的存取模式匹配为止；以及。

将所述文件迁移到所述匹配的存储卷。

3.如权利要求1所述的方法，其特征在于还包括对于不含标记的文件，周期性地在所述存储域上执行文件负载平衡(403，405)。

4.如权利要求3所述的方法，其特征在于周期性地执行文件负载平衡包括对含标记但是没有匹配存储卷的文件执行文件负载平衡(406，405)。

5.一种用于将文件存储在存储域的方法，所述方法包括如下步骤：监视对文件的存取，以确定文件的存取模式(202)；

对所述文件设置标记，以指示所识别的存取模式(208)；以及

利用所述标记来基于所述存取模式识别存储域中适合于所述文件且可用的存储卷(210)。

6.如权利要求5所述的方法，其特征在于利用所述标记来识别适合的存储媒体的步骤包括，基于所述文件的标记，周期性地将用于所述文件的模式与所述文件的所述存储卷的存储类别进行比较。

7.一种用于将文件与阵列形式的多个存储卷中的存储卷匹配的方法，所述方法包括如下步骤：

存储对文件的每次存取的有关信息(204)；

不断监视对文件的每次存取的有关信息以确定存取模式(206)；

当根据所述信息获得模式时，选择识别所述存取模式的标记(208)；

利用选择的标记来标记所述文件(208)；以及

将所述文件迁移到与所述识别的存取模式的特征匹配的存储卷(210)。

8.如权利要求7所述的方法，其特征在于监视每次存取的有关信息的步骤包括，确定表示所述模式强度的值。

9.可动态且透明地迁移文件的数据存储系统(100)，所述数据存储系统包括：

多个存储卷(106-1、...、106-N)，它们各具有相关的存储类别；

模式识别功能(114)，用于监视对所述多个存储卷中存储的文件的存取，以确定每个文件的存取模式；

查询表(112)，它将每个所述存储卷的存储类别与所述文件存取模式的至少其中之一相关联；以及

文件管理功能(116)，用于周期性地利用表明所述多个存储卷中存储的所述文件的其中之一的存取模式的所述文件之一中的标记，将所述文件从所述存储卷的其中一个迁移到另一个，以使基于所述查询表，所述存储卷的存储类别与所述模式识别功能所识别的所述文件的存取模式匹配。

10.一种用于将文件存储在存储域的装置，所述装置包括：

装置，监视对文件的存取以确定文件的存取模式(114)；

装置，对所述文件设置标记以指示所识别的存取模式(116)；以及

装置，利用所述标记来基于所述存取模式识别存储域中适合于所述文件且可用的存储卷(112，116)。

Images