CN103914389A - 用于管理存储器空间的方法和装置 - Google Patents

Abstract

本发明的实施方式涉及用于管理存储器空间的方法和装置。在本发明的一个方面，提供一种用于管理存储器空间的方法，所述存储器空间被组织为页面，所述页面被划分为多个页面集合，每个页面集合与多个上层系统之一相关联，所述方法包括：对所述多个上层系统进行状态监测以向所述多个上层系统指派优先级；以及基于所述多个上层系统的优先级、以所述页面集合为单位确定释放所述存储器空间的所述页面的顺序。本发明的其他方面还公开了相应的装置。

Description

用于管理存储器空间的方法和装置

技术领域

本发明的各实施方式总体上涉及存储管理，并且更具体地涉及一种用于管理存储器空间的方法和装置。

背景技术

在很多情况下，需要对存储器中的空间进行管理，例如在为文件系统或虚拟机系统创建快照时。本领域技术人员知道，快照是一种用于系统保护的技术，它可以保存系统在给定时刻的所有状态、数据和上下文(context)。快照操作对于系统的故障恢复而言至关重要。例如，当一个系统在操作中发生严重错误时，可以根据快照将其恢复到创建该快照的时刻所处的状态和上下文。

以文件系统为例，常见的快照创建在文件系统的“卷”(volume)级别运行，以存储器中的块为粒度管理快照关系(即，快照的元数据)。在文件系统中可能常见很多快照(多达数千个)，这将消耗可观的存储器来存储元数据。例如，一个2TB的生产文件系统的一个快照，理论上最多会消耗4GB的存储器来存放元数据。因此，快照元数据通常并非完全存储于存储器内，而是可能需要在运行时动态地从磁盘之类的外部存储设备换入和/或换出。另一方面，系统中的快照共享全局存储器空间配额，但是并非所有快照都平等。某些快照(尤其是最新的快照)比其他快照更加重要和关键。这些都给存储器空间的管理提出了挑战。为了确保总体效率和性能(尤其是为了减少高CPU消耗)，需要更为高效地管理存储器空间。

在文件系统快照的存储器管理中，传统上存在两种普通管理方式：1)所有快照文件系统共享单个全局的存储器管理应用(例如，页面交换守护进程)，并且按照最近最少使用(LRU)规则简单地交换存储器中的页面；或者2)每个文件系统具有其存储器空间管理应用并且彼此独立地管理存储器空间。

对于第一种方法，单一的页面交换进程很可能成为瓶颈，尤其是在面对大规模环境时。大量的IO工作负载很容易使存储器空间达到配额的上限阈值(高水位标记)。此外，这类方法缺乏服务质量(Quality of Service，QoS)管理能力。对于第二种方法，当在文件系统间没有足够的协作时，单一的页面交换进程将遇到存储器使用率出现剧烈抖动的情况。例如，过多块可能由页面交换守护进程并行换出继而立刻由到来的读取请求换入，这引起过多磁盘I/O并且使交换效率降低。此外，另一挑战在于难于制定出高效、确切并且清楚的规则来在文件系统之中分配存储器预算以及支持QoS。

概括而言，在传统的存储器空间管理方法中，对存储器中页面的换入/换出决策是在不知道总体系统状态的情况下做出的。而且，无法保证相对高重要性的文件系统在存储器管理中得到相应的优先考虑。同时，在传统方式的实现方式中，为了简单起见，通常所有的快照元数据共享全局LRU列表并且存储器页面管理由单个线程执行，这很可能成为瓶颈并且导致高CPU消耗以及缺乏可伸缩性。上文问题同样存在于虚拟机存储器管理等其他领域。

发明内容

因此，需要有一种新颖的、有创造性并且实用的用于管理存储器空间的方法和装置来克服上述问题。为此，本发明的示例性实施方式涉及一种用于管理存储器空间的方法和装置。

在本发明的一个方面，提供一种用于管理存储器空间的方法。所述存储器空间被组织为页面，所述页面被划分为多个页面集合，每个页面集合与多个上层系统之一相关联。所述方法包括：对所述多个上层系统进行状态监测以向所述多个上层系统指派优先级；以及基于所述多个上层系统的优先级、以所述页面集合为单位确定释放所述存储器空间的所述页面的顺序。

在本发明的另一方面，提供一种用于管理存储器空间的装置。所述存储器空间被组织为页面，所述页面被划分为多个页面集合，每个页面集合与多个上层系统之一相关联。该装置包括：状态监测单元，被配置为通过对所述多个上层系统进行状态监测而向所述多个上层系统指派优先级；以及顺序确定单元，被配置为基于所述多个上层系统的优先级、以所述页面集合为单位确定释放所述存储器空间的所述页面的顺序。

通过下文描述将会理解，利用本发明的实施例，管理存储器空间的粒度不仅限于存储器页面的使用情况，而是还可以将上层系统纳入考虑。这实际上是提出另一种存储器空间管理的双层机制。首先从较高级别的文件系统等上层系统层面确定要释放的存储器空间区域，而后在该区域中再将存储器的最近使用情况纳入考虑。

以此方式，将用于存储器空间管理的任务分配及任务执行角色分离。任务分配部分接管整体监视器以及页面交换任务分配，从而使得其工作负担更小并且更智能化，而页面交换执行部分将与管理部分并行执行存储器空间管理的任务。同时，每个页面交换执行部分彻底与其他页面交换执行部分独立并且可以容易地扩展，从而避免单一的页面交换进程的瓶颈并且显著地减少锁争用和高CPU消耗。

而且，在某些可选实施例中，权重和优先级设计可以更直观和高效地管理存储器空间，同时，对QoS的支持使得可以由管理员即时调整权重和优先级等参数，从而快捷地响应于不同的需求。此外，基于策略和权重的智能页面交换的任务分配，将基于当前存储器空间使用状态和标准化权重分配任务，从而使得分配更加高效，某些使用频率低或存储器空间使用量大的快照所占用的存储器空间可以被更多地进行释放，并且可以避免I/O波动。

附图说明

结合附图并参考以下详细说明，本发明各实施方式的特征、优点及其他方面将变得更加明显，在此以示例性而非限制性的方式示出了本发明的若干实施方式。在附图中：

图1为根据本发明的示例性实施方式的用于管理存储器空间的方法的流程图；

图2为根据本发明的示例性实施方式的释放存储器空间的页面的释放量的示意图；

图3为根据本发明的示例性实施方式的用于管理存储器空间的装置的框图；以及

图4示出了适于实现本发明实施例的计算机系统的框图。

具体实施方式

以下参考附图详细描述本发明的各个示例性实施方式。附图中的流程图和框图示出了根据本发明的各种实施方式的方法和系统的可能实现的体系架构、功能和操作。应当注意，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分可以包括一个或多个用于实现各个实施方式中所规定的逻辑功能的可执行指令。也应当注意，在有些作为备选的实现中，方框中所标注的功能也可以按照不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，或者它们有时也可以按照相反的顺序执行，这取决于所涉及的功能。同样应当注意的是，流程图和/或框图中的每个方框、以及流程图和/或框图中的方框的组合，可以使用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以使用专用硬件与计算机指令的组合来实现。

应当理解，给出这些示例性实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。

根据本发明的示例性实施方式，待管理的存储器空间被组织为页面，并且将页面划分为多个页面集合，每个页面集合与多个上层系统之一相关联。上层系统例如可以包括文件系统或虚拟机系统等系统。在以下实施方式中，以文件系统为例描述根据本发明的方法和装置，其中页面集合对应于文件系统中的快照。应当理解，本发明的方法和装置同样适用于虚拟机系统等涉及存储器空间管理的其他系统。

参照图1，其为根据本发明的示例性实施方式的用于管理存储器空间的方法的流程图。

方法开始之后，在步骤S101中，监测上层系统的使用状态和使用情况。以针对文件系统创建快照为例，根据本发明的实施例，监测的系统状态可以包括以下之一：一个或多个文件系统在预定时段内的快照计数、快照的存储器消耗以及预定义的QoS设置，等等。

接下来，在步骤S102中，根据对多个文件系统的状态监测而向该多个文件系统指派优先级。根据本发明的示例性实施方式，对最新进行快照操作或最频繁进行快照操作的文件系统指派更高的优先级。同时，也可以基于服务质量(QoS)，直接设置某些文件系统的优先级。例如，对于使用较少或并不需要关心其性能的文件系统，可以人为对其设置较低优先级。特别地，当在快照应用中进行存储器空间管理时，还可以根据文件系统的快照权重来确定文件系统的优先级，下文还将描述这方面的实施例。

注意，根据本发明的实施例，对上层系统优先级的指派可以基于步骤S101的状态监测持续地执行。备选地，也可以周期性地执行对上层系统的优先级指派。又如，在某些可选实施例中，可以对存储器空间配额设置例如为存储器空间配额的60％的下限阈值(称为“低水位标志”)，仅当存储器空间的使用超过该下限阈值时，才执行步骤S102处的释放顺序指派以及后续操作。

继续参照图1，在步骤S103中，基于多个文件系统的优先级、以与文件系统相关联的页面集合为单位，确定释放存储器空间的页面的顺序。换言之，根据本发明的实施例，在对存储空间进行管理时，不是简单地基于存储空间中的页面使用情况来确定释放顺序。相反，页面的释放顺序首先基于文件系统的优先级考虑。

例如，假设第一文件系统的优先级高于第二文件系统，则与第一文件系统相关联的第一页面集合的总体优先级高于与第二文件系统相关联的第二页面集合。换言之，当需要释放页面时，第二页面集合中的页面将先于第一页面集合被释放，即使第二页面中的某些页面比第一页面中的页面更常被使用。

特别地，在本发明的示例性实施方式中，对存储器空间进行释放包括对存储器空间中的页面的换出(swap out)。应当理解，对存储器空间进行释放的形式并不限于页面的换出，而是可以包括直接删除页面中内容在内的任何可行形式。本发明的范围在此方面不受限制。

继续参照图1，在可选的步骤S104中，对于与每个文件系统相关联的页面集合，可以基于该快照中所包含的至少一个页面的最近使用情况而确定释放该至少一个页面的顺序。例如，可以按照LRU规则或者基于QoS来确定或指定释放页面的顺序。注意，这仅仅是示例性的，对于每个页面集合中的页面，可以根据各种其他可行的方式来确定其释放顺序，例如可以简单地根据页面的编号以从小到大的顺序释放页面。由于，每个页面集合中的页面释放顺序可以由用户事先指定，等等。

在某些实施例中，多个上层系统所关联的页面集合共享相同的存储器空间配额。也即，这样页面集合可用的总存储器空间量是固定的。在这些实施例中，在可选的步骤S105中，可以确定释放存储器空间的页面的释放量。换言之，根据本发明的实施例，除了确定了与每个上层系统相关联的页面集合释放顺序之外，还可以确定这些页面集合的释放量。一般而言，释放顺序靠前的页面集合(相关联的上层系统优先级较低)所释放的页面量较大；而释放顺序靠后的页面集合(相关联的上层系统优先级较高)所释放的页面量较小。

根据本发明的某些实施例，可以确定每个页面集合所需释放的页面的存储量与共享的存储器空间配合的比例。例如，较早释放的页面集合释放的页面存储量占存储器空间配额的比例较大，较晚释放的页面集合释放的页面存储量占存储器空间配额的比例较小。

根据本发明的某些实施方式，可以对存储器空间配额设置下限阈值和上限阈值以用于与存储器空间的使用进行对比从而确定释放存储器空间的页面的释放量。例如参见图2，根据本发明的实施例，下限阈值(低水位标志)例如为存储器空间配额的60％，而上限阈值(高水位标志)例如为存储器空间配额的80％，当然这仅仅是示例性的。

根据本发明的示例性实施例，释放存储器空间的页面的释放量例如可以遵循以下规则中的一个或多个来确定：

1.所有文件系统共享存储器空间配额。

2.如果存储器空间的使用量低于下限阈值，则将不进行释放。

3.如果存储器空间的使用量的范围在下限阈值和上限阈值之间，则每隔预定时段(例如，m秒)释放(上限阈值-下限阈值)/n个页面。

4.如果存储器空间的使用的范围在上限阈值和存储器空间配额之间，则每x秒换出(使用-上限阈值)个页面。

5.如果存储器空间的使用的高于配额，则将释放(使用量-配额)*(1+y)个页面。

n、m、x和y可以根据对历史数据的学习自动地确定和调节，也可以由人工指定。

根据本发明的示例性实施方式，还可以根据文件系统的快照的权重确定释放对应于该快照的存储器空间的页面的释放量。例如，权重越高，释放存储器空间的页面的释放量就越大。可以用来确定快照的权重的因素例如包括预定时段(例如，最近的X分钟)的快照操作计数、针对快照操作所需的存储器空间以及与文件系统相关联的QoS设置等。

根据本发明的示例性实施方式，在针对文件系统快照的存储器空间管理中，用于计算快照的权重的公式例如可以是：

W(快照的相对权重)＝W_s*Ws％+W_b*Wb％，

其中更高的权重对应于更大的页面释放量。在这一公式中，

因此单位时间内，消耗数据块数量更少的文件系统的快照所对应的存储器空间应该被释放更多页面。此外，

因此针对快照操作所拥有的存储器空间越大的快照所对应的存储器空间应该被释放更多页面。其中Ws％是用于突出快照操作的相对因子，例如可以取67％；Wb％也是相对因子，例如可以取33％。

根据本发明的示例性实施方式，针对一个文件系统的用于释放的页面释放量将为(所释放的总释放量*W)，其中W为该文件系统的快照的相对权重。

继续参照图1，在步骤S106中，按照在步骤S103所确定的以快照为单位的释放存储器空间的页面的顺序、在步骤S104中确定的释放快照中的至少一个页面的顺序以及在步骤S105中确定的释放量释放存储器空间的页面。如上所述，释放存储器空间的页面的形式包括页面的换出以及页面中内容的删除等任何可行形式。

根据本发明的示例性实施方式，对存储器空间的页面的释放既可以是按照优先级针对多个文件系统按顺序进行释放，也可以是按照优先级针对多个文件系统按比例进行释放，具体的释放形式取决于实际的需要。

以上参照图1描述了根据本发明的示例性实施方式的用于管理存储器空间的方法。应当理解，对这些步骤的描述并非要求或者暗示必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤或者子步骤，将多个步骤或者子步骤合并为一个步骤或者子步骤执行，和/或将一个步骤或者子步骤分解为多个步骤或者子步骤执行。例如，在某些示例性实施方式中，步骤S101中的确定是否需要进行存储器空间的释放的步骤仅需在实际释放存储器空间的步骤S106之前发生，其可以与步骤S102至步骤S105按任何先后顺序发生或同时发生。

根据本发明的示例性实施方式的用于管理存储器空间的方法与现有技术相比效率高得多。其实质上是一种双层页面交换机制，即页面由两级框架进行管理。其中，根据本发明的示例性实施方式，多个快照共享存储器空间配额。

参照图3，其为根据本发明的示例性实施方式的用于管理存储器空间的装置300的框图。如上所述，存储器空间被组织为页面，所述页面被划分为多个页面集合，每个页面集合与多个上层系统之一相关联。如图3所示，该装置包括状态监测单元301，被配置为通过对所述多个上层系统进行状态监测而向所述多个上层系统指派优先级；以及顺序确定单元302，被配置为基于所述多个上层系统的优先级、以所述页面集合为单位确定释放所述存储器空间的所述页面的顺序。

根据某些可选实施例，装置300进一步包括：内部顺序确定单元，被配置为对于与每个所述上层系统相关联的页面集合，基于所述页面集合中页面的最近使用情况而确定所述页面集合内的释放顺序。

根据某些可选实施例，多个页面集合共享存储器空间配额。此时，装置300进一步包括：释放量确定单元，被配置为基于释放所述存储器空间的所述页面的所述顺序而确定每个所述页面集合的页面释放量。根据某些可选实施例，释放量确定单元包括：释放比例确定单元，被配置为确定每个所述页面集合释放的页面与所述存储器空间配额的比例。根据某些可选实施例，该装置可以进一步包括：阈值设置单元，被配置为针对所述存储器空间配额设置下限阈值和上限阈值；以及使用量比较单元，被配置为通过将每个页面集合中的存储器空间使用量与所述下限阈值和所述上限阈值进行比较以确定所述页面释放量。

根据某些可选实施例，所述状态监测单元包括以下至少一个：计数监测单元，被配置为监测预定时段内的快照计数；消耗监测单元，被配置为监测快照的存储器消耗；以及QoS监测单元，被配置为监测预定义的QoS设置。

根据某些可选实施例，上层系统包括文件系统或虚拟机系统。

可以理解，参考图3描述的装置300可被配置为执行上文参考图1描述的方法。因此，上文描述的各种特征同样适用于该装置，在此不再赘述。

另外，根据本发明的实施例，参考图3描述的装置300可以利用各种方式实现。例如，在某些实施例中，该装置可以利用软件来实现。例如，装置300可以实现为数据保护应用的一部分或者其可调用的另一软件系统。此时，装置300中包含的各个单元可以实现为软件模块。备选地，装置300可以部分地或者完全地基于硬件来实现。例如，该装置可以实现为集成电路(IC)芯片或专用集成电路(ASIC)、现场可编程门阵列(FPGA)、片上系统(SOC)等。此时，该装置的各个单元可以实现为基于硬件的模块或元件。现在已知或者将来开发的其他方式也是可行的，本发明的范围在此方面不受限制。

下面参考图4，其示出了适于用来实践本发明实施例的计算机系统的示意性框图。如图4所示，计算机400包括：CPU(中央处理单元)401、RAM(随机存取存储器)402、ROM(只读存储器)403、系统总线404、硬盘控制器405、键盘控制器406、串行接口控制器407、并行接口控制器408、显示控制器409、硬盘410、键盘411、串行外部设备412、并行外部设备413和显示器414。在这些设备中，与系统总线404耦合的有CPU401、RAM402、ROM403、硬盘控制器405、键盘控制器406、串行控制器407、并行控制器408和显示控制器409。硬盘410与硬盘控制器405耦合，键盘411与键盘控制器406耦合，串行外部设备412与串行接口控制器407耦合，并行外部设备413与并行接口控制器408耦合，以及显示器414与显示控制器409耦合。应当理解，图4所述的结构框图仅仅为了示例的目的而示出的，而不是对本发明范围的限制。在某些情况下，可以根据具体情况而增加或者减少某些设备。

如上所述，参考图3描述的装置300可以通过例如芯片、ASIC、FPGA、SOC等硬件实现。这些硬件可以集成或耦合在计算机400中。此外，本发明的实施例也可以通过计算机程序产品的形式实现。例如，参考图1描述的方法可以通过计算机程序产品来实现。该计算机程序产品可以存储在例如图4所示的RAM404、ROM404、硬盘410和/或任何适当的存储介质中，或者通过网络从适当的位置下载到计算机400上。计算机程序产品可以包括计算机代码部分，其包括可由适当的处理设备(例如，图4中示出的CPU401)执行的程序指令。所述程序指令至少可以包括用于实现根据本发明的方法步骤的指令。

应当注意，本发明的实施例可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

说明书中提及的通信网络可以包括各类网络，包括但不限于局域网(“LAN”)，广域网(“WAN”)，根据IP协议的网络(例如，因特网)以及端对端网络(例如，ad hoc对等网络)。

应当注意，尽管在上文详细描述中提及了设备的若干单元，但是这种划分仅仅并非强制性的。实际上，根据本发明的实施例，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来实现。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

虽然已经参考若干具体实施例描述了本发明，但是应该理解，本发明并不限于所公开的具体实施例。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。所附权利要求的范围符合最宽泛的解释，从而包含所有这样的修改及等同结构和功能。

Claims (14)

1.一种用于管理存储器空间的方法，所述存储器空间被组织为页面，所述页面被划分为多个页面集合，每个页面集合与多个上层系统之一相关联，所述方法包括：

对所述多个上层系统进行状态监测以向所述多个上层系统指派优先级；以及

基于所述多个上层系统的优先级、以所述页面集合为单位确定释放所述存储器空间的所述页面的顺序。

2.根据权利要求1所述的方法，进一步包括：

对于与每个所述上层系统相关联的页面集合，基于所述页面集合中页面的最近使用情况而确定所述页面集合内的释放顺序。

3.根据权利要求1所述的方法，其中所述多个页面集合共享存储器空间配额，并且所述方法进一步包括：

基于释放所述存储器空间的所述页面的所述顺序，确定每个所述页面集合的页面释放量。

4.根据权利要求3所述的方法，其中确定所述页面释放量包括：

确定每个所述页面集合释放的页面与所述存储器空间配额的比例。

5.根据权利要求3所述的方法，进一步包括：

针对所述存储器空间配额设置下限阈值和上限阈值；以及

通过将每个页面集合中的存储器空间使用量与所述下限阈值和所述上限阈值进行比较以确定所述页面释放量。

6.根据权利要求1所述的方法，其中对所述多个上层系统进行状态监测包括监测以下至少一个：预定时段内的快照计数、快照的存储器消耗以及预定义的QoS设置。

7.根据权利要求1至6任一权利要求所述的方法，其中所述上层系统包括文件系统或虚拟机系统。

8.一种用于管理存储器空间的装置，所述存储器空间被组织为页面，所述页面被划分为多个页面集合，每个页面集合与多个上层系统之一相关联，所述装置包括：

状态监测单元，被配置为通过对所述多个上层系统进行状态监测而向所述多个上层系统指派优先级；以及

顺页序确定单元，被配置为基于所述多个上层系统的优先级、以所述页面集合为单位确定释放所述存储器空间的所述页面的顺序。

9.根据权利要求8所述的装置，进一步包括：

内部顺序确定单元，被配置为对于与每个所述上层系统相关联的页面集合，基于所述页面集合中页面的最近使用情况而确定所述页面集合内的释放顺序。

10.根据权利要求8所述的装置，其中所述多个页面集合共享存储器空间配额，并且所述装置进一步包括：

释放量确定单元，被配置为基于释放所述存储器空间的所述页面的所述顺序而确定每个所述页面集合的页面释放量。

11.根据权利要求10所述的装置，其中所述释放量确定单元包括：

释放比例确定单元，被配置为确定每个所述页面集合释放的页面与所述存储器空间配额的比例。

12.根据权利要求10所述的装置，进一步包括：

阈值设置单元，被配置为针对所述存储器空间配额设置下限阈值和上限阈值；以及

使用量比较单元，被配置为通过将每个页面集合中的存储器空间使用量与所述下限阈值和所述上限阈值进行比较以确定所述页面释放量。

13.根据权利要求8所述的装置，其中所述状态监测单元包括以下至少一个：

计数监测单元，被配置为监测预定时段内的快照计数；

消耗监测单元，被配置为监测快照的存储器消耗；以及

QoS监测单元，被配置为监测预定义的QoS设置。

14.根据权利要求8至13任一权利要求所述的装置，其中所述上层系统包括文件系统或虚拟机系统。