CN101986284B - 一种虚拟机镜像文件的废弃空间动态回收系统 - Google Patents

Abstract

本发明公开了一种虚拟机镜像文件的废弃空间的动态回收系统，该系统采用前后端交互结构，其中前端监控部分捕获客户虚拟机内的删除信息，它通过删除操作监控模块和删除信息检测模块实现；后端处理部分根据删除信息和当前物理存储情况，回收虚拟机镜像文件中的废弃空间，它通过信息决策模块和废弃空间回收模块实现。本发明动态地回收虚拟机镜像文件的废弃空间，提高了磁盘空间利用率，保证了虚拟化环境下足够的物理存储以及用户的利益。本发明与现有技术相比，不仅保证了客户虚拟机的服务，而且无需重新扫描虚拟机镜像文件，还可以根据物理存储情况实时调整回收策略，提高了系统的高效性和灵活性，保证了系统的动态性和低耗费，资源使用的透明性。

Description

一种虚拟机镜像文件的废弃空间动态回收系统

技术领域

本发明属于计算系统虚拟化技术领域，具体涉及一种虚拟机镜像文件的废弃空间动态回收系统。

背景技术

当前，社会越来越强调节约和资源的有效利用，因此虚拟化技术引起了工业界的广泛关注，虚拟化基础设施的研究和建设也得到了快速的发展。因为磁盘不仅具有高的存储密度，而且通过网络附加存储还具有共享性，所以存储虚拟化的关注度比内存和CPU的虚拟化等其他资源的虚拟化的关注度小。但是随着云计算的引入，虚拟机对存储空间的需求量成指数上升，与存储虚拟化的相关的存储容量高效利用成为业界关注焦点。

在以虚拟磁盘为主要存储形式的虚拟化环境中，位于物理磁盘上的虚拟机镜像文件是虚拟磁盘的存储介质。优先权宿主根据虚拟机监控器传来的信息管理和访问虚拟机镜像文件。因此，虚拟机镜像文件根据虚拟机监控器的信息完整保存用户在虚拟机中的全部数据。但是虚拟机和虚拟机监控器之间的语义隔离性使得优先权宿主不能获得虚拟机中的删除操作信息，导致虚拟机中已删除的数据仍然保存在虚拟机镜像文件中。这些位于镜像文件中的废弃数据永久性占据物理磁盘空间，导致存储空间利用率低下。

在云计算环境中，虚拟机镜像文件对存储容量的需求也成指数增长，同时，虚拟机镜像文件的废弃数据也呈指数增长。考虑到增加存储将带来高额的成本开销，例如维护，制冷和空间的开销，为大规模虚拟机服务的数据中心不可能无限地扩展存储满足虚拟机对存储需求。然而，在存储资源有限情况下，不断增长的镜像文件的废弃空间长期占据磁盘空间，导致没有足够的空间分配给新的虚拟机。另一方面，根据使用物理存储的时间和占用的物理磁盘空间付费，用户不得不为已经删除的数据持续付费。在这一背景下，为虚拟机镜像文件的管理提供废弃空间的回收显得尤为重要，这样不仅提高磁盘空间利用率和虚拟化存储的高效性，而且保证了用户的利益。

目前威睿，微软，IBM在虚拟机镜像文件的存储管理方面提供废弃空间回收的功能。这些方法通过压缩镜像文件方式释放废弃数据，从而提高磁盘空间利用率。但是这些方法都必须在中断虚拟机的服务情况下启动，并在用户参与下运行，这样极大地影响了虚拟机的可用性。当然目前也存在不影响虚拟机可用性的废弃空间回收机制，例如Parallax虚拟机集群文件系统提供的垃圾空间回收器。Parallax的垃圾空间回收器利用检查点实时记录用户的删除操作，通过扫描一遍镜像文件的检查点，找到对应的检查点后回收废弃空间。该系统除了需要保存删除操作记录，还必须花费时间去扫描和检索删除检查点，这样将带来不必要的空间和时间开销。

发明内容

本发明针对现有虚拟机环境中废弃数据回收技术的不足，提出一种虚拟机镜像文件的废弃空间动态回收系统，该系统灵活性高，通过监控客户虚拟机中删除操作，优先权宿主动态回收虚拟机镜像文件的废弃数据占据的空间，保证了虚拟机服务质量，最大程度地提高存储空间利用率。

一种虚拟机镜像文件的废弃空间动态回收系统，包括位于客户虚拟机内的获取删除信息的前端监控部分，及位于优先权宿主内的依据删除信息回收虚拟机镜像文件废弃空间的后端处理部分。

所述前端监控部分包括删除操作监控模块1和删除信息检测模块2，删除操作监控模块1捕获用户删除操作，获取待删除数据的大小及其虚拟地址集，并将这些信息传送给删除信息检测模块2，删除信息检测模块2在客户虚拟机中按照虚拟地址集确认待删除数据是否已被删除，若已删除，则将待删除数据的大小和虚拟地址集作为删除信息传递给后端处理部分；

所述后端处理部分包括信息决策模块3和删除执行模块4，信息决策模块3接收来自删除信息检测模块2的待删除数据大小和虚拟地址集，根据待删除数据大小和物理存储情况，决定是否回收待删除数据对应在虚拟机镜像文件中的废弃数据，若决定回收，则将删除数据的虚拟地址集传送给删除执行模块4；删除执行模块4将虚拟地址集转化为虚拟机镜像文件中对应的废弃数据的位置信息，依据该位置信息获取逻辑地址，去除逻辑地址与物理地址的映射关系实现废弃数据块回收，并将当前物理存储情况反馈给信息决策模块3。

所述删除信息监控模块1包括操作过滤模块11和信息获取模块12；操作过滤模块11执行删除操作捕获并传给信息获取模块12；信息获取模块12根据删除操作获取待删除数据的大小和虚拟地址集，并将这些信息传给删除信息检测模块2。

所述删除信息检测模块2包括安全检测模块21、信息缓存区22和信息发送模块23；安全检测模块21在客户虚拟机中按照虚拟地址集确认待删除数据是否已被删除，若已删除，则将待删除数据的大小和虚拟地址集作为删除信息存入信息缓存区22，同时启动信息发送模块23；信息缓存区22用于缓存有效的删除信息，等待信息发送模块23读取后，清空该信息；信息发送模块23信息发送模块从信息缓存区22读取最新删除信息并传送给所述信息决策模块3。

所述信息决策模块3包含信息接收模块31、删除信息数据库32、信息解析模块33、阈值比较模块34和虚拟地址缓冲区35；信息接收模块31接收来自删除信息检测模块2的删除信息，将删除信息存入删除信息数据库32；删除信息数据库32用来存储删除信息，每条删除信息记录包含待删除数据的大小及其虚拟地址集；信息解析模块33读取删除信息数据库32的记录，获取预存的虚拟机镜像文件的位置和大小，将这些镜像文件相关信息与删除信息一起传给阈值比较模块34；阈值比较模块34将待删除数据与镜像文件大小的比值与阈值作比较，决定是否回收镜像文件废弃空间，如比值大于阈值，则启动删除执行模块4，并将虚拟地址集和镜像文件位置信息存入虚拟地址缓冲区35；虚拟地址缓冲区35用于缓存镜像文件位置信息和待删除数据的虚拟地址集。

所述删除执行模块4包含虚拟地址解析器41和废弃空间回收模块42；虚拟地址解析器41接收来自信息决策模块3的虚拟地址集，根据虚拟机镜像文件格式，将虚拟地址集转化为在虚拟机镜像文件中对应的废弃数据的位置信息，并传送给废弃空间回收模块42；废弃空间回收模块42根据文件系统的布局和来自虚拟地址解析器41的位置信息，找到该位置信息的逻辑地址，去除逻辑地址与对应的物理数据块间的映射实现数据块回收。

本发明的虚拟机镜像文件的废弃空间动态回收系统具有以下优点及效果：

(1)高效性：当用户在客户虚拟机中删除时，本系统能马上记录删除信息并解析删除信息，从块级别将虚拟机镜像文件中的废弃空间回收。因此，不需要额外再扫描一遍镜像文件，也不需要额外的内存空间来存放临时数据。

(2)灵活性：删除执行模块可以在保证虚拟机运行和用户服务同时，将对应虚拟机镜像文件的废弃空间回收。因此，本系统在不需要中断虚拟机服务情况下就可以灵活地回收废弃空间。

(3)动态性：本系统利用阈值比较的方法，根据虚拟机内删除文件的大小自动决策是否将虚拟机镜像文件的废弃数据块回收。此外，系统能够根据当前物理存储情况动态调整阈值，从而减小系统的开销。

(4)透明性：整个废弃空间回收过程涉及到删除操作自动捕获，各模块之间的通信，信息决策，虚拟地址解析等，这些过程对用户来说是完全透明的，用户不需要参与其中。

(5)高效磁盘空间利用率：本系统将镜像文件中的废弃空间回收，减小了镜像文件的冗余数据，提高了磁盘空间利用率，优化了虚拟化环境下的虚拟机磁盘存储。

附图说明

图1：本发明虚拟机镜像文件的废弃空间的动态回收系统的体系结构图。

图2：本发明虚拟机镜像文件的废弃空间的动态回收系统流程图。

图3：删除操作监控模块的结构示意图。

图4：删除信息检测模块的结构示意图。

图5：信息决策模块的结构示意图。

图6：删除执行模块的结构示意图。

图7：删除执行模块回收废弃数据流程图。

具体实施方式

下面结合附图对本发明进一步详细的说明。

本发明虚拟机镜像文件的废弃空间动态回收系统，服务器上有N台客户虚拟机和一个优先权宿主，N≥1。优先权宿主管理和访间物理存储上的虚拟机镜像文件，虚拟机镜像文件作为客户虚拟机的存储介质为虚拟机提供了虚拟磁盘。因此，客户虚拟机中的文件位于虚拟磁盘上的地址称为虚拟地址，该虚拟地址依据虚拟机镜像文件的格式可以转化为优先权宿主可识别的文件偏移地址，该文件偏移地址通过优先权宿主的文件系统可以转化为数据块的逻辑地址，数据块的逻辑地址都对应一个底层硬件可识别的物理地址。

如图1所示，本发明系统分成前后端两个部分：前端监控部分在客户虚拟机中监控和获取用户删除数据的信息；后端处理部分在优先权宿主中对虚拟机镜像文件的废弃空间进行回收。前后两端相互协作共同完成系统操作。

系统的前端监控分布在各个客户虚拟机中时刻为镜像文件回收提供有效信息的关键，其主要包括了删除操作监控模块1和删除信息检测模块2。删除操作监控模块1通过捕获用户的删除操作获取待删除数据的大小及其虚拟地址集，然后将这些删除信息传给删除信息检测系统。删除信息检测模块2主要检测待删除数据是否已经被客户虚拟机的操作系统删除，当检测待删除数据已经删除，则将删除操作监控模块传来的信息作为删除信息，并通过网络将删除信息传送给本系统在优先权宿主的后端处理部分。

系统的后端处理部分是整个系统的处理核心部分，是连接接收前端的删除信息和对虚拟机镜像文件处理的枢纽。后端处理接收前端删除信息后，对信息进行处理后，再根据处理后的信息对虚拟机镜像文件进行处理。根据工作原理，后端处理部分主要包括信息决策模块3和删除执行模块4。信息决策模块3接收前端部分传来的删除信息，然后根据当前物理存储情况和删除信息，决定是否回收废弃数据块。假如信息决策模块3决定回收废弃数据块，将删除信息中的虚拟地址集传给删除执行模块4。删除执行模块4通过解析虚拟地址集，确定虚拟机镜像文件中的废弃数据的位置，然后根据位置信息回收对应的废弃数据块。此外，本发明系统动态回收镜像文件废弃空间的流程如图2所示。当用户在其中一个客户虚拟机中删除文件时，操作系统进行删除操作调用，删除操作监控模块1在系统调用层捕获删除操作，检查待删除数据的节点是否有效，假如节点有效，则删除操作监控模块1获取待删除数据的大小和虚拟地址集，并将这些信息传给删除数据检测模块2。当删除数据检测模块2接收到这些信息后，检查待删除数据是否被客户虚拟机的操作系统删除，假如待删除数据确实已经被删除，则将待删除数据的大小和虚拟地址集作为删除信息存入信息缓存区，当信道空闲时，则将删除信息传输给优先权宿主进行处理。优先权宿主中的信息决策模块3接收删除信息，为了避免删除信息丢失，将该删除信息存入删除信息数据库。然后，信息决策模块3从删除信息数据库中读取和解析这条删除信息，，获取虚拟机内待删除数据的大小和虚拟地址集然后将待删除数据的大小与当前客户虚拟机对应的虚拟机镜像文件大小的比值同阈值相比较。假如超过阈值，信息决策模块3将虚拟地址集传给删除执行模块4。删除执行模块4根据虚拟地址集确定镜像文件中的废弃数据位置，并根据废弃数据的位置从底层将镜像文件的废弃数据块释放。

下面举例对本发明虚拟机镜像文件的废弃空间动态回收系统各功能模块的具体构成进行详细介绍。

如图3所示，前端监控部分的删除操作监控模块1由操作过滤模块11和信息获取模块12组成。操作过滤模块11位于系统调用层，过滤所有系统调用的信息，一旦发现删除系统调用，立刻捕获删除操作，并启动信息获取模块12。信息获取模块12是获取有效的删除信息并将该信息给删除信息检测模块。检测待删除数据的节点，若节点有效，信息获取模块12利用节点的信息获取待删除数据的大小，并调用文件系统的布局映射函数获取待删除数据的虚拟地址集，然后将这些信息实时传给应用层的删除信息检测模块2。

如图4所示，删除信息检测模块2包含安全检测模块21，信息缓存区22和信息发送模块23。安全检测模块21接收来自信息获取模块12传来的待删除数据的大小和虚拟地址集，检测删除信息对应的待删除数据是否已经从客户虚拟机中删除，假如待删除数据已经删除，则将待删除数据的大小和虚拟地址集合作为删除信息存入信息缓存区22，并通知信息发送模块23。信息缓存区22用来存放删除信息，当信息发送模块23读取后，清除该条信息。信息发送模块23接到删除检测模块通知，检测信道是否空闲，假如信息空闲，则从信息缓存区读取删除信息22，并将该删除信息传给优先权宿主中的信息决策模块3。

如图5所示，后端处理部分的信息决策模块3包含信息接收模块31，删除信息数据库32，信息解析模块33，阈值比较模块34和虚拟地址缓冲区35。

信息接收模块31接收来自信息发送模块23的删除信息，本实例涉及多个客户虚拟机，因此删除信息除了包含待删除数据大小和虚拟地址集信息外，还包含有客户虚拟机的IP地址。将IP地址、删除数据的大小和虚拟地址集作为一条记录存入删除信息数据库32。删除信息数据库32作为信息决策模块的中转站，等待信息解析模块33处理后，清除信息。信息解析模块33一旦发现删除信息数据库中新的数据更新，则读取新的记录。信息解析模块33根据事先预存的客户虚拟机IP地址和虚拟机镜像文件映射关系，获取记录里IP地址对应的虚拟机镜像文件的大小和位置，将包含虚拟机镜像文件的位置和大小，删除数据的大小和虚拟地址记录传给阈值比较模块34。阈值比较模块34根据存储空间情况提供一个阈值，读取传来记录中的数据大小和虚拟机镜像文件大小，将删除数据大小与虚拟机镜像文件大小的比值与阈值比较，如超过阈值，则将对应镜像文件的位置和虚拟地址集存入虚拟地址缓冲区35。此外，阈值比较模块中的阈值在每次删除执行模块4每次进行删除前，将根据存储情况实时调整。本实例中阈值的初始值为磁盘可用空间占用率大小，当磁盘可用空间占用率增加时，阈值线性增加，当磁盘空间占用率减少时，阈值减半。虚拟地址缓冲区35负责缓冲镜像文件位置和虚拟地址集，并等待删除执行模块4读取。

如图6所示，从功能原理上，删除执行模块4包含虚拟地址解析器41和废弃空间回收模块42。虚拟地址解析器41读取虚拟地址缓冲区35中的记录，根据对应的虚拟镜像文件的格式，将虚拟地址转换为废弃数据在镜像文件中的偏移位置，最后启动废弃空间回收模块42。废弃空间回收模块42利用文件系统的布局和废弃数据的偏移位置，找到废弃数据块对应的逻辑地址，然后释放废弃数据块的逻辑地址与对应的物理地址间的映射，从而回收虚拟机镜像文件的废弃空间。

如图7所示，删除执行模块4灵活运用虚拟地址解析器41和废弃空间回收模块42之间的协作回收镜像文件的废弃空间流程。当虚拟地址缓冲区35有新的数据更新，虚拟地址解析器41读取虚拟地址缓冲区35的虚拟地址集并存入一个数组，首先读入第一个虚拟地址，利用虚拟机镜像文件的格式将虚拟地址转化为在镜像文件中的偏移位置，并将该偏移位置设置为当前废弃数据的起始偏移位置，然后循环的读入每一个虚拟地址，并转换为在镜像文件中的偏移位置，假如当前的偏移位置与上一个偏移位置相差一个块的大小，则将距离当前偏移位置一个块字节数的偏移位置设置为当前废弃数据的终结位置，并继续读取下一个虚拟地址；假如不是，则将则将距离上一个偏移位置一个块字节数的偏移位置设置为当前废弃数据的终结位置，然后，废弃空间回收模块42利用文件系统布局，找到当前废弃数据对应的废弃数据块的逻辑地址，并释放废弃数据块逻辑地址与对应的物理地址间的映射，当回收废弃数据块后，将当前的偏移位置设置为新的废弃数据的起始位置，读取下一个虚拟地址。这个循环持续到虚拟地址数组中的虚拟地址全部读出。根据流程图7所示，删除执行模块4在不需要暂停客户虚拟机运行的情况下能够成功回收虚拟机镜像文件的废弃空间。

实例：

为了验证本发明系统的可行性和有效性，在真实环境下配置本发明系统，对三个虚拟机镜像文件进行实验。服务器装载Xen虚拟机平台，基于三个虚拟机镜像文件创建了三台客户虚拟机，三个客户虚拟机分别安装ext3文件系统和Rehat5操作系统，ext2文件系统和Redhat5操作系统，Windows操作系统，详细实验环境配置如表1所示。

在Xen的优先权宿主上部署的服务插件有信息决策模块3和删除执行模块4，在三个客户虚拟机中部署的服务插件有删除操作监控模块1和删除信息检测模块。

在三个客户虚拟机中分别执行删除文件操作，前端监控部分捕获到删除操作，并获取待删除数据的节点，假如节点有效，则获取待删除数据的大小和虚拟地址集，待删除数据在客户虚拟机中删除后，前端监控将包含待删除数据的大小和虚拟地址集，以及客户虚拟机IP地址的删除信息传给位于优先权宿主的后端处理部分，后端处理部分将传来删除信息存入删除信息数据库中，然后逐条取出记录进行解析。后端根据预存的客户虚拟机IP地址和虚拟机镜像文件映射关系找到客户虚拟机对应的虚拟机镜像文件，将删除数据大小与虚拟镜像文件大小的比值同阈值相比较。假如比值超出阈值，后端处理部分找到虚拟地址集对应的虚拟机镜像文件中废弃数据，回收虚拟机镜像文件的废弃空间。

表1实验配置环境

Claims (5)

1.一种虚拟机镜像文件的废弃空间动态回收系统，包括位于客户虚拟机内的获取删除信息的前端监控部分，及位于优先权宿主内的依据删除信息回收虚拟机镜像文件废弃空间的后端处理部分；

所述前端监控部分包括删除操作监控模块(1)和删除信息检测模块(2)，删除操作监控模块(1)捕获用户删除操作，获取待删除数据的大小及其虚拟地址集，并将这些信息传送给删除信息检测模块(2)，删除信息检测模块(2)在客户虚拟机中按照虚拟地址集确认待删除数据是否已被删除，若已删除，则将待删除数据的大小和虚拟地址集作为删除信息传递给后端处理部分；

所述后端处理部分包括信息决策模块(3)和删除执行模块(4)，信息决策模块(3)接收来自删除信息检测模块(2)的待删除数据大小和虚拟地址集，根据待删除数据大小和物理存储情况，决定是否回收待删除数据对应在虚拟机镜像文件中的废弃数据，若决定回收，则将删除数据的虚拟地址集传送给删除执行模块(4)；删除执行模块(4)将虚拟地址集转化为虚拟机镜像文件中对应的废弃数据的位置信息，依据该位置信息获取逻辑地址，去除逻辑地址与物理地址的映射关系实现废弃数据块回收，并将当前物理存储情况反馈给信息决策模块(3)。

2.根据权利要求1所述的废弃空间动态回收系统，其特征在于，所述删除操作监控模块(1)包括操作过滤模块(11)和信息获取模块(12)；

操作过滤模块(11)执行删除操作捕获并传给信息获取模块(12)；

信息获取模块(12)根据删除操作获取待删除数据的大小和虚拟地址集，并将这些信息传给删除信息检测模块(2)。

3.根据权利要求1所述的废弃空间动态回收系统，其特征在于，所述删除信息检测模块(2)包括安全检测模块(21)、信息缓存区(22)和信息发送模块(23)；

安全检测模块(21)在客户虚拟机中按照虚拟地址集确认待删除数据是否已被删除，若已删除，则将待删除数据的大小和虚拟地址集作为删除信息存入信息缓存区(22)，同时启动信息发送模块(23)；

信息缓存区(22)用于缓存有效的删除信息，等待信息发送模块(23)读取后，清空该信息；

信息发送模块(23)从信息缓存区(22)读取最新删除信息并传送给所述信息决策模块(3)。

4.根据权利要求1所述的废弃空间动态回收系统，其特征在于，所述信息决策模块(3)包含信息接收模块(31)、删除信息数据库(32)、信息解析模块(33)、阈值比较模块(34)和虚拟地址缓冲区(35)；

信息接收模块(31)接收来自删除信息检测模块(2)的删除信息，将删除信息存入删除信息数据库(32)；

删除信息数据库(32)用来存储删除信息，每条删除信息记录包含待删除数据的大小及其虚拟地址集；

信息解析模块(33)读取删除信息数据库(32)的记录，获取预存的虚拟机镜像文件的位置和大小，将这些镜像文件相关信息与删除信息一起传给阈值比较模块(34)；

阈值比较模块(34)将待删除数据与镜像文件大小的比值与阈值作比较，决定是否回收镜像文件废弃空间，如比值大于阈值，则启动删除执行模块(4)，并将虚拟地址集和镜像文件位置信息存入虚拟地址缓冲区(35)；

虚拟地址缓冲区(35)用于缓存镜像文件位置信息和待删除数据的虚拟地址集。

5.根据权利要求1所述废弃空间的动态回收系统，其特征在于，所述删除执行模块(4)包含虚拟地址解析器(41)和废弃空间回收模块(42)；

虚拟地址解析器(41)接收来自信息决策模块(3)的虚拟地址集，根据虚拟机镜像文件格式，将虚拟地址集转化为在虚拟机镜像文件中对应的废弃数据的位置信息，并传送给废弃空间回收模块(42)；废弃空间回收模块(42)根据文件系统的布局和来自虚拟地址解析器(41)的位置信息，找到该位置信息的逻辑地址，去除逻辑地址与对应的物理数据块间的映射实现数据块回收。

Images