CN107544834A - 一种镜像文件收缩方法、装置和机器可读存储介质 - Google Patents

Abstract

本申请公开了一种镜像文件收缩方法、装置和机器可读存储介质。该镜像文件收缩方法检测虚拟机的磁盘空间使用情况，获取虚拟机中待回收的磁盘块号；根据虚拟机磁盘块号与镜像文件块号，以及镜像文件块号与物理机磁盘块号的映射关系，将所述虚拟机中待回收的磁盘块号映射为待回收的物理机磁盘块号；控制物理机释放所述待回收的物理机磁盘块。本申请通过检测虚拟机镜像文件未使用的磁盘空间，并将虚拟机磁盘空间对应的物理机磁盘空间释放掉，达到提高物理机的磁盘空间利用率的目的。

Description

一种镜像文件收缩方法、装置和机器可读存储介质

技术领域

本申请涉及计算机文件处理技术领域，特别涉及一种镜像文件收缩方法、装置和机器可读存储介质。

背景技术

虚拟化技术在系统中加入了一个虚拟化层，将下层的资源抽象成另一种形式的资源，供上层使用。虚拟机内部的文件被写入到磁盘镜像文件中，而磁盘镜像文件保存在宿主机(即物理机)的文件系统中。

磁盘镜像文件一般采用写时分配策略，即在虚拟机内部向虚拟机磁盘写数据的时候，才会使镜像文件的所占用的物理机的磁盘空间变大。但是，当在虚拟机内部删除文件的时候，并不能使已经删除的虚拟机文件对应的物理机磁盘空间被释放。例如，创建一个2GB的磁盘镜像文件，它的最初大小可能仅为十几KB，随着写入的数据不断增加，它的大小最多可以增长到约2GB，但删除数据并不会使它的大小减少。

基于这种特性，镜像文件一旦写入数据，其文件大小就会增长，即使以后删除数据也不会使文件减小，因此这部分删除的数据相当于仍然占用物理机的磁盘空间，当虚拟机长期使用后，会导致物理机的磁盘空间利用率变低。

发明内容

本申请提供一种镜像文件收缩方法、装置和机器可读存储介质，以解决目前的虚拟机镜像文件即使删除数据也不使文件大小减小，浪费物理机存储空间的问题。

为达到上述目的，本申请的技术方案是这样实现的：

一方面，本申请提供了一种镜像文件收缩方法，应用于物理机，该物理机上运行有虚拟机，所述方法包括：

检测虚拟机的磁盘空间使用情况，获取虚拟机中待回收的磁盘块号；

根据虚拟机磁盘块号与镜像文件块号，以及镜像文件块号与物理机磁盘块号的映射关系，将所述虚拟机中待回收的磁盘块号映射为待回收的物理机磁盘块号；

控制物理机释放所述待回收的物理机磁盘块。

另一方面，本申请提供了一种镜像文件收缩装置，应用于物理机，该物理机上运行有虚拟机，该装置包括：磁盘块探测组件、空间探测子系统和空间释放子系统；

磁盘块探测组件，用于检测虚拟机的磁盘空间使用情况；

空间探测子系统，用于驱动磁盘块探测组件检测虚拟机的磁盘空间使用情况，获取虚拟机中待回收的磁盘块号，并根据虚拟机磁盘块号与镜像文件块号，以及镜像文件块号与物理机磁盘块号的映射关系，将所述虚拟机中待回收的磁盘块号映射为待回收的物理机磁盘块号；

空间释放子系统，用于控制物理机释放所述待回收的物理机磁盘块。

另一方面，本申请提供了一种镜像文件收缩装置，包括处理器和机器可读存储介质，该机器可读存储介质存储有能够被处理器执行的机器可执行指令，该处理器被机器可执行指令促使：执行上述的镜像文件收缩方法。

另一方面，本申请提供了一种机器可读存储介质，存储有机器可执行指令，在被处理器调用和执行时，该机器可执行指令促使处理器：执行上述的镜像文件收缩方法。

本申请的有益效果是：通过检测虚拟机中镜像文件未使用的磁盘空间，利用虚拟机磁盘块与镜像文件块，镜像文件块与物理机磁盘块之间的映射关系，将虚拟机中镜像文件未使用的磁盘块对应的物理机磁盘块释放，以收缩镜像文件的大小，提高物理机的磁盘空间利用率。

附图说明

图1为本申请实施例提供的一种镜像文件收缩方法流程图；

图2为本申请实施例提供的一种检测工具的结构示意图；

图3为本申请实施例提供的一种镜像文件映射关系示意图；

图4为本申请实施例提供的一种镜像文件收缩装置结构框图；

图5为本申请实施例示出的一种镜像文件收缩装置的硬件结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

虚拟化技术通过在一台物理机上运行VMM(Virtual Machine Monitor，虚拟机监控器)，将一台物理机虚机化为多台虚拟机，虚拟化软件模拟出的每台虚拟机都是一个完整的系统，它具有处理器、内存、网络设备、存储设备。

当虚拟机内部写一个文件的时候，虚拟机操作系统(GUSET OS)内部所运行的文件系统会将上述的写文件请求转换成写虚拟机磁盘块的请求，虚拟化软件将写虚拟机磁盘块请求转换成一个写物理机镜像文件的文件写请求，同时，虚拟化软件将虚拟机磁盘块到镜像文件的映射关系保存到镜像文件中；然后，物理机为镜像文件分配磁盘块，将磁盘块与镜像文件关联后，将写物理机镜像文件的文件写请求中的数据部分写入磁盘块，并向虚拟化软件返回写入完成应答；虚拟化软件将在收到物理机文件系统的写入完成应答后，向虚拟机GEUST OS返回写入应答，至此，由虚拟机内部发起的一个写IO完成。

而对于虚拟机内部的文件删除动作，GUEST OS运行的文件系统，在收到删除指令后，更改文件系统对应的磁盘空间管理数据，以释放虚拟机的磁盘空间；但物理机的文件系统并不能感知虚拟机究竟在删除文件还是在写新文件，也即无法对物理机的磁盘空间进行相应的管理。由此，当虚拟机长期使用后，会导致物理机的磁盘空间利用率变低。

本实施例针对上述情况，提供了一种镜像文件收缩方法，检测虚拟机镜像文件未使用的磁盘空间，并将虚拟机磁盘空间对应的物理机磁盘空间释放掉，以此来提高物理机的磁盘空间利用率。

图1为本申请实施例提供的一种镜像文件收缩方法流程图，该镜像文件收缩方法应用于物理机，物理机上运行有虚拟机。

如图1所示，该方法包括：

S110，检测虚拟机的磁盘空间使用情况，获取虚拟机中待回收的磁盘块号。

为了确保在检测虚拟机磁盘空间的过程中，虚拟机的磁盘空间的使用情况不会一直变化，本实施例优选地在虚拟机关机的情况，检测虚拟机的磁盘空间使用情况。

在虚拟机关机的状态下，可以通过挂载类工具，如挂载工具qemu-nbd将虚拟机的磁盘挂载到物理机上，使物理机可检测虚拟机的磁盘空间使用情况。

QEUM是linux平台上面的一个开源项目，其作用是在物理机上模拟虚拟机的硬件设备，例如CPU和磁盘等外设。随QEMU一同发布的外围工具包括qemu-nbd、qemu-img等，qemu-nbd可以将QEUM创建的qcow2或者raw格式的磁盘镜像文件挂载到物理机上，而后物理机可以像访问块设备一样访问qcow2或者raw格式的磁盘镜像文件。

通常虚拟机都会默认分配一个逻辑空间，未被使用的空间包括自始未被分配使用的空间和曾经被分配使用过但现在已不再使用的空间，本实施例所述的待回收的磁盘块可以理解为曾经被分配使用过但现在已不再使用的磁盘块。

S120，根据虚拟机磁盘块号与镜像文件块号，以及镜像文件块号与物理机磁盘块号的映射关系，将虚拟机中待回收的磁盘块号映射为待回收的物理机磁盘块号。

如前文所述，在虚拟机内部的文件系统进行写IO操作时，会将虚拟机磁盘块到镜像文件的映射关系保存到镜像文件中，物理机的文件系统会将磁盘块与镜像文件关联，即物理机的文件系统会建立物理机磁盘块与镜像文件块的映射关系。因此，本实施例可根据已存在的虚拟机磁盘块号与镜像文件块号之间的映射关系，镜像文件块号与物理机磁盘块号的映射关系，将虚拟机中待回收的磁盘块号映射为待回收的物理机磁盘块号。

S130，控制物理机释放待回收的物理机磁盘块。

实际应用中，在释放待回收的物理机磁盘块后，还应更新上述虚拟机磁盘块号与镜像文件块号的映射关系，即解除虚拟机中待回收的磁盘块号与镜像文件块号的映射关系。

本申请实施例通过检测虚拟机中镜像文件未使用的磁盘空间，利用已存在的虚拟机磁盘块与镜像文件块，镜像文件块与物理机磁盘块之间的映射关系，将虚拟机中镜像文件未使用的磁盘块对应的物理机磁盘块释放，以收缩镜像文件的大小，提高物理机的磁盘空间利用率。

由于虚拟机不同的文件系统对应不同的磁盘空间管理方式，因此在检测虚拟机的磁盘空间使用情况时，需要检测虚拟机使用的文件系统，根据文件系统的类型启动相应的磁盘块侦测组件，利用所启动的磁盘块侦测组件遍历虚拟机使用的文件系统，记录虚拟机的磁盘块的使用情况，获知虚拟机的哪些磁盘块可回收。

为详细说明本实施例收缩镜像文件的方法，本实施例通过下述一个实现方案具体说明。

本实现方案基于图1所述的方法设计了一种检测工具，用于收缩镜像文件。如图2所示，该检测工具包括三个子系统，分别为虚拟机磁盘空间检测子系统、物理机磁盘空间释放子系统和虚拟机镜像挂载子系统。

由于虚拟机不同的文件系统对应不同的磁盘空间管理方式，因此需要针对文件系统类型设计相应的磁盘空间侦测组件；如针对XFS文件系统(日志文件系统)设计XFS磁盘空间侦测组件，针对EXT4文件系统(第四代扩展文件系统)设计EXT4磁盘空间侦测组件，针对btrfs文件系统(copy-on-write式文件系统)设计btrfs磁盘空间侦测组件，针对NTFS文件系统(新技术文件系统)设计NTFS磁盘空间侦测组件。

该检测工具运行在物理机上，其虚拟机镜像挂载子系统在虚拟机关机状态下连接虚拟机的磁盘，使得即便在虚拟机关机时，物理机也能通过虚拟机磁盘空间检测子系统直接侦测虚拟机的磁盘使用情况；虚拟机磁盘空间检测子系统对接多种可被虚拟机所使用的文件系统，并针对每种文件系统提供抽象方法，由相应类型的文件系统的磁盘空间侦测组件实现该抽象方法，以使磁盘空间侦测组件向虚拟机磁盘空间检测子系统报告虚拟机磁盘空间中的哪些磁盘块可以被回收；虚拟机磁盘空间检测子系统向物理机磁盘空间释放子系统下发释放磁盘空间的指令，并修改虚拟机磁盘块与镜像文件块之间的映射关系。

将虚拟机关机，并通过检测工具的虚拟机镜像挂载子系统将虚拟机的磁盘块设备挂载到物理机。示例性地，可利用qemu-nbd工具实现虚拟机镜像挂载子系统的功能，将虚拟机的磁盘块设备挂载到物理机。

在物理机上运行该检测工具，利用该检测工具进行镜像文件收缩，具体过程为：

首先，虚拟机磁盘空间检测子系统检测虚拟机使用的文件系统，根据所使用的文件系统类型，启动相应的磁盘空间侦测组件。

其次，磁盘空间侦测组件遍历文件系统，记录未使用的虚拟机磁盘块号，并将未使用的虚拟机磁盘块号通知给物理机磁盘空间释放子系统。

然后，物理机磁盘空间释放子系统将虚拟机磁盘块号映射为镜像文件块号，再映射为物理机磁盘块号。

最后，物理机磁盘空间释放子系统将物理机的磁盘块释放，并解除虚拟机磁盘块与镜像文件块之间的映射关系。

假设，虚拟机的文件系统中本有两个文件A和B，如图3所示，A文件所占用的虚拟机磁盘块、镜像文件块和物理机磁盘块都用填充了反斜线的框图表示，B文件所占用的虚拟机磁盘块、镜像文件块和物理机磁盘块都用填充了斜线的框图表示，当删除了B文件后，在虚拟机的文件系统中的被删除的磁盘块即是没有被使用且其对应的物理机的磁盘块可释放，即图3中物理机磁盘空间所在行的三个被填充斜线的框图对应的磁盘块可被释放掉。

与上述镜像文件收缩方法相对应的，本申请还提供了镜像文件收缩装置。

图4为本申请实施例提供的一种镜像文件收缩装置结构框图，该镜像文件收缩装置应用于物理机，该物理机上运行有虚拟机。

如图4所示，该装置40包括磁盘块探测组件41、空间探测子系统42和空间释放子系统43；

磁盘块探测组件41，用于检测虚拟机的磁盘空间使用情况；

空间探测子系统42，用于驱动磁盘块探测组件检测虚拟机的磁盘空间使用情况，获取虚拟机中待回收的磁盘块号，并根据虚拟机磁盘块号与镜像文件块号，以及镜像文件块号与物理机磁盘块号的映射关系，将所述虚拟机中待回收的磁盘块号映射为待回收的物理机磁盘块号；

空间释放子系统43，用于控制物理机释放待回收的物理机磁盘块。

本实施例通过检测虚拟机中镜像文件未使用的磁盘空间，利用已存在的虚拟机磁盘块与镜像文件块，镜像文件块与物理机磁盘块之间的映射关系，将虚拟机中镜像文件未使用的磁盘块对应的物理机磁盘块释放，以收缩镜像文件的大小，提供物理机的磁盘空间利用率。

在本申请的一个实现方案中，空间探测子系统42，用于检测虚拟机使用的文件系统，根据文件系统的类型启动相应类型的磁盘块探测组件，利用磁盘块侦测组件遍历虚拟机使用的文件系统，获取虚拟机中待回收的磁盘块号。

在实际应用中，空间探测子系统43，还用于在物理机释放所述待回收的物理机磁盘块后，解除所述虚拟机中待回收的磁盘块号与镜像文件块号的映射关系。

图4所示的装置还包括镜像挂载子系统，用于在虚拟机关机状态下，将虚拟机的磁盘挂载到物理机上，使物理机可检测虚拟机的磁盘空间使用情况。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本申请提供的镜像文件收缩装置可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，参照图5所示，本申请提供的镜像文件收缩装置40可包括处理器501、存储有机器可执行指令的机器可读存储介质502。处理器501与机器可读存储介质502可经由系统总线503通信。并且，通过读取并执行机器可读存储介质502中与镜像文件收缩逻辑对应的机器可执行指令，处理器501可执行上文描述的镜像文件收缩方法。

本申请中提到的机器可读存储介质502可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、DVD等)，或者类似的存储介质，或者它们的组合。

根据本申请公开的示例，本申请还提供了一种包括机器可执行指令的机器可读存储介质，例如图5中的机器可读存储介质502，所述机器可执行指令可由镜像文件收缩装置40中的处理器501执行以实现以上描述的镜像文件收缩方法。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (10)

1.一种镜像文件收缩方法，其特征在于，应用于物理机，所述物理机上运行有虚拟机，所述方法包括：

检测虚拟机的磁盘空间使用情况，获取虚拟机中待回收的磁盘块号；

根据虚拟机磁盘块号与镜像文件块号，以及镜像文件块号与物理机磁盘块号的映射关系，将所述虚拟机中待回收的磁盘块号映射为待回收的物理机磁盘块号；

控制物理机释放所述待回收的物理机磁盘块。

2.根据权利要求1所述的镜像文件收缩方法，其特征在于，在检测虚拟机的磁盘空间使用情况前，该方法还包括：

在虚拟机关机状态下，将虚拟机的磁盘挂载到物理机上，使物理机检测虚拟机的磁盘空间使用情况。

3.根据权利要求2所述的镜像文件收缩方法，其特征在于，所述检测虚拟机的磁盘空间使用情况包括：

检测虚拟机使用的文件系统，根据文件系统的类型启动相应的磁盘块侦测组件；

利用磁盘块侦测组件遍历虚拟机使用的文件系统，获取虚拟机中待回收的磁盘块号。

4.根据权利要求3所述的镜像文件收缩方法，其特征在于，在物理机释放所述待回收的物理机磁盘块后，该方法还包括：

解除所述虚拟机中待回收的磁盘块号与镜像文件块号的映射关系。

5.一种镜像文件收缩装置，其特征在于，应用于物理机，所述物理机上运行有虚拟机，该装置包括：磁盘块探测组件、空间探测子系统和空间释放子系统；

所述磁盘块探测组件，用于检测虚拟机的磁盘空间使用情况；

所述空间探测子系统，用于驱动磁盘块探测组件检测虚拟机的磁盘空间使用情况，获取虚拟机中待回收的磁盘块号，并根据虚拟机磁盘块号与镜像文件块号，以及镜像文件块号与物理机磁盘块号的映射关系，将所述虚拟机中待回收的磁盘块号映射为待回收的物理机磁盘块号；

所述空间释放子系统，用于控制物理机释放所述待回收的物理机磁盘块。

6.根据权利要求5所述的镜像文件收缩装置，其特征在于，该检测装置还包括镜像挂载子系统；

所述镜像挂载子系统，用于在虚拟机关机状态下，将虚拟机的磁盘挂载到物理机上，使物理机上的磁盘块探测组件检测虚拟机的磁盘空间使用情况。

7.根据权利要求6所述的镜像文件收缩装置，其特征在于，所述空间探测子系统，用于检测虚拟机使用的文件系统，根据文件系统的类型启动相应类型的磁盘块探测组件，利用所述磁盘块侦测组件遍历虚拟机使用的文件系统，获取虚拟机中待回收的磁盘块号。

8.根据权利要求7所述的镜像文件收缩装置，其特征在于，所述空间释放子系统，还用于在物理机释放所述待回收的物理机磁盘块后，解除所述虚拟机中待回收的磁盘块号与镜像文件块号的映射关系。

9.一种镜像文件收缩装置，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使：执行如权利要求1～4任一所述的镜像文件收缩方法。

10.一种机器可读存储介质，存储有机器可执行指令，在被处理器调用和执行时，所述机器可执行指令促使所述处理器：执行如权利要求1～4任一所述的镜像文件收缩方法。