CN103324446A

CN103324446A - 一种高性能弹性容量虚拟机磁盘的实现方法

Info

Publication number: CN103324446A
Application number: CN2013102249936A
Authority: CN
Inventors: 刘冠川; 秦东明; 杨亮; 曹振南; 王勇; 何牧君; 张新风; 陈飞; 刘超; 龚超; 明立波; 王慧; 吕永安
Original assignee: Dawning Information Industry Beijing Co Ltd
Current assignee: Dawning Information Industry Beijing Co Ltd
Priority date: 2013-06-07
Filing date: 2013-06-07
Publication date: 2013-09-25

Abstract

本发明涉及一种高性能弹性容量虚拟机磁盘的实现方法，其特征在于，所述方法通过稀疏文件机制，逻辑盘卷管理机制和虚拟机磁盘对齐原理实现；所述方法包括以下方面：（1）采用稀疏文件机制实现弹性容量虚拟机磁盘；（2）采用逻辑盘卷管理LVM机制实现磁盘空间的在线扩容；（3）采用虚拟机磁盘对齐原理。该方法能够在云计算环境下极大节省存储空间至少50%以上，另外使虚拟机磁盘IO性能达到物理文件系统IO性能的90%以上。

Description

一种高性能弹性容量虚拟机磁盘的实现方法

技术领域

本发明涉及一种高性能弹性容量虚拟机磁盘的实现方法。

背景技术

以镜像文件作为虚拟机磁盘是目前服务器虚拟化当中最流行的一种形式，有简单、易管理等特点。以xen为例，目前在xen平台上创建虚拟机通常是通过Linux工具dd创建一个镜像文件，然后将这个镜像文件加入虚拟机配置文件中。然后启动虚拟机格式化磁盘安装操作系统。

目前的技术存在几个严重的问题，1）第一个问题，镜像文件大小固定，创建时即需要规划好今后的应用所需的空间。假设目前安装系统加上一些初步的需求可能只需要15GB的空间，但是后期应用增加之后，还需要更大的容量。如果创建的镜像文件太小可能会导致后期应用无法继续进行，这时候我们如何扩容？如果创建的镜像文件太大就会浪费空间。比如安装操作系统和初步的配置需要15GB的空间，将来需要100GB的空间，考虑未来的需求我们分配一个100GB镜像文件，然而这无疑大大浪费系统的存储空间。如果这样的镜像文件很多的话系统浪费的空间就会非常可观。2）第二个问题，以镜像文件作为虚拟机磁盘IO性能非常差。只能应对一般业务需求。

发明内容

针对现有技术的不足，本发明一种高性能弹性容量虚拟机磁盘的实现方法，该方法能够在云计算环境下极大节省存储空间至少50%以上，另外使虚拟机磁盘IO性能达到物理文件系统IO性能的90%以上。

本发明的目的是采用下述技术方案实现的：

一种高性能弹性容量虚拟机磁盘的实现方法，其改进之处在于，所述方法通过稀疏文件机制，逻辑盘卷管理机制和虚拟机磁盘对齐原理实现；所述方法包括以下方面：

（1）采用稀疏文件机制实现弹性容量虚拟机磁盘；

（2）采用逻辑盘卷管理LVM机制实现磁盘空间的在线扩容；

（3）采用虚拟机磁盘对齐原理。

其中，所述（1）中，所述稀疏文件指的是文件的空余空间被ASCII码的NULL字符占据且不分配磁盘块的文件；在创建虚拟机磁盘镜像文件时把镜像文件定义为稀疏文件；

单块虚拟机磁盘采用稀疏文件。

其中，所述（2）中，所述逻辑盘卷管理LVM是在Linux环境下对磁盘分区进行管理的一种机制，所述逻辑盘卷管理LVM是建立在硬盘和分区的逻辑层；是在磁盘分区和文件系统之间添加的逻辑层；

至少两块虚拟机磁盘组合使用逻辑盘卷管理。

其中，所述逻辑盘卷管理LVM为文件系统屏蔽下层磁盘分区布局提供抽象盘卷，在抽象盘卷上建立文件系统。

其中，所述逻辑盘卷管理LVM包括物理卷；所述物理卷是指硬盘分区或从逻辑上与磁盘分区具有同样功能的设备，是LVM的基本存储逻辑块；所述物理卷包含与逻辑盘卷管理LVM的管理参数。

其中，所述（3）中，所述虚拟机磁盘对齐原理是指虚拟机磁盘IO和物理文件系统IO对齐；即在虚拟机安装操作系统前，对虚拟机镜像文件进行分区，使其分区和物理文件系统对齐。

与现有技术比，本发明达到的有益效果是：

本发明提供的高性能弹性容量虚拟机磁盘的实现方法。在云计算环境中有以下有益效果：

1）极大节省存储空间至少50%以上，减少购买存储设备的成本。

2）在没有精简配置的存储设备上实现精简配置。无需购买昂贵的高端存储设备，极大节省成本。

3）实现方法简单、高效、可靠。

4）极大提高虚拟机磁盘IO性能。使虚拟机磁盘IO性能达到物理文件系统IO性能的90%以上。

5）管理方便。可在不同的云管理系统间复制、迁移。

6）系统额外开销降到最低，最大发挥系统性能。

7）无需一开始就完全规划好后期存储系统容量，简化存储系统规划难度。

8）兼容性好，适用于xen和kvm等主流虚拟化技术。

附图说明

图1是本发明提供的虚拟机磁盘IO与物理文件系统IO不对齐的示意图；

图2是本发明提供的虚拟机磁盘IO与物理文件系统IO对齐的示意图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步的详细说明。

本发明解决的问题是在xen、kvm虚拟化平台下实现高性能弹性容量的虚拟机磁盘。通过以下方面实现：

（1）采用稀疏文件机制实现弹性容量虚拟机磁盘：

稀疏文件就是在文件中留有很多空余空间，留备将来插入数据使用。如果这些空余空间被ASCII码的NULL字符占据，并且这些空间相当大，这个文件就被称为稀疏文件且并不分配相应的磁盘块。在创建虚拟机磁盘镜像文件时就把镜像文件定义为稀疏文件，比如使用Linux dd工具创建一个50GB的虚拟机镜像文件（dd是Linux的一个工具）的时候，count设为0，而seek值设为50GB除以bs值的倍数。

（2）采用逻辑盘卷管理LVM机制实现磁盘空间的在线扩容：

逻辑盘卷管理（Logical Volume Manager，LVM）的简称，它是Linux环境下对磁盘分区进行管理的一种机制，LVM是建立在硬盘和分区之上的一个逻辑层，来提高磁盘分区管理的灵活性。逻辑盘卷管理LVM是在磁盘分区和文件系统之间添加的一个逻辑层，来为文件系统屏蔽下层磁盘分区布局，提供一个抽象的盘卷，在盘卷上建立文件系统。物理卷（physicalvolume）物理卷就是指硬盘分区或从逻辑上与磁盘分区具有同样功能的设备（如RAID），是LVM的基本存储逻辑块，但和基本的物理存储介质（如分区、磁盘等）比较，却包含有与LVM相关的管理参数。LVM能够实现逻辑卷的在线扩容，同时还能实现物理卷的在线扩容，因此能随意在线增加某一个分区的容量。

使用稀疏文件原理和逻辑盘卷管理结合，单块虚拟机磁盘使用稀疏文件，多块虚拟机磁盘组合使用逻辑卷，就能够实现随心所欲的弹性容量虚拟机磁盘。

（3）采用虚拟机磁盘对齐原理：

虚拟机镜像文件IO性能问题的症结在于虚拟磁盘IO对齐问题，因此要实现高性能虚拟机磁盘即是解决虚拟机磁盘对齐问题。为了清楚的认识这一问题，我们先来了解几个基本概念。首先，一般硬盘底层硬件格式化每个sector512B，有一部分硬盘，如希捷，一个sector做成4KB，但是为了兼容性，他们又在sector的基础上模拟出一个以512B为单位的sector的逻辑层。其次，我们来看下文件系统，一般文件系统如ext3/ext4、ntfs等的默认block size都是4KB。第三，磁盘传统概念一个磁道有63个sector。第一个磁道主要用于保存MBR，虽然MBR只占用512B的空间，但整个磁道还是保留下来不保存用户和系统数据。因此传统硬盘的第一个分区起始位在第63个sector，即32256B。sector表示虚拟机硬盘扇区。

作为虚拟机，是台物理机，所以如果不做特别设置的话，安装系统时第一个分区的起始位也是第63个sector。对于物理硬盘，其起始位从第63个sector开始，没有什么问题。但是在以镜像文件为虚拟硬盘的虚拟化环境中，这个问题就会严重影响性能。从图1可以看出，当虚拟硬盘从第63个sector开始时，虚拟机文件系统每读写一个最小单位的IO（4KB），那么在宿主机上文件系统就会有两个block发生IO。很明显IO能力至少下降了一半。而如果是对齐的情况，如图2所示，那么一个虚拟机文件系统的IO就对应一个宿主机文件系统IO，效率就会大大的提高，使虚拟机磁盘IO可以和物理文件系统IO非常接近。

因此，本发明在虚拟机安装操作系统前，先对虚拟机镜像文件进行分区使其分区和底层文件系统对齐。这样即可实现高性能虚拟机磁盘。

本发明利用稀疏文件机制和逻辑卷原理实现弹性容量虚拟机磁盘。优化虚拟机磁盘结构，使虚拟机中的IO和物理文件系统IO对齐，提高虚拟机IO性能。

综上所述，本发明即是通过稀疏文件机制、逻辑卷机制以及虚拟机磁盘对齐原理实现了高性能弹性容量虚拟机磁盘。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求范围当中。

Claims

1.一种高性能弹性容量虚拟机磁盘的实现方法，其特征在于，所述方法通过稀疏文件机制，逻辑盘卷管理机制和虚拟机磁盘对齐原理实现；所述方法包括以下方面：

（1）采用稀疏文件机制实现弹性容量虚拟机磁盘；

（2）采用逻辑盘卷管理LVM机制实现磁盘空间的在线扩容；

（3）采用虚拟机磁盘对齐原理。

2.如权利要求1所述的弹性容量虚拟机磁盘的实现方法，其特征在于，所述（1）中，所述稀疏文件指的是文件的空余空间被ASCII码的NULL字符占据且不分配磁盘块的文件；在创建虚拟机磁盘镜像文件时把镜像文件定义为稀疏文件；

单块虚拟机磁盘采用稀疏文件。

3.如权利要求1所述的弹性容量虚拟机磁盘的实现方法，其特征在于，所述（2）中，所述逻辑盘卷管理LVM是在Linux环境下对磁盘分区进行管理的一种机制，所述逻辑盘卷管理LVM是建立在硬盘和分区的逻辑层；是在磁盘分区和文件系统之间添加的逻辑层；

至少两块虚拟机磁盘组合使用逻辑盘卷管理。

4.如权利要求3所述的弹性容量虚拟机磁盘的实现方法，其特征在于，所述逻辑盘卷管理LVM为文件系统屏蔽下层磁盘分区布局提供抽象盘卷，在抽象盘卷上建立文件系统。

5.如权利要求4所述的弹性容量虚拟机磁盘的实现方法，其特征在于，所述逻辑盘卷管理LVM包括物理卷；所述物理卷是指硬盘分区或从逻辑上与磁盘分区具有同样功能的设备，是LVM的基本存储逻辑块；所述物理卷包含与逻辑盘卷管理LVM的管理参数。

6.如权利要求1所述的弹性容量虚拟机磁盘的实现方法，其特征在于，所述（3）中，所述虚拟机磁盘对齐原理是指虚拟机磁盘IO和物理文件系统IO对齐；即在虚拟机安装操作系统前，对虚拟机镜像文件进行分区，使其分区和物理文件系统对齐。