CN109783193A - 一种可在多域云平台中复用的镜像文件管理方法 - Google Patents

Abstract

发明公开了一种可在多域云平台中复用的镜像文件管理方法，具体步骤如下：步骤一，用户在云平台提出在指定域创建虚拟机，云平台根据现有的域与镜像之间的映射关系创建虚拟机；步骤二，虚拟机镜像文件的传输，上传文件前先对文件进行校验，确定对镜像文件采用递归的方式进行分片上传，并在上传完每个分片后，更新镜像的分片索引和传输起始位置，以便在需要的时候进行续传。本发明在云平台中提供统一的镜像管理方法，避免在多域环境中将镜像文件多次重复上传到各个域中，并且采用的是客户端直接上传到文件服务器这样的点对点方式，避免文件在多个服务器之间传输，提高传输效率。

Description

一种可在多域云平台中复用的镜像文件管理方法

技术领域

本发明属于云计算技术领域，具体涉及一种可在多域云平台中复用的虚拟机镜像传输和存储的方法。

背景技术

随着云计算基础设施规模的不断扩大，云平台不只需要提供对单个数据中心承载的业务的管理，也有提供跨数据中心通信业务的管理需求。目前Openstack各域中的镜像管理服务是相互独立的，虚拟机创建依然依赖其各自本身的镜像服务。但各域中的镜像文件可能是相同的，这就需要云平台对虚拟机镜像进行统一的管理，完全不依赖具体某个域的openstack服务，尽可能减少镜像文件的冗余传输和存储。

我们将基于一个openstack平台模拟搭建的数据中心称作为一个“域”。各个域在提供任何服务之前，都需要获取相应的虚拟机镜像文件，并且虚拟机镜像文件可能在各域中是复用的。

发明内容

针对上述现有技术中的问题，本发明提出了

本发明针对多域云平台的虚拟机镜像使用需求，提出了一种可在平台间复用的镜像传输和存储的方法，具体步骤如下：

步骤一，用户在云平台提出在指定域创建虚拟机，云平台根据现有的域与镜像之间的映射关系创建虚拟机；

步骤二，虚拟机镜像文件的传输，上传文件前先对文件进行校验，确定对镜像文件采用递归的方式进行分片上传，并在上传完每个分片后，更新镜像的分片索引和传输起始位置，以便在需要的时候进行续传。

进一步的，所述步骤一具体为：

当用户在云平台提出在指定域创建虚拟机时，云平台检测是否本身保存有域与镜像之间的映射关系；如果有，提交虚拟机创建请求到域，域从文件存储服务器中获取镜像文件，创建虚拟机；如果不存在，提交镜像信息到域，包括镜像的location信息，更新镜像映射表，此过程中没有镜像文件传输步骤，完成镜像文件在各域中的复用功能。

进一步的，所述步骤二中，虚拟机镜像文件的传输，上传文件前先对文件进行校验的具体过程为：

步骤2.1，计算该镜像的md5值，并在云平台中检索是否已经存在该镜像；

步骤2.2，如果有相同md5值镜像且状态为可用，提示用户镜像已经存在；

步骤2.3，如果有相同md5值镜像且状态为不可用，表明之前有上传过相同的镜像文件，但是出现了异常，需要获取当前传输起始点和分片索引，继续传输该文件；

步骤2.4，如果没有相同md5值，即新传输的文件，进入传输过程。

进一步的，所述步骤二中，确定对镜像文件采用递归的方式进行分片上传的具体过程为：

步骤2.5，获取文件的传输起始点和分片索引；

步骤2.6，将文件按固定大小切片，将分片的文件上传到支持分片存储的文件服务器，本发明采用的是openstack 的swift服务；

步骤2.7，上传每个分片成功后，更新文件传输起始点和分片索引，以备下次传输，或者中断后续传；

步骤2.8，重复步骤2.6和步骤2.7直到文件传输完成；

步骤2.9，保存文件在服务器中的location url，并更新文件的状态为可用。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

本发明在云平台中提供统一的镜像管理方法，避免在多域环境中将镜像文件多次重复上传到各个域中。并且采用的是客户端直接上传到文件服务器这样的点对点方式，避免文件在多个服务器之间传输，提高传输效率。

附图说明

图1为本发明提出的多域云平台与镜像存储服务的架构示意图；

图2为本发明镜像文件传输和存储的时序图；

图3为本发明域平台复用镜像的时序图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

本发明提供的一种可在多域云平台中复用的镜像文件管理方法包括两部分内容：

1）虚拟机镜像文件的存储方法，可以适用于各个openstack云平台，具体步骤如下：

11）openstack的swift对象存储能够提供弹性可伸缩、高可用的分布式对象存储服务，并且支持超大文件的分片存储和管理。可见，它相当符合镜像文件的存储需求，因此选择部署swift对象存储服务来存储镜像文件。

12）将镜像文件采用递归的方式进行分片上传,通过调用swift对象存储服务所提供的Rest API接口处理每个分片上传请求。

13）swift对象存储服务将接受到的请求文件进行分片存储。

14）上传文件完成后，记录下swift服务返回的唯一的文件URL地址来标识镜像文件的位置。后续通过位置信息便可在多域云平台中复用镜像文件。

2）虚拟机镜像文件的传输方法，可以对文件进行去重，续传和重传，本发明提供的具体功能如下：

21）本地云平台对镜像信息进行统一管理，虚拟机镜像分为镜像的metadata信息和镜像文件本身。Metadata信息除了镜像描述的基本信息外，还记录传输时使用到的关键信息，如文件总大小、文件传输起始点、分片传输当前索引、文件md5值等。

22）为了防止镜像文件的重复传输，在上传文件的一开始就要对文件进行校验，但镜像文件本身大小都在GB的数量级，获取完整的md5值太耗费时间，所以取文件的前段、中段和后段的部分数据的md5值，计算出一个综合的值，用来标识文件的唯一性。

23）文件传输过程中，可能因为外部网络原因或者服务器本身原因导致文件传输中断，为避免前段已上传的文件重复上传，需要镜像文件的续传功能。

24）对于云平台来说，平台本身维护的镜像metadata信息是用户获取和使用镜像的唯一标识，同样的镜像信息可能在某些场景下替换成不同的文件，需要镜像的重传功能。

3）进一步的，为实现上述目的，本发明提供的具体的实现方法，具体步骤如下：

31）云平台提供用户管理镜像的入口，填写镜像的基本信息后，选择镜像文件；

32）计算用户选择的镜像文件md5值，并对系统中已有的镜像进行检索，若发现有相同md5值的镜像信息时，判断该镜像的状态，是否为传输完成，如果是，则阻止用户下一步操作，反馈该镜像的基本信息，提示用户使用。否则提示用户续传该文件。

33）如果上述两种情况皆不存在，则先保存镜像的基本信息，然后将文件采用递归的方式进行分片上传，并在上传完每个分片后，更新镜像的分片索引和传输起始位置，以便在需要的时候进行续传。

34）上传完成后对文件大小进行校验，最终文件大小和实际上传文件大小一致时，表示上传成功，更新镜像文件的状态为可用状态，并存储镜像文件的位置存储信息location url。

4）上述描述了云平台本身对镜像的管理的功能和实现，进一步的，本发明还提供了镜像在多域间复用的方法，具体步骤如下：

41）云平台保存多域中镜像id与本地镜像信息的映射关系；

42）利用openstack支持使用镜像location创建镜像的功能，当用户需要在指定域使用镜像时，先在本地镜像映射表中检索，确定目标域中是否创建了此镜像的信息，如果有，直接返回该域中的镜像id，否则去目标域中创建，由于提供的是镜像的location信息，此次创建不需要任何文件传输过程。

43）由于openstack nova有镜像缓存功能，并以镜像id为标识。为了防止镜像重传时，镜像文件无法更新，在重传文件之前，先将域中的镜像信息删除，后续重传成功后，再到域中新建镜像信息，可以保障用户使用的都是最新的镜像文件。

如图1所示为本发明提到的多域云平台与镜像存储服务的架构示意图。

具体的，云平台对多个域进行管理，而每个域在创建虚拟机实例时，需要从文件存储服务器中获取到镜像文件。用户通过客户端浏览器只需要将文件上传到文件服务器，并记录到云平台，即可。文件存储服务器中的镜像文件是被各个域共用的。

图2为本发明中镜像文件传输和存储的过程时序图，从图中可以直观的看出，镜像的传输和存储部分屏蔽了底层域，用户通过客户端浏览器直接与云平台和文件存储服务器交互。

以上所述的具体实施方式，对本发明的目的，技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改，等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种可在多域云平台中复用的镜像文件管理方法，其特征在于，具体步骤如下：

步骤一，用户在云平台提出在指定域创建虚拟机，云平台根据现有的域与镜像之间的映射关系创建虚拟机；

步骤二，虚拟机镜像文件的传输，上传文件前先对文件进行校验，确定对镜像文件采用递归的方式进行分片上传，并在上传完每个分片后，更新镜像的分片索引和传输起始位置，以便在需要的时候进行续传。

2.根据权利要求1所述的一种可在多域云平台中复用的镜像文件管理方法，其特征在于，所述步骤一具体为：

当用户在云平台提出在指定域创建虚拟机时，云平台检测是否本身保存有域与镜像之间的映射关系；如果有，提交虚拟机创建请求到域，域从文件存储服务器中获取镜像文件，创建虚拟机；如果不存在，提交镜像信息到域，包括镜像的location信息，更新镜像映射表，此过程中没有镜像文件传输步骤，完成镜像文件在各域中的复用功能。

3.根据权利要求1所述的一种可在多域云平台中复用的镜像文件管理方法，其特征在于，所述步骤二中，虚拟机镜像文件的传输，上传文件前先对文件进行校验的具体过程为：

步骤2.1，计算该镜像的md5值，并在云平台中检索是否已经存在该镜像；

步骤2.2，如果有相同md5值镜像且状态为可用，提示用户镜像已经存在；

步骤2.3，如果有相同md5值镜像且状态为不可用，表明之前有上传过相同的镜像文件，但是出现了异常，需要获取当前传输起始点和分片索引，继续传输该文件；

步骤2.4，如果没有相同md5值，即新传输的文件，进入传输过程。

4.根据权利要求1所述的一种可在多域云平台中复用的镜像文件管理方法，其特征在于，所述步骤二中，确定对镜像文件采用递归的方式进行分片上传的具体过程为：

步骤2.5，获取文件的传输起始点和分片索引；

步骤2.6，将文件按固定大小切片，将分片的文件上传到支持分片存储的文件服务器，本发明采用的是openstack 的swift服务；

步骤2.7，上传每个分片成功后，更新文件传输起始点和分片索引，以备下次传输，或者中断后续传；

步骤2.8，重复步骤2.6和步骤2.7直到文件传输完成；

步骤2.9，保存文件在服务器中的location url，并更新文件的状态为可用。