CN107707635A - 一种云平台共享存储的虚拟机镜像模板上传方法 - Google Patents

一种云平台共享存储的虚拟机镜像模板上传方法 Download PDF

Info

Publication number
CN107707635A
CN107707635A CN201710853780.8A CN201710853780A CN107707635A CN 107707635 A CN107707635 A CN 107707635A CN 201710853780 A CN201710853780 A CN 201710853780A CN 107707635 A CN107707635 A CN 107707635A
Authority
CN
China
Prior art keywords
mirror image
image
source
upload
mirror
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710853780.8A
Other languages
English (en)
Inventor
罗义兵
季统凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
G Cloud Technology Co Ltd
Original Assignee
G Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by G Cloud Technology Co Ltd filed Critical G Cloud Technology Co Ltd
Priority to CN201710853780.8A priority Critical patent/CN107707635A/zh
Publication of CN107707635A publication Critical patent/CN107707635A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/116—Details of conversion of file system types or formats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/176—Support for shared access to files; File sharing support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/188—Virtual file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/4555—Para-virtualisation, i.e. guest operating system has to be modified
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及云计算技术领域，特别是一种云平台共享存储的虚拟机镜像模板上传方法。本发明是首先要求镜像服务组件对外提供共享存储上的镜像上传API，其中API请求参数中包含了镜像源的元数据信息；然后调用镜像上传API，持久化镜像源的元数据信息；将镜像的id、镜像的大小、镜像源的路径参数发送给镜像源的主机所在的镜像上传服务；最后镜像上传服务根据镜像id、大小信息创建镜像的原始文件，然后将镜像源的磁盘文件转换到镜像的原始文件上，转换完成后，镜像模板上传完成。本发明缩短了共享存储上的镜像上传的网络传输时间；可以用于虚拟机镜像上。

Description

一种云平台共享存储的虚拟机镜像模板上传方法
技术领域
本发明涉及云计算技术领域，特别是一种云平台共享存储的虚拟机镜像模板上传方法。
背景技术
目前随着存储系统的发展，出现了越来越多的分布式、集中式存储系统和设备。在云平台的使用过程中从本地的存储系统也逐渐演变到分布式存储系统、NAS等存储中，这样可以提高云平台的存储数据的可靠性、稳定性，以及方便虚拟机的动态迁移等。对于一个虚拟机的打包成云平台的一个镜像的传统方式，是先将虚拟机转换成一个磁盘文件，然后再调用镜像组件服务将磁盘文件通过网络传输的形式，从镜像源通过镜像组件网络中转到共享存储的系统中，这样给镜像组件的网络传输带来了一定的压力，同时也增加了镜像上传的时间。
发明内容
本发明解决的问题在于提供一种云平台共享存储的虚拟机镜像模板上传方法，可以缩短共享存储上的镜像上传的时间。
本发明解决上述技术问题得技术方案是：
所述方法包括如下步骤：
步骤1：镜像服务组件对外提供共享存储上的镜像上传API，其中API请求参数中包含了镜像源的元数据信息；
步骤2：调用镜像上传API，持久化镜像源的元数据信息；
步骤3：将镜像的id、镜像的大小、镜像源的路径参数发送给镜像源的主机所在的镜像上传服务；
步骤4：镜像上传服务根据镜像id、大小信息创建镜像的原始文件，然后将镜像源的磁盘文件转换到镜像的原始文件上，转换完成后，镜像模板上传完成。
所述的虚拟机镜像上传，
(1)将云平台上的镜像源上传为云平台的镜像模板，方便以后快速创建相同系统的虚拟机；
(2)虚拟机镜像模板放置于共享存储上，镜像源所在的主机节点可以访问到共享存储上的存储资源；
(3)镜像源支持云平台的虚拟机系统盘，其系统盘可以拥有快照的形式。
所述的镜像服务实现：
(1)查询镜像列表以及镜像的状态，状态包含正在上传、上传成功、“上传失败；
(2)要提供共享存储上的镜像上传服务；
(3)接受镜像上服务反馈的镜像上传成功、失败消息，并更新数据库中的记录。
所述的镜像上传API实现：
(1)API请求参数为镜像源的元数据信息，其元数据信息包含镜像的大小、镜像的id、镜像源路径、镜像源所在的主机名；
(2)将镜像源的元数据信息以及上传状态持久化到数据库系统中；
(3)将镜像id、镜像源大小、镜像源路径信息通过消息传递机制发送到镜像上传服务中，消息传递成功后，将制作状态标识为“正在上传”；
(4)上层应用可以通过调用镜像服务API完成镜像上传服务。
所述的镜像上传服务，
(1)接受到镜像id，大小信息，镜像源路径后，立即反馈消息传递成功参数给镜像服务组件；
(2)根据镜像id，和镜像大小在共享存储上创建镜像原始磁盘文件，其中磁盘文件的名称为镜像id，磁盘文件的大小为镜像大小，磁盘文件的格式根据云平台的镜像要求格式定，包括：raw，qcow2；
(3)根据镜像源的路径，查询镜像源的磁盘格式，根据输入源、输出源路径以及格式构造转换命令，将镜像源转换到镜像的原始磁盘文件上，其转换过程中确保镜像源的磁盘文件没有被使用；
(4)如果转换成功，则反馈成功消息给镜像服务组件；如果转换失败，则反馈失败信息给镜像服务组件，并删除镜像的原始磁盘文件。
本发明方案的有益效果如下：
1、通过镜像源直接上传到共享存储，而没有通过镜像服务组件的网络传输中转，缩短了共享存储上的镜像上传的网络传输时间；
2、减少了镜像服务组件的网络压力。
附图说明
下面结合附图对本发明进一步说明：
图1为本发明的流程图。
具体实施方式
根据流程图所示，
(1)镜像服务组件对外提供共享存储上的镜像上传API，其中API请求参数中包含了镜像源的元数据信息；
其API提供，提供POST接口/v1/images
正常返回码：201
其请求参数为
(2)调用镜像上传API，持久化镜像源的元数据信息
将第一步信息持久化到mysql的镜像信息表中，具体表结构，如下
(3)将镜像的id、镜像的大小、镜像源的路径参数发送给镜像源的主机所在的镜像上传服务
以rabbitmq作为镜像组件和镜像上传服务组件的消息通信中间件，其中
其消息通信为同步方式，其中消息格式如下：
(4)镜像上传服务根据镜像id、大小信息创建镜像的原始文件，然后将镜像源的磁盘文件转换到镜像的原始文件上，转换完成后，镜像模板上传完成
一下以ceph分布式存储系统作为镜像的共享存储为例，
在ceph的images镜像池中，将以00dde8c3-eb8d-4a98-b340-d86733dd3612为名称的50G文件，且支持快照的形式
rbd create 00dde8c3-eb8d-4a98-b340-d86733dd3612-p images-size 50G--image-format 2
将images下的00dde8c3-eb8d-4a98-b340-d86733dd3612挂载到主机上
rbd map-image images/00dde8c3-eb8d-4a98-b340-d86733dd3612
挂载后设备为/dev/rbd3
将镜像源的文件转换到/dev/rbd3上
qemu-img convert-f qcow2-O raw/vm_disk1/root/dev/rbd3。

Claims (7)

1.一种云平台共享存储的虚拟机镜像模板上传方法，其特征在于：所述方法包括如下步骤：
步骤1：镜像服务组件对外提供共享存储上的镜像上传API，其中API请求参数中包含了镜像源的元数据信息；
步骤2：调用镜像上传API，持久化镜像源的元数据信息；
步骤3：将镜像的id、镜像的大小、镜像源的路径参数发送给镜像源的主机所在的镜像上传服务；
步骤4：镜像上传服务根据镜像id、大小信息创建镜像的原始文件，然后将镜像源的磁盘文件转换到镜像的原始文件上，转换完成后，镜像模板上传完成。
2.根据权利要求1所述的方法，其特征在于：所述的虚拟机镜像上传，
(1)将云平台上的镜像源上传为云平台的镜像模板，方便以后快速创建相同系统的虚拟机；
(2)虚拟机镜像模板放置于共享存储上，镜像源所在的主机节点可以访问到共享存储上的存储资源；
(3)镜像源支持云平台的虚拟机系统盘，其系统盘可以拥有快照的形式。
3.根据权利要求1所述的方法，其特征在于：所述的镜像服务实现：
(1)查询镜像列表以及镜像的状态，状态包含正在上传、上传成功、“上传失败；
(2)要提供共享存储上的镜像上传服务；
(3)接受镜像上服务反馈的镜像上传成功、失败消息，并更新数据库中的记录。
4.根据权利要求2所述的方法，其特征在于：所述的镜像服务实现：
(1)查询镜像列表以及镜像的状态，状态包含正在上传、上传成功、“上传失败；
(2)要提供共享存储上的镜像上传服务；
(3)接受镜像上服务反馈的镜像上传成功、失败消息，并更新数据库中的记录。
5.根据权利要求1至4任一项所述的方法，其特征在于：所述的镜像上传API实现：
(1)API请求参数为镜像源的元数据信息，其元数据信息包含镜像的大小、镜像的id、镜像源路径、镜像源所在的主机名；
(2)将镜像源的元数据信息以及上传状态持久化到数据库系统中；
(3)将镜像id、镜像源大小、镜像源路径信息通过消息传递机制发送到镜像上传服务中，消息传递成功后，将制作状态标识为“正在上传”；
(4)上层应用可以通过调用镜像服务API完成镜像上传服务。
6.根据权利要求1至4任一项所述的方法，其特征在于：所述的镜像上传服务，
(1)接受到镜像id，大小信息，镜像源路径后，立即反馈消息传递成功参数给镜像服务组件；
(2)根据镜像id，和镜像大小在共享存储上创建镜像原始磁盘文件，其中磁盘文件的名称为镜像id，磁盘文件的大小为镜像大小，磁盘文件的格式根据云平台的镜像要求格式定，包括：raw，qcow2；
(3)根据镜像源的路径，查询镜像源的磁盘格式，根据输入源、输出源路径以及格式构造转换命令，将镜像源转换到镜像的原始磁盘文件上，其转换过程中确保镜像源的磁盘文件没有被使用；
(4)如果转换成功，则反馈成功消息给镜像服务组件；如果转换失败，则反馈失败信息给镜像服务组件，并删除镜像的原始磁盘文件。
7.根据权利要求5所述的方法，其特征在于：所述的镜像上传服务，
(1)接受到镜像id，大小信息，镜像源路径后，立即反馈消息传递成功参数给镜像服务组件；
(2)根据镜像id，和镜像大小在共享存储上创建镜像原始磁盘文件，其中磁盘文件的名称为镜像id，磁盘文件的大小为镜像大小，磁盘文件的格式根据云平台的镜像要求格式定，包括：raw，qcow2；
(3)根据镜像源的路径，查询镜像源的磁盘格式，根据输入源、输出源路径以及格式构造转换命令，将镜像源转换到镜像的原始磁盘文件上，其转换过程中确保镜像源的磁盘文件没有被使用；
(4)如果转换成功，则反馈成功消息给镜像服务组件；如果转换失败，则反馈失败信息给镜像服务组件，并删除镜像的原始磁盘文件。
CN201710853780.8A 2017-09-15 2017-09-15 一种云平台共享存储的虚拟机镜像模板上传方法 Pending CN107707635A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710853780.8A CN107707635A (zh) 2017-09-15 2017-09-15 一种云平台共享存储的虚拟机镜像模板上传方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710853780.8A CN107707635A (zh) 2017-09-15 2017-09-15 一种云平台共享存储的虚拟机镜像模板上传方法

Publications (1)

Publication Number Publication Date
CN107707635A true CN107707635A (zh) 2018-02-16

Family

ID=61171678

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710853780.8A Pending CN107707635A (zh) 2017-09-15 2017-09-15 一种云平台共享存储的虚拟机镜像模板上传方法

Country Status (1)

Country Link
CN (1) CN107707635A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110602174A (zh) * 2019-08-21 2019-12-20 浙江大学 一种异构云数据同步的方法
CN111324360A (zh) * 2020-01-09 2020-06-23 华中科技大学 一种面向边缘计算的容器镜像构建方法
CN111367869A (zh) * 2020-02-26 2020-07-03 北京三快在线科技有限公司 镜像文件处理方法、装置、存储介质及电子设备
CN113890881A (zh) * 2021-10-13 2022-01-04 济南浪潮数据技术有限公司 一种虚拟机镜像快速上传方法、系统、存储介质及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105260226A (zh) * 2015-09-23 2016-01-20 浙江网新恒天软件有限公司 一种基于云平台自动迁移虚拟机的方法
CN106874066A (zh) * 2017-01-20 2017-06-20 中兴通讯股份有限公司 一种虚拟机迁移方法及装置、电子设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105260226A (zh) * 2015-09-23 2016-01-20 浙江网新恒天软件有限公司 一种基于云平台自动迁移虚拟机的方法
CN106874066A (zh) * 2017-01-20 2017-06-20 中兴通讯股份有限公司 一种虚拟机迁移方法及装置、电子设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110602174A (zh) * 2019-08-21 2019-12-20 浙江大学 一种异构云数据同步的方法
CN111324360A (zh) * 2020-01-09 2020-06-23 华中科技大学 一种面向边缘计算的容器镜像构建方法
CN111324360B (zh) * 2020-01-09 2022-04-01 华中科技大学 一种面向边缘计算的容器镜像构建方法和系统
CN111367869A (zh) * 2020-02-26 2020-07-03 北京三快在线科技有限公司 镜像文件处理方法、装置、存储介质及电子设备
CN113890881A (zh) * 2021-10-13 2022-01-04 济南浪潮数据技术有限公司 一种虚拟机镜像快速上传方法、系统、存储介质及设备

Similar Documents

Publication Publication Date Title
CN107707635A (zh) 一种云平台共享存储的虚拟机镜像模板上传方法
US10977438B2 (en) Latency reduction in collaborative presentation sharing environment
US9503522B2 (en) Parallel migration of data objects to clustered storage
US8499191B2 (en) Failure recovery method for information processing service and virtual machine image generation apparatus
US10929419B2 (en) Object storage backed file system
US11550819B2 (en) Synchronization cache seeding
US11042503B1 (en) Continuous data protection and restoration
US9807164B2 (en) Halo based file system replication
US20220188196A1 (en) Continuous data protection
WO2019024122A1 (zh) 云平台镜像制作系统及其实现方法
US10719491B2 (en) Grid based data mobility
US10970111B2 (en) Migrating virtual machines
US20220214814A1 (en) Cross-platform replication of logical units
CN102281312A (zh) 一种数据加载方法、系统和数据处理方法、系统
US9632877B1 (en) Restoring a database to managed storage from a proxy backup image
CN113360473A (zh) 一种面向医学检验图像大数据的云存储计算系统
JP6413792B2 (ja) ストレージシステム
US20130138999A1 (en) Computer-readable recording medium, data management method, and storage device
US10587685B2 (en) Cross-platform replication of logical units
CN112068931B (zh) 一种快速制作虚拟机镜像的方法及系统
CN111241044B (zh) 搭建异构数据库的方法、装置、设备及可读存储介质
RU2690777C1 (ru) Способ и система комплексного управления большими данными
US9613051B2 (en) Data processing method, information processing apparatus, and recording medium
US9952816B2 (en) Data processing apparatus, control method, and storage medium
CN114676291B (zh) 一种数据库系统及数据库系统的控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180216