CN110058813A - 一种基于云平台块存储的本地存储管理方法 - Google Patents

一种基于云平台块存储的本地存储管理方法 Download PDF

Info

Publication number
CN110058813A
CN110058813A CN201910198476.3A CN201910198476A CN110058813A CN 110058813 A CN110058813 A CN 110058813A CN 201910198476 A CN201910198476 A CN 201910198476A CN 110058813 A CN110058813 A CN 110058813A
Authority
CN
China
Prior art keywords
cloud platform
locally stored
storage
disk
volume
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910198476.3A
Other languages
English (en)
Inventor
郭全
金辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Enlightenment Cloud Computing Co Ltd
Original Assignee
Enlightenment Cloud Computing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Enlightenment Cloud Computing Co Ltd filed Critical Enlightenment Cloud Computing Co Ltd
Priority to CN201910198476.3A priority Critical patent/CN110058813A/zh
Publication of CN110058813A publication Critical patent/CN110058813A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662Virtualisation aspects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于云平台块存储的本地存储管理方法,以方便用户在云平台上进行日常开发测试。所述方法包括:增加openstack中cinder模块功能;改造openstack的存储管理框架cinder,增加对qemu中虚拟磁盘的管理功能;用户在相应的物理机上创建本地卷,云平台就会在相应的硬盘上创建好一个空的qemu虚拟磁盘文件;云平台标注哪些磁盘分配成为本地存储管理的资源池;云平台对被分成了本地存储池的磁盘进行格式化,并初始化一些目录结构和权限;云平台对存储资源进行监控,并控制每个单独文件的读写权限;云平台对本地存储卷进行管理。本发明简化了管理程序,降低存储成本,同时也保证了数据安全和方便快捷。

Description

一种基于云平台块存储的本地存储管理方法
技术领域
本发明涉及云计算技术,具体涉及一种基于云平台块存储的本地存储管理方法。
背景技术
云计算是通过网络将庞大的计算处理程序分拆成多个较小的子程序,再由多部服务器所组成的系统计算分析之后将处理结果回传给用户。通过这种技术,远程的服务供应商可以在数秒之内,达成处理数以千万计甚至以亿计的信息,达到和大型计算机同样强大性能的网络服务。云计算服务具有高可用性,降低硬件和运营成本的特性,所以得到快速发展。云计算可以存储和处理由租户所产生的大量的数据,因此被用于许多行业。
云存储主要有三类:临时存储:数据存储在虚拟机上,虚拟机重启或释放后丢失;块存储:数据被存储在持久的块层次的存储空间(即虚拟化逻辑卷),它能够被挂载或卸载到生命周期内的虚拟机,它独立于虚拟机本身;对象存储:对象和文件被分散写入到数据中心中的服务器的多个磁盘驱动器,并且可以从所有的云服务中服务API来被访问。
块存储的目的是为各种云应用提供可靠的、高性能、按需和持久性的存储容量。Openstack中使用Cinder模块来管理块存储,在一般情况下,存储容量可以一虚拟化逻辑卷的形式来被访问,块存储系统Cinder管理这些卷的创建,挂载和卸载。在云基础架构上部署块存储服务,一个存储节点经常由许多的硬盘驱动器以RAID的形式来提供冗余和大规模的存储容量。通常一个块存储的周期,通过使用OpenStack Cinder,用户可以方便、高效地管理数据。
Cinder模块是资源管理系统,负责向虚拟机提供持久块存储资源,可以把不同的后端存储来进行封装,向外提供统一的API。Cinder模块使用插件的方式来结合不同的后端存储驱动,提供块存储服务。
Cinder的基本功能:卷操作,包括创建卷、从已有卷创建卷(克隆)、扩展卷、删除卷;卷-虚机操作,包括挂载卷到虚机、分离虚机卷;卷-快照操作,包括创建卷的快照、从已有卷快照创建卷、删除快照;卷-镜像操作,包括从镜像创建卷、从卷创建镜像。
QEMU是一个主机上的VMM(virtual machine monitor),通过动态二进制转换来模拟CPU,并提供一系列的硬件模型,使guest os认为自己和硬件直接打交道,其实是同QEMU模拟出来的硬件打交道, QEMU再将这些指令翻译给真正硬件进行操作。通过这种模式,guest os可以和主机上的硬盘,网卡,CPU, CD-ROM,音频设备和USB设备进行交互。但由于所有指令都需要经过QEMU来翻译,因而性能会比较差:
openstack提供了灵活的存储管理方式,通过不同的驱动(driver)可以对接不同种类的存储,如fc-san,lvm等。但是其对qemu本身的虚拟磁盘文件支持的不好。虽然qemu本身的虚拟磁盘(如qcow2 文件)一般不用在真正大规模生产环境中,但是对于普通的开发测试环境还是很方便的,并且容易复制、备份等,具备一定数据安全功能。
现有技术对传统的块存储后端存储创建中,openstack要管理逻辑虚拟卷需要复杂的额外步骤,如提前手动配置一系列功能,如创建好volume group,并把相应信息配置到一些配置文件中,最后启动一系列服务等。
综上所述,现有技术对块存储管理方法存在以下几个问题:一是磁盘管理不能设置目录结构和权限,资源的不能相互隔离,无法保证数据安全性;二是管理操作需要运维人员做大量麻烦准的备工作,耗费大量的时间和人力;三是缺乏管理操作工具,人机交互非常困难,操作不方便等。
发明内容
针对现有第三方存储集群管理方法中存在的程序复杂、操作繁杂的缺陷,本发明的目的在于利用并改造了openstack的存储管理框架cinder,增加了对qemu中虚拟磁盘的管理,使本地存储管理更加方便,存储管理功能更加完善,操作简单,便于维护,可以有效提高管理效率。
本发明的技术方案如下:
一种基于云平台块存储的本地存储管理方法,所述方法包括以下步骤:
第一步,增加openstack中cinder模块功能,并且满足cinder模块中存储资源的创建,挂载和卸载基本功能;
第二步,改造openstack的存储管理框架cinder,增加对qemu中虚拟磁盘的管理功能;
第三步,用户在相应的物理机上创建本地卷,云平台在相应的硬盘上创建好一个空的qemu虚拟磁盘文件,像使用本地文件系统一样直接操作;
第四步,云平台标注哪些磁盘分配成为本地存储管理的资源池,哪些磁盘是分布式存储集群的一部分;
第五步,云平台对被分成了本地存储池的磁盘进行格式化,并初始化一些目录结构和权限,以保证不同的云平台租户创建的卷存到不同的目录中;
第六步,云平台对存储资源进行监控,监控磁盘的使用率、读写速度等,以便及时发现故障并控制每个单独文件的读写权限;
第七步,云平台对本地存储卷进行管理;对本地存储卷进行管理包括:用户将本地卷挂载到一个 kvm虚机上,前提是该虚机和该卷在一个物理机上;或者用户将一个本地卷迁移到另一个物理机上;或者用户对该卷做快照相关操作;或者用户定期备份本地卷。
优选地,所述本地存储管理方法主要是控制本地磁盘的生命周期,即可用->分配到某集群(如分布式存储集群或某本地存储资源池)->初始化(格式化)->使用中->删除->删除中->可用。
优选地,所述本地存储管理方法中将所有云平台物理机的磁盘统一管理,云平台将所有的磁盘作为一个大的存储池,可以创建并管理多个分布式存储集群,同时也将本地存储资源也纳入到该管理体系中。
本发明与现有技术相比,优点在于:
1)本发明利用并改造了openstack的存储管理框架cinder,增加了对qemu中虚拟磁盘的管理。这样在云平台上,如果用户没有特别的需求,则云计算平台不需要接入昂贵的集中式存储(如fc-san),也不需要做一些传统集中式存储的麻烦准备工作,这样节约了用户的开发测试时间与存储成本。
2)云平台提供图形化程序、命令行工具、协议工具等多种途径对存储进行批量化操作,让使用更加方便。
3)用户只需要在相应的物理机上指定创建本地卷,那么云平台就会在相应的硬盘上创建好一个空的 qemu虚拟磁盘文件,简单易用,像使用本地文件系统一样直接操作。
4)一个磁盘被分成了本地存储池之后,云平台会将其格式化,并初始化一些目录结构和权限,这样不同的云平台租户创建的卷会存到不同的目录中,保证资源的相互隔离,具有数据安全性。
附图说明
图1是基于云平台块存储的本地存储体系示意图
图2是存储生命周期示意图
图3是基于云平台块存储的本地存储管理方法流程图
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白,下文中将结合附图对本发明的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
如图1所示为基于云平台块存储的本地存储体系,云平台的存储管理体系中将所有云平台物理机的磁盘统一管理,云平台将所有的磁盘作为一个大的存储池,可以创建并管理多个分布式存储集群。所以需要将本地存储资源也纳入到该管理体系中。
如图2所示,一个磁盘在本地存储管理中是有其生命周期的,主要包括:创建,分配到某集群,如分布式存储集群或某本地存储资源池,初始化(格式化),使用,删除。
如图3所示,一种基于云平台块存储的本地存储管理方法,完成如下步骤:
第一步,增加openstack中cinder模块功能,并且满足cinder模块中存储资源的创建,挂载和卸载基本功能。
第二步,改造openstack的存储管理框架cinder,增加对qemu中虚拟磁盘的管理功能。
第三步,用户在相应的物理机上创建本地卷,云平台就会在相应的硬盘上创建好一个空的qemu 虚拟磁盘文件,简单易用,像使用本地文件系统一样直接操作。
第四步,云平台标注哪些磁盘分配成为本地存储管理的资源池,哪些磁盘是分布式存储集群的一部分,这样才能保证数据的安全。
第五步,云平台对被分成了本地存储池的磁盘进行格式化,并初始化一些目录结构和权限,这样不同的云平台租户创建的卷会存到不同的目录中,保证资源的相互隔离,具有数据安全性。
第六步,云平台对存储资源进行监控,监控磁盘的使用率、读写速度等,以便及时发现故障,并控制每个单独文件的读写权限。
第七步,云平台对本地存储卷进行管理。对本地存储卷进行管理功能包括:用户可以将本地卷挂载到一个kvm虚机上,前提是该虚机和该卷在一个物理机上;用户可以将一个本地卷迁移到另一个物理机上;用户可以对改卷做快照相关操作;用户可以定期备份本地卷。
所述管理方法主要利用云平台提供图形化程序、命令行工具、协议工具等多种途径对存储进行批量化操作,让用户使用更加方便。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在木发明的保护范围之内。

Claims (3)

1.一种基于云平台块存储的本地存储管理方法,其特征在于,所述方法包括以下步骤:
第一步,增加openstack中cinder模块功能,并且满足cinder模块中存储资源的创建,挂载和卸载基本功能;
第二步,改造openstack 的存储管理框架cinder,增加对qemu中虚拟磁盘的管理功能;
第三步,用户在相应的物理机上创建本地卷,云平台在相应的硬盘上创建好一个空的qemu虚拟磁盘文件,像使用本地文件系统一样直接操作;
第四步,云平台标注哪些磁盘分配成为本地存储管理的资源池,哪些磁盘是分布式存储集群的一部分;
第五步,云平台对被分成了本地存储池的磁盘进行格式化,并初始化一些目录结构和权限,以保证不同的云平台租户创建的卷存到不同的目录中;
第六步,云平台对存储资源进行监控,监控磁盘的使用率、读写速度等,以便及时发现故障并控制每个单独文件的读写权限;
第七步,云平台对本地存储卷进行管理;对本地存储卷进行管理包括:用户将本地卷挂载到一个kvm虚机上,前提是该虚机和该卷在一个物理机上;或者用户将一个本地卷迁移到另一个物理机上;或者用户对该卷做快照相关操作;或者用户定期备份本地卷。
2.根据权利要求1所述的一种基于云平台块存储的本地存储管理方法,其特征在于:所述本地存储管理方法主要是控制本地磁盘的生命周期,即可用->分配到某集群->初始化->使用中->删除->删除中->可用。
3.根据权利要求1所述的一种基于云平台块存储的本地存储管理方法,其特征在于:所述本地存储管理方法中将所有云平台物理机的磁盘统一管理,云平台将所有的磁盘作为一个大的存储池,可以创建并管理多个分布式存储集群,同时也将本地存储资源也纳入到该管理体系中。
CN201910198476.3A 2019-03-15 2019-03-15 一种基于云平台块存储的本地存储管理方法 Pending CN110058813A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910198476.3A CN110058813A (zh) 2019-03-15 2019-03-15 一种基于云平台块存储的本地存储管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910198476.3A CN110058813A (zh) 2019-03-15 2019-03-15 一种基于云平台块存储的本地存储管理方法

Publications (1)

Publication Number Publication Date
CN110058813A true CN110058813A (zh) 2019-07-26

Family

ID=67317149

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910198476.3A Pending CN110058813A (zh) 2019-03-15 2019-03-15 一种基于云平台块存储的本地存储管理方法

Country Status (1)

Country Link
CN (1) CN110058813A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110795210A (zh) * 2019-10-18 2020-02-14 北京浪潮数据技术有限公司 一种裸设备管理系统及方法
CN111273871A (zh) * 2020-01-19 2020-06-12 星辰天合(北京)数据科技有限公司 容器平台上动态分配存储资源的方法及装置
CN111338751A (zh) * 2020-02-13 2020-06-26 山东汇贸电子口岸有限公司 同ceph集群中数据跨pool迁移方法及装置
CN111753326A (zh) * 2020-05-22 2020-10-09 湖南麒麟信安科技有限公司 一种容器云平台云存储资源加密方法、系统及介质
CN111813341A (zh) * 2020-07-09 2020-10-23 浪潮云信息技术股份公司 一种基于fc san存储残留路径正确显示虚机卷容量的方法
CN113504872A (zh) * 2021-05-14 2021-10-15 济南浪潮数据技术有限公司 一种云物理机挂载虚拟磁盘的方法、系统、设备及介质
CN114237988A (zh) * 2022-02-25 2022-03-25 广州锦行网络科技有限公司 内存快照的处理方法和装置、存储介质、电子装置
CN115146318A (zh) * 2022-09-02 2022-10-04 麒麟软件有限公司 虚拟磁盘安全存储方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106095527A (zh) * 2016-06-07 2016-11-09 国云科技股份有限公司 一种适用于云平台虚拟机的存储池实现方法
CN106210046A (zh) * 2016-07-11 2016-12-07 浪潮(北京)电子信息产业有限公司 一种基于Cinder的卷跨集群挂载方法及系统
CN106886369A (zh) * 2017-01-22 2017-06-23 武汉噢易云计算股份有限公司 一种基于OpenStack云平台的云硬盘管理方法及系统
CN107197022A (zh) * 2017-06-02 2017-09-22 华南理工大学 OpenStack存储优化方法及系统
CN107241426A (zh) * 2017-06-27 2017-10-10 西安京华科讯软件科技有限公司 一种基于云计算的本地服务器硬盘的分布式存储系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106095527A (zh) * 2016-06-07 2016-11-09 国云科技股份有限公司 一种适用于云平台虚拟机的存储池实现方法
CN106210046A (zh) * 2016-07-11 2016-12-07 浪潮(北京)电子信息产业有限公司 一种基于Cinder的卷跨集群挂载方法及系统
CN106886369A (zh) * 2017-01-22 2017-06-23 武汉噢易云计算股份有限公司 一种基于OpenStack云平台的云硬盘管理方法及系统
CN107197022A (zh) * 2017-06-02 2017-09-22 华南理工大学 OpenStack存储优化方法及系统
CN107241426A (zh) * 2017-06-27 2017-10-10 西安京华科讯软件科技有限公司 一种基于云计算的本地服务器硬盘的分布式存储系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张沪滨等: "张沪滨等", 《微型电脑应用》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110795210A (zh) * 2019-10-18 2020-02-14 北京浪潮数据技术有限公司 一种裸设备管理系统及方法
CN110795210B (zh) * 2019-10-18 2022-03-22 北京浪潮数据技术有限公司 一种裸设备管理系统及方法
CN111273871A (zh) * 2020-01-19 2020-06-12 星辰天合(北京)数据科技有限公司 容器平台上动态分配存储资源的方法及装置
CN111338751A (zh) * 2020-02-13 2020-06-26 山东汇贸电子口岸有限公司 同ceph集群中数据跨pool迁移方法及装置
CN111753326A (zh) * 2020-05-22 2020-10-09 湖南麒麟信安科技有限公司 一种容器云平台云存储资源加密方法、系统及介质
CN111753326B (zh) * 2020-05-22 2024-02-13 湖南麒麟信安科技股份有限公司 一种容器云平台云存储资源加密方法、系统及介质
CN111813341A (zh) * 2020-07-09 2020-10-23 浪潮云信息技术股份公司 一种基于fc san存储残留路径正确显示虚机卷容量的方法
CN113504872A (zh) * 2021-05-14 2021-10-15 济南浪潮数据技术有限公司 一种云物理机挂载虚拟磁盘的方法、系统、设备及介质
CN113504872B (zh) * 2021-05-14 2023-11-03 济南浪潮数据技术有限公司 一种云物理机挂载虚拟磁盘的方法、系统、设备及介质
CN114237988A (zh) * 2022-02-25 2022-03-25 广州锦行网络科技有限公司 内存快照的处理方法和装置、存储介质、电子装置
CN115146318A (zh) * 2022-09-02 2022-10-04 麒麟软件有限公司 虚拟磁盘安全存储方法
CN115146318B (zh) * 2022-09-02 2022-11-29 麒麟软件有限公司 虚拟磁盘安全存储方法

Similar Documents

Publication Publication Date Title
CN110058813A (zh) 一种基于云平台块存储的本地存储管理方法
US11500669B2 (en) Live recovery of virtual machines in a public cloud computing environment
US11734035B2 (en) Virtual machine load balancing
US20230168976A1 (en) Systems and methods for change block tracking for backing up changed data
US20220083245A1 (en) Declarative provisioning of storage
US10379759B2 (en) Method and system for maintaining consistency for I/O operations on metadata distributed amongst nodes in a ring structure
CN101398770B (zh) 迁移一个或多个虚拟机的系统和方法
US7383405B2 (en) Systems and methods for voluntary migration of a virtual machine between hosts with common storage connectivity
CN106062742B (zh) 用于改进快照性能的系统和方法
US9286344B1 (en) Method and system for maintaining consistency for I/O operations on metadata distributed amongst nodes in a ring structure
CN115668172A (zh) 管理复制端点的主机映射
US20220335009A1 (en) Converting Storage Resources to Distributed Persistent Storage for Containerized Applications
US9619350B1 (en) Systems and methods for application-consistent disaster recovery using a virtual storage controller and remote storage
US10353872B2 (en) Method and apparatus for conversion of virtual machine formats utilizing deduplication metadata
US20230080046A1 (en) Online Resize of a Volume of a Distributed Storage System
CN103946846A (zh) 使用虚拟驱动作为用于raid组的热备用
US12007856B2 (en) Dynamic resizing and re-distribution of destination data storage resources for bare metal restore operations in a data storage management system
US12032855B2 (en) Using an application orchestrator computing environment for automatically scaled deployment of data protection resources needed for data in a production cluster distinct from the application orchestrator or in another application orchestrator computing environment
CN107544864A (zh) 一种虚拟机数据拷贝方法及虚拟机数据拷贝系统
WO2023070025A1 (en) Declarative provisioning of storage
US20230124827A1 (en) Data storage management system for live-mounting a virtual machine in a cloud computing environment based on using nested virtual machines for immediate access to data in a proprietary backup copy
US20220358087A1 (en) Technique for creating an in-memory compact state of snapshot metadata
Dell
US10089136B1 (en) Monitoring performance of transient virtual volumes created for a virtual machine
US20240289036A1 (en) Data storage system with managed flash

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190726

WD01 Invention patent application deemed withdrawn after publication