CN110058813A - 一种基于云平台块存储的本地存储管理方法 - Google Patents
一种基于云平台块存储的本地存储管理方法 Download PDFInfo
- Publication number
- CN110058813A CN110058813A CN201910198476.3A CN201910198476A CN110058813A CN 110058813 A CN110058813 A CN 110058813A CN 201910198476 A CN201910198476 A CN 201910198476A CN 110058813 A CN110058813 A CN 110058813A
- Authority
- CN
- China
- Prior art keywords
- cloud platform
- locally stored
- storage
- disk
- volume
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0662—Virtualisation aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于云平台块存储的本地存储管理方法,以方便用户在云平台上进行日常开发测试。所述方法包括:增加openstack中cinder模块功能;改造openstack的存储管理框架cinder,增加对qemu中虚拟磁盘的管理功能;用户在相应的物理机上创建本地卷,云平台就会在相应的硬盘上创建好一个空的qemu虚拟磁盘文件;云平台标注哪些磁盘分配成为本地存储管理的资源池;云平台对被分成了本地存储池的磁盘进行格式化,并初始化一些目录结构和权限;云平台对存储资源进行监控,并控制每个单独文件的读写权限;云平台对本地存储卷进行管理。本发明简化了管理程序,降低存储成本,同时也保证了数据安全和方便快捷。
Description
技术领域
本发明涉及云计算技术,具体涉及一种基于云平台块存储的本地存储管理方法。
背景技术
云计算是通过网络将庞大的计算处理程序分拆成多个较小的子程序,再由多部服务器所组成的系统计算分析之后将处理结果回传给用户。通过这种技术,远程的服务供应商可以在数秒之内,达成处理数以千万计甚至以亿计的信息,达到和大型计算机同样强大性能的网络服务。云计算服务具有高可用性,降低硬件和运营成本的特性,所以得到快速发展。云计算可以存储和处理由租户所产生的大量的数据,因此被用于许多行业。
云存储主要有三类:临时存储:数据存储在虚拟机上,虚拟机重启或释放后丢失;块存储:数据被存储在持久的块层次的存储空间(即虚拟化逻辑卷),它能够被挂载或卸载到生命周期内的虚拟机,它独立于虚拟机本身;对象存储:对象和文件被分散写入到数据中心中的服务器的多个磁盘驱动器,并且可以从所有的云服务中服务API来被访问。
块存储的目的是为各种云应用提供可靠的、高性能、按需和持久性的存储容量。Openstack中使用Cinder模块来管理块存储,在一般情况下,存储容量可以一虚拟化逻辑卷的形式来被访问,块存储系统Cinder管理这些卷的创建,挂载和卸载。在云基础架构上部署块存储服务,一个存储节点经常由许多的硬盘驱动器以RAID的形式来提供冗余和大规模的存储容量。通常一个块存储的周期,通过使用OpenStack Cinder,用户可以方便、高效地管理数据。
Cinder模块是资源管理系统,负责向虚拟机提供持久块存储资源,可以把不同的后端存储来进行封装,向外提供统一的API。Cinder模块使用插件的方式来结合不同的后端存储驱动,提供块存储服务。
Cinder的基本功能:卷操作,包括创建卷、从已有卷创建卷(克隆)、扩展卷、删除卷;卷-虚机操作,包括挂载卷到虚机、分离虚机卷;卷-快照操作,包括创建卷的快照、从已有卷快照创建卷、删除快照;卷-镜像操作,包括从镜像创建卷、从卷创建镜像。
QEMU是一个主机上的VMM(virtual machine monitor),通过动态二进制转换来模拟CPU,并提供一系列的硬件模型,使guest os认为自己和硬件直接打交道,其实是同QEMU模拟出来的硬件打交道, QEMU再将这些指令翻译给真正硬件进行操作。通过这种模式,guest os可以和主机上的硬盘,网卡,CPU, CD-ROM,音频设备和USB设备进行交互。但由于所有指令都需要经过QEMU来翻译,因而性能会比较差:
openstack提供了灵活的存储管理方式,通过不同的驱动(driver)可以对接不同种类的存储,如fc-san,lvm等。但是其对qemu本身的虚拟磁盘文件支持的不好。虽然qemu本身的虚拟磁盘(如qcow2 文件)一般不用在真正大规模生产环境中,但是对于普通的开发测试环境还是很方便的,并且容易复制、备份等,具备一定数据安全功能。
现有技术对传统的块存储后端存储创建中,openstack要管理逻辑虚拟卷需要复杂的额外步骤,如提前手动配置一系列功能,如创建好volume group,并把相应信息配置到一些配置文件中,最后启动一系列服务等。
综上所述,现有技术对块存储管理方法存在以下几个问题:一是磁盘管理不能设置目录结构和权限,资源的不能相互隔离,无法保证数据安全性;二是管理操作需要运维人员做大量麻烦准的备工作,耗费大量的时间和人力;三是缺乏管理操作工具,人机交互非常困难,操作不方便等。
发明内容
针对现有第三方存储集群管理方法中存在的程序复杂、操作繁杂的缺陷,本发明的目的在于利用并改造了openstack的存储管理框架cinder,增加了对qemu中虚拟磁盘的管理,使本地存储管理更加方便,存储管理功能更加完善,操作简单,便于维护,可以有效提高管理效率。
本发明的技术方案如下:
一种基于云平台块存储的本地存储管理方法,所述方法包括以下步骤:
第一步,增加openstack中cinder模块功能,并且满足cinder模块中存储资源的创建,挂载和卸载基本功能;
第二步,改造openstack的存储管理框架cinder,增加对qemu中虚拟磁盘的管理功能;
第三步,用户在相应的物理机上创建本地卷,云平台在相应的硬盘上创建好一个空的qemu虚拟磁盘文件,像使用本地文件系统一样直接操作;
第四步,云平台标注哪些磁盘分配成为本地存储管理的资源池,哪些磁盘是分布式存储集群的一部分;
第五步,云平台对被分成了本地存储池的磁盘进行格式化,并初始化一些目录结构和权限,以保证不同的云平台租户创建的卷存到不同的目录中;
第六步,云平台对存储资源进行监控,监控磁盘的使用率、读写速度等,以便及时发现故障并控制每个单独文件的读写权限;
第七步,云平台对本地存储卷进行管理;对本地存储卷进行管理包括:用户将本地卷挂载到一个 kvm虚机上,前提是该虚机和该卷在一个物理机上;或者用户将一个本地卷迁移到另一个物理机上;或者用户对该卷做快照相关操作;或者用户定期备份本地卷。
优选地,所述本地存储管理方法主要是控制本地磁盘的生命周期,即可用->分配到某集群(如分布式存储集群或某本地存储资源池)->初始化(格式化)->使用中->删除->删除中->可用。
优选地,所述本地存储管理方法中将所有云平台物理机的磁盘统一管理,云平台将所有的磁盘作为一个大的存储池,可以创建并管理多个分布式存储集群,同时也将本地存储资源也纳入到该管理体系中。
本发明与现有技术相比,优点在于:
1)本发明利用并改造了openstack的存储管理框架cinder,增加了对qemu中虚拟磁盘的管理。这样在云平台上,如果用户没有特别的需求,则云计算平台不需要接入昂贵的集中式存储(如fc-san),也不需要做一些传统集中式存储的麻烦准备工作,这样节约了用户的开发测试时间与存储成本。
2)云平台提供图形化程序、命令行工具、协议工具等多种途径对存储进行批量化操作,让使用更加方便。
3)用户只需要在相应的物理机上指定创建本地卷,那么云平台就会在相应的硬盘上创建好一个空的 qemu虚拟磁盘文件,简单易用,像使用本地文件系统一样直接操作。
4)一个磁盘被分成了本地存储池之后,云平台会将其格式化,并初始化一些目录结构和权限,这样不同的云平台租户创建的卷会存到不同的目录中,保证资源的相互隔离,具有数据安全性。
附图说明
图1是基于云平台块存储的本地存储体系示意图
图2是存储生命周期示意图
图3是基于云平台块存储的本地存储管理方法流程图
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白,下文中将结合附图对本发明的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
如图1所示为基于云平台块存储的本地存储体系,云平台的存储管理体系中将所有云平台物理机的磁盘统一管理,云平台将所有的磁盘作为一个大的存储池,可以创建并管理多个分布式存储集群。所以需要将本地存储资源也纳入到该管理体系中。
如图2所示,一个磁盘在本地存储管理中是有其生命周期的,主要包括:创建,分配到某集群,如分布式存储集群或某本地存储资源池,初始化(格式化),使用,删除。
如图3所示,一种基于云平台块存储的本地存储管理方法,完成如下步骤:
第一步,增加openstack中cinder模块功能,并且满足cinder模块中存储资源的创建,挂载和卸载基本功能。
第二步,改造openstack的存储管理框架cinder,增加对qemu中虚拟磁盘的管理功能。
第三步,用户在相应的物理机上创建本地卷,云平台就会在相应的硬盘上创建好一个空的qemu 虚拟磁盘文件,简单易用,像使用本地文件系统一样直接操作。
第四步,云平台标注哪些磁盘分配成为本地存储管理的资源池,哪些磁盘是分布式存储集群的一部分,这样才能保证数据的安全。
第五步,云平台对被分成了本地存储池的磁盘进行格式化,并初始化一些目录结构和权限,这样不同的云平台租户创建的卷会存到不同的目录中,保证资源的相互隔离,具有数据安全性。
第六步,云平台对存储资源进行监控,监控磁盘的使用率、读写速度等,以便及时发现故障,并控制每个单独文件的读写权限。
第七步,云平台对本地存储卷进行管理。对本地存储卷进行管理功能包括:用户可以将本地卷挂载到一个kvm虚机上,前提是该虚机和该卷在一个物理机上;用户可以将一个本地卷迁移到另一个物理机上;用户可以对改卷做快照相关操作;用户可以定期备份本地卷。
所述管理方法主要利用云平台提供图形化程序、命令行工具、协议工具等多种途径对存储进行批量化操作,让用户使用更加方便。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在木发明的保护范围之内。
Claims (3)
1.一种基于云平台块存储的本地存储管理方法,其特征在于,所述方法包括以下步骤:
第一步,增加openstack中cinder模块功能,并且满足cinder模块中存储资源的创建,挂载和卸载基本功能;
第二步,改造openstack 的存储管理框架cinder,增加对qemu中虚拟磁盘的管理功能;
第三步,用户在相应的物理机上创建本地卷,云平台在相应的硬盘上创建好一个空的qemu虚拟磁盘文件,像使用本地文件系统一样直接操作;
第四步,云平台标注哪些磁盘分配成为本地存储管理的资源池,哪些磁盘是分布式存储集群的一部分;
第五步,云平台对被分成了本地存储池的磁盘进行格式化,并初始化一些目录结构和权限,以保证不同的云平台租户创建的卷存到不同的目录中;
第六步,云平台对存储资源进行监控,监控磁盘的使用率、读写速度等,以便及时发现故障并控制每个单独文件的读写权限;
第七步,云平台对本地存储卷进行管理;对本地存储卷进行管理包括:用户将本地卷挂载到一个kvm虚机上,前提是该虚机和该卷在一个物理机上;或者用户将一个本地卷迁移到另一个物理机上;或者用户对该卷做快照相关操作;或者用户定期备份本地卷。
2.根据权利要求1所述的一种基于云平台块存储的本地存储管理方法,其特征在于:所述本地存储管理方法主要是控制本地磁盘的生命周期,即可用->分配到某集群->初始化->使用中->删除->删除中->可用。
3.根据权利要求1所述的一种基于云平台块存储的本地存储管理方法,其特征在于:所述本地存储管理方法中将所有云平台物理机的磁盘统一管理,云平台将所有的磁盘作为一个大的存储池,可以创建并管理多个分布式存储集群,同时也将本地存储资源也纳入到该管理体系中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910198476.3A CN110058813A (zh) | 2019-03-15 | 2019-03-15 | 一种基于云平台块存储的本地存储管理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910198476.3A CN110058813A (zh) | 2019-03-15 | 2019-03-15 | 一种基于云平台块存储的本地存储管理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110058813A true CN110058813A (zh) | 2019-07-26 |
Family
ID=67317149
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910198476.3A Pending CN110058813A (zh) | 2019-03-15 | 2019-03-15 | 一种基于云平台块存储的本地存储管理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110058813A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110795210A (zh) * | 2019-10-18 | 2020-02-14 | 北京浪潮数据技术有限公司 | 一种裸设备管理系统及方法 |
CN111273871A (zh) * | 2020-01-19 | 2020-06-12 | 星辰天合(北京)数据科技有限公司 | 容器平台上动态分配存储资源的方法及装置 |
CN111338751A (zh) * | 2020-02-13 | 2020-06-26 | 山东汇贸电子口岸有限公司 | 同ceph集群中数据跨pool迁移方法及装置 |
CN111753326A (zh) * | 2020-05-22 | 2020-10-09 | 湖南麒麟信安科技有限公司 | 一种容器云平台云存储资源加密方法、系统及介质 |
CN111813341A (zh) * | 2020-07-09 | 2020-10-23 | 浪潮云信息技术股份公司 | 一种基于fc san存储残留路径正确显示虚机卷容量的方法 |
CN113504872A (zh) * | 2021-05-14 | 2021-10-15 | 济南浪潮数据技术有限公司 | 一种云物理机挂载虚拟磁盘的方法、系统、设备及介质 |
CN114237988A (zh) * | 2022-02-25 | 2022-03-25 | 广州锦行网络科技有限公司 | 内存快照的处理方法和装置、存储介质、电子装置 |
CN115146318A (zh) * | 2022-09-02 | 2022-10-04 | 麒麟软件有限公司 | 虚拟磁盘安全存储方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106095527A (zh) * | 2016-06-07 | 2016-11-09 | 国云科技股份有限公司 | 一种适用于云平台虚拟机的存储池实现方法 |
CN106210046A (zh) * | 2016-07-11 | 2016-12-07 | 浪潮(北京)电子信息产业有限公司 | 一种基于Cinder的卷跨集群挂载方法及系统 |
CN106886369A (zh) * | 2017-01-22 | 2017-06-23 | 武汉噢易云计算股份有限公司 | 一种基于OpenStack云平台的云硬盘管理方法及系统 |
CN107197022A (zh) * | 2017-06-02 | 2017-09-22 | 华南理工大学 | OpenStack存储优化方法及系统 |
CN107241426A (zh) * | 2017-06-27 | 2017-10-10 | 西安京华科讯软件科技有限公司 | 一种基于云计算的本地服务器硬盘的分布式存储系统 |
-
2019
- 2019-03-15 CN CN201910198476.3A patent/CN110058813A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106095527A (zh) * | 2016-06-07 | 2016-11-09 | 国云科技股份有限公司 | 一种适用于云平台虚拟机的存储池实现方法 |
CN106210046A (zh) * | 2016-07-11 | 2016-12-07 | 浪潮(北京)电子信息产业有限公司 | 一种基于Cinder的卷跨集群挂载方法及系统 |
CN106886369A (zh) * | 2017-01-22 | 2017-06-23 | 武汉噢易云计算股份有限公司 | 一种基于OpenStack云平台的云硬盘管理方法及系统 |
CN107197022A (zh) * | 2017-06-02 | 2017-09-22 | 华南理工大学 | OpenStack存储优化方法及系统 |
CN107241426A (zh) * | 2017-06-27 | 2017-10-10 | 西安京华科讯软件科技有限公司 | 一种基于云计算的本地服务器硬盘的分布式存储系统 |
Non-Patent Citations (1)
Title |
---|
张沪滨等: "张沪滨等", 《微型电脑应用》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110795210A (zh) * | 2019-10-18 | 2020-02-14 | 北京浪潮数据技术有限公司 | 一种裸设备管理系统及方法 |
CN110795210B (zh) * | 2019-10-18 | 2022-03-22 | 北京浪潮数据技术有限公司 | 一种裸设备管理系统及方法 |
CN111273871A (zh) * | 2020-01-19 | 2020-06-12 | 星辰天合(北京)数据科技有限公司 | 容器平台上动态分配存储资源的方法及装置 |
CN111338751A (zh) * | 2020-02-13 | 2020-06-26 | 山东汇贸电子口岸有限公司 | 同ceph集群中数据跨pool迁移方法及装置 |
CN111753326A (zh) * | 2020-05-22 | 2020-10-09 | 湖南麒麟信安科技有限公司 | 一种容器云平台云存储资源加密方法、系统及介质 |
CN111753326B (zh) * | 2020-05-22 | 2024-02-13 | 湖南麒麟信安科技股份有限公司 | 一种容器云平台云存储资源加密方法、系统及介质 |
CN111813341A (zh) * | 2020-07-09 | 2020-10-23 | 浪潮云信息技术股份公司 | 一种基于fc san存储残留路径正确显示虚机卷容量的方法 |
CN113504872A (zh) * | 2021-05-14 | 2021-10-15 | 济南浪潮数据技术有限公司 | 一种云物理机挂载虚拟磁盘的方法、系统、设备及介质 |
CN113504872B (zh) * | 2021-05-14 | 2023-11-03 | 济南浪潮数据技术有限公司 | 一种云物理机挂载虚拟磁盘的方法、系统、设备及介质 |
CN114237988A (zh) * | 2022-02-25 | 2022-03-25 | 广州锦行网络科技有限公司 | 内存快照的处理方法和装置、存储介质、电子装置 |
CN115146318A (zh) * | 2022-09-02 | 2022-10-04 | 麒麟软件有限公司 | 虚拟磁盘安全存储方法 |
CN115146318B (zh) * | 2022-09-02 | 2022-11-29 | 麒麟软件有限公司 | 虚拟磁盘安全存储方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110058813A (zh) | 一种基于云平台块存储的本地存储管理方法 | |
US11500669B2 (en) | Live recovery of virtual machines in a public cloud computing environment | |
US11734035B2 (en) | Virtual machine load balancing | |
US20230168976A1 (en) | Systems and methods for change block tracking for backing up changed data | |
US20220083245A1 (en) | Declarative provisioning of storage | |
US10379759B2 (en) | Method and system for maintaining consistency for I/O operations on metadata distributed amongst nodes in a ring structure | |
CN101398770B (zh) | 迁移一个或多个虚拟机的系统和方法 | |
US7383405B2 (en) | Systems and methods for voluntary migration of a virtual machine between hosts with common storage connectivity | |
CN106062742B (zh) | 用于改进快照性能的系统和方法 | |
US9286344B1 (en) | Method and system for maintaining consistency for I/O operations on metadata distributed amongst nodes in a ring structure | |
CN115668172A (zh) | 管理复制端点的主机映射 | |
US20220335009A1 (en) | Converting Storage Resources to Distributed Persistent Storage for Containerized Applications | |
US9619350B1 (en) | Systems and methods for application-consistent disaster recovery using a virtual storage controller and remote storage | |
US10353872B2 (en) | Method and apparatus for conversion of virtual machine formats utilizing deduplication metadata | |
US20230080046A1 (en) | Online Resize of a Volume of a Distributed Storage System | |
CN103946846A (zh) | 使用虚拟驱动作为用于raid组的热备用 | |
US12007856B2 (en) | Dynamic resizing and re-distribution of destination data storage resources for bare metal restore operations in a data storage management system | |
US12032855B2 (en) | Using an application orchestrator computing environment for automatically scaled deployment of data protection resources needed for data in a production cluster distinct from the application orchestrator or in another application orchestrator computing environment | |
CN107544864A (zh) | 一种虚拟机数据拷贝方法及虚拟机数据拷贝系统 | |
WO2023070025A1 (en) | Declarative provisioning of storage | |
US20230124827A1 (en) | Data storage management system for live-mounting a virtual machine in a cloud computing environment based on using nested virtual machines for immediate access to data in a proprietary backup copy | |
US20220358087A1 (en) | Technique for creating an in-memory compact state of snapshot metadata | |
Dell | ||
US10089136B1 (en) | Monitoring performance of transient virtual volumes created for a virtual machine | |
US20240289036A1 (en) | Data storage system with managed flash |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190726 |
|
WD01 | Invention patent application deemed withdrawn after publication |