CN104270409A - 一种云平台中高效利用集中存储的方法 - Google Patents

一种云平台中高效利用集中存储的方法 Download PDF

Info

Publication number
CN104270409A
CN104270409A CN201410448564.1A CN201410448564A CN104270409A CN 104270409 A CN104270409 A CN 104270409A CN 201410448564 A CN201410448564 A CN 201410448564A CN 104270409 A CN104270409 A CN 104270409A
Authority
CN
China
Prior art keywords
storage
virtual machine
cloud platform
lun
logical volume
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410448564.1A
Other languages
English (en)
Other versions
CN104270409B (zh
Inventor
熊梦
张瑜科
杨松
季统凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
G Cloud Technology Co Ltd
Original Assignee
G Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by G Cloud Technology Co Ltd filed Critical G Cloud Technology Co Ltd
Priority to CN201410448564.1A priority Critical patent/CN104270409B/zh
Publication of CN104270409A publication Critical patent/CN104270409A/zh
Application granted granted Critical
Publication of CN104270409B publication Critical patent/CN104270409B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Abstract

本发明涉及云计算领域，特别是一种云平台中高效利用集中存储的方法。本发明首先通过管理网络登录集中存储设备，对其进行LUN的划分，并将LUN以SAN方式对外提供存储资源；然后在各个待使用集中存储资源的物理节点上发现并登录LUN设备，使其本地化；之后在其中一个节点上利用本地化的存储设备创建逻辑卷组，使本节点和其他节点共享该卷组；接着创建虚拟机；最后，通过LVM机制实现虚拟机磁盘及磁盘所在逻辑卷组容量的自由伸缩管理。本发明提供了一种云平台中简单高效利用集中存储的方法，利用此方法可以创建高性能的虚拟机。

Description

一种云平台中高效利用集中存储的方法
技术领域
本发明涉及云计算领域，特别是一种云平台中高效利用集中存储的方法。
背景技术
在云计算、大数据的环境下，为了保存急剧增加的大量数据，各个存储厂商生产的存储设备所能提供的存储空间一般都非常大，达到PB甚至EB级别；而云计算环境下的各个节点所需要的存储空间视情况而定，一般都小于TB级别，这样就需要一种解决方法来将大容量的集中存储合理分配给节点使用。
目前一般采用的方法是将集中存储的大空间划分成不同大小的LUN(Logical Unit Number，逻辑单元号)，然后将每一个LUN分别挂载给每一个节点，节点获取各自的LUN后格式化并挂载使用。这种方法存在以下的弊端：
1、划分LUN时由于不知道节点需要多大的空间而只能按主观估计进行容量划分，在使用过程中很有可能由于空间太大而浪费了存储资源；或者，是由于空间太小不能完成一些相关工作。
2、由于LUN划分后单独给某一个节点使用，而不是提供共享存储，这样就无法满足云平台中云服务器从一个节点动态迁移到另外一个节点的需求。
3、LUN格式化后进行挂载使用，由于增加了一层文件系统，相对于直接使用块设备来说降低了性能。
发明内容
本发明解决的技术问题在于提供一种云平台中高效利用集中存储的方法，解决云计算领域里集中存储资源使用存在的低效、不易扩展、无法满足虚拟机动态迁移等相关问题。
本发明解决上述技术问题的技术方案是：
包括如下步骤：
步骤1：通过管理网络登录集中存储设备，对其进行LUN的划分，并将LUN以SAN方式对外提供存储资源；
步骤2：在各物理节点上发现并登录LUN设备，使其本地化；
步骤3：在其中一个物理节点上利用本地化的存储设备创建逻辑卷组，使本节点和其他节点共享该卷组；
步骤4：创建虚拟机；
步骤5：通过LVM机制实现虚拟机磁盘及磁盘所在的逻辑卷组容量的自由伸缩管理。
所述的虚拟机创建步骤是：(1)在卷组上面创建指定大小的逻辑卷；(2)将虚拟机镜像文件注入逻辑卷；(3)将注有镜像文件的逻辑卷配置成虚拟机的磁盘设备创建虚拟机。
所述的物理节点是指在云平台中与集中存储设备处于同一个局域网中的服务器。
所述的管理网络是指按集中存储设备生产厂商提供的方式设置的IP，通过浏览器或者指定客户端登陆此IP即可进入集中存储管理接口界面。
所述的LUN本地化是指在服务器节点上面发现或登录集中存储提供的LUN后，相应的会在服务器节点上映射成一个块设备；
所述的发现可以是执行IP-SAN对应的iscsiadm命令或者是FC-SAN对应的重启等操作。
所述的虚拟机磁盘自由伸缩是指可以动态的调整虚拟机磁盘的容量大小，包括增大容量和减少容量。
本发明方案的有益效果如下：
1、本发明的方法提供了一种云平台中物理节点之间共享使用集中存储的机制，保证了共享存储容量可以根据实际需要动态自由扩展而不丢失数据，提高了集中存储的利用率；
2、本发明的方法中所创建的虚拟机直接建立在逻辑卷这种块设备之上，相对于NFS来说少了一层文件系统，具有较高的性能；同时能够保证虚拟机在物理节点之间进行动态迁移。
附图说明
下面结合附图对本发明进一步说明：
图1为本发明的流程图；
图2为本发明的架构图。
具体实施方式
如图所示，本发明的方法可以按照如下步骤实现：
步骤1：通过管理网络登录集中存储设备，对其进行LUN的划分，并将LUN以SAN方式对外提供存储资源；
步骤2：在各个待使用集中存储资源的物理节点上发现并登录LUN设备，使其本地化；
步骤3：在其中一个节点上利用本地化的存储设备创建逻辑卷组，使本节点和其他节点共享该卷组；
步骤4：接着通过如下操作创建虚拟机：(1)在卷组上面创建指定大小的逻辑卷；(2)将虚拟机镜像文件注入逻辑卷；(3)将注有镜像文件的逻辑卷配置成虚拟机的磁盘设备创建虚拟机；
步骤5：最后通过LVM机制实现虚拟机磁盘及磁盘所在的逻辑卷组容量的自由伸缩管理。
前述中，所述的逻辑卷组和逻辑卷是LVM逻辑分区管理的相关概念，LVM为Linux环境下对磁盘分区进行管理的一种机制，可以将多个物理块设备统一映射成为一个大的逻辑设备，以此来提高磁盘分区管理的灵活性。
所述的LUN中文名为逻辑单元号，在集中存储中用来代表一定容量的逻辑设备，在物理节点上面发现或登陆该设备，就会在节点上生成一个物理块设备，如磁盘/dev/sda；
所述的SAN中文名为存储区域网络，是一种高速网络或子网络，提供在计算机与存储系统之间的数据传输，利用SAN可以实现将一个集中存储共享给多个物理节点使用。存储区域网络根据实现方式的不同可分为IP-SAN、FC-SAN等；
所述的IP-SAN是指通过网线连接计算机与存储系统形成的SAN；
所述的FC-SAN则是通过光纤连接计算机与存储系统形成的SAN。
下面具体举例说明：
机房布线，利用网线将集中存储设备通过交换机与物理节点互联，使其成为一个存储局域网，当然也可用光纤互联。这里以IP-SAN实施为例。
利用浏览器通过管理网络登录集中存储设备，创建磁盘阵列，然后在磁盘阵列中创建Logical Drive---＞Logical Volume---＞Host LUN，将创建的LUN对外发布。
在物理节点上面安装IP-SAN客户端，发现集中存储对外发布的LUN，如下所示：
[rootgcloud407～]#iscsiadm-m discovery-t sendtargets-p 10.10.10.3：3260[0：0：408F：63B1：0：0：A3：F1FF]：3260，1 iqn.2002-10.com.infortrend：raid.uid2702.10110.10.10.3：3260，1 iqn.2002-10.com.infortrend：raid.uid2702.101
如上发现发现了10.10.10.3提供的
iqn.2002-10.com.infortrend：raid.uid2702.101存储设备，登录该设备使其本地化：
[rootgcloud407～]#iscsiadm-m node-T
iqn.2002-10.com.infortrend：raid.uid2702.101-p 10.10.10.3：3260-1
Logging in to[iface：default，target：iqn.2002-10.com.infortrend：raid.uid2702.101，portal：10.10.10.3，3260](multiple)
Login to[iface：default，target：iqn.2002-10.com.infortrend：raid.uid2702.101，portal：10.10.10.3，3260]successful.
成功登录后，LUN设备会生成本地块设备，通过fdisk-1查看或者执行如下命令查看：
[rootgcloud407～]#11/dev/disk/by-path/
total 0
lrwxrwxrwx 1 root root 9 Aug 26 15：52
ip-10.10.10.3：3260-iscsi-iqn.2002-10.com.infortrend：raid.uid2702.101-lun-0
-＞../../sde
lrwxrwxrwx 1 root root 9 Aug 2209：51
ip-20.251.32.18：3260-iscsi-iqn.3218.600g-iozone.com-lun-1-＞../../sdb
lrwxrwxrwx 1 root root 9 Aug 22 09：51
ip-20.251.32.18：3260-iscsi-iqn.32.18.com：3218.target3-lun-1-＞../../sdc
如上可知，生成了本地块设备/dev/sde。创建物理卷组和逻辑卷组vg_infortrend，如下所示：
[rootgcloud407～]#pvcreate/dev/sde
[rootgcloud407～]#vgcreate vg_infortrend/dev/sde
[rootgcloud407～]#pvscan
Total：4[4.13 TiB]/in use：4[4.13 TiB]/in no VG：0[0]
利用生成的逻辑卷组创建逻辑卷，逻辑卷的大小可以自行指定：
创建好逻辑卷后，可以将虚拟机镜像文件注入到逻辑卷并利用逻辑卷创建虚拟机。常用的虚拟机镜像文件有如XEN环境下的vhd格式镜像、KVM环境下的qcow2格式镜像等，注入方式可以采用最简单的dd方式，例如执行如下命令我们将win2008-R2-64bit-20G-original.vhd镜像注入到刚刚创建的逻辑卷lv20g_infortrend_011。
[rootgcloud407～]#dd if＝win2008-R2-64bit-20G-original.vhd
of＝/dev/vg_infortrend/lv20g_infortrend_011 bs＝5M
创建虚拟机配置文件，创建虚拟机，虚拟机配置文件部分如下：
这里采用了/dev/vg_infortrend/lv20g_infortrend_011作为虚拟机系统盘，另外用另外一个逻辑卷/dev/vg_infortrend/30g-11作为附加磁盘。如此可以成功创建高可用虚拟机。
在其他与集中存储在同一个数据网络内的物理节点上面执行LUN发现与登录操作，可以看到同一个LUN所创建的逻辑卷组和逻辑卷，执行如下激活命令即可进行使用，激活后可以进行虚拟机的动态迁移。
[rootgcloud405～]#lvchange-ay/dev/vg_infortrend/lv20g_infortrend_011
如果需要扩展虚拟机的磁盘空间，可以先扩展磁盘所在的逻辑卷，再放大其上的文件系统，如下：
[rootgcloud407～]#lvextend-L+5 G/dev/vg_infortrend/lv20g_infortrend_011
Extending logical volume lV lv20g_infortrend_011 to 25.00 GiB
Logical volume lv20g_test successfully resized
[rootgcloud407～]#resize2fs/dev/vg_infortrend/lv20g_infortrend_011
同样可以使用lvreduce命令减少逻辑卷的大小。如果虚拟机磁盘所在的逻辑卷组空间出现不够用的现象，可以采用之前对集中存储进行LUN划分并发布，物理节点发现并登录的过程，重新生成一个本地块设备，采用pvresize、vgresize等相关命令进行逻辑卷组的扩展。
另外，如果集中存储物理空间达到上限，可以通过增加磁盘阵列的磁盘数来解决。
本发明中，集中存储统称由多个数据磁盘组成的磁盘阵列，具有对外提供大容量的存储能力的存储设备；
高效利用是指在将集中存储同一个或多个LUN共享给多个物理节点，在其中一个节点上对该LUN对应的存储设备创建逻辑卷组的前提下达到如下主要效果：
(1)任何连接到该LUN的物理节点都可以发现上述逻辑卷组，并在上面创建逻辑卷，所创建的逻辑卷在各个节点上面都可以访问并使用；
(2)所创建的逻辑卷可以很容易的进行容量伸缩管理而不影响已有数据；
(3)逻辑卷所在的逻辑卷组可以很容易的通过从集中存储新增LUN来进行扩展而不影响已有数据；
(4)通过在逻辑卷上面注入虚拟机镜像，并利用该逻辑卷来创建虚拟机，所创建的虚拟机较NFS等集中存储方案创建的虚拟机，由于少了一层文件系统，因此能够达到更高的性能；
(5)逻辑卷在各个物理节点上面共享存在，通过简单的激活和失活操作即可实现虚拟机在各节点之间的热迁移。

Claims (10)

1.一种云平台中高效利用集中存储的方法，其特征在于：
包括如下步骤：
步骤1：通过管理网络登录集中存储设备，对其进行LUN的划分，并将LUN以SAN方式对外提供存储资源；
步骤2：在各物理节点上发现并登录LUN设备，使其本地化；
步骤3：在其中一个物理节点上利用本地化的存储设备创建逻辑卷组，使本节点和其他节点共享该卷组；
步骤4：创建虚拟机；
步骤5：通过LVM机制实现虚拟机磁盘及磁盘所在的逻辑卷组容量的自由伸缩管理。
2.根据权利要求1所述的云平台中高效利用集中存储的方法，其特征在于：所述的虚拟机创建步骤是：(1)在卷组上面创建指定大小的逻辑卷；(2)将虚拟机镜像文件注入逻辑卷；(3)将注有镜像文件的逻辑卷配置成虚拟机的磁盘设备创建虚拟机。
3.根据权利要求1所述的云平台中高效利用集中存储的方法，其特征在于：
所述的物理节点是指在云平台中与集中存储设备处于同一个局域网中的服务器。
4.根据权利要求2所述的云平台中高效利用集中存储的方法，其特征在于：
所述的物理节点是指在云平台中与集中存储设备处于同一个局域网中的服务器。
5.根据权利要求1至4任一项所述的云平台中高效利用集中存储的方法，其特征在于：所述的管理网络是指按集中存储设备生产厂商提供的方式设置的IP，通过浏览器或者指定客户端登陆此IP即可进入集中存储管理接口界面。
6.根据权利要求1至4任一项所述的云平台中高效利用集中存储的方法，其特征在于：所述的LUN本地化是指在服务器节点上面发现或登录集中存储提供的LUN后，相应的会在服务器节点上映射成一个块设备；
所述的发现可以是执行IP-SAN对应的iscsiadm命令或者是FC-SAN对应的重启等操作。
7.根据权利要求5所述的云平台中高效利用集中存储的方法，其特征在于：所述的LUN本地化是指在服务器节点上面发现或登录集中存储提供的LUN后，相应的会在服务器节点上映射成一个块设备；
所述的发现可以是执行IP-SAN对应的iscsiadm命令或者是FC-SAN对应的重启等操作。
8.根据权利要求1至4任一项所述的云平台中高效利用集中存储的方法，其特征在于：所述的虚拟机磁盘自由伸缩是指可以动态的调整虚拟机磁盘的容量大小，包括增大容量和减少容量。
9.根据权利要求5所述的云平台中高效利用集中存储的方法，其特征在于：所述的虚拟机磁盘自由伸缩是指可以动态的调整虚拟机磁盘的容量大小，包括增大容量和减少容量。
10.根据权利要求6所述的云平台中高效利用集中存储的方法，其特征在于：所述的虚拟机磁盘自由伸缩是指可以动态的调整虚拟机磁盘的容量大小，包括增大容量和减少容量。
CN201410448564.1A 2014-09-04 2014-09-04 一种云平台中高效利用集中存储的方法 Active CN104270409B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410448564.1A CN104270409B (zh) 2014-09-04 2014-09-04 一种云平台中高效利用集中存储的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410448564.1A CN104270409B (zh) 2014-09-04 2014-09-04 一种云平台中高效利用集中存储的方法

Publications (2)

Publication Number Publication Date
CN104270409A true CN104270409A (zh) 2015-01-07
CN104270409B CN104270409B (zh) 2017-12-22

Family

ID=52161898

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410448564.1A Active CN104270409B (zh) 2014-09-04 2014-09-04 一种云平台中高效利用集中存储的方法

Country Status (1)

Country Link
CN (1) CN104270409B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105450754A (zh) * 2015-11-30 2016-03-30 国云科技股份有限公司 一种物理机和虚拟机相互共享云盘的方法
CN105635276A (zh) * 2015-12-28 2016-06-01 国云科技股份有限公司 云平台分布式物理卷对象迁移到非分布式存储的方法
CN105677237A (zh) * 2015-12-28 2016-06-15 国云科技股份有限公司 平台非分布式存储物理卷迁移到分布式存储系统的方法
CN107688484A (zh) * 2017-09-06 2018-02-13 郑州云海信息技术有限公司 一种虚拟机迁移的方法及系统
CN109857519A (zh) * 2019-01-15 2019-06-07 新华三云计算技术有限公司 虚拟磁盘的处理方法及相关装置
CN112463249A (zh) * 2020-11-27 2021-03-09 江苏视博云信息技术有限公司 Android云应用的启动方法、装置及系统
CN113568569A (zh) * 2021-06-21 2021-10-29 长沙证通云计算有限公司 一种基于云平台的san存储对接方法及系统
WO2021238267A1 (zh) * 2020-05-29 2021-12-02 浪潮电子信息产业股份有限公司 基于集群文件系统的数据备份方法、装置及可读存储介质
CN113992657A (zh) * 2021-10-26 2022-01-28 超越科技股份有限公司 一种基于云平台的共享存储的搭建方法、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102147770A (zh) * 2011-03-28 2011-08-10 杭州电子科技大学 一种存储资源管理系统及方法
CN102713825A (zh) * 2009-12-16 2012-10-03 赛门铁克公司 在虚拟环境中的存储可视化

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102713825A (zh) * 2009-12-16 2012-10-03 赛门铁克公司 在虚拟环境中的存储可视化
CN102147770A (zh) * 2011-03-28 2011-08-10 杭州电子科技大学 一种存储资源管理系统及方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105450754A (zh) * 2015-11-30 2016-03-30 国云科技股份有限公司 一种物理机和虚拟机相互共享云盘的方法
CN105450754B (zh) * 2015-11-30 2019-04-26 国云科技股份有限公司 一种物理机和虚拟机相互共享云盘的方法
CN105635276B (zh) * 2015-12-28 2019-05-21 国云科技股份有限公司 云平台分布式物理卷对象迁移到非分布式存储的方法
CN105635276A (zh) * 2015-12-28 2016-06-01 国云科技股份有限公司 云平台分布式物理卷对象迁移到非分布式存储的方法
CN105677237A (zh) * 2015-12-28 2016-06-15 国云科技股份有限公司 平台非分布式存储物理卷迁移到分布式存储系统的方法
CN105677237B (zh) * 2015-12-28 2018-10-19 国云科技股份有限公司 平台非分布式存储物理卷迁移到分布式存储系统的方法
CN107688484A (zh) * 2017-09-06 2018-02-13 郑州云海信息技术有限公司 一种虚拟机迁移的方法及系统
CN109857519A (zh) * 2019-01-15 2019-06-07 新华三云计算技术有限公司 虚拟磁盘的处理方法及相关装置
CN109857519B (zh) * 2019-01-15 2021-05-07 新华三云计算技术有限公司 虚拟磁盘的处理方法及相关装置
WO2021238267A1 (zh) * 2020-05-29 2021-12-02 浪潮电子信息产业股份有限公司 基于集群文件系统的数据备份方法、装置及可读存储介质
CN112463249A (zh) * 2020-11-27 2021-03-09 江苏视博云信息技术有限公司 Android云应用的启动方法、装置及系统
CN113568569A (zh) * 2021-06-21 2021-10-29 长沙证通云计算有限公司 一种基于云平台的san存储对接方法及系统
CN113992657A (zh) * 2021-10-26 2022-01-28 超越科技股份有限公司 一种基于云平台的共享存储的搭建方法、设备及介质
CN113992657B (zh) * 2021-10-26 2024-04-12 超越科技股份有限公司 一种基于云平台的共享存储的搭建方法、设备及介质

Also Published As

Publication number Publication date
CN104270409B (zh) 2017-12-22

Similar Documents

Publication Publication Date Title
CN104270409A (zh) 一种云平台中高效利用集中存储的方法
US11042311B2 (en) Cluster system with calculation and storage converged
US11288286B2 (en) Storage system with data consistency checking in synchronous replication using active snapshot set
US11734306B2 (en) Data replication method and storage system
US10754575B2 (en) Storage system with replication process utilizing simulated target responses
US10001947B1 (en) Systems, methods and devices for performing efficient patrol read operations in a storage system
US10628043B1 (en) Systems and methods for implementing a horizontally federated heterogeneous cluster
US10866760B2 (en) Storage system with efficient detection and clean-up of stale data for sparsely-allocated storage in replication
CN103389884A (zh) 处理输入/输出请求的方法、宿主机、服务器和虚拟机
CN104283959A (zh) 一种适用于云平台的基于性能分级的存储机制
CN102868727B (zh) 一种实现逻辑卷高可用性的方法
CN109327332B (zh) 一种Ceph云存储下基于LIO的iSCSI GateWay高可用实现方法
US9854037B2 (en) Identifying workload and sizing of buffers for the purpose of volume replication
JPWO2016162916A1 (ja) 管理計算機およびリソース管理方法
US20160364170A1 (en) Storage system
US8880769B2 (en) Management of target devices
CN105657057A (zh) 一种计算存储融合的集群系统
US9348513B2 (en) SAS virtual tape drive
US11144232B2 (en) Storage system with efficient snapshot pair creation during synchronous replication of logical storage volumes
US11099767B2 (en) Storage system with throughput-based timing of synchronous replication recovery
JP2013003691A (ja) 計算機システムおよびその計算機システムにおけるディスク共有方法
US10853203B2 (en) Storage aggregate restoration
US10642788B1 (en) Sand timer algorithm for tracking in-flight data storage requests for data replication
US20130024614A1 (en) Storage manager
US10338828B1 (en) Shared storage based host device state transition control

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: 523808 19th Floor, Cloud Computing Center, Chinese Academy of Sciences, No. 1 Kehui Road, Songshan Lake Hi-tech Industrial Development Zone, Dongguan City, Guangdong Province

Patentee after: G-Cloud Technology Co., Ltd.

Address before: 523808 No. 14 Building, Songke Garden, Songshan Lake Science and Technology Industrial Park, Dongguan City, Guangdong Province

Patentee before: G-Cloud Technology Co., Ltd.

CP02 Change in the address of a patent holder