CN105468296B - 基于虚拟化平台的无共享存储管理方法 - Google Patents

基于虚拟化平台的无共享存储管理方法 Download PDF

Info

Publication number
CN105468296B
CN105468296B CN201510793235.5A CN201510793235A CN105468296B CN 105468296 B CN105468296 B CN 105468296B CN 201510793235 A CN201510793235 A CN 201510793235A CN 105468296 B CN105468296 B CN 105468296B
Authority
CN
China
Prior art keywords
service node
cluster
virtual machine
physical server
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510793235.5A
Other languages
English (en)
Other versions
CN105468296A (zh
Inventor
罗立群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Greenet Technology Co Ltd
Original Assignee
Nanjing Greenet Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Greenet Technology Co Ltd filed Critical Nanjing Greenet Technology Co Ltd
Priority to CN201510793235.5A priority Critical patent/CN105468296B/zh
Publication of CN105468296A publication Critical patent/CN105468296A/zh
Application granted granted Critical
Publication of CN105468296B publication Critical patent/CN105468296B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects
    • G06F3/0664—Virtualisation aspects at device level, e.g. emulation of a storage device or system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种基于虚拟化平台的无共享存储管理方法，包括存储集群的对象存储节点、元数据服务节点和集群监控服务节点以虚拟机的形式部署在多个物理服务器上，对象存储节点、元数据服务节点和集群监控服务节点的数据存储在所述物理服务器的磁盘中，各磁盘相互独立、无共享；通过存储系统的块设备接口向虚拟机呈现统一的存储界面。本发明实现了数据存储的高实用性，同时使得虚拟机的I/O性能较高，降低了虚拟化部署成本。

Description

基于虚拟化平台的无共享存储管理方法
技术领域
本发明涉及计算机存储技术领域，尤其是基于虚拟化平台的无共享存储管理方法。
背景技术
基于虚拟化技术的云计算正在普及，虚拟化技术通过将单台物理服务器虚拟为多个虚拟服务器，能够充分利用有限的物理服务器资源完成众多计算机能够完成的工作，极大地降低了企业信息化部署的成本。目前很多企业通过在数据中心部署虚拟化平台，以有限的物理资源虚拟出大量的计算、存储、网络资源，有效的简化和降低企业信息化建设难度和成本。
企业在部署虚拟化平台时，要保证虚拟化平台上运行的虚拟机能够具有高可用、热迁移等功能，这一般要依赖于底层的存储系统。传统的解决方案是利用NFS等共享文件系统将某一物理存储设施共享给虚拟化平台上运行的虚拟机，这会带来以下三个显著的问题：一是，所有虚拟机镜像及其数据全部存储在单一的物理存储设施上，一旦该存储设施发生故障，所有运行的虚拟机都会受到影响；二是，所有虚拟机的读写操作最后都会集中到单一的存储设施，造成存储设施的读写压力太大从而影响虚拟机的I/O性能；三是，传统的虚拟化平台为了实现虚拟机的存储管理，通常使用一个单独的物理集群实现数据的存储，未能将计算集群和存储集群整合到同一物理服务器集群上，通常需要单独部署物理存储设施，使得虚拟化部署成本太高。
发明内容
为了克服上述缺陷，本发明提出一种将存储集群和计算集群以虚拟机的形式统一部署到同一组物理服务器上并实现无共享存储的高可用虚拟化解决方案，通过将存储集群的对象存储节点、元数据服务节点、集群监控服务节点分别部署到各个物理服务器上的虚拟机上，确保每台物理服务器上均有对象存储节点、元数据服务节点、集群监控服务节点节点，结合存储系统内置的高可用容错机制，实现基于无共享存储的虚拟化解决方案。
基于虚拟化平台的无共享存储管理方法，包括存储集群的对象存储节点、元数据服务节点和集群监控服务节点以虚拟机的形式部署在多个物理服务器上，使每个物理服务器上均有对象存储节点、元数据服务节点和集群监控服务节点；对象存储节点、元数据服务节点和集群监控服务节点的数据存储在所述物理服务器的磁盘中，各磁盘相互独立、无共享；通过存储系统的块设备接口向虚拟机呈现统一的存储界面；与所述块设备接口连接的是作为存储集群客户端的单独的虚拟机，所述客户端部署有NFS（Network File System，网络文件系统）服务；将计算集群的虚拟机部署在所述物理服务器上。
所述物理服务器至少是三个。
所述存储集群的对象存储节点、元数据服务节点和集群监控服务节点以虚拟机的形式部署在多个物理服务器上具体为：所述元数据服务节点和所述集群监控服务节点部署在同一个虚拟机上，所述对象存储节点部署在另一个虚拟机上。
所述对象存储节点、元数据服务节点和集群监控服务节点的数据存储在所述物理服务器的磁盘中具体为：所述对象存储节点、元数据服务节点和集群监控服务节点的数据在每个物理服务器的磁盘中均有副本。
由于存储集群通过将实际数据和元数据存储在各个对象存储节点，且每一份数据都在其他对象存储节点上有相应的副本，各个对象存储节点存储的数据实际存储到其所在物理服务器的磁盘上，并且存储集群能够自动进行丢失数据的访问转移，可以实现数据存储的高可用性；存储集群通过多个元数据服务节点构成元数据服务集群提供统一的元数据服务，当其中任何一个元数据服务节点发生故障时，可以通过其他元数据服务节点接管相关操作继续提供统一的元数据服务，从而保证了元数据服务的高可用性；而在多个物理服务器上部署的集群监控服务节点，可以通过监控维护集群的映射关系实现存储服务高可用性。由于数据实际存储在多个物理服务器上的磁盘上，可以将读写压力分散开来，从而使得虚拟机的I/O性能较高。此外，本发明可以使得虚拟计算集群和虚拟存储集群共同运行在一组物理服务器上，相对于传统的“计算存储集群分离模式”而言可以充分利用有限的物理服务器，从而降低虚拟化部署成本。
附图说明
图1为存储集群数据读写原理图；
图2为基于虚拟化平台的无共享存储管理方法实施例的框架结构和容错流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
虚拟机进行数据的读写流程如图1所示。当客户端向存储集群进行数据访问时，首先与元数据存储集群进行交互，获取数据的元数据信息。当客户端获得元数据后，便与对象存储集群交互以便到其中的对象存储节点进行数据的读写。虽然元数据服务节点提供元数据智能缓存服务，但元数据和实际数据一样，最终都要存储到对象存储节点。而监控集群能够始终维护集群的完整映射，从而在集群中的某些节点宕机时仍等保证集群的完整可用。
图2示出了本实施例的结构，通过将构成存储集群的对象存储节点、元数据服务节点、集群监控服务节点分别以虚拟机的形式部署在各个物理服务器上，使得各个存储集群节点的数据实际存储在其所在物理服务器上的磁盘上，通过存储集群对外提供统一的存储接口供其它虚拟机使用，可以在其中某一台物理服务器宕机时不影响虚拟机的运行以实现存储的高可用性，可以保证虚拟机具有较高的I/O性能，可以很好地支持虚拟机热迁移、虚拟机负载均衡等高级特性。
虚拟机访问数据时，通过存储集群的元数据服务节点，找到存储数据的对象存储节点，由于对象存储节点中的数据实际存储在其所在物理服务器的磁盘上，因此虚拟机的I/O操作最终发生在物理服务器的磁盘上，由于不同物理服务器访问的数据会作用到不同的对象存储节点上，因此数据的访问最终会作用到不同的物理服务器的磁盘上，从而避免了对同一存储设施的集中访问的压力，能够更好地平衡虚拟机的I/O请求，提高虚拟机运行的I/O性能。
当其中一台物理服务器出现故障时，其上运行的元数据服务节点、集群监控服务节点及对象存储节点可以通过存储集群本身的机制进行容错，即通过其他物理服务器上的元数据服务节点、集群监控服务节点和对象存储节点继续向虚拟机提供相同的存储服务，从而保证了虚拟机能够持续访问其需要的数据，从而实现存储的高可用性。
此外，通过客户端呈现的块设备接口，可以使用NFS满足不同物理服务器上的虚拟机热迁移工作，从而使得虚拟机能够不间断的运行，也使得各个物理服务器上的虚拟机分布更均衡以提高虚拟机的性能。
由于存储集群和虚拟计算节点全部以虚拟机的形式部署在同一组物理服务器上，避免单独部署存储集群，明显降低了虚拟化部署成本。
具体容错流程如图2中所示：正常运行时，物理服务器上的虚拟机VM1的I/O数据流如图中所示，即VM1要访问的数据D1位于存储集群中的对象存储节点osd2，而osd2节点实际将数据存储在物理服务器2的磁盘上；物理服务器2上的虚拟机VM3的I/O数据流如图中所示，即VM3要访问的数据D2位于存储集群中的osd2节点，而osd2节点实际将数据存储在物理服务器2的磁盘上。当物理服务器2的磁盘出现故障时，由于VM1要访问的数据D1和VM3要访问的数据D2存储在该服务器的磁盘上，因此VM1和VM3将无法从物理服务器2上访问其需要的数据D1和D2。可以发现，由于VM1和VM3要访问的数据D1和D2在osd1、osd2、osd3上均有副本，亦即物理服务器1、物理服务器2、物理服务器3的磁盘上都有数据D1和D2的副本。因此，当物理服务器2出现故障时，VM1的访问的数据D1可以通过存储集群中的对象存储节点osd3节点继续提供，如图中数据流所示，亦即VM1 可以继续访问物理服务器3的磁盘中的数据D1，从而实现了虚拟机VM1的存储的高可用性。同样地，运行于物理服务器2上的虚拟机VM3为了继续运行，需要热迁移到另一台物理服务器1上，由于VM3的磁盘镜像等数据D2在物理服务器的磁盘上有相同的副本，数据D2可以通过NFS共享给虚拟机，因此可以保证虚拟机VM3在迁移到物理服务器1上时继续访问物理服务器1的磁盘上的数据D2，具体数据流如图中数据流所示，因此本实施例能够有效支持虚拟机的热迁移及物理服务器的负载均衡。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。

Claims (3)

1.一种基于虚拟化平台的无共享存储管理方法，其特征在于，包括
存储集群的对象存储节点、元数据服务节点和集群监控服务节点以虚拟机的形式部署在多个物理服务器上，使每个物理服务器上均有对象存储节点、元数据服务节点和集群监控服务节点；所述物理服务器至少是三个；对象存储节点、元数据服务节点和集群监控服务节点的数据存储在所述物理服务器的磁盘中，各磁盘相互独立、无共享；
通过存储系统的块设备接口向虚拟机呈现统一的存储界面；
与所述块设备接口连接的是作为存储集群客户端的单独的虚拟机，所述客户端部署有NFS服务；
将计算集群的虚拟机部署在所述物理服务器上。
2.根据权利要求1所述的基于虚拟化平台的无共享存储管理方法，其特征在于，所述存储集群的对象存储节点、元数据服务节点和集群监控服务节点以虚拟机的形式部署在多个物理服务器上具体为：所述元数据服务节点和所述集群监控服务节点部署在同一个虚拟机上，所述对象存储节点部署在另一个虚拟机上。
3.根据权利要求1所述的基于虚拟化平台的无共享存储管理方法，其特征在于，所述对象存储节点、元数据服务节点和集群监控服务节点的数据存储在所述物理服务器的磁盘中具体为：所述对象存储节点、元数据服务节点和集群监控服务节点的数据在每个物理服务器的磁盘中均有副本。
CN201510793235.5A 2015-11-18 2015-11-18 基于虚拟化平台的无共享存储管理方法 Active CN105468296B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510793235.5A CN105468296B (zh) 2015-11-18 2015-11-18 基于虚拟化平台的无共享存储管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510793235.5A CN105468296B (zh) 2015-11-18 2015-11-18 基于虚拟化平台的无共享存储管理方法

Publications (2)

Publication Number Publication Date
CN105468296A CN105468296A (zh) 2016-04-06
CN105468296B true CN105468296B (zh) 2018-12-04

Family

ID=55606049

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510793235.5A Active CN105468296B (zh) 2015-11-18 2015-11-18 基于虚拟化平台的无共享存储管理方法

Country Status (1)

Country Link
CN (1) CN105468296B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107835093A (zh) * 2017-10-26 2018-03-23 郑州云海信息技术有限公司 一种存储管理方法及装置
CN109213666A (zh) * 2018-09-14 2019-01-15 郑州云海信息技术有限公司 一种分布式文件存储系统的性能测试方法
CN109391691B (zh) * 2018-10-18 2022-02-18 郑州云海信息技术有限公司 一种单节点故障下nas服务的恢复方法及相关装置
CN110045712B (zh) * 2019-03-06 2020-10-16 吉利汽车研究院（宁波）有限公司 一种控制器故障处理方法、装置及终端
CN109951331B (zh) * 2019-03-15 2021-08-20 北京百度网讯科技有限公司 用于发送信息的方法、装置和计算集群
CN111522514B (zh) * 2020-04-27 2023-11-03 上海商汤智能科技有限公司 集群文件系统、数据处理方法、计算机设备及存储介质
CN113296877A (zh) * 2020-07-14 2021-08-24 阿里巴巴集团控股有限公司 数据处理方法和装置，及计算机存储介质和电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103051673A (zh) * 2012-11-21 2013-04-17 浪潮集团有限公司 一种基于Xen和Hadoop的云存储平台的构建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8856337B2 (en) * 2011-08-16 2014-10-07 Hitachi, Ltd. Method and apparatus of cluster system provisioning for virtual maching environment

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103051673A (zh) * 2012-11-21 2013-04-17 浪潮集团有限公司 一种基于Xen和Hadoop的云存储平台的构建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"基于HDFS的云存储系统研究--分布式架构REPERA设计与实现";徐文强;《中国优秀硕士论文全文数据库 信息科技辑》;20110715(第07期);I137-43,第10页第2.2.1节，第11页第2.2.2节，第12页第2.2.3节，第13页第2.3.1节，第15页第2.4节，第17页第3.1.1节 *
"基于Nutanix平台的云媒资探索";刘彬;《电视技术》;20150317;第39卷(第06期);第65-67页，第66页第1段第1-4行 *

Also Published As

Publication number Publication date
CN105468296A (zh) 2016-04-06

Similar Documents

Publication Publication Date Title
CN105468296B (zh) 基于虚拟化平台的无共享存储管理方法
CN104506589B (zh) 一种基于超融合存储的资源迁移调度方法
US10671408B1 (en) Automatic storage system configuration for mediation services
US9830082B1 (en) Hybrid hyper-converged infrastructure and storage appliance
US10019159B2 (en) Systems, methods and devices for management of virtual memory systems
US9558194B1 (en) Scalable object store
US20210019063A1 (en) Utilizing data views to optimize secure data access in a storage system
CN103890729B (zh) 计算机化方法、存储服务器及管理服务器
US10990288B2 (en) Systems and/or methods for leveraging in-memory storage in connection with the shuffle phase of MapReduce
CN103312791B (zh) 物联网异构数据存储方法及系统
CN102833580B (zh) 基于infiniband的高清视频应用系统及方法
US8959173B1 (en) Non-disruptive load-balancing of virtual machines between data centers
US20210055885A1 (en) Enhanced data access using composite data views
CN103455577A (zh) 云主机镜像文件的多备份就近存储和读取方法及系统
US11262918B1 (en) Data storage system with uneven drive wear reduction
US10558373B1 (en) Scalable index store
US20170371946A1 (en) Replication groups for content libraries
US20240211013A1 (en) Hibernating and resuming nodes of a computing cluster
CN107528871A (zh) 存储系统中的数据分析
US12107915B2 (en) Distributed cloud system, data processing method of distributed cloud system, and storage medium
US11449398B2 (en) Embedded container-based control plane for clustered environment
CN110019099A (zh) 基于Hadoop架构的海量数据管理系统
Mitchell Introduction to VMware vSAN™ for VMware Cloud Providers™
US20160337192A1 (en) Appliance interconnection architecture
US20210223988A1 (en) Selecting data nodes for wan caching in a hybrid cloud environment

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant