CN106919346A - 一种基于clvm的共享存储虚拟化实现方法 - Google Patents

一种基于clvm的共享存储虚拟化实现方法 Download PDF

Info

Publication number
CN106919346A
CN106919346A CN201710093066.3A CN201710093066A CN106919346A CN 106919346 A CN106919346 A CN 106919346A CN 201710093066 A CN201710093066 A CN 201710093066A CN 106919346 A CN106919346 A CN 106919346A
Authority
CN
China
Prior art keywords
service
node
shared storage
management
pacemaker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710093066.3A
Other languages
English (en)
Other versions
CN106919346B (zh
Inventor
许广彬
郑军
刘志坤
张欢
刘苏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huayun data holding group Co., Ltd
Original Assignee
Wuxi Huayun Data Technology Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Huayun Data Technology Service Co Ltd filed Critical Wuxi Huayun Data Technology Service Co Ltd
Priority to CN201710093066.3A priority Critical patent/CN106919346B/zh
Publication of CN106919346A publication Critical patent/CN106919346A/zh
Application granted granted Critical
Publication of CN106919346B publication Critical patent/CN106919346B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects
    • G06F3/0665—Virtualisation aspects at area level, e.g. provisioning of virtual or logical volumes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45579—I/O management, e.g. providing access to device drivers or storage

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种基于CLVM的共享存储虚拟化实现方法，包括：共享存储通过FC协议或者iSCSI协议连接并映射至控制节点和计算节点，控制节点与计算节点之间通过交换机互联；控制节点通过pvcreate命令和vgcreate命令共同将共享存储创建为卷组；在控制节点和计算节点上分别部署Pacemaker集群管理服务，多个Pacemaker集群管理服务共同构成Pacemaker集群；在计算节点上通过计算服务将逻辑卷挂载至虚拟机；Pacemaker集群管理服务将逻辑卷的元数据对其他任意一个控制节点和/或计算节点执行同步更新操作。通过本发明，实现了共享存储的虚拟化且不需要针对每一种共享存储进行定制化插件开发，实现了共享存储中不同品牌或者不同设备的任意替换，并有效地避免了控制节点出现性能瓶颈。

Description

一种基于CLVM的共享存储虚拟化实现方法
技术领域
本发明涉及云计算平台中的虚拟化存储领域，尤其涉及一种基于CLVM的共享存储虚拟化实现方法。
背景技术
云计算平台主要依赖于计算、网络以及存储等虚拟化技术，通过计算虚拟化实现了在一个物理宿主机上运行多个虚拟机VM。通过存储虚拟化实现了存储资源池，可以按需划分存储并提供给虚拟机VM使用；通过网络虚拟化实现了虚拟机VM之间网络的互通。
随着信息技术的发展，需要存储的数据量迅速增长，使得存储系统的规模日益增大。SAN存储(Storage Area Network)是通过光纤等高速传输介质接入主机服务器的一种存储系统，其通常位于主机服务器所构成的集群服务器的后端。SAN存储采用SCSI块IO的命令集，通过磁盘或者FC级数据访问，以提供高性能的随机IO和数据吞吐能力，并具有高带宽、低延迟的优势。目前，现有技术中主要存在两种技术方案实现将SAN存储提供给云平台使用。
参图1所示，其示出了现有技术中的一种实现将SAN存储提供给云平台使用的结构图。在该现有技术中，将SAN存储连接至控制节点，并将该SAN存储创建为一个VG(卷组)作为存储池，由控制节点负责逻辑卷的管理，并通过iSCSI协议为计算节点上的虚拟机提供数据存储服务。该现有技术的缺点是：SAN存储由控制节点来管理，通过iSCSI协议暴露给所有的计算节点中的虚拟机来使用；因此，所有的虚拟机对逻辑卷的读写等IO操作都需要经过控制节点，从而增加了控制节点的计算开销，容易导致控制节点存现性能瓶颈。
同时，现有技术中还存在第二种技术方案，其将SAN存储分别通过FC或者iSCSI协议方式连接至控制节点和所有计算节点，通过定制化的插件方式来实现云硬盘的管理，进而提供给计算节点上的虚拟机使用，上/下行数据流不经过控制节点。该现有技术的缺点是：该方案需要对具体的SAN存储进行定制化的开发才能挂载至云计算平台中。如果云计算平台中有多种SAN存储类型，则大大增加云平台及其虚拟化存储系统的开发成本以及维护成本。
发明内容
本发明的目的在于揭示一种基于CLVM的SAN存储虚拟化实现方法，用以避免现有技术中需要针对不同共享存储进行定制化插件开发的缺陷，并实现逻辑卷的集群化管理，同时避免控制节点出现性能瓶颈。
为实现上述发明目的，本发明提供了一种基于CLVM的共享存储虚拟化实现方法，包括：
共享存储通过FC协议或者iSCSI协议连接并映射至控制节点和计算节点，所述控制节点与计算节点之间通过交换机耦合连接；
控制节点通过pvcreate命令和vgcreate命令共同将共享存储创建为卷组；
在控制节点和计算节点上分别部署Pacemaker集群管理服务，多个Pacemaker集群管理服务共同构成Pacemaker集群；
在计算节点上通过计算服务将逻辑卷挂载至虚拟机；
Pacemaker集群管理服务将逻辑卷的元数据对其他任意一个控制节点和/或计算节点执行同步更新操作。
作为本发明的进一步改进，所述控制节点上部署计算管理服务、存储管理服务及Pacemaker集群管理服务；所述计算节点上部署计算服务及Pacemaker集群管理服务；
通过所述计算管理服务对虚拟机执行生命周期管理；
通过存储管理服务对云硬盘执行生命周期管理；
生命周期管理包括创建操作、删除操作或者初始化操作。
作为本发明的进一步改进，所述Pacemaker集群管理服务包括集群逻辑卷管理服务、分布式锁管理服务、监控告警服务、集群资源管理服务、集群引擎服务以及资源Agent；
集群逻辑卷管理服务用于对计算节点和控制节点上的逻辑卷的元数据执行同步更新操作；
分布式锁管理服务用于对卷组的访问控制，对计算节点和控制节点所部署的Pacemaker集群管理服务所构成的Pacemaker集群范围内的锁机制；
监控告警服务对无法响应请求的计算节点和控制节点进行预警，并标识为不可用；
集群资源管理服务用于对计算节点和控制节点所形成的资源进行创建操作、删除操作、更新操作或者初始化操作；
集群引擎服务用于表征对计算节点和控制节点所部署的Pacemaker集群管理服务所构成的Pacemaker集群的状态消息、仲裁信息、计算节点和/或控制节点的状态信息；
资源Agent用于将资源纳入Pacemaker集群中。
作为本发明的进一步改进，还包括通过监控告警服务将不可用的计算节点和/或控制节点可视化地通知用户或者管理员。
作为本发明的进一步改进，所述监控告警服务将不可用的计算节点和/或控制节点以邮件、弹出式消息框或者日志形式通知用户或者管理员。
作为本发明的进一步改进，所述集群引擎服务被配置为Heartbeat机制或者Corosync机制。
作为本发明的进一步改进，还包括通过vgextend命令对共享存储进行扩容。
作为本发明的进一步改进，所述分布式锁管理服务优先于集群逻辑卷管理服务启动，所述分布式锁管理服务和集群逻辑卷管理服务运行于同一个计算节点或者控制节点中。
作为本发明的进一步改进，所述共享存储包括SAN存储、Ceph存储、NAS存储或者RAID存储装置。
与现有技术相比，本发明的有益效果是：通过本发明，实现了共享存储的虚拟化且不需要针对每一种共享存储进行定制化插件开发，实现了共享存储中不同品牌或者不同设备的任意替换；同时，通过集群逻辑卷管理方式实现了逻辑卷的集群化管理，计算节点直接在本计算节点挂载逻辑卷至虚拟机而无需经过控制节点，有效地避免了控制节点出现性能瓶颈。
附图说明
图1为现有技术中基于SAN存储的共享存储虚拟化并提供给云平台使用的结构图；
图2为本发明中云平台的总体架构图；
图3为Pacemaker集群管理服务的架构图；
图4为在图2所示出的云平台中的各个节点中部署Pacemaker集群管理服务、计算服务、计算管理服务及存储管理服务的云平台的详细架构图；
图5为SAN存储通过LUN方式映射至控制节点与多个计算节点的架构图；
图6为逻辑卷管理器的架构图；
图7为具体实施方式中挂载云硬盘的流程图。
具体实施方式
下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。
参图2至图7所示出的本发明一种基于CLVM的共享存储虚拟化实现方法的具体实施方式。
在本说明书中，共享存储挂载至云平台100中，用以实现云平台100对数据存储的需求。共享存储包括SAN存储、Ceph存储、NAS存储或者RAID存储装置，在本实施方式中该共享存储选用SAN存储，并以此作示范性说明；本领域技术人员可以合理预测到，该共享存储也可选用Ceph存储等其他具有数据存储功能的装置/系统/组件。
参图2与图5所示，在本实施方式中，云平台100至少包含一个控制节点10，一个或者多个计算节点(本说明书附图仅示范性的示出了计算节点20及计算节点N)。控制节点10、计算节点20至计算节点N均耦合连接至SAN存储40。SAN存储40中包含多个SAN SERVER(即图5中的SAN SERVER1、SAN SERVER 2至SAN SERVER N)。这些SAN SERVER通过FC协议或者iSCSI协议与交换机60相互通信，交换机60通过FC协议或者iSCSI协议与控制节点10、计算节点20至计算节点N相互通信。
控制节点10用于管理运行于计算节点上的虚拟机VM以及通过不同协议挂载给云主机的云硬盘的生命周期。计算节点用于运行虚拟机VM。存储管理服务负责云硬盘的生命周期管理，例如，对云硬盘的创建操作、删除操作、初始化连接操作。创建云硬盘是指通过lvcreate命令在卷组VG中创建一个逻辑卷LV。删除云硬盘是指通过lvremove命令从卷组VG中删除对应的逻辑卷LV。对云硬盘的初始化操作是指计算管理服务向存储管理服务请求云硬盘的路径，由于卷组LV所对应的元数据是同步的，因此这些元数据对多个计算节点和控制节点10而言均为可视化的，因此多个计算节点和控制节点10均能够感知到某个云硬盘的路径，从而在计算节点上可通过计算服务将逻辑卷LV的路径挂载至虚拟机VM。计算节点上部署的计算服务负责虚拟机VM的生命周期管理，包括对虚拟机执行创建操作、删除操作或者重启操作等虚拟机操作。计算节点中的虚拟化层监视器Hypervisor可采用KVM或者Xen。
参图3、图4及图6所示，在本实施方式中，该基于CLVM的共享存储虚拟化实现方法，包括以下步骤。
首先，共享存储(即图2中的SAN存储40)通过FC协议或者iSCSI协议连接并映射至控制节点10和计算节点，所述控制节点10与计算节点之间通过交换机耦合连接。
首先，在控制节点10和计算节点上分别部署Pacemaker集群管理服务，多个Pacemaker集群管理服务共同构成Pacemaker集群。
然后，控制节点10通过pvcreate命令和vgcreate命令共同将共享存储(即图2中的SAN存储40)创建为卷组VG。
如图4所示，控制节点10所部署的Pacemaker集群管理服务与计算节点20中所部署的Pacemaker集群管理服务至计算节点N中所部署的Pacemaker集群管理服务实现集群管理。通过在控制节点10和多个计算节点上部署Pacemaker集群管理服务，实现了自动同步这些LVM的元数据信息，即，当控制节点10进行了卷组以及逻辑卷的管理工作时，其他节点(即其他所有的计算节点)也会实时感知到这些操作结果，以实现对逻辑卷的元数据的共享及更新。Pacemaker集群管理服务运行在控制节点10和所有计算节点中。通过该Pacemaker集群实现了逻辑卷LV的元数据同步。在计算节点上通过计算服务将逻辑卷挂载至虚拟机。虚拟机可在计算节点中预先配置或者事后启动或者事后删除。
Pacemaker集群管理服务将逻辑卷的元数据对其他任意一个控制节点10和/或计算节点执行同步更新操作。参图5所示，SAN存储40中配置有多个SAN SERVER。如果这些SANSERVER是由不同品牌或者不同型号的存储设备组成的。由于不同的SAN SERVER通过交换机60挂载至云平台100时需要对不同的SAN SERVER开发设备插件、云平台插件及设备驱动。当需要更换SAN存储40中的某个SAN SERVER时，就需要再次针对更换后的SAN SERVER开发或者加载与该SAN SERVER相对应的设备插件、云平台插件及设备驱动，从而导致云平台100的共享存储的虚拟化效率严重低下。然而在本发明中，不需要将不同品牌或者不同型号的SANSERVER的设备驱动或者设备插件部署至控制节点10及多个计算节点中，可直接将SAN存储40通过FC协议/iSCSI协议映射挂载至控制节点10及多个计算节点，从而无需向计算节点及云平台100中安装设备驱动、设备插件。在SAN存储40规模的不断扩大而需要向SAN存储40中添加新设备时具有非常明显的技术优势。通过本发明可以大大降低新增SAN SERVER以进行存储空间扩容时的部署成本及维护成本。
参图4所示，在本实施方式中，该控制节点10上部署计算管理服务、存储管理服务及Pacemaker集群管理服务；计算节点(即计算节点20至计算节点N，下文所涉及的计算节点均泛指计算节点20至计算节点N)上部署计算服务及Pacemaker集群管理服务。通过所述计算管理服务对虚拟机执行生命周期管理；通过存储管理服务对云硬盘执行生命周期管理；生命周期管理包括创建操作、删除操作或者初始化操作。
参图3所示，在本实施方式中，该Pacemaker集群管理服务包括集群逻辑卷管理服务、分布式锁管理服务、监控告警服务、集群资源管理服务、集群引擎服务以及资源Agent。所述集群引擎服务被配置为Heartbeat机制或者Corosync机制。
其中，集群逻辑卷管理服务(CLVM)用于对计算节点和控制节点10上的逻辑卷的元数据执行同步更新操作。分布式锁管理服务用于对卷组VG的访问控制，对计算节点和控制节点10所部署的Pacemaker集群管理服务所构成的Pacemaker集群范围内的锁机制。
监控告警服务对无法响应请求的计算节点和控制节点10进行预警，并标识为不可用。集群资源管理服务用于对计算节点和控制节点10所形成的资源进行创建操作、删除操作、更新操作或者初始化操作。
集群引擎服务用于表征在计算节点和控制节点10中所部署的Pacemaker集群管理服务所构成的Pacemaker集群的状态消息、仲裁信息、计算节点和/或控制节点10的状态信息，该状态信息包括正常状态(或称为可用状态)或者不可用状态。资源Agent用于将资源纳入Pacemaker集群中。
Pacemaker集群包括节点和资源的概念，资源是指当前Pacemaker集群中的服务，该服务通过计算节点和/或控制节点10中所部署的Pacemaker集群管理服务中的资源Agent接入至Pacemaker集群中并受Pacemaker集群的统一管理。每一种资源都对应一个资源Agent。本发明支持各种类型的SAN存储40，当在SAN存储40中增加不同品牌或者不同型号的SAN SERVER时，需要将新增加的SAN SERVER映射并共享给所有的节点(既所有的控制节点10和所有的计算节点)即可。此外，在本实施方式中，还包括通过vgextend命令对共享存储进行扩容。
节点是指当Pacemaker集群中所包含的控制节点10和多个计算节点。资源包括集群逻辑卷管理服务(CLVM)、分布式锁管理服务、监控告警管理服务等资源，且资源运行于所有的节点中，即分布于所有的控制节点10与计算节点中。集群逻辑卷管理服务(CLVM)用于各个节点中的逻辑卷的元数据的同步，在控制节点10上进行逻辑卷的管理，例如逻辑卷的创建操作或者删除操作，且某一个节点中的逻辑卷进行了创建操作或者删除操作后，可被其他的节点(计算节点和/或控制节点10)所感知。具体的，所述逻辑卷的元数据包括卷组VG的标识符、状态，以及创建卷组VG并位于后端的共享存储所包含的物理卷PV以及逻辑卷LV的详细信息等。
优选的，在本实施方式中，该基于CLVM的共享存储虚拟化实现方法还包括通过监控告警服务将不可用的计算节点和/或控制节点10可视化地通知用户或者管理员。具体的，可以以邮件、弹出式消息框或者日志形式通知用户或者管理员。具体的，当某个节点出现故障或者标记为不可用时，Pacemaker集群就无法对上述节点进行集群管理。当该不可用的状态的持续时间达到设定的阈值后就会触发监控告警事件。监控告警服务会将该故障或者不可用的节点对应的存储管理服务/计算服务/计算管理服务标识为不可用，从而禁止某个控制节点10或者某个/某些计算节点进行逻辑卷操作，以防止各个控制节点10与各个计算节点之间因为所保存的元数据存在不一致的问题而导致共享存储(具体为SAN存储40)中所保存的数据出现损坏，从而影响其他计算节点和/或控制节点10无法正常运行。
同时，在本实施方式中，该分布式锁管理服务优先于集群逻辑卷管理服务启动，所述分布式锁管理服务和集群逻辑卷管理服务运行于同一个计算节点或者控制节点10中。
如图5所示，多台SAN存储设备(即SAN SERVER)通过FC协议或者iSCSI协议连接至交换机60，将控制节点10和多台计算节点连接至同一个存储网络。实现了存储的共享。将SAN存储40通过创建LUN的方式映射给控制节点10和所有计算节点。具体的，该交换机60可被配置为网络存储交换机或者其他类型具有报文数据广播功能的装置。
如图6所示，将SAN存储40映射到控制节点10和计算节点后，假设映射的LUN在控制节点10上的映射盘符为sdb、sdc和sdd。则可以通过如下步骤来创建卷组VG。
步骤1.将每个LUN创建为物理卷PV：
#pvcreate/dev/sdb/dev/sdc/dev/sdd
步骤2.将步骤1中的物理卷PV创建为一个卷组VG，并且该卷组VG是集群模式的：
#vgcreate--clustered y vg1/dev/sdb/dev/sdc/dev/sdd
参图6中，PV1～PV N(物理卷)与硬盘/分区1～硬盘/分区N位于一个物理态的节点中，即图5所示出的多个SAN SERVER。在本实施方式中，通过上述两步操作，则实现了将SAN存储40创建为了一个卷组vg1，作为统一的存储池供云计算平台系统使用。另外，通过在控制节点10和计算节点上所部署Pacemaker集群管理服务实现了自动同步这些LVM的元数据信息，即当控制节点10进行了卷组VG以及逻辑卷LV的管理工作时，其他节点(包括其他的控制节点和/或计算节点)也会实时感知到这些操作结果，其中，相同操作的技术方案参上文所述。
为更好的理解本发明，下文介绍创建、删除云硬盘和挂载、卸载云硬盘操作。
创建或删除云硬盘的操作过程如下所示：
1.1客户端向云平台100发起一个创建云硬盘的请求。
1.2云平台100的控制节点10接收到客户端发送的创建请求后，执行如下操作在卷组vg1上创建一个指定大小的逻辑卷。
#lvcreate--size 1G--name lv1vg1
1.3 Pacemaker集群将新的逻辑卷元数据信息同步到其它节点，其中同步主要是通过Pacemaker集群服务的集群引擎来实现，采用corosync服务将更新后的集群资源状态信息同步到其它所有节点(包括其他的控制节点和/或计算节点)。这时候在控制节点10和所有计算节点都能看到该逻辑卷LV1。
删除操作和上述步骤类似，对应的执行删除操作的命令为：
#lvremove/dev/vg1/lv1
此时，在所有节点上都看不到这个LV1的逻辑卷了。
挂载云硬盘的操作过程如下所示。
2.1客户端发起挂载云硬盘的请求。
2.2控制节点10的计算管理服务接收到请求后，查询到云主机所在的计算节点后将请求发送给对应计算节点的计算服务。
2.3计算节点接收到请求后，向控制节点10的存储管理服务请求初始化云硬盘操作。
2.4控制节点10的控制管理服务设置对应云硬盘的状态为正在挂载，并将云硬盘路径如/dev/vg1/lv1返回给计算节点中的计算服务。
2.5计算服务接收到返回结果后，调用Hypervisor的挂载接口，将本节点的/dev/vg1/lv1挂载至云主机。并通知存储管理服务。
2.6存储管理服务将云硬盘状态设置为挂载中。
在本发明中，将各种SAN存储通过FC或者iSCSI协议连接映射到所有节点，采用统一的管理架构。实现了SAN存储40的虚拟化，不需要针对每一种SAN存储类型(即SANSERVER)进行定制化插件式开发及对驱动程序的频繁部署；通过集群逻辑卷管理(CLVM)方式实现了逻辑卷LV的集群化管理，计算节点直接在本节点挂载LV至虚拟机，从而不需要经过控制节点10，有效地避免了控制节点10出现性能瓶颈，提高了整个云平台100的运行效率，提高了用户体验。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (9)

1.一种基于CLVM的共享存储虚拟化实现方法，其特征在于，包括：
共享存储通过FC协议或者iSCSI协议连接并映射至控制节点和计算节点，所述控制节点与计算节点之间通过交换机耦合连接；
控制节点通过pvcreate命令和vgcreate命令共同将共享存储创建为卷组；
在控制节点和计算节点上分别部署Pacemaker集群管理服务，多个Pacemaker集群管理服务共同构成Pacemaker集群；
在计算节点上通过计算服务将逻辑卷挂载至虚拟机；
Pacemaker集群管理服务将逻辑卷的元数据对其他任意一个控制节点和/或计算节点执行同步更新操作。
2.根据权利要求1所述的基于CLVM的共享存储虚拟化实现方法，其特征在于，所述控制节点上部署计算管理服务、存储管理服务及Pacemaker集群管理服务；所述计算节点上部署计算服务及Pacemaker集群管理服务；
通过所述计算管理服务对虚拟机执行生命周期管理；
通过存储管理服务对云硬盘执行生命周期管理；
生命周期管理包括创建操作、删除操作或者初始化操作。
3.根据权利要求1或2所述的基于CLVM的共享存储虚拟化实现方法，其特征在于，所述Pacemaker集群管理服务包括集群逻辑卷管理服务、分布式锁管理服务、监控告警服务、集群资源管理服务、集群引擎服务以及资源Agent；
集群逻辑卷管理服务用于对计算节点和控制节点上的逻辑卷的元数据执行同步更新操作；
分布式锁管理服务用于对卷组的访问控制，对计算节点和控制节点所部署的Pacemaker集群管理服务所构成的Pacemaker集群范围内的锁机制；
监控告警服务对无法响应请求的计算节点和控制节点进行预警，并标识为不可用；
集群资源管理服务用于对计算节点和控制节点所形成的资源进行创建操作、删除操作、更新操作或者初始化操作；
集群引擎服务用于表征对计算节点和控制节点所部署的Pacemaker集群管理服务所构成的Pacemaker集群的状态消息、仲裁信息、计算节点和/或控制节点的状态信息；
资源Agent用于将资源纳入Pacemaker集群中。
4.根据权利要求3所述的基于CLVM的共享存储虚拟化实现方法，其特征在于，还包括通过监控告警服务将不可用的计算节点和/或控制节点可视化地通知用户或者管理员。
5.根据权利要求4所述的基于CLVM的共享存储虚拟化实现方法，其特征在于，所述监控告警服务将不可用的计算节点和/或控制节点以邮件、弹出式消息框或者日志形式通知用户或者管理员。
6.根据权利要求3所述的基于CLVM的共享存储虚拟化实现方法，其特征在于，所述集群引擎服务被配置为Heartbeat机制或者Corosync机制。
7.根据权利要求1所述的基于CLVM的共享存储虚拟化实现方法，其特征在于，还包括通过vgextend命令对共享存储进行扩容。
8.根据权利要求3所述的基于CLVM的共享存储虚拟化实现方法，其特征在于，所述分布式锁管理服务优先于集群逻辑卷管理服务启动，所述分布式锁管理服务和集群逻辑卷管理服务运行于同一个计算节点或者控制节点中。
9.根据权利要求4至8中任一项所述的基于CLVM的共享存储虚拟化实现方法，其特征在于，所述共享存储包括SAN存储、Ceph存储、NAS存储或者RAID存储装置。
CN201710093066.3A 2017-02-21 2017-02-21 一种基于clvm的共享存储虚拟化实现方法 Active CN106919346B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710093066.3A CN106919346B (zh) 2017-02-21 2017-02-21 一种基于clvm的共享存储虚拟化实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710093066.3A CN106919346B (zh) 2017-02-21 2017-02-21 一种基于clvm的共享存储虚拟化实现方法

Publications (2)

Publication Number Publication Date
CN106919346A true CN106919346A (zh) 2017-07-04
CN106919346B CN106919346B (zh) 2019-01-22

Family

ID=59453635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710093066.3A Active CN106919346B (zh) 2017-02-21 2017-02-21 一种基于clvm的共享存储虚拟化实现方法

Country Status (1)

Country Link
CN (1) CN106919346B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107391236A (zh) * 2017-09-15 2017-11-24 郑州云海信息技术有限公司 一种集群块存储实现方法和装置
CN107832093A (zh) * 2017-10-16 2018-03-23 北京易讯通信息技术股份有限公司 一种在私有云中免驱动对接标准iscsi/fc存储的方法
CN108038384A (zh) * 2017-11-29 2018-05-15 北京京航计算通讯研究所 一种高安全的集群共享存储虚拟化方法
CN108197155A (zh) * 2017-12-08 2018-06-22 深圳前海微众银行股份有限公司 信息数据同步方法、装置及计算机可读存储介质
CN110198329A (zh) * 2018-03-26 2019-09-03 腾讯科技（深圳）有限公司 数据库部署方法、装置、系统、电子设备及可读介质
CN110333931A (zh) * 2019-05-27 2019-10-15 北京迈格威科技有限公司 用于训练模型的共享存储的系统
CN111638855A (zh) * 2020-06-03 2020-09-08 山东汇贸电子口岸有限公司 一种物理裸机支持Ceph后端卷的方法
CN112000606A (zh) * 2020-07-22 2020-11-27 中国建设银行股份有限公司 适用于部署应用集群的计算机集群和基础设施集群
CN112416248A (zh) * 2020-11-18 2021-02-26 海光信息技术股份有限公司 一种磁盘阵列的实现方法、装置及电子设备
CN113504954A (zh) * 2021-07-08 2021-10-15 华云数据控股集团有限公司 调用CSI LVM Plugin插件、动态持久卷供应的方法、系统及介质
CN113568569A (zh) * 2021-06-21 2021-10-29 长沙证通云计算有限公司 一种基于云平台的san存储对接方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1664793A (zh) * 2005-03-11 2005-09-07 清华大学 基于元数据服务器的存储虚拟化管理方法
CN102143228A (zh) * 2011-03-30 2011-08-03 浪潮(北京)电子信息产业有限公司 一种云存储系统、云客户端及实现存储区域网络服务的方法
CN105068763A (zh) * 2015-08-13 2015-11-18 武汉噢易云计算有限公司 一种针对存储故障的虚拟机容错系统和方法
CN105159610A (zh) * 2015-09-01 2015-12-16 浪潮(北京)电子信息产业有限公司 大规模数据处理系统及方法
CN106095335A (zh) * 2016-06-07 2016-11-09 国网河南省电力公司电力科学研究院 一种电力大数据弹性云计算存储平台架构方法
CN106250562A (zh) * 2016-08-24 2016-12-21 苏州蓝海彤翔系统科技有限公司 数据信息处理系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1664793A (zh) * 2005-03-11 2005-09-07 清华大学 基于元数据服务器的存储虚拟化管理方法
CN102143228A (zh) * 2011-03-30 2011-08-03 浪潮(北京)电子信息产业有限公司 一种云存储系统、云客户端及实现存储区域网络服务的方法
CN105068763A (zh) * 2015-08-13 2015-11-18 武汉噢易云计算有限公司 一种针对存储故障的虚拟机容错系统和方法
CN105159610A (zh) * 2015-09-01 2015-12-16 浪潮(北京)电子信息产业有限公司 大规模数据处理系统及方法
CN106095335A (zh) * 2016-06-07 2016-11-09 国网河南省电力公司电力科学研究院 一种电力大数据弹性云计算存储平台架构方法
CN106250562A (zh) * 2016-08-24 2016-12-21 苏州蓝海彤翔系统科技有限公司 数据信息处理系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
李晨光: "《Linux企业应用案例精解》", 30 April 2012 *
王亚飞: "《CentOS7系统管理与运维实战》", 29 February 2016 *
陶利军: "《DRBD权威指南 基于Corosync+Heartbeat技术构建网络RAID》", 31 January 2014 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107391236B (zh) * 2017-09-15 2020-03-06 郑州云海信息技术有限公司 一种集群块存储实现方法和装置
CN107391236A (zh) * 2017-09-15 2017-11-24 郑州云海信息技术有限公司 一种集群块存储实现方法和装置
CN107832093A (zh) * 2017-10-16 2018-03-23 北京易讯通信息技术股份有限公司 一种在私有云中免驱动对接标准iscsi/fc存储的方法
CN108038384A (zh) * 2017-11-29 2018-05-15 北京京航计算通讯研究所 一种高安全的集群共享存储虚拟化方法
CN108038384B (zh) * 2017-11-29 2021-06-18 北京京航计算通讯研究所 一种高安全的集群共享存储虚拟化方法
CN108197155A (zh) * 2017-12-08 2018-06-22 深圳前海微众银行股份有限公司 信息数据同步方法、装置及计算机可读存储介质
CN110198329A (zh) * 2018-03-26 2019-09-03 腾讯科技（深圳）有限公司 数据库部署方法、装置、系统、电子设备及可读介质
CN110333931A (zh) * 2019-05-27 2019-10-15 北京迈格威科技有限公司 用于训练模型的共享存储的系统
CN111638855A (zh) * 2020-06-03 2020-09-08 山东汇贸电子口岸有限公司 一种物理裸机支持Ceph后端卷的方法
CN112000606A (zh) * 2020-07-22 2020-11-27 中国建设银行股份有限公司 适用于部署应用集群的计算机集群和基础设施集群
CN112416248A (zh) * 2020-11-18 2021-02-26 海光信息技术股份有限公司 一种磁盘阵列的实现方法、装置及电子设备
CN113568569A (zh) * 2021-06-21 2021-10-29 长沙证通云计算有限公司 一种基于云平台的san存储对接方法及系统
CN113504954A (zh) * 2021-07-08 2021-10-15 华云数据控股集团有限公司 调用CSI LVM Plugin插件、动态持久卷供应的方法、系统及介质
CN113504954B (zh) * 2021-07-08 2024-02-06 华云数据控股集团有限公司 调用CSI LVM Plugin插件、动态持久卷供应的方法、系统及介质

Also Published As

Publication number Publication date
CN106919346B (zh) 2019-01-22

Similar Documents

Publication Publication Date Title
CN106919346A (zh) 一种基于clvm的共享存储虚拟化实现方法
CN103164254B (zh) 用于维持镜像虚拟环境中存储装置的一致性的方法和系统
US6950871B1 (en) Computer system having a storage area network and method of handling data in the computer system
US9348724B2 (en) Method and apparatus for maintaining a workload service level on a converged platform
KR101547719B1 (ko) 데이터 센터들에 걸쳐 데이터 서버들내 데이터 무결정의 유지
JP5227125B2 (ja) ストレージシステム
CN106708430A (zh) 一种云计算架构下的云硬盘实现方法
US10241712B1 (en) Method and apparatus for automated orchestration of long distance protection of virtualized storage
US20030088713A1 (en) Method and apparatus for managing data caching in a distributed computer system
CN104461685B (zh) 虚拟机处理方法和虚拟计算机系统
JP2008065525A (ja) 計算機システム、データ管理方法及び管理計算機
CN106528327A (zh) 一种数据处理方法以及备份服务器
US20110040935A1 (en) Management computer for managing storage system capacity and storage system capacity management method
CN107203440A (zh) 一种一体化实时备份容灾系统及搭建方法
US9602341B1 (en) Secure multi-tenant virtual control server operation in a cloud environment using API provider
CN104820575A (zh) 实现存储系统自动精简的方法
CN102982182B (zh) 一种数据存储规划方法及装置
CN107370625A (zh) 一种云平台运行状态监控方法及监控平台
CN105095103A (zh) 用于云环境下的存储设备管理方法和装置
CN103399781A (zh) 云服务器及其虚拟机管理方法
CN102316131A (zh) 云平台系统智能备份
US8700846B2 (en) Multiple instances of mapping configurations in a storage system or storage appliance
CN106777394A (zh) 一种集群文件系统
CN110262893A (zh) 配置镜像内存的方法、装置及计算机存储介质
CN106612314A (zh) 基于虚拟机实现软件定义存储的系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 214125 Wuxi science and Technology Park, Jiangsu Binhu District No. 6

Patentee after: Huayun data holding group Co., Ltd

Address before: No.6, science and education software park, Binhu District, Wuxi City, Jiangsu Province

Patentee before: WUXI CHINAC DATA TECHNICAL SERVICE Co.,Ltd.

CP03 Change of name, title or address