CN106598498B - 一种兼容整合异构存储设备的存储虚拟化系统和方法 - Google Patents

Abstract

本发明提供了一种兼容整合异构存储设备的存储虚拟化系统和方法，其中，存储虚拟化系统包括基础设施层、网关层和服务层；基础设施层由至少两个异构存储设备构成，网关层和服务层均由物理服务器构成；首先将异构设备初始化，再将初始化信息挂接到网关层的存储网关服务器上，使之形成存储网关服务器的本地资源，并标注为扩展用类别资源，最后将：将服务层和网关层进行按需挂接，以形成最终面向终端服务器的虚拟存储空间；与现有技术相比，本发明提出的一种兼容整合异构存储设备的存储虚拟化方案，能够兼容不同厂商的异构存储设备，并能跨异构存储设备整合存储资源，提供按需差异化虚拟存储服务；同时系统具备统一的管理界面，管理便捷且成本低。

Description

一种兼容整合异构存储设备的存储虚拟化系统和方法

技术领域

本发明涉及计算机存储技术领域，尤其涉及一种兼容整合异构存储设备的存储虚拟化系统和方法。

背景技术

随着社会的发展和科技的进步，企业在建设过程中不断的采购存储设备并进行更新换代，多年下来累积了大量不同厂商不同型号的存储设备，即异构存储设备。虽然满足了当时的业务需求，但由于异构存储设备无法统一兼容整合，不仅对企业后续的建设和维护造成了极大的困难和浪费，还导致了企业的管理难度大大增加。

现有技术中，针对存储设备的整合，一般采用存储虚拟化（StorageVirtualization）方法，譬如RAID磁盘阵列和分布式文件系统等，这类存储虚拟化方法通常都是对存储硬件资源进行抽象化表现。但针对异构储存设备的整合，也就是针对异构存储设备的集中管理难和统一整合难的问题，往往采用硬件网关的存储虚拟化方式，通过提供一层虚拟的“卷”的逻辑设备（逻辑卷），屏蔽异构存储设备的差异，克服硬件设备的物理局限性和差异性，使逻辑卷可以跨越多个物理磁盘，最终实现异构存储的整合，再统一对外提供存储服务，譬如华为OceanStor VIS6600T虚拟化网关和IBM StorwizeV7000混合存储。但这些硬件设备不仅资金投入大，而且存在兼容性问题，无法满足整合现有全部异构存储设备的预期。由于其采用了硬件实现，因此各个厂家虽然内部实现原理大同小异，但是各自硬件存储系统的操作方法差异很大，导致管理员无法适从，要面对不同的存储学习不同的操作方法；更重要的是，不同厂商的管理接口有各自的规范，导致了各自厂商要实现的存储虚拟化只能是兼容自家的存储设备，或者兼容有限的几个型号，完全兼容不太可能。

申请号为CN201310142612.X的发明专利《存储虚拟化系统》提供了一个存储虚拟化系统，将服务器的本地磁盘通过RAID卡组成RAID磁盘阵列，多个服务器再通过各自的分布式机头卡通过网络组成虚拟存储，该虚拟化存储系统利用低成本本地服务器构建了虚拟存储系统，但是并不能解决异构存储设备不兼容的问题，其次，该虚拟化存储系统中用来整合多个服务器本地磁盘所采用“分布式机头卡”并不通用，没有此硬件产品，且本发明也没有提供整合后的存储如何实现数据存取，如何实现桌面的稳定性和可靠性，技术效益存疑。

申请号为CN201110025361.8的发明专利《一种面向海量存储管理的存储虚拟化方法》提出了一种面向海量存储管理的存储虚拟化方法，解决现有海量异构存储中存储资源高度复杂、规模庞大的问题，以提高存储资源利用率和降低存储系统的管理成本。本发明包括以下步骤：（1）存储资源发现步骤；（2）存储资源代理步骤；（3）存储资源分配步骤。在本发明所述的资源管理节点中，针对资源需求，需要管理节点根据资源请求情况向特定存储申请分配资源，对现有设备要求高，厂商如果不提供接口，实现难度大；本发明所述的存储虚拟化方法也没有实现各个异构存储设备的整合，所提供的虚拟存储资源不能跨越两个不同的存储。

综上所述，异构存储设备的兼容整合已经成为了一个亟待解决的问题。

发明内容

本发明的目的在于提供一种兼容整合异构存储设备的存储虚拟化系统和方法，目的在于解决由于异构存储设备无法兼容整合而对企业的建设和维护造成了极大的困难和浪费的问题，还解决了企业管理难度大的问题。

为了实现上述目的，本发明采用以下技术方案：

一种兼容整合异构存储设备的存储虚拟化系统，包括基础设施层、网关层和服务层；基础设施层由至少两个异构存储设备构成，网关层由至少两台存储网关服务器构成，异构存储设备的数目与存储网关服务器的数目相同，存储网关服务器上设置有响应硬件FC-HBA卡或ISCSI-HBA卡，存储网关服务器通过FCSAN或IPSAN协议与异构存储设备对应的一一通信连接，存储网关服务器内还内置有相同的存储虚拟化系统；所述服务层采用物理服务器，物理服务器上内置了与网关层相同的存储虚拟化系统。

一种兼容整合异构存储设备的方法，包括以下步骤：

步骤A：将异构存储设备初始化，形成基础设施层的可用存储单元；进入下一步；

步骤B：将步骤A中所述可用存储单元进行预处理，完成网关层对基础设施层可用存储单元的挂接工作，使可用存储单元挂接为存储网关服务器的本地存储资源，并统一由内置在存储网关服务器上的存储虚拟化系统标注为扩展用类别资源；进入下一步；

步骤C：将步骤B中所述扩展用类别资源进行处理，形成可提供给服务层的扩展用虚拟存储空间、共享式虚拟存储空间和分布式虚拟存储空间，并通过存储虚拟化系统将扩展用虚拟存储空间按需逻辑构造为面向服务层的共享式虚拟存储空间和分布式虚拟存储空间；进入下一步；

步骤D：将服务层和网关层进行挂接，以形成最终面向终端服务器的虚拟存储空间。

所述步骤A采用以下方法：对基础设施层的各异构存储设备的磁盘阵列上以条带化（striping）原则划分为一些粒度不等的逻辑存储卷LUN。

所述步骤B包括以下步骤：

步骤B1：为各异构存储设备前端部署一对一的存储网关服务器；

步骤B2：为各存储网关服务器部署相同的存储虚拟化系统；

步骤B3：通过各存储虚拟化系统，将步骤A形成的各异构存储设备的初始化信息，以FSCAN或IPSAN协议经由存储网关服务器上的FC-HBA卡或ISCSI-HBA卡挂接为对应存储网关服务器的本地存储资源，并形成存储网关服务器所属的磁盘存储空间，并由存储虚拟化系统标注为扩展用类别资源。

所述步骤C包括以下步骤：

步骤C1：针对共享式虚拟存储空间，按照按需服务的原则，由管理员按需通过存储虚拟化系统的管理界面执行，先从扩展用虚拟存储空间中按需逻辑划分所需空间到共享式虚拟存储空间，完成对共享式虚拟存储空间的整合，具体通过LVM技术组合；

步骤C2：针对分布式虚拟存储空间，按照按需服务的原则，由管理员按需通过存储虚拟化系统的管理界面执行，先从扩展用虚拟存储空间中按需逻辑划分所需空间到分布式虚拟存储空间，经由底层的分布式文件系统MFS，对分布式类别存储空间完成整合。

所述步骤D包括以下步骤：

步骤D1：针对共享存储服务需求，管理员首先在服务层的终端服务器上部署与服务层相同的存储虚拟化系统，终端服务器上的存储虚拟化系统与存储网关服务器上的存储虚拟化系统进行通信指令交互，将共享式虚拟存储空间挂接到终端服务器，实现来自不同异构存储设备上存储空间的有效整合；

步骤D2：针对分布式存储服务需求，管理员首先在服务层的终端服务器上部署与服务层相同的存储虚拟化系统，终端服务器上的存储虚拟化系统与存储网关服务器上的存储虚拟化系统进行通信指令交互，将分布式虚拟存储空间挂接到终端服务器，实现来自不同异构存储设备上存储空间的有效整合。

本发明的有益效果：

与现有技术相比，本发明所述一种兼容整合异构存储设备的方法，提出的一种兼容整合异构存储设备的存储虚拟化方案，能够兼容不同厂商的异构存储设备，并能跨异构存储设备整合存储资源，提供虚拟存储服务；同时系统具备统一的管理界面，管理便捷且成本低。

附图说明

图1为本发明所述一种兼容整合异构存储设备的存储虚拟化系统的结构示意图；

图2为本发明所述一种兼容整合异构存储设备的方法流程图；

图3为本发明所述实施例的结构示意图。

具体实施方式

本发明所述的一种兼容整合异构存储设备的存储虚拟化系统，包括基础设施层、网关层和服务层；基础设施层是整个存储虚拟化系统的底层硬件资源，基础设施层由至少两个异构存储设备构成；网关层由至少两台存储网关服务器构成，异构存储设备的数目与存储网关服务器的数目相同，存储网关服务器上设置有响应硬件FC-HBA卡或ISCSI-HBA卡，存储网关服务器通过FCSAN或IPSAN协议与异构存储设备对应的一一通信连接，存储网关服务器内还内置有相同的存储虚拟化系统；所述服务层采用物理服务器，物理服务器上内置了与网关层相同的存储虚拟化系统。

一种兼容整合异构存储设备的方法，包括以下步骤：

步骤A：将异构存储设备初始化，形成基础设施层的可用存储单元，具体采用下述方法：

对应在基础设施层，需要针对各异构存储设备，在各异构存储设备磁盘阵列上以条带化（striping）原则划分一些粒度不等的逻辑存储卷LUN，这些操作可由管理员或者厂商的技术支持人员手工执行，这个操作称为初始化过程，通过初始化操作，为网关层准备了一些逻辑存储卷LUN，即可用的存储单元；进入下一步；

步骤B：将步骤A中所述可用存储单元进行预处理，完成网关层对基础设施层可用存储单元的挂接工作，使可用存储单元挂接为存储网关服务器的本地存储资源，并统一由内置在存储网关服务器上的存储虚拟化系统标注为扩展用类别资源；具体包括以下步骤；

步骤B1：为各异构存储设备前端部署一对一的存储网关服务器；

步骤B2：为各存储网关服务器部署相同的存储虚拟化系统；

步骤B3：通过各存储虚拟化系统，将步骤A形成的各异构存储设备的初始化信息，以FSCAN或IPSAN协议经由存储网关服务器上的FC-HBA卡或ISCSI-HBA卡挂接为对应存储网关服务器的本地存储资源，并形成存储网关服务器所属的磁盘存储空间，并由存储虚拟化系统标注为扩展用类别资源；进入下一步；

步骤C：将步骤B中所述扩展用类别资源进行处理，形成可提供给服务层的扩展用虚拟存储空间、共享式虚拟存储空间和分布式虚拟存储空间，并通过存储虚拟化系统将扩展用虚拟存储空间按需逻辑构造为面向服务层的共享式虚拟存储空间和分布式虚拟存储空间；具体采用以下方法：

步骤C1：针对共享式虚拟存储空间，按照按需服务的原则，由管理员按需通过存储虚拟化系统的管理界面执行，先从扩展用虚拟存储空间中按需逻辑划分所需空间到共享式虚拟存储空间，完成对共享式虚拟存储空间的整合，具体通过LVM技术组合；

步骤C2：针对分布式虚拟存储空间，按照按需服务的原则，由管理员按需通过存储虚拟化系统的管理界面执行，先从扩展用虚拟存储空间中按需逻辑划分所需空间到分布式虚拟存储空间，经由底层的分布式文件系统MFS，对分布式虚拟存储空间完成整合；分布式虚拟存储空间由多个存储网关服务器的存储空间构成，体现负载均分的特点，并能提高分布式虚拟存储空间的存取性能和可靠性，分布式虚拟存储空间相对共享式虚拟存储空间，具备数据冗余特性，适用于有高可靠和冗余需求的业务和数据需求；

步骤D：将服务层和网关层进行挂接，以形成最终面向终端服务器的虚拟存储空间，具体包括以下步骤：

步骤D1：针对共享存储服务需求，管理员首先在服务层的终端服务器上部署与服务层相同的存储虚拟化系统，终端服务器上的存储虚拟化系统与存储网关服务器上的存储虚拟化系统进行通信指令交互，将共享式虚拟存储空间挂接到终端服务器，实现来自不同异构存储设备上存储空间的有效整合；

步骤D2：针对分布式存储服务需求，管理员首先在服务层的终端服务器上部署与服务层相同的存储虚拟化系统，终端服务器上的存储虚拟化系统与存储网关服务器上的存储虚拟化系统进行通信指令交互，将分布式虚拟存储空间挂接到终端服务器，实现来自不同异构存储设备上存储空间的有效整合；分布式虚拟存储空间的提供者，必然来自至少二个以上的存储网关服务器提供的存储空间，分布式虚拟存储空间由网关层直接整合，在服务层直接挂接使用；与共享式虚拟存储空间不同，共享式虚拟存储空间1v1的提供给对应的1个终端服务器使用，而分布式虚拟存储空间可以1vN的提供给多个终端服务器使用。

实施例1：

有一企业现有的异构存储设备有Lenovo存储设备、IBM存储设备和Huawei存储设备，有三台终端服务器，包括终端服务器1、终端服务器2和终端服务器3（终端服务器的数目不限，这里为了举例说明，采用三台），虽然上述三种异构存储设备存储原理大同小异，但是各自硬件存储系统的操作方法差异很大，导致管理员无法适从；在工作中，管理员要面对不同的存储设备学习不同的操作方法；更重要的是，不同厂商的管理接口有各自的规范，导致了不同厂商只能兼容自家的存储设备，或者兼容有限几个型号的存储设备，因此利用现有技术将该企业的Lenovo存储设备、IBM存储设备和Huawei存储设备完全兼容是不可能的。

如图3所示，利用本发明所述的一种兼容整合异构存储设备的虚拟化系统对该企业的Lenovo存储设备、IBM存储设备和Huawei存储设备进行兼容整合时， Lenovo存储设备、IBM存储设备和Huawei存储设备构成基础设施层，存储网关服务器1、存储网关服务器2和存储网关服务器3构成网关层——存储网关服务器1与Lenovo存储设备通过FCSAN（或IPSAN）相连，将存储网关服务器2与IBM存储设备通过FCSAN（或IPSAN）相连，将存储网关服务器3与Huawei存储设备通过FCSAN（或IPSAN）相连；终端服务器1、终端服务器2和终端服务器3构成服务层，终端服务器1、终端服务器2和终端服务器3内置了与存储网关服务器1、存储网关服务器2和存储网关服务器3相同的存储虚拟化系统。

利用本发明所述的一种兼容整合异构存储设备的方法对该企业的Lenovo存储设备、IBM存储设备和Huawei存储设备进行兼容整合时，采用以下步骤：

步骤A：将Lenovo存储设备、IBM存储设备和Huawei存储设备初始化，形成基础设施层的可用存储单元，具体采用下述方法：

对应在基础设施层，需要针对各异构存储设备，分别在Lenovo存储设备、IBM存储设备和Huawei存储设备的磁盘阵列上以条带化（striping）原则划分一些粒度不等的逻辑存储卷LUN，这些操作可由管理员或者厂商的技术支持人员手工执行，这个操作称为初始化过程，通过初始化操作，为网关层准备逻辑存储卷LUN，即可用的存储单元；进入下一步；

步骤B：将步骤A中所述可用存储单元进行预处理，完成网关层对基础设施层可用存储单元的挂接工作，使可用存储单元挂接为存储网关服务器的本地存储资源，并统一由内置在存储网关服务器上的存储虚拟化系统标注为扩展用类别资源；具体包括以下步骤；

步骤B1：为Lenovo存储设备、IBM存储设备和Huawei存储设备部署一对一的存储网关服务器；具体方法如下：将存储网关服务器1与Lenovo存储设备通过FCSAN（或IPSAN）相连，将存储网关服务器2与IBM存储设备通过FCSAN（或IPSAN）相连，将存储网关服务器3与Huawei存储设备通过FCSAN（或IPSAN）相连，存储网关服务器1、存储网关服务器2和存储网关服务器3均采用物理服务器；

步骤B2：为各存储网关服务器部署相同的存储虚拟化系统；所述存储虚拟化系统用Web界面选用Apache服务器搭建，采用PHP编程实现，存储服务端通过C实现，并提供驻留服务插件ServicePlugin，以响应管理端页面的请求；

步骤B3：通过各存储虚拟化系统，将步骤A形成的各异构存储设备的初始化信息即逻辑存储卷LUN，以FSCAN或IPSAN协议经由存储网关服务器上的FC-HBA卡或ISCSI-HBA卡挂接为对应存储网关服务器的本地存储资源，即将Lenovo存储设备的初始化信息挂接为存储网关服务器1的本地存储资源，将IBM存储设备的初始化信息挂接为存储网关服务器2的本地存储资源，将Huawei存储设备的初始化信息挂接为存储网关服务器3的本地存储资源，并形成存储网关服务器所属的磁盘存储空间，并由存储虚拟化系统标注为扩展用类别资源；进入下一步；

步骤C：将步骤B中所述扩展用类别资源进行处理，形成可提供给服务层的扩展用虚拟存储空间、共享式虚拟存储空间和分布式虚拟存储空间，并通过存储虚拟化系统将扩展用虚拟存储空间按需逻辑构造为面向服务层的共享式虚拟存储空间和分布式虚拟存储空间；具体采用以下方法：

步骤C1：针对共享式虚拟存储空间，按照按需服务的原则，由管理员按需通过存储虚拟化系统的管理界面执行，先从扩展用虚拟存储空间中按需逻辑划分所需空间到共享式虚拟存储空间，完成对共享式虚拟存储空间的整合，具体通过LVM技术组合；

步骤C2：针对分布式虚拟存储空间，按照按需服务的原则，由管理员按需通过存储虚拟化系统的管理界面执行，先从扩展用虚拟存储空间中按需逻辑划分所需空间到分布式虚拟存储空间，经由底层的分布式文件系统MFS，对分布式虚拟存储空间完成整合；分布式虚拟存储空间由多个存储网关服务器的存储空间构成，体现负载均分的特点，并能提高分布式虚拟存储空间的存取性能和可靠性，分布式虚拟存储空间相对共享式虚拟存储空间，具备数据冗余特性，适用于有高可靠和冗余需求的业务和数据需求；

步骤D：将服务层和网关层进行挂接，以形成最终面向终端服务器的虚拟存储空间，具体包括以下步骤：

步骤D1：针对共享存储服务需求，管理员首先在服务层的终端服务器上部署与服务层相同的存储虚拟化系统，终端服务器上的存储虚拟化系统与存储网关服务器上的存储虚拟化系统进行通信指令交互，将共享式虚拟存储空间挂接到终端服务器，实现来自不同异构存储设备上存储空间的有效整合；

步骤D2：针对分布式存储服务需求，管理员首先在服务层的终端服务器上部署与服务层相同的存储虚拟化系统，终端服务器上的存储虚拟化系统与存储网关服务器上的存储虚拟化系统进行通信指令交互，将分布式虚拟存储空间挂接到终端服务器，实现来自不同异构存储设备上存储空间的有效整合；分布式虚拟存储空间的提供者，必然来自至少二个以上的存储网关服务器提供的存储空间，分布式虚拟存储空间由网关层直接整合，在服务层直接挂接使用；与共享式虚拟存储空间不同，共享式虚拟存储空间1v1的提供给对应的1个终端服务器使用，而分布式虚拟存储空间可以1vN的提供给多个终端服务器使用。

与现有技术相比，本发明所述一种兼容整合异构存储设备的存储虚拟化系统和方法，提出的一种兼容整合异构存储设备的存储虚拟化方案，能够兼容不同厂商的异构存储设备，并能跨异构存储设备整合存储资源，提供虚拟存储服务；同时系统具备统一的管理界面，管理便捷且成本低。

Claims (6)

1.一种兼容整合异构存储设备的存储虚拟化系统，其特征在于：包括基础设施层、网关层和服务层；

基础设施层由至少两个异构存储设备构成，基础设施层用于将异构存储设备初始化，形成基础设施层的可用存储单元；

网关层由至少两台存储网关服务器构成，异构存储设备的数目与存储网关服务器的数目相同，存储网关服务器上设置有响应硬件FC-HBA卡或ISCSI-HBA卡，存储网关服务器通过FCSAN或IPSAN协议与异构存储设备对应的一一通信连接，存储网关服务器内还内置有相同的存储虚拟化系统；网关层用于完成对基础设施层可用存储单元的挂接工作，使可用存储单元挂接为存储网关服务器的本地存储资源；

所述服务层采用物理服务器，物理服务器上内置了与网关层相同的存储虚拟化系统。

2.利用权利要求1所述的一种兼容整合异构存储设备的存储虚拟化系统所进行的一种兼容整合异构存储设备的方法，其特征在于，包括以下步骤：

步骤A：将异构存储设备初始化，形成基础设施层的可用存储单元；进入下一步；

步骤B：将步骤A中所述可用存储单元进行预处理，完成网关层对基础设施层可用存储单元的挂接工作，使可用存储单元挂接为存储网关服务器的本地存储资源，并统一由内置在存储网关服务器上的存储虚拟化系统标注为扩展用类别资源；进入下一步；

步骤C：将步骤B中所述扩展用类别资源进行处理，形成可提供给服务层的扩展用虚拟存储空间、共享式虚拟存储空间和分布式虚拟存储空间，并通过存储虚拟化系统将扩展用虚拟存储空间按需逻辑构造为面向服务层的共享式虚拟存储空间和分布式虚拟存储空间；进入下一步；

步骤D：将服务层和网关层进行挂接，以形成最终面向终端服务器的虚拟存储空间。

3.根据权利要求2所述的一种兼容整合异构存储设备的方法，其特征在于：所述步骤A采用以下方法：对基础设施层的各异构存储设备的磁盘阵列上以条带化（striping）原则划分为一些粒度不等的逻辑存储卷LUN。

4.根据权利要求2所述的一种兼容整合异构存储设备的方法，其特征在于：所述步骤B包括以下步骤：

步骤B1：为各异构存储设备前端部署一对一的存储网关服务器；

步骤B2：为各存储网关服务器部署相同的存储虚拟化系统；

步骤B3：通过各存储虚拟化系统，将步骤A形成的各异构存储设备的初始化信息，以FSCAN或IPSAN协议经由存储网关服务器上的FC-HBA卡或ISCSI-HBA卡挂接为对应存储网关服务器的本地存储资源，并形成存储网关服务器所属的磁盘存储空间，并由存储虚拟化系统标注为扩展用类别资源。

5.根据权利要求2所述的一种兼容整合异构存储设备的方法，其特征在于：所述步骤C包括以下步骤：

步骤C1：针对共享式虚拟存储空间，按照按需服务的原则，由管理员按需通过存储虚拟化系统的管理界面执行，先从扩展用虚拟存储空间中按需逻辑划分所需空间到共享式虚拟存储空间，完成对共享式虚拟存储空间的整合，具体通过LVM技术组合；

步骤C2：针对分布式虚拟存储空间，按照按需服务的原则，由管理员按需通过存储虚拟化系统的管理界面执行，先从扩展用虚拟存储空间中按需逻辑划分所需空间到分布式虚拟存储空间，经由底层的分布式文件系统MFS，对分布式类别存储空间完成整合。

6.根据权利要求2所述的一种兼容整合异构存储设备的方法，其特征在于：所述步骤D包括以下步骤：

步骤D1：针对共享存储服务需求，管理员首先在服务层的终端服务器上部署与服务层相同的存储虚拟化系统，终端服务器上的存储虚拟化系统与存储网关服务器上的存储虚拟化系统进行通信指令交互，将共享式虚拟存储空间挂接到终端服务器，实现来自不同异构存储设备上存储空间的有效整合；

步骤D2：针对分布式存储服务需求，管理员首先在服务层的终端服务器上部署与服务层相同的存储虚拟化系统，终端服务器上的存储虚拟化系统与存储网关服务器上的存储虚拟化系统进行通信指令交互，将分布式虚拟存储空间挂接到终端服务器，实现来自不同异构存储设备上存储空间的有效整合。