CN1299207C - San环境中基于网络的海量存储资源管理方法 - Google Patents
San环境中基于网络的海量存储资源管理方法 Download PDFInfo
- Publication number
- CN1299207C CN1299207C CNB2005100112313A CN200510011231A CN1299207C CN 1299207 C CN1299207 C CN 1299207C CN B2005100112313 A CNB2005100112313 A CN B2005100112313A CN 200510011231 A CN200510011231 A CN 200510011231A CN 1299207 C CN1299207 C CN 1299207C
- Authority
- CN
- China
- Prior art keywords
- command
- disk
- physics
- metadata
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012545 processing Methods 0.000 claims description 46
- 230000006870 function Effects 0.000 claims description 43
- 230000008569 process Effects 0.000 claims description 34
- 239000013307 optical fiber Substances 0.000 claims description 18
- 238000012217 deletion Methods 0.000 claims description 16
- 230000037430 deletion Effects 0.000 claims description 16
- 230000015572 biosynthetic process Effects 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 14
- RGNPBRKPHBKNKX-UHFFFAOYSA-N hexaflumuron Chemical compound C1=C(Cl)C(OC(F)(F)C(F)F)=C(Cl)C=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F RGNPBRKPHBKNKX-UHFFFAOYSA-N 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 7
- 210000001519 tissue Anatomy 0.000 claims description 7
- 238000013467 fragmentation Methods 0.000 claims description 5
- 238000006062 fragmentation reaction Methods 0.000 claims description 5
- 239000007858 starting material Substances 0.000 claims description 5
- 210000002808 connective tissue Anatomy 0.000 claims description 3
- 238000005194 fractionation Methods 0.000 claims description 3
- 238000009434 installation Methods 0.000 claims description 3
- 230000008707 rearrangement Effects 0.000 claims description 3
- 238000013468 resource allocation Methods 0.000 abstract description 7
- 230000008901 benefit Effects 0.000 abstract description 2
- 230000008685 targeting Effects 0.000 abstract 1
- 230000000875 corresponding effect Effects 0.000 description 28
- 238000007726 management method Methods 0.000 description 22
- 230000006855 networking Effects 0.000 description 15
- 238000012360 testing method Methods 0.000 description 7
- 230000008520 organization Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000004321 preservation Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000012467 final product Substances 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000033772 system development Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
SAN环境中基于网络的海量存储资源管理属于存储区域网络领域，其特征在于：它通过专用处理器节点机来维护一套存储资源配置信息，并集中管理存储网络中各种不同的存储设备资源，并通过小型计算机系统接口SCSI中间层进行命令分析处理，从而对前端主机提供完全透明的虚拟化存储服务。它在节点机上维护全部存储设备的配置信息列表；同时在节点机上实现一个支持虚拟化功能的SCSI软件目标器，以把主机对虚拟盘逻辑空间的访问转化为对实际物理设备的访问。它具有不必在前端主机或设备上加载任何软件，占用信息资源少、空间分配灵活、优先使用性能最佳的物理设备的优点。
Description
技术领域
SAN环境中基于网络的海量存储资源管理方法属于存储区域网络领域，尤其涉及其中的虚拟化技术领域。
背景技术
随着信息技术的飞速发展，人们要处理的数据量不断增加，造成了对存储系统容量和性能的巨大需求，并使得传统的存储方式已经无法满足用户的需要。一般情况下，每台主机都带有自己的存储设备，这使得信息分散在各个主机上，形成信息孤岛，不利于信息整合。而网络存储可以提供共享的信息存取服务，并具有超大容量和优秀的性能，因此成为存储系统发展的趋势。存储区域网络(Storage Area Network，SAN)是一种专门的存储网络，它可以把各种存储设备连接在一起，组成统一管理的存储资源，而主机可以通过光纤或IP网络来访问这些资源。SAN系统具有良好的性能和高度的可扩展性。在这种存储体系结构中，资源的配置是不断变化的，新的设备可以不断地加入到系统中，以满足用户对存储容量或性能的需求。
但是随着存储网络规模的不断增加，如何分配每台主机所用的设备成为一个严重的问题。此时，前端的各主机可能使用各种不同的操作系统，而网络中的存储设备也会有不同的规格和类型。存储虚拟化工作就是为了解决这些问题。传统的虚拟化技术有两种主要的解决方案，第一是在各主机上通过代理软件实现，比较常见的包括Linux系统中的LVM，这种方法不适用于多机环境，也不适用于不同的操作系统；第二种方案是在存储设备端实现，很多厂商的阵列设备也提供了虚拟化功能，但是这种方法一般都是面向特定设备的，不能管理多种类型的设备。这两种方案都无法满足海量异构存储网络环境。
为了解决海量异构存储网络环境中的资源管理问题，我们提出了SAN环境中基于网络的海量存储资源管理方法。它在存储网络中一个专门的处理节点上实现存储虚拟化功能，并具有以下的特点：
1.高度的兼容性：与前端主机的操作系统完全无关，并且能够管理各种类型的存储设备。
2.简洁的资源信息组织方式：只需要在节点机上占用少量的空间来保存海量规模的存储设备信息。
3.高度的灵活性：由于该方法实现层次比较低，所以可以灵活地选择网络中性能好的设备来优先使用，从而保证设备负载均衡，改善存储系统的整体性能。
发明内容
本发明的目的是实现一种虚拟化方法来管理海量存储网络中各种类型的存储设备，并把虚拟存储空间提供给前端主机使用。本项发明主要针对海量存储网络环境的需求，设计并实现了一套切实可行的存储资源管理方法。通过本方法，可以有效减少设备信息的资源需求，并提供对用户透明的空间分配方式，降低资源管理的复杂度，同时提高存储系统的整体性能。
本发明的核心是通过专用的虚拟化处理节点机VIC来维护一套存储资源配置信息，来集中管理存储网络中各种不同的存储设备资源，并通过SCSI(小型计算机系统接口SmallComputer Systems Interface)中间层进行命令分析处理，从而对前端主机提供完全透明的虚拟化存储服务。具体的实现架构包括以下两个主要部分：
1.VIC上维护全部存储设备(包括物理设备和虚拟设备)的配置信息列表：对网络中每个存储设备产生一个结构，记录它的各种属性以及可用的空间；管理员创建虚拟磁盘后，也对每个虚拟磁盘创建一个结构，记录各种属性以及逻辑空间分配方式。
2.VIC上实现一个支持虚拟化功能的SCSI软件目标器STML(SCSI Target Mid-level Layer)，它的工作是把前端主机对虚拟磁盘逻辑空间的访问转化为对实际物理设备的访问，并把物理设备的数据处理结果反馈给前端主机。逻辑命令到物理命令的转化是根据上面提到的存储资源组织信息为基础进行的。
本发明是一种基于网络的(在网络节点VIC上实现)，在数据通路上实现的存储虚拟化解决方案，称为AXUM系统。这种实现方法使得它的兼容性很强，完全不受限于不同的主机操作系统和设备类型。同时，我们通过对海量存储环境中存储资源信息的考察，确定了独特的资源信息组织方式。这种组织方式不但空间分配灵活，而且占用空间小，适用于海量规模的存储资源管理。其次，通过对不同存储设备的评价，可以自动优先选择性能好的设备来分配逻辑空间，有效降低管理难度。另外，通过STML对每个命令处理过程的控制，我们可以方便地加入各种优化措施，改善系统整体性能。
基于网络的海量存储资源管理方法的操作步骤大致为(见图1)：
1.加载模块：
海量资源配置管理模块(axum.o)探查网络中所有的存储设备，把每个要管理的物理设备抽象为一个Physical Disk(PD)结构；同时从元数据盘中获取已配置的虚拟磁盘信息，把每个虚拟磁盘抽象为一个Virtual Disk(VD)结构，组织好VD的空间布局，并根据VD的物理空间布局调整相应PD的空间使用情况；
2.资源配置：管理员可以通过VIC提供的配置工具对海量存储资源进行虚拟化配置，如PD的添加、去除，VD的创建、删除、扩容和主机指定等。用户进行资源配置后，axum.o模块在内核中修改相应的信息组织结构和内容。
3.元数据保存：系统在VIC上维护一套完整的存储资源配置信息，如果用户对资源配置进行修改，造成配置信息变化，那么需要把相应的内容保存到元数据盘中，以便在系统重新加载时能够恢复原有的配置。
4.主机使用：前端主机通过加载光纤卡驱动，能够发现并使用VIC提供的虚拟磁盘，而实际的物理设备对前端主机透明。
5.数据访问：前端主机对虚拟磁盘空间的访问，转化为SCSI命令通过光纤通道发送到VIC。在VIC的mid_target.o模块中，按照axum.o的空间组织信息进行地址转换，把对逻辑空间的访问转化为对实际物理设备的访问，并根据逻辑空间的组织方式对存取的数据进行拆分或合并，最后把实际物理命令的处理结果通过光纤驱动反馈回前端主机。
本发明是基于网络设备实现的，除了管理软件界面外，其它全部程序都在VIC上实现。AXUM虚拟化系统的软件架构如图2所示。
本发明的特征在于：它是在下述存储区域网络，即SAN中实现的，所述的网络含有：
1.主机，即前端服务器，有1个以上，其中一台作为管理主机，安装管理界面程序；
2.光纤交换机，它与各主机、节点机以及后端存储设备互连；
3.VIC，只有一个，插有启动器模式的以及目标器模式的光纤卡即FC-HBA各一块，它与所述光纤交换机相连，安装有资源配置模块、SCSI目标器模块和管理软件代理程序；
4.后端存储设备，包括直接与所述光纤交换机相连的光纤磁盘以及经过普通I/O节点机与光纤交换机相连的小型计算机接口SCSI系统磁盘阵列；
在所述磁盘中，有两块元数据磁盘，用于保存所有的元数据信息，所述元数据是指在用户使用过程中，发生的包括物理磁盘的创建、删除以及虚拟磁盘的创建、删除、扩展在内的操作时形成的每次更改后的磁盘信息，所述元数据包含以下内容：
1.物理磁盘PD基本元数据，包括所存放的物理设备的全局统一标识符，用UUID表示，以及类型信息在内；
2.存储池SC基本元数据，SC是指各种存储设备组成的统一存储空间，SC基本元数据即系统中SC信息结构的数据；
3.SC所有PD的元数据，即SC中所有实际的存储设备，即所有PD的UUID信息；
4.SC所有的虚拟磁盘VD的元数据，即不仅包括所有的VD信息结构的数据，还包括每个VD在实际磁盘中所占用的位置、大小在内的信息；
除元数据盘外，系统的其余磁盘只保存各自的PD基本元数据；
本发明所述的方法在上述存储区域网络中实施时，它依次含有以下步骤：
第1步：在VIC中加载以下模块：
资源配置模块，用axum.o表示；它确定要创建的虚拟磁盘参数，包括虚拟磁盘的名称、大小、是否条带组织以及数据分片数，同时提供内核符号、内核信息接口以及注册特殊的字符型设备，以便所述资源配置模块能接收用户的虚拟化配置指令，并修改它维护的相应资源配置信息，同时把变化的信息保存到元数据盘；
SCSI目标器模块，用mid_target.o表示，它根据axum.o的配置信息，组织SCSI设备队列，同时建立命令处理线程，用以处理发来的I/O请求；为此，它分别建立虚拟命令和物理命令的线程来处理针对虚拟磁盘的SCSI命令即虚拟命令，以及把虚拟命令分解后的对于实际物理磁盘的SCSI命令即物理命令的链表型队列；
在处理上述I/O请求时，根据axum.o的配置信息进行地址映射和数据的拆分或合并处理，返回处理结果；
第2步：资源配置；VIC提供的配置工具根据用户需求对海量存储资源进行虚拟化配置，它依次含有以下步骤：
第2.1步：用户通过管理软件代理程序确定要创建的虚拟磁盘参数；
第2.2步：axum.o模块通过内存读写控制ioctl机制发现用户空间传来的通知内核进行虚拟磁盘创建的命令标识，把用户空间要传递给内核的参数取出，包括虚拟磁盘的名称、大小、组织方式和条带数据分片数，进行虚拟磁盘创建；
第2.3步：创建虚拟磁盘结构即ax_vd_t的变量，填入参数信息，并记录新的虚拟磁盘配置数据；
第2.4步：判断参数中的组织方式，进行相应的空间分配处理：
第2.4.1步：当为连续组织方式时：
首先确定参数中的虚拟磁盘是否为新创建的磁盘，若不是，则优先选择该磁盘的最后一段物理空间所属的物理设备进行空间扩展；否则，优先使用最好的物理磁盘进行空间分配；
其次，确定剩余要分配的空间大小，选择新的磁盘进行空间分配；
空间分配成功，返回；
第2.4.2步：当为条带组织方式时，假设条带数量为s：
首先，确定是否为新的虚拟磁盘，若是，则对所有的物理设备排序，选择s个物理磁盘进行空间分配；否则，选择原有虚拟磁盘中最后s块存储空间所对应的物理磁盘进行空间分配；
确定剩余要分配的空间大小；
更新虚拟磁盘的容量和剩余空间的大小；
对物理设备重新排序，选择新的s个设备；
空间分配成功，返回；
第2.5步：填充新的虚拟磁盘结构，并把该结构插入全局变量中，通知用户虚拟磁盘创建完成；
第3步：元数据保存，它依次含有以下步骤：
当操作针对物理磁盘时，首先在被操作的物理磁盘PD基本元数据位置写入PD基本元数据；
向元数据盘内保存SC基本元数据的位置写入SC的信息数据；
向系统中元数据磁盘内保存SC所有PD元数据的位置写入PD的UUID信息数据；
向元数据盘内保存SC所有VD元数据的位置写入VD的基本元数据以及VD的占用信息；
第4步：数据访问
第4.1步：mid_target.o经接口函数收到前端服务器发来的对虚拟磁盘逻辑空间的SCSI读写命令，并生成相应的指令结构，设置命令状态后，把该命令结构插入虚拟命令的处理队列；
第4.2步：mid_target.o唤醒虚拟命令线程，调用虚拟分析指令，判断并针对不同的命令执行不同的操作；
第4.3步：读写命令处理：
第4.3.1步：读命令处理，依次包含以下步骤：
根据axum.o模块维护的虚拟化配置信息，通过资源配置用的映射函数把虚拟命令映射成一个或多个物理SCSI命令；
对每个物理命令，构建相应的指令结构，同时，设置虚拟命令的状态以及各物理命令的状态；
把这些物理命令插入物理命令处理队列，唤醒物理命令处理线程进行处理，并设置虚拟命令的相应处理状态；
在物理命令处理完毕后，虚拟命令处理线程收集所有物理命令的响应，形成虚拟命令的响应，同时把各物理命令返回的数据合并，然后把该虚拟命令的响应发送给光纤卡，并修改各命令状态；
虚拟命令处理线程把对应的物理命令从相应队列中删除，再把该虚拟命令从虚拟命令处理队列中删除；
第4.3.2步：写命令处理，依次包含以下步骤：
根据axum.o模块维护的虚拟化配置信息，通过资源配置用的映射函数把虚拟命令映射成几个物理命令；
对于每个物理命令，构建相应的指令结构，同时，设置虚拟命令的状态以及各物理命令的状态；
把这些物理命令插入物理命令处理队列；
虚拟命令处理线程根据虚拟命令的状态，调用命令反馈通知函数通知光纤卡驱动程序从前端服务器传来数据，重新设置虚拟命令及相应各物理命令的状态；
光纤卡驱动程序通过接口函数把数据交给虚拟命令处理队列，并把虚拟命令及各物理命令设成正在处理的状态；
虚拟命令处理线程通过接口函数把数据分片并发到相应的物理命令中，重新设置虚拟命令及各物理命令的状态；
物理命令处理线程进行处理；
在处理完毕后，通过光纤卡驱动程序通知前端服务器，并改变虚拟命令及对应的各物理命令的状态，虚拟命令处理线程把对应的物理命令从相应队列中删除，再把该虚拟命令从虚拟命令处理队列中删除。
本发明是为了自主管理海量存储网络中的各种存储资源，降低管理开销而设计并开发的。它通过在存储网络中加入专门的处理节点来实现。采用本发明，只要在存储网络中加入一台虚拟化处理节点机，就可以方便地管理各种类型的存储设备，并对各种平台的前端主机提供服务，因此能够完全适应海量存储系统中各种异构的操作平台和存储设备。本发明通过独特的资源信息组织方式、设备选择方式和命令控制方式，提供完善的存储资源管理服务，并提高系统的读写性能。同时，本发明所需维护的信息空间需求小，空间分配灵活合理，适用于海量存储网络环境。本发明已经在由清华大学自行研究开发的海量存储网络TH-MSNS中实现并测试。并在此基础上对不同操作平台的前端主机(Windows，Linux等)提供虚拟磁盘进行文件存取和各种应用服务。
附图说明
图1.海量存储资源管理与命令处理流程。
图2.网络处理节点VIC上的软件模块架构。
图3.海量存储网络的硬件配置与组织。
图4.海量存储网络的资源信息组织结构。
图5.虚拟磁盘的逻辑空间分配。
图6.创建虚拟磁盘工作的程序流程。
图7.元数据保存时的组织方式。
图8.支持虚拟化功能的SCSI目标器中间层STML。
图9.读写请求时，逻辑命令与物理命令的状态转换。
图10.VIC节点提供的虚拟磁盘读写性能。
图11.VIC虚拟化处理带来的软件延迟。
图12.VIC节点的数据处理能力。
具体实施方式
1.硬件设备的配置与组织
我们把这套自主开发的，面向海量存储网络的虚拟化系统命名为AXUM，而网络中运行AXUM系统的处理机称为VIC节点。作为AXUM运行环境的存储网络组织结构如图3所示。所有的硬件设备，包括前端主机、VIC节点、普通I/O处理节点和光纤磁盘设备，都通过光纤线连接到一台或多台光纤交换机上。前端主机有一台或多台，安装有启动器模式的光纤通道卡(FC-HBA)，用于查询访问和访问光纤网络中可用的存储设备；其中一台前端主机作为管理主机，需要安装管理界面程序。普通I/O处理节点装有目标器模式的光纤通道卡，下面连接IDE或SCSI类型的磁盘或磁盘阵列，使它们能够被启动器模式的光纤通道卡访问。VIC节点是加入海量存储资源配置模块(axum.o)和SCSI软件目标器模块(mid_target.o)的管理节点，并通过管理软件代理程序与管理主机交流。VIC上插有两块FC-HBA卡，一块用于启动器模式，另一块用于目标器模式。VIC既能作为单独的处理节点，也可以自己挂载IDE或SCSI磁盘设备作为网络存储资源。
利用交换机的分区功能把整个存储网络环境分为两个区：Zone 1包括所有的前端服务器和VIC，VIC通过目标器FC-HBA响应前端主机的请求，而前端主机只能看到VIC提供的设备；Zone 2包括VIC和其他所有的后端存储设备，包括FC磁盘设备和SCSI磁盘阵列等。VIC利用启动器FC-HBA，能够检测到所有的设备并进行统一管理。由于整个存储网络分为两个区，前端的主机将不会发现网络中的物理设备，而只能检测到VIC提供给前端的虚拟磁盘。同时，利用逻辑单元屏蔽(LUN masking)功能，使不同的主机能够发现并访问不同的虚拟磁盘。
2.海量存储资源的信息组织结构
AXUM系统把所有的物理存储空间(包括物理磁盘和LU设备)组织成一个统一的存储池。管理员可以根据用户的需要，从存储池中划分空间分配给虚拟磁盘，并提供给不同的前端主机使用。AXUM的资源配置信息组织结构如图4所示，其中主要的信息结构包括：
SC：各种存储设备组成的统一存储空间。
PD：后端实际的物理存储设备，记录容量大小和设备标识等信息。
FS：记录PD中的每段未分配给虚拟磁盘的存储空间起始位置与大小。
其中FS与PS的最小空间单元(称为一个SG)大小可变，SG默认大小为64KB。
在AXUM的信息组织结构中，每个PD结构的大小为100字节左右，而一个PD的信息量主要取决于其FS数量的多少，其中一个FS结构的大小为12字节。由于只有当删除某个VD空间时才会在PD上产生一段新的未分配空间，所以对应PD的FS链表中的项目不会很多。假设每个设备有10段未分配区域，那么只需要100+10*12＝220字节左右的信息空间。这样即使管理上万块磁盘，也只会占用VIC很少的系统资源(10000*220B＝2.2MB)。同样地，VD的信息量主要取决于其PS数量的多少。VD结构的大小为300字节左右，而每个PS结构的大小为16字节。在海量存储网络环境中，用户可能会创建很多VD，而每个VD也可能会包含比较多的PS。假设在系统中创建了1000个虚拟磁盘，每个VD大小都是100GB。这样即使每个VD都包含1000个PS，所有VD的元数据也只需占用16MB左右的存储空间。因此，AXUM保存海量存储资源配置信息的总共空间需求小于20MB。
相对地，如果我们使用最常用的LVM系统进行虚拟化配置，上面的环境至少需要180MB的空间用于资源配置信息的保存。同时，LVM需要在每台前端服务器上都要保存信息，而AXUM系统只要在VIC上维护一套元数据信息即可。可见，AXUM的信息组织方式更适合于海量存储环境。
3.系统加载
VIC其实就是一台普通的服务器，运行Linux操作系统(2.4.18以上内核)，AXUM虚拟化系统的两部分(配置信息结构和STML)分别做成内核模块并进行加载，同时还要启动管理软件的代理程序：
1)加载资源配置模块(axum.o)。这个模块加载后，将依次完成以下的步骤：
提供”/proc”目录下的内核信息接口，以便用户或管理软件对已有资源配置信息进行查询；
该模块接收用户的虚拟化配置指令，并修改它维护的相应资源配置信息，同时把变化的信息保存到元数据盘。
2)加载STML模块(mid_target.o)。这个模块加载后，将依次完成以下的步骤：
在内核中启动两个线程。一个线程(VCPT线程)负责处理虚拟命令的执行，另一个线程(PCPT)负责处理物理命令的执行。
前端发来的SCSI命令会自动加入到虚拟命令队列中。VCPT循环遍历虚拟命令队列，并进行相应的处理(见数据访问部分)
该模块接收SCSI命令，根据axum.o的配置信息进行地址转换和数据的拆分或合并处理，最后返回命令处理的结果。
3)VIC上的管理软件代理程序：
我们把存储网络前端的一台主机作为管理主机，通过管理界面程序对VIC管理的海量存储资源进行配置：
管理界面程序运行在专门的管理主机上，基于标准的Java规范，对操作系统无限制，为管理者提供一个集成的海量存储资源配置管理环境。
4.资源配置
AXUM系统的各模块加载后，如果从未进行过虚拟化配置，那么前端主机不会看到任何虚拟磁盘设备。因此，我们必须在VIC上通过管理软件利用已有的设备空间创建虚拟磁盘。AXUM虚拟化系统需要在它管理的物理设备上进行标记，并预留磁盘空间，所以，为了不影响用户对某些磁盘设备的特殊使用配置，我们需要把每个要让AXUM管理的设备由用户逐一添加到虚拟化系统中来，虚拟磁盘只能由用户指定加入到系统中的设备空间来构成。如果没有加入任何物理设备就进行虚拟化配置，系统会给出错误信息提示。
AXUM的资源信息组织结构使得逻辑空间的分配非常方便。在增加逻辑空间时，如果该虚拟磁盘VD的分片数(stripe number)是S(S≥1)，那么AXUM需要每次从S个分属不同PD的FS中划分空间，并把相应S个PS段提供给VD作为虚拟磁盘逻辑空间。同样地，如果要减少虚拟磁盘的大小，需要把S(或S的整数倍)段空间从VD的PS表中最后的部分删除，并归还到对应PD的FS表。前端服务器探查到虚拟磁盘容量发生变化后，就可以方便地对该VD的容量进行在线修改。以图5为例，图中的VD是一个条带组织的虚拟磁盘，分片数为5。如果要增加50GB的容量，只需要从5个物理设备中分别获取10GB的空间，并把对应的5段PS加入到VD的PS链表后端即可。而如果要删除20GB空间，只要在最后5个PS中，每段都减少4GB的空间大小即可。
普通的虚拟化系统管理的都是比较小规模的存储资源，一般并不会考虑实际物理设备的区别，这样很容易造成空间的浪费和性能的下降。AXUM系统面向的是海量存储环境，能够管理网络中各厂商各类型的设备。由于不同设备的性能指标各不相同，因此我们在AXUM中加入了设备评价机制，它通过统计物理设备的负载强度，空间利用情况和性能指标等，得到每个设备的评价值，优先利用那些性能最好的设备来进行逻辑空间的分配，以便提高整个存储网络的读写性能，并尽量保证各设备的负载均衡。
在进行设备评价时，主要考虑的因素包括：
1)设备优先级：由用户指定，这样虚拟磁盘会优先使用优先级高的设备。
2)PD的读写命令强度Drw：它等于该PD处理的读写请求总量与该PD创建时间之比。
3)PD的可分配空间大小FSt：该物理设备尚未分配给虚拟磁盘的空间大小。
4)PD上的VD数量Nvd：使用该物理设备空间的VD总数。
5)PD的硬件指标Hs：反映物理设备的性能，包括空间大小，寻道时间，数据传输率和设备缓存大小等。
AXUM系统对每个PD的评价函数为：Hs*Fst+a/(Nvd+1)+b/Drw，其中a，b为常数，可根据对不同指标的侧重进行调整。在各PD优先级相同的条件下，系统首先选取评价值最高的PD进行虚拟磁盘的空间分配。对每个PD，从它的FS链表中划分空间给VD。如果所需容量小于FSt，那么每次从大小最合适的FS段中划分空间。
AXUM的存储资源虚拟化配置功能包括虚拟磁盘的创建、删除、容量修改，以及虚拟磁盘的使用主机指定等。下面以创建虚拟磁盘为例说明系统中的资源配置信息如何改变(图6)：
1)用户通过资源配置管理软件确定要创建的虚拟磁盘参数，包括虚拟磁盘的名称，大小，是否条带组织以及条带数据分片数。管理软件把这些信息填充到一个虚拟磁盘结构(ax_vd_t)类型的变量avd中。通过内存读写控制ioctl机制从Linux操作系统的用户空间传递到内核空间：ioctl(dev_fd，AXIO_VD_CREATE，&avd)。其中dev_fd是AXUM资源配置模块在内核中定义的字符型设备的设备号，AXIO_VD_CREATE是通知内核进行虚拟磁盘创建工作的命令标识，avd是用户空间要传递给内核的参数。
2)axum.o模块通过ioctl机制发现用户空间传来的AXIO_VD_CREATE命令后，把avd地址中的参数信息获取出来，调用虚拟磁盘创建函数：do_vdcreate(avd.vd_name，avd.vd_size，avd.mapping_type，avd.stripe_num)进行虚拟磁盘创建，其中四个参数分别为虚拟磁盘VD的名称，大小，组织方式(目前支持连续方式和条带方式)和条带数据分片数。
3)do_vd_create函数首先创建一个ax_vd_t结构的变量thevd，用来记录新的虚拟磁盘配置信息，把参数信息填入，然后判断参数中的组织方式，分别进行不同的空间分配处理：
3.1)如果是连续组织方式，调用连续空间分配函数alloc_vdspace_linear(thevd，vdsize)进行虚拟磁盘空间分配，其中第一个参数是新的虚拟磁盘结构，第二个参数是虚拟磁盘大小：
确定要分配的空间大小sg_remain，当sg_remain大于0时，循环做如下步骤：
3.2)如果是条带组织方式，调用条带空间分配函数alloc_vdspace_stripe(thevd，vdsize)进行虚拟磁盘空间分配，其中第一个参数是新的虚拟磁盘结构，第二个参数是虚拟磁盘大小：
用一个指针数组ppd[]指向s个PD；
●确定每个ppd指向的设备中，最小可分配空间大小min；
●从每个ppd指向的设备中，划分min空间给虚拟磁盘；
空间分配成功，返回。
4)填充新的虚拟磁盘(thevd)结构中其他统计信息，包括空间大小和虚拟磁盘状态等，并把该结构插入axum_SC全局变量中。通知用户虚拟磁盘创建成功。
5.元数据保存
用户在进行海量存储资源配置过程中，发生诸如物理磁盘的创建、删除，虚拟磁盘的创建、删除和扩展等操作时，系统中的全局变量axum_SC所对应的关于物理存储设备和虚拟磁盘的信息就会发生更改。如果这些信息不予以保存的话，系统重新启动之后就会丢失。因此每次更改都必须将更改后的信息保存在磁盘上。这些保存在磁盘上的信息数据我们称之为元数据。
要保存的元数据包括四种类型：(1)PD基本元数据，它包括所存放的物理设备的全局统一标识符(UUID)以及磁盘类型等信息；(2)SC基本元数据，即系统中SC信息结构的数据；(3)SC所有PD的元数据，即SC中所有PD的UUID的信息；(4)SC所有的VD的元数据，它不仅包括所有的VD信息结构的数据，还包括每个VD在实际磁盘中所占用的位置、大小等信息的数据。
我们在系统中每个实际的物理磁盘上，都将前25M的空间空出用于存放元数据。元数据在磁盘中的布局如图7所示。
在实际的系统中，我们使用两块磁盘来保存所有的元数据信息，我们称之为元数据磁盘，而其余的磁盘只保存各自的PD基本元数据。这是因为如果所有的磁盘都保存一份完整元数据的话，每次元数据的导出开销会很大。使用两个磁盘保存所有元数据既不会有很大的开销，并且当某个元数据磁盘坏掉之后还有另外一个元数据磁盘可以使用，系统仍然恢复配置，继续使用。
当用户进行物理磁盘的创建、删除，虚拟磁盘的创建、删除和扩展等操作时，系统会自动调用一次元数据的保存操作。系统进行元数据保存操作的过程如下：
如果进行的是针对物理磁盘的操作，那么首先向被操作的物理磁盘PD基本元数据位置写入PD基本元数据。
向系统中元数据磁盘内保存SC基本元数据的位置写入SC的信息数据。
向系统中元数据磁盘内保存SC所有PD元数据的位置写入PD的UUID信息数据。
6.数据访问
前端主机加载光纤通道卡(FC-HBA)的驱动程序后，会检测到AXUM系统提供的虚拟磁盘。这些虚拟磁盘可以被当作普通的SCSI磁盘进行操作，比如格式化，创建文件系统，挂载(mount)等，初始化成功后就可以对这个虚拟磁盘进行数据存取访问。前端主机对虚拟磁盘逻辑空间的读写是通过SCSI命令发出的，SCSI命令会被FC包封装，并发送到VIC节点的STML模块(mid_target.o)进行处理。支持虚拟化功能STML的处理流程如图8所示。目标器FC-HBA驱动把包含逻辑地址的SCSI命令提交给STML，STML把这些逻辑命令组织成队列。对于每个逻辑命令，如果是查询类的命令，将直接根据AXUM的信息内容和SCSI标准格式产生反馈信息。主要查询命令及其处理方法为：
| 命令 | 处理 |
| REPORT LUNS | 返回逻辑盘数量并确定信息帧长度 |
| INQUIRY | 返回逻辑盘的名称，型号等信息 |
| TEST UNIT READY | 把命令处理结果信息置为DID_OK |
| READ CAPACITY | 返回对应逻辑盘的数据块数量和数据块大小 |
由于前端主机只能看到虚拟磁盘VD，而无法看到实际的设备，所以发到VIC上的SCSI读写命令中包含的都是各虚拟磁盘的逻辑空间地址，而这些地址必须要根据AXUM元数据中对应虚拟磁盘VD的PS列表信息，转化为实际设备对应的物理地址，并把包含物理地址的命令发送到对应设备。由于一段要读写的数据可能跨越VD的多段PS空间(尤其在条带化组织的磁盘中)，因此一个逻辑命令可能会被拆分成多个物理命令。地址转化工作的目标是确定每个逻辑命令要拆分成几个实际命令，并计算每个实际命令对应的偏移地址和数据长度。同时，读写操作还可能分别需要对处理的数据进行组装或拆分。
STML模块分别使用虚拟命令处理线程(VCPT)和物理命令处理线程(PCPT)完全控制每个命令的状态、处理方法和流程(图9)。下面说明前端主机发来的SCSI读写命令在STML模块中的处理过程。
命令接收函数rx_cmnd()在接收到一个虚拟命令后，生成一个相应的虚拟命令结构Target_Virtual_Scsi_Cmnd，并置命令状态为ST_NEW_CMND，然后把该结构插入虚拟命令队列，唤醒VCPT线程。VCPT线程对状态为ST_NEW_CMND的虚拟命令调用虚拟命令分析函数analyse_virtual_cmd()，该函数针对不同的命令执行不同的操作：
1)读命令处理：
把这些物理命令插入物理命令队列，唤醒处理PCPT线程进行处理。并置虚拟命令的状态为ST_PROCESSING。(a)
将物理命令的状态置为ST_PHYSICAL_CMD_PROCESSING。
VCPT对于状态为ST_ASSEMBLE的虚拟命令，调用数据合并函数simulate()，收集该虚拟命令对应的所有物理命令的响应，然后形成虚拟命令的响应。对于读操作，还要把各物理命令返回的数据合并。最后置虚拟命令的状态为ST_DONE。
2)写命令处理：
把虚拟命令的状态为ST_DISASSEMBEL，并置相应各物理命令的状态为ST_PHYSICAL_NEW_CMD。
VCPT对状态为ST_PENDING的虚拟命令调用命令反馈通知函数hand_to_front_end()，通知HBA驱动从主机传来数据，并把虚拟命令的状态置为ST_XFERRED。把虚拟命令对应的各物理命令的状态置为ST_PHYSICAL_CMD_XFERRED。
HBA驱动调用数据接收函数scsi_rx_data()把传来的数据交给VCPT，把虚拟命令的状态置为ST_TO_PROCESS。并把各物理命令的状态置为ST_PHYSICAL_CMD_TO_PROCESS。
7.功能总结
AXUM系统的功能模块只在VIC节点上实现，对海量存储资源的配置工作可以直接在VIC上进行，也可以通过远程管理主机上的管理软件进行。AXUM把存储网络中各设备逐一加入虚拟化系统进行管理，并利用这些设备的存储空间创建虚拟磁盘。对于已有的虚拟磁盘，可以进行删除，容量修改和主机分配。前端主机通过加载光纤通道卡的驱动程序来发现分配给它的虚拟磁盘，并可以像使用普通SCSI磁盘一样对虚拟磁盘进行各种操作，如格式化，创建磁盘文件系统等。主机对虚拟磁盘的访问使用SCSI标准命令，在VIC上的STML模块中，对虚拟命令进行映射，使它们转化为面向实际物理设备的物理命令，从而实现逻辑空间到物理空间的正确转化处理，保证虚拟设备的操作与功能正确可靠。
本发明的相关性能测试
VIC提供给前端的虚拟磁盘读写性能如图10所示。图中横坐标为虚拟磁盘VD的分片数目(stripe number)，纵坐标单位为每秒数据吞吐量(MB/s)。从测试结果可见，随着stripe数量的增加，相应虚拟磁盘的性能也会逐渐提高。在同等条件下，前端主机访问虚拟磁盘，即使该VD不进行分片(stripe number＝1)，也将比网络中实际存储设备的I/O性能提升7％左右。这样的性能差距主要是由于VIC节点可以提供的大容量(1GB)的内存作为数据Cache，从而使得AXUM提供的VD读写性能优于普通存储设备。同时，如果使用条带组织方式(stripe)，AXUM提供的虚拟磁盘带来的性能优势将更加明显。
经过虚拟化处理的I/O访问延迟如图11所示。图中纵坐标表示I/O操作的平均响应时间(单位为ms)。从测试结果可以看出，由于光纤通道的传输和FC协议处理会带来延迟，所以网络设备的响应时间要略长于本地磁盘(9％左右)。但是同样是网络设备，AXUM系统提供的虚拟磁盘的响应时间比直接网络磁盘访问只多了约0.8％，可见，由AXUM虚拟化系统造成的软件延迟(主要包括地址映射计算和数据的拆装)是非常小的。
VIC节点的数据处理能力如图12所示。我们在每台前端主机上挂载AXUM创建的不同虚拟磁盘，每个VD只占用一个PD的空间，使得对不同虚拟磁盘的访问能够互不影响。使用Iometer测试工具对这些虚拟磁盘进行完全顺序读操作测试，以便获取无缓存影响的VIC最大数据吞吐率。从测试结果可以看出，在数据吞吐率小于120MB/s时，VIC的处理能力与前端的工作负载基本呈线性递增的关系。但是当数据吞吐率大于120MB/s后，VIC的处理能力趋于饱和，平均I/O响应时间也显著增加。这是由于SCSI总线的带宽限制造成的(160MB带宽SCSI总线的实际最大数据吞吐率为135MB左右)，VIC节点的最大数据处理能力为127MB/s左右。而此时CPU利用率还不到20％。可见，在现有的硬件条件下，VIC的处理能力主要取决于数据通路上各部件的性能，而不是VIC节点的计算能力。为了消除VIC的性能瓶颈，最有效的手段只能是扩展处理节点的数量，使多个节点协同工作，从而能够适应存储网络的工作负载变化。
Claims (1)
1、SAN环境中基于网络的海量存储资源管理方法，其特征在于，它是在下述存储区域网络SAN中实现的，所述的网络含有：
(1)主机，即前端服务器，有1个以上，其中一台作为管理主机，安装管理界面程序；
(2)光纤交换机，它与各主机、节点机以及后端存储设备互连；
(3)虚拟化处理节点机VIC，只有一个，插有启动器模式的以及目标器模式的光纤卡FC-HBA各一块，它与所述光纤交换机相连，安装有资源配置模块、SCSI目标器模块和管理软件代理程序；
(4)后端存储设备，包括直接与所述光纤交换机相连的光纤磁盘以及经过普通I/O节点机与光纤交换机相连的小型计算机系统接口SCSI磁盘阵列；
在所述磁盘中，有两块元数据磁盘，用于保存所有的元数据信息，所述元数据是指在用户使用过程中，发生的包括物理磁盘的创建、删除以及虚拟磁盘的创建、删除、扩展在内的操作时形成的每次更改后的磁盘信息，所述元数据包含以下内容：
(1)物理磁盘PD基本元数据，包括所存放的物理设备的全局统一标识符，用UUID表示，以及类型信息在内；
(2)存储池SC基本元数据，SC是指各种存储设备组成的统一存储空间，SC基本元数据即系统中SC信息结构的数据；
(3)SC所有PD的元数据，包括SC中所有PD的UUID信息；
(4)SC所有的虚拟磁盘VD的元数据，不仅包括所有的VD信息结构的数据，还包括每个VD在实际磁盘中所占用的位置、大小在内的信息；
除元数据盘外，系统的其余磁盘只保存各自的PD基本元数据；
本发明所述的方法在上述存储区域网络中实施时，它依次含有以下步骤：
第1步：在VIC中加载以下模块：
资源配置模块，用axum.o表示；它确定要创建的虚拟磁盘参数，包括虚拟磁盘的名称、大小、是否条带组织以及数据分片数，同时提供内核符号、内核信息接口以及注册特殊的字符型设备，以便所述资源配置模块能接收用户的虚拟化配置指令，并修改它维护的相应资源配置信息，同时把变化的信息保存到元数据盘；
SCSI目标器模块，用mid_target.o表示，它根据axum.o的配置信息，组织SCSI设备队列，同时建立命令处理线程，用以处理发来的I/O请求；为此，它分别建立虚拟命令和物理命令的线程来处理针对虚拟磁盘的SCSI命令即虚拟命令，以及把虚拟命令分解后的对于实际物理磁盘的SCSI命令即物理命令的链表型队列；
在处理上述I/O请求时，根据axum.o的配置信息进行地址映射和数据的拆分或合并处理，返回处理结果；
第2步：资源配置；VIC提供的配置工具根据用户需求对海量存储资源进行虚拟化配置，它依次含有以下步骤：
第2.1步：通过管理软件代理程序确定要创建的虚拟磁盘参数；
第2.2步：axum.o模块通过内核读写控制ioctl机制发现用户空间传来的通知内核进行虚拟磁盘创建的命令标识，把用户空间要传递给内核的参数取出，包括虚拟磁盘的名称、大小、组织方式和条带数据分片数，进行虚拟磁盘创建；
第2.3步：创建虚拟磁盘结构ax_vd_t的变量，填入参数信息，并记录新的虚拟磁盘配置数据；
第2.4步：判断参数中的组织方式，进行相应的空间分配处理：
第2.4.1步：当为连续组织方式时：
首先确定参数中的虚拟磁盘是否为新创建的磁盘，若不是，则优先选择该磁盘的最后一段物理空间所属的物理设备进行空间扩展；否则，优先使用最好的物理磁盘进行空间分配；
其次，确定剩余要分配的空间大小，选择新的磁盘进行空间分配；
空间分配成功，返回；
第2.4.2步：当为条带组织方式时，假设条带数量为s：
首先，确定是否为新的虚拟磁盘，若是，则对所有的物理设备排序，选择s个物理磁盘进行空间分配；否则，选择原有虚拟磁盘中最后s块存储空间所对应的物理磁盘进行空间分配；
确定剩余要分配的空间大小；
更新虚拟磁盘的容量和剩余空间的大小；
对物理设备重新排序，选择新的s个设备；
空间分配成功，返回；
第2.5步：填充新的虚拟磁盘结构，并把该结构插入全局变量中，通知用户虚拟磁盘创建完成；
第3步：元数据保存，它依次含有以下步骤：
当操作针对物理磁盘时，首先在被操作的物理磁盘PD基本元数据位置写入PD基本元数据；
向元数据盘内保存SC基本元数据的位置写入SC的信息数据；
向系统中元数据磁盘内保存SC所有PD元数据的位置写入PD的UUID信息数据；
向元数据盘内保存SC所有VD元数据的位置写入VD的基本元数据以及VD的占用信息；
第4步：数据访问
第4.1步：mid_target.o经接口函数收到前端服务器发来的对虚拟磁盘逻辑空间的SCSI读写命令，并生成相应的指令结构，设置命令状态后，把该指令结构插入虚拟命令的处理队列；
第4.2步：mid_target.o唤醒虚拟命令线程，调用虚拟分析指令，判断并针对不同的命令执行不同的操作；
第4.3步：读写命令处理：
第4.3.1步：读命令处理，依次包含以下步骤：
根据axum.o模块维护的虚拟化配置信息，通过资源配置用的映射函数把虚拟命令映射成一个或多个物理SCSI命令；
对每个物理命令，构建相应的指令结构，同时，设置虚拟命令的状态以及各物理命令的状态；
把这些物理命令插入物理命令处理队列，唤醒物理命令处理线程进行处理，并设置虚拟命令的相应处理状态；
在物理命令处理完毕后，虚拟命令处理线程收集所有物理命令的响应，形成虚拟命令的响应，同时把各物理命令返回的数据合并，然后把该虚拟命令的响应发送给光纤卡，并修改各命令状态；
虚拟命令处理线程把与该虚拟命令对应的物理命令从相应队列中删除，再把该虚拟命令从虚拟命令处理队列中删除；
第4.3.2步：写命令处理，依次包含以下步骤：
根据axum.o模块维护的虚拟化配置信息，通过资源配置用的映射函数把虚拟命令映射成一个或多个物理命令；
对于每个物理命令，构建相应的指令结构，同时，设置虚拟命令的状态以及各物理命令的状态；
把这些物理命令插入物理命令处理队列；
虚拟命令处理线程根据虚拟命令的状态，调用命令反馈通知函数通知光纤卡驱动程序从前端服务器传来数据，重新设置虚拟命令及相应各物理命令的状态；
光纤卡驱动程序通过接口函数把数据交给虚拟命令处理队列，并把虚拟命令及各物理命令设成正在处理的状态；
虚拟命令处理线程通过接口函数把数据分片并发到相应的物理命令中，重新设置虚拟命令及各物理命令的状态；
物理命令处理线程进行处理；
在处理完毕后，通过光纤卡驱动程序通知前端服务器，并改变虚拟命令及对应的各物理命令的状态，虚拟命令处理线程把对应的物理命令从相应队列中删除，再把该虚拟命令从虚拟命令处理队列中删除。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2005100112313A CN1299207C (zh) | 2005-01-21 | 2005-01-21 | San环境中基于网络的海量存储资源管理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2005100112313A CN1299207C (zh) | 2005-01-21 | 2005-01-21 | San环境中基于网络的海量存储资源管理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1645342A CN1645342A (zh) | 2005-07-27 |
| CN1299207C true CN1299207C (zh) | 2007-02-07 |
Family
ID=34875498
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB2005100112313A Expired - Fee Related CN1299207C (zh) | 2005-01-21 | 2005-01-21 | San环境中基于网络的海量存储资源管理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN1299207C (zh) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7640416B2 (en) * | 2005-07-29 | 2009-12-29 | International Business Machines Corporation | Method for automatically relating components of a storage area network in a volume container |
| CN103744790B (zh) * | 2005-08-25 | 2017-05-10 | 美国莱迪思半导体公司 | 智能可缩放存储切换架构 |
| JP4806556B2 (ja) | 2005-10-04 | 2011-11-02 | 株式会社日立製作所 | ストレージシステム及び構成変更方法 |
| CN100353307C (zh) * | 2006-02-16 | 2007-12-05 | 杭州华三通信技术有限公司 | 一种存储系统以及存储数据的方法和读取数据的方法 |
| CN100464535C (zh) * | 2006-05-09 | 2009-02-25 | 国家数字交换系统工程技术研究中心 | 一种路由器虚拟驱动模块的动态加载与控制方法 |
| WO2007143882A1 (en) * | 2006-06-09 | 2007-12-21 | Fast Dragon International Holdings Limited | N^n data management, access, storage, transfer, exchange and retrieval system (data master) |
| CN100428131C (zh) * | 2006-10-13 | 2008-10-22 | 清华大学 | 海量存储系统中的资源分配方法 |
| CN100451976C (zh) * | 2007-07-23 | 2009-01-14 | 清华大学 | 基于海量数据分级存储系统的迁移管理方法 |
| CN101510145B (zh) * | 2009-03-27 | 2010-08-25 | 杭州华三通信技术有限公司 | 一种存储系统管理方法和装置 |
| CN101815095B (zh) * | 2010-03-26 | 2016-01-13 | 浪潮电子信息产业股份有限公司 | 一种san存储资源统一管理和分配方法 |
| CN102917005B (zh) * | 2012-08-28 | 2016-10-26 | 大唐软件技术股份有限公司 | 一种支持事务的海量存储访问方法及装置 |
| CN102868684A (zh) * | 2012-08-28 | 2013-01-09 | 浪潮(北京)电子信息产业有限公司 | 一种光纤通道目标器及光纤通道目标器实现方法 |
| CN103701830B (zh) * | 2014-01-13 | 2016-09-07 | 浪潮(北京)电子信息产业有限公司 | 一种实现数据处理和交互的方法和系统 |
| CN105653529B (zh) * | 2014-11-12 | 2020-08-04 | 富泰华工业（深圳）有限公司 | 存储管理系统、管理装置及方法 |
| CN104536845B (zh) * | 2014-12-10 | 2018-02-23 | 深圳市锐明技术股份有限公司 | 写缓存的数据同步方法及装置 |
| CN104461698A (zh) * | 2014-12-29 | 2015-03-25 | 成都致云科技有限公司 | 虚拟磁盘动态挂载的方法、管理装置及分布式存储系统 |
| CN104657149A (zh) * | 2015-03-13 | 2015-05-27 | 浪潮集团有限公司 | 一种存储系统的管理模块的软件框架实现方法 |
| CN106155948B (zh) * | 2015-04-16 | 2019-07-05 | 伊姆西公司 | 用于存储系统的方法、聚合配置引擎、聚合配置工具以及文件系统 |
| CN105786777B (zh) * | 2016-02-22 | 2018-09-28 | 中国移动通信集团广东有限公司 | 基于文本解析器的存储容量集中处理方法 |
| CN108052393A (zh) * | 2017-12-27 | 2018-05-18 | 广州烽睿信息科技有限公司 | 一种it资源池智能优化配置装置 |
| CN111857598A (zh) * | 2020-07-28 | 2020-10-30 | 山东超越数控电子股份有限公司 | 一种远程磁盘本地化的映射方法、装置、设备及可读介质 |
| CN113472623A (zh) * | 2021-05-31 | 2021-10-01 | 山东英信计算机技术有限公司 | 一种存储系统管理方法、装置、存储介质及设备 |
| CN113535088A (zh) * | 2021-07-15 | 2021-10-22 | 深圳市安存数据技术有限公司 | 存储设备、数据处理方法和存储系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1324180A2 (en) * | 2001-12-28 | 2003-07-02 | Hewlett-Packard Company | System and method for partitioning a storage area network associated data library |
| CN1540524A (zh) * | 2003-10-31 | 2004-10-27 | 清华大学 | 存储区域网络中分布式虚拟化存储的方法 |
| CN1545030A (zh) * | 2003-11-14 | 2004-11-10 | 清华大学 | 基于磁盘特征的数据分布动态映射的方法 |
-
2005
- 2005-01-21 CN CNB2005100112313A patent/CN1299207C/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1324180A2 (en) * | 2001-12-28 | 2003-07-02 | Hewlett-Packard Company | System and method for partitioning a storage area network associated data library |
| CN1540524A (zh) * | 2003-10-31 | 2004-10-27 | 清华大学 | 存储区域网络中分布式虚拟化存储的方法 |
| CN1545030A (zh) * | 2003-11-14 | 2004-11-10 | 清华大学 | 基于磁盘特征的数据分布动态映射的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1645342A (zh) | 2005-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1299207C (zh) | San环境中基于网络的海量存储资源管理方法 | |
| CN100533387C (zh) | 执行作业步的系统和方法 | |
| CN1220946C (zh) | 管理计算环境的分区组的方法和系统 | |
| JP5244236B2 (ja) | 計算機システム、方法、およびプログラム | |
| CN1114859C (zh) | 数据共享方法和计算机体系结构 | |
| CN1928840A (zh) | 存储装置虚拟化装置的设备控制交接方法 | |
| CN1285036C (zh) | 数据处理系统和远程复制方法 | |
| CN1722107A (zh) | 计算机系统以及存储装置系统的迁移方法 | |
| CN1265274C (zh) | 存储设备控制装置和存储设备控制装置的控制方法 | |
| CN1581877A (zh) | 存储系统 | |
| CN1881183A (zh) | 信息处理装置、进程控制方法及其计算机程序 | |
| CN1453715A (zh) | 拥有虚拟资源的存储系统 | |
| CN1608257A (zh) | 包括相关矩阵和基于量度分析的聚集系统资源分析 | |
| CN1836212A (zh) | 在多节点系统中资源动态分配的分层管理 | |
| CN1652084A (zh) | 计算机系统、管理装置、存储装置以及计算机装置 | |
| CN1300723C (zh) | 将处理器用作虚拟设备的方法和信息处理系统 | |
| CN1791862A (zh) | 操作系统 | |
| CN101042676A (zh) | 存储系统以及存储区域释放方法以及存储装置 | |
| CN1955940A (zh) | Raid系统、raid控制器及其重建/拷回处理方法 | |
| CN1327196A (zh) | 信息处理系统和存储器装置的分配方法 | |
| CN1391671A (zh) | 计算环境中的工作负载管理 | |
| CN1752977A (zh) | 文件访问服务系统、交换机装置、配额管理方法及程序 | |
| JP6172649B2 (ja) | 情報処理装置、プログラム、及び、情報処理方法 | |
| CN1264078A (zh) | 执行多个操作系统的计算机 | |
| CN1838128A (zh) | 存储装置系统的控制技术 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C17 | Cessation of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20070207 Termination date: 20110121 |