CN104375784B - 一种降低虚拟磁盘管理复杂度的方法和装置 - Google Patents

Abstract

本发明提供一种降低虚拟磁盘管理复杂度的方法，该方法包括：对存储池中的各物理磁盘顺序进行编号；对每个物理磁盘分割后的虚拟磁盘VD的索引号进行顺序标注；在按序创建每个LUN时，根据物理磁盘的编号顺序选择存储池中的物理磁盘，且根据每个物理磁盘上VD的索引号顺序选择对应的VD；对选中的若干VD进行LUN的创建，创建完成的LUN具有自身的序号；在存储或读取业务数据的时候，根据业务数据存储或者读取的LUN的序号和存储池中物理磁盘的数量，确定对应的VD所在的磁盘编号以及所在磁盘中的索引号。本发明方法简化了LUN对VD的管理，提高效率和降低设计复杂度；并且顺序性保证了性能相近的VD在同一个LUN中，提高了整体性能。

Description

一种降低虚拟磁盘管理复杂度的方法和装置

技术领域

本发明涉及存储技术领域，尤其涉及一种降低虚拟磁盘管理复杂度的方法和装置。

背景技术

传统RAID是基于硬盘的。如果一个硬盘的很小一部分失效，就会导致整个硬盘被新的硬盘替换，然后进行整个硬盘的数据重构。这样就会导致重构时间很长。而对于存储中的块虚拟化技术来说，其是基于分块的，即只需要把读写失败区域相关的分块VD(VirtualDisk，被划为分块的虚拟盘，是组成RAID的虚拟磁盘)进行重构就可以了，时间快，效率高。即使是整个硬盘故障，块虚拟化也会把需要重构的数据分布到更多硬盘上，也会增加重构速度。关于块虚拟化技术，其基本思想就是把指定数量的大容量机械硬盘(我们称这组硬盘为组成存储池的磁盘)先按照固定的容量切割成多个更小的分块，RAID建立在这些小分块上，而不是某些硬盘上；基于块虚拟化技术的存储系统能够做到在一块硬盘故障后，在硬盘组上的所有硬盘上并发进行重构。

虽然块虚拟化技术的重构速度快，但是由于每个磁盘都被划分为数量巨大的分块(分块越多，重构速度越快)，并且池内的硬盘数量也远远大于传统RAID中磁盘的数量，所以大大增加了系统管理的复杂度和管理开销。对于传统RAID，一块盘故障，会重新选择一块空闲盘做重构盘(用户自己选择或者系统自动选择)，选择方法简单，基本上只要容量和其他组内成员盘相符就可以了。但是对于虚拟化技术来说，当一个或者多个VD失效时，选择热备VD时需要满足选择的VD不能和失效VD所在LUN(这里的LUN不是逻辑单元号Logic UnitNumber，而是根据存储池的RAID类型由多个VD组成的分块组，即相当于raid2.0中的“Chunkgroup”)内的其他VD在同一块磁盘，这样就需要存储池内所有硬盘的VD使用率(加入LUN就被认为使用了)保持尽量的平衡。因为如果不平衡，会导致最终找不到可以选择热备VD的磁盘了。比如说，大多数磁盘的VD已经用尽了，只有少数磁盘上的VD还没有用尽，那么如果这时候需要选择热备VD时，只能在这少数磁盘上进行选择，但是可能需要热备的LUN的VD已经在这几个少数磁盘上了，此时就会选择失败，而实际上存储池的VD并没有用尽。所以热备VD的选择方法会最终影响整个存储池的利用率。除了考虑最终每个磁盘的VD使用率平衡外，还要考虑对存储池的管理复杂度和开销的影响。

现有方案中，创建LUN和选择热备VD时，大多根据均分各个VD到所有磁盘的原则，以及每个磁盘使用率和所有磁盘平均使用率的原则进行处理，以保证每个磁盘的VD使用率尽量一致。在均分各个VD到所有磁盘时采用伪随机算法来进行分配。

上述方案，虽然可以很大程度保证每个磁盘使用率保持一致，但是管理开销很大。比如存储池有128块2T磁盘，每个VD大小为128M，每个磁盘上VD个数为16384，整个存储池的VD个数为2097152。如果LUN采用7+1的RAID5，那么存储池可能最多会存在262144个LUN。为了每个LUN的数据能正常下发到磁盘，需要每个LUN记录其包含的每个VD都落在哪些磁盘，以及每个VD在磁盘内的索引，这样管理这些节点单单需要的内存很可能就要GB级别。另外为了能重启后恢复配置，需要占用磁盘空间来记录这些配置信息，重启扫描这些配置信息也需要大量的IO和内存。所以管理的复杂度大大增加，从而必然会影响系统的稳定性。

发明内容

有鉴于此，本发明提供一种降低虚拟磁盘管理复杂度的方法和装置。

该降低虚拟磁盘管理复杂度的方法包括：对存储池中的各物理磁盘顺序进行编号；对每个物理磁盘分割后的虚拟磁盘VD的索引号进行顺序标注；在按序创建每个LUN时，根据物理磁盘的编号顺序选择存储池中的物理磁盘，且根据每个物理磁盘上VD的索引号顺序选择对应的VD；对选中的若干VD进行LUN的创建，创建完成的LUN具有自身的顺序号；在存储或读取业务数据的时候，根据业务数据存储或者读取的LUN的顺序号和存储池中物理磁盘的数量，确定对应的VD所在的磁盘编号以及所在磁盘中的索引号。

进一步地，每个物理磁盘的尾部预留出一部分空间作为热备VD的空间。

进一步地，当LUN中的VD失效时，选择与该失效VD处于同一物理磁盘的空闲热备VD来替换该失效VD。

进一步地，若与所述失效VD处于同一物理磁盘的所有热备VD全部用尽时，上报告警以提示用户更换该热备VD全部用尽的物理磁盘。

该降低虚拟磁盘管理复杂度的装置，包括，LUN创建模块，用于对存储池中的各物理磁盘顺序进行编号；对每个物理磁盘分割后的虚拟磁盘VD的索引号进行顺序标注；在按序创建每个LUN时，根据物理磁盘的编号顺序选择存储池中的物理磁盘，且根据每个物理磁盘上VD的索引号顺序选择对应的VD；对选中的若干VD进行LUN的创建，创建完成的LUN具有自身的顺序号；VD位置确定模块，用于在存储或读取业务数据的时候，根据业务数据存储或者读取的LUN的顺序号和存储池中物理磁盘的数量，确定对应的VD所在的磁盘编号以及所在磁盘中的索引号。

进一步地，该装置还包括：热备VD预留模块，用于将每个物理磁盘的尾部预留出一部分空间作为热备VD的空间。

进一步地，该装置还包括，失效VD替换模块，用于当LUN中的VD失效时，选择与该失效VD处于同一物理磁盘的空闲热备VD来替换该失效VD。

进一步地，该装置还包括告警模块，用于若与所述失效VD处于同一物理磁盘的所有热备VD全部用尽时，上报告警以提示用户更换该热备VD全部用尽的物理磁盘。

在本发明的块虚拟化系统中，传统的随机选虚拟VD改为顺序选VD，简化了LUN对VD的管理，提高效率和降低设计复杂度；并且顺序性保证了性能相近的VD在同一个LUN中，提高了整体性能。

在本发明的块虚拟化系统中，每个磁盘有坏块VD映射区，当出现失效VD时，在该磁盘的映射区找热备VD，并在该磁盘记录失效VD和热备VD的映射关系，管理简单方便。当本磁盘的坏块映射区用尽，提醒用户替换该磁盘，使得系统的安全性更高。

附图说明

图1是本发明实施例示例说明图。

图2是本发明读写VD流程图。

图3是本发明装置逻辑结构图。

具体实施方式

为解决背景技术提到的问题，本发明提供一种降低虚拟磁盘管理复杂度的方案。该方案主要依赖LUN的创建来达到降低虚拟磁盘管理复杂度的目的。以下通过具体实施方式详细说明。

对存储池中的各物理磁盘顺序进行编号；对每个物理磁盘分割后的虚拟磁盘VD的索引号进行顺序标注；在按序创建每个LUN时，根据物理磁盘的编号顺序选择存储池中的物理磁盘，且根据每个物理磁盘上VD的索引号顺序选择对应的VD；对选中的若干VD进行LUN的创建，创建完成的LUN具有自身的顺序号。

比如说，存储池中包含N个物理磁盘，从0开始依次给这N个物理磁盘编号，最后一个物理磁盘的编号为N-1。每个物理磁盘按照固定的容量被切割成若干个VD；从0开始依次给每个物理磁盘上的VD编号，假设有x个VD，最后一个VD的索引号为x-1。若需要创建若干个LUN，且每个LUN包含m个VD，从第0个LUN开始创建LUN，则在创建第k(k为0，1，2，3，4等的正整数)个LUN时，根据物理磁盘的编号顺序选择存储池中的物理磁盘，且根据每个物理磁盘上VD的索引号顺序选择出的VD为第m*k％N个磁盘上的第m*k/N个VD，第(m*k+1)％N个磁盘上的第(m*k+1)/N个VD，第(m*k+2)％N个磁盘上的第(m*k+2)/N个VD……第(m*k+(m-2))％N个磁盘上的第(m*k+(m-2))/N个VD，第(m*k+(m-1))％N个磁盘上的第(m*k+(m-1))/N个VD。

举个例子，假如存储池中有16个物理磁盘：磁盘0～磁盘15；每个磁盘包含100个VD：VD0～VD99。当前需要创建的LUN(LUN选择的RAID类型为4+1型的RAID5)需要包含5个VD时，则第0个LUN选择磁盘0上的VD0、磁盘1上的VD0、磁盘2上的VD0、磁盘3上的VD0、磁盘4上的VD0来创建LUN；第1个LUN选择磁盘5上的VD0、磁盘6上的VD0、磁盘7上的VD0、磁盘8上的VD0、磁盘9上的VD0来创建LUN；第2个LUN选择磁盘10上的VD0、磁盘11上的VD0、磁盘12上的VD0、磁盘13上的VD0、磁盘14上的VD0来创建LUN；第3个LUN选择磁盘15上的VD0、磁盘0上的VD1、磁盘1上的VD1、磁盘2上的VD1、磁盘3上的VD1来创建LUN；第4个LUN选择磁盘4上的VD1、磁盘5上的VD1、磁盘6上的VD1、磁盘7上的VD1、磁盘8上的VD1来创建LUN，依次类推，直到创建完所有需要创建的LUN。

后续，当业务数据发送到LUN进行存储时，只要知道存储到哪个LUN时，就能找到对应的磁盘以及该对应磁盘上的VD，这样就不需要每个LUN都去管理这些VD。比如写数据到第x个LUN(LUN顺序编号0、1、2、3……；每个LUN包含5个VD)，那么实际LUN所在磁盘编号为：5x％N、(5x+1)％N、(5x+2)％N、(5x+3)％N、(5x+4)％N，每个VD在磁盘中索引号为：5x/N、(5x+1)/N、(5x+2)/N、(5x+3)/N、(5x+4)/N，这样数据写到这些磁盘的这些VD即可，这里的N为物理磁盘的数量。所以在存储数据的时候，只需要根据存储池中磁盘的个数和所需存储的LUN的顺序号就能确认该LUN所包含的VD在哪些磁盘以及磁盘的什么位置了，非常简单方便，系统的管理复杂度大大被降低了，同时内存消耗也被大大降低了。

另外上述实施例LUN的创建方式，使得存储池内的LUN基于磁盘和VD的顺序而顺序排列，保证了IO性能相近的VD在同一个LUN内。具体来说，一个LUN包含VD是顺序选择的，由于顺序选择不同磁盘的VD接近磁盘上相同的位置，又磁盘同一个位置的性能最接近，所以顺序选择的不同磁盘的VD的性能相近。而一个LUN中的VD都是顺序地从不同磁盘中选择来的，所以这就保证了同一LUN内的VD的IO性能接近。而传统的随机选盘VD导致LUN的VD可能不在磁盘的相同位置，进而导致单个LUN的性能和存储池的整体性能下降。

在传统的RAID阵列存储中，热备磁盘是需要考虑的一个问题。在基于VD构建的阵列中，同样也需要考虑热备VD的问题。当一个磁盘的VD出现介质错误等导致不能正常读写时，我们需要找热备VD来替换失效的VD。在上文方式创建的LUN的基础上，我们需要寻找一种获取简单易用的热备VD的方法。

鉴于上文中的LUN的创建方法，本发明实施例将热备VD选择在每个磁盘的尾部的空间中，这样就不会影响已经创建的LUN的VD的分布。这部分尾部空间我们可以称之为坏块映射区。坏块影射区的大小可以根据具体的应用场景进行设置，本发明对此不做限定。比如对安全性要求和性能要求高的场景，坏块映射区可以设置的小一些。

当存在VD失效时，用坏块映射区中的热备VD来替代故障VD。其中一种比较简单的方法就是用本磁盘坏块映射区中的热备VD来替换本磁盘的失效VD。之所以用本磁盘的热备VD来替换本磁盘的失效VD，是因为本磁盘可以直接记录热备VD和失效VD之间的映射关系，在磁盘重新启动时只要扫描记录的这个映射关系到系统中就可以了。如果选择其他磁盘中的热备VD，无法方便的记录这种映射关系，从而会增加管理的难度。

请参图1所示例子，该例中共包括N个磁盘，每个磁盘被划分为若干个VD。顺序的选择各个磁盘，各个VD，来依次创建每个LUN。每个磁盘的尾部预留一定的空间作为坏块映射区。由于每个磁盘被划分为了若干个VD，并且每个磁盘上的各个VD都被顺序编号，所以所谓的尾部空间用作热备VD的空间也就是每个磁盘上的倒数若干个VD被用来作为热备VD。比如说磁盘0包括VD0、VD1、VD2、VD3……VD16380、VD16381、VD16382、VD16383这16384个VD；若预设的热备VD数量为16个，则VD16368、VD16369、VD16370、VD16371、VD16372、VD16373、VD16374、VD16375、VD16376、VD16377、VD16378、VD16379、VD16380、VD16381、VD16382、VD16383将被作为热备VD。在创建LUN的时候，这些热备VD将不能被选择进行LUN的创建。在后续数据读写过程中，若磁盘0中的VD8出现读写错误，则可以选择磁盘0中的空闲的热备VD，比如说VD16368来替代该VD8。

请参图2所示的热备VD的应用。热备VD的应用主要体现在读写LUN中VD出现问题的时候，所以图2的例子主要结合读写VD的流程来体现热备VD的应用。

S21、读写VD时，判断该待读写的VD是否被映射到其所在磁盘的坏块映射区中的热备VD，如果是，转S22，否则转S23。

S22、通过该磁盘记录的VD映射关系查找到该待读写VD的热备VD；转S24。

S23、正常读写该VD，转S25。

S24、读写该热备VD，转S25。

S25、判断读写是否成功，如果是，返回读写成功，流程结束；否则转S26。

S26、判断所述坏块映射区的热备VD是否用尽，如果是，转S27，否则转S28。

S27、进行告警，提示用户替换磁盘；返回读写失败。

S28、获取坏块映射区中的空闲热备VD，用该热备VD替换所述读写不成功VD，并在磁盘中记录映射关系，并返回读写成功。

根据上述流程，当遇到某个磁盘的VD有读写错误等故障时，在该磁盘的坏块映射区查找空闲的VD，用该空闲VD来替换该故障VD(替换的方式可以是用该空闲的热备VD进行阵列的重建)，并且在磁盘上记录该空闲热备VD和该故障VD的映射关系。这样在读写业务落在该故障VD上时，就可以通过该磁盘记录的映射关系将读写业务转移到该热备VD上了。

如果热备VD又出现读写错误，则在坏块映射区重新找一个空闲的VD。如果坏块映射区的VD用尽，则需要在存储池中找新的磁盘进行替换该磁盘。替换的时候两个磁盘需要进行VD数据的拷贝，拷贝完成后踢掉该故障VD的磁盘。新的磁盘替换故障VD的磁盘，不会影响存储池LUN和VD的顺序。

基于同样的构思，本发明实施例还提供一种降低虚拟磁盘管理复杂度的装置。请参图3，该装置包括，LUN创建模块、VD位置确定模块、热备VD预留模块、失效VD替换模块和告警模块。

LUN创建模块，用于对存储池中的各物理磁盘顺序进行编号；对每个物理磁盘分割后的虚拟磁盘VD的索引号进行顺序标注；在按序创建每个LUN时，根据物理磁盘的编号顺序选择存储池中的物理磁盘，且根据每个物理磁盘上VD的索引号顺序选择对应的VD；对选中的若干VD进行LUN的创建，创建完成的LUN具有自身的顺序号。

VD位置确定模块，用于在存储或读取业务数据的时候，根据业务数据存储或者读取的LUN的顺序号和存储池中物理磁盘的数量，确定对应的VD所在的磁盘编号以及所在磁盘中的索引号。

热备VD预留模块，用于将每个物理磁盘的尾部预留出一部分空间作为热备VD的空间。

失效VD替换模块，用于当LUN中的VD失效时，选择与该失效VD处于同一物理磁盘的空闲热备VD来替换该失效VD。

告警模块，用于若与所述失效VD处于同一物理磁盘的所有热备VD全部用尽时，上报告警以提示用户更换该热备VD全部用尽的物理磁盘。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (6)

1.一种降低虚拟磁盘管理复杂度的方法，其特征在于，对存储池中的各物理磁盘顺序进行编号；对每个物理磁盘分割后的虚拟磁盘VD的索引号进行顺序标注；在按序创建每个LUN时，根据物理磁盘的编号顺序选择存储池中的物理磁盘，且根据每个物理磁盘上VD的索引号顺序选择对应的VD；对选中的若干VD进行LUN的创建，创建完成的LUN具有自身的顺序号；并且，每个物理磁盘的尾部预留出一部分空间作为热备VD的空间；

在存储或读取业务数据的时候，根据业务数据存储或者读取的LUN的顺序号和存储池中物理磁盘的数量，确定对应的VD所在的磁盘编号以及所在磁盘中的索引号。

2.如权利要求1所述的方法，其特征在于，该方法还包括，当LUN中的VD失效时，选择与该失效VD处于同一物理磁盘的空闲热备VD来替换该失效VD。

3.如权利要求2所述的方法，其特征在于，若与所述失效VD处于同一物理磁盘的所有热备VD全部用尽时，上报告警以提示用户更换该热备VD全部用尽的物理磁盘。

4.一种降低虚拟磁盘管理复杂度的装置，其特征在于，该装置包括，

LUN创建模块，用于对存储池中的各物理磁盘顺序进行编号；对每个物理磁盘分割后的虚拟磁盘VD的索引号进行顺序标注；在按序创建每个LUN时，根据物理磁盘的编号顺序选择存储池中的物理磁盘，且根据每个物理磁盘上VD的索引号顺序选择对应的VD；对选中的若干VD进行LUN的创建，创建完成的LUN具有自身的顺序号；

热备VD预留模块，用于将每个物理磁盘的尾部预留出一部分空间作为热备VD的空间；

VD位置确定模块，用于在存储或读取业务数据的时候，根据业务数据存储或者读取的LUN的顺序号和存储池中物理磁盘的数量，确定对应的VD所在的磁盘编号以及所在磁盘中的索引号。

5.如权利要求4所述的装置，其特征在于，该装置还包括，失效VD替换模块，用于当LUN中的VD失效时，选择与该失效VD处于同一物理磁盘的空闲热备VD来替换该失效VD。

6.如权利要求5所述的装置，其特征在于，该装置还包括告警模块，用于若与所述失效VD处于同一物理磁盘的所有热备VD全部用尽时，上报告警以提示用户更换该热备VD全部用尽的物理磁盘。