CN101727298A - 实现独立磁盘冗余阵列的方法和装置 - Google Patents

Abstract

本发明公开了一种实现独立磁盘冗余阵列的方法和装置，属于存储技术领域。该方法具体包括：对局域网内操作系统所在磁盘以外的磁盘进行初始化；将初始化后的磁盘分组，组成多个磁盘组；将分组后的磁盘分成多个镜像磁盘，每个镜像磁盘中包含两个位于不同磁盘组的磁盘；将每个镜像磁盘中的每个磁盘分成多个物理块。还公开了一种实现独立磁盘冗余阵列的装置，该装置包括：初始化模块、分组模块、镜像分组模块、块分配模块、写入模块、扫描模块、寻址模块和数据恢复模块。本发明满足了广电视频系统对速度和功能的需求，实现对数据读写进行统一管理，且当数据损坏时，进行数据的冗余修复。

Description

实现独立磁盘冗余阵列的方法和装置

技术领域

本发明涉及存储技术领域，特别涉及一种实现独立磁盘冗余阵列的方法和装置。

背景技术

当前广电行业视频节目的片源存储容量巨大，文件系统的吞吐率高，所以当处理大用户量并发时，对硬盘的读写速度要求较高，限于目前硬盘的读取速率和容量，一般采用RAID(Redundant Array of Independent Disks，独立磁盘冗余阵列)技术。但目前RAID的技术不能满足广电视频系统对大用户量并发对文件IO的需求。

因此为了达到高效处理的目的，现有技术提出了RAID1+0平方的结构，RAID1+0平方结构是镜像结构和带区结构的结合，它综合了RAID 0(无差错控制的带区组)和RAID 1(镜像结构)，这两种结构各有优缺点，可以相互补充，具有较好的数据读取和写入速度和较高的系统容错能力。

在对现有技术进行分析后，发明人发现现有技术至少具有如下缺点：

无法满足广电视频系统对读写速度的需求，当前技术中写的过程中读取的速度较低，对数据读写没有统一管理无法控制；

无法满足广电视频系统对磁盘容量的需求，当前技术依赖于现有磁盘的容量和服务器的硬件。

针对上述缺点，特提出一种对网络中的磁盘创建独立磁盘冗余阵列的方法和装置。

发明内容

本发明实施例提供了一种实现独立磁盘冗余阵列的方法和装置。所述技术方案如下：

一方面，一种实现独立磁盘冗余阵列的方法，包括：

对磁盘冗余阵列所在局域网内操作系统空闲磁盘进行初始化；

将初始化后的磁盘分组，组成多个磁盘组；

将分组后的磁盘分成多个镜像磁盘，每个所述镜像磁盘中包含两个位于不同磁盘组的磁盘；

将所述每个镜像磁盘中的每个磁盘分成多个物理块，所述每个镜像磁盘中的两个所述磁盘的物理块划分方法相同，所划分的物理块一一对应，所述物理块的数目最少为所述镜像磁盘的组数，所述物理块的大小为系统页面大小和视频压缩数据包的大小的公倍数。

所述方法还包括：

当向所述每个镜像磁盘中的一个磁盘写入数据时，将所述数据写入所述磁盘的物理块，将所述数据同时写入所述镜像磁盘中另一个磁盘中与所述物理块相对应的物理块。

对局域网内操作系统所在磁盘以外的磁盘进行初始化之前还包括：扫描局域网内的所有磁盘，记录所述所有磁盘的IP地址、序列号。

将初始化后的磁盘分组，组成多个磁盘组具体包括：

根据记录的所述IP地址，将所述初始化后的磁盘分组，具有相同所述IP地址的所述磁盘分在一组，组成多个磁盘组。

将分组后的磁盘分成多个镜像磁盘之后还包括：

当从局域网中提取数据时，根据网络寻址的方式寻找数据所在的磁盘组，在所述磁盘组中根据盘符寻址的方式寻找数据所在的物理块。

当向所述每个镜像磁盘中的一个磁盘写入数据时，将所述数据写入所述磁盘的物理块，将所述数据同时写入所述镜像磁盘中另一个磁盘中与所述物理块相对应的物理块，之后还包括：

当检查到所述镜像磁盘中一个磁盘的物理块中数据损坏，则根据所述镜像磁盘中的另一个磁盘中与所述物理块相对应的物理块中的数据，对数据损坏的磁盘中的数据进行恢复。

另一方面，一种实现独立磁盘冗余阵列的装置，包括：

初始化模块，用于对局域网内操作系统所在磁盘以外的磁盘进行初始化；

分组模块，用于将初始化后的磁盘分组，组成多个磁盘组；

镜像分组模块，用于将分组后的磁盘分成多个镜像磁盘，每个所述镜像磁盘中包含两个位于不同磁盘组的磁盘；

块分配模块，用于将所述每个镜像磁盘中的每个磁盘分成多个物理块，所述每个镜像磁盘中的两个所述磁盘的物理块划分方法相同，所划分的物理块一一对应，所述物理块的数目最少为所述镜像磁盘的组数，所述物理块的大小为系统页面大小和视频压缩数据包的大小的公倍数。

所述装置还包括：

写入模块，用于当向所述每个镜像磁盘中的一个磁盘写入数据时，将所述数据写入所述磁盘的物理块，将所述数据同时写入所述镜像磁盘中另一个磁盘中与所述物理块相对应的物理块。

所述装置还包括：扫描模块，用于扫描局域网内的所有磁盘，记录所述所有磁盘的IP地址、序列号。

分组模块具体包括：

IP分组单元，用于根据记录的所述IP地址，将所述初始化后的磁盘分组，具有相同所述IP地址的所述磁盘分在一组，组成多个磁盘组。

所述装置还包括：

寻址模块，用于当从局域网中提取数据时，根据网络寻址的方式寻找数据所在的磁盘组，在所述磁盘组中根据盘符寻址的方式寻找数据所在的物理块。

所述装置还包括：

数据恢复模块，用于当检查到所述镜像磁盘中一个磁盘的物理块中数据损坏，则根据所述镜像磁盘中的另一个磁盘中与所述物理块相对应的物理块中的数据，对数据损坏的磁盘中的数据进行恢复。

本发明实施例提供的技术方案的有益效果是：

本发明将整个网络上的所有磁盘作为统一的存储设备，通过管理所有网络磁盘和对磁盘进行磁盘镜像分组的方式保证磁盘互相冗余备份，并在管理磁盘时应用网络映射的方法读取海量数据，满足了广电行业视频点播系统的网络文件系统存储数据的技术需求和对磁盘的差错控制和读取速度的要求，提高了用户的体验。

附图说明

图1是本发明实施例1提供的一种实现独立磁盘冗余阵列的方法流程图；

图2是本发明实施例2提供的另一种实现独立磁盘冗余阵列的方法流程图；

图3是本发明实施例提供的组成镜像磁盘的示意图；

图4是本发明实施例提供的物理块划分的示意图；

图5是本发明实施例3提供的一种实现独立磁盘冗余阵列的装置结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例1

为了提高存储系统的效率，参见图1，本发明实施例提供了一种实现独立磁盘冗余阵列的方法，该方法包括：

101：对局域网内操作系统所在磁盘以外的磁盘进行初始化；

102：将初始化后的磁盘分组，组成多个磁盘组；

103：将分组后的磁盘分成多个镜像磁盘，每个镜像磁盘中包含两个位于不同磁盘组的磁盘；

104：将每个镜像磁盘中的每个磁盘分成多个物理块，每个镜像磁盘中的两个磁盘的物理块划分方法相同，所划分的物理块一一对应，该物理块的数目最少为镜像磁盘的组数，该物理块的大小为系统页面大小和视频压缩数据包的大小的公倍数。

本发明将整个网络上的所有磁盘作为统一的存储设备，通过管理所有网络磁盘和对磁盘进行磁盘镜像分组的方式保证磁盘互相冗余备份，并在管理磁盘时应用网络映射的方法读取海量数据，满足了广电行业视频点播系统的网络文件系统存储数据的技术需求和对磁盘的差错控制和读取速度的要求，提高了用户的体验。

实施例2

为了提高存储系统的效率，参见图2，本发明实施例提供了一种实现独立磁盘冗余阵列的方法，该方法包括：

201：扫描局域网络内的所有磁盘；

进一步地，扫描的同时记录磁盘的IP地址、序列号，用于管理磁盘数据时根据所记录的磁盘的IP地址和序列号寻址。

202：对扫描到的磁盘(除了操作系统所在磁盘以外的磁盘)进行初始化；

其中，初始化是为了使磁盘的格式统一，便于使用，也可以不对磁盘进行初始化，直接执行步骤203。

203：将初始化后的磁盘分组；

具体地，分组时可以按照磁盘的IP地址分配，相同IP地址的磁盘分成一个磁盘组。通常相同IP地址的磁盘位于同一台PC(Personal computer，个人电脑)上，即，将位于同一台PC上的具有相同IP地址的磁盘分为一个磁盘组。

优选地，初始化后的磁盘数目大于等于2，且该磁盘数目为偶数。

204：从所有磁盘中选择位于不同磁盘组的两个磁盘，组成镜像磁盘；

具体地，从多个磁盘组中任选两个磁盘组，分别作为第一磁盘组和第二磁盘组，从第一磁盘组中选择一个磁盘，从第一磁盘组以外的磁盘组中任选一个磁盘，将所选的两个磁盘组成一个镜像磁盘，即组成一个RAID1磁盘。参见图3，位于磁盘组1的磁盘1和位于磁盘组2的磁盘1’组成一个镜像磁盘1，其它的磁盘也分别组成镜像磁盘2、镜像磁盘3等。

优选地，组成一个镜像磁盘的两个磁盘的大小相同，这样可以达到镜像结构的最大性能，否则会出现水桶效应，使该镜像磁盘的两个磁盘在应用时，写入数据受限于两个磁盘中容量较小的磁盘，造成对磁盘空间的浪费。水桶效应即多块木板构成的水桶，其价值在于其盛水量的多少，决定水桶盛水量多少的关键因素不是其最长的板块，而是其最短的板块，在这里该水桶效应是指系统的性能取决于系统中性能最差的磁盘。

进一步地，在向局域网内的磁盘写入数据时，当向镜像磁盘中的一个磁盘写入数据，将该数据同时写入该镜像磁盘中另一个磁盘中。

205：将分组后的镜像磁盘中的磁盘划分为多个物理块。

具体地，划分物理块即是对镜像磁盘进行逻辑数据块分配，两个磁盘中的物理块数最少为镜像磁盘的组数。其中物理块的大小为系统页面大小(4096Byte)和Mpeg2ts数据包的大小(188Byte)的公倍数。

举例说明，例如：参见图4所示，磁盘镜像组1由磁盘1和磁盘1’组成，磁盘1可分为物理块A、物理块B和物理块C，磁盘1’分为物理块A’、物理块B’和物理块C’，物理块A与物理块A’相对应，组成逻辑数据块A，其它物理块的对应关系同理，不再赘述。

进一步地，在向局域网内的磁盘写入数据时，当向所述每个镜像磁盘中的一个磁盘写入数据时，将所述数据写入所述磁盘的物理块A，将所述数据同时写入所述镜像磁盘中另一个磁盘中与所述物理块相对应的物理块A’，并对当前物理块A、A’的版本号进行修改并记录修改后的版本号。

进一步地，当从局域网中提取数据时，通过校验镜像磁盘中磁盘的物理块和版本号来确定数据的正确性。通过将每个镜像磁盘中的两块磁盘进行物理划分，得到可存储的物理块，这两个位于不同磁盘的物理块即可作为镜像磁盘的逻辑数据块，该逻辑数据块对应镜像磁盘中两个磁盘中的实际物理块，这两块物理块中数据相同，都可以寻址，可实现数据的备份和并行读取，是传统的单纯数据冗余备份的RAID1的文件的读取速度的2倍。

进一步地，当镜像磁盘中一个磁盘的物理块的数据发生损坏时，可以可以从该镜像磁盘中另一个与该物理块对应的物理块中读取数据或从该镜像磁盘中另一个与该物理块对应的物理块中读取数据修复该磁盘中损坏的数据。

在从局域网中提取数据时，根据写入时记录的磁盘位置信息，对所有磁盘镜像组，根据网络寻址的方式寻找数据所在的磁盘组，在磁盘组中根据盘符寻址的方式寻找数据所在的磁盘，具体地，首先进行IP寻址，然后根据磁盘的序列号和数据的位置信息进行寻址，找到数据所在物理块，校验该物理块的版本号是否与记录的一致，如果一致，读取所需数据，如果不一致，对数据进行修复。由于本地寻址受系统芯片和主板的吞吐量的限制，而网络寻址可以创建超级磁盘存储系统，该磁盘管理方法相对于本地寻址网络寻址可以为磁盘构造成大型的磁盘存储系统，分配物理块，实现方式比较灵活，可以整体对磁盘组进行管理，且管理的磁盘数据容量不受限制。

本发明将整个网络上的所有磁盘作为统一的存储设备，通过管理所有网络磁盘和对磁盘进行磁盘镜像分组的方式保证磁盘互相冗余备份，并在管理磁盘时应用网络映射的方法读取海量数据，满足了广电行业视频点播系统的网络文件系统存储数据的技术需求和对磁盘的差错控制和读取速度的要求，提高了用户的体验。

实施例3

为了提高存储系统的效率，参见图5，本发明实施例提供了一种实现独立磁盘冗余阵列的装置，该装置包括：

初始化模块501，用于对局域网内操作系统所在磁盘以外的磁盘进行初始化；

分组模块502，用于将初始化后的磁盘分组，组成多个磁盘组；

分组模块502具体包括：

IP分组单元5021，用于根据记录的该IP地址，将该初始化后的磁盘分组，具有相同该IP地址的该磁盘分在一组，组成多个磁盘组。

镜像分组模块503，用于将分组后的磁盘分成多个镜像磁盘，每个该镜像磁盘中包含两个位于不同磁盘组的磁盘；

具体地，从多个磁盘组中任选两个磁盘组，分别作为第一磁盘组和第二磁盘组，从第一磁盘组中选择一个磁盘，从第一磁盘组以外的磁盘组中任选一个磁盘，将所选的两个磁盘组成一个镜像磁盘，即组成一个RAID1磁盘。参见图3，位于磁盘组1的磁盘1和位于磁盘组2的磁盘1’组成一个镜像磁盘1，其它的磁盘也分别组成镜像磁盘2、镜像磁盘3等。

优选地，组成一个镜像磁盘的两个磁盘的大小相同，这样可以达到镜像结构的最大性能，否则会出现水桶效应，使该镜像磁盘的两个磁盘在应用时，写入数据受限于两个磁盘中容量较小的磁盘，造成对磁盘空间的浪费。水桶效应即多块木板构成的水桶，其价值在于其盛水量的多少，决定水桶盛水量多少的关键因素不是其最长的板块，而是其最短的板块，在这里该水桶效应是指系统的性能取决于系统中性能最差的磁盘。

块分配模块504，用于将该每个镜像磁盘中的每个磁盘分成多个物理块，该每个镜像磁盘中的两个该磁盘的物理块划分方法相同，所划分的物理块一一对应，该物理块的数目最少为该镜像磁盘的组数，该物理块的大小为系统页面大小和视频压缩数据包的大小的公倍数。

该装置还包括：

写入模块505，用于当向该每个镜像磁盘中的一个磁盘写入数据时，将该数据写入该磁盘的物理块，将该数据同时写入该镜像磁盘中另一个磁盘中与该物理块相对应的物理块。

扫描模块506，用于扫描局域网内的所有磁盘，记录所有磁盘的IP地址、序列号。

寻址模块507，用于当从局域网中提取数据时，根据网络寻址的方式寻找数据所在的磁盘组，在该磁盘组中根据盘符寻址的方式寻找数据所在的磁盘。

在从局域网中提取数据时，根据写入时记录的磁盘位置信息，对所有磁盘镜像组，根据网络寻址的方式寻找数据所在的磁盘组，在磁盘组中根据盘符寻址的方式寻找数据所在的磁盘，具体地，首先进行IP寻址，然后根据磁盘的序列号和数据的位置信息进行寻址，找到数据所在物理块，校验该物理块的版本号是否与记录的一致，如果一致，读取所需数据，如果不一致，对数据进行修复。由于本地寻址受系统芯片和主板的吞吐量的限制，而网络寻址可以创建超级磁盘存储系统，该磁盘管理方法相对于本地寻址网络寻址可以为磁盘构造成大型的磁盘存储系统，分配物理块，实现方式比较灵活，可以整体对磁盘组进行管理，且管理的磁盘数据容量不受限制。

数据恢复模块508，用于当检查到该镜像磁盘中一个磁盘的物理块中数据损坏，则根据该镜像磁盘中的另一个磁盘中与该物理块相对应的物理块中的数据，对数据损坏的磁盘中的数据进行恢复。

本发明将整个网络上的所有磁盘作为统一的存储设备，通过管理所有网络磁盘和对磁盘进行磁盘镜像分组的方式保证磁盘互相冗余备份，并在管理磁盘时应用网络映射的方法读取海量数据，满足了广电行业视频点播系统的网络文件系统存储数据的技术需求和对磁盘的差错控制和读取速度的要求，提高了用户的体验。

本发明实施例可以利用软件实现，相应的软件程序可以存储在可读取的存储介质中，例如，计算机的硬盘、缓存或光盘中。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种实现独立磁盘冗余阵列的方法，其特征在于，包括：

对局域网内操作系统所在磁盘以外的磁盘进行初始化；

将初始化后的磁盘分组，组成多个磁盘组；

将分组后的磁盘分成多个镜像磁盘，每个所述镜像磁盘中包含两个位于不同磁盘组的磁盘；

将所述每个镜像磁盘中的每个磁盘分成多个物理块，所述每个镜像磁盘中的两个所述磁盘的物理块划分方法相同，所划分的物理块一一对应，所述物理块的数目最少为所述镜像磁盘的组数，所述物理块的大小为系统页面大小和视频压缩数据包的大小的公倍数。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

当向所述每个镜像磁盘中的一个磁盘写入数据时，将所述数据写入所述磁盘的物理块，将所述数据同时写入所述镜像磁盘中另一个磁盘中与所述物理块相对应的物理块。

3.如权利要求1所述的方法，其特征在于，对磁盘冗余阵列所在局域网内操作系统所在磁盘以外的磁盘进行初始化之前还包括：扫描局域网内的所有磁盘，记录所述所有磁盘的IP地址、序列号。

4.如权利要求3所述的方法，其特征在于，将初始化后的磁盘分组，组成多个磁盘组具体包括：

根据记录的所述IP地址，将所述初始化后的磁盘分组，具有相同所述IP地址的所述磁盘分在一组，组成多个磁盘组。

5.如权利要求1所述的方法，其特征在于，将分组后的磁盘分成多个镜像磁盘之后还包括：

当从局域网中提取数据时，根据网络寻址的方式寻找数据所在的磁盘组，在所述磁盘组中根据盘符寻址的方式寻找数据所在的物理块。

6.如权利要求2所述的方法，其特征在于，当向所述每个镜像磁盘中的一个磁盘写入数据时，将所述数据写入所述磁盘的物理块，将所述数据同时写入所述镜像磁盘中另一个磁盘中与所述物理块相对应的物理块，之后还包括：

当检查到所述镜像磁盘中一个磁盘的物理块中数据损坏，则根据所述镜像磁盘中的另一个磁盘中与所述物理块相对应的物理块中的数据，对数据损坏的磁盘中的数据进行恢复。

7.一种实现独立磁盘冗余阵列的装置，其特征在于，包括：

初始化模块，用于对局域网内操作系统所在磁盘以外的磁盘进行初始化；

分组模块，用于将初始化后的磁盘分组，组成多个磁盘组；

镜像分组模块，用于将分组后的磁盘分成多个镜像磁盘，每个所述镜像磁盘中包含两个位于不同磁盘组的磁盘；

块分配模块，用于将所述每个镜像磁盘中的每个磁盘分成多个物理块，所述每个镜像磁盘中的两个所述磁盘的物理块划分方法相同，所划分的物理块一一对应，所述物理块的数目最少为所述镜像磁盘的组数，所述物理块的大小为系统页面大小和视频压缩数据包的大小的公倍数。

8.如权利要求7所述的装置，其特征在于，所述装置还包括：

写入模块，用于当向所述每个镜像磁盘中的一个磁盘写入数据时，将所述数据写入所述磁盘的物理块，将所述数据同时写入所述镜像磁盘中另一个磁盘中与所述物理块相对应的物理块。

9.如权利要求7所述的装置，其特征在于，所述装置还包括：扫描模块，用于扫描局域网内的所有磁盘，记录所述所有磁盘的IP地址、序列号。

10.如权利要求9所述的装置，其特征在于，分组模块具体包括：

IP分组单元，用于根据记录的所述IP地址，将所述初始化后的磁盘分组，具有相同所述IP地址的所述磁盘分在一组，组成多个磁盘组。

11.如权利要求7所述的装置，其特征在于，所述装置还包括：

寻址模块，用于当从局域网中提取数据时，根据网络寻址的方式寻找数据所在的磁盘组，在所述磁盘组中根据盘符寻址的方式寻找数据所在的物理块。

12.如权利要求8所述的装置，其特征在于，所述装置还包括：

数据恢复模块，用于当检查到所述镜像磁盘中一个磁盘的物理块中数据损坏，则根据所述镜像磁盘中的另一个磁盘中与所述物理块相对应的物理块中的数据，对数据损坏的磁盘中的数据进行恢复。

Images