CN101887351A - 一种磁盘阵列容错方法及其系统 - Google Patents

Abstract

本发明公开了一种磁盘阵列容错方法及其系统，应用于视频监控系统，该方法包括：当发生数据读写错误时，确定发生读写错误的数据的存储位置；当确定出该存储位置位于视频监控录像内容数据存储区域时，获取该存储位置所在的磁盘中发生过数据读写错误的数据块的数量；当该磁盘中发生过数据读写错误的数据块的数量达到设定阈值时，将该磁盘踢除出该磁盘所在的磁盘阵列。采用本发明，可在一定程度上保证视频监控录像数据的完整性的前提下，降低磁盘阵列中的磁盘更新频率。

Description

一种磁盘阵列容错方法及其系统

技术领域

本发明涉及通信技术领域中的计算机技术，特别是涉及一种磁盘阵列容错方法及其系统。

背景技术

在视频监控领域，随着磁盘价格的不断下降以及磁盘容量的不断增加，视频监控录像数据目前大都以循环方式存储在磁盘上。监控录像数据存储一般需要7*24小时进行不间断存储，为保证监控录像数据具有一定的可靠性和完整性，一般采用RAID阵列方式对磁盘进行一定容错组合，从而当其中一块硬盘出现问题时，可以通过其它盘进行数据重构，而不会丢失该阵列上的监控录像数据。

为有效管理、检索监控录像数据，需对录像数据进行组织。图1示出了一种监控录像数据的组织方式。如图1所示，在录像数据存储时，为有效管理、检索录像数据，添加了超级块(super block)、一级索引(main index)、二级索引(second index)等关键信息，其中超级块中可包含摄像头、版本号等信息。这些关键信息按时间方式对录像数据进行有序组织，形成整个录像文件。在存储时，底层RAID阵列并不区分对待这些数据，当出现读、写I/O(输入/输出)错误时，都将根据RAID完整性要求，立即踢除该出错磁盘。

这种严格的踢盘要求，增加了磁盘备件更换频率，加大了运营成本。

发明内容

本发明提供了一种磁盘阵列容错方法及其装置，用以解决现有技术中磁盘阵列中的磁盘更新频率高的问题。

本发明提供的磁盘阵列容错方法，应用于视频监控系统，包括：

当发生数据读写错误时，确定发生读写错误的数据的存储位置；

当确定出该存储位置位于视频监控录像内容数据存储区域时，获取该存储位置所在的磁盘中发生过数据读写错误的数据块的数量；

当该磁盘中发生过数据读写错误的数据块的数量达到设定阈值时，将该磁盘踢除出该磁盘所在的磁盘阵列。

上述方法中，确定发生读写错误的数据的存储位置，具体为：

根据视频监控录像的关键数据存储区域或/和内容数据存储区域的起始位置和长度，确定发生读写错误的数据的存储位置是否位于视频监控录像内容数据存储区域。

上述方法中，为每个磁盘设置对应的计数器，当该磁盘中有数据块发生数据读写错误时，将该计数器计数值递增，其中，相同数据块发生的数据读写错误不重复计数；

获取所述存储位置所在的磁盘中发生过数据读写错误的数据块的数量，具体为：根据该磁盘对应的计数器确定该磁盘中发生过数据读写错误的数据块的数量。

上述方法中，所述数据读写错误为读错误时，所述确定发生读写错误的数据的存储位置，具体为：当发生读错误的数据无法通过冗余磁盘进行读写恢复时，确定该发生读错误的数据的存储位置。

上述方法，还包括：当确定发生读写错误的数据的存储位置位于视频监控录像关键数据存储区域时，将该磁盘剔除出该磁盘所在的磁盘阵列。

本发明提供的磁盘阵列容错系统，应用于视频监控系统，包括：

位置确定单元，用于当发生数据读写错误时，确定发生读写错误的数据的存储位置；

数量确定单元，与所述位置确定单元连接，用于当所述位置确定单元确定出所述存储位置位于视频监控录像内容数据存储区域时，获取该存储位置所在的磁盘中发生过数据读写错误的数据块的数量；

阵列容错处理单元，与所述数量确定单元连接，用于当所述数量确定单元确定该磁盘中发生过数据读写错误的数据块的数量达到设定阈值时，将该磁盘踢除出该磁盘所在的磁盘阵列。

上述系统中，所述位置确定单元具体用于，根据视频监控录像的关键数据存储区域或/和内容数据存储区域的起始位置和长度，确定发生读写错误的数据的存储位置是否位于视频监控录像内容数据存储区域。

上述系统中，所述数量确定单元具体用于，为每个磁盘设置对应的计数器，当该磁盘中有数据块发生数据读写错误时，将该计数器计数值递增，其中，相同数据块发生的数据读写错误不重复计数；所述数量确定单元根据与磁盘对应的计数器确定该磁盘中发生过数据读写错误的数据块的数量。

上述系统中，所述数据读写操作错误为读错误时，所述位置确定单元具体用于，当发生读错误的数据无法通过冗余磁盘进行读写恢复时，确定该发生读错误的数据的存储位置。

上述系统中，所述阵列容错处理单元还与所述位置确定单元连接，用于当所述位置确定单元确定发生读写错误的数据的存储位置位于视频监控录像关键数据存储区域时，将该磁盘剔除出该磁盘所在的磁盘阵列。

本发明的有益技术效果包括：

本发明在发生数据读写错误时，确定出发生读写错误的数据的存储位置，并且当发生读写错误的数据的存储位置位于视频监控录像内容数据存储区域时，根据该存储位置所在的磁盘中发生过数据读写错误的数据块的数量来决定是否将发生数据读写错误的磁盘剔除出磁盘阵列。由于本发明在进行磁盘阵列容错处理时对视频监控录像数据进行区分，并对视频监控录像内容数据设置了可容忍的出错数据块数量阈值，只有在磁盘中的出错数据块数量超过该阈值时，才进行踢盘处理，从而与现有技术相比，降低了踢盘频率。又由于视频监控录像的内容数据通常可以允许一定的出错率，因此本发明也可一定程度上保证了视频监控录像内容数据的可靠性和完整性。

附图说明

图1为现有技术中视频监控录像数据的组织方式示意图；

图2为本发明实施例中视频监控录像数据磁盘阵列的示意图；

图3为本发明实施例中视频监控录像数据磁盘阵列容错流程示意图；

图4为图3所示流程中步骤305的流程示意图；

图5为图3所示流程中步骤304或309的流程示意图；

图6为本发明实施例提供的磁盘阵列容错系统结构示意图。

具体实施方式

由于现有方案中底层RAID阵列没有区分录像数据与组织录像的关键数据(如超级块、一级索引、二级索引)，因此当对录像数据读或/和写(以下描述为读/写，或读写)错误时，根据RAID完整性的要求，立即会从RAID中踢除该读、写的I/O错误的磁盘，并要求加入一个新的磁盘，从而增加了磁盘备件更换频率。

为解决上述技术问题，考虑到用户对监控录像数据完整性要求并不太高，偶尔的一帧录像数据丢失，并不会影响整体录像图像质量，因此，本发明实施例提供了一种应用于视频监控系统的磁盘阵列容错方案，通过区分录像内容数据与组织录像内容数据的关键数据(如超级块、一级索引、二级索引)，当录像数据读写I/O错误时，并不立即从RAID阵列中踢除该出错的磁盘，只是将该读写I/O错误记录到磁盘错误记录区中，只有当这类错误累计到一定程度后，才去踢除该磁盘；而对于关键数据的读写I/O错误，则与原RAID要求相同，立即从RAID阵列中踢除该出错磁盘，从而在不影响录像质量情况下，降低阵列的磁盘踢盘率，降低运营成本。

下面以图l所示的视频监控录像数据的组织形式为例，结合附图对本发明实施例进行详细描述。

如图1所示，视频监控录像数据(data partition区域存储的数据，即视频监控录像的内容数据)与关键数据(super block、main index、secondindex区域存储的数据)在视频监控录像文件中处于固定位置，因此，可以根据视频监控录像文件的读写位置来快速划分这两者数据，并对两者数据进行分别标记，使底层阵列可通过该标记来区分两者数据，从而实现不同的读、写错误流程。其关键数据区域的计算公式可如下所示：

0＜＝超级块+一级索引＜80KB…………………………………[1]

80KB+256MB*i＜＝二级索引＜336KB+256MB*i………[2]

其中，i为数据块(data partition)编号。

通常，为提高磁盘读写能力，对磁盘需按块方式进行划分。本发明实施例中，以16KB块(block，即数据块)大小对磁盘进行划分，划分为N(N＝磁盘容量/16KB)块，每个块内出现的所有读写I/O错误合并为一个错误，并且相同块的重复I/O错误不再重复记录，所有的磁盘I/O错误记录最终形成一张I/O错误记录表，可位于阵列超级块后，以便于设备重启后能够获得以前磁盘运行的I/O错误记录，如图2所示。

通常，以磁盘的总出错块数量来判断磁盘的健康状态，当磁盘录像数据区域的读写I/O错误到达一定门限值后，表明该磁盘已经处于失效状态，需要将该磁盘踢除所在的磁盘阵列。

基于以上规定和原则，图3示出了一种视频监控录像数据磁盘阵列容错流程。如图所示，该流程可包括：

当磁盘出现写错误(步骤301～302)时，确定出错数据的位置(即确定发生写错误的数据的存储位置，步骤303)，如确定发生读错误的数据是关键数据(super data、main index、second index区域的数据)，还是录像内容数据(data partition区域的数据)；如果出错数据是录像内容数据，则按照本发明实施例提供的方式进行阵列容错处理(步骤305)；如果出错数据是关键数据，则按照现有方式处理，如踢盘并标记该磁盘失效(步骤306)；

当磁盘出现读错误(步骤301～302)时，可进一步判断该读错误是否是可以通过冗余磁盘修复的错误(步骤306)，如果是可修复的错误，则可按照现有方式进行处理(步骤309)，如按照系统现有方式进行写操作修复处理；如果是无法通过冗余磁盘修复的错误，则确定出错数据的位置(即确定发生读错误的数据的存储位置，步骤308)，如确定出错数据是关键数据还是录像内容数据；如果出错数据是录像内容数据，则按照本发明实施例提供的方式进行阵列容错处理(步骤310)；如果出错数据是关键数据，则按照现有方式处理，如踢盘并标记该磁盘失效(步骤309)。

其中，确定出错数据的位置可采用公式(1)和公式(2)，即如果出错数据的位置在磁盘的[0，80k)区域，或者在[80KB+256MB*i，336KB+256MB*i)区域(i为数据块Data partition编号)，则表明出错数据是关键数据；否则表明出错数据是录像内容数据。

本发明实施例中的数据读写错误，是指数据读写失败。由于在数据读写失败时通常会返回错误代码等错误信息，因此也可将该种情况称为数据读写错误。

图3所示流程的步骤305中，如果该磁盘的出错数据块(block)的数量达到错误处理门限时，则按照现有方式进行处理，如踢盘标记该磁盘失效；如果该磁盘的出错block的数量还未达到错误处理门限，则保持磁盘阵列状态不变。图4示出了一种具体实现方式。如图4所示，可具体包括：

步骤3051、判断出错数据所在的block是否之前已经发生过数据读写错误操作，即是否已经被标记为无效，如果该block之前没有发生过读写，则执行步骤3052，否则执行步骤3053；

步骤3052、标记该磁盘的该block失效，将对应于该磁盘的计数器数值加1，该计数器的计数值表示该磁盘中发生数据读写错误的block数量，然后执行步骤3053；

步骤3053、判断计数器的值是否达到阈值，即，该磁盘中发生过数据读写错误的block数量是否达到预设的出错block数量阈值，如果是则执行步骤3054，否则执行步骤3055；优选地，该阈值大于1；

步骤3054、按照系统现有方式处理，如踢盘标记失效；

步骤3055、保持当前磁盘阵列状态不变；

进一步的，在步骤3055之后，还可包括：

步骤3056、写操作错误终结，返回成功。

图3所示流程中的步骤310的具体实现可与步骤306类似，不同之处可在于：当判断读出错数据位于录像数据内容区时，且磁盘出错block的数量未超过设定阈值时，可在保持磁盘阵列不变的情况下，进一步判断是否可通过冗余磁盘构建读数据，如果可以，则读数据并返回成功响应，如不可以，则读数据并返回失败响应。

图3所示流程的步骤304或步骤309的具体实现过程，可如图5所示，具体可包括：

步骤3041、按照现有方式进行处理，即，将该磁盘从所在阵列中踢除，并标记该磁盘失效；

步骤3042、判断是否可通过冗余磁盘重构数据，如果是则执行步骤3043，否则执行步骤3044；

步骤3043、进行数据重构，并在成功后返回读写操作成功响应；

步骤3044、返回读写操作失败响应。

需要说明的是，本发明以上实施例仅以图1所示的视频监控录像数据组织形式为例进行描述，事实上，以其他相似方式组织录像数据的情况，其磁盘阵列容错流程与本发明实施例的上述处理流程相似，均在本发明的保护范围之内。

基于相同的技术构思，本发明实施例还提供了一种应用于视频监控系统的磁盘阵列容错系统结构示意图，可应用于上述本发明实施例提供的磁盘阵列容错流程。

如图6所示，该磁盘阵列容错系统可包括：位置确定单元601、数量确定单元602、阵列容错处理单元603，其中：

位置确定单元601，用于当发生数据读写错误时，确定发生读写错误的数据的存储位置；

数量确定单元602，与位置确定单元601连接，用于当位置确定单元601确定出发生读写错误的数据的存储位置位于视频监控录像内容数据存储区域时，获取该存储位置所在的磁盘中发生过数据读写错误的数据块(block)的数量；

阵列容错处理单元603，与数量确定单元602连接，用于当数量确定单元602确定该磁盘中发生过数据读写错误的数据块(block)的数量达到设定阈值时，将该磁盘踢除出该磁盘所在的磁盘阵列。

上述系统中，位置确定单元601可根据视频监控录像的关键数据存储区域或/和内容数据存储区域的起始位置和长度，确定发生读写错误的数据的存储位置是否位于视频监控录像内容数据存储区域。

上述系统中，数量确定单元602可为每个磁盘设置对应的计数器，当该磁盘中有数据块(block)发生数据读写错误时，将该计数器计数值递增，其中，相同数据块(block)发生的数据读写错误不重复计数；数量确定单元602可根据与磁盘对应的计数器确定该磁盘中发生过数据读写错误的数据块(block)的数量。

上述系统中，当数据读写操作错误为读错误时，位置确定单元601可当发生读错误的数据无法通过冗余磁盘进行读写恢复时，再确定该发生读错误的数据的存储位置。

上述系统中，阵列容错处理单元603还可与位置确定单元601连接，当位置确定单元601确定发生读写错误的数据的存储位置位于视频监控录像关键数据存储区域时，将该磁盘剔除出该磁盘所在的磁盘阵列。

综上所述，本发明实施例通过区分录像数据与关键数据，对录像数据与关键数据的读写I/O错误在阵列中进行不同处理，允许存储录像数据的磁盘数据块(block)可以有一定的读写错误存在，因此可以提高阵列的容错能力，降低阵列的磁盘踢盘率，从而降低运营成本。通过设置合适的出错数据块数量阈值，可以一定程度上保证视频监控录像内容数据的可靠性和完整性。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (10)

1.一种磁盘阵列容错方法，应用于视频监控系统，其特征在于，包括：

当发生数据读写错误时，确定发生读写错误的数据的存储位置；

当确定出该存储位置位于视频监控录像内容数据存储区域时，获取该存储位置所在的磁盘中发生过数据读写错误的数据块的数量；

当该磁盘中发生过数据读写错误的数据块的数量达到设定阈值时，将该磁盘踢除出该磁盘所在的磁盘阵列。

2.如权利要求1所述的方法，其特征在于，确定发生读写错误的数据的存储位置，具体为：

根据视频监控录像的关键数据存储区域或/和内容数据存储区域的起始位置和长度，确定发生读写错误的数据的存储位置是否位于视频监控录像内容数据存储区域。

3.如权利要求1所述的方法，其特征在于，为每个磁盘设置对应的计数器，当该磁盘中有数据块发生数据读写错误时，将该计数器计数值递增，其中，相同数据块发生的数据读写错误不重复计数；

获取所述存储位置所在的磁盘中发生过数据读写错误的数据块的数量，具体为：根据该磁盘对应的计数器确定该磁盘中发生过数据读写错误的数据块的数量。

4.如权利要求1所述的方法，其特征在于，所述数据读写错误为读错误时，所述确定发生读写错误的数据的存储位置，具体为：

当发生读错误的数据无法通过冗余磁盘进行读写恢复时，确定该发生读错误的数据的存储位置。

5.如权利要求1至4任一项所述的方法，其特征在于，还包括：

当确定发生读写错误的数据的存储位置位于视频监控录像关键数据存储区域时，将该磁盘剔除出该磁盘所在的磁盘阵列。

6.一种磁盘阵列容错系统，应用于视频监控系统，其特征在于，包括：

位置确定单元，用于当发生数据读写错误时，确定发生读写错误的数据的存储位置；

数量确定单元，与所述位置确定单元连接，用于当所述位置确定单元确定出所述存储位置位于视频监控录像内容数据存储区域时，获取该存储位置所在的磁盘中发生过数据读写错误的数据块的数量；

阵列容错处理单元，与所述数量确定单元连接，用于当所述数量确定单元确定该磁盘中发生过数据读写错误的数据块的数量达到设定阈值时，将该磁盘踢除出该磁盘所在的磁盘阵列。

7.如权利要求6所述的系统，其特征在于，所述位置确定单元具体用于，根据视频监控录像的关键数据存储区域或/和内容数据存储区域的起始位置和长度，确定发生读写错误的数据的存储位置是否位于视频监控录像内容数据存储区域。

8.如权利要求6所述的系统，其特征在于，所述数量确定单元具体用于，为每个磁盘设置对应的计数器，当该磁盘中有数据块发生数据读写错误时，将该计数器计数值递增，其中，相同数据块发生的数据读写错误不重复计数；所述数量确定单元根据与磁盘对应的计数器确定该磁盘中发生过数据读写错误的数据块的数量。

9.如权利要求6所述的系统，其特征在于，所述数据读写操作错误为读错误时，所述位置确定单元具体用于，当发生读错误的数据无法通过冗余磁盘进行读写恢复时，确定该发生读错误的数据的存储位置。

10.如权利要求6至9任一项所述的系统，其特征在于，所述阵列容错处理单元还与所述位置确定单元连接，用于当所述位置确定单元确定发生读写错误的数据的存储位置位于视频监控录像关键数据存储区域时，将该磁盘剔除出该磁盘所在的磁盘阵列。

Images