JP2012103853A

JP2012103853A - ディスクアレイ装置のエラー制御方法

Info

Publication number: JP2012103853A
Application number: JP2010250957A
Authority: JP
Inventors: Masatoshi Hiramoto; 雅敏平本; Shinji Maruoka; 新治丸岡
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2010-11-09
Filing date: 2010-11-09
Publication date: 2012-05-31

Abstract

【課題】ディスクアレイ装置に接続されるハードディスクのエラー処理が影響して，データ読出し／書き込みの応答時間が遅延することを抑止することである。
【解決手段】冗長化された記録デバイスが接続される状態において，ディスクアレイ装置から記録デバイスに対するコマンド発行時にホストコンピュータ応答用の記録デバイス処理時間を監視する事により，所定の時間を経過した場合に記録デバイスからの応答が無くてもホストコンピュータへ正常応答する事により，短時間での応答時間を実現する。
【選択図】図６

Description

本発明は，ハードディスクのエラーが発生した場合に最大応答時間を保証することが出来るディスクアレイ装置のエラー制御方式に関するものである。

図１は，ディスクアレイ装置概要図を示す。ディスクアレイ装置０００２は，上位ホストコンピュータ０００１とのデータ送受信及び，ハードディスクＤ００１〜Ｄ００４のデータ送受信／デバイス制御を行うコントローラ０００３，エラー記録等を行う不揮発性メモリ部０００４及び，リード／ライトデータの一時保存を行うキャッシュメモリ０００５にて構成されたディスクアレイ装置である。

一般的にディスクアレイ装置とは，複数のハードディスクをまとめて1台のハードディスクとして管理する技術であり，データを分散して記録するため，高速化や信頼性の向上がはかられる。高速性や信頼性のレベルにより，複数のRIADレベルがある。

コントローラ０００３は，内部にホストコンピュータ０００１とのデータ送受信を行うホスト接続制御機構０００６，ハードディスクＤ００１〜Ｄ００４のデータ送受信／デバイス制御を行うデバイス制御機構００７，冗長データからデータを復元するデータ復元機構０００８，ライトデータからパリティデータを生成するパリティデータ生成機構０００９，コマンドの実行結果を判定するコマンド監視機構００１０によって構成される。

不揮発性メモリ０００４は，エラーが発生した場合のエラー情報の記録を行うエラー記録部００１２と実行中のコマンドを記録するコマンド記録機構００１１から構成される。

キャッシュメモリ０００５は，ホストコンピュータ０００１からのライトデータを一時的に記録するライトデータ記録機構００１４及び，接続されるハードディスクＤ００１〜Ｄ００４からのリードデータを一時的に記録するリードデータ記録機構００１３から構成される。

冗長化されたハードディスクＤ００１〜Ｄ００４を接続するディスクアレイ装置０００２において，ハードディスクＤ００１にエラーが発生した場合に，ハードディスク内のエラー処理及び，ディスクアレイ装置０００２のデバイス制御機構０００７のエラーリトライ機能により，ハードディスクからのデータ読出し/書き込みが完了する応答時間の遅延（ハードディスクのリトライ処理によって数秒から数十秒）が発生する事がある。通常のディスクアレイ装置０００２では，データ読出し/書き込みに対するハードディスクＤ００１〜Ｄ００４からのコマンド完了応答がエラー応答であった場合に，エラー応答したハードディスクの修復及び閉塞処理を行うため，エラー発生時の応答時間を制御する事が出来ておらず，上位ホストコンピュータ０００１のスローダウンに至ることがあった。

図２は，冗長化されたデータを持ち，ストライプされたRAIDレベル5構成での従来リード処理のフロー図を示す。

ホストコンピュータのリード応答時間１０００は，上位ホストコンピュータ０００１からのホストリード命令１００１が発行された時点から，ディスクアレイ装置からのホストデータ送信１００６が完了するまでの時間を示す。

ハードディスクのリード処理は，ホストコンピュータ０００１からのホストリード命令１００１をディスクアレイ装置０００２が受け取ったあと，ディスクアレイ装置０００２内のコントローラ０００３処理において，該当の論理アドレスに相当するハードディスクＤ００１〜Ｄ００４のいずれかに対してデバイス制御機構０００９よりデバイスリード１００２を実行する。例えばデバイスリード対象がＤ００１の場合，デバイスリードを受け取ったハードディスクＤ００１は，該当の物理アドレスに対するデータ記録領域の位置決め処理１００７を実行後データリード１００８を実行する。データリード１００８により読み出されたデータは，データ送信(a)１００４によってディスクアレイ装置０００２に渡される。データリード１００８を受け取ったディスクアレイ装置０００２は，キャッシュメモリ０００５内のリードデータ記録機構００１３に一時的に保存した後にホストデータ送信１００８によってホストコンピュータ０００１へデータを送信し処理を完了する。

複数のハードディスクにストライプされたRAID構成のディスクアレイ方式において，ホストコンピュータ０００１からのホストリード１００１がハードディスクＤ００１〜Ｄ００１４の複数にまたがる場合は，ディスクアレイ装置０００２からのデバイスリード１００２と並列デバイスリード１００３によって並列に処理を行うことが可能である。

図３は，冗長化されたデータを持ち，ストライプされたRAIDレベル5構成での１例である従来ライト処理のフロー図である。

ホストコンピュータのライト応答時間２０００は，上位ホストコンピュータ０００１からのホストライト命令２００１が発行された時点から，ディスクアレイ装置からのホストライト完了２０１１をホストコンピュータ０００１が受信するまでの時間を示す。

冗長化されたデータを持ち，ストライプされたハードディスクへのライト処理は，ホストコンピュータ０００１からのホストライト命令２００１をディスクアレイ装置０００２が受け取った後，ディスクアレイ装置０００２よりライトされるハードディスクＤ００１とパリティデータを記録するハードディスクＤ００４へデバイスリード２００２とパリティリード２００３が実行される。

デバイスリード２００２によって読み出されたデータは，ディスクアレイ装置０００２のキャッシュメモリ０００５のライトデータ記録機構００１４に一時的に保存され，パリティデータ生成機構０００６により，ホストコンピュータ０００１より送信されたライトデータと入れ替えられる。

このライトデータに対する新しいパリティデータを生成するため，パリティリード２００３によって読み出されたパリティデータを元に，ディスクアレイ装置０００２のコントローラ０００３内パリティデータ生成機構０００６によって，新パリティ生成２００６が実行される。

ディスクアレイ装置０００２は，ライトデータ記録機構００１４のライトデータと新パリティ生成２００６で生成されたパリティデータをデバイスライト２００７，パリティライト２００８にてそれぞれのハードディスクＤ００１，Ｄ００４へデータの書き込みを行う。

ハードディスクＤ００１とＤ００４は，データの書き込みが完了後に，ディスクアレイ装置０００２へデバイスライト完了２００９とパリティライト完了２０１０を送信する。

このデバイスライト完了２００９とパリティライト完了２０１０をディスクアレイ装置０００２で受け取った後にホストコンピュータ０００１に対して，ホストライト完了２０１１を送信し処理を完了する。

図４は，従来のリードエラー発生時の処理フローを示す。ハードディスクのリード処理は，ホストコンピュータ０００１からのホストリード命令１００１をディスクアレイ装置０００２が受け取ったあと，ディスクアレイ装置０００２内のコントローラ０００３処理において，該当の論理アドレスに相当するハードディスクＤ００１〜Ｄ００４のいずれかに対してデバイス制御機構０００９よりデバイスリード１００２を実行する。

このデバイスリード１００２を受け取ったハードディスクＤ００１でハードディスク内のリードエラーが発生した場合，ハードディスク内の再実行等のリードエラー処理３００１が実行される。

このリードエラー処理にてハードディスクＤ００１からデータの読出しが失敗した場合にハードディスクＤ００１は，ディスクアレイ装置０００２へリードエラー報告３００２を送信する。リードエラー報告３００２を受け取ったディスクアレイ装置０００２は，リードエラー報告３００２以外のハードディスクＤ００２〜Ｄ０００４から冗長データリード３００３を実行する。ハードディスクＤ００２〜Ｄ００４は，該当のデータを読出し後，冗長データ送信３００４によってディスクアレイ装置００２へデータを送信する。

送信された冗長データは，ディスクアレイ装置０００２のキャッシュ０００３内リードデータ記録機構００１３に一時的に保存され，コントローラ０００３のデータ復元機構０００８によってハードディスクＤ０００１のデータに相当するデータ復元処理３００５が実行される。

復元されたデータは，ハードディスクＤ０００１の書き込み位置変更ライト３００６にて物理的な書き込み位置を変更した場所へ書き込み処理が実行される。

この書き込み処理が完了した場合にハードディスクＤ００１はディスクアレイ装置０００２に対してデバイスライト完了２００９を送信する。デバイスライト完了２００９を受け取ったディスクアレイ装置０００２は，キャッシュメモリ０００５内のリードデータ記録機構００１３に一時的に保存した後にホストデータ送信１００６によってホストコンピュータ０００１へデータを送信し処理を完了する。このリードエラー時応答時間３０００は，上記ハードディスクのリードエラー処理３００１によって大きく左右される。

図５は，冗長化されたデータを持ち，ストライプされたRAIDレベル5構成での１例である従来のライトエラー発生時の処理フローを示す。

ホストコンピュータ０００１のホストライト命令２００１をディスクアレイ装置が受け付けた後，ディスクアレイ装置０００２は，ライトデータ記録機構００１４のライトデータと新パリティ生成２００６で生成されたパリティデータをデバイスライト２００７，パリティライト２００８でそれぞれのハードディスクＤ００１，Ｄ００４へデータの書き込みを行うまでは，通常のライト処理と同じである。

ライトデータと新パリティデータをそれぞれのハードディスクＤ００１，Ｄ００４へデータ書き込みを行った時に，ハードディスクＤ００１にてハードディスク内でエラーが発生した場合，ハードディスクＤ００１内で，ライトエラー処理４００１が実行される。パリティデータを記録するハードディスクＤ００４のライト処理が正常に完了し，パリティライト完了２０１０報告をディスクアレイ装置が受け取った場合であっても，エラー処理４００１を実行中のハードディスクＤ００１からエラー処理の完了報告をディスクアレイ装置０００２が受け取るまで，ライト処理は完了しない。

ハードディスクＤ００１からライトエラー報告４００２が報告された場合，ディスクアレイ装置０００２は，ハードディスクＤ０００１の書き込み位置変更ライト３００６にて物理的な書き込み位置を変更した場所へ書き込み処理が再実行される。

この書き込み位置変更ライト３００６の処理が完了したときにハードディスクＤ００１からのデバイスライト完了２００９をディスクアレイ装置０００２で受け取った後にホストコンピュータ０００１に対して，ホストライト完了２０１１を送信し処理を完了する。リードエラー時の応答時間同様に，このライトエラー時の応答時間４０００は，上記ハードディスクのリードエラー処理４００１によって大きく左右される。

特開平１０−２４７１３３号公報

解決しようとする問題点は，ディスクアレイ装置に接続されるハードディスクのエラー回復処理が影響して，データ読出し/書き込みの応答時間が遅延することである。

接続されるハードディスクに対して，エラー報告処理を変更し最大応答時間を低減する技術はあるが，ハードディスク内のプログラムを変更することで実現しており，ハードディスクの製造元を限定する必要があり汎用性に欠ける。

また，データリード時に常に全てのハードディスクからデータリードを行うため，ストライプデータ以外の場所に対して並列リードを実行することができず，ディスクアレイ装置のリード性能を損なうことが考えられる。

ディスクアレイ装置のライトキャッシュを利用したライトバック方式でホストコンピュータへの応答時間を短くする方式は存在するが，予期しない故障や停電が発生した場合に，キャッシュデータを消失する恐れがあり信頼性に欠ける。

本発明は，冗長化された記録デバイスが接続される状態において，ディスクアレイ装置から記録デバイスに対するコマンド発行時にホストコンピュータ応答用の記録デバイス処理時間を監視する事により，所定の時間を経過した場合に記録デバイスからの応答が無くてもホストコンピュータへ正常応答する事により，短時間での応答時間を実現する。

本発明のディスクアレイ装置のエラー制御方式では，冗長化された構成においてハードディスクのエラー処理により発生するホストコンピュータへの応答時間を一定時間内に完了することができる。

ディスクアレイ装置内で応答時間監視を行うことにより，接続されるハードディスクのエラー制御に関係なく，データ読出し/書き込みの応答時間を保障することができるため，どのハードディスクが接続されても同等の処理が可能という利点がある。

冗長化されるデータを先読みする必要が無いため，エラー未発生時の通常処理は，接続されているハードディスクからのデータ読出しを並列に処理する事ができるため，ディスクアレイ装置の基本性能を落とすことが無い。

ライトデータを直接ハードディスクへ書込む，ライトスルー方式でハードディスクに書き込みを行うため，予期しないディスクアレイコントローラの故障や停電が発生した場合でも，ライトバック方式と比較してハードディスク内のデータ破損が発生する危険性が少ない。

本発明の実施形態であるディスクアレイ装置の概要を表した図である。通常リード処理と経過時間を表したタイムチャート図である。通常ライト処理と経過時間を表したタイムチャート図である。従来のリードエラー処理と応答時間を表したタイムチャート図である。従来のライトエラー処理と応答時間を表したタイムチャート図である。本発明のリードエラー処理と応答時間を表したタイムチャート図である。本発明のライトエラー処理と応答時間を表したタイムチャート図である。

図１は，本発明を実施するためのディスクアレイ装置概要図を示す。ディスクアレイ装置０００２は，上位ホストコンピュータ０００１とのデータ送受信及び，ハードディスクＤ００１〜Ｄ００４のデータ送受信／デバイス制御を行うコントローラ０００３，エラー記録等を行う不揮発性メモリ部０００４及び，リード／ライトデータの一時保存を行うキャッシュメモリ０００５にて構成されたディスクアレイ装置である。

図６は，リードエラー時応答時間に左右されない本発明のリードエラー時処理フローを示す。本方式では，ハードディスクＤ００１のデータリード時に発生するリードエラー処理３００１の完了報告をディスクアレイ装置０００２が受け取る前に冗長データリード３００３を実行することにより，ハードディスクＤ００１のリードエラー処理３００１に左右されることが無く、リード応答時間が保障される。

ディスクアレイ装置０００２は，ホストコンピュータ０００１よりホストリード命令１００１を受けたあと，該当のハードディスクＤ００１に対してデバイスリード１００２を実行すると同時に，リードコマンド監視５００１をコントローラ０００３内のコマンド監視機構００１０にて実行する。

ハードディスクＤ００１内でリードエラー処理３００１が実行され，リード処理時間監視処理５００2の規定時間内にハードディスクＤ００１よりデータ送信がされない場合，ディスクアレイ装置０００２は，ハードディスクＤ００２〜Ｄ００４に対して，冗長データリード３００３を実行する。ハードディスクＤ００２〜Ｄ００４は，該当のデータを読出し後，冗長データ送信３００４によってディスクアレイ装置００２へデータを送信する。

復元されたデータは，復元データ登録５００３により，キャッシュメモリ０００３内のリードデータ記録機構００１３に一時的に保存される。

この復元データが生成された時点で，未完了リードコマンド登録５００４を登録後，ホストコンピュータ０００１に対して，ホストデータ送信１００８を実行し，ホストリード処理を完了させる。

このリード処理時間監視処理５００２によって，ハードディスクＤ００１〜Ｄ００４のリードエラー処理時間３００１に左右されない新リード応答時間５０００を保障する事ができる。

リードエラー処理３００１を実行しているハードディスクＤ００１は，リードエラー処理３００１が完了後にディスクアレイ装置０００２に対してリードエラー報告３００２を送信する。リードエラー報告３００２を受け取ったディスクアレイ装置０００２は，未完了リードコマンド登録のコマンド５００４とエラー報告３００２コマンドの一致を確認後，一時的に保存された復元データの読出し５００５を実行し，ハードディスクＤ０００１の書き込み位置変更ライト３００６にて物理的な書き込み位置を変更した場所へ書き込み処理が実行される。

この書き込み処理が完了した場合にハードディスクＤ００１はディスクアレイ装置０００２に対してデバイスライト完了２００９を送信する。

リードエラー処理中のハードディスクＤ００１に対しては，従来のリードエラー報告に対するリカバリー処理が実行されるため，ハードディスクの信頼性を従来同等に確保する事が可能である。

図７は，ライトエラー時応答時間に左右されない本発明のライトエラー時処理フローを示す。本方式では，ハードディスクＤ００１のデータライト時に発生するライトエラー処理４００１の完了報告をディスクアレイ装置０００２が受け取る前にホストライト完了２０１１をホストコンピュータ０００１へ送信する事により，ハードディスクＤ００１のライトエラー処理４００１に左右されることが無く、ライト応答時間が保障される。

ホストコンピュータ０００１からのホストライト命令２００１を受け取ったディスクアレイ装置０００２は，コントローラ０００３内コマンド監視機構００１０にライトコマンドを登録し，従来のライト処理同様にライト対象のハードディスクＤ００１とパリティデータを保持するハードディスクＤ００４に対して，デバイスリード２００２及びパリティリード２００３を実行する。

それぞれのハードディスクＤ００１，Ｄ００４からデータ送信を受け取ったディスクアレイ装置０００２は，コントローラ０００３内パリティ生成機構０００９によって新パリティ生成２００６を実施した後にハードディスクＤ００１にデバイスライト２００７，ハードディスクＤ００４にパリティライト２００８を実行し，ライトコマンドと同時にライトコマンド監視６００１を行う。

登録されたライトコマンドは，ライト処理時間監視処理６００２にて処理時間の監視が行われる。ライトデータと新パリティデータをそれぞれのハードディスクＤ００１，Ｄ００４へデータ書き込みを行った時に，ハードディスクＤ００１にてハードディスク内でエラーが発生した場合，ハードディスクＤ００１内で，ライトエラー処理４００１が実行される。

このライトエラー処理４００１のライトエラー報告が，ライト処理時間監視処理６００２で規定した時間を超過した場合，コントローラ０００３は，未完了ライトコマンド登録６００３によって未完了のライトコマンドを不揮発メモリ０００４内のコマンド記録機構００１１に登録する。この時のホストコンピュータからのライトデータは，キャッシュメモリ０００５内ライトデータ記録機構００１４に保存された状態である。

実行コマンド登録処理６００３を完了した時に，ディスクアレイ装置０００２はホストコンピュータ０００１へホストライト完了報告２０１１を送信する。

このライト処理時間監視処理によって，ディスクアレイ装置０００２は，ハードディスクで発生するライトエラー処理４００１の処理時間に左右されることが無く、ライト応答時間が保障される。

ライトエラー処理４００１を実行しているハードディスクＤ００１は，ライトエラー処理４００１が完了後にディスクアレイ装置０００２に対してライトエラー報告４００２を送信する。ライトエラー報告４００２を受け取ったディスクアレイ装置０００２は，未完了ライトコマンド登録のコマンド６００３との一致を確認後，キャッシュメモリ００１４に保存されたデータから，ハードディスクＤ０００１の書き込み位置変更ライト３００６にて物理的な書き込み位置を変更した場所へ書き込み処理が実行される。

また，予期しないディスクアレイ装置０００２の停止によって，キャッシュメモリ００１４に保存されたデータが消失した場合でも，不揮発性メモリ０００４に登録された未完了のコマンド対象のハードディスクＤ００１をデバイス制御機構０００７にて閉塞する事により，未完了ライトによるデータ化けを防止する事が可能である。

０００１：ホストコンピュータ
０００２：ディスクアレイ装置
０００３：コントローラ
０００４：不揮発性メモリ
０００５：キャッシュメモリ
０００６：ホスト接続制御機構
０００７：デバイス制御機構
０００８：データ復元機構
０００９：パリティデータ生成機構
００１０：コマンド監視機構
００１１：コマンド記録機構
００１２：エラー記録部
００１３：リードデータ記録機構
００１４：ライトデータ記録機構
Ｄ００１〜Ｄ００４：ハードディスク。

Claims

ホストコンピュータに接続され、複数のハードディスクを有するディスクアレイ装置におけるエラー制御方法は、
冗長化されたデータが前記複数のハードディスクに記録されている状態において，前記複数のハードディスクに対するコマンド発行時に前記ホストコンピュータ応答用の記録デバイス処理時間を監視し、
所定の時間を経過した場合に、前記複数のハードディスクからの応答が無くても前記ホストコンピュータへ正常応答することを特徴とするディスクアレイ装置のエラー制御方法。
前記複数のハードディスクに対するコマンドがリードコマンドであって，データ読出し対象の前記ハードディスクからのコマンド応答時間が記録デバイス処理時間監視の時間を経過した場合に，冗長データから前記データ読出し対象のデータを生成し、前記ホストコンピュータに応答することを特徴とする請求項１記載のディスクアレイ装置のエラー制御方法。
前記データ読出し時の記録デバイス処理時間を経過した後に対象の前記ハードディスクからのエラー応答があった場合，前記冗長データから生成した正しいデータを使用してのデータ再書き込みまたは，前記ハードディスクの閉塞を前記ホストコンピュータからのアクセス処理と非同期で実施することを特徴とする請求項２記載のディスクアレイ装置のエラー制御方法。
前記複数のハードディスクに対するコマンドがライトコマンドであって，データ書込み対象の前記ハードディスクからのコマンド応答時間が記録デバイス処理時間監視の時間を経過した場合に，前記ライトコマンドを前記ディスクアレイ装置上の不揮発性メモリ上に保存したあとに，前記ホストコンピュータに応答することを特徴とする請求項１記載のディスクアレイ装置のエラー制御方法。
前記データ書込み時の記録デバイス処理時間を経過した後に対象の前記ハードディスクからのエラー応答があった場合，前記ディスクアレイ装置上のキャッシュメモリ上のデータから再書き込みまたは，前記ハードディスクの閉塞を前記ホストコンピュータからのアクセス処理と非同期で実施することを特徴とする請求項４記載のディスクアレイ装置のエラー制御方法。
前記データ書込み時の記録デバイス処理時間を経過した後に対象の前記ハードディスクからのエラー応答の前に，予期しない電源断等の前記ホストコンピュータの故障が発生し，前記ディスクアレイ装置のキャッシュメモリ上の書込み用データが消失した場合でも，前記不揮発性メモリ上に保存された前記ライトコマンドより，対象の前記ハードディスクを特定し，閉塞処理を行うことを特徴とする請求項４記載のディスクアレイ装置のエラー制御方法。
ホストコンピュータに接続され、複数のハードディスクを有するディスクアレイ装置は、
冗長化されたデータが前記複数のハードディスクに記録されている状態において，前記複数のハードディスクに対するコマンド発行時に前記ホストコンピュータ応答用の記録デバイス処理時間を監視する手段と、
所定の時間を経過した場合に、前記複数のハードディスクからの応答が無くても前記ホストコンピュータへ正常応答する手段とを有することを特徴とするディスクアレイ装置。