JP2012133456A - ストレージ装置及びストレージ装置の制御方法 - Google Patents

ストレージ装置及びストレージ装置の制御方法 Download PDF

Info

Publication number
JP2012133456A
JP2012133456A JP2010283108A JP2010283108A JP2012133456A JP 2012133456 A JP2012133456 A JP 2012133456A JP 2010283108 A JP2010283108 A JP 2010283108A JP 2010283108 A JP2010283108 A JP 2010283108A JP 2012133456 A JP2012133456 A JP 2012133456A
Authority
JP
Japan
Prior art keywords
data
unit
controller
failure
data controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010283108A
Other languages
English (en)
Other versions
JP5966243B2 (ja
Inventor
Satoru Nishida
悟 西田
Yukio Nishimura
幸夫 西村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2010283108A priority Critical patent/JP5966243B2/ja
Priority to US13/279,491 priority patent/US8572428B2/en
Publication of JP2012133456A publication Critical patent/JP2012133456A/ja
Application granted granted Critical
Publication of JP5966243B2 publication Critical patent/JP5966243B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1415—Saving, restoring, recovering or retrying at system level
    • G06F11/1443—Transmit or communication errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2089—Redundant storage control functionality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)

Abstract

【課題】データ受信側のＣＭに波及する異常が発生時に、データ受信側のＣＭの動作を継続させるとともに、メモリに異常データが書き込まれたままになる状態を回避するストレージ装置及びストレージ装置の制御方法を提供する。
【解決手段】データ送信部２３は、メモリ２５に記憶されたデータをＣＭ１へ送信する。障害検出部２１は、ＰＣＩｅブリッジ２４の障害を検出し、異常が発生したデータを再送信させる。そして、データ書込部１３は、データ送信部２３により送信されたデータを取得し、メモリ１５に書き込む。障害検出部１１は、ＰＣＩｅブリッジ１４及びデータ書込部１３における障害を検出し、検出した障害がデータ送信部２３によるものか否かを判定する。制御部１２は、発生した障害がデータ送信部２３による場合、再送信されてくるデータを受信するようデータ書込部１３及びＰＣＩｅブリッジ１４を制御する。
【選択図】図１

Description

本発明は、ストレージ装置及びストレージ装置の制御方法に関する。
ホストから送信されたデータを記憶するストレージ装置は、受信したデータをハードディスクに書き込むためのコントローラモジュール（ＣＭ：Controller Module、以下では「ＣＭ」と呼ぶこともある。）を有している。このＣＭは、揮発性のメモリを有している。そして、ＣＭは、処理の高速化のため、受信データを書き込む際に、一旦自己のメモリにデータを蓄積した後、メモリ上のデータをハードディスクに書き込むことを行っている。
近年、信頼性の向上の要求を受けて、ストレージ装置では、ＣＭが故障した場合にも処理を継続できるように、ＣＭを複数設け、それぞれのＣＭを相互に接続し、各ＣＭのメモリ上のデータの二重化を行っている。
この二重化において、一方のＣＭで発生した異常は二重化されている他方のＣＭ内部までは波及しないと考えられていた。そこで、ＣＭに設けられているデバイスの異常情報から故障が発生しているＣＭを特定し、そのＣＭをダウンさせるなどの切り離し処理を行っていた。
しかし、発生した異常の種類によってはＣＭの内部まで異常が波及する場合があることが明らかになってきた。この場合、故障が発生しているＣＭだけでなく、故障が発生していない側のＣＭにおいても異常が発生していると判定されることになり、両方のＣＭ共にダウンさせてしまう問題があった。このような問題が発生する異常の種類としては、ＰＣＩｅ（Peripheral Component Interconnect express）ブリッジの故障などがある。
そこで、ＰＣＩｅブリッジが故障した場合のストレージの動作を具体的に説明する。ここでは、ストレージ装置がＣＭ＃０及びＣＭ＃１という２つのＣＭを有している場合で説明する。
ＣＭ＃１のＰＣＩｅブリッジにて異常が発生する。この異常が発生する原因としては、例えばデータパリティエラーなどがある。そこで、ＣＭ＃１は、この異常情報から自己が故障していると判定し、自己をダウンする。
これに対して、ＣＭ＃０のＰＣＩｅブリッジにおいても異常が検出される。そして、ＣＭ＃０は、この異常情報からＣＭ＃１が異常と判定する。
ここで、ＣＭ＃０のＰＣＩｅブリッジを通過した異常データはメモリコントローラまで到達し、パリティエラーとなる。そして、ＣＭ＃０は、メモリコントローラにおけるパリティエラーによる異常を検出する。この場合、ＣＭ＃０は、メモリコントローラの故障と判定し、自己をダウンする。
さらに、ＣＭ＃０がダウンする前に、異常データを受けたメモリコントローラも異常データを止めることなくメモリに異常データを書き込んでしまう。このとき、メモリはＥＣＣ（Error Check and Correct）保護されているが、メモリコントローラは異常データを基にＥＣＣを生成するため、書き込んだデータが異常であることの検出ができない状態となる。
この点、ストレージの耐障害性向上のために様々な技術が提案されている。例えば、ＣＭからディスクへの書き込みで異常が発生した場合に、故障ＣＭからディスクへのパスを再構築してデータの書き込みを完了させる従来技術がある。また、障害が発生した場合に故障箇所を判定する従来技術が提案されている。さらに、障害が発生した部位を特定し再起動させる従来技術が提案されている。また、アクセス性能を向上させるため、最適な経路を選択する従来技術が提案されている。
特開２００６−１０７０５３号公報 特開２０００−１８１８８７号公報 特開２００９−２６６１１９号公報 特開２００７−２９３４４８号公報
しかしながら、従来の技術では、パリティエラーなどによる故障発生の場合には、故障が発生していない側のＣＭにも異常が波及してしまうため、実際には故障が発生していないＣＭでも故障が発生していると判定されてしまう。例えば、ディスクへのパスを再構築する従来技術では、ディスクへのアクセスは確保されるが、メモリへの書き込み時にエラーが発生し、正常なＣＭのメモリにエラーが書き込まれてしまった場合には、対処することは困難である。また、障害箇所の特定や障害部位の再起動の従来技術でも、書き込み先のＣＭへの異常の波及の影響を抑えることは困難である。さらに、アクセス性能の向上のために最適な経路を選択する技術でも、エラー発生時の動作は考慮されておらず、書き込み先のＣＭへの異常の波及の影響を抑えることは困難である。
開示の技術は、上記に鑑みてなされたものであって、データ受信側のＣＭに波及する異常が発生しても、データ受信側のＣＭの動作を継続させるとともに、メモリに異常データが書き込まれたままになる状態を回避するストレージ装置及びストレージ装置の制御方法を提供することを目的とする。
本願の開示するストレージ装置及びストレージ装置の制御方法は、一つの態様において、第１データコントローラと第２データコントローラとを有する。そして、前記第１データコントローラは、外部から入力されたデータを記憶する第１記憶部と、前記第１データコントローラのデータの伝送経路と前記第２データコントローラのデータの伝送経路とを接続する第１バス接続部と、前記第１バス接続部を介して前記第１記憶部に記憶された前記データを前記第２データコントローラへ送信するデータ送信部と、前記第１バス接続部のデータの送信における障害を検出し、送信時に障害を発生させたデータを前記データ送信部に再送信させる第１障害検出部とを備える。そして、前記第２データコントローラは、前記第１データコントローラから送信されたデータを記憶する第２記憶部と、前記第１データコントローラのデータの伝送経路と前記第２データコントローラのデータの伝送経路とを接続する第２バス接続部と、前記第２バス接続部を介して前記データ送信部により送信されたデータを取得し、前記第２記憶部に書き込むデータ書込部と、前記第２バス接続部及び前記データ書込部における障害を検出し、検出した障害が前記データ送信部によるものか否かを判定する第２障害検出部と、前記第２バス接続部及び前記データ書込部において発生した障害が前記データ送信部によるものの場合、前記データ送信部から再送信されてくるデータを受信するよう前記第２バス接続部及び前記データ書込部を制御する制御部とを備える。
本願の開示するストレージ装置及びストレージ装置の制御方法の一つの態様によれば、データ受信側のＣＭに波及する異常が発生しても、データ受信側のＣＭの動作を継続させることができるという効果を奏する。さらに、メモリに異常データが書き込まれたままになる状態を回避することができるという効果を奏する。
図１は、実施例１に係るコントローラモジュールのブロック図である。 図２は、ストレージ装置のハードウェアの全体構成を示すハードウェア構成図である。 図３は、実施例１に係るストレージ装置のデータ二重化におけるパリティエラー発生時の処理のシーケンス図である。 図４は、実施例２に係るコントローラモジュールのブロック図である。 図５は、実施例２に係るストレージ装置のデータ二重化におけるパリティエラー発生時の処理のシーケンス図である。 図６は、実施例２の変形例に係るストレージ装置のデータ二重化におけるパリティエラー発生時の処理のシーケンス図である。 図７は、実施例３に係るコントローラモジュールのブロック図である。 図８は、実施例３に係るストレージ装置のデータ二重化におけるパリティエラー発生時の処理のシーケンス図である。
以下に、本願の開示するストレージ装置及びストレージ装置の制御方法の実施例を図面に基づいて詳細に説明する。なお、以下の実施例により本願の開示するストレージ装置及びストレージ装置の制御方法が限定されるものではない。
図１は、本実施例に係るストレージ装置に配置されたコントローラモジュール（ＣＭ）のブロック図である。図１に示すように、ＣＭ１は、障害検出部１１、制御部１２、データ書込部１３、バス接続部１４及び揮発性記憶部１５を有している。また、ＣＭ２は、障害検出部２１、制御部２２、データ送信部２３、バス接続部２４及び揮発性記憶部２５を有している。ここで、本実施例では、バス接続部１４及びバス接続部２４は、ＰＣＩｅブリッジにあたるので、以下では、ＰＣＩｅブリッジ１４及びＰＣＩｅブリッジ２４と言う。また、本実施例では揮発性記憶部１５及び揮発性記憶部２５は、メモリにあたるので、以下では、メモリ１５及びメモリ２５という。この、ＣＭ１が「第２データコントローラ」の一例にあたり、ＣＭ２が「第１データコントローラ」の一例にあたる。また、揮発性記憶部２５が「第１記憶部」の一例にあたり、揮発性記憶部１５が「第２記憶部」の一例にあたる。
また、ＣＭ２はサーバなどのホストコンピュータ（以下では、単に「ホスト」と言う。）と接続しており、ホストからのデータ及びそのデータの書き込み命令を受信する。そして、ＣＭ２は、ホストからのデータの書き込み命令を受信すると、メモリ２５にデータを一時的に格納する。そして、ＣＭ２は、メモリ２５に蓄積しているデータをハードディスクに書き込む。これらのストレージ装置の全体的な動作については後で詳細に説明する。このとき、ＣＭ２及びＣＭ１はメモリ２５に格納されているデータをメモリ１５にコピーすることで、データの二重化を行う。以下では、このデータの二重化時のＣＭ１及びＣＭ２の動作について説明する。
以下の説明では、ホストから送信されたデータがメモリ２５に既に格納されている場合で説明する。また、以下の説明ではデータのパリティエラーが起こった場合を例に説明する。ここで、以下の説明では、発生するエラーとしてパリティエラーを例に説明するが、検出するエラーは、データ受信側のＣＭの内部に異常が波及するエラーであれば特に制限は無い。例えば、このエラーの他の例としては、データの格納先のアドレスの異常や伝送路異常などでもよい。
データ送信部２３は、メモリ２５からデータを読み出す。そして、データ送信部２３は、ＰＣＩｅブリッジ２４に読み出したデータを送信する。また、データ送信部２３は、後述する障害検出部２１からデータの再送の命令を受けると、ＰＣＩｅブリッジ２４に向けて最後に送信したデータをメモリ２５から読み出す。そして、データ送信部２３は、読み出したデータをＰＣＩｅブリッジ２４へ再送信する。
ＰＣＩｅブリッジ２４は、後述するＰＣＩｅブリッジ１４とともにＣＭ１のバスとＣＭ２のバスとの間を繋ぎ、ＣＭ１とＣＭ２との間でデータの授受が行えるようにする。ＰＣＩｅブリッジ２４は、データ送信部２３からデータを受信する。そして、ＰＣＩｅブリッジ２４は、受信したデータのパリティチェックなどのデータのチェックを行う。そして、ＰＣＩｅブリッジ２４は、パリティチェックの結果を障害検出部２１へ出力する。さらに、ＣＭ１のＰＣＩｅブリッジ１４にデータを送信する。このとき、ＰＣＩｅブリッジ２４は、例えデータのパリティチェックの結果に異常があっても、データの送信を行う。このＰＣＩｅブリッジ２４が「第１バス接続部」の一例にあたる。
障害検出部２１は、ＰＣＩｅブリッジ２４において、パリティエラーなどを含む予め決められた種類のエラーなどの所定の異常が発生したか否かを判定する。例えば、障害検出部２１は、ＰＣＩｅブリッジ２４からパリティチェックの結果を取得する。そして、障害検出部２１は、パリティエラーが発生している場合、ＰＣＩｅブリッジ２４において、所定の異常が発生したと判定する。そして、障害検出部２１は、送信したデータを異常データと判定する。さらに、障害検出部２１は、ＰＣＩｅブリッジ２４で故障が発生したと判定する。そして、障害検出部２１は、異常が発生したデータの再送をデータ送信部２３に指示する。この障害検出部２１が「第１障害検出部」の一例にあたる。
制御部２２は、ＰＣＩｅブリッジ２４の障害の検出の通知を障害検出部２１から受ける。そして、データの再送信において障害検出部２１から障害の検出の通知を受けなければ、制御部２２は、データの再送信が正常に行われたと判定する。また、制御部２２は、データの再送信において障害検出部２１が障害を検出した回数をカウントし、カウントしている回数が所定回数に達した場合に、再送信が所定回数行われたと判定する。そして、制御部２２は、データ送信部２３によるデータの再送信において、正常に送信できた場合、もしくはデータ送信部２３がデータの再送信を所定回数行った場合、ＣＭ２をダウンさせる。
ＰＣＩｅブリッジ１４は、ＰＣＩｅブリッジ２４とともにＣＭ１のバスとＣＭ２のバスとの間を繋ぎ、ＣＭ１とＣＭ２との間でデータの授受が行えるようにする。ＰＣＩｅブリッジ１４は、ＰＣＩｅブリッジ２４からデータを受信する。また、ＰＣＩｅブリッジ１４は、データ送信部２３によって再送信されたデータをＰＣＩｅブリッジ２４から受信する。そして、ＰＣＩｅブリッジ１４は、受信したデータのパリティチェックを行う。そして、ＰＣＩｅブリッジ１４は、受信したデータをデータ書込部１３へ送信する。このとき、ＰＣＩｅブリッジ１４は、例えデータのパリティチェックの結果に異常があっても、データの送信を行う。このＰＣＩｅブリッジ１４が「第２バス接続部」の一例にあたる。
データ書込部１３は、データ送信部２３から送られてきたデータをＰＣＩｅブリッジ１４から受信する。また、データ書込部１３は、データ送信部２３によって再送信されたデータをＰＣＩｅブリッジ１４から受信する。そして、データ書込部１３は、受信したデータのパリティチェックを行う。そして、データ書込部１３は、受信したデータをメモリ１５に書き込む。このとき、データ書込部１３は、例えデータのパリティチェックの結果に異常があっても、データの書き込みを行う。
障害検出部１１は、パリティエラーなどを含む予め決められた種類のエラーを所定の異常として記憶している。そして、障害検出部１１は、ＰＣＩｅブリッジ１４及びデータ書込部１３において所定の異常が発生しているか否かを判定する。例えば、障害検出部１１は、ＰＣＩｅブリッジ１４及びデータ書込部１３からパリティチェックの結果を取得する。そして、障害検出部１１は、パリティチェックの結果に異常が有る場合、所定の異常が発生していると判定する。そして、障害検出部１１は、異常が発生したデータを異常データと判定する。そして、障害検出部１１は、異常発生の通知を制御部１２に通知する。この障害検出部１１が「第２障害検出部」の一例にあたる。
制御部１２は、異常データがＣＭ２から送られてきたのか否かを判定する。この判定方法の一例として、制御部１２は、異常データがＰＣＩｅブリッジ１４及びデータ書込部１３でパリティエラーを起こしていることから、ＰＣＩｅブリッジ１４と接続されているＣＭ２から異常データが送られてきたと判定することができる。また、他の例として、制御部１２は、異常データと判定されたデータをデータ書込部１３から取得し、その取得したデータのヘッダなどから送信元を調べることでそのデータがＣＭ２から送られてきたか否かを判定してもよい。
そして、制御部１２は、パリティチェックの結果に異常があるデータがＣＭ２から送られてきたと判定した場合、ＰＣＩｅブリッジ１４及びデータ書込部１３に対して異常が発生したデータが再送信されてくるまで待機するように命令する。これに対し、制御部１２は、異常データがＣＭ２から送られたデータでない場合や、障害検出部１１がパリティエラーなど所定の異常以外の異常を検出した場合には、ＣＭ１をダウンさせる。この制御部１２が「制御部」の一例にあたる。
図２は、ストレージ装置のハードウェアの全体構成を示すハードウェア構成図である。次に、図２を参照して、ストレージ装置全体の構成及び全体の動作の流れを説明する。図２に示すように、ストレージ装置は、ＣＭ１、ＣＭ２及びハードディスク３を有している。ここで、図２に示すように、ストレージ装置は、ハードディスクを複数本有しているが、ここではまとめてハードディスク３と呼ぶ。
ＣＭ１は、ＣＰＵ１０１、低速バスコントローラ１０２、ＰＣＩｅブリッジ１０３、ＤＭＡ（Direct Memory Access）コントローラ１０４、メモリコントローラ１０５、メモリ１０６及びＩ／Ｏコントローラ１０７を有している。また、ＣＭ２も同様に、ＣＰＵ２０１、低速バスコントローラ２０２、ＰＣＩｅブリッジ２０３、ＤＭＡコントローラ２０４、メモリコントローラ２０５、メモリ２０６及びＩ／Ｏコントローラ２０７を有している。さらに、図２には記載していないが、ＣＭ１及びＣＭ２のバスはホストと接続されている。
ストレージ装置におけるホストからのデータの書き込み及び読み出しの動作を説明する。ここで、ＣＭ１とＣＭ２は同じ動作を行うので、ＣＭ１を例に動作を説明する。
ＣＰＵ１０１は、ホストからのデータの書き込み命令を受けて、ホストから送られてきたデータをメモリ１０６に書き込むように、メモリコントローラ１０５に命令する。さらに、ＣＰＵ１０１は、メモリ１０６に蓄積されたデータをハードディスク３へ書込むようＩ／Ｏコントローラ１０７に命令する。また、ＣＰＵ１０１は、ホストからのデータの読み込み命令を受けて、Ｉ／Ｏコントローラ１０７に対し指定されたデータのハードディスク３からの読み出し及びホストへの送信を命令する。
メモリコントローラ１０５は、ＣＰＵ１０１からのデータ書き込み命令を受けて、ホストから受信したデータをメモリ１０６に書き込む。また、メモリコントローラ１０５は、Ｉ／Ｏコントローラ１０７にメモリ１０６に蓄積されているデータを送信する。
Ｉ／Ｏコントローラ１０７は、ＣＰＵ１０１からのデータ書き込み命令を受けて、メモリ１０６が蓄積しているデータをメモリコントローラ１０５から受信し、ハードディスク３にデータを書き込む。また、Ｉ／Ｏコントローラ１０７は、ＣＰＵ１０１からのデータ読出し命令を受けて、指定されたデータをハードディスク３から読み出す。
また、低速バスコントローラ１０２と低速バスコントローラ２０２とは、パス５で接続されている。ＣＰＵ１０１及びＣＰＵ２０１からの命令を受けて、低速バスコントローラ１０２及び低速バスコントローラ２０２は、ＣＰＵ１０１とＣＰＵ２０１との間の制御情報の授受を行っている。制御情報はサイズが小さいため、このパス５は、パス４と比較して遅い転送速度でよい。本実施例では、パス５は、数十ＫＢ／ｓｅｃの転送速度を有している。
次に、ＣＭ１及びＣＭ２におけるメモリ上のデータの二重化について説明する。ここでは、ＣＭ１のメモリ１０６のデータをＣＭ２のメモリ２０６にコピーし二重化する場合について説明する。
ＤＭＡコントローラ１０４は、メモリコントローラ１０５がメモリ１０６に書き込んだデータをメモリコントローラ１０５から受信する。そして、ＤＭＡコントローラ１０４は、ＣＭ２のメモリ２０６にデータを書き込むためにＰＣＩｅブリッジ１０３にデータを渡す。
ＰＣＩｅブリッジ１０３は、ＤＭＡコントローラ１０４から受信したデータをパス４を経由させてＣＭ２のＰＣＩｅブリッジ２０３に送信する。
パス４は、データ伝送用の高速パスである。例えば、本実施例では、パス４の転送速度は７００ＭＢ／ｓｅｃである。
ＰＣＩｅブリッジ２０３は、ＰＣＩｅブリッジ１０３からデータを受信する。
ＤＭＡコントローラ２０４は、ＰＣＩｅブリッジ１０３が受信したデータを取得し、取得したデータをメモリコントローラ２０５に渡し、さらにメモリコントローラ２０５に対してメモリ２０６へのデータの書き込みを指示する。
メモリコントローラ２０５は、ＤＭＡコントローラ２０４からのデータ書き込みの指示を受けて、メモリ２０６にデータを書き込む。
このように、一方のメモリに蓄積されたデータを他方のメモリに書き込むことで、一方のＣＭが故障した場合にも、他方のＣＭのメモリ上のデータが残る。
ＤＭＡコントローラ２０４及びメモリコントローラ２０５が、図１のデータ送信部２３の機能を有する。また、ＤＭＡコントローラ２０４が、図１の障害検出部２１の機能を有する。また、メモリ２０６が、図１の揮発性記憶部２５の機能を有する。また、ＰＣＩｅブリッジ２０３が、図１のバス接続部２４の機能を有する。また、ＣＰＵ２０１が、図１の制御部２２の機能を有する。
また、ＰＣＩｅブリッジ１０３が、図１のバス接続部１４の機能を有する。また、ＤＭＡコントローラ１０４及びメモリコントローラ１０５が、図１のデータ書込部１３の機能を有する。また、メモリ１０６が、図１の不揮発性記憶部１５の機能を有する。また、ＣＰＵ１０１が、図１の制御部１２及び障害検出部１１の機能を有する。
次に、図３を参照して、本実施例に係るストレージ装置のデータ二重化におけるパリティエラー発生時の処理の流れについて説明する。図３は、実施例１に係るストレージ装置のデータ二重化におけるパリティエラー発生時の処理のシーケンス図である。図３の縦軸は紙面の下に向かって時間が経過していることを表している。そして、各縦軸上の各処理は縦軸の上部に記載された各ＣＭが行う処理を表している。さらに、縦軸間を繋ぐ矢印は、矢印の方向に向けてデータが送信されることを表している。
ＣＭ２のデータ送信部２３は、ＰＣＩｅブリッジ２４を介してメモリ２５に記憶されているデータをＣＭ１に送信する。異常検出部２１は、ＰＣＩｅブリッジ２４からパリティチェックの結果を受信する。そして、異常検出部２１は、受信したパリティチェックの結果に異常があると判定し、ＰＣＩｅブリッジ２４の故障を検出する（ステップＳ１０１）。
パリティチェックの結果に異常がある異常データが、ＰＣＩｅブリッジ２４からＰＣＩｅブリッジ１４へ送信される（ステップＳ１０２）。
ＰＣＩｅブリッジ１４は、パリティチェックの結果に異常がある異常データを受信する（ステップＳ１０３）。このとき、ＰＣＩｅブリッジ１４は、受信したデータのパリティチェックを行い、チェック結果を障害検出部１１へ送信する。
データ書込部１３は、パリティチェックの結果に異常がある異常データをＰＣＩｅブリッジ１４から受信する（ステップＳ１０４）。このとき、データ書込部１３は、受信したデータのパリティチェックを行い、チェック結果を障害検出部１１へ送信する。
障害検出部１１は、受信したパリティチェックの結果から異常が発生していると判定し、制御部１２に通知する。制御部１２は、ＰＣＩｅブリッジ１４及びデータ書込部１３で発生した異常がＣＭ２による異常であると判定する（ステップＳ１０５）。
そして、制御部１２は、ＣＭ２から再送信されるデータを受信するまでＰＣＩｅブリッジ１４及びデータ書込部１３を待機させる（ステップＳ１０６）。
この間、ＣＭ２の故障検出部２１は、パリティの異常という異常の種別からリトライが必要であると判定する（ステップＳ１０７）。そして、データ転送部２３は、最後に送信したデータをＣＭ１に向けて再送信する（ステップＳ１０８）。
再送信データが、ＣＭ２からＣＭ１に向けて送信される（ステップＳ１０９）。このとき、データ送信部２３は、データのパリティチェックで異常が出なくなるまで、もしくは予め決められている所定回数までデータの再送信を行う。
ＣＭ１の制御部１２は、ＣＭ１の各部に通常処理を継続させる（ステップＳ１１０）。
また、ＣＭ２の制御部２２は、ＣＭ２をダウンさせる（ステップＳ１１１）。
以上に説明したように、本実施例に係るストレージ装置では、データを送信する側のＣＭのＰＣＩｅブリッジでパリティエラーなどの異常が発生した場合、その異常データによってデータ受信側のＣＭで異常が引き起こされても、データ受信側のＣＭをダウンさせない。さらに、パリティエラーなどが発生したデータを再送することで、データ受信側のＣＭのメモリに異常データが書き込まれたままになる状態の回避に寄与することができる。
（変形例）
次に、実施例１に係るストレージ装置の変形例について説明する。実施例１では、データにパリティの異常が発生した場合、単に異常が発生したデータの再送信を行っていたが、本変形例ではＣＭ１とＣＭ２との間のパスのデータ転送の負荷を軽減した後に、データの再送信を行う。
具体的には、図示していないが、本変形例に係るストレージ装置では、ＣＭ１もデータ送信部を有している。そして、ＣＭ１は、ホストからデータを受信し、受信したデータをメモリ１５に一時的に蓄積する。このＣＭ１のデータ送信部が「送信部」の一例にあたる。
ＣＭ１のデータ送信部は、メモリ１５に蓄積されているデータをＣＭ２のメモリ２５にコピーする。すなわち、本変形例では、ＣＭ１及びＣＭ２のいずれからも二重化用のデータが送られる。このデータ送信部の機能は、図２のＤＭＡコントローラ１０４及びメモリコントローラ１０５が有している。
この点、ＰＣＩｅブリッジ１４とＰＣＩｅブリッジ２４との間のパス（図２の「パス４」など）においてデータの転送負荷が高い場合、ＰＣＩｅブリッジ２４において異常が発生する確率が上がるおそれがある。そこで、本変形例の制御部１２は、パリティチェックの結果に異常があるデータがＣＭ２から送られてきたと判定した場合、ＣＭ１のデータ送信部によるＣＭ２のメモリ２５に対するデータのコピーを停止させる。すなわち、異常が発生したときの状態では、ＣＭ１及びＣＭ２の双方からデータが送信されていたためＣＭ１とＣＭ２との間のパスの負荷が高くなっていた。そこで、ＣＭ１からのデータの送信を停止することで、ＣＭ１とＣＭ２との間のパスの負荷を軽減することができる。
そして、ＣＭ１からのデータの送信が停止した後、ＣＭ２のデータ送信部２３は、異常が発生したデータを再送信する。
このようにすることで、パスのデータ転送の負荷が高いことが原因での異常の発生を回避することができ、データの再送信を正常に行える確率を高くすることができる。したがって、本変形例に係るストレージ装置によれば、データ受信側のＣＭのメモリに異常データが書き込まれたままになる状態の回避率を向上させることができる。
図４は、実施例２に係るコントローラモジュールのブロック図である。本実施例に係るコントローラモジュールは、異常が発生したデータの再送が正常に行えなかった場合に、ハードディスク経由でそのデータをデータ受信側のメモリにコピーすることが実施例１と異なるものである。そこで、以下では、ハードディスク経由でのデータのコピーについて主に説明する。
本実施例に係るＣＭは図４に示すように、実施例１のＣＭに読出部１６及び書込部２６がさらに加えられている。ここで、図４において、図１と同様の符号を有する各部は特に説明の無い限り同様の機能を有するものとする。また、本実施例に係るストレージ装置のハードウェア構成は図２と同様である。
本実施例では読出部１６及び書込部２６はディスク装置３０に接続している。ここで、本実施例ではディスク装置３０は、図２のハードディスク３を有している。そこで、以下では、ディスク装置３０が有するハードディスク３へのデータの書き込こみ又は読み出しを、ディスク装置３０へのデータを書き込み又は呼び出しという。
ＣＭ２の制御部２２は、データの再送信において障害検出部２１が障害を検出した回数をカウントし、カウントしている回数が所定回数に達した場合に、異常が発生したデータの再送信が正常に行えなかったと判定する。そして、再送信が正常に行えなかったと判定すると、制御部２２は、送信時に異常が発生したデータのディスク装置３０への書き込みを書込部２６に指示する。そして、制御部２２は、書込部２６によるディスク装置３０へのデータの書き込みが終了すると、ＣＭ２をダウンさせる。この制御部２２が「書込制御部」の一例にあたる。
書込部２６は、送信時に異常が発生したデータのディスク装置３０への書き込みの指示を制御部２２から受ける。そして、書込部２６は、送信時に異常が発生したデータをメモリ２５から読み出す。そして、書込部２６は、メモリ２５から読み出したデータをディスク装置３０に書き込む。この書込部２６の機能は、図２におけるＩ／Ｏコントローラ２０７が有する。
ＣＭ１の制御部１２は、カウンタを有している。さらに、制御部１２は、データの再送失敗を判定するための閾値として所定値を記憶している。そして、制御部１２は、障害検出部１１からの異常発生の通知を受けると自己のカウンタをインクリメントする。そして、制御部１２は、カウンタが所定値に達するとデータの再送が失敗したと判定する。この制御部１２による、再送の失敗の判定は他の方法でも良い。例えば、制御部１２は、閾値として所定の時間を記憶しておき、障害検出部１１からの異常発生の通知後、所定の時間内に異常が発生したデータを正常に受信できなければ再送失敗と判定しても良い。さらに、制御部１２は、異常が発生したデータの識別情報を障害検出部１１から受信する。そして、制御部１２は、ＣＭ２がダウンするまで待機する。例えば、ＣＭ１とＣＭ２と起動している間は制御部１２と制御部２２との間で図２のパス５などを用いてハートビートを相互に送ることで、制御部１２は制御部２２からのハートビートが届かなくなった場合にＣＭ２がダウンしたと判定できる。また、再送失敗の他の検知方法として、制御部１２は、異常発生の通知を障害検出部１１から受けた後に、異常が発生したデータを正常に受信しない間にＣＭ２がダウンした場合に再送が失敗したと判定してもよい。
そして、制御部１２は、ＣＭ２がダウンすると、障害検出部１１から受信した異常が圧制したデータの識別情報を用いて、再送信が失敗したデータのディスク装置３０からの読み出し及びメモリ１５への格納を読出部１６に指示する。そして、制御部１２は、メモリ１５にデータが格納されると通常処理に戻る。
読出部１６は、再送信が失敗したデータのディスク装置３０からの読み出し及びメモリ１５への格納の指示を制御部１２から受ける。そして、読出部１６は、ディスク装置３０から再送信が失敗したデータを読み出す。そして、読出部１６は、ディスク装置３０から読み出したデータをメモリ１５へ格納する。この読出部１６の機能は、図２におけるＩ／Ｏコントローラ１０７が有する。
次に、図５を参照して、本実施例に係るストレージ装置のデータ二重化におけるパリティエラー発生時の処理の流れについて説明する。図５は、実施例２に係るストレージ装置のデータ二重化におけるパリティエラー発生時の処理のシーケンス図である。
ＣＭ２のデータ送信部２３は、ＰＣＩｅブリッジ２４を介してメモリ２５に記憶されているデータをＣＭ１に送信する。異常検出部２１は、ＰＣＩｅブリッジ２４からパリティチェックの結果を受信する。そして、異常検出部２１は、受信したパリティチェックの結果からパリティエラーを検出する。そして、異常検出部２１は、ＰＣＩｅブリッジ２４の故障を検出する（ステップＳ２０１）。
パリティエラーが発生している異常データが、ＰＣＩｅブリッジ２４からＰＣＩｅブリッジ１４へ送信される（ステップＳ２０２）。
ＰＣＩｅブリッジ１４は、パリティエラーが発生している異常データを受信する（ステップＳ２０３）。このとき、ＰＣＩｅブリッジ１４は、受信したデータのパリティチェックを行い、チェック結果を障害検出部１１へ送信する。
データ書込部１３は、パリティエラーが発生している異常データをＰＣＩｅブリッジ１４から受信する（ステップＳ２０４）。このとき、データ書込部１３は、受信したデータのパリティチェックを行い、チェック結果を障害検出部１１へ送信する。
障害検出部１１は、受信したパリティチェックの結果からパリティエラーを検出し、制御部１２に通知する。制御部１２は、ＰＣＩｅブリッジ１４及びデータ書込部１３で発生した異常がＣＭ２による異常であると判定する（ステップＳ２０５）。
そして、制御部１２は、ＣＭ２から再送信されるデータを受信するまでＰＣＩｅブリッジ１４及びデータ書込部１３を待機させる（ステップＳ２０６）。
この間、ＣＭ２の故障検出部２１は、パリティエラーという異常の種別からリトライが必要であると判定する（ステップＳ２０７）。そして、データ転送部２３は、最後に送信したデータをＣＭ１に向けて再送信する（ステップＳ２０８）。
再送信データが、ＣＭ２からＣＭ１に向けて送信される（ステップＳ２０９）。
制御部２２は、データ送信部２３によるデータの再送信が成功したか否かを判定する（ステップＳ２１０）。データの再送信が成功した場合（ステップＳ２１０肯定）、制御部２２は、ＣＭ２をダウンさせる（ステップＳ２１１）。
これに対して、データの再送信が失敗した場合（ステップＳ２１０否定）、制御部２２は、メモリ２５に格納されている再送信に失敗したデータをディスク装置３０に書き込むよう書込部２６へ指示する。書込部２６は、再送信に失敗したデータをメモリ２５から読み出し、読み出したデータをディスク装置３０に書き込む（ステップＳ２１２）。
制御部２２は、再送信に失敗したデータのディスク装置３０への書き込みが完了すると、ＣＭ２をダウンさせる（ステップＳ２１３）。
ＣＭ１の制御部１２は、データの再送信が成功したか否かを判定する（ステップＳ２１４）。データの再送信が失敗した場合（ステップＳ２１４否定）、制御部１２は、ＣＭ２がダウンするまで待機し、その後ＣＭ２のダウンを検出する（ステップＳ２１５）。
そして、制御部１２は、再送信に失敗したデータのディスク装置３０からの読み出し及びメモリ１５への書き込みを読出部１６に指示する。読出部１６は、指示を受けて、ディスク装置３０から再送信に失敗したデータを読み出し、読み出したデータをメモリ１５へ格納する（ステップＳ２１６）。
制御部１２は、データの再送信が成功した場合（ステップＳ２１４肯定）又はディスク装置３０に書き込まれた再送信に失敗したデータのメモリ１５への格納が完了した場合、通常処理を継続する（ステップＳ２１７）。
以上に説明したように、本実施例に係るストレージ装置は、ＤＭＡによるデータの再送信が失敗した場合でも、ハードディスク経由でデータをデータ受信側のＣＭのメモリに移すことができる。これにより、データ受信側のＣＭのメモリに異常データが書き込まれたままになる状態の回避率を向上させることができる。
（変形例）
次に、実施例２に係るストレージ装置の変形例について説明する。本変形例に係るストレージ装置は、ＣＭ１及びＣＭ２がいずれもダウンした場合にメモリの内容を維持しつつ再起動する機能を有している。そこで、本実施形態に係るストレージ装置は、この機能を用いてＣＭ１及びＣＭ２を再起動した後、再送信に失敗したデータをハードディスク経由でＣＭ１のメモリに移す。図６は、実施例２の変形例に係るストレージ装置のデータ二重化におけるパリティエラー発生時の処理のシーケンス図である。そこで、図６を参照して、本変形例に係るストレージ装置のデータ二重化におけるパリティエラー発生時の処理の流れについて説明する。
ＣＭ２のデータ送信部２３は、ＰＣＩｅブリッジ２４を介してメモリ２５に記憶されているデータをＣＭ１に送信する。異常検出部２１は、ＰＣＩｅブリッジ２４からパリティチェックの結果を受信する。そして、異常検出部２１は、受信したパリティチェックの結果からパリティエラーを検出する。そして、異常検出部２１は、ＰＣＩｅブリッジ２４の故障を検出する（ステップＳ３０１）。
パリティエラーが発生している異常データが、ＰＣＩｅブリッジ２４からＰＣＩｅブリッジ１４へ送信される（ステップＳ３０２）。
ＰＣＩｅブリッジ１４は、パリティエラーが発生している異常データを受信する（ステップＳ３０３）。このとき、ＰＣＩｅブリッジ１４は、受信したデータのパリティチェックを行い、チェック結果を障害検出部１１へ送信する。
データ書込部１３は、パリティエラーが発生している異常データをＰＣＩｅブリッジ１４から受信する（ステップＳ３０４）。このとき、データ書込部１３は、受信したデータのパリティチェックを行い、チェック結果を障害検出部１１へ送信する。
障害検出部１１は、受信したパリティチェックの結果からパリティエラーを検出し、制御部１２に通知する。制御部１２は、ＰＣＩｅブリッジ１４及びデータ書込部１３で発生した異常がＣＭ２による異常であると判定する（ステップＳ３０５）。
そして、制御部１２は、ＣＭ２から再送信されるデータを受信するまでＰＣＩｅブリッジ１４及びデータ書込部１３を待機させる（ステップＳ３０６）。
この間、ＣＭ２の故障検出部２１は、パリティエラーという異常の種別からリトライが必要であると判定する（ステップＳ３０７）。そして、データ転送部２３は、最後に送信したデータをＣＭ１に向けて再送信する（ステップＳ３０８）。
再送信データが、ＣＭ２からＣＭ１に向けて送信される（ステップＳ３０９）。
制御部２２は、データ送信部２３によるデータの再送信が成功したか否かを判定する（ステップＳ３１０）。データの再送信が成功した場合（ステップＳ３１０肯定）、制御部２２は、ＣＭ２をダウンさせる（ステップＳ３１１）。
これに対して、データの再送信が失敗した場合（ステップＳ３１０否定）、制御部２２は、ＣＭ１に対してダウンを指示する（ステップＳ３１３）。
ダウン指示が、ＣＭ１に送信される（ステップＳ３１４）。
制御部２２は、ダウン指示の送信後、ＣＭ２をダウンさせる（ステップＳ３１５）。この場合、制御部２２は、不揮発性メモリなどのバックアップ用のデバイスにメモリ２５上のデータを移動した後ＣＭ２をダウンさせる。
これに対して、ＣＭ１の制御部１２も、データの再送信が成功したか否かを判定する（ステップＳ３１２）。データの再送信が失敗した場合（ステップＳ３１２否定）、制御部１２は、ＣＭ２からのダウン指示を受けてＣＭ１をダウンさせる（ステップＳ３１６）。この場合も、制御部１２は、不揮発性メモリなどのバックアップ用のデバイスにメモリ１５上のデータを移動した後ＣＭ１をダウンさせる。
ストレージ装置は、ＣＭ１及びＣＭ２のダウンが完了後、両方を再起動させる（ステップＳ３１７）。ここで、ＣＭ１及びＣＭ２の双方のダウンの監視並びに再起動は、例えば、後からダウンした側のＣＭの制御部に実行させることができる。また、ＣＭ１及びＣＭ２の双方のダウンを監視する監視制御部をさらに設け、その監視制御部が再起動を行っても良い。また、この起動においては、ＣＭ１及びＣＭ２共に、起動後バックアップ用のデバイスに保持しているデータを自己が有するメモリ上に展開する。
ＣＭ２の制御部２２は、再起動後に各種ログのチェックなどにより再送信に失敗してダウンしたことを検出する（ステップＳ３１８）。そして、制御部２２は、メモリ２５に格納されている再送信に失敗したデータをディスク装置３０に書き込むよう書込部２６へ指示する。書込部２６は、再送信に失敗したデータをメモリ２５から読み出し、読み出したデータをディスク装置３０に書き込む（ステップＳ３１９）。
制御部２２は、再送信に失敗したデータのディスク装置３０への書き込みが完了すると、ＣＭ２をダウンさせる（ステップＳ３２０）。
制御部１２は、再起動後に各種ログのチェックなどを行い、ＣＭ２からの指示をうけてダウンしたことを検出し、ＣＭ２のダウンを検出するまで待機する（ステップＳ３２１）。その後、制御部１２は、ＣＭ２のダウンを検出する（ステップＳ３２２）。
そして、制御部１２は、再送信に失敗したデータのディスク装置３０からの読み出し及びメモリ１５への書き込みを読出部１６に指示する。読出部１６は、指示を受けて、ディスク装置３０から再送信に失敗したデータを読み出し、読み出したデータをメモリ１５へ格納する（ステップＳ３２３）。
制御部１２は、データの再送信が成功した場合（ステップＳ３１２肯定）又はディスク装置３０に書き込まれた再送信に失敗したデータのメモリ１５への格納が完了した場合、通常処理を継続する（ステップＳ３２４）。
以上に説明したように、本変形例に係るストレージ装置は、両方のＣＭがダウンした場合にメモリの情報を保持したまま起動するという機能を用いてハードディスク経由のデータの移行を行うことができる。
図７は、実施例３に係るコントローラモジュールのブロック図である。本実施例に係るコントローラモジュールは、異常が発生したデータの再送が正常に行えなかった場合に、ＰＣＩｅブリッジ間のパスよりも転送速度が遅い伝送経路を用いてデータを送信することが実施例２と異なるものである。そこで、以下では、転送速度が遅い伝送経路を用いたデータの送信について主に説明する。
本実施例に係るＣＭは図７に示すように、実施例２のＣＭに低速受信部１７及び低速送信部２７がさらに加えられている。ここで、図７において、図４と同様の符号を有する各部は特に説明の無い限り同様の機能を有するものとする。また、本実施例に係るストレージ装置のハードウェア構成は図２と同様である。
そして、図２における低速バスコントローラ２０２が低速送信部２７の機能を有し、低速バスコントローラ１０２が低速受信部１７の機能を有する。そして、低速バスコントローラ１０２と低速バスコントローラ２０２とを結んでいるパス５が、転送速度が遅い伝送経路にあたる。上述したように、本実施例ではパス５は、数十ＫＢ／ｓｅｃの転送速度を有している。この転送速度が遅い伝送路が「低速伝送経路」の一例にあたる。
低速送信部２７は、転送速度が遅い伝送経路を用いて低速受信部１７にデータを送信する。
制御部２２は、障害検出部２１から障害の検出の通知を受ける。
ＣＭ２の制御部２２は、障害検出部２１から障害の検出の通知を受けた場合、データ送信部２３から異常が発生したデータのサイズを取得する。制御部２２は、低速伝送路を用いた送信の可否を判断する閾値として所定サイズを記憶している。本実施例では、制御部２２は、所定サイズを１ＫＢと記憶している。そして、制御部２２は、異常が発生したデータのサイズが１ＫＢ以下か否かを判定する。そして、１ＫＢ以下の場合、制御部２２は、低速送信部２７を介して異常が発生したデータを送信することをデータ送信部２３に指示する。そして、制御部２２は、転送速度が遅い伝送経路を用いたデータの送信が完了すると、ＣＭ２をダウンさせる。ここで、本実施例では、バス５が数十ＫＢ／ｓｅｃの転送速度を有しているため、パス５で十分に転送できるサイズとして閾値を１ＫＢ／ｓｅｃと設定したが、この閾値は転送速度が遅い伝送経路の実際の転送速度に応じて決めることが好ましい。
これに対して、異常が発生したデータのサイズが１ＫＢよりも大きい場合、制御部２２は、データ送信部２３に異常が発生したデータの再送信を指示する。そして、データの再送信において障害検出部２１から障害の検出の通知を受けなければ、制御部２２は、パリティエラーが発生せずに送信できたと判定する。その後、制御部２２は、ＣＭ２をダウンさせる。また、データの再送信において障害検出部２１が障害を検出した回数が所定回数に達した場合、制御部２２は、異常が発生したデータのディスク装置３０への書き込みを書込部２６に指示する。そして、制御部２２は、書込部２６によるディスク装置３０へのデータの書き込みが終了すると、ＣＭ２をダウンさせる。
データ送信部２３は、低速送信部２７を介して異常が発生したデータを送信する指示を制御部２２から受けて、異常が発生したデータを低速送信部２７に送信する。また、異常が発生したデータの再送信の指示を受けた場合、データ送信部２３は、異常が発生したデータを、ＰＣＩｅブリッジ２４を介してＣＭ１に送信する。
低速送信部２７は、データ送信部２３から異常が発生したデータを受信する。そして、低速送信部２７は、異常が発生したデータを転送速度が遅い伝送経路を介して低速受信部１７に送信する。
ＣＭ１の低速受信部１７は、転送速度が遅い伝送経路を介してデータを低速送信部２７から受信する。そして、低速受信部１７は、受信したデータをデータ書込部１３に送信する。
データ書込部１３は、低速受信部１７からデータを受信する。そして、データ書込部１３は、受信したデータをメモリ１５に書き込む。
制御部１２は、低速受信部１７を介して受信した異常が発生したデータがメモリ１５に格納されると、通常処理に戻る。
これに対して、制御部１２は、異常が発生したデータが低速受信部１７を介して送られてこない場合、異常が発生したデータの再送信を受信するようＰＣＩｅブリッジ１４及びデータ書込部１３に指示する。そして、異常が発生したデータの再送信が正常に行われた場合、制御部１２は通常処理に戻る。これに対して、制御部１２は、再送信の回数が所定値を超えた場合、ＣＭ２のダウンの通知を受けた後に、ディスク装置３０に格納されている再送信に失敗したデータをメモリ１５に格納するよう読出部１６に指示する。
次に、図８を参照して、本実施例に係るストレージ装置のデータ二重化におけるパリティエラー発生時の処理の流れについて説明する。図８は、実施例３に係るストレージ装置のデータ二重化におけるパリティエラー発生時の処理のシーケンス図である。
ＣＭ２のデータ送信部２３は、ＰＣＩｅブリッジ２４を介してメモリ２５に記憶されているデータをＣＭ１に送信する。異常検出部２１は、ＰＣＩｅブリッジ２４からパリティチェックの結果を受信する。そして、異常検出部２１は、受信したパリティチェックの結果からパリティエラーを検出する。そして、異常検出部２１は、ＰＣＩｅブリッジ２４の故障を検出する（ステップＳ４０１）。
パリティエラーが発生している異常データが、ＰＣＩｅブリッジ２４からＰＣＩｅブリッジ１４へ送信される（ステップＳ４０２）。
ＰＣＩｅブリッジ１４は、パリティエラーが発生している異常データを受信する（ステップＳ４０３）。このとき、ＰＣＩｅブリッジ１４は、受信したデータのパリティチェックを行い、チェック結果を障害検出部１１へ送信する。
データ書込部１３は、パリティエラーが発生している異常データをＰＣＩｅブリッジ１４から受信する（ステップＳ４０４）。このとき、データ書込部１３は、受信したデータのパリティチェックを行い、チェック結果を障害検出部１１へ送信する。
障害検出部１１は、受信したパリティチェックの結果からパリティエラーを検出し、制御部１２に通知する。制御部１２は、ＰＣＩｅブリッジ１４及びデータ書込部１３で発生した異常がＣＭ２による異常であると判定する（ステップＳ４０５）。
そして、制御部１２は、ＣＭ２から異常が発生したデータを受信するまでＰＣＩｅブリッジ１４及びデータ書込部１３を待機させる（ステップＳ４０６）。
この間、ＣＭ２の故障検出部２１は、パリティエラーという異常の種別からリトライが必要であると判定する（ステップＳ４０７）。
制御部２２は、異常が発生したデータのサイズが１ＫＢ以下か否かを判定する（ステップＳ４０８）。１ＫＢ以下の場合（ステップＳ４０８肯定）、制御部２２は、異常が発生したデータをパス５を介してＣＭ１に送信することをデータ送信部２３に指示する。データ送信部２３は、制御部２２からの指示を受けて、パス５を経由させて異常が発生したデータをＣＭ１に送信する（ステップＳ４０９）。そして、パス５経由で異常が発生したデータを送信後、制御部２２はＣＭ２をダウンさせる（ステップＳ４１１）。
異常が発生したデータは、低速送信部２７、パス５及び低速受信部１７を経由してデータ書込部１３に送信される（ステップＳ４１０）。データ書込部１３は、パス５経由で送られてきたデータを受信してメモリ１５に書き込む。
制御部２１は、低速受信部１７及びデータ書込部１３を監視して、バス５経由でデータを受信したか否かを判定する（ステップＳ４１２）。例えば、制御部２１は、低速受信部１７からのデータを低速送信部２７から受信したという情報及びデータ書込部１３からの低速受信部１７からデータを受信したという情報を受けてデータの受信を確認する。パス５経由でデータを受信している場合（ステップＳ４１２肯定）、制御部２１は、通常の処理を継続する（ステップＳ４２１）。
これに対して、異常が発生したデータのサイズが１ＫＢより大きい場合（ステップＳ４０８否定）、データ送信部２３は、最後に送信したデータをＣＭ１に向けてパス４経由で再送信する（ステップＳ４１３）。
再送信データが、ＣＭ２からＣＭ１に向けて送信される（ステップＳ４１４）。
制御部２２は、データ送信部２３によるデータの再送信が成功したか否かを判定する（ステップＳ４１５）。データの再送信が成功した場合（ステップＳ４１５肯定）、制御部２２は、ＣＭ２をダウンさせる（ステップＳ４１１）。
これに対して、データの再送信が失敗した場合（ステップＳ４１５否定）、制御部２２は、メモリ２５に格納されている再送信に失敗したデータをディスク装置３０に書き込むよう書込部２６へ指示する。書込部２６は、再送信に失敗したデータをメモリ２５から読み出し、読み出したデータをディスク装置３０に書き込む（ステップＳ４１６）。
制御部２２は、再送信に失敗したデータのディスク装置３０への書き込みが完了すると、ＣＭ２をダウンさせる（ステップＳ４１７）。
ＣＭ１の制御部１２は、データの再送信が成功したか否かを判定する（ステップＳ４１８）。データの再送信が失敗した場合（ステップＳ４１８否定）、制御部１２は、ＣＭ２がダウンするまで待機し、その後ＣＭ２のダウンを検出する（ステップＳ４１９）。
そして、制御部１２は、再送信に失敗したデータのディスク装置３０からの読み出し及びメモリ１５への書き込みを読出部１６に指示する。読出部１６は、指示を受けて、ディスク装置３０から再送信に失敗したデータを読み出し、読み出したデータをメモリ１５へ格納する（ステップＳ４２０）。
制御部１２は、データの再送信が成功した場合（ステップＳ４１８肯定）又はディスク装置３０に書き込まれた再送信に失敗したデータのメモリ１５への格納が完了した場合、通常処理を継続する（ステップＳ４２１）。
以上に説明したように、本実施例に係るストレージ装置は、二重化を行う際に送信側のＣＭのＰＣＩｅブリッジの故障によりデータが正常に送信できない場合、データのサイズが小さければ、転送速度の遅い伝送経路を用いて受信側のＣＭにデータを送信する。これにより、データ受信側のＣＭのメモリに異常データが書き込まれたままになる状態の回避率を向上させることができる。
また、以上の各実施例では主にＣＭ２のメモリ内のデータをＣＭ１のメモリへコピーしてデータの二重化を行う場合で説明したが、この二重化はＣＭ１及びＣＭ２の間で双方向に行われていても良い。その場合、ＣＭ１及びＣＭ２は、以上の各実施例で説明した互いの機能と同様の機能を有し、ＣＭ１のメモリ内のデータをＣＭ２に二重化する場合にも各実施例と同様の処理を行う。
１ コントローラモジュール（ＣＭ）
２ コントローラモジュール（ＣＭ）
３ ハードディスク
４ パス
５ パス
１１、２１ 障害検出部
１２、２２ 制御部
１３ データ書込部
１４、２４ バス接続部（ＰＣＩｅブリッジ）
１５、２５ 揮発性記憶部（メモリ）
１６ 読出部
１７ 低速受信部
２３ データ送信部
２６ 書込部
２７ 低速送信部
３０ ディスク装置
１０１、２０１ ＣＰＵ
１０２、２０２ 低速バスコントローラ
１０３、２０３ ＰＣＩｅブリッジ
１０４、２０４ ＤＭＡコントローラ
１０５、２０５ メモリコントローラ
１０６、２０６ メモリ
１０７、２０７ Ｉ／Ｏコントローラ

Claims (5)

  1. 第１データコントローラと第２データコントローラとを有するストレージ装置であって、
    前記第１データコントローラは、
    外部から入力されたデータを記憶する第１記憶部と、
    前記第１データコントローラのデータの伝送経路と前記第２データコントローラのデータの伝送経路とを接続する第１バス接続部と、
    前記第１バス接続部を介して前記第１記憶部に記憶された前記データを前記第２データコントローラへ送信するデータ送信部と、
    前記第１バス接続部のデータの送信における障害を検出し、送信時に障害を発生させたデータを前記データ送信部に再送信させる第１障害検出部とを備え、
    前記第２データコントローラは、
    前記第１データコントローラから送信されたデータを記憶する第２記憶部と、
    前記第１データコントローラのデータの伝送経路と前記第２データコントローラのデータの伝送経路とを接続する第２バス接続部と、
    前記第２バス接続部を介して前記データ送信部により送信されたデータを取得し、前記第２記憶部に書き込むデータ書込部と、
    前記第２バス接続部及び前記データ書込部における障害を検出し、検出した障害が前記第１データコントローラによるものか否かを判定する第２障害検出部と、
    前記第２バス接続部及び前記データ書込部において発生した障害が前記第１データコントローラによるものの場合、前記データ送信部から再送信されてくるデータを受信して書き込むように前記第２バス接続部及び前記データ書込部を制御する制御部とを備えた
    ことを特徴とするストレージ装置。
  2. 前記ストレージ装置はディスク装置をさらに備え、
    前記第１データコントローラは、前記ディスク装置にデータを書き込む書込部と、
    前記データ送信部によるデータの再送信においても前記第１障害検出部により障害の発生が検出された場合、送信時に障害を発生させたデータを前記ディスク装置に書き込ませるよう前記書込部を制御する書込制御部をさらに備え、
    前記第２データコントローラは、前記ディスク装置に記憶されているデータを読み出し前記第２記憶部に記憶させる読出部をさらに備え、
    前記制御部は、前記データ送信部からデータが再送信されたときに、前記第２バス接続部及び前記データ書込部において前記第１データコントローラによる障害が発生したか否かを判定し、障害が発生している場合には、前記ディスク装置に記憶されている前記書込部が書き込んだデータを読み出し前記第２ディスク装置に書き込むよう前記読出部を制御する
    ことを特徴とする請求項１に記載のストレージ装置。
  3. 前記第１データコントローラは、前記第１バス接続部と第２バス接続部との間の伝送経路よりも転送速度の遅い低速伝送経路を用いて前記第２データコントローラにデータを送信する低速送信部をさらに備え、
    前記第２データコントローラは、前記低速伝送経路を介して前記低速送信部により送信されたデータを受信する低速受信部をさらに備え、
    前記第１障害検出部は、前記第１バス接続部のデータの送信における障害の発生を検出すると、送信時に障害を発生させたデータのサイズが所定値以下か否かを判定し、前記所定値以下の場合には前記低速送信部にデータを送信させ、前記所定値以上の場合には送信時に障害を発生させたデータを前記データ送信部に再送信させ、
    前記制御部は、送信時に障害を発生させたデータを前記低速受信部が受信している場合には該データを前記第２記憶部に記憶させる
    ことを特徴とする請求項１又は請求項２に記載のストレージ装置。
  4. 前記第２データコントローラは、第２バス接続部を介して前記第２記憶部に記憶されている外部から入力されたデータを前記第１データコントローラへ送信する送信部をさらに備え、
    前記制御部は、前記第２バス接続部及び前記データ書込部において発生した障害が前記第１データコントローラによるものの場合、前記送信部のデータ送信を禁止する
    ことを特徴とする請求項１〜請求項３のいずれか一つに記載のストレージ装置。
  5. 第１データコントローラと第２データコントローラとを有するストレージ装置の制御方法であって、
    前記第１データコントローラは、外部から入力されたデータを前記第１データコントローラのメモリに記憶し、
    前記第１データコントローラは、前記第１データコントローラのメモリに記憶されたデータを読み出し、前記第１データコントローラのＰＣＩｅブリッジを介して前記第２データコントローラに送信し、
    前記第１データコントローラは、前記データの送信における前記第１データコントローラのＰＣＩｅブリッジの障害を検出し、
    前記第２データコントローラは、前記第２データコントローラのＰＣＩｅブリッジを介して前記第１データコントローラから送信されたデータを受信し、
    前記第２データコントローラは、受信したデータを前記第２データコントローラのメモリに書き込み、
    前記第２データコントローラは、受信したデータをメモリに書き込むときに、前記第２データコントローラのメモリコントローラ及びＰＣＩｅブリッジで障害が発生した場合、該障害が第１データコントローラによるか否かを判定し、
    前記第１データコントローラ及び前記第２データコントローラにおいて障害が検出され、且つ該障害が第１データコントローラによるものの場合、前記第１データコントローラは、送信時に障害を発生させたデータを前記第１データコントローラのＰＣＩｅブリッジを介して再送信し、前記第２データコントローラは、前記第１データコントローラのＰＣＩｅブリッジから再送信されてくるデータを前記第２データコントローラのＰＣＩｅブリッジを介して受信する
    ことを特徴とするストレージ装置の制御方法。
JP2010283108A 2010-12-20 2010-12-20 ストレージ装置及びストレージ装置の制御方法 Active JP5966243B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010283108A JP5966243B2 (ja) 2010-12-20 2010-12-20 ストレージ装置及びストレージ装置の制御方法
US13/279,491 US8572428B2 (en) 2010-12-20 2011-10-24 Storage apparatus and control method for storage apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010283108A JP5966243B2 (ja) 2010-12-20 2010-12-20 ストレージ装置及びストレージ装置の制御方法

Publications (2)

Publication Number Publication Date
JP2012133456A true JP2012133456A (ja) 2012-07-12
JP5966243B2 JP5966243B2 (ja) 2016-08-10

Family

ID=46236092

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010283108A Active JP5966243B2 (ja) 2010-12-20 2010-12-20 ストレージ装置及びストレージ装置の制御方法

Country Status (2)

Country Link
US (1) US8572428B2 (ja)
JP (1) JP5966243B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5639441B2 (ja) * 2010-10-29 2014-12-10 キヤノン株式会社 情報処理装置、印刷装置、印刷データ処理方法およびプログラム
JP5966243B2 (ja) * 2010-12-20 2016-08-10 富士通株式会社 ストレージ装置及びストレージ装置の制御方法
US9405566B2 (en) 2013-05-24 2016-08-02 Dell Products L.P. Access to storage resources using a virtual storage appliance
US9645872B1 (en) * 2015-03-27 2017-05-09 EMC IP Holding Company LLC Method to use multipath to reduce IO error handle duration
JP7179489B2 (ja) * 2018-05-18 2022-11-29 キヤノン株式会社 ストレージシステム及びその制御方法、プログラム、並びに記憶制御システム

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0426234A (ja) * 1990-05-22 1992-01-29 Fujitsu Ltd 同報型衛星通信システム
JPH04501343A (ja) * 1987-04-27 1992-03-05 アメリカン　テレフォン　アンド　テレグラフ　カムパニー 放射線結合連鎖
JPH0485769A (ja) * 1990-07-26 1992-03-18 Fujitsu Ltd 電力節減状態からの復帰時間短縮方法
JPH08249130A (ja) * 1994-12-15 1996-09-27 Hewlett Packard Co <Hp> 障害検出システム
JPH11249820A (ja) * 1998-03-03 1999-09-17 Fujitsu Ltd ディスク制御システムおよび記録媒体
JP2000348262A (ja) * 1999-06-03 2000-12-15 Funai Electric Co Ltd 販売促進システム、および、制御システム
JP2001333001A (ja) * 2000-05-22 2001-11-30 Hitachi Ltd データ伝送方式
JP2002538711A (ja) * 1999-03-05 2002-11-12 タンティビ・コミュニケーションズ・インコーポレーテッド 高性能符号化を可能にする多重化ｃｄｍａチャネルの順方向誤り訂正
JP2004342071A (ja) * 2003-04-22 2004-12-02 Hitachi Ltd ストレージ装置及びネットワークシステム
JP2005122763A (ja) * 2004-12-03 2005-05-12 Hitachi Ltd 記憶装置
JP2009053946A (ja) * 2007-08-27 2009-03-12 Toshiba Corp 二重化コントーラ構成ブロックデバイス制御装置
JP2009094589A (ja) * 2007-10-03 2009-04-30 Yamaha Corp 音響信号処理装置及びネットワークシステム
JP2009094588A (ja) * 2007-10-03 2009-04-30 Yamaha Corp ネットワークシステム
JP2009171529A (ja) * 2008-01-21 2009-07-30 Fujitsu Ltd 受信装置及び通信データリオーダリング処理方法
JP2009266119A (ja) * 2008-04-28 2009-11-12 Hitachi Ltd ストレージ装置及びデータ転送方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4132322B2 (ja) 1998-12-16 2008-08-13 株式会社日立製作所 記憶制御装置およびその制御方法
JP4294568B2 (ja) 2004-10-04 2009-07-15 富士通株式会社 ディスクアレイ装置及びその制御方法
JP2007293448A (ja) 2006-04-21 2007-11-08 Hitachi Ltd ストレージシステム及びその電源制御方法
US8225019B2 (en) * 2008-09-22 2012-07-17 Micron Technology, Inc. SATA mass storage device emulation on a PCIe interface
US8402307B2 (en) * 2010-07-01 2013-03-19 Dell Products, Lp Peripheral component interconnect express root port mirroring
US8677176B2 (en) * 2010-12-03 2014-03-18 International Business Machines Corporation Cable redundancy and failover for multi-lane PCI express IO interconnections
JP5966243B2 (ja) * 2010-12-20 2016-08-10 富士通株式会社 ストレージ装置及びストレージ装置の制御方法
US8589723B2 (en) * 2010-12-22 2013-11-19 Intel Corporation Method and apparatus to provide a high availability solid state drive
US8495252B2 (en) * 2011-01-17 2013-07-23 International Business Machines Corporation Implementing PCI-express memory domains for single root virtualized devices
US9086945B2 (en) * 2011-09-01 2015-07-21 Dell Products, Lp System and method to correlate errors to a specific downstream device in a PCIe switching network

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04501343A (ja) * 1987-04-27 1992-03-05 アメリカン　テレフォン　アンド　テレグラフ　カムパニー 放射線結合連鎖
JPH0426234A (ja) * 1990-05-22 1992-01-29 Fujitsu Ltd 同報型衛星通信システム
JPH0485769A (ja) * 1990-07-26 1992-03-18 Fujitsu Ltd 電力節減状態からの復帰時間短縮方法
JPH08249130A (ja) * 1994-12-15 1996-09-27 Hewlett Packard Co <Hp> 障害検出システム
JPH11249820A (ja) * 1998-03-03 1999-09-17 Fujitsu Ltd ディスク制御システムおよび記録媒体
JP2002538711A (ja) * 1999-03-05 2002-11-12 タンティビ・コミュニケーションズ・インコーポレーテッド 高性能符号化を可能にする多重化ｃｄｍａチャネルの順方向誤り訂正
JP2000348262A (ja) * 1999-06-03 2000-12-15 Funai Electric Co Ltd 販売促進システム、および、制御システム
JP2001333001A (ja) * 2000-05-22 2001-11-30 Hitachi Ltd データ伝送方式
JP2004342071A (ja) * 2003-04-22 2004-12-02 Hitachi Ltd ストレージ装置及びネットワークシステム
JP2005122763A (ja) * 2004-12-03 2005-05-12 Hitachi Ltd 記憶装置
JP2009053946A (ja) * 2007-08-27 2009-03-12 Toshiba Corp 二重化コントーラ構成ブロックデバイス制御装置
JP2009094589A (ja) * 2007-10-03 2009-04-30 Yamaha Corp 音響信号処理装置及びネットワークシステム
JP2009094588A (ja) * 2007-10-03 2009-04-30 Yamaha Corp ネットワークシステム
JP2009171529A (ja) * 2008-01-21 2009-07-30 Fujitsu Ltd 受信装置及び通信データリオーダリング処理方法
JP2009266119A (ja) * 2008-04-28 2009-11-12 Hitachi Ltd ストレージ装置及びデータ転送方法

Also Published As

Publication number Publication date
US8572428B2 (en) 2013-10-29
JP5966243B2 (ja) 2016-08-10
US20120159265A1 (en) 2012-06-21

Similar Documents

Publication Publication Date Title
US8943358B2 (en) Storage system, apparatus, and method for failure recovery during unsuccessful rebuild process
US7124244B2 (en) Storage system and a method of speeding up writing data into the storage system
EP1881407A2 (en) Storage control system, control method for storage control system, port selector, and controller
US20060020846A1 (en) Mechanism for enabling enhanced fibre channel error recovery across redundant paths using SCSI level commands
JP4391954B2 (ja) ファイル制御システムおよびファイル制御装置
JP2002108572A (ja) バックアップシステム、及び複製装置
JP5966243B2 (ja) ストレージ装置及びストレージ装置の制御方法
US9141485B2 (en) Storage device, control device and data protection method
JP2008225753A (ja) 計算機システム、アクセス制御方法及び管理計算機
JPH08227344A (ja) 二重磁気ディスク制御装置間の通信制御装置
JP5285786B2 (ja) 回復動作中に使用するためのキャッシュ内の修正済みデータを決定するためのシステム
JP4451837B2 (ja) データ転送装置およびデータ転送方法
JP5852674B2 (ja) 情報機器間のデータ転送のデータ欠落を検出する方法
CN103678517B (zh) 修复硬盘逻辑错误的方法及控制器
CN102436430B (zh) 存储设备、主机控制器和存储系统
US8868517B2 (en) Scatter gather list for data integrity
JP4535371B2 (ja) ディスクアレイ制御プログラム、方法及び装置
JP3748117B2 (ja) 鏡像化メモリ用エラー検出システム
JP2020021313A (ja) データ処理装置および診断方法
JPWO2007099584A1 (ja) エラー検出装置
US10014983B2 (en) System, receiving device, and method
JP2007206949A (ja) ディスクアレイ装置、ディスクアレイ装置の制御方法、ディスクアレイ装置の制御プログラム
JP5748214B2 (ja) 二重化情報処理システム
JP2008041080A (ja) 記憶制御システム、記憶制御システムの制御方法、ポートセレクタ、及びコントローラ
JP5145860B2 (ja) メモリ二重化システム及び情報処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130904

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140430

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150210

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150410

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151117

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160620

R150 Certificate of patent or registration of utility model

Ref document number: 5966243

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150