JP2022174911A - ストレージシステム及び情報処理方法 - Google Patents

ストレージシステム及び情報処理方法 Download PDF

Info

Publication number
JP2022174911A
JP2022174911A JP2021080952A JP2021080952A JP2022174911A JP 2022174911 A JP2022174911 A JP 2022174911A JP 2021080952 A JP2021080952 A JP 2021080952A JP 2021080952 A JP2021080952 A JP 2021080952A JP 2022174911 A JP2022174911 A JP 2022174911A
Authority
JP
Japan
Prior art keywords
register
mirror transfer
storage system
error information
transfer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021080952A
Other languages
English (en)
Inventor
真也 宮田
Shinya Miyata
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2021080952A priority Critical patent/JP2022174911A/ja
Priority to US17/579,634 priority patent/US11704208B2/en
Publication of JP2022174911A publication Critical patent/JP2022174911A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0727—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a storage system, e.g. in a DASD or network based storage system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0766—Error or fault reporting or storing
    • G06F11/0772—Means for error signaling, e.g. using interrupts, exception flags, dedicated error registers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065—Replication mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2071—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using a plurality of controllers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/85—Active fault masking without idle spares

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Hardware Redundancy (AREA)

Abstract

【課題】ストレージシステムにおける制御モジュールにおいて、汎用的なスイッチを実現すると共に、送達保障にかかる時間を短縮する。【解決手段】複数の制御モジュール１と中継装置２とを備え、複数の制御モジュール１の間でミラー転送を実行するストレージシステム１００であって、中継装置２は、複数の制御モジュール１の間の各デバイス１２，１４，２１における異常を検出してエラー情報をレジスタに集約し、複数の制御モジュール１のうちミラー転送の実行元である第１の制御モジュール１は、ミラー転送が実行された後に、レジスタの内容を読み出してミラー転送が正常に完了したかを判定する。【選択図】図３

Description

本発明は、ストレージシステム及び情報処理方法に関する。
ストレージシステムは、Controller Module（ＣＭ）及びFront End Router（ＦＲＴ）を備える。ＣＭは、ホストからのデータを受けて処理を行う。ＦＲＴは、各ＣＭ同士を接続し、ＣＭ間通信によるデータをルーティングする。ＣＭとＦＲＴとは、例えば、PCI Express（ＰＣＩｅ）で接続されてよい。
ＣＭは、Switch（ＳＷ）及びNon-Transparent Bridge（ＮＴＢ）を備えてよい。ＳＷは、Central Processing Unit（ＣＰＵ）やDirect Memory Access（ＤＭＡ），ＮＴＢをルーティングし、ＣＭとＦＲＴとの間の経路がＰＣＩｅである場合にはＰＣＩｅＳＷであってよい。ＮＴＢは、データを別ドメイン（ＦＲＴ及び別ＣＭ）に転送するために転送パケットのアドレス変換を行い、ＣＭとＦＲＴとの間の経路がＰＣＩｅである場合にはＰＣＩｅＳＷであってよい。
ＣＭ間通信では、ユーザデータの冗長性を保つためのデータ転送（別言すれば、ミラー）が多く行われる。このようなデータ転送において、経路上のデバイスの内部異常等により正しく転送が行えなかった場合には、冗長性を保てなくなりシステムダウンに陥る可能性がある。このようなデータ転送が行われるＣＭ間通信においては、データが正常に転送できたかどうかが、送達保障機能によりハードウェアで保障される。
送達保障機能では、データ冗長化のためのライトのＣＭ間通信が実施された後、当該ＣＭ間通信と同じ経路を使ってライトしたアドレスをリードすることによって送達保障リードを行う。そして、リード処理が正常に完了することで、ライトしたＣＭ間通信の経路に異常が無いことが保障される。一方、ライトの際に経路に異常があった場合には、ＣＭ間即断機能により、当該経路をハードウェア的に切断し、送達保障リードが失敗させられる。
特開２０１８－０６０４１９号公報 特開２０１６－２１２５１６号公報 特表２０１３－５１５９８０号公報
送達保障機能及びＣＭ間即断機能は、ＣＭ内部のＳＷやＮＴＢ（例えば、ＰＣＩｅＳＷ）の独自の機能により実現される。そのため、ＣＭに備えるＳＷやＮＴＢの種類によっては、送達保障機能又はＣＭ間即断機能を実現できないおそれがある。
１つの側面では、ストレージシステムにおける制御モジュールにおいて、汎用的なスイッチを実現すると共に、送達保障にかかる時間を短縮することを目的とする。
１つの側面では、ストレージシステムは、複数の制御モジュールと中継装置とを備え、前記複数の制御モジュールの間でミラー転送を実行するストレージシステムであって、前記中継装置は、前記複数の制御モジュールの間の各デバイスにおける異常を検出してエラー情報をレジスタに集約し、前記複数の制御モジュールのうち前記ミラー転送の実行元である第１の制御モジュールは、前記ミラー転送が実行された後に、前記レジスタの内容を読み出して前記ミラー転送が正常に完了したかを判定する。
１つの側面では、ストレージシステムにおける制御モジュールにおいて、汎用的なスイッチを実現できると共に、送達保障にかかる時間を短縮できる。
実施形態におけるストレージシステムのハードウェア構成例を模式的に示すブロック図である。 図１に示したストレージシステムのソフトウェア構成例を模式的に示すブロック図である。 図１に示したストレージシステムにおける送達保障処理を説明するブロック図である。 図３に示した送達保障処理における正常時の動作を説明する図である。 図３に示した送達保障処理における異常時の動作を説明する図である。 図１に示したストレージシステムにおける送達保障処理を説明するフローチャートである。 図６に示した送達保障処理の送達保障判定部における動作の詳細を説明するフローチャートである。 図６に示した送達保障処理のＦＲＴ Route Complex（ＲＣ）における動作の詳細を説明するフローチャートである。 図６に示した送達保障処理のエラー情報集約部における動作の詳細を説明するフローチャートである。 関連例における送達保障処理の際のレイテンシを説明するブロック図である。 実施形態における送達保障処理の際のレイテンシを説明するブロック図である。
〔Ａ〕実施形態
以下、図面を参照して一実施の形態を説明する。ただし、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。すなわち、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、各図は、図中に示す構成要素のみを備えるという趣旨ではなく、他の機能等を含むことができる。
以下、図中において、同一の各符号は同様の部分を示しているので、その説明は省略する。
〔Ａ－１〕構成例
図１は、実施形態におけるストレージシステム１００のハードウェア構成例を模式的に示すブロック図である。
ストレージシステム１００は、複数のＣＭ１（別言すれば、ＣＭ＃０～＃ｎ）及び複数のＦＲＴ２（別言すれば、ＦＲＴ＃０～＃ｎ）を備える。
ＣＭ１は、制御モジュールの一例であり、ＣＰＵ１１，ＳＷ１２，１以上（図示する例では２つ）のＤＭＡ１３，１以上（図示する例では４つ）のＮＴＢ１４及び監視Field Programmable Gate Array（ＦＰＧＡ）１５を備える。
ＣＰＵ１１は、例示的に、種々の制御や演算を行なう処理装置であり、メモリ１１０（図４及び図５等を用いて後述）に格納されたOperating System（ＯＳ）やプログラムを実行することにより、種々の機能を実現する。
なお、種々の機能を実現するためのプログラムは、例えばフレキシブルディスク、ＣＤ（ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ等）、ＤＶＤ（ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＤＶＤ－Ｒ、ＤＶＤ＋Ｒ、ＤＶＤ－ＲＷ、ＤＶＤ＋ＲＷ、ＨＤ ＤＶＤ等）、ブルーレイディスク、磁気ディスク、光ディスク、光磁気ディスク等の、コンピュータ読取可能な記録媒体に記録された形態で提供されてよい。そして、コンピュータ（本実施形態ではＣＰＵ１１）は上述した記録媒体から図示しない読取装置を介してプログラムを読み取って内部記録装置または外部記録装置に転送し格納して用いてよい。また、プログラムを、例えば磁気ディスク，光ディスク，光磁気ディスク等の記憶装置（記録媒体）に記録しておき、記憶装置から通信経路を介してコンピュータに提供してもよい。
種々の機能を実現する際には、内部記憶装置（本実施形態ではメモリ１１０）に格納されたプログラムがコンピュータ（本実施形態ではＣＰＵ１１）によって実行されてよい。また、記録媒体に記録されたプログラムをコンピュータが読み取って実行してもよい。
ＳＷ１２は、ＣＰＵ１１やＤＭＡ１３，ＮＴＢ１４をルーティングし、ＣＭ１とＦＲＴ２との間の経路がＰＣＩｅである場合にはＰＣＩｅＳＷであってよい。
ＤＭＡ１３は、ＣＰＵ１１を介さずに、メインメモリと各モジュールとの間のデータ転送を実現する。
ＮＴＢ１４は、データを別ドメイン（ＦＲＴ２及び別ＣＭ１）に転送するために転送パケットのアドレス変換を行い、ＣＭ１とＦＲＴ２との間の経路がＰＣＩｅである場合にはＰＣＩｅＳＷであってよい。
監視ＦＰＧＡ１５は、ＣＭ１内部の状態監視を行う集積回路である。
ＦＲＴ２は、中継装置の一例であり、ＦＲＴ ＳＷ２１及びＦＲＴ ＲＣ２２を備える。
ＦＲＴ ＳＷ２１は、ＣＭ１とＦＲＴ２との間の通信を中継する。
ＦＲＴ ＲＣ２２は、ＣＭ１及びＦＲＴ２の各デバイスで検出された異常に関するエラー情報を集約する。
図２は、図１に示したストレージシステム１００のソフトウェア構成例を模式的に示すブロック図である。
ストレージシステム１００は、異常検出部１１１，エラー情報集約部１１２及び送達保障判定部１１３として機能する。
異常検出部１１１は、各デバイスで発生した異常を検出する。
エラー情報集約部１１２は、各ＣＭ１及びＦＲＴ ＳＷ２１で発生した異常を示すエラー情報を集約する。
送達保障判定部１１３は、エラー情報集約部１１２によって集約されたエラー情報をリードすることにより、ＣＭ１間のミラー転送が正常に完了したかを判定することにより、送達保障機能を実現する。
図３は、図１に示したストレージシステム１００における送達保障処理を説明するブロック図である。
図３に示すストレージシステム１００において、異常検出部１１１は、ＣＭ１のＳＷ１２及びＮＴＢ１４に配置されていると共に、ＦＲＴ２のＦＲＴ ＳＷ２１に配置されている。また、エラー情報集約部１１２はＦＲＴのＦＲＴ ＲＣ２２に配置され、送達保障判定部１１３はＣＭ１のＤＭＡ１３に配置されている。
また、図３に示すストレージシステム１００においては、ＦＲＴ２のＦＲＴ ＳＷ２１にアップストリームポート２１１及びダウンストリームポート２１２が備えられている。アップストリームポート２１１は、ＦＲＴ ＲＣ２２との間のデータ通信を中継する。ダウンストリームポート２１２は、各ＣＭ１との間の通信を中継する。
ホストからデータがライトされてＣＰＵ１１を介してデータがキャッシュに格納されると、キャッシュされたデータがＤＭＡ１３を介してミラー転送先のＣＭ１へライトされる。
図３に示す例においては、符号Ａ１に示すように、ミラー転送の際に、ＮＴＢ１４のＦＲＴ２への接続ポート又はＦＲＴ ＳＷ２１の各ダウンストリームポート２１２における異常検出部１１１で異常を検出される。
符号Ａ２に示すように、ＦＲＴ ＲＣ２２のエラー情報集約部１１２にエラーレポート(例えば、ＰＣＩｅ標準のMessage Request)が集約される。
符号Ａ３に示すように、ＦＲＴ ＲＣ２２は、不図示のエラーレポートレジスタの各番地でエラー発生有無のフラグを保持する。図３においては、例えば、ＣＭ＃０からのエラーレポートが0番地に登録され、ＣＭ＃１からのエラーレポートが1番地に登録されている。
ＮＴＢ１４のＳＷ１２側ポート及びその上流(別言すれば、ＣＰＵ１１側)で異常が発生した場合には、エラーレポートは、ＣＰＵ１１方向に転送されてよい。そして、符号Ａ４及びＡ５に示すように、ＳＷ１２のＤＭＡ１３及びＮＴＢ１４側のポートにおけるDownstream Port Containment（ＤＰＣ）機能により、経路を切断する。
ＤＭＡ１３の送達保障判定部１１３は、ミラー転送先のＣＭ１へのライト実施後、ＦＲＴ ＲＣ２２のエラー情報集約部１１２の全番地をリードする。送達保障判定部１１３よるリードは、ミラー転送先のＣＭ１へのライトをする度に実施する。なお、ＤＭＡ１３による送達保障リードは、ミラー転送先へのＣＭ１へのライト後、十分な時間を空けて実施されてよい。
送達保障判定部１１３は、リードした情報を確認し、エラーフラグが無い場合は、正常にミラーが完了したと判定する。一方、送達保障判定部１１３は、エラーフラグがあった場合、又はエラー情報集約部１１２へのリードが失敗した場合には、ミラー転送が途中経路の異常により失敗したと判定する。
すなわち、ＦＲＴ２は、複数のＣＭ１の間の各デバイスにおける異常を検出してエラー情報をレジスタに集約する。ミラー転送の実行元であるＣＭ１は、ミラー転送が実行された後に、レジスタの内容を読み出してミラー転送が正常に完了したかを判定する。
これにより、一時的な経路異常の発生によりミラー転送が失敗した場合であっても、エラーレポートがＦＲＴ ＲＣ２２へ送信されるため、経路切断をすることなく送達保障の判定を実施できる。
ミラー転送の実行元であるＣＭ１は、レジスタにエラー情報が書き込まれている場合に、ミラー転送が正常に完了していないと判定してよい。また、ミラー転送の実行元であるＣＭ１は、レジスタの内容を読み出すことができない場合には、ミラー転送が正常に完了していないと判定してよい。
ＦＲＴ２は、レジスタのアドレスの番地のそれぞれに対して各デバイスを対応づけてエラー情報を集約する。ミラー転送の実行元であるＣＭ１は、レジスタの全ての番地を読み出してミラー転送が正常に完了したかを判定してよい。また、ミラー転送の実行元であるＣＭ１は、レジスタの全ての番地のうちミラー転送の経路に関わる番地を読み出してミラー転送が正常に完了したかを判定してもよい。
図４は、図３に示した送達保障処理における正常時の動作を説明する図である。
図４に示すＣＭ１においては、図１等に示した構成に加えて、メモリ１１０及びＮＴＢ１４のポート１４０を備えることとしている。
符号Ｂ１に示すように、ＣＭ＃０のＤＭＡ１３からＣＭ＃１のメモリ１１０に対して、データ冗長化のためのデータライトが行われる。
図４に示す例では、いずれの経路でも異常が発生していないため、符号Ｂ２に示すように、ＦＲＴ ＲＣ２２のエラー情報集約部１１２は、エラーフラグ無しの状態をエラーレポートレジスタで保持する。
符号Ｂ３に示すように、ＤＭＡ１３の送達保障判定部１１３は、送達保障のためのデータリードをＦＲＴ ＲＣ２２のエラー情報集約部１１２に対して行う。
符号Ｂ４に示すように、送達保障判定部１１３は、エラー情報集約部１１２においてエラーフラグが保持されていないため、送達保障の判定がＯＫであると認識する。
図５は、図３に示した送達保障処理における異常時の動作を説明する図である。
符号Ｃ１に示すように、ＣＭ＃０のＤＭＡ１３からＣＭ＃１のメモリ１１０に対して、データ冗長化のためのデータライトが行われる。
図５に示す例では、符号Ｃ２に示すようにＦＲＴ ＳＷ２１で異常が発生してＦＲＴ ＲＣ２２のエラー情報集約部１１２にエラーレポートが送信されているため、符号Ｃ３に示すようにエラー情報集約部１１２はエラーフラグをエラーレポートレジスタに登録する。
符号Ｃ４に示すように、ＤＭＡ１３の送達保障判定部１１３は、送達保障のためのデータリードをＦＲＴ ＲＣ２２のエラー情報集約部１１２に対して行う。
符号Ｃ５に示すように、送達保障判定部１１３は、エラー情報集約部１１２においてエラーフラグが保持されているため、送達保障の判定がＮＧであると認識する。
〔Ａ－２〕動作例
図１に示したストレージシステム１００における送達保障処理を、図６に示すフローチャート（ステップＳ１～Ｓ７）に従って説明する。
ＤＭＡ１３は、ホストからのデータを受信して、キャッシュを格納する（ステップＳ１）。
ＤＭＡ１３は、ミラー転送先のＣＭ１へデータをライトする（ステップＳ２）。
ＤＭＡ１３は、ＦＲＴ ＲＣ２２のエラー情報集約部１１２をリードする（ステップＳ３）。
ＤＭＡ１３は、エラー情報集約部１１２を正常にリードできたかを判定する（ステップＳ４）。
正常にリードできなかった場合には（ステップＳ４のＮＯルート参照）、ＤＭＡ１３は、ミラーライトは失敗したと判断し、復旧処理を行う（ステップＳ５）。そして、送達保障処理は終了する。
一方、正常にリードできた場合には（ステップＳ４のＹＥＳルート参照）、ＤＭＡ１３は、エラー情報集約部１１２からのリード結果にエラーフラグがあるかを判定する（ステップＳ６）。
エラーフラグがある場合には（ステップＳ６のＹＥＳルート参照）、処理はステップＳ５へ進む。
一方、エラーフラグがない場合には（ステップＳ６のＮＯルート参照）、ＤＭＡ１３は、ミラーライトを正常に終了したと判断する（ステップＳ７）。そして、送達保障処理は終了する。
次に、図６に示した送達保障処理の送達保障判定部１１３における動作の詳細を、図８に示すフローチャート（ステップＳ１１～Ｓ２０）に従って説明する。
送達保障判定部１１３は、ミラー転送先のＣＭ１へデータをライトする（ステップＳ１１）。
送達保障判定部１１３は、所定の時間、動作を待機する（ステップＳ１２）。
送達保障判定部１１３は、ＦＲＴ ＲＣ２２のエラー情報集約部１１２の全番地をリードすることにより、送信保障リードを実行する（ステップＳ１３）。なお、送達保障判定部１１３によるリード要求に応じたＦＲＴ ＲＣ２２における処理は、図８のステップＳ２１を用いて後述する。
送達保障判定部１１３は、図８のステップＳ２４を用いて後述するＦＲＴ ＲＣ２２からのリード応答に応じて、リード応答はあるかを判定する（ステップＳ１４）。
リード応答がある場合には（ステップＳ１４のＹＥＳルート参照）、送達保障判定部１１３は、リード応答において、ミラーライト経路の各ポートからのエラーフラグの有無を確認する（ステップＳ１５）。
送達保障判定部１１３は、リード応答においてエラーフラグはあるかを判定する（ステップＳ１６）。
エラーフラグがない場合には（ステップＳ１６のＮＯルート参照）、送達保障判定部１１３は、送達保障ＯＫと判定する（ステップＳ１７）。
送達保障判定部１１３は、ＣＰＵ１１へ送達保障処理の完了通知を発行する（ステップＳ１８）。そして、送達保障処理の送達保障判定部１１３における動作は終了する。
リード応答がない場合（ステップＳ１４のＮＯルート参照）、又は、エラーフラグがある場合には（ステップＳ１６のＹＥＳルート参照）、送達保障判定部１１３は、送達保証ＮＧと判定する（ステップＳ１９）。
送達保障判定部１１３は、ＣＰＵ１１へ送達保障処理の異常通知を発行する（ステップＳ２０）。そして、送達保障処理の送達保障判定部１１３における動作は終了する。
次に、図６に示した送達保障処理のＦＲＴ ＲＣ２２における動作の詳細を、図８に示すフローチャート（ステップＳ２１～Ｓ２４）に従って説明する。
ＦＲＴ ＲＣ２２は、図７のステップＳ１３で示した送達保障判定部１１３により発行されたリード要求に応じて、ＤＭＡ１３からの送信保障リード要求の有無を監視する（ステップＳ２１）。
ＦＲＴ ＲＣ２２は、リード要求を受信したかを判定する（ステップＳ２２）。
リード要求を受信していない場合には（ステップＳ２２のＮＯルート参照）、処理はステップＳ２１へ戻る。
一方、リード要求を受信した場合には（ステップＳ２２のＹＥＳルート参照）、ＦＲＴ ＲＣ２２は、エラー情報集約部１１２におけるエラー情報を読み込む（ステップＳ２３）。なお、ＦＲＴ ＲＣ２２によるエラー情報の読み込み処理に応じたエラー情報集約部１１２における処理は、図９のステップＳ３３を用いて後述する。
ＦＲＴ ＲＣ２２は、エラー情報集約部１１２における全番地のデータの応答を返す（ステップＳ２４）。なお、ＦＲＴ ＲＣ２２によるデータ応答に応じた送達保障判定部１１３における処理は図７のステップＳ１４を用いて前述した。そして、送達保障処理のＦＲＴ ＲＣ２２における動作は終了する。
次に、図６に示した送達保障処理のエラー情報集約部１１２における動作の詳細を、図９に示すフローチャート（ステップＳ３１～Ｓ３３）に従って説明する。
エラー情報集約部１１２は、ＦＲＴ ＳＷ２１配下の各ポートからエラーレポート受信の監視を行う（ステップＳ３１）。
エラー情報集約部１１２は、エラーレポートを受信したかを判定する（ステップＳ３２）。
エラーレポートを受信していない場合には（ステップＳ３２のＮＯルート参照）、処理はステップＳ３１へ戻る。
一方、エラーレポートを受信した場合には（ステップＳ３２のＹＥＳルート参照）、エラー情報集約部１１２は、各ポートに対応する番地にエラーフラグを立て、図８のステップＳ２３に示したＦＲＴ ＲＣ２２によるエラー情報の読み込み要求に応じる（ステップＳ３３）。そして、送達保障処理のエラー情報集約部１１２における動作は終了する。
〔Ｂ〕効果
上述した実施形態の一例におけるストレージシステム１００及び情報処理方法によれば、例えば、以下の作用効果を奏することができる。
ＦＲＴ２は、複数のＣＭ１の間の各デバイスにおける異常を検出してエラー情報をレジスタに集約する。ミラー転送の実行元であるＣＭ１は、ミラー転送が実行された後に、レジスタの内容を読み出してミラー転送が正常に完了したかを判定する。
これにより、ストレージシステム１００における制御モジュールにおいて、汎用的なスイッチを実現できると共に、送達保障にかかる時間を短縮できる。
ミラー転送の実行元であるＣＭ１は、レジスタにエラー情報が書き込まれている場合に、ミラー転送が正常に完了していないと判定する。これにより、ストレージシステム１００におけるいずれかのデバイスで異常が発生したことにより、ミラー転送が正常に完了していない可能性があることを認識できる。
ミラー転送の実行元であるＣＭ１は、レジスタの内容を読み出すことができない場合には、ミラー転送が正常に完了していないと判定する。これにより、ＣＭ１とＦＲＴ２との間のデバイスで異常が発生したことにより、ミラー転送が正常に完了していない可能性があることを認識できる。
ＦＲＴ２は、レジスタのアドレスの番地のそれぞれに対して各デバイスを対応づけてエラー情報を集約する。ミラー転送の実行元であるＣＭ１は、レジスタの全ての番地を読み出してミラー転送が正常に完了したかを判定する。これにより、ストレージシステム１００におけるいずれかのデバイスで異常が発生したことにより、ミラー転送が正常に完了していない可能性があることを認識できる。
ＦＲＴ２は、レジスタのアドレスの番地のそれぞれに対して各デバイスを対応づけてエラー情報を集約する。ミラー転送の実行元であるＣＭ１は、レジスタの全ての番地のうちミラー転送の経路に関わる番地を読み出してミラー転送が正常に完了したかを判定する。これにより、ミラー転送が正常に完了したかの判定のための最低限のデバイスにおける状態を読み出すことができ、ミラー転送の失敗による復旧処理の実行を最低限にできる。
図１０は、関連例における送達保障処理の際のレイテンシを説明するブロック図である。図１１は、実施形態における送達保障処理の際のレイテンシを説明するブロック図である。
ＰＣＩｅＳＷ等の各モジュールの通過レイテンシを150nsとし、メモリのリードレイテンシを1000nsとし、ＦＲＴ ＲＣ２２のエラー情報集約部１１２のレジスタリードレイテンシを200nsとする。
図１０の符号Ｄ１に示すように、関連例において送達保障のためのデータリードを実行すると、150ns x 10 + 1000ns = 2500nsの時間がかかる。
一方、図１１の符号Ｅ１に示すように、実施形態において送達保障のためのデータリードを実行すると、150ns x 6 + 200ns = 1100nsの時間がかかる。
このように、実施形態における送達保障においては、データリードにかかる時間を例えば1.4μs短縮でき、１つのミラー処理にかかる時間短縮及び装置Input/Output Per Second（ＩＯＰＳ）性能の向上を実現できる。
〔Ｃ〕その他
開示の技術は上述した実施形態に限定されるものではなく、本実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。本実施形態の各構成及び各処理は、必要に応じて取捨選択することができ、あるいは適宜組み合わせてもよい。
〔Ｄ〕付記
以上の実施形態に関し、更に以下の付記を開示する。
（付記１）
複数の制御モジュールと中継装置とを備え、前記複数の制御モジュールの間でミラー転送を実行するストレージシステムであって、
前記中継装置は、前記複数の制御モジュールの間の各デバイスにおける異常を検出してエラー情報をレジスタに集約し、
前記複数の制御モジュールのうち前記ミラー転送の実行元である第１の制御モジュールは、前記ミラー転送が実行された後に、前記レジスタの内容を読み出して前記ミラー転送が正常に完了したかを判定する、
ストレージシステム。
（付記２）
前記第１の制御モジュールは、前記レジスタに前記エラー情報が書き込まれている場合に、前記ミラー転送が正常に完了していないと判定する、
付記１に記載のストレージシステム。
（付記３）
前記第１の制御モジュールは、前記レジスタの内容を読み出すことができない場合には、前記ミラー転送が正常に完了していないと判定する、
付記１又は２に記載のストレージシステム。
（付記４）
前記中継装置は、前記レジスタのアドレスの番地のそれぞれに対して前記各デバイスを対応づけて前記エラー情報を集約し、
前記第１の制御モジュールは、前記レジスタの全ての番地を読み出して前記ミラー転送が正常に完了したかを判定する、
付記１～３のいずれか１項に記載のストレージシステム。
（付記５）
前記中継装置は、前記レジスタのアドレスの番地のそれぞれに対して前記各デバイスを対応づけて前記エラー情報を集約し、
前記第１の制御モジュールは、前記レジスタの全ての番地のうち前記ミラー転送の経路に関わる番地を読み出して前記ミラー転送が正常に完了したかを判定する、
付記１～３のいずれか１項に記載のストレージシステム。
（付記６）
複数の制御モジュールの間でミラー転送を実行するストレージシステムに備えられるコンピュータが、
前記複数の制御モジュールの間の各デバイスにおける異常を検出してエラー情報をレジスタに集約し、
前記ミラー転送が実行された後に、前記レジスタの内容を読み出して前記ミラー転送が正常に完了したかを判定する、
情報処理方法。
（付記７）
前記レジスタに前記エラー情報が書き込まれている場合に、前記ミラー転送が正常に完了していないと判定する、
処理を前記コンピュータが実行する、付記６に記載の情報処理方法。
（付記８）
前記レジスタの内容を読み出すことができない場合には、前記ミラー転送が正常に完了していないと判定する、
処理を前記コンピュータが実行する、付記６又は７に記載の情報処理方法。
（付記９）
前記レジスタのアドレスの番地のそれぞれに対して前記各デバイスを対応づけて前記エラー情報を集約し、
前記レジスタの全ての番地を読み出して前記ミラー転送が正常に完了したかを判定する、
処理を前記コンピュータが実行する、付記６～８のいずれか１項に記載の情報処理方法。
（付記１０）
前記レジスタのアドレスの番地のそれぞれに対して前記各デバイスを対応づけて前記エラー情報を集約し、
前記レジスタの全ての番地のうち前記ミラー転送の経路に関わる番地を読み出して前記ミラー転送が正常に完了したかを判定する、
処理を前記コンピュータが実行する、付記６～８のいずれか１項に記載の情報処理方法。
１００ ：ストレージシステム
１ ：ＣＭ
１１ ：ＣＰＵ
１１０ ：メモリ
１２ ：ＳＷ
１３ ：ＤＭＡ
１４ ：ＮＴＢ
１４０ ：ポート
１５ ：監視ＦＰＧＡ
２ ：ＦＲＴ
２１ ：ＦＲＴ ＳＷ
２１１ ：アップストリームポート
２１２ ：ダウンストリームポート
２２ ：ＦＲＴ ＲＣ
１１１ ：異常検出部
１１２ ：エラー情報集約部
１１３ ：送達保障判定部

Claims (6)

  1. 複数の制御モジュールと中継装置とを備え、前記複数の制御モジュールの間でミラー転送を実行するストレージシステムであって、
    前記中継装置は、前記複数の制御モジュールの間の各デバイスにおける異常を検出してエラー情報をレジスタに集約し、
    前記複数の制御モジュールのうち前記ミラー転送の実行元である第１の制御モジュールは、前記ミラー転送が実行された後に、前記レジスタの内容を読み出して前記ミラー転送が正常に完了したかを判定する、
    ストレージシステム。
  2. 前記第１の制御モジュールは、前記レジスタに前記エラー情報が書き込まれている場合に、前記ミラー転送が正常に完了していないと判定する、
    請求項１に記載のストレージシステム。
  3. 前記第１の制御モジュールは、前記レジスタの内容を読み出すことができない場合には、前記ミラー転送が正常に完了していないと判定する、
    請求項１又は２に記載のストレージシステム。
  4. 前記中継装置は、前記レジスタのアドレスの番地のそれぞれに対して前記各デバイスを対応づけて前記エラー情報を集約し、
    前記第１の制御モジュールは、前記レジスタの全ての番地を読み出して前記ミラー転送が正常に完了したかを判定する、
    請求項１～３のいずれか１項に記載のストレージシステム。
  5. 前記中継装置は、前記レジスタのアドレスの番地のそれぞれに対して前記各デバイスを対応づけて前記エラー情報を集約し、
    前記第１の制御モジュールは、前記レジスタの全ての番地のうち前記ミラー転送の経路に関わる番地を読み出して前記ミラー転送が正常に完了したかを判定する、
    請求項１～３のいずれか１項に記載のストレージシステム。
  6. 複数の制御モジュールの間でミラー転送を実行するストレージシステムに備えられるコンピュータが、
    前記複数の制御モジュールの間の各デバイスにおける異常を検出してエラー情報をレジスタに集約し、
    前記ミラー転送が実行された後に、前記レジスタの内容を読み出して前記ミラー転送が正常に完了したかを判定する、
    情報処理方法。
JP2021080952A 2021-05-12 2021-05-12 ストレージシステム及び情報処理方法 Pending JP2022174911A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021080952A JP2022174911A (ja) 2021-05-12 2021-05-12 ストレージシステム及び情報処理方法
US17/579,634 US11704208B2 (en) 2021-05-12 2022-01-20 Storage system and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021080952A JP2022174911A (ja) 2021-05-12 2021-05-12 ストレージシステム及び情報処理方法

Publications (1)

Publication Number Publication Date
JP2022174911A true JP2022174911A (ja) 2022-11-25

Family

ID=83999038

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021080952A Pending JP2022174911A (ja) 2021-05-12 2021-05-12 ストレージシステム及び情報処理方法

Country Status (2)

Country Link
US (1) US11704208B2 (ja)
JP (1) JP2022174911A (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011151859A1 (en) 2010-06-01 2011-12-08 Hitachi, Ltd. Data transfer device and method of controlling the same
JP6455302B2 (ja) 2015-04-30 2019-01-23 富士通株式会社 バス通信システム
US9864663B2 (en) * 2016-02-19 2018-01-09 Dell Products L.P. Storage controller failover system
US10228995B2 (en) * 2016-07-28 2019-03-12 Hewlett Packard Enterprise Development Lp Last writers of datasets in storage array errors
JP6773974B2 (ja) 2016-10-06 2020-10-21 富士通株式会社 ストレージ制御装置およびストレージ装置

Also Published As

Publication number Publication date
US11704208B2 (en) 2023-07-18
US20220365856A1 (en) 2022-11-17

Similar Documents

Publication Publication Date Title
US8589723B2 (en) Method and apparatus to provide a high availability solid state drive
JP6307847B2 (ja) 情報処理装置，制御装置及び制御プログラム
JP4391954B2 (ja) ファイル制御システムおよびファイル制御装置
JP7080863B2 (ja) ストレージ装置
JP6455302B2 (ja) バス通信システム
US8621121B1 (en) Detecting bogus IOs in a multipathing driver
US8166273B2 (en) Degeneration method and information processing apparatus
JP5982909B2 (ja) 制御装置、ストレージ装置、ストレージ装置の試験方法及びストレージ装置の試験プログラム
JP6070357B2 (ja) ストレージ装置
JP2017091456A (ja) 制御装置、制御プログラムおよび制御方法
JP5998884B2 (ja) ストレージ装置、およびモジュール間データ転送方法
JP2018060419A (ja) ストレージ制御装置およびストレージ装置
US9535791B2 (en) Storage control device, non-transitory computer-readable recording medium having stored therein program, and control method
JP2022174911A (ja) ストレージシステム及び情報処理方法
JP2016014972A (ja) 通信制御装置，ストレージ装置及び通信制御プログラム
JP5316502B2 (ja) Ｉ／ｏブリッジ装置、応答通知方法、及びプログラム
JP6244970B2 (ja) ストレージシステム、制御装置及び制御プログラム
JP4460596B2 (ja) ディスク管理方法、ディスク管理装置およびストレージシステム
US8589722B2 (en) Methods and structure for storing errors for error recovery in a hardware controller
JP2015064770A (ja) メモリ制御装置、情報処理装置、及び情報処理装置の制御方法
JP5273185B2 (ja) 記録媒体制御システム、記録媒体制御方法、記録媒体制御プログラム
US9760423B2 (en) Storage system and control apparatus
JP7315753B2 (ja) ストレージ装置
JP4234730B2 (ja) Ｒａｉｄ閉塞判定方法、ｒａｉｄ装置、そのコントローラ・モジュール、プログラム
JP2018045365A (ja) ストレージ制御装置及びストレージ装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240208