JP2006268215A - ストレージシステム - Google Patents

Abstract

【課題】 共有メモリへの参照結果をより高速に取得することを目的とする。
【解決手段】 ホスト３およびディスクドライブ群１２ａ、１２ｂとの間における情報の授受を制御する複数のプロセッサ１５ａ、１５ｂと、これらのプロセッサ１５ａ、１５ｂにより参照可能な共有メモリ１７と、個々のプロセッサ１５ａ、１５ｂごとに設けられ共有メモリ１７への参照を制御する共有メモリ制御部１６ａ、１６ｂとを含んで構成されるストレージシステム１であって、各プロセッサ１５ａ、１５ｂは、共有メモリ１７への参照を起動する第１要求を、共有メモリ制御部１６ａ、１６ｂの各々にそれぞれ複数送出する。各共有メモリ制御部１６ａ、１６ｂは、第１要求に応じ、共有メモリ１７を順次、複数参照するとともに、各プロセッサ１５ａ、１５ｂからの第２要求に応じ、共有メモリ１７への参照結果をそれぞれ、各プロセッサ１５ａ、１５ｂに返送する。
【選択図】 図１

Description

本発明は、ストレージシステムに係り、特に、複数の処理部によりアクセス可能な共有メモリを具備するストレージシステムに関するものである。

従来、大規模なストレージ・システムでは、上位装置（ホスト計算機）との接続口も多数備え、どの接続口から接続されたホスト計算機にも、どのディスクドライブのデータも参照可能なように制御を行っている。高性能化のために複数のプロセッサを搭載して制御する場合では、複数のプロセッサ間で、このための制御情報の共有を行う。制御情報の共有を行うためには、簡単には、制御情報を格納するメモリを、すべてのプロセッサから共有させるようにする。このため、第１に、プロセッサがメモリへアクセスする情報処理システムが開示されている（特許文献１参照）。第２に、プロセッサが共有メモリへアクセスする記憶制御装置が開示されている（特許文献２参照）。第３に、プロセッサの外部アクセスを制御する外部アクセス制御部内のレジスタにオペランドデータを読み込んでおくディスクアレイ制御装置が開示されている（特許文献３参照）。
特開平１１−２３２１７１号公報 特開２０００−３４７９３７号公報 特開２００１−３０６２６５号公報

しかしながら、特許文献１ないし特許文献３に記載された装置では、いずれも、複数のプロセッサすべてが共有メモリへアクセス可能なものの、プロセッサと共有メモリとの間の距離などの制約などにより、より一層の高速化が困難となっていた。

そこで、本発明は、このような状況下においてなされたものであり、その目的は、共有メモリへの参照結果をより高速に取得することを可能にすることである。

前記課題を解決するために本発明は、ホスト計算機またはディスクドライブとの間における情報の授受を制御する複数の処理部と、前記複数の処理部により参照可能な共有メモリと、前記処理部ごとに設けられ前記共有メモリへの参照を制御する共有メモリ制御部とを含んで構成されるストレージシステムであって、前記各処理部は、前記共有メモリへの参照を起動する第１要求を、各々の前記共有メモリ制御部にそれぞれ複数送出する。前記各共有メモリ制御部は、前記第１要求に応じ、前記共有メモリを同時に複数参照するとともに、前記各処理部からの第２要求に応じ、前記共有メモリへの参照結果を当該各処理部に返送する。

本発明によれば、共有メモリへの参照結果をより高速に取得することができる。

［実施の形態１］
図１は本発明の実施の形態１に係るストレージシステムを含む全体構成を示すブロック図である。
図１において、ストレージシステム１は、複数の通信ネットワーク２を介して、複数のホスト３に接続されている。具体的には、ストレージシステム１は、複数のホスト３との間における情報の授受を制御する４個のフロントエンド・チャンネル１１ａ、１１ｂ、１１ｃ、１１ｄと、それぞれ複数のディスクドライブからなるドライブグループ１２１を２個含む２個のディスクドライブ群１２ａ、１２ｂと、これらディスクドライブ群１２ａ、１２ｂとの間における情報の授受を制御する４個のバックエンド・チャンネル１３ａ、１３ｂ、１３ｃ、１３ｄとを搭載している。ディスクドライブ群１２ａ、１２ｂの各々は、例えば、ＲＡＩＤ（Redundant Arrays of Independent）を構成したディスクドライブ群１２ａ、１２ｂを用いることとする。

そして、前記したフロントエンド・チャンネル１１ａ〜１１ｄとバックエンド・チャンネル１３ａ〜１３ｄとの間には、２台のネットワークスイッチ１４ａ、１４ｂが設けられている。また、２個の共有メモリ制御部１６ａ、１６ｂがあり、それぞれ、共有メモリ制御部１６ａが接続され、共有メモリ制御部１６ａ、１６ｂの各々が、共有メモリ１７にアクセス制御するように構成されている。

このように構成することにより、プロセッサ１５ａ、１５ｂの各々は、ホスト３からの要求に応じ、バックエンド・チャンネル１３ａ〜１３ｄを介して、ディスクドライブ群１２ａ、１２ｂ内のディスクドライブにデータを分散して記憶させることが可能となる。また、プロセッサ１５ａ、１５ｂの各々は、ホスト３からの要求に応じ、ディスクドライブ群１２ａ、１２ｂ内のディスクドライブからデータを読み出して、ホスト３に送信させることも可能となる。

個々のプロセッサ１５ａ、１５ｂは、それぞれの共有メモリ制御部１６ａ、１６ｂを介して共有メモリ１７の参照結果を取得するよう制御する。これにより、すべてのプロセッサ１５ａ、１５ｂが、共有メモリ１７への参照結果を取得することが可能になる。
具体的には、各プロセッサ１５ａ、１５ｂの各々は、共有メモリ１７への参照を起動する第１要求（例えば起動コマンド）を、それぞれの共有メモリ制御部１６ａ、１６ｂに複数送出する。続いて、各共有メモリ制御部１６ａ、１６ｂは、前記した第１要求に応じ、共有メモリ１７を同時に複数参照する。また、各共有メモリ制御部１６ａ、１６ｂは、プロセッサ１５ａ、１５ｂからの第２要求（例えば返送コマンド）に応じ、共有メモリ１７への参照結果をプロセッサ１５ａ、１５ｂのそれぞれに返送する。このように構成することにより、プロセッサ１５ａ、１５ｂの各々は、第１要求および第２要求を時間的に先後して、それぞれの共有メモリ制御部１６ａ、１６ｂに送出することが可能となるので、共有メモリ１７へのアクセスと、参照結果の取得処理とを交互に連続して行うことが可能となる。以下にこれらの内容を詳述する。

共有メモリ制御部１６ａは、図２に示すように、共有メモリアクセス制御部１６１、ＦＩＦＯ（蓄積部）１６２、受信データ選択部（参照結果登録部）１６３、４個のデータバッファ１６４、およびデータバッファ選択部（返送部）１６５を搭載している。ＦＩＦＯは、格納された順にデータを取り出す方法をあらわすFirst-In First-Outの略である。本実施の形態においては、ＦＩＦＯ１６２を用いているが、これと同様の制御を行うのであれば、これに限られない。
共有メモリアクセス制御部１６１、受信データ選択部１６３およびデータバッファ選択部１６５は、例えばＬＳＩ（Large Scale Integration）などで構成されている。なお、図２では共有メモリ制御部１６ａについて記載しているが、共有メモリ制御部１６ｂもこれと同様である。

次に、共有メモリ制御部１６ａの処理手順について説明する。図２に示すように、まずＳ１では、プロセッサ１５ａが、共有メモリ１７への参照を起動する第１要求（例えば起動コマンド）を共有メモリアクセス制御部１６１に複数送出する。前記した第１要求には、データバッファ１６４のデータバッファ番号（バッファ用識別情報）が指定されている。Ｓ２では、共有メモリアクセス制御部１６１は、プロセッサ１５ａからの第１要求を受け、共有メモリ１７に同時に複数アクセスする。なお、ここでいう同時とは、第１要求に応じ、連続して共有メモリ１７へアクセスすることを意味する（以下、実施の形態１〜９において同じ）。
Ｓ３では、共有メモリアクセス制御部１６１は、共有メモリ１７へのアクセス順に、第１要求で指定されたデータバッファ番号をＦＩＦＯ１６２に送出する。これにより、ＦＩＦＯ１６２は、データバッファ番号を順次、格納していく。

なお、本実施の形態では、データバッファ１６４が４個搭載されているので、共有メモリアクセス制御部１６１が同時に共有メモリ１７にアクセス可能な最大数は、４回となる。つまり、最大アクセス数は、データバッファ１６４の搭載数と一致する。

続いて、Ｓ４では、受信データ選択部１６３は、共有メモリアクセス制御部１６１のアクセスにより参照された共有メモリ１７への参照結果を順次、取得する。また、この受信データ選択部１６３は、ＦＩＦＯ１６２から順次、データバッファ番号を取得する。これら参照結果とデータバッファ番号とを取得するタイミングは、同期が取られている。
Ｓ５では、受信データ選択部１６３は、取得した参照結果を、取得したデータバッファ番号が割り当てられたデータバッファ１６４に格納する。なお、本実施の形態においては、データバッファ番号を用いて個々のデータバッファ１６４を特定することとしたが、データバッファ１６４を特定することが可能であれば、これに限定されない。

次のＳ６では、プロセッサ１５ａが、共有メモリ１７への参照結果を返送する第２要求（例えば返送コマンド）をデータバッファ選択部１６５に送出する。当該第２要求を受けたデータバッファ選択部１６５は、４個のデータバッファ１６４のうち、共有メモリ１７への参照結果を格納したデータバッファ１６４から、その参照結果を取得する（Ｓ７）。具体的には、前記した第２要求には、データバッファ番号が指定されているので、データバッファ選択部１６５は、第２要求で指定されたデータバッファ番号が割り振られたデータバッファ１６４から、参照結果を取得する。
Ｓ８では、データバッファ選択部１６５は、データバッファ１６４から取得した参照結果をプロセッサ１５ａに返送する。これにより、プロセッサ１５ａは、共有メモリ１７への参照結果を取得することが可能となる。

このように実施の形態１によると、プロセッサ１５ａは、第１要求を共有メモリアクセス制御部１６１に送出して、共有メモリ１７へのアクセスを複数同時に共有メモリ制御部１６ａに実施させている間、第２要求をデータバッファ選択部１６５に送出して、先にされた第１要求によりアクセス済みの共有メモリ１７への参照結果を取得することが可能となる。したがって、共有メモリ１７へのアクセスおよび参照結果の取得の２つの処理が、オーバラップしながら交互に行われることとなり、１回のアクセスに要する時間をより一層短縮させることが可能となる。プロセッサ１５ｂも同様である。よって、プロセッサ１５ａ、１５ｂは、共有メモリ１７へのアクセスをより高速化して、共有メモリ１７への参照結果を高速に取得することができる。
しかもこの場合、個々のプロセッサ１５ａ、１５ｂは、第１要求を行ってから第２要求を行うまでの間、共有メモリ１７への参照結果を取得するための処理とは別の処理を実行することが可能となる。したがって、ストレージシステム１のシステム性能をさらに向上させることができる。

［実施の形態２］
図３は本発明の実施の形態２における共有メモリ制御部の一例を示すブロック図である。なお、実施の形態１と同一部分については、実施の形態１と同一の符号を付し、重複説明を省略する。
図３に示す共有メモリ制御部１６ａにおいては、個々のデータバッファ１６４ごとに、チェック用メモリ１６６を設けた点に特徴がある。具体的には、データバッファ１６４およびチェック用メモリ１６６の各々が、受信データ選択部１６３とデータバッファ選択部１６５との間に並列に設けられている。それぞれのチェック用メモリ１６６には、データバッファ１６４の格納状況が格納される。ここでいう格納状況というのは、共有メモリ１７への参照結果が格納されているかどうかという意味である。共有メモリ１７への参照結果が格納されている場合、チェック用メモリ１６６には、例えばフラグが立てられる。その他の構成は、図１および図２の場合と同様である。

次に、前記した共有メモリ制御部１６ａの処理手順について説明する。図３に示す共有メモリ制御部１６ａにおいては、Ｓ５Ａ、Ｓ６Ａ、Ｓ６Ｂ、Ｓ６ＣおよびＳ６Ｄを追加した点が、図２の場合と異なるので、これらを主に説明する。
受信データ選択部１６３は、Ｓ５で、データバッファ１６４に共有メモリ１７への参照結果を格納した場合、当該データバッファ１６４に参照結果が格納されていることを示すフラグをチェック用メモリ１６６に立てる（Ｓ５Ａ）。なお、図３では、Ｓ５およびＳ５Ａが、一組のデータバッファ１６４およびチェック用メモリ１６６にのみ記載されているが、他の３組のデータバッファ１６４およびチェック用メモリ１６６の各々に対してもＳ５およびＳ５Ａの処理が実行される。

Ｓ６Ａ〜Ｓ６Ｄは、プロセッサ１５ａが第２要求を送出する（Ｓ６）前に行われる。具体的には、プロセッサ１５ａは、Ｓ６の前に、まず、チェック用メモリ１６６のチェック要求をデータバッファ選択部１６５に行う（Ｓ６Ａ）。当該チェック要求を受けたデータバッファ選択部１６５は、チェック用メモリ１６６の格納状況を取得して（Ｓ６Ｂ）、共有メモリ１７への参照結果がデータバッファ１６４に格納されているかどうかを決定する（Ｓ６Ｃ）。例えば、チェック用メモリ１６６にフラグが立っていた場合、データバッファ選択部１６５は、そのチェック用メモリ１６６に対応づけられたデータバッファ１６４に共有メモリ１７への参照結果が格納されているとする。
続いて、データバッファ選択部１６５は、データバッファ１６４が共有メモリ１７への参照結果を格納済みであるかどうかをプロセッサ１５ａに通知し（Ｓ６Ｄ）、その通知を受けたプロセッサ１５ａは、Ｓ６で、当該通知されたデータバッファ１６４のデータバッファ番号を第２要求で指定して、その第２要求をデータバッファ選択部１６５に送出する。これにより、データバッファ選択部１６５は、データバッファ１６４から、共有メモリ１７への参照結果を確実に取得して（Ｓ７）、プロセッサ１５ａに返送する（Ｓ８）こととなる。このため、データバッファ選択部１６５による参照結果の取得待ちが回避され、プロセッサ１５ａの処理効率が向上する。Ｓ７においてデータバッファ選択部１６５が参照結果を取得できなかった場合、プロセッサ１５ａは、当該参照結果をデータバッファ選択部１６５から取得するまでの間、第２要求の処理待ちの状態になるからである。

［実施の形態３］
図４は本発明の実施の形態３における共有メモリ制御部の一例を示すブロック図である。なお、実施の形態１と同一部分については、実施の形態１と同一の符号を付し、重複説明を省略する。
図４に示す共有メモリ制御部１６ａにおいては、図２に示した４個のデータバッファ１６４に代えて、４個のデータメモリ１６４Ａを搭載した点に特徴がある。また、この共有メモリ制御部１６ａは、図２に示したデータバッファ選択部１６５に代えて、データメモリ選択部１６５Ａを搭載した点に特徴がある。さらに、この共有メモリ制御部１６ａは、共有メモリアドレス記録部１６７および比較器（比較部）１６８をそれぞれ４個設けた点に特徴がある。その他の構成は、図１および図２の場合とほぼ同様である。

次に、前記した共有メモリ制御部１６ａの処理手順について説明する。図４に示すように、まずＳ１０では、プロセッサ１５ａが、共有メモリ１７への参照を起動する第１要求を共有メモリアクセス制御部１６１に複数送出する。Ｓ１１では、共有メモリアクセス制御部１６１は、プロセッサ１５ａからの第１要求を受け、共有メモリ１７に同時に複数アクセスする。具体的には、前記した第１要求には、共有メモリアドレスが指定されているので、共有メモリアクセス制御部１６１は、第１要求で指定された共有メモリアドレスすべてに順次アクセスする。ここでの最大アクセス数も、データメモリ１６４Ａの搭載数が４個のため、最大で４回である。

Ｓ１２では、共有メモリアクセス制御部１６１は、共有メモリ１７へのアクセス順に、第１要求で指定された共有メモリアドレスをＦＩＦＯ１６２に送出する。これにより、ＦＩＦＯ１６２は、共有メモリアドレスを順次、格納していく。

Ｓ１３では、受信データ選択部１６３は、共有メモリアクセス制御部１６１のアクセスにより参照された共有メモリ１７への参照結果を順次、取得する。また、この受信データ選択部１６３は、ＦＩＦＯ１６２から順次、共有メモリアドレスを取得する。これら参照結果と共有メモリアドレスとを取得するタイミングは、同期が取られている。

Ｓ１４では、受信データ選択部１６３は、共有メモリ１７から取得した参照結果をデータメモリ１６４Ａに格納する。なお、格納先のデータメモリ１６４Ａは、受信データ選択部１６３により設定されていることとする。
Ｓ１５では、受信データ選択部１６３は、ＦＩＦＯ１６２から取得した共有メモリアドレスを共有メモリアドレス記録部１６７に記録する。このとき記録先となる共有メモリアドレス記録部１６７は、Ｓ１４で格納先となったデータメモリ１６４Ａに対応づけられたものである。この対応づけは、受信データ選択部１６３内の出力ポートの設定などにより行われている。

Ｓ１６では、プロセッサ１５ａが、共有メモリ１７への参照結果を返送する第２要求を４個の比較器１６８に送出する。この第２要求には、共有メモリアドレスが指定されている。当該第２要求を受けた比較器１６８の各々は、個々の共有メモリアドレス記録部１６７に記録されている共有メモリアドレスと、当該第２要求で指定された共有メモリアドレスとを比較する。そして、比較器１６８の各々は、前記した比較の結果をデータメモリ選択部１６５Ａに送出する（Ｓ１７）。例えば、データメモリ１６４Ａに、第２要求で指定されたメモリアドレスの参照結果が格納されていた場合、比較器１６８が、一致する旨を示す比較の結果を送出する。他方、データメモリ１６４Ａに、第２要求で指定されたメモリアドレスの参照結果が格納されていない場合、比較器１６８が、不一致の旨を示す比較の結果を送出する。

Ｓ１８では、データメモリ選択部１６５Ａは、４個の比較器１６８のうち、共有メモリアドレスの一致を示す比較の結果を送出した比較器１６８に対応づけられているデータメモリ１６４Ａから、参照結果を取り出す。これにより、データメモリ選択部１６５Ａは、第２要求で指定された共有メモリアドレスに格納されていた参照結果を確実に得ることとなる。データメモリ選択部１６５Ａおよび比較器１６８の対応づけは、データメモリ選択部１６５Ａ内の入力ポートの設定などにより行われている。

なお、前記したＳ１７において、例えば、４個の比較器１６８すべてが、不一致の旨を示す比較の結果をデータメモリ選択部１６５Ａに送出した場合、データメモリ選択部１６５Ａは、次のような処理を行う。すなわち、データメモリ選択部１６５Ａは、第２要求で指定された共有メモリアドレスの参照結果がデータメモリ１６４Ａに保持されるまでの間、当該第２要求の処理待ちを行う。ここで、参照結果がデータメモリ１６４Ａに保持されるまでの間とあるが、これは、データメモリ選択部１６５Ａが、比較器１６８から、共有メモリアドレスの一致を示す比較の結果を取得するまでの期間を意味する。データメモリ選択部１６５Ａが第２要求の処理待ちを行う場合、プロセッサ１５ａも、データメモリ選択部１６５Ａから参照結果を取得することができず、第２要求の処理待ちを行うこととなる。

Ｓ１９では、データメモリ選択部１６５Ａは、取得した参照結果をプロセッサ１５ａに返送する。これにより、プロセッサ１５ａは、共有メモリアドレスを指定して、その共有メモリアドレスに格納されているデータを参照結果として取得することが可能となる。この場合、プロセッサ１５ａは、データバッファ番号を指定して所望の参照結果を取得する実施の形態１の場合とは異なり、データバッファ番号などをプロセッサ１５ａ側で管理する仕組みが不要となり、有用である。

［実施の形態４］
図５は本発明の実施の形態４における共有メモリ制御部の一例を示すブロック図である。なお、実施の形態３と同一部分については、実施の形態３と同一の符号を付し、重複説明を省略する。
図５に示す共有メモリ制御部１６ａにおいては、個々のデータメモリ１６４Ａおよび共有メモリアドレス記録部１６７ごとに、チェック用メモリ１６６を設けた点に特徴がある。チェック用メモリ１６６の各々には、データメモリ１６４Ａの格納状況が格納される。ここでいう格納状況というのは、共有メモリ１７への参照結果がデータメモリ１６４Ａに格納されているかどうかという意味である。共有メモリ１７への参照結果が格納されている場合、チェック用メモリ１６６には、例えばフラグが立てられる。その他の構成は、図１および図４の場合と同様である。

次に、前記した共有メモリ制御部１６ａの処理手順について説明する。図５に示す共有メモリ制御部１６ａにおいては、Ｓ１５Ａ、Ｓ１６Ａ、Ｓ１６Ｂ、１６ＣおよびＳ１６Ｄを追加した点が、図４の場合と異なるので、これらを主に説明する。
受信データ選択部１６３は、Ｓ１４で、データメモリ１６４Ａに共有メモリ１７への参照結果を格納した場合、共有メモリアドレスを共有メモリアドレス記録部１６７に記録する（Ｓ１５）とともに、当該データメモリ１６４Ａに参照結果が格納されていることを示すフラグをチェック用メモリ１６６に立てる（Ｓ１５Ａ）。

Ｓ１６Ａ〜１６Ｄは、プロセッサ１５ａが第２要求を送出する（Ｓ１６）前に行われる。具体的には、プロセッサ１５ａは、Ｓ１６の前に、まずＳ１６Ａで、共有メモリ１７のアドレスを指定して、チェック用メモリ１６６のチェック要求をデータメモリ選択部１６５Ａに行う。当該チェック要求を受けたデータメモリ選択部１６５Ａは、共有メモリアドレス記録部１６７に格納されている共有メモリアドレスとプロセッサ１５ａから指定された共有メモリアドレスを比較器１６８で比較して４個のチェック用メモリ１６６の一つを選んで格納状況を取得する（Ｓ１６Ｂ）。その結果、データメモリ選択部１６５Ａは、共有メモリ１７への参照結果がデータメモリ１６４Ａに格納済みであるかどうかを決定する（Ｓ１６Ｃ）。
続いて、データメモリ選択部１６５Ａは、決定された格納状況をプロセッサ１５ａに通知し（Ｓ６Ｄ）、その通知を受けたプロセッサ１５ａは、Ｓ１６で、当該通知された共有メモリアドレスを第２要求で指定して、その第２要求を比較器１６８に送出する。これにより、ある比較部１６８における比較が一致し、データメモリ選択部１６５Ａは、その比較器１６８から、一致した旨を示す比較の結果を取得する（Ｓ１７）。このため、データメモリ選択部１６５Ａは、データメモリ１６４Ａから参照結果を確実に取得して（Ｓ１８）、プロセッサ１５ａに返送する（Ｓ１９）こととなる。よって、プロセッサ１５ａにより指定された共有メモリ１７への参照結果が確実にプロセッサ１５ａに返送されることとなり、プロセッサ１５ａの処理効率が向上する。

［実施の形態５］
図６は本発明の実施の形態５に係るストレージシステムを含む全体構成を示すブロック図である。なお、実施の形態１ないし４と同一部分については、実施の形態１ないし実施の形態４と同一の符号を付し、重複説明を省略する。
図６に示すストレージシステム１においては、図１に示した２台のプロセッサ１５ａ、１５ｂのほかにも、６台のプロセッサ１５ｃ、１５ｄ、１５ｅ、１５ｆ、１５ｇ、１５ｈを搭載した点に特徴がある。そして、これらの８台のプロセッサ１５ａ〜１５ｈの各々には、共有メモリ制御部１６ａ〜１６ｈが接続され、個々のプロセッサ１５ａ〜１５ｈが、１個の共有メモリ１７に共有メモリ制御部１６ａ〜１６ｈを介してアクセス可能に構成されている点に特徴がある。４台のプロセッサ１５ａ〜１５ｄは、制御データなどのデータを共有メモリ１７に格納し、他の４台のプロセッサ１５ｅ〜１５ｈに処理を引き継ぐように構成されている。共有メモリ制御部１６ａ〜１６ｈの構成は、図２ないし図５と同様である。このように構成すると、実施の形態１ないし実施の形態４とほぼ同様の作用効果を有するほか、８台のプロセッサ１５ａ〜１５ｈを用いて分散処理を行うので、ストレージシステム１全体からみて、より高速な共有メモリ１７へのアクセスを実現することが可能となる。

［実施の形態６］
図７は本発明の実施の形態６に係るストレージシステムを含む全体構成を示すブロック図である。なお、実施の形態１と同一部分については、実施の形態１と同一の符号を付し、重複説明を省略する。
図７に示すストレージシステム１においては、図１に示したプロセッサ１５ａ、１５ｂの各々にローカルメモリ１８ａ、１８ｂを設けた点に特徴がある。具体的には、ローカルメモリ１８ａは、プロセッサ１５ａに接続されている。また、ローカルメモリ１８ｂは、プロセッサ１５ｂに接続されている。なお、図７では、ローカルメモリ１８ａ、１８ｂの各々が、別個独立に設けられているが、個々のプロセッサ１５ａ、１５ｂ内に搭載するようにしてもよい。その他の構成は、図１の場合とほぼ同様である。

ここでは、まず、各プロセッサ１５ａ、１５ｂは、共有メモリ１７への参照を起動する要求を、それぞれの共有メモリ制御部１６ａ、１６ｂにそれぞれ複数送出する。続いて、各共有メモリ制御部１６ａ、１６ｂは、各プロセッサ１５ａ、１５ｂからの要求に応じ、共有メモリ１７を同時に複数参照して、それら複数の参照結果を各ローカルメモリ１８ａ、１８ｂへ送出する。次に、各プロセッサ１５ａ、１５ｂは、それぞれの共有メモリ制御部１６ａ、１６ｂにより送出された複数の参照結果を、各ローカルメモリ１８ａ、１８ｂから取り出すように構成されている。このように構成することにより、プロセッサ１５ａ、１５ｂの各々が、それぞれのローカルメモリ１８ａ、１８ｂにアクセスして共有メモリ１７の参照結果を取得することが可能となる。よって、共有メモリ１７への参照結果をより一層高速に取得することが可能となる。以下にこれらの内容を詳述する。

図８に示すように、共有メモリ制御部１６ａは、図２に示した共有メモリアクセス制御部１６１およびＦＩＦＯ１６２のほか、パラメータバッファ選択部１６９、４個のパラメータバッファ１７０および受信データ転送部（送出部）１７１を搭載している。個々のパラメータバッファ１７０は、共有メモリ１７の共有メモリアドレス、およびローカルメモリ１８ａのローカルメモリアドレスを格納する。共有メモリアドレスは、共有メモリ１７へのアクセス先を示す。また、ローカルメモリアドレスは、共有メモリ１７への参照結果の格納先を示す。
パラメータバッファ選択部１６９および受信データ転送部１７１も、共有メモリアクセス制御部１６１と同様、例えばＬＳＩ（Large Scale Integration）などで構成されている。なお、図８では共有メモリ制御部１６ａについて記載しているが、共有メモリ制御部１６ｂもこれと同様である。

次に、共有メモリ制御部１６ａの処理手順について説明する。図８に示すように、まずＳ２０では、プロセッサ１５ａが、共有メモリ１７への参照を起動する起動要求（例えば起動コマンド）をパラメータバッファ選択部１６９に複数送出する。前記した起動要求には、パラメータバッファ１７０のパラメータバッファ番号（パラメータバッファ用識別情報）と、共有メモリアドレスと、ローカルメモリアドレスが指定されている。共有メモリアドレスとローカルメモリアドレスは、指定された番号のパラメータバッファ１７０に格納される。Ｓ２１では、パラメータバッファ選択部１６９は、プロセッサ１５ａからの起動要求を受け、パラメータバッファ１７０の各々から、共有メモリアドレスおよびローカルメモリアドレスを取り出す。パラメータバッファ１７０の選定は、起動要求で指定されたパラメータバッファ番号に基づいて行われる。なお、パラメータバッファ１７０の搭載数が４個のため、プロセッサ１５ａは、前記した起動要求に最大４つのパラメータバッファ番号を指定することが可能である。

Ｓ２２では、パラメータバッファ選択部１６９は、それぞれのパラメータバッファ１７０から取り出した共有メモリアドレスおよびローカルメモリアドレスを共有メモリアクセス制御部１６１に送出する。
Ｓ２３では、共有メモリアクセス制御部１６１は、パラメータバッファ選択部１６９により送出された共有メモリアドレスに順次アクセスする。例えば、送出された共有メモリアドレスが４つの場合、共有メモリアクセス制御部１６１は、それぞれの共有メモリアドレスに順次アクセスすることとなる。
Ｓ２４では、共有メモリアクセス制御部１６１は、共有メモリ１７へのアクセス順に、パラメータバッファ選択部１６９により送出されたローカルメモリアドレスをＦＩＦＯ１６２に送出する。これにより、ＦＩＦＯ１６２は、ローカルメモリアドレスを順次、格納していく。

Ｓ２５では、受信データ転送部１７１は、共有メモリアクセス制御部１６１のアクセスにより参照された共有メモリ１７への参照結果を順次、取得する。また、この受信データ転送部１７１は、ＦＩＦＯ１６２から順次、ローカルメモリアドレスを取得する。これら参照結果とデータバッファ番号とを取得するタイミングは、同期が取られている。
Ｓ２６では、受信データ転送部１７１は、共有メモリ１７から取得した参照結果を、ＦＩＦＯ１６２から取得したローカルメモリアドレス宛てに転送する。これにより、その後、プロセッサ１５ａは、ローカルメモリ１８ａに直接アクセスして、参照結果を取得することが可能となる。ローカルメモリ１８ａのアクセス先は、受信データ転送部１７１により転送されたローカルメモリアドレスである。プロセッサ１５ｂも同様である。よって、個々のプロセッサ１５ａ、１５ｂは、共有メモリ１７への参照結果を高速に取得することができる。

［実施の形態７］
図９は本発明の実施の形態７における共有メモリ制御部の一例を示すブロック図である。なお、実施の形態６と同一部分については、実施の形態６と同一の符号を付し、重複説明を省略する。
図９に示す共有メモリ制御部１６ａにおいては、個々のパラメータバッファ１７０ごとに、チェック用メモリ１６６を設けた点に特徴がある。具体的には、チェック用メモリ１６６およびパラメータバッファ１７０の各々は、パラメータバッファ選択部１６９と受信データ転送部１７１との間に並列に設けられている。チェック用メモリ１６６の各々には、ローカルメモリ１８ａへの転送状況（送出状況）が格納される。ここでいう転送状況というのは、パラメータバッファ１７０に格納された共有メモリアドレスの参照結果が、そのパラメータバッファ１７０に格納されたローカルメモリアドレスに転送されたかどうかを意味する。ローカルメモリ１８ａへの転送が完了している場合、チェック用メモリ１６６には、例えばフラグが立てられる。その他の構成は、図７および図８の場合と同様である。

次に、前記した共有メモリ制御部１６ａの処理手順について説明する。図９に示す共有メモリ制御部１６ａにおいては、Ｓ２７、Ｓ２８Ａ、Ｓ２８Ｂ、Ｓ２８ＣおよびＳ２８Ｄを追加した点が、図８の場合と異なるので、これらを主に説明する。
受信データ転送部１７１は、Ｓ２６で、共有メモリ１７から取得した参照結果をローカルメモリアドレス宛てに転送した後、Ｓ２７に進む。
Ｓ２７では、受信データ転送部１７１は、該当するチェック用メモリ１６６に、転送が完了したことを示すフラグを立てる。ここで、該当するチェック用メモリ１６６とあるが、これは、Ｓ２６で転送した転送先のローカルメモリアドレスを格納していたパラメータバッファ１７０に対応するチェック用メモリ１６６を指す。なお、チェック用メモリ１６６およびパラメータバッファ１７０の対応づけは、受信データ転送部１７１内の出力ポートの設定などにより行われる。

Ｓ２８Ａ〜Ｓ２８Ｄは、プロセッサ１５ａがローカルメモリ１８ａにアクセスする前に行われる。具体的には、プロセッサ１５ａは、ローカルメモリ１８ａへのアクセス前に、まずＳ２８Ａで、チェック用メモリ１６６のチェック要求をパラメータバッファ選択部１６９に行う。当該チェック要求を受けたパラメータバッファ選択部１６９は、４個のチェック用メモリ１６６から転送状況を取得し（Ｓ２８Ｂ）、ローカルメモリ１８ａへの転送が完了しているかどうかを判定する（Ｓ２８Ｃ）。次に、パラメータバッファ選択部１６９は、判定した結果をプロセッサ１５ａに通知する（Ｓ２８Ｄ）。これにより、その通知を受けたプロセッサ１５ａは、通知されたパラメータバッファ１７０に格納しておいたローカルメモリアドレスにアクセスして、共有メモリ１７への参照結果をローカルメモリ１８ａから確実に取得することが可能となる。したがって、共有メモリ１７への参照結果の取得待ちが回避され、有用である。

［実施の形態８］
図１０は本発明の実施の形態８における共有メモリ制御部の一例を示すブロック図である。なお、実施の形態６と同一部分については、実施の形態６と同一の符号を付し、重複説明を省略する。
図１０に示す共有メモリ制御部１６ａにおいては、図８に示した４個のパラメータバッファ１７０に代えて、１個のパラメータアドレスレジスタ１７２を搭載した点に特徴がある。また、この共有メモリ制御部１６ａは、図８に示したパラメータバッファ選択部１６９に代えて、パラメータ読出部１７３を搭載した点に特徴がある。さらに、この共有メモリ制御部１６ａは、パラメータ受信バッファ１７４を搭載した点に特徴がある。パラメータ読出部１７３も、例えばＬＳＩ（Large Scale Integration）などで構成されている。

ローカルメモリ１８ａには、プロセッサ１５ａにより、共有メモリアドレスおよびローカルメモリアドレスの組がパラメータとして複数組、あらかじめ格納されている。この格納例を図１１に示す。
図１１によると、ローカルメモリ１８ａには、パラメータ数とともに、共有メモリアドレスおよびローカルメモリアドレスの組が複数組、格納されている。ここでいうパラメータ数というのは、共有メモリアドレスおよびローカルメモリアドレスの組を１つのパラメータとした場合のパラメータ数を意味する。つまり、パラメータ数は、共有メモリアドレスおよびローカルメモリアドレスの組数を指定するための変数である。

図１０に戻って、パラメータアドレスレジスタ１７２は、ローカルメモリ１８ａに格納された複数組のパラメータのうち、その先頭のパラメータを示すローカルメモリアドレスを格納する。例えば、図１１に示したローカルメモリ１８ａの場合、パラメータ数を格納するローカルメモリアドレスがパラメータアドレスレジスタ１７２に格納される。その他の構成は、図７および図８の場合と同様である。

次に、前記した共有メモリ制御部１６ａの処理手順について説明する。図１０に示すように、まずＳ３０では、プロセッサ１５ａが、共有メモリ１７への参照を起動する起動要求をパラメータアドレスレジスタ１７２に行う。ここでの起動要求には、ローカルメモリ１８ａに格納された複数組のパラメータのうち、その先頭のパラメータを示すローカルメモリアドレスが指定されている。Ｓ３１では、パラメータアドレスレジスタ１７２が、プロセッサ１５ａからの起動要求で指定されたローカルメモリアドレスをパラメータ読出部１７３に送出する。

Ｓ３２では、パラメータ読出部１７３は、パラメータアドレスレジスタ１７２から送出されたローカルメモリアドレスにアクセスし、ローカルメモリ１８ａから、共有メモリアドレスおよびローカルメモリアドレスの組を複数組、読み出す。ここで読み出される組数は、図１１に示したパラメータ数で決まることになる。例えば、パラメータ数が３を示していた場合、３組の共有メモリアドレスおよびローカルメモリアドレスが読み出されることとなる。
Ｓ３３では、パラメータ読出部１７３は、読み出した共有メモリアドレスおよびローカルメモリアドレスの組を複数組、パラメータ受信バッファ１７４に送出する。

Ｓ３４では、パラメータ受信バッファ１７４は、パラメータ読出部１７３から送出された共有メモリアドレスおよびローカルメモリアドレスの組を順次、共有メモリアクセス制御部１６１に送出する。
Ｓ３５では、共有メモリアクセス制御部１６１は、共有メモリアドレスおよびローカルメモリアドレスの組を取得した順に、パラメータ受信バッファ１７４により送出された共有メモリアドレスにアクセスする。Ｓ３６では、共有メモリアクセス制御部１６１は、共有メモリアドレスへのアクセス順に、パラメータ受信バッファ１７４により送出されたローカルメモリアドレスをＦＩＦＯ１６２に送出する。これにより、ＦＩＦＯ１６２は、ローカルメモリアドレスを順次、格納していく。

Ｓ３７では、受信データ転送部１７１は、共有メモリアクセス制御部１６１のアクセスにより参照された共有メモリ１７への参照結果を順次、取得する。また、この受信データ転送部１７１は、ＦＩＦＯ１６２から順次、ローカルメモリアドレスを取得する。これら参照結果とローカルメモリアドレスとを取得するタイミングは、同期が取られている。
Ｓ３８では、受信データ転送部１７１は、取得した参照結果を、取得したローカルメモリアドレス宛てに転送する。これにより、その後、プロセッサ１５ａは、ローカルメモリ１８ａに直接アクセスして、参照結果を取得することが可能となる。ローカルメモリ１８ａのアクセス先は、受信データ転送部１７１により転送されたローカルメモリアドレスである。よって、プロセッサ１５ａは、共有メモリ１７への参照結果を高速に取得することができる。

なお、実施の形態８において、ローカルメモリ１８ａのデータ構造は、図１１の場合で説明したが、例えば、図１２に示すように構成してもよい。図１２によると、共有メモリアドレスおよびローカルメモリアドレスの組の先頭から最後の組まで１つずつリンクが張られている。このように構成しても、図１１の場合と同様、共有メモリアドレスおよびローカルメモリアドレスの組を複数組、設定することが可能となり、プロセッサ１５ａは、共有メモリ１７への参照結果を高速に取得することができる。
また、ローカルメモリ１８ａに、共有メモリアドレスおよびローカルメモリアドレスの組を格納しておく場合について説明したが、ローカルメモリ１８ａとは別のローカルメモリに格納するようにしてもよい。

［実施の形態９］
図１３は本発明の実施の形態９に係るストレージシステムを含む全体構成を示すブロック図である。なお、実施の形態６ないし８と同一部分については、実施の形態６ないし実施の形態８と同一の符号を付し、重複説明を省略する。
図１３に示すストレージシステム１においては、図７に示した２台のプロセッサ１５ａ、１５ｂのほかにも、６台のプロセッサ１５ｃ、１５ｄ、１５ｅ、１５ｆ、１５ｇ、１５ｈを搭載している。これらの８台のプロセッサ１５ａ〜１５ｈの各々には、共有メモリ制御部１６ａ〜１６ｈが接続されている。そして、個々のプロセッサ１５ａ〜１５ｈには、ローカルメモリ１８ａ〜１８ｈが接続されている点に特徴がある。４台のプロセッサ１５ａ〜１５ｄは、制御データなどのデータを共有メモリ１７に格納し、他の４台のプロセッサ１５ｅ〜１５ｈに処理を引き継ぐように構成されている。共有メモリ制御部１６ａ〜１６ｈの構成は、図８ないし図１０と同様である。このように構成すると、実施の形態６ないし実施の形態８とほぼ同様の作用効果を有するほか、８台のプロセッサ１５ａ〜１５ｈが分散処理を行うので、ストレージシステム１の全体からみて、共有メモリ１７への参照結果をより高速に取得することが可能となる。

なお、本発明は、前記した実施の形態１〜９に限定されない。ストレージシステム１の構成、データ構造および処理手順は、本発明の趣旨を逸脱しない限り、変更して構成するようにしてもよい。例えば、ディスクドライブ群の数を変更してもよいし、また、プロセッサの台数を変更してもよい。さらに、ストレージシステム１は、一体型の場合について説明したが、例えば、ディスクドライブ群とプロセッサとを分離して構成するようにしてもよい。

本発明の実施の形態１に係るストレージシステムを含む全体構成を示すブロック図である。 図１に示した共有メモリ制御部の一例を示すブロック図である。 本発明の実施の形態２における共有メモリ制御部の一例を示すブロック図である。 本発明の実施の形態３における共有メモリ制御部の一例を示すブロック図である。 本発明の実施の形態４における共有メモリ制御部の一例を示すブロック図である。 本発明の実施の形態５に係るストレージシステムを含む全体構成を示すブロック図である。 本発明の実施の形態６に係るストレージシステムを含む全体構成を示すブロック図である。 図７に示した共有メモリ制御部の一例を示すブロック図である。 本発明の実施の形態７における共有メモリ制御部の一例を示すブロック図である。 本発明の実施の形態８における共有メモリ制御部の一例を示すブロック図である。 図１０に示したローカルメモリのデータ構成例を示す説明図である。 他のローカルメモリのデータ構成例を示す説明図である。 本発明の実施の形態９に係るストレージシステムを含む全体構成を示すブロック図である。

符号の説明

１ ストレージシステム
２ 通信ネットワーク
３ ホスト（外部装置）
１２ａ、１２ｂ ディスクドライブ群
１５ａ〜１５ｈ プロセッサ（処理部）
１６ａ〜１６ｈ 共有メモリ制御部
１７ 共有メモリ
１２１ ドライブグループ

Claims (11)

1. ホスト計算機またはディスクドライブとの間における情報の授受を制御する複数の処理部と、前記複数の処理部により参照可能な共有メモリと、前記処理部ごとに設けられ前記共有メモリへの参照を制御する共有メモリ制御部とを含んで構成されるストレージシステムであって、
   前記各処理部は、前記共有メモリへの参照を起動する第１要求を、各々の前記共有メモリ制御部にそれぞれ複数送出し、
   前記各共有メモリ制御部は、前記第１要求に応じ、前記共有メモリを同時に複数参照するとともに、前記各処理部からの第２要求に応じ、前記共有メモリへの参照結果を当該各処理部に返送することを特徴とするストレージシステム。
2. 請求項１に記載のストレージシステムにおいて、前記共有メモリ制御部は、前記共有メモリへの参照結果を格納する複数のデータバッファと、前記第１要求により前記共有メモリへアクセスする共有メモリアクセス制御部と、前記第１要求で指定された前記データバッファに前記共有メモリアクセス制御部によりアクセスされた前記共有メモリへの参照結果を格納する参照結果登録部と、前記第２要求で指定された前記データバッファから、前記共有メモリへの参照結果を取り出し、その参照結果を前記各処理部に返送する返送部とをさらに有することを特徴とするストレージシステム。
3. 請求項２に記載のストレージシステムにおいて、前記共有メモリ制御部は、前記各データバッファに関して前記共有メモリへの参照結果の格納状況を格納するチェック用メモリをさらに有し、
   前記返送部は、前記第２要求で指定された前記データバッファから前記参照結果を取り出す場合、前記チェック用メモリの格納状況を事前に参照して、前記共有メモリへの参照結果を格納したデータバッファを特定しておき、前記特定したデータバッファから前記参照結果を取り出すことを特徴とするストレージシステム。
4. 請求項１に記載のストレージシステムにおいて、前記共有メモリ制御部は、前記共有メモリへの参照結果を格納する複数のデータメモリと、前記第１要求で指定された共有メモリメモリアドレスにアクセスする共有メモリアクセス制御部と、この共有メモリアクセス制御部によりアクセスされた共有メモリへの参照結果を前記データメモリに格納する参照結果登録部と、この参照結果登録部により格納されるごとに、前記第１要求で指定された共有メモリアドレスを記録する複数の共有メモリアドレス記録部と、前記共有メモリアドレス記録部の各々に記録された前記共有メモリアドレスと前記第２要求で指定された前記共有メモリアドレスとを比較する複数の比較部と、前記各比較部における比較により共有メモリアドレスが一致した場合に、当該一致した共有メモリアドレスに格納されていた前記参照結果を前記データメモリから取り出して前記各処理部に返送する返送部とをさらに有することを特徴とするストレージシステム。
5. 前記返送部は、前記複数の比較部での比較の結果がすべて不一致の場合、いずれかの比較部で当該比較の結果が一致するまでの間、当該第２要求の処理待ちを行うことを特徴とする請求項４に記載のストレージシステム。
6. 請求項４に記載のストレージシステムにおいて、前記共有メモリ制御部は、前記各データメモリに関して前記共有メモリへの参照結果の格納状況を格納するチェック用メモリをさらに有し、
   前記返送部は、前記データメモリから前記参照結果を取り出して返送する場合、前記チェック用メモリの格納状況を事前に参照して、前記共有メモリへの参照結果を保持したデータメモリを特定しておき、前記特定したデータメモリから前記参照結果を取り出すことを特徴とするストレージシステム。
7. ホスト計算機またはディスクドライブとの間における情報の授受を制御する複数の処理部と、前記複数の処理部により参照可能な共有メモリと、前記処理部ごとに設けられ前記共有メモリへの参照を制御する共有メモリ制御部と、個々の前記処理部に設けられたローカルメモリとを含んで構成されるストレージシステムであって、
   前記各処理部は、前記共有メモリへの参照を起動する要求を、各々の前記共有メモリ制御部にそれぞれ複数送出し、
   前記各共有メモリ制御部は、前記各処理部からの要求に応じ、前記共有メモリを同時に複数参照して、前記複数の参照結果を前記各ローカルメモリへ送出し、
   前記各処理部は、前記各共有メモリ制御部により送出された前記複数の参照結果を前記各ローカルメモリから取り出すことを特徴とするストレージシステム。
8. 請求項７に記載のストレージシステムにおいて、前記共有メモリ制御部は、前記共有メモリの共有メモリアドレスおよび前記ローカルメモリのローカルメモリアドレスを格納する複数のパラメータバッファと、前記各処理部からの要求で指定された前記パラメータバッファから、前記共有メモリアドレスおよび前記ローカルメモリアドレスを取り出すパラメータバッファ選択部と、このパラメータバッファ選択部により取り出された共有メモリアドレスに順次アクセスする共有メモリアクセス制御部と、この共有メモリアクセス制御部によりアクセスされた共有メモリへの参照結果をそれぞれ、前記パラメータバッファ選択部により取り出されたローカルメモリアドレスへ送出する送出部とをさらに有することを特徴とするストレージシステム。
9. 請求項８に記載のストレージシステムにおいて、前記共有メモリ制御部は、前記各パラメータバッファに格納された前記ローカルメモリアドレスへの送出状況を格納する複数のチェック用メモリをさらに有し、
   前記処理部は、前記ローカルメモリより前記共有メモリへの参照の結果を取り出すとき、前記各チェック用メモリの送出状況を事前に参照して、格納済みである時のみ前記ローカルメモリより前記共有メモリの参照結果を取り出すことを特徴とするストレージシステム。
10. 請求項７に記載のストレージシステムにおいて、前記ローカルメモリは、前記共有メモリの共有メモリアドレスおよびローカルメモリアドレスの組をパラメータとして複数組、格納し、
    前記各処理部は、前記共有メモリへの参照を起動する要求を送出する場合、前記ローカルメモリに格納された前記複数組のパラメータの先頭をパラメータレジスタに書き込むことにより当該要求を行い、
    前記各共有メモリ制御部は、前記要求により前記パラメータレジスタに書き込まれた前記パラメータの先頭に基づき共有メモリアドレスおよびローカルメモリアドレスの組を複数組、前記ローカルメモリから読み出すパラメータ読出部と、このパラメータ読出部により読み出された共有メモリアドレスから順に複数アクセスする共有メモリアクセス制御部と、この共有メモリアクセス制御部のアクセスにより得た参照結果をそれぞれ、前記パラメータ読出部により読み出されたローカルメモリアドレス宛てに送出する送出部とをさらに有することを特徴とするストレージシステム。
11. 請求項４に記載のストレージシステムにおいて、前記データメモリおよび前記共有メモリアドレス制御部は、それぞれ４個設けられ、前記共有メモリ制御部は、前記各データメモリへの前記参照結果の格納状況を格納する４個のチェック用メモリをさらに有し、
    前記返送部は、前記データメモリの各々から前記参照結果を取り出す場合、前記４個のチェック用メモリの格納状況をすべて事前に参照して、前記共有メモリへの参照結果を格納したデータメモリを特定しておき、前記特定したデータメモリから前記参照結果を取り出すことを特徴とするストレージシステム。

Images