JP2005309680A - 記憶サブシステム管理方法 - Google Patents

記憶サブシステム管理方法 Download PDF

Info

Publication number
JP2005309680A
JP2005309680A JP2004124385A JP2004124385A JP2005309680A JP 2005309680 A JP2005309680 A JP 2005309680A JP 2004124385 A JP2004124385 A JP 2004124385A JP 2004124385 A JP2004124385 A JP 2004124385A JP 2005309680 A JP2005309680 A JP 2005309680A
Authority
JP
Japan
Prior art keywords
storage
port
host computer
management
storage subsystem
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004124385A
Other languages
English (en)
Other versions
JP4455137B2 (ja
Inventor
Chiyokuki Watanabe
直企 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2004124385A priority Critical patent/JP4455137B2/ja
Priority to US10/873,271 priority patent/US7548924B2/en
Priority to EP04015352A priority patent/EP1589411A3/en
Publication of JP2005309680A publication Critical patent/JP2005309680A/ja
Application granted granted Critical
Publication of JP4455137B2 publication Critical patent/JP4455137B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • G06F3/0637Permissions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • G06F3/0605Improving or facilitating administration, e.g. storage management by facilitating the interaction with a user or administrator
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061Improving I/O performance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614Improving the reliability of storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • G06F3/0635Configuration or reconfiguration of storage systems by changing the path, e.g. traffic rerouting, path reconfiguration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00Network arrangements, protocols or services for addressing or naming
    • H04L61/45Network directories; Name-to-address mapping
    • H04L61/4541Directories for service discovery
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Abstract

【課題】サブシステムにおいて、簡易に効率よくインタフェースポートを管理・使用する。
【解決手段】ホスト計算機101および記憶サブシステム102を有する情報処理システムに対してポートの割り当てを行なう管理計算機103に、複数のポート、複数の論理デバイス、およびホスト計算機101を管理単位であるストレージドメイン毎にグループ分けするステップと、ホスト計算機101から論理デバイス105に対するディスカバリ要求を受け付けた場合、グループ分けしたストレージドメインの中から、ディスカバリ要求を送信したホスト計算機101および要求されている論理デバイス105が属するストレージドメインを特定するステップと、特定したストレージドメインに属するポート204を選択し、該選択したポートを該論理デバイスに割り当てるステップと、を行なわせる。
【選択図】図1

Description

本発明はコンピュータシステムのデータを格納する記憶サブシステム及びこれらの統合システムに関し、特に、記憶サブシステムが複数のインタフェースポートを実装する場合における、インタフェースポート間の負荷分散や障害回避の技術に関する。
大量の電子データを管理するシステムに、ディスクアレイ装置に代表される記憶サブシステムがある。記憶サブシステムでは、電子データを効率的に利用するために、障害回避や負荷分散処理を行うが必要である。
従来から、ホスト計算機および記憶サブシステムを有する情報処理システムにおいて、ホスト計算機と記憶サブシステムとの間で負荷分散、後退処理を行なうデバイスプログラムが知られている(非特許文献1)。
http://japan.emc.com/local/ja/JP/products/product_pdfs/ds/powerpath_ds.pdf
ところで、大規模な記憶サブシステムでは、管理者が記憶サブシステムの論理デバイスとポートとの組み合わせを全て設定する必要があり、管理が複雑であるという問題を有している。
しかしながら、上記非特許文献1では、記憶サブシステムにおける統合管理について、特に考慮されていない。
また、上記非特許文献1では、負荷分散処理や障害回避処理を行なう場合、記憶サブシステムに接続するホストコンピュータ上に負荷分散処理および障害回避処理を行なうデバイスプログラムを実装する必要がある。しかしながら、上記非特許文献1のデバイスプログラムは、汎用的なプロトコルを用いるレイヤの上位レイヤで、独自のプロトコルにしたがい、負荷分散処理や障害回避処理を行なうように設計されている。
そのため、上記非特許文献1では、ホスト計算機と記憶サブシステムとの間における相互互換性の問題が発生する。具体的には製造メーカが異なる複数のディスクアレイ装置が接続されている記憶サブシステムの負荷分散や障害回避処理を行なう場合、ホストコンピュータ上にその記憶サブシステムの製造メーカ毎のデバイスプログラムを実装させる必要がある。
そこで、本発明の目的は、大規模、または複雑な記憶サブシステムにおいて、簡易に効率よくインタフェースポートを管理・使用することにある。
上記課題を解決するため、本発明の一態様は、少なくとも1台のホスト計算機と、前記ホスト計算機にネットワークを介して接続されている、少なくとも1台の記憶サブシステムとを有する情報処理システムに対して、ポートの割り当てを行なう管理計算機に適用される。
ここで、前記記憶サブシステムは、複数の論理デバイスおよび複数のポートを有し、前記ネットワークに複数のポートを介して接続されている。そして、前記管理計算機は、前記記憶サブシステムの管理単位である、1以上のストレージドメインを示すデータの入力を受付けるステップと、前記複数のポート、前記複数の論理デバイス、およびホスト計算機を、前記1以上のストレージドメインにグループ分けするステップと、前記ホスト計算機から、前記論理デバイスに対するディスカバリ要求を受け付けた場合に、前記グループ分けしたストレージドメインの中から、該ディスカバリ要求を送信したホスト計算機および要求されている論理デバイスの両者が属するストレージドメインを特定するステップと、前記特定したストレージドメインに属するポートを選択し、該選択したポートを該論理デバイスに割り当てるステップと、前記割り当てたポートの情報を前記ホスト計算機に送信するステップと、を実行する。
このように本発明によれば、記憶サブシステムが有する複数のポートおよび複数の論理デバイスと、ホスト計算機とを、1以上のストレージドメインにグループ分けするようにしている。そして、本発明では、グループ分けしたストレージドメインの中から、ディスカバリ要求を送信したホスト計算機および要求されている論理デバイスの両者が属するストレージドメインを特定し、その特定したストレージドメインに属するポートを選択するようにしている。これにより、本発明では、複数のポートおよび複数の論理デバイスをグループ分けしておくだけで、論理デバイスとポートを1対1に対応させて設定することなくポートを振分けることができる。すなわち、本発明によれば、記憶サブシステムにおいて、簡易に効率よくインタフェースポートを管理・使用することができる。
また、本発明によれば、前記ホスト計算機は、iSNS、iSCSIのプロトコルにしたがう標準的なディスカバリ要求を管理計算機に行なうことで、管理計算機からアクセスしたい論理デバイスに対応するポートの情報を取得することができる。これにより、本発明によれば、製造メーカが異なる複数の記憶サブシステムが接続されている情報処理システムの負荷分散処理や障害回避処理を行なう場合であっても、ホスト計算機上に製造メーカが異なる、記憶サブシステムのデバイスプログラムを実装させる必要はない。
以下、本発明の実施の形態が適用された情報処理システムを説明する。
〈第1実施形態〉
先ず、本発明の第1実施形態について説明する。
図1は、本発明の第1実施形態の情報処理システムのシステム構成を表すブロック図である。図2は、第1実施形態の記憶サブシステム102のシステム構成図である。
さて、図1に示すように、情報処理システムは、上位装置であるホスト計算機(コンピュータ)101と、管理計算機103と、記憶サブシステム102と、を有する。ホスト計算機101、管理計算機103、および記憶サブシステム102は、各々、ストレージエリアネットワーク(SAN)104に接続されている。そして、ホスト計算機101、管理計算機103、および記憶サブシステム102は、各々、ストレージエリアネットワーク(SAN)104を介して情報の授受を行なう。なお、ホスト計算機101、および記憶サブシステム102は、単数でも複数でもよい。
ホスト計算機101は、SAN104を介して、記憶サブシステム102および管理計算機103のそれぞれとデータの入出力を行う。ホスト計算機101には、ワークステーション、マイクロコンピュータ又はメインフレームコンピュータを用いることができる。そして、ホスト計算機101では、アプリケーションプログラムやデータベースシステムが稼働している。
管理計算機103は、記憶サブシステム102、SAN104、およびホスト計算機101の管理を行なう。具体的には、管理計算機103は、プロセッサ(CPU:Central Processing Unit)10、メモリ20、およびFCI/F11を有する。そして、メモリ20には、ネーム管理プログラム114、ストレージ管理プログラム110a、デバイス管理テーブル111a、ポート管理テーブル112a、ストレージドメイン管理テーブル113a、ネーム管理テーブル115、およびホスト管理テーブル116が格納されている。
FCI/F11は、SAN104を介してホスト計算機101と行なうデータの送受信を制御する。また、FCI/F11は、SAN104を介して記憶サブシステム102と行なうデータの送受信を制御する。
CPU10は、ストレージ管理プログラム110aを実行して、記憶サブシステム102、SAN104、およびホスト計算機101を管理する。また、CPU10は、ネーム管理プログラム114を実行して、情報処理システムに接続されている、ホスト計算機101や記憶サブシステム102に対するネームサービスを提供する。
ストレージ管理プログラム110aは、システム内の記憶サブシステム102を管理するプログラムである。デバイス管理テーブル111a、ポート管理テーブル112a、およびストレージドメイン管理テーブル113aには、システム内の記憶サブシステム102の情報が格納されている。
そして、CPU10は、ストレージ管理プログラム110aを実行することで、システム内の全記憶サブシステム102内で動作する、ストレージ管理プログラム110bから、記憶サブシステム102の各種情報を定期的に取得する。なお、記憶サブシステム102から取得する各種情報は、後述する、記憶サブシステム102で動作するストレージ管理プログラム110bが、各種の情報を更新するたびに、管理計算機103に送信するように構成してもよい。
また、CPU10は、ストレージ管理プログラム110aを実行して、ホスト管理テーブル116の管理も行なう。ホスト管理テーブル116には、システム内のホスト計算機101とストレージドメインとを対応付けて記憶している。
ネーム管理プログラム114は、iSNS(Internet Storage Name Service)等の既存のプロトコルを用いてホスト計算機101や記憶サブシステム102にネームサービスを提供するためのプログラムである。そして、CPU10は、ネーム管理プログラム114を実行して、ホスト計算機101や記憶サブシステム102と通信し、ネーム管理テーブル115を管理する。ネーム管理テーブル115には、記憶サブシステム102、記憶サブシステム102が有する論理デバイス105、およびホスト計算機101等に関するプロトコル上の情報が格納されている。例えば、ネーム管理プログラム114のプロトコルにiSNSを用いた場合、ネーム管理テーブル115には、iSCSI(Internet SCSI)に関して「iSCSI NAME」や「IPアドレス」、「Discoery Domain」等の情報が格納される。
また、本実施形態では、ネーム管理テーブル115に格納される記憶サブシステム102に関するデータは、以下のように更新する。CPU10は、ストレージ管理プログラム110aを実行して、記憶サブシステム102で動作するストレージ管理プログラム110b(ストレージ管理プログラム110bを実行しているCPU202)から記憶サブシステム102に関するデータを取得して、その取得したデータをメモリ20のワークエリアに格納する。その後、CPU10は、ネーム管理プログラム114を実行して、上記ワークエリアに格納しておいた記憶サブシステム102に関するデータを読み出し、その読み出したデータを用いて、ネーム管理テーブル115のデータを更新する。
記憶サブシステム102は、ホスト計算機101に対する情報の授受を制御する制御部(図2に示すコントローラ201)と、情報を格納するディスク装置(図2に示すディスク装置210)とを有する記憶サブシステムである。本実施形態では、記憶サブシステム102として、ディスクアレイ装置が適用される場合を例に説明するが、特にこれに限定するものではない。記憶サブシステム102に、ディスクアレイ装置以外の記憶サブシステムを適用するようにしてもよい。
記憶サブシステム102は、1つ以上のポート204を有し、SAN104を経由してホスト計算機101と接続されている。ポート204は、ファイバチャネル(Fibre channel)、iSCSI(Internet SCSI)やFICON、ESCON等の記憶サブシステム向けインタフェースである。なお、本実施形態においては、SAN104の構成及びインタフェース104の種類について特に制限しない。なお、以下、本実施形態の説明においては、ポート204にiSCSIを適用し、SANにIP−SANを適用した場合を例にして説明する。
また、記憶サブシステム102は、少なくとも1つの論理デバイス105を有する。そして、ホスト計算機101は、ポート204を介して論理デバイス105への読み出し、書き込み等のアクセスが可能である。この場合、ホスト計算機101は、各ポート204が提供する記憶サブシステム用のプロトコルを使用する。IP−SANではiSCSI、ファイバチャネルではFCP(Fibre Channel Protocol for SCSI)、FICONではFC−SB(Single Byte Protocol)を用いる。なお、本実施形態において用いられるプロトコルの種別は特に制限はない。
続いて、図2を用いて記憶サブシステム102の構成を詳細に説明する。
図2に示すように、記憶サブシステム102は、コントローラ201と、1つ以上のディスク装置210とを有する。コントローラ201は、ホストアダプタ203、メモリ205、ディスクアダプタ207、及びプロセッサ(CPU:Central Processing Unit)202を有する。各々の構成の数は、本発明の本質とは関係ないが性能及び信頼性の観点から多重化することが好ましい。
ホストアダプタ203は、iSCSI等のポート204に関するプロトコルを制御する。
メモリ205には、ストレージドメイン制御に関するプログラム及びデータが格納されている。具体的には、メモリ205にはストレージ管理プログラム110b、デバイス管理テーブル111b、ポート管理テーブル112b、およびストレージドメイン管理テーブル113bが格納される。
メモリ205には、これらのプログラム及びデータの他に、記憶サブシステム102を制御するために必要な制御プログラムや制御情報、ホスト計算機101に対する入出力処理に関するキャッシュデータ110が格納される。高信頼化のために、メモリ205を二重化したり、メモリ205への電源を二重化することが好ましい。
ディスクアダプタ207は、ホストアダプタ203と同様に、ファイバチャネル等のディスクインタフェース209に関するプロトコル処理を行う。
ディスク装置210は、ディスクインタフェース209を介してコントローラ201からの読み出し、書き込み等のコマンドを受け付け、コマンドによって規定される処理を行う。高信頼化のため、ディスクインタフェース209を二重化することが好ましい。
ディスク装置210は、ディスクインタフェース209を介してコントローラ201からの読み出し、書き込み等のコマンドを受け付け、コマンドによって規定される処理を行う。高信頼化のため、ディスクインタフェース209を二重化することが好ましい。
記憶サブシステム102は、ディスク装置210を複数組み合わせ冗長構成とし、この中に論理的なデバイスを作成し、一つ以上の論理的なデバイスにより論理デバイス105(図1参照)を作成する。
CPU202は、記憶サブシステム102に関する処理を実行する。具体的には、CPU202は、内部バス208を介しコントローラ201内のホストアダプタ203及びディスクアダプタ207と接続されている。CPU202は、ホストアダプタ203及びディスクアダプタ207を制御する。また、CPU202は、メモリ205と内部バス208を介し接続されており、メモリ205に格納されたプログラムやデータ(ストレージ管理プログラム110b、デバイス管理テーブル111b、ポート管理テーブル112b、ストレージドメイン管理テーブル113b)をロードして実行する。
ストレージ管理プログラム110bは、記憶サブシステム102に関するポート204や論理デバイス105等のその他資源の情報を、各テーブル(デバイス管理テーブル111b、ポート管理テーブル112b、ストレージドメイン管理テーブル113b)を利用して管理するためのプログラムである。
デバイス管理テーブル111bは、デバイス105の属性とストレージドメインの対応を管理するためのものである。ポート管理テーブル112bは、記憶サブシステム102のポート204とストレージドメインの対応を管理するためのものである。ストレージドメイン管理テーブル113bは、ストレージドメインの属性を管理するためのものである。
なお、ここまでに説明したストレージ管理プログラム110bは、コンパクトディスクや光磁気ディスクといった可搬記憶媒体を用いて、あるいは、ネットワークを介して、他の装置から各記憶サブシステム102に設けられる記憶媒体にインストールされる。
続いて、第1実施形態の情報処理システムの管理単位であるストレージドメインについて図3を用いて説明する。
図3は、本実施形態の記憶サブシステムの管理単位であるストレージドメインを説明するための図である。
ストレージドメイン301は、記憶サブシステム102の論理デバイス105群、ポート204群、およびホストコンピュータ101を分類したものである。ホストコンピュータ101は、使用されている部門、性能、物理接続などの属性に応じて分類される。なお、ストレージドメイン301を、部門、アプリケーションプログラム、ユーザ等の属性を用いて階層的に管理するようにしてもよい。
また、同じストレージドメイン301に分類された、論理デバイス105群、ポート204群、およびホストコンピュータ101は、任意に組み合わせることができる。すなわち、ホストコンピュータ101は、同じストレージドメインに属する論理デバイス105に、同じストレージドメインに属する任意のポートを経由してアクセスできる。
図示する例では、情報処理システムが有する、論理デバイス105群、ポート204群、およびホストコンピュータ101が、2つのストレージドメイン(301a、301b)に分類されている。具体的には、記憶サブシステムAのストレージドメイン301aには、論理デバイス105a、論理デバイス105b、ポート204a、ポート204b、ホスト計算機101a、およびホスト計算機101bが属している。また、ストレージドメイン301bには、論理デバイス105c、ポート204c、ポート204d、およびホスト計算機101cが属している。
ホスト計算機101aは、ストレージドメイン301aに属しているので、論理デバイス105a、論理デバイス105bにアクセス可能であり、アクセスする際にはポート204a、ポート204bを使用することができる。
また、ホスト計算機101cは、ストレージドメイン301bに属しているので、論理デバイス105cにアクセス可能であり、アクセスする際にはポート204c、ポート204dを使用することができる。
論理デバイス105群、ポート204群、およびホスト計算機101をストレージメイン304に分類する具体的な基準について、本実施形態では、特に限定しない。例えば、上記分類するための基準として、アクセス可否等に関するセキュリティ、ポート204やSAN104のスループットや遅延に関する性能、信頼性等を用いるようにしてもよい。
セキュリティに関する基準を用いて上記分類を行なう場合、既存のユーザ管理プログラム等との連携が可能である。例えば、既存のユーザ管理プログラムとしては、Microsoft社が提供するOSのWindows(登録商標)に実装されているActive Directory(登録商標)サーバとの連携が可能である。また、例えば、UNIX環境ではLDAP(Lightweight Directory Access Protocol)サーバやNIS(Network Information Service)サーバとの連携が可能である。
また、例えば、iSCSIにおいては、iSNSやSLP(Service Location Protocol)を利用することもできる。iSNSサーバでは、LDAP等との連携が可能であり、部門等の管理分類は通常継承することができる。
性能に関する基準については、以下を考慮するとよい。例えば、企業等では、同一部門においてもデータベース等のアプリケーションや管理者等特別なユーザに対して性能を確保する必要が生じることがある。そこで、セキュリティ管理の場合と同様に、性能に関しても分類を設けるとよい。例えば、優先度の低いアプリケーションやユーザと、優先度の高いアプリケーションやユーザとを別のストレージドメイン301へ分類する。特定のアプリケーション301のみポート204を割り当て、それ以外はポートを共有するようなストレージドメイン301に設定する。
ネットワークのトポロジに関しても性能に影響する場合がある。例えば任意のホストから同一ストレージドメイン301内の各ポート204への経路が異なる場合があり、この場合は性能(スループット、遅延)が異なる。そのため、IPネットワークを利用する場合には、IPアドレスのサブネットを解析して分類を行うようにしてもよい。或いは、ネットワーク経路のトレースを行うコマンド(例えば、Unix環境ではtracerouteコマンドがある)を用いて、同一ストレージドメイン301内のポートからの経路を基準に分類を行うようにしてもよい。
このように、本実施形態では、論理デバイス105群、ポート204群、およびホストコンピュータ101をストレージドメイン301aに分類し、同じストレージドメインの中に属する論理デバイスとポートとを任意に組合せることができるようにしている。そのため、従来の記憶サブシステムのように、論理デバイスとポートとを1対1で対応させる設定を行う必要がなくなり、記憶サブシステムの管理の煩雑さを解消させることができる。
また、本実施形態では、部門、アプリケーションプログラム、ユーザ等の属性により、論理デバイス105群、ポート204群、およびホスト計算機101を分類することができる。そのため、ユーザの属性応じた論理デバイスに効率よくアクセスすることが可能になる。
続いて、図4〜図8を用いて、本実施形態の情報処理システムが有する、上述した各テーブル(ストレージドメイン管理テーブル113、ポート管理テーブル112、デバイス管理テーブル111、ホスト管理テーブル116、ネーム管理テーブル115)のデータ構造を説明する。
図4は、本実施形態のストレージドメイン管理テーブル113のデータ構造を模擬的に示した図である。
ストレージドメイン管理テーブル113は、ストレージドメイン301の属性を保持するためのテーブルである。
ストレージドメイン管理テーブル113は、ストレージドメインの識別子である「ストレージドメインID」を格納するエントリ401、ストレージドメインの管理上の名称を示す「ストレージドメイン名」を格納するエントリ402、およびストレージドメインの属性を示す「属性データ」を格納するエントリ403を有する。エントリ401に格納する「ストレージドメインID」に対応付けて、エントリ402および403に「ストレージドメイン名」および「属性データ」が格納される。
図示する例では、「ストレージドメインID」が「sa」であって、「ストレージドメイン名」が「Account」、「属性データ」が「経理」のデータが格納されている。また、「ストレージドメインID」が「sb」であって、「ストレージドメイン名」が「Develop」、「属性データ」が「開発」のデータが格納されている。
管理計算機103のCPU10は、ストレージ管理プログラム110aを実行して、例えば、表示装置(図示しない)にストレージドメイン設定画面を表示する。管理計算機103のCPU10は、ストレージ管理プログラム110aを実行して、管理者からのストレージドメインの定義(「ストレージドメインID」、「ストレージドメイン名」、「属性データ」の設定)を、入力装置(図示しない)を介して受付ける。管理計算機103のCPU10は、ストレージ管理プログラム110aを実行して、上記受付けた定義をストレージドメイン管理テーブル113に格納する。
なお、上記では、管理計算機103のCPU10が、ストレージ管理プログラム110aを実行し、管理者からのストレージドメインの定義を受付け、その受付けた定義をストレージドメイン管理テーブル113に格納することとしているが、記憶サブシステム102のCPU202も、ストレージ管理プログラム110bを実行し、上記と同様の処理を行うことができる。
また、「属性データ」や「ストレージドメイン名」は、管理者が管理計算機103に格納されたストレージ管理プログラム110aを動作させることで、入力しても良いが、上述したActive Directory、LDAP、NIS等の管理プログラムとの連携を行って設定するとより効率が良くなる。
図5は、本実施形態のポート管理テーブル112のデータ構造を模擬的に示した図である。
ポート管理テーブル112は、ポート204と、記憶サブシステム102およびストレージドメイン301との対応付けを行なうためのテーブルである。
ポート管理テーブル112は、記憶サブステム102の装置識別子である「装置ID」を格納するエントリ501、ポート204の識別子である「ポートID」を格納するエントリ502、各ポート204のSAN104上の「アドレス」を格納するエントリ503、ポート204の「利用率」を格納するエントリ504、ポートの状態を示す「状態データ」を格納するエントリ505、およびポート204が属するストレージドメイン301の「ストレージドメインID」を格納するエントリ506を有する。
そして、エントリ501に格納する「装置ID」に対応付けて、エントリ502〜506に各データが格納されている。また、エントリ502に対応付けてエントリ503〜506に各データが格納されている。
なお、本実施形態では、ストレージドメイン301は、1つのポートに対して1つ割当てているが、任意のポートに対して複数のストレージドメイン301を割当てることが可能である。1つのポートに対して複数のストレージドメインを割当てる場合には、エントリ506に格納する、ストレージドメインIDを複数設定する。また、エントリ503に格納するアドレスには、例えば、IPネットワークの場合は、IPアドレスおよびポート番号を用いるとよい。
図示する例では、「A」が格納されているエントリ502に対応する、各エントリ503〜506に、「A1」、「90%」、「過負荷」、および「sa」が、各々、格納されている。これは、装置IDが「ストレージA」である記憶サブシステム102が有するポートAは、SAN104上の「アドレス」が「A1」であって、「sa」のストレージIDを持つストレージドメイン301に属することを示している。また、ポートAは、ポート利用率が「90%」で、現状は、過負荷状態にあることを示している。
管理計算機103のCPU10(または記憶サブシステム102のCPU202)は、ストレージ管理プログラム110a(またはストレージ管理プログラム110b)を実行して、ポート管理テーブル112の管理を行う。管理計算機103のCPU10は、ストレージ管理プログラム110aを実行し、ポート管理テーブル112に、装置やポートとストレージドメイン301との対応付けを行なう。
管理計算機103のCPU10は、ストレージ管理プログラム110aを実行し、定期的に記憶サブシステム102のポート204の負荷(ポート利用率)や構成状態を取得し、取得した「ポート利用率」に基づいて現状の「状態」を判定する。管理計算機103のCPU10(または記憶サブシステム102のCPU202)は、算出した「ポート利用率」や判定した「状態」をポート管理テーブル112の対応するエントリに格納する。
なお、判定する「状態」の態様については、特に限定しないが、例えば、判定する「状態」の態様として「過負荷」、「正常」、「オフライン」、「閉塞」の状態を示すようにしてもよい。そして、管理計算機103のCPU10は、記憶サブシステム102の構成を定期的または変更の度に取得することで「正常」、「オフライン」、「閉塞」の状態を設定する。過負荷の判定はシステムにより異なるが、一般的には80%〜90%程度を閾値とするとよい。
さらに、管理計算機103のCPU10は、ポートの振分処理を行い、ポート振り分け処理の際に、ポート管理テーブル112の情報を元に使用可能なポートリストを作成する(ポート振り分け処理については後述する)。
図6は、本実施形態のデバイス管理テーブル111のデータ構造を模擬的に示した図である。
デバイス管理テーブル111は、記憶サブシステム102の装置識別子である「装置ID」を格納するエントリ601、記憶サブシステム102内の論理デバイス105を特定する「デバイスID」を格納するエントリ602、および各論理デバイスに対応するストレージドメイン301の識別子である「ストレージドメインID」を格納するエントリ607を有する。
また、デバイス管理テーブル111は、各論理デバイス105の一般的な属性も管理できるように、論理デバイス105の「プロトコル」を格納するエントリ603、論理デバイス105の容量を示す「サイズ」を格納するエントリ604、論理デバイス105に対する認証のための情報を示す「認証情報」を格納するエントリ605、および論理デバイス105が「使用中」であるか「未使用」であるかの「状態」を格納するエントリ606を有する。
なお、本実施形態では、エントリ603に格納するプロトコルを特に限定しないが、例えば、プロトコルには、「iSCSI」や「FCP」、「SCSI」を用いることができる。また、エントリ605の認証情報としては、「iSCSI」における各デバイス105に対する認証情報、例えばキー値やパスワード等が格納される。
デバイス管理テーブル111は、ストレージ管理プログラム110aを実行する管理計算機103のCPU10(または、ストレージ管理プログラム110bを記憶サブシステム102のCPU202)により管理される。具体的には、管理計算機103のCPU10(または記憶サブシステム102のCPU202)は、ストレージ管理プログラム110a(またはストレージ管理プログラム110b)を実行して、上記各エントリ601〜607に対応するデータを格納する。CPU10(または記憶サブシステム102のCPU202)は、定期的に論理デバイスの使用状態を監視し、エントリ606のデータを更新する。
図7は、本実施形態のホスト管理テーブル116のデータ構造を模擬的に示した図である。
図示するように、ホスト管理テーブル116は、ホスト計算機101の装置識別子である装置IDを格納するエントリ701、ホスト計算機101のポートを識別するポートIDを格納するエントリ702、各ポートに割り振られた「アドレス」を格納するエントリ703、各ポートがサポートしている「プロトコル」を格納するエントリ704、ホスト計算機101のポートの状態を示す「状態情報」を格納するエントリ705、およびホスト計算機101のポートに対するストレージドメイン301の識別子であるストレージドメインIDを格納するエントリ706を有する。なお、上記のポートの状態を示す「状態情報」には、ポートの状態が「正常」或いは「異常」であるかを示すデータが格納される。
そして、ホスト管理テーブル116は、ストレージ管理プログラム110aを実行する管理計算機103のCPU10により管理される。管理計算機103のCPU10は、ストレージ管理プログラム110aを実行して、上記各エントリ701〜706に対応するデータを格納する。CPU10は、定期的に各ホストのポート204の状態を示すデータを記憶サブシステム102から取得し、「状況情報」を示すデータをエントリ705に格納する。
図8は、本実施形態のネーム管理テーブル115のデータ構造を模擬的に示した図である。このネーム管理テーブル115には、SAN104内のネーム管理情報が格納されている。
ネーム管理テーブル115は、ネーム管理プログラムを実行する管理計算機103のCPU10により管理される。管理計算機103のCPU10は、ネーム管理プログラムを実行し、ネーム管理テーブル115のデータを利用して、ホスト計算機101や記憶サブシステム102に対するネームサービスを提供する。本実施例ではネーム管理プログラム114としてiSCSIの代表的なネームサーバであるiSNSを例に挙げて説明する。
図示するように、ネーム管理テーブル115は、iSNSの識別子である「EID(Entity ID)」を格納するエントリ801、iSCSIノードの識別子である「iSCSI Name」を格納するエントリ802、iSNSにおけるネームサービス範囲を規定する「DD(Discovery Domain)」を格納するエントリ803、iSCSIノードのInitiator/Target等の種別を示す「Node Type」を格納するエントリ804、およびポート204に関する情報である「Portal Group」および「Portal Address:Port」を各々格納する、エントリ805、806を有する。
各iSCSIデバイス(たとえばホスト計算機101)は、管理者の指示または起動の際に、ネーム管理プログラム114を実行する管理計算機103のCPU10に対して、iSCSIノードの登録を要求する。登録を要求する情報には、上述した「DD(Discovery Domain)」、「Node Type」、「Portal Group」、および「Portal Address:Port」が含まれる。
通常の記憶サブシステムを有する情報処理システムでは、ホスト計算機101および記憶サブシステム102は、個別に、ネーム管理プログラム114を実行する管理計算機103のCPU10に対し、iSCSIノードの登録を要求する。しかしながら、本実施形態では、各論理デバイス105に関するデータに関しては、記憶サブシステム102のCPU202が、ストレージ管理プログラム110bを実行して、管理計算機103のCPU10に構成情報を送信する。管理計算機103のCPU10は、ストレージ管理プログラム110aを実行して、上記の送信された構成情報を受信して、その受信した構成情報をメモリ20のワークエリアに格納する。その後、管理計算機103のCPU10は、ネーム管理プログラム114を実行して、上記格納した構成情報を読み出して、その構成情報をネーム管理テーブル115へ登録する。
CPU10は、ネーム管理プログラム114を実行して、iSCSIノードの登録の際、iSNSの識別子であるEID(Entity ID)を付与してエントリ801に登録する処理を行なう。各iSCSIデバイスは、EIDを用いて、管理計算機103のCPU10に対し、ネーム管理テーブル115へのデータの登録、変更、削除の要求が可能である。本実施形態においては、任意の「DD」をストレージドメイン301の1つと対応付けると管理が容易になる。
なお、図4、5、6は、一般的な情報を示したが、以下の説明では、iSNSサーバの場合の対応を示す。具体的には、エントリ806に格納する、「Potal Address:Port」は、図5のエントリ503に示すアドレスに対応する。また、エントリ802の「iSCSI Name」は、図5に示すエントリ502の「デバイスID」に対応する。
続いて、本実施形態の情報処理システムが行う初期設定処理を、図9を用いて説明する。
図9は、本実施形態の情報処理システムが行う初期設定処理のフローを説明するための図である。
本実施形態の情報処理システムは、システム導入の際に初期設定処理を行う。
最初に、情報処理システムの管理計算機103のCPU10は、ストレージ管理プログラム110aを実行し、管理者からのストレージドメイン301の設定を受付ける(S901)。具体的には、管理計算機103のCPU10は、ストレージ管理プログラム110aを実行し、表示装置(図示しない)に設定画面を表示して、入力装置(図示しない)を介して、管理者からのストレージドメイン301の設定を受付ける。CPU10は、ストレージ管理プログラム110aを実行して、ストレージドメイン管理テーブル113やポート管理テーブル112に受付けたストレージドメインの情報を追加または更新する。なお、管理計算機103のCPU10は、ネットワークを介して、管理者から入力されたストレージドメイン等の情報を記憶サブシステム102に転送する。そして、記憶サブシステム102のコントローラ203は、受信した情報に基づいて、自己が有するストレージドメイン管理テーブル113bの情報を追加又は更新する。
なお、上述の説明では、管理者は、手入力にてストレージドメイン301を設定しているが特にこれに限定するものではない。他には管理者が他の管理プログラムの管理情報を参照しての入力や、ストレージ管理プログラムが他の管理プログラムの管理情報を直接参照し管理者に提示し管理者が修正を施す等さまざまな形態が考えられる。
管理計算機103のCPU10は、ストレージドメイン301の設定した後、論理デバイス105の作成を行なう(S902)。本実施形態におけるデバイス作成処理は、従来技術による記憶サブシステム102のデバイス作成処理とほぼ類似している。異なる点は、論理デバイスをストレージドメイン301に振分ける点である。なお、デバイス作成処理の具体的手順については後述する。そして、このデバイス生成処理は、以後デバイスを生成する度に実施される。
続いて、本実施形態の情報処理システムが行う論理デバイス作成処理を、図10を用いて説明する。なお、以下では、論理デバイス作成処理が、管理計算機103により実行される場合を説明にするが、同様の処理は、記憶サブシステム102で行なうこともできる。
図10は、本実施形態の情報処理システムが行う論理デバイス作成処理のフローを説明するための図である。なお、図示する以下の処理は、管理計算機103のCPU10がストレージ管理プログラム110aを実行することで実現されるが、説明の簡略化のために、ストレージ管理プログラム110aを処理の動作主体として記載することとする。
最初に、管理者は、論理デバイス作成要求を、入力装置を介して、管理計算機103に入力する。ストレージ管理プログラム110aは、管理者よりデバイス作成に関する要求を受領する(S1001)。なお、デバイス作成に関する要求とは、具体的にはデバイス管理テーブル111に示される情報(作成したい論理デバイス105のサイズ、認証情報、割り当てたいストレージドメイン105等)をいう。
ストレージ管理プログラム110aは、S1001で受領した情報を解析して、論理デバイス105の作成要・不要を判定する(S1002)。そして、ストレージ管理プログラム110aは、論理デバイス105を作成する必要であると判断した場合に、S1003〜S1004に進む。一方、ストレージ管理プログラム110aは、論理デバイス310の作成が不要であると判断した場合、S1005に進む。論理デバイス310の作成が不要の場合とは、S1001で要求された属性に合致した論理デバイス105が既に存在していて、新たに論理デバイス105を作成する必要がない場合をいう。
S1003〜S1004では、ストレージ管理プログラム110aは、論理デバイス105の作成処理を実施する。ストレージ管理プログラム110aは、S1001で要求された属性に合致した未割当ての論理デバイス105や記憶サブシステム102内の未使用領域が十分ある場合、論理デバイス105を作成する。より具体的には、ストレージ管理プログラム110aは、記憶サブシステム102に対して、要求された論理デバイス105の作成を指示する。指示を受けた記憶サブシステム102は、要求された内容に基づいた論理デバイス105を作成し、結果を管理計算機103に通知する。ストレージ管理プログラム110aは、論理デバイス105を作成できた場合にS1005の処理に進む。一方、ストレージ管理プログラム110aは、要求された属性に合致する論理デバイス105の作成が不可能であった場合はエラー報告を行い(1013)、処理を終える。なお、ストレージ管理プログラム110aが行なうエラー報告の具体的手段について、特に限定しないが、例えば、表示装置にエラー画面を表示する。
S1005では、ストレージ管理プログラム110aは、ストレージドメイン301に関する処理を行う。具体的には、ストレージ管理プログラム110aは、S1001で受付けた要求に、論理デバイス105を割り当てるストレージドメイン301の指示が含まれているか否かを判定する。そして、ストレージ管理プログラム110aは、ストレージドメイン301の指示を受付けていない場合、デフォルトのストレージドメイン301を割り当てストレージドメイン301として、S1007に進む。一方、ストレージ管理プログラム110aは、ストレージドメイン301の指示を受付けている場合には、S1006に進む。
S1006では、ストレージ管理プログラム110aは、指示されたストレージドメインを割り当てストレージドメイン301として、S1007に進む。
S1007では、ストレージ管理プログラム110aは、割り当てストレージドメイン301が存在するか否かをストレージドメイン管理テーブル113に基づいて判定する。ストレージ管理プログラム110aは、割り当てストレージドメイン301が存在する場合、新たにストレージドメイン301を作成する必要がないと判断して、S1010に進む。一方、ストレージ管理プログラム110aは、割り当てストレージドメイン301が存在しない場合、新たにストレージドメイン301を作成する必要があると判断してS1008〜S1009に進む。
S1008〜S1009では、ストレージ管理プログラム110aは、ストレージドメイン301を作成し、ストレージドメイン管理テーブル113へ作成したストレージドメイン301の情報を追加、更新する。その後、ストレージ管理プログラム110aは、ストレージドメイン301の更新又は追加情報を記憶サブシステム102に通知する。通知を受けた記憶サブシステム102は、自己が有する各種テーブルを、受信した情報に基づいて追加、更新する。この際、記憶サブシステム102は、各種テーブルの情報を更新することで、更新されたストレージドメイン301の情報を用いて、一つのストレージドメインに含まれる各ポートと各論理デバイスとを対応付けることになる。従って、ホスト計算機101は、一つのストレージドメインに含まれる論理デバイスを使用する際には、そのストレージドメインを管理計算機103に通知(指定)すればよい。又、記憶サブシステム102は、一つのストレージドメインに含まれるポートでコマンド等を受信した場合、同じストレージドメインに含まれる論理デバイスへのアクセスであれば、データの読み出し等の処理を行い、違うストレージドメインに含まれる論理デバイスへのアクセスであれば、そのアクセスを拒否する。尚、記憶サブシステム102は、管理者等から直接ポートの増設等の情報を受信して、自己が有する各種テーブルの更新を行う場合も有る。この場合、管理計算機103が有する各種テーブルと記憶サブシステム102が有する各種テーブルの内容が異なる。この場合、後述するように、管理計算機103は、記憶サブシステム102から差分データを受信して、自己が有する各種テーブルの内容を更新する。また、ストレージ管理プログラム110aは、ポート管理テーブル112に対してもストレージドメインの情報を追加、更新する。一方、ストレージ管理プログラム110aは、ストレージドメイン301の生成に失敗した場合はエラーを報告し処理を終える(S1013)。
続いて、ストレージ管理プログラム110aは、デバイス105を割当ストレージドメイン301に割当てる(S1010)。具体的には、ストレージ管理プログラム110aは、デバイス管理テーブル111のエントリ607に割当ストレージドメインIDを格納する。ストレージドメインの割当が成功した場合には成功した旨を報告し、失敗した場合にはエラーを報告する(S1011〜1013)。
続いて、本実施形態の情報処理システムが行うポート振り分け処理について、図11〜図15を用いて説明する。
図11は、本実施形態のポート振分け処理のフローを説明するための図である。なお、以下の処理は、管理計算機103のCPU10が各プログラム(ストレージ管理プログラム110a、ネーム管理プログラム114)を実行することで実現されるものである。しかしながら、以下では、説明の簡略化のために各プログラム(ストレージ管理プログラム110a、ネーム管理プログラム114)を動作主体として記載することとする。
本実施形態では、ネーム管理プログラム114、およびストレージ管理プログラム110aの連携によりポート振分が行なわれる。
また、本実施形態では、論理デバイス105に対するiSCSIのポート情報は、ストレージ管理プログラム110aが、ディスカバリ要求の際に決定する。そのため、ネーム管理テーブル115のエントリ805、806のポート情報(Portal Group、Portal IP Address:Port)は、論理デバイス105がディスカバリ要求されるまでは、未登録である。
したがって、ネーム管理プログラム114が、ディスカバリ要求を受けた後に、ネーム管理テーブル115のエントリ805、806のポート情報を登録する。なお、ネーム管理プログラム114は、ホスト計算機101の情報については、ポート情報も含めて最初にネーム管理テーブル115に格納する。
さて、本実施形態では、ポート振分処理を実施するためには大きく分けて「構成情報更新処理」、「ディスカバリ処理」の二つの処理がある。
最初に構成情報更新処理を説明する。
管理計算機103のストレージ管理プログラム110aは、「構成情報更新処理」を行なう。具体的には、ストレージ管理プログラム110aは、管理している記憶サブシステム102やホスト計算機101から統計情報や構成情報の取得する処理を行う。ストレージ管理プログラム110aは、更新があった場合、デバイス管理テーブル111やポート管理テーブル112の更新処理を実施する(処理A1101)。
なお、ストレージ管理プログラム110aが行う、構成情報の取得は定期的に実施しても良いし、ホスト計算機101や記憶サブシステム102が情報更新の際にストレージ管理プログラム110aに更新した旨を通知してもかまわない。上記によりストレージ管理プログラム110aは最新の情報を保持する。
続いて、ネーム管理プログラム114が行なう“ディスカバリ”処理を説明する。ネーム管理プログラム114は、ホスト計算機101からディスカバリの要求を受け取る。ここで、本実施形態で用いるiSNSにおいては、“DevAttrQry”がディスカバリ要求に該当する。ネーム管理プログラムは、ディスカバリ要求を受け取ると、ディスカバリ処理を実施する(処理B1102)。
ネーム管理プログラム114は、ディスカバリ処理(処理B1102)の中のポート振分処理のステップにおいて、ストレージ管理プログラム110aにポート204の振分処理を要求する。要求を受けたストレージ管理プログラム110aは、使用可能なポートのリストをネーム管理プログラム114が送信する。ネーム管理プログラム114は、ネーム管理テーブル115を更新した後に、ホスト計算機101へ振分結果(ポートのリスト)を送信する。
このように、本実施形態では、ネーム管理プログラム114は、ポート振分処理の際に、ストレージ管理プログラム110aから最新の情報を取得可能できる。そのため、本実施形態によれば、負荷、障害等の稼動状況を的確に反映されたポート振分けを行うことができる。
続いて、上述した「構成情報更新処理」について図12を用いて詳細に説明する。
図12は、本実施形態の情報処理システムが行う構成情報更新処理のフローを説明するための図である。なお、以下の処理は、管理計算機103のCPU10が各プログラム(ストレージ管理プログラム110a、ネーム管理プログラム114)を実行することで、または記憶サブシステム102のCPU202がストレージ管理プログラム110bを実行することで実現されるものである。しかしながら、以下では、説明の簡略化のために各プログラム(ストレージ管理プログラム110a、ストレージ管理プログラム110b、ネーム管理プログラム114)を動作主体として記載することとする。
管理計算機103の起動の際に、ストレージ管理プログラム110aは、記憶サブシステム102から構成情報を取得して、取得した構成情報に基づいて各テーブルの情報の初期化を行う(S1201)。
その後、ストレージ管理プログラム110aは、所定の間隔で、管理配下の記憶サブシステム102から構成情報を取得する(1202)。具体的には、ストレージ管理プログラム110aは、記憶サブシステム102のストレージ管理プログラム110bに構成情報(ポート204の追加情報、ポートの利用率の情報等)の変更の有無を問い合わせる。上記問い合わせを受け付けた記憶サブシステム102のストレージ管理プログラム110bは、差分データをストレージ管理プログラム110aに送信する。そして、ストレージ管理プログラム110aは、記憶サブシステム102のストレージ管理プログラム110bが送信した差分データを受信する。
ストレージ管理プログラム110aは、受信した差分データから記憶サブシステム102の構成に変更があったか否かを判定する。ストレージ管理プログラム110aは、差分データの中に記憶サブシステム102の構成(ポート204の追加等)の変更を示すデータが無い場合、記憶サブシステム102の構成に変更が無いと判定して、S1205に進む。一方、ストレージ管理プログラム110aは、差分データの中に記憶サブシステム102の構成(ポート204の追加等)の変更を示すデータがある場合、記憶サブシステム102の構成に変更があるものと判定してS1204に進む(S1203)。
S1204では、ストレージ管理プログラム110aは、現状の構成情報からの増減、閉塞から復帰、正常状態から閉塞等の構成変更があった場合には、新しい構成情報をデバイス管理テーブル111a、ポート管理テーブル112a、およびストレージドメイン管理テーブル113aの対応するエントリに登録する。
ストレージ管理プログラム110aは、新規追加されたポートがある場合、その新規追加されたポートをポート管理テーブル112に追加し、ストレージドメインIDを設定し、状態を“正常”とする。なお、ストレージ管理プログラム110aは、ストレージドメインIDの追加、変更、削除等については、管理者からの入力を受付けて対応する各テーブルにデータを登録する。
次に、ストレージ管理プログラム110aは、ポート204の稼動状況を調べる。具体的には、ストレージ管理プログラム110aは、S1202で取得した差分データの中のポート204の利用率を示すデータの中から過負荷(高負荷)のポート204があるか否かを判定する。ストレージ管理プログラム110aは、S1202で取得した利用率の中に予め定めた「しきい値」を超えるデータがある場合、S1206に進む。一方、ストレージ管理プログラム110aは、S1202で取得した利用率の中に予め定めた「しきい値」を超えるデータが無い場合、S1207に進む(S1205)。
S1206では、ストレージ管理プログラム110aは、ポート管理テーブル112の、上記「しきい値」を超える利用率のポートのエントリ505を「過負荷」に更新する(S1206)。このように、ポート管理テーブル112のエントリ505に「過負荷」が格納されているポート204は、後述するポート振分け処理において検索の候補から外されることになる。
一方、ストレージ管理プログラム110aは、ポート管理テーブル112に「過負荷」が格納されているポート204であっても、上記取得した利用率が所定の「しきい値」を下回った場合は、対応するエントリ505を「正常」に戻す(S1207〜S1208)。さらに、S1207〜S1208では、ストレージ管理プログラム110aは、未登録ポートでかつ低負荷のポートがある場合には、ポート管理テーブル112にそのポート204を登録する。
なお、本実施形態では、ストレージ管理プログラム110aは、所定時間待った後で、上記S1202〜1208の処理を繰り返す。なお、ここでは、ストレージ管理プログラム110aは、一定時間毎に処理を繰り返しているが、構成や稼動状況に変更が発生した場合、ストレージ管理プログラム110bからストレージ管理プログラム110aに対してトリガをかけることで情報の更新遅延を防ぐようにしてもよい。
続いて、上述した「ディスカバリ処理(処理B1102)」について図13を用いて詳細に説明する。
図13は、本実施形態の管理計算機が行なうディスカバリ処理のフローを説明するための図である。なお、以下の処理は、管理計算機103のCPU10が各プログラム(ストレージ管理プログラム110a、ネーム管理プログラム114)を実行することで実現されるものである。しかしながら、以下では、説明の簡略化のために各プログラム(ストレージ管理プログラム110a、ネーム管理プログラム114)を動作主体として記載することとする。
ネーム管理プログラム114は、SAN104内の装置、例えばホスト計算機101からディスカバリの要求(「iSNS」においては、“DevAttrQry”)を受け付ける(S1301)。
ネーム管理プログラム114は、ディスカバリの要求を受け付けた後に、要求の内容を解析しポート振分処理に関連するか否かを判別する(S1302)。ネーム管理プログラム114は、ポート振分処理に関係しない要求の場合には、S1305〜S1306の処理に進む。一方、ネーム管理プログラム114は、ネーム管理プログラム114がポートの振分処理に関する要求を受領した場合には、S1303に進む。
S1305〜S1306では、ネーム管理プログラム114は、通常のネーム管理プログラム(=iSNS)の処理においてデバイス管理テーブル111や、ポート管理テーブル112を参照して、返送メッセージを作成したのち返送メッセージを要求元のホスト計算機101に対して送信する。
続いて、S1302において、ネーム管理プログラム114が、ポートの振分処理に関する要求を受領した場合進む、S1303の処理を説明する。
S1303では、ネーム管理プログラム114は、ストレージ管理プログラム110aに対してポート振分処理(図11に示す処理C1103)を要求する。ネーム管理プログラム114は、ポート振分処理(処理C1003)の要求の際に、要求元のホスト計算機101に関する情報(ネーム管理テーブル115のエントリ802の「iSCSI Name」、エントリ803の「DD」、エントリ806の「Portal IP Address:Port」等)および検索要求先iSCSIノードの情報(ポート管理テーブル112のエントリ503の「iSCSI Name」)を付加する(1303)。
これに対して、ストレージ管理プログラム110aは、ポート振分処理の要求を受け取る。そして、ストレージ管理プログラム110aは、ポート振分処理を実行し、実行結果をネーム管理プログラム114へ返送する(ポート振分け処理については後述する図14で説明する)。そして、ネーム管理プログラム114は、ストレージ管理プログラム110aが送信する上記実行結果を受信する(S1304)。
その後、ネーム管理プログラム114は、受領した内容をもとにネーム管理テーブル115を更新し、返送メッセージを作成し、要求元のホスト計算機101に対して返送メッセージを送信する(S1304〜1306)。
本実施形態では、S1304〜1306の処理の際に、ネーム管理プログラム114は、ネーム管理テーブル115のデバイス105に関するポート情報(iSCSI Name802、DD803、Portal IP Address:Port806等)を格納する。
続いて、上述した「ポート振分け処理(処理C110)」について図14を用いて詳細に説明する。
図14は、本実施形態の管理計算機102が行なうポート振分け処理のフローを説明するための図である。なお、以下の処理は、管理計算機103のCPU10が各プログラム(ストレージ管理プログラム110a、ネーム管理プログラム114)を実行することで実現されるものである。しかしながら、以下では、説明の簡略化のために各プログラム(ストレージ管理プログラム110a、ネーム管理プログラム114)を動作主体として記載することとする。
ストレージ管理プログラム110aは、ネーム管理プログラム114が送信するポート振分処理の要求を受領する(1401)。
つぎに、ストレージ管理プログラム110aは、デバイス管理テーブル111を参照し要求された論理デバイス105(=iSCSIノード)が使用可能か否かを判定する(1402)。ストレージ管理プログラム110aは、上記の論理デバイス105が使用可能と判定した場合には、S1403に進む。
一方、ストレージ管理プログラム110aは、上記の論理デバイス105が使用できないと判定した場合には、S1409に進む。なお、論理デバイス105が使用できない場合には、例えば、デバイス管理テーブル111に該当する論理デバイス105が存在しない場合や、対応するエントリ506に格納された「状態」が「閉塞」となっている場合等がある。
S1402において、論理デバイス105が使用可能と判定した場合には、ストレージ管理プログラム110aは、判定した論理デバイス105およびネーム管理プログラム114からの要求の際に付与された要求元ホスト計算機101に関する情報を元に使用可能なストレージドメイン301を検索する(1403)。具体的には、ストレージ管理プログラム110aは、ホスト計算機101の「デバイスID(=iSCSI Name)」と論理デバイスのデバイスIDとを元にホスト管理テーブル116を参照し、要求元ホスト計算機101および要求された論理デバイスが属するストレージドメインIDを取得する。
ストレージ管理プログラム110aは、検索の結果該当するストレージドメイン301が存在する場合には、ストレージドメインIDを1つ以上得られる。ストレージ管理プログラム110aは、該当するストレージドメイン301が存在しない場合、デフォルトのストレージドメインIDを設定する。そして、ストレージ管理プログラム110aは、該当するストレージドメインを取得できた場合およびデフォルトのストレージドメインIDを設定できた場合には、S1405に進む。これに対して、ストレージ管理プログラム110aは、デフォルトのストレージドメインIDの設定が不可能の場合には、S1409に進む(1404)。
S1405では、ストレージ管理プログラム110aは、得られた1つ以上のストレージドメインIDに対しポートの検索処理を実行する。ストレージ管理プログラム110aは、ポート管理テーブル112を検索し各ストレージドメイン301に属するポート204のうち状態が“正常”であるポート204を検索する(S1405)。
ストレージ管理プログラム110aは、いずれのストレージドメイン301にも“正常”ポート204が存在しない場合には、S1409に進み、“正常”ポート204が存在する場合には、S1407に進む(S1406)。
S1407では、ストレージ管理プログラム110aは、ポートリストを作成する。そして、複数のストレージドメイン301が該当した場合やストレージドメイン301に複数のポートが割り当てられている場合、ストレージ管理プログラム110aは、“正常”ポート204の数や、ポート利用率から使用可能スループット等を計算し最も負荷が少なくなるようなストレージドメイン301とポート204の組み合わせ(ポート郡)を選択する。ストレージ管理プログラム110aは、ポート204群を選択すると、その選択したポート郡からポートリストを作成する(S1407)。
ストレージ管理プログラム110aは、作成したポートリストを、ネーム管理プログラム114に送信して処理を終了する(S1408)。
S1402、S1404、およびS1406において、S1409に進んだ場合には、ストレージ管理プログラム110aは、エラーを示すデータをネーム管理プログラム114へ返送し処理を終える。
なお、本実施形態では、上記のポートリストの順番については、特に限定しない。例えば、ポートリストは、検索出力順でも構わない。但し、通常はポートリストの先頭のポートから使用していくため、ポートリストの先頭に優先度が高いポート204を挙げて、ポートリストの最後に、優先度のもっとも低いポート204を挙げるようにするとよい。なお、ポートリストの優先度には、ポート204の性能、経路の情報を用いるようにしてもよい。
例えば、ポート選択の優先度を性能で選択する場合には、選択結果のうちもっとも利用率が低い、またはスループットに余裕がある(=未使用のスループットが多い)ポートを高優先とする。
また、アドレスを元にもっとも近いポート204を割当てる場合、例えば、IPネットワークの場合には、IPアドレスのサブネットを比較するようにしてもよい。また、ネットワーク経路のトレースを行うコマンド(Unix環境ではtracerouteコマンドがある)を利用し、ホスト計算機101からの経路を考慮して優先度を決定してもよい(例えば、ホスト計算機101からの経路が短いポート204の優先度を高くする)。
さらに、ポートリストの優先度を決める方法として、ラウンドロビン方式が考えられる。ストレージ管理プログラム110aは、各ポート204に対して優先度を保持し、優先度の高いポート204を先頭にポートリストを作成する。ストレージ管理プログラム110aは、ポートリストを送信後最も先頭のポート204の優先度を最低とし、順次優先度を繰り上げる。上記の処理により簡易な処理にて全てのポート204に対して均等にアクセスを生じさせることが可能になる。
〈第2実施形態〉
続いて本発明の第2実施形態を説明する。第2実施形態は、第1実施形態で行なったストレージドメイン301の管理に加えて、さらにSAN104のトポロジ管理を加えて記憶サブシステムの管理を行なうようにしたものである。なお、第2実施形態の説明において、第1実施形態と同じ構成には同じ符号を用いることとする。
最初に第2実施形態の構成を、図15を用いて説明する。
図15は、本発明の第2実施形態の情報処理システムのシステム構成を表すブロック図である。
図示するように、第2実施形態の情報処理システムは、上述した第1実施形態の情報処理システムと管理計算機103の構成が異なる以外は同様の構成を有している。以下において、異なる部分を中心に説明する。
具体的には、第2実施形態の管理計算機103は、第1実施形態の管理計算機103に、さらに、トポロジ管理プログラム1501、トポロジ管理テーブル1502、SANドメイン管理テーブル1503が追加されている。また、第2実施形態の管理計算機103は、第1実施形態の管理計算機103が有する、管理テーブル112、ホスト管理テーブル116の代わりに、ポート管理テーブル1504およびホスト管理テーブル1505が設けられている。
ポート管理テーブル1504およびホスト管理テーブル1505は、第1実施形態で説明した管理テーブル112およびホスト管理テーブル116に、さらに、SANドメインの情報を追加したものである。
トポロジ管理プログラム1501は、SAN104のトポロジやネットワーク上のZoning、VLAN(Virtual LAN)、VPN(Virtual Private Network)等のセキュリティを管理するプログラムである。これらのトポロジに関する情報はトポロジ管理テーブル1502に格納されている。
また、第2実施形態のストレージ管理プログラム110aは、第1実施形態のストレージ管理プログラム110aに、さらに、トポロジ情報を管理するプログラムが付加されている。
そして、管理計算機103のCPU10は、トポロジ管理プログラム1501を実行して、SAN104に関するトポロジが変更される度に、メモリ20の所定領域にトポロジ情報を格納する。CPU10は、上記のトポロジ情報をメモリ20の所定領域に格納した場合、ストレージ管理プログラム110aを実行して、メモリ20に格納されたトポロジ情報を読み出して、SANドメイン管理テーブル1503及びポート管理テーブル1504を更新(または登録)する処理を行う。このように、CPU10は、ストレージ管理プログラム110aとトポロジ管理プログラム1501とを連携して実行することで、SAN104に関するトポロジが変更される度に、その変更内容をSANドメイン管理テーブル1503及びポート管理テーブル1504に反映させる事ができる。
このように、第2実施形態では、ストレージドメイン301の管理と共に、SAN104のトポロジ管理と組み合わせることにしている。このように構成することで、第2実施形態では、第1実施形態の効果に加えて、さらに、効率的な経路管理が可能となる。具体的には、ZoningやVLAN(Virtual LAN)、VPN(Virtual Private Network)によるセキュリティ機能等との連携が可能となる。
続いて、第2実施形態の情報処理システムの管理単位であるSANドメインについて図16を用いて説明する。
図16は、第2実施形態の情報処理システムの管理単位であるSANドメインを説明するための図である。
図示するSANドメイン1601は、管理計算機103のCPU10により作成される。具体的には、CPU10は、ストレージ管理プログラム110aを実行して、上述したようにメモリ20の所定領域に格納されている「SAN104のトポロジやセキュリティの情報」を読み出す。CPU10は、ストレージ管理プログラム110aを実行して、読み出した「トポロジやセキュリティの情報」を利用してSANドメイン1601を設定する。
すなわち、CPU10は、ストレージ管理プログラム110aを実行して、上記のセキュリティ情報を元にSAN104内でアクセス可能なポート群をSANドメインとして設定する。次に、CPU10は、ストレージ管理プログラム110aを実行して、同一セキュリティ属性内のSANドメイン1601を、トポロジに関してSANドメイン1601a〜nに分類する。
図示する例では、CPU10は、ストレージ管理プログラム110aを実行して、まずセキュリティ属性を元に、SANドメイン1601aを作成している。次に、CPU10は、ストレージ管理プログラム110aを実行して、作成したSANドメイン1601aを、取得したトポロジ情報を元にSANドメイン1601aa、SANドメイン1601abに分類している。
この例では、ホスト計算機101aは、SANドメイン1601aaとSANドメイン1601abの両方に属し、ホスト計算機101bは、SANドメイン1601abのみに属している。つまりホスト計算機101bからは、論理デバイス105a、論理デバイス105bにアクセス可能であるが、ポート204b経由でしかアクセスが出来ない。一方、ホスト計算機101aからは、ポート204a、ポート204bの両方からアクセス可能である。
また、図示する例では、SANドメイン1601aa、SANドメイン1601abは、ストレージドメイン301aに属し、SANドメイン1601cは、ストレージドメイン301bに属していることを示している。
続いて、図17〜図19を用いて、第2実施形態の情報処理システムが有する、SANドメイン管理テーブル1503、ポート管理テーブル1504、およびホスト管理テーブル1505のデータ構造を説明する。
図17は、第2実施形態のSANドメイン管理テーブル1503のデータ構造を模擬的に示した図である。
SANドメイン管理テーブル1503は、SANドメインの識別子である「SANドメインID」を格納するエントリ1701と、SANドメインの名前である「SANドメイン名」を格納する1702と、SANドメインの属性を示す「属性情報」を格納するエントリ1703とを有する。エントリ1701に格納する「SANドメインID」に対応付けて、エントリ1702および1703に「SANドメイン名」および「属性データ」が格納される。
図示する、SANドメイン管理テーブル1503の一番上の「行」のエントリには、「SANドメインID」が「na」であって、「SANドメイン名」が「SANドメインA」、「属性データ」が「VLAN―A」のデータが格納されている。
そして、管理計算機103のCPU10は、ストレージ管理プログラム110aを実行することで、SANドメイン管理テーブル1503に格納されるデータを管理する。
図18は、第2実施形態のポート管理テーブル1504のデータ構造を模擬的に示した図である。
管理ポートテーブル1504は、図5で説明したポート管理テーブル112にさらに、SANドメインの識別子である「SANドメインID」を格納するエントリ1801が付加されたものである。
そして、管理計算機103のCPU10は、ストレージ管理プログラム110aを実行することで、ポート管理テーブル1504に格納されるデータを管理する。CPU10は、ストレージ管理プログラム110aを実行することで、上述したメモリ20の所定領域に格納されたトポロジ情報(SAN104のトポロジやセキュリティの情報)を読み出す。CPU10は、ストレージ管理プログラム110aを実行して、上記の読み出した情報を解析し、各ポートに対するSANドメインを対応付け行なう。また、CPU10は、ストレージ管理プログラム110aを実行して、上記対応付けたSANドメインを対応するエントリ1801に格納する。
図19は、第2実施形態のホスト管理テーブル1505のデータ構造を模擬的に示した図である。
ホスト管理テーブル1505は、図7で説明したホスト管理テーブル116に、さらに、SANドメインの識別子である「SANドメインID」を格納するエントリ1901が付加されたものである。
そして、管理計算機103のCPU10は、ストレージ管理プログラム110aを実行することで、ホスト管理テーブル1505に格納されるデータを管理する。CPU10は、ストレージ管理プログラム110aを実行することで、上述したメモリ20の所定領域に格納されたトポロジ情報(SAN104のトポロジやセキュリティの情報)を読み出す。CPU10は、ストレージ管理プログラム110aを実行して、取得した情報を解析し各ポートに対するSANドメインを対応付け行なう。また、CPU10は、ストレージ管理プログラム110aを実行して、上記対応付けたSANドメインを対応するエントリ1901に格納する。
続いて、第2実施形態の情報処理システムが行う初期設定処理に付いて図20を用いて説明する。なお、第2実施形態の情報処理システムが行う初期設定処理は、図9で説明した第1実施形態のものと基本的に同じである。そこで、以下では、異なる部分を中心に説明する。
図20は、第2実施形態の情報処理システムが行う初期設定処理のフローを説明するための図である。
さて、第2実施形態の情報処理システムは、図9で示したS901と同様の処理を行ない、管理者からのストレージドメイン301の設定を受付ける(S2001)。
続いて、第2実施形態では、管理計算機103のCPU10は、ストレージ管理プログラム110aを実行して、ポート管理テーブル1504へSANドメインID1801の設定を行う(S2002)。本実施形態では、CPU10がストレージ管理プログラム110aを実行して行う、ポート管理テーブル1504へのSANドメインID1801の設定の具体的手順については、特に限定しない。例えば、CPU10が、管理者が入力するSANドメインの設定情報を受付けて、その受付けたSANドメインの設定情報をポート管理テーブル1504に格納するようにしてもよい。
その後、管理計算機103のCPU10は、図9とS902と同様の処理を行なう(S2003)。
続いて、第2実施形態が行なうデバイス生成処理について説明する。第2実施形態の情報処理システムが行うデバイス生成処理は、図10で示した第1実施形態のものと同じ処理を行なう。
次にポート振分け処理について説明する。第2実施形態の情報処理システムが行うポート振分け処理は、図14に示すポート振分け処理(処理C)以外には、第1実施形態と同様の処理を行なう。すなわち、第2実施形態では、図11〜図13で示した第1実施形態のものと同じ処理を行なう。そこで、第1実施形態と異なるポート振り分け処理について図21を用いて説明する。
図21は、本実施形態の管理計算機103が行なうポート振分け処理のフローを説明するための図である。なお、以下の処理は、管理計算機103のCPU10が各プログラム(ストレージ管理プログラム110a、ネーム管理プログラム114、トポロジ管理プログラム1501)を実行することで、または記憶サブシステム102のCPU202がストレージ管理プログラム110aを実行することで実現されるものである。しかしながら、以下では、説明の簡略化のために各プログラム(ストレージ管理プログラム110a、ネーム管理プログラム114、トポロジ管理プログラム1501)を動作主体として記載することとする。
さて、第2実施形態のストレージ管理プログラム110aは、図14で示した処理と基本的に同じ処理を行なうが、SANドメイン1601に関する処理が図14に示すS1404の後で追加される点が異なっている。以下において、図14の処理と異なる部分を中心に説明する。
さて、ストレージ管理プログラム110aは、S1401〜S1404と同じ処理を行なう。その後、ストレージ管理プログラム110aは、SANドメイン1601に関する処理を行なうS2101の処理に進む。
S2101では、ストレージ管理プログラム110aは、ストレージドメイン301の検索と同様の手順でSANドメイン1601も検索する。ストレージ管理プログラム110aは、ホスト管理テーブル1505を検索し、要求元ホスト計算機101が属しているSANドメイン1601を得る。この場合、一つもSANドメイン1601が得られなかった場合には、S1409に進む。一方、ストレージ管理プログラム110aは、一つ以上のSANドメイン1601が得られた場合には、S2103に進む(S2102)。
S2103では、ストレージ管理プログラム110aは、ポート管理テーブル1504を検索して、S1403で得られたストレージドメイン301、およびS2101で得られたSANドメイン1601の両者に属するポート204のうち状態605が“正常”であるポート204を取得して、S1407の処理に進む。
一方、ストレージ管理プログラム110aは、上記検索の結果、1403で得られたストレージドメイン301、およびS2101で得られたSANドメイン1601の両者に属するポート204のうち状態605が“正常”であるポート204を取得できなかった場合には、S1409に進む。
なお、S1407〜1408、S1409の処理は、図14で示したものと同じであるので説明は省略する。
このように、第2実施形態では、ストレージドメイン301の管理と共に、SAN104のトポロジ管理と組み合わせることにしている。このように構成することで、第2実施形態では、第1実施形態の効果に加えて、さらに、効率的な経路管理が可能となる。具体的には、ZoningやVLAN(Virtual LAN)、VPN(Virtual Private Network)によるセキュリティ機能等との連携が可能となる。
〈第3実施形態〉
続いて本発明の第3実施形態を説明する。第3実施形態は、上記第1および第2実施形態とポート振分け処理の手順が異なる以外は、同様の構成を有する。なお、本発明の第3実施形態は、上記第1実施形態のように、ストレージドメインを設定して記憶サブシステム102を管理する構成、および、上記第2実施形態のように、ストレージドメインおよびSANドメインを用いて記憶サブシステム102を管理する構成の両者に適用することができる。以下の説明では、ストレージドメインだけを設定して記憶サブシステム102を管理する例を説明する。また、第3実施形態の説明において、第1実施形態と同じ構成には同じ符号を用いることとする。
本発明の第3実施形態の情報処理システムの構成は、図1〜2で示す第1実施形態のものと同じである。但し、第3実施形態では、第1実施形態とネーム管理プログラム114およびストレージ管理プログラム110の構成が異なっている。
本発明の第3実施形態の記憶サブシステム102の管理単位であるストレージドメイン301は、図3で示したものと同じである。
続いて、第3実施形態の管理計算機103が行なう、ポート振分け処理について図22を用いて説明する。
図22は、第3実施形態の管理計算機103が行なう、ポート振分け処理を説明するための図ある。なお、以下で説明するポート振分け処理は、管理計算機103のCPU10が各プログラム(ストレージ管理プログラム110a、ネーム管理プログラム114)を実行することで実現されるものである。しかしながら、以下では、説明の簡略化のために各プログラム(ストレージ管理プログラム110a、ネーム管理プログラム114)を動作主体として記載することとする。
図22では、(a)図にネーム管理テーブル115を変更する前の記憶サブシステム102が有するポート204と論理デバイス105との接続関係を説明するための図を示している。また、(b)図にネーム管理テーブル115を変更した後の記憶サブシステム102が有するポート204と論理デバイス105との接続関係を説明するための図を示している。
また、図22に示す、(aー1)図、および(bー1)図は、ネーム管理テーブル115を示している。なお、(aー1)図、および(bー1)図のネーム管理テーブル115は、第3実施形態の管理計算機103が行なうポート振分け処理の説明に必要なデータ(図8に示すエントリ802およびエントリ805のデータ)だけを抽出して例示したものである。
また、図22に示す、(aー2)図、および(bー2)図は、記憶サブシステム102が有するポート204と論理デバイス105との接続関係を説明するイメージ図を例示したものである。
さて、(aー1)図に示す、ネーム管理テーブル115では、「論理デバイスA」は、ポート204aおよびポート204bに接続可能な状態を示している。また、ネーム管理テーブル115では、「論理デバイスB」は、ポート204aおよびポート204bに接続可能な状態を示している。
(aー2)図では、ストレージドメイン301aに、論理デバイス105Aおよび論理デバイス105B、ポート204a、ポート204bが振分けられている。図示する破線は、論理デバイス105とポート204間が接続可能であることを示している。また、(aー2)図では、ポート204aを経由しデバイス105Aが使用されていて、ポート204aが「高負荷」の状態となっていることを示している。第3実施形態の情報処理システムでは、(aー2)図に示すように、「ポート204a」が高負荷になっている場合に、「ポート204a」に対する新たな接続を制限する。
第3実施形態のストレージ管理プログラム110aは、記憶サブシステム102のポート204の状態を監視する。そして、ストレージ管理プログラム110aは、監視の結果、ポート204が「過負荷」であることを判定した場合、「ポート204a」に対する新規接続が行なわれないように接続制御を行なう。具体的には、ストレージ管理プログラム110aは、記憶サブスシステム102に対し、ポート204aの使用を停止(あるいは使用の制限)する旨を通知する。又、ネーム管理プログラム114は、ポートリストを作成する際(或いは作成後)に、ポート204aをリストに含めないようにする。
但し、ストレージ管理プログラム110aは、接続制御を行なう際に、論理デバイス105への最低限、1つのアクセス経路を確保する。ストレージ管理プログラム110aは、接続先のポート204が1つしかない論理デバイス105がある場合、その接続先のポート204が「過負荷」であっても、その論理デバイス105に対する接続制御は行なわない。一方、ストレージ管理プログラム110aは、「過負荷」のポートに接続可能である論理デバイス105が、過負荷のポート204以外のポート204にも接続可能である場合、その論理デバイス105への接続を制御する。具体的には、ストレージ管理プログラム110aは、上記論理デバイス105と「過負荷」のポート204との接続可能な関係を解消させる。
なお、図示する例では、デバイス105bは、「ポート204a」からの接続経路に加えて、「ポート204b」からの接続経路を有しているため、「ポート204a」を経由する接続経路を削除してもかまわない。ストレージ管理プログラム110aは、ネーム管理プログラム114に対してデバイス105bの接続可能なポート204から「ポート204a」を削除するように要求する。この場合、ストレージ管理プログラム110aは、ポート204aを介してのデバイス105bに対するアクセス要求を受け付けないようにする。
ネーム管理プログラム114は、上記要請を受けて、(aー1)図に示すネーム管理テーブル115を、(bー1)図に示す構成に変更する。すなわち、ネーム管理プログラム114は、ネーム管理テーブル115の「デバイス105b」に関連づけられている「ポート204a」を示すデータを削除する。その結果、ポート204と論理デバイス105との接続関係は、(bー2)図に示すようになる。
このように、第3実施形態では、ストレージドメイン301の中で、さらに、ポート204と論理デバイス105との接続関係を対応付けて管理するようにしている。そして、ポート204の負荷に応じて、対応づけたポート204と論理デバイス105との接続関係を変更するようにしている。
すなわち、第3実施形態では、ポートの負荷状態に応じてポート204への接続制御を行っているため高負荷となっているポート204へのアクセスを回避可能となりシステム全体の利用効率が向上させることができる。なお、第3実施形態が有する各テーブル(ネーム管理テーブル115、ホスト管理テーブル116、デバイス管理テーブル111、ポート管理テーブル112、ストレージドメイン管理テーブル113)のデータ構造は、図4〜8で示したものと同じである。
また、第3実施形態の情報処理システムが行う、初期設定処理および論理デバイス作成処理は、図9および図10に示す処理と同じである。
続いて、第3実施形態の情報処理システムのポート振分け処理を、図23を用いて説明する。図23は、本実施形態の情報処理システムが行うポート振分け処理のフローを説明するための図である。なお、以下の処理は、管理計算機103のCPU10が各プログラム(ストレージ管理プログラム110a、ネーム管理プログラム114)を実行することで、または記憶サブシステム102のCPU202がストレージ管理プログラム110bを実行することで実現されるものである。しかしながら、以下では、説明の簡略化のために各プログラム(ストレージ管理プログラム110a、ストレージ管理プログラム110b、ネーム管理プログラム114)を動作主体として記載することとする。
管理計算機103のストレージ管理プログラム110aは、構成情報更新処理の際に、管理下にある記憶サブシステム102のストレージ管理プログラム110bに構成情報を問い合わせる。ストレージ管理プログラム110aは、ストレージ管理プログラム110bが上記問い合わせに応答して送信する構成情報を取得する。
ストレージ管理プログラム110aは、構成の変更、高負荷ポート検出、高負荷から低負荷へ移行等、ネーム管理プログラム114に対し構成の変更通知が必要な場合、ネーム管理プログラム114に対して構成情報の登録変更要求を発行する(処理D2301)。
ネーム管理プログラム114は、ホスト101からのディスカバリ要求に対して、図11に示すディスカバリ要求と同様の処理を行なう。
続いて、第3実施形態の情報処理システムの構成情報更新処理について図24を用いて説明する。
図24は、本実施形態の情報処理システムが行う構成更新処理のフローを説明するための図である。なお、以下の処理は、管理計算機103のCPU10が各プログラム(ストレージ管理プログラム110a、ネーム管理プログラム114)を実行することで、または記憶サブシステム102のCPU202がストレージ管理プログラム110bを実行することで実現されるものである。しかしながら、以下では、説明の簡略化のために各プログラム(ストレージ管理プログラム110a、ストレージ管理プログラム110b、ネーム管理プログラム114)を動作主体として記載することとする。
第3実施形態では、ストレージ管理プログラム110aは、記憶サブシステム102の構成が更新された場合、その更新内容をネーム管理プログラム114に通知して、ネーム管理テーブル115に更新内容を反映させる必要がある。第3実施形態では、管理計算機103のメモリ20に変更リストテーブル(図示しない)を設けるようにする。ストレージ管理プログラム110aは、変更リストテーブルに変更内容を格納する。具体的には、第3実施形態の情報処理システムは、以下のような処理を行なう。
ストレージ管理プログラム110aは、図12に示すS1201〜S1204と同様の処理を行い、S2401の処理に進む。S2401では、ストレージ管理プログラム110aは、予めメモリ20内に用意された変更リストテーブルに構成変更に関するデータを格納してS1205の処理に進む。その後、ストレージ管理プログラム110aは、図12示すS1205〜S1206と同様の処理を行い、S2402の処理に進む。
S2402では、ストレージ管理プログラム110aは、上記の変更リストに過負荷ポートに関するデータを格納して、S1207の処理に進む。その後、ストレージ管理プログラム110aは、図12に示すS1207〜S1208と同様の処理を行い、S2403の処理に進む。
S2403では、ストレージ管理プログラム110aは、上記の変更リストに未登録かつ低負荷のポートに関するデータ(或いは、高負荷から低負荷へ状態変更したポートに関するデータ)を格納して、S2404の処理に進む。
S204では、ストレージ管理プログラム110aは、変更リストの内容をネーム管理プログラム114へ送信し、図12で示したS1209と同じ処理を行なう。
このように、本発明の第3実施形態によれば、管理計算機103のストレージ管理プログラム110aは、記憶サブシステム102のポート204の状態を監視して、「過負荷」のポート204には、新規接続が行なわれないように接続制御を行なうようにしている。そのため、第3実施形態によれば、上記第1実施形態の効果に加えて、さらに、高負荷となっているポート204へのアクセスを回避させることができ、システム全体の利用効率が向上させることができる。
〈第4実施形態〉
続いて本発明の第4実施形態を説明する。第4実施形態は、上記第1および第2実施形態とポート振分け処理の手順が異なる以外は、同様の構成を有する。なお、本発明の第4実施形態は、上記第1実施形態のように、ストレージドメインを設定して記憶サブシステム102を管理する構成、および、上記第2実施形態のように、ストレージドメインおよびSANドメインを用いて記憶サブシステム102を管理する構成の両者に適用することができる。以下の説明では、ストレージドメインだけを設定して記憶サブシステム102を管理する例を説明する。また、第4実施形態の説明において、第1実施形態と同じ構成には同じ符号を用いることとする。
最初に、第4実施形態のシステム構成について図25を用いて説明する。
図25は、本発明の第4実施形態の情報処理システムのシステム構成を表すブロック図である。
図示する第4実施形態の情報処理システムは、管理計算機103の構成が異なる以外は、第1実施形態と同じである、
具体的には、管理計算機103のメモリ20には、少なくともネーム管理プログラム114およびネーム管理テーブル115が格納されている。そして、記憶サブステム102のCPU202は、ストレージ管理プログラム110bを実行して、記憶サブシステム102の構成情報を管理計算機103に送信する。
管理ホスト103のCPU10は、ネーム管理プログラム114を実行して、記憶サブシステム102のCPU202から送信された構成情報を受信する。管理ホスト103のCPU10は、ネーム管理プログラム114を実行して、上記受信した構成情報を用いてネーム管理テーブル115のデータの登録や更新を行なう。
また、第4実施形態が有する各テーブル(ネーム管理テーブル115、ホスト管理テーブル116、デバイス管理テーブル111、ポート管理テーブル112、ストレージドメイン管理テーブル113)のデータ構造は、図4〜8で示したものと同じである。
また、第4実施形態の情報処理システムが行う、初期設定処理および論理デバイス作成処理は、図9および図10に示す処理と同じである。
続いて、第4実施形態の情報処理システムのポート振分け処理を、図26を用いて説明する。
図26は、第4実施形態の情報処理システムが行うポート振分け処理のフローを説明するための図である。なお、以下の処理は、管理計算機103のCPU10がネーム管理プログラム114を実行することで、または記憶サブシステム102のCPU202がストレージ管理プログラム110bを実行することで実現されるものである。しかしながら、以下では、説明の簡略化のために各プログラム(ストレージ管理プログラム110b、ネーム管理プログラム114)を動作主体として記載することとする。
第4実施形態では、記憶サブシステム102のストレージ管理プログラム110bが、直接ネーム管理プログラム114と通信する形態となり、第1実施形態のようにストレージ管理プログラム110間(ストレージ管理プログラム110aおよびbの間)の通信を行う必要は無い。
ストレージ管理プログラム110bは、構成の変更、高負荷ポート検出、高負荷から低負荷へ移行等の構成情報の変更がある場合、ネーム管理プログラム114に対し構成情報の登録変更要求を発行する(S2301)。
S2301の処理は、上述した図12に示した処理と、S1203の処理手順が異なる以外は同じである。具体的には、S2301の場合は、図12のS1203のように、ストレージ管理プログラム110aからストレージ管理プログラム110bへの更新情報問い合わせは行わず、ストレージ管理プログラム110bは、記憶サブシステム102の構成情報の参照を行う点が異なる。
なお、ホスト計算機101からのディスカバリ要求の際には、ネーム管理プログラム114は、通常のディスカバリ要求に対する処理および応答を行う。
このように、本実施形態1〜4では、論理デバイス105群、ポート204群、およびホストコンピュータ101をストレージドメイン301Aに分類し、同じストレージドメインの中に属する論理デバイスとポートを任意に組合せることができるようにしている。そのため、従来の記憶サブシステムズのように、論理デバイスとポートとを1対1で対応させる設定を行う必要がなくなり、記憶サブシステムの管理の煩雑さを解消させることができる。
また、本実施形態によれば、ポート振分け処理を行なう際に、ポートの負荷状態を考慮して、論理デバイスに対して動的にポートを振分けることができる。また、本実施形態によれば、ポート振分け処理を行う際に、アクセスを要求するホスト101の近くアドレスを有するポート204を動的に振分けることができる。そのため、本実施形態によれば、システム全体の利用効率が向上させることができる。
また、本実施形態では、ホスト計算機は、iSNS、iSCSIのプロトコルにしたがう標準的なディスカバリ要求を管理計算機に行なうことで、管理計算機からアクセスしたい論理デバイスに対応するポートの情報を取得している。これにより、本実施形態によれば、製造メーカが異なる複数の記憶サブシステムが接続されている情報処理システムの負荷分散や障害回避処理を行なう場合、ホストコンピュータ上に製造メーカが異なる、ディスクアレイ装置毎のデバイスプログラムを実装させる必要はない。
なお、本発明は以上で説明した実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形が可能である。例えば、上記第3および第4実施形態では、記憶サブシステムの管理単位にストレージドメインを用いる場合を説明したが、記憶サブシステムの管理単位として第2実施形態のようにストレージドメインに加えてSANドメインを用いるようにしてもよい。
また、本実施形態では、ホスト計算機、論理デバイス、およびポートをストレージドメインにグループ分けして、アクセス管理を行なうようにしているが、特にこれに限定するものではない。例えば、ストレージドメインに論理デバイスおよびポートだけをグループ分けしておいて、ホスト計算機から論理デバイスに対するアクセス管理を行なうようにしてもよい。このように構成した場合でも、従来のように、ポートと論理デバイスとを1対1で対応させる必要がないため、記憶サブシステムの設定や構成の変更の際の手間を軽減することができる。また、このように、論理デバイスおよびポートをグループ分けしておけば、ポートの状態に応じて、最適なポートを振分けることができるため、上記実施形態と同様、システム全体の利用効率が向上させることができる。
本発明の第1実施形態の情報処理システムのシステム構成を表すブロック図である。 本発明の第1実施形態の記憶サブシステム102のシステム構成図である。 本発明の実施形態の記憶サブシステムの管理単位であるストレージドメインを説明するための図である。 本発明の実施形態のストレージドメイン管理テーブル113のデータ構造を模擬的に示した図である。 本発明の本実施形態のポート管理テーブル112のデータ構造を模擬的に示した図である。 本発明の実施形態のデバイス管理テーブル111のデータ構造を模擬的に示した図である。 本発明の実施形態のホスト管理テーブル116のデータ構造を模擬的に示した図である。 本発明の実施形態のネーム管理テーブル115のデータ構造を模擬的に示した図である。 本発明の実施形態の情報処理システムが行う初期設定処理のフローを説明するための図である。 本発明の実施形態の情報処理システムが行う論理デバイス作成処理のフローを説明するための図である。 本発明の実施形態のポート振分け処理のフローを説明するための図である。 本発明の実施形態の情報処理システムが行う構成情報更新処理のフローを説明するための図である。 本発明の実施形態の管理計算機が行なうディスカバリ処理のフローを説明するための図である。 本発明の実施形態の管理計算機102が行なうポート振分け処理のフローを説明するための図である。 本発明の第2実施形態の情報処理システムのシステム構成を表すブロック図である。 本発明の第2実施形態の情報処理システムの管理単位であるSANドメインを説明するための図である。 本発明の第2実施形態のSANドメイン管理テーブル1503のデータ構造を模擬的に示した図である。 本発明の第2実施形態のポート管理テーブル1504のデータ構造を模擬的に示した図である。 本発明の第2実施形態のホスト管理テーブル1505のデータ構造を模擬的に示した図である。 本発明の第2実施形態の情報処理システムが行う初期設定処理のフローを説明するための図である。 本発明の第2実施形態の管理計算機が行なうポート振分け処理のフローを説明するための図である。 本発明の第3実施形態の管理計算機103が行なう、ポート振分け処理を説明するための図ある。 本発明の第3実施形態の情報処理システムが行うポート振分け処理のフローを説明するための図である。 本発明の第3実施形態の情報処理システムが行う構成更新処理のフローを説明するための図である。 本発明の第4実施形態の情報処理システムのシステム構成を表すブロック図である。 本発明の第4実施形態の情報処理システムが行うポート振分け処理のフローを説明するための図である。
符号の説明
10…CPU、11…FC/IF、20…メモリ、101…ホスト計算機、102…記憶サブシステム、103…管理計算機、105…論理デバイス、110…ストレージ管理プログラム、111…デバイス管理プログラム、112…ポート管理プログラム、113…ストレージドメイン管理テーブル、114…ネーム管理プログラム、115…ネーム管理テーブル、116…ホスト管理テーブル、201…コントローラ、202…CPU、203…ホストアダプタ、240…ポート、205…メモリ、207…ディスクアダプタ、208…内部バス、209…ディスクインタフェース、210…ディスク装置、301…ストレージドメイン、1501…トポロジ管理プログラム、1502…トポロジ管理テーブル、1503…SANドメイン管理テーブル、1504…ポート管理テーブル

Claims (14)

  1. 少なくとも1台のホスト計算機と、前記ホスト計算機にネットワークを介して接続されている、少なくとも1台の記憶サブシステムとを有する情報処理システムに対して、管理計算機がポートの割り当てを行なう記憶サブシステム管理方法であって、
    前記記憶サブシステムは、複数の論理デバイスおよび複数のポートを有し、前記ネットワークに複数のポートを介して接続されていて、
    前記管理計算機は、
    前記記憶サブシステムの管理単位である、1以上のストレージドメインを示すデータの入力を受付けるステップと、
    前記複数のポート、前記複数の論理デバイス、およびホスト計算機を、前記1以上のストレージドメインにグループ分けするステップと、
    前記ホスト計算機から、前記論理デバイスに対するディスカバリ要求を受け付けた場合に、前記グループ分けしたストレージドメインの中から、該ディスカバリ要求を送信したホスト計算機および要求されている論理デバイスの両者が属するストレージドメインを特定するステップと、
    前記特定したストレージドメインに属するポートを選択し、該選択したポートを該論理デバイスに割り当てるステップと、
    前記割り当てたポートの情報を前記ホスト計算機に送信するステップと、を実行すること
    を特徴とする記憶サブシステム管理方法。
  2. 少なくとも1台のホスト計算機と、前記ホスト計算機にSAN(Storage Area Network)を介して接続されている、少なくとも1台の記憶サブシステムとを有する情報処理システムに対して、管理計算機がポートの割り当てを行なう記憶サブシステム管理方法であって、
    前記記憶サブシステムは、複数の論理デバイスおよび複数のポートを有し、前記SANに複数のポートを介して接続されていて、
    前記管理計算機は、
    前記記憶サブシステムの管理単位である、1以上のストレージドメインを示すデータの入力を受付けるステップと、
    前記複数のポート、前記複数の論理デバイス、およびホスト計算機を、前記1以上のストレージドメインにグループ分けするステップと、
    前記SANを1以上の管理単位であるSANドメインに分割するステップと、
    前記SANドメインに前記ホストおよび前記ポートをグループ分けするステップと、
    前記ホスト計算機から、前記論理デバイスに対するディスカバリ要求を受け付けた場合に、前記グループ分けしたストレージドメインの中から、該ディスカバリ要求を送信したホスト計算機および要求されている論理デバイスの両者が属するストレージドメインを特定し、かつ前記グループ分けしたSANドメインの中から、該ディスカバリ要求を送信したホスト計算機が属するSANドメインを特定するステップと、
    前記特定したストレージドメインおよびSANドメインの両者に属するポートを選択し、該選択したポートを該論理デバイスに割り当てるステップと、
    前記割り当てたポートの情報を前記ホスト計算機に送信するステップと、を実行すること
    を特徴とする記憶サブシステム管理方法。
  3. 少なくとも1台のホスト計算機と、少なくとも1台の記憶サブシステムと、管理計算機とを有する情報処理システムの記憶サブシステム管理方法であって、
    前記ホスト計算機、記憶サブシステム、および管理計算機は、各々がネットワークを介して接続されていて、
    前記記憶サブシステムは、
    複数の論理デバイスおよび複数のポートを有し、前記ネットワークに複数のポートを介して接続されていて、
    自身が有する論理デバイスおよびポートの構成が変更された場合に、該変更された論理デバイスおよびポートを示すデータを含む構成変更情報を前記管理計算機に送信するステップを行い、
    前記管理計算機は、
    前記記憶サブシステムの管理単位である、1以上のストレージドメインを示すデータの入力を受付けるステップと、
    前記複数のポート、前記複数の論理デバイス、およびホスト計算機を、前記1以上のストレージドメインにグループ分けするステップと、
    前記記憶サブシステムが前記構成変更情報を送信した場合、該構成変更情報を受信し、該受信した構成変更情報を用いて、前記グループ分けしたストレージドメインを変更するステップと、
    前記ホスト計算機から、前記論理デバイスに対するディスカバリ要求を受け付けた場合に、前記グループ分けしたストレージドメインの中から、該ディスカバリ要求を送信したホスト計算機および要求されている論理デバイスの両者が属するストレージドメインを特定するステップと、
    前記特定したストレージドメインに属するポートであって、かつ前記要求された論理デバイスに予め対応づけられているポートを選択し、該選択したポートを該論理デバイスに割り当てるステップと、
    前記割り当てたポートの情報を前記ホスト計算機に送信するステップと、を実行すること
    を特徴とする記憶サブシステム管理方法。
  4. 少なくとも1台のホスト計算機と、少なくとも1台の記憶サブシステムと、管理計算機とを有する情報処理システムの記憶サブシステム管理方法であって、
    前記ホスト計算機、記憶サブシステム、および管理計算機は、各々がネットワークを介して接続されていて、
    前記記憶サブシステムは、
    複数の論理デバイスおよび複数のポートを有し、前記ネットワークに複数のポートを介して接続されていて、
    初期設定の際に、自身が有する論理デバイスおよびポートを示すデータを含む構成情報を前記管理計算機に送信するステップと、
    自身が有する論理デバイスおよびポートの構成が変更された場合に、該変更された論理デバイスおよびポートを示すデータを含む構成変更情報を前記管理計算機に送信するステップと、を行い、
    前記管理計算機は、
    前記記憶サブシステムの管理単位である、1以上のストレージドメインを示すデータの入力を受付けるステップと、
    前記記憶サブシステムが送信する前記構成情報を受信し、該受信した構成情報を用いて、前記複数のポート、前記複数の論理デバイス、およびホスト計算機を、前記1以上のストレージドメインにグループ分けするステップと、
    前記記憶サブシステムが送信する前記構成変更情報を受信し、該受信した構成変更情報を用いて、前記グループ分けしたストレージドメインを変更するステップと、
    前記ホスト計算機から、前記論理デバイスに対するディスカバリ要求を受け付けた場合に、前記グループ分けしたストレージドメインの中から、該ディスカバリ要求を送信したホスト計算機および要求されている論理デバイスの両者が属するストレージドメインを特定するステップと、
    前記特定したストレージドメインに属するポートを選択し、該選択したポートを該論理デバイスに割り当てるステップと、
    前記割り当てたポートの情報を前記ホスト計算機に送信するステップと、を実行すること
    を特徴とする記憶サブシステム管理方法。
  5. 請求項1〜4のいずれか一項に記載の記憶サブシステム管理方法であって、
    前記管理計算機は、
    前記記憶サブシステムからポート利用率を示す情報を定期的に取得するステップを行い、
    前記ポートを論理デバイスに割り当てるステップは、選択可能なポートが複数ある場合、前記取得した利用率を用いて、該利用率が低いポートを選択することを特徴とする記憶サブシステム管理方法。
  6. 請求項1〜4のいずれか一項に記載の記憶サブシステム管理方法であって、
    前記管理計算機は、
    前記記憶サブシステムからポートが正常か否かを示す情報を定期的に取得するステップを行い、
    前記ポートを論理デバイスに割り当てるステップは、選択可能なポートが複数ある場合、前記取得したポートが正常か否かを示す情報を用いて、該状態が正常であるポートを選択すること
    を特徴とする記憶サブシステム管理方法。
  7. 請求項1〜4のいずれか一項に記載の記憶サブシステム管理方法であって、
    前記ポートを論理デバイスに割り当てるステップは、選択可能なポートが複数ある場合、前記ディスカバリ要求を送信したホスト計算機のネットワークアドレスに、最も近いネットワークアドレスのポートを選択すること
    を特徴とする記憶サブシステム管理方法。
  8. 請求項7に記載の記憶サブシステム管理方法であって、
    前記ホスト計算機のネットワークアドレスは、IPアドレスであり、サブネットを元に最も近いポートを選択すること
    を特徴とする記憶サブシステム管理方法。
  9. 請求項2に記載の記憶サブシステム管理方法であって、
    前記SANドメインに分割するステップは、前記SANドメインがVLANと同一になるようにSANを分割すること
    を特徴とする記憶サブシステム管理方法。
  10. 請求項3に記載の記憶サブシステム管理方法であって、
    前記管理計算機は、
    前記取得した構成変更情報にポートが過負荷であることを示すデータが含まれている場合、前記過負荷のポートに予め対応付けられている論理デバイスであって、かつ該過負荷のポート以外のポートにも対応づけられている論理デバイスに対し、過負荷のポートへの対応づけを解消すること
    を特徴とする記憶サブシステム管理方法。
  11. 少なくとも1台のホスト計算機と、前記ホスト計算機にネットワークを介して接続されている、少なくとも1台の記憶サブシステムとを有する情報処理システムに対して、ポートの割り当てを行なう管理計算機であって、
    前記記憶サブシステムは、複数の論理デバイスおよび複数のポートを有し、前記ネットワークに複数のポートを介して接続されていて、
    前記管理計算機は、
    前記記憶サブシステムの管理単位である、1以上のストレージドメインを示すデータの入力を受付ける手段と、
    前記複数のポート、前記複数の論理デバイス、およびホスト計算機を、前記1以上のストレージドメインにグループ分けする手段と、
    前記ホスト計算機から、前記論理デバイスに対するディスカバリ要求を受け付けた場合に、前記グループ分けしたストレージドメインの中から、該ディスカバリ要求を送信したホスト計算機および要求されている論理デバイスの両者が属するストレージドメインを特定する手段と、
    前記特定したストレージドメインに属するポートを選択し、該選択したポートを該論理デバイスに割り当てる手段と、
    前記割り当てたポートの情報を前記ホスト計算機に送信する手段とを有すること
    を特徴とする管理計算機。
  12. 少なくとも1台のホスト計算機と、前記ホスト計算機にSAN(Storage Area Network)を介して接続されている、少なくとも1台の記憶サブシステムとを有する情報処理システムに対して、ポートの割り当てを行なう管理計算機であって、
    前記記憶サブシステムは、複数の論理デバイスおよび複数のポートを有し、前記SANに複数のポートを介して接続されていて、
    前記管理計算機は、
    前記記憶サブシステムの管理単位である、1以上のストレージドメインを示すデータの入力を受付ける手段と、
    前記複数のポート、前記複数の論理デバイス、およびホスト計算機を、前記1以上のストレージドメインにグループ分けする手段と、
    前記SANを1以上の管理単位であるSANドメインに分割して、該SANドメインに前記ホストおよび前記ポートをグループ分けする手段と、
    前記ホスト計算機から、前記論理デバイスに対するディスカバリ要求を受け付けた場合に、前記グループ分けしたストレージドメインの中から該ディスカバリ要求を送信したホスト計算機および要求されている論理デバイスの両者が属するストレージドメインを特定し、かつ前記グループ分けしたSANドメインの中から、該ディスカバリ要求を送信したホスト計算機が属するSANドメインを特定する手段と、
    前記特定したストレージドメインおよびSANドメインの両者に属するポートを選択し、該選択したポートを該論理デバイスに割り当てる手段と、
    前記割り当てたポートの情報を前記ホスト計算機に送信する手段とを有すること
    を特徴とする管理計算機。
  13. 少なくとも1台のホスト計算機と、少なくとも1台の記憶サブシステムと、管理計算機とを有する情報処理システムであって、
    前記ホスト計算機、記憶サブシステム、および管理計算機は、各々がネットワークを介して接続されていて、
    前記記憶サブシステムは、
    複数の論理デバイスと、
    複数のポートと、
    初期設定の際に、自身が有する論理デバイスおよびポートを示すデータを含む構成情報を前記管理計算機に送信する手段と、
    自身が有する論理デバイスおよびポートの構成が変更された場合に、該変更された論理デバイスおよびポートを示すデータを含む構成変更情報を前記管理計算機に送信する手段と、を有し、
    前記管理計算機は、
    前記記憶サブシステムの管理単位である、1以上のストレージドメインを示すデータの入力を受付ける手段と、
    前記記憶サブシステムが送信する前記構成情報を受信し、該受信した構成情報を用いて、前記複数のポート、前記複数の論理デバイス、およびホスト計算機を、前記1以上のストレージドメインにグループ分けする手段と、
    前記記憶サブシステムが送信する前記構成変更情報を受信し、該受信した構成変更情報を用いて、前記グループ分けしたストレージドメインを変更する手段と、
    前記ホスト計算機から、前記論理デバイスに対するディスカバリ要求を受け付けた場合に、前記グループ分けしたストレージドメインの中から、該ディスカバリ要求を送信したホスト計算機および要求されている論理デバイスの両者が属するストレージドメインを特定する手段と、
    前記特定したストレージドメインに属するポートを選択し、該選択したポートを該論理デバイスに割り当てる手段と、
    前記割り当てたポートの情報を前記ホスト計算機に送信する手段とを有すること
    を特徴とする情報処理システム。
  14. 少なくとも1台のホスト計算機と、前記ホスト計算機にネットワークを介して接続されている、少なくとも1台の記憶サブシステムとを有する情報処理システムにおいて、前記情報処理システムに対してポートを割り当てる処理をコンピュータに実行させるプログラムであって、
    前記記憶サブシステムは、複数の論理デバイスおよび複数のポートを有し、前記ネットワークに複数のポートを介して接続されていて、
    前記プログラムは、
    前記記憶サブシステムの管理単位である、1以上のストレージドメインを示すデータの入力を受付けるステップと、
    前記複数のポート、前記複数の論理デバイス、およびホスト計算機を、前記1以上のストレージドメインにグループ分けするステップと、
    前記ホスト計算機から前記論理デバイスに対するディスカバリ要求を受け付けるステップと、
    前記グループ分けしたストレージドメインの中から、前記受付けたディスカバリ要求を送信したホスト計算機および要求されている論理デバイスが属するストレージドメインを特定するステップと、
    前記特定したストレージドメインに属するポートを選択し、該選択したポートを該論理デバイスに割り当てるステップと、
    前記割り当てたポートの情報を前記ホスト計算機に送信するステップと、をコンピュータに実行させること
    を特徴とするプログラム。
JP2004124385A 2004-04-20 2004-04-20 記憶サブシステム管理方法 Expired - Fee Related JP4455137B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2004124385A JP4455137B2 (ja) 2004-04-20 2004-04-20 記憶サブシステム管理方法
US10/873,271 US7548924B2 (en) 2004-04-20 2004-06-23 Managing method for storage subsystem
EP04015352A EP1589411A3 (en) 2004-04-20 2004-06-30 Managing method for storing subsystem

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004124385A JP4455137B2 (ja) 2004-04-20 2004-04-20 記憶サブシステム管理方法

Publications (2)

Publication Number Publication Date
JP2005309680A true JP2005309680A (ja) 2005-11-04
JP4455137B2 JP4455137B2 (ja) 2010-04-21

Family

ID=34925554

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004124385A Expired - Fee Related JP4455137B2 (ja) 2004-04-20 2004-04-20 記憶サブシステム管理方法

Country Status (3)

Country Link
US (1) US7548924B2 (ja)
EP (1) EP1589411A3 (ja)
JP (1) JP4455137B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007164476A (ja) * 2005-12-14 2007-06-28 Hitachi Ltd ストレージ装置及びその制御方法並びにプログラム
JP2007293422A (ja) * 2006-04-21 2007-11-08 Hitachi Ltd ネットワークブート計算機システムの高信頼化方法
JP2008059315A (ja) * 2006-08-31 2008-03-13 Hitachi Ltd 負荷分散方法及び計算機システム
JP2008546049A (ja) * 2006-04-19 2008-12-18 ハンジョウ エイチ3シー テクノロジーズ コーポレイション、 リミテッド 宛先ディスクへのアクセス方法とディスク容量拡張システム及びディスクアレイ
JP2009129141A (ja) * 2007-11-22 2009-06-11 Nec Corp 情報処理装置
JP2011170770A (ja) * 2010-02-22 2011-09-01 Nec Corp グループ制御装置、スイッチ装置及びグループ情報生成装置

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8301739B1 (en) * 2004-12-23 2012-10-30 Emc Corporation Storage system initialization utility
US20070088917A1 (en) * 2005-10-14 2007-04-19 Ranaweera Samantha L System and method for creating and maintaining a logical serial attached SCSI communication channel among a plurality of storage systems
US7484021B2 (en) * 2005-10-27 2009-01-27 Cisco Technology, Inc. Technique for implementing virtual fabric membership assignments for devices in a storage area network
JP2007208369A (ja) * 2006-01-31 2007-08-16 Fujitsu Ltd ネットワークシステム及びネットワークシステムのノード冗長方法
JP5068023B2 (ja) 2006-03-29 2012-11-07 株式会社日立製作所 計算機システム及び論理パス切替方法
JP4751265B2 (ja) * 2006-08-01 2011-08-17 株式会社日立製作所 リソース管理システム及びその方法
US8121051B2 (en) * 2007-02-26 2012-02-21 Hewlett-Packard Development Company, L.P. Network resource teaming on a per virtual network basis
US8719413B1 (en) * 2007-12-20 2014-05-06 Cisco Technology, Inc. Method and apparatus for implementing a recovery action in response to a state change in a storage area network
US8085687B2 (en) * 2008-02-28 2011-12-27 Cisco Technology, Inc. Returning domain identifications without reconfiguration
US7930448B2 (en) * 2008-03-13 2011-04-19 International Business Machines Corporation System and method for storage subsystem port reassignment in storage area networks
WO2010043234A1 (en) * 2008-10-13 2010-04-22 Plyke Gmbh Web application server facilitating data access in a network environment
US8280930B1 (en) * 2008-12-19 2012-10-02 Emc Corporation Obtaining configuration information from host devices which store data into and load data from a data storage array
US7962672B1 (en) * 2009-09-28 2011-06-14 Emc Corporation Techniques for data storage configuration
US8073942B2 (en) * 2009-10-20 2011-12-06 Dell Products, Lp System and method for storage discovery in a storage area network using device domains under control of a storage device
WO2012101760A1 (ja) * 2011-01-25 2012-08-02 富士通株式会社 メモリ制御方法、およびシステム
CN103080909A (zh) * 2011-02-24 2013-05-01 株式会社日立制作所 计算机系统及其管理方法以及程序
US8402177B2 (en) 2011-06-29 2013-03-19 Hewlett-Packard Development Company, L.P. Inferring host storage topology
US10237127B1 (en) * 2012-09-28 2019-03-19 EMC IP Holding Company LLC Unified initialization utility
US20150039716A1 (en) * 2013-08-01 2015-02-05 Coraid, Inc. Management of a Networked Storage System Through a Storage Area Network
WO2016069021A1 (en) * 2014-10-31 2016-05-06 Hewlett Packard Enterprise Development Lp Group zoning and access control over a network
US10116618B2 (en) 2015-06-17 2018-10-30 International Business Machines Corporation In-band LDAP over FICON
US10324643B1 (en) * 2015-09-30 2019-06-18 EMC IP Holding Company LLC Automated initialization and configuration of virtual storage pools in software-defined storage
US10761743B1 (en) 2017-07-17 2020-09-01 EMC IP Holding Company LLC Establishing data reliability groups within a geographically distributed data storage environment
US10880040B1 (en) 2017-10-23 2020-12-29 EMC IP Holding Company LLC Scale-out distributed erasure coding
US10382554B1 (en) 2018-01-04 2019-08-13 Emc Corporation Handling deletes with distributed erasure coding
US10579297B2 (en) 2018-04-27 2020-03-03 EMC IP Holding Company LLC Scaling-in for geographically diverse storage
US11811609B2 (en) * 2018-05-04 2023-11-07 International Business Machines Corporation Storage target discovery in a multi-speed and multi-protocol ethernet environment
US11023130B2 (en) 2018-06-15 2021-06-01 EMC IP Holding Company LLC Deleting data in a geographically diverse storage construct
US10936196B2 (en) 2018-06-15 2021-03-02 EMC IP Holding Company LLC Data convolution for geographically diverse storage
US11436203B2 (en) 2018-11-02 2022-09-06 EMC IP Holding Company LLC Scaling out geographically diverse storage
US10901635B2 (en) 2018-12-04 2021-01-26 EMC IP Holding Company LLC Mapped redundant array of independent nodes for data storage with high performance using logical columns of the nodes with different widths and different positioning patterns
US10931777B2 (en) 2018-12-20 2021-02-23 EMC IP Holding Company LLC Network efficient geographically diverse data storage system employing degraded chunks
US11119683B2 (en) 2018-12-20 2021-09-14 EMC IP Holding Company LLC Logical compaction of a degraded chunk in a geographically diverse data storage system
US10892782B2 (en) 2018-12-21 2021-01-12 EMC IP Holding Company LLC Flexible system and method for combining erasure-coded protection sets
US11023331B2 (en) 2019-01-04 2021-06-01 EMC IP Holding Company LLC Fast recovery of data in a geographically distributed storage environment
US10942827B2 (en) 2019-01-22 2021-03-09 EMC IP Holding Company LLC Replication of data in a geographically distributed storage environment
US10936239B2 (en) 2019-01-29 2021-03-02 EMC IP Holding Company LLC Cluster contraction of a mapped redundant array of independent nodes
US10866766B2 (en) 2019-01-29 2020-12-15 EMC IP Holding Company LLC Affinity sensitive data convolution for data storage systems
US10942825B2 (en) 2019-01-29 2021-03-09 EMC IP Holding Company LLC Mitigating real node failure in a mapped redundant array of independent nodes
US10846003B2 (en) * 2019-01-29 2020-11-24 EMC IP Holding Company LLC Doubly mapped redundant array of independent nodes for data storage
JP7299471B2 (ja) * 2019-01-30 2023-06-28 株式会社バッファロー デバイス管理装置、ネットワークデバイス、デバイス管理システム、デバイス管理方法、及びプログラム
US11029865B2 (en) 2019-04-03 2021-06-08 EMC IP Holding Company LLC Affinity sensitive storage of data corresponding to a mapped redundant array of independent nodes
US10944826B2 (en) 2019-04-03 2021-03-09 EMC IP Holding Company LLC Selective instantiation of a storage service for a mapped redundant array of independent nodes
US11121727B2 (en) 2019-04-30 2021-09-14 EMC IP Holding Company LLC Adaptive data storing for data storage systems employing erasure coding
US11113146B2 (en) 2019-04-30 2021-09-07 EMC IP Holding Company LLC Chunk segment recovery via hierarchical erasure coding in a geographically diverse data storage system
US11119686B2 (en) 2019-04-30 2021-09-14 EMC IP Holding Company LLC Preservation of data during scaling of a geographically diverse data storage system
US11748004B2 (en) 2019-05-03 2023-09-05 EMC IP Holding Company LLC Data replication using active and passive data storage modes
US11209996B2 (en) 2019-07-15 2021-12-28 EMC IP Holding Company LLC Mapped cluster stretching for increasing workload in a data storage system
US11449399B2 (en) 2019-07-30 2022-09-20 EMC IP Holding Company LLC Mitigating real node failure of a doubly mapped redundant array of independent nodes
US11023145B2 (en) 2019-07-30 2021-06-01 EMC IP Holding Company LLC Hybrid mapped clusters for data storage
US11228322B2 (en) 2019-09-13 2022-01-18 EMC IP Holding Company LLC Rebalancing in a geographically diverse storage system employing erasure coding
US11449248B2 (en) 2019-09-26 2022-09-20 EMC IP Holding Company LLC Mapped redundant array of independent data storage regions
US11288139B2 (en) 2019-10-31 2022-03-29 EMC IP Holding Company LLC Two-step recovery employing erasure coding in a geographically diverse data storage system
US11435910B2 (en) 2019-10-31 2022-09-06 EMC IP Holding Company LLC Heterogeneous mapped redundant array of independent nodes for data storage
US11119690B2 (en) 2019-10-31 2021-09-14 EMC IP Holding Company LLC Consolidation of protection sets in a geographically diverse data storage environment
US11435957B2 (en) 2019-11-27 2022-09-06 EMC IP Holding Company LLC Selective instantiation of a storage service for a doubly mapped redundant array of independent nodes
US11144220B2 (en) 2019-12-24 2021-10-12 EMC IP Holding Company LLC Affinity sensitive storage of data corresponding to a doubly mapped redundant array of independent nodes
US11231860B2 (en) 2020-01-17 2022-01-25 EMC IP Holding Company LLC Doubly mapped redundant array of independent nodes for data storage with high performance
US11507308B2 (en) 2020-03-30 2022-11-22 EMC IP Holding Company LLC Disk access event control for mapped nodes supported by a real cluster storage system
US11288229B2 (en) 2020-05-29 2022-03-29 EMC IP Holding Company LLC Verifiable intra-cluster migration for a chunk storage system
US11693983B2 (en) 2020-10-28 2023-07-04 EMC IP Holding Company LLC Data protection via commutative erasure coding in a geographically diverse data storage system
US11847141B2 (en) 2021-01-19 2023-12-19 EMC IP Holding Company LLC Mapped redundant array of independent nodes employing mapped reliability groups for data storage
US11625174B2 (en) 2021-01-20 2023-04-11 EMC IP Holding Company LLC Parity allocation for a virtual redundant array of independent disks
US11354191B1 (en) 2021-05-28 2022-06-07 EMC IP Holding Company LLC Erasure coding in a large geographically diverse data storage system
US11449234B1 (en) 2021-05-28 2022-09-20 EMC IP Holding Company LLC Efficient data access operations via a mapping layer instance for a doubly mapped redundant array of independent nodes

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6199112B1 (en) * 1998-09-23 2001-03-06 Crossroads Systems, Inc. System and method for resolving fibre channel device addresses on a network using the device's fully qualified domain name
US6151331A (en) * 1998-09-23 2000-11-21 Crossroads Systems, Inc. System and method for providing a proxy FARP for legacy storage devices
US6795434B1 (en) * 1998-11-18 2004-09-21 Intel Corporation Replicated server discovery in client-proxy servers
US6640278B1 (en) * 1999-03-25 2003-10-28 Dell Products L.P. Method for configuration and management of storage resources in a storage network
JP3853540B2 (ja) * 1999-06-30 2006-12-06 日本電気株式会社 ファイバチャネル接続磁気ディスク装置およびファイバチャネル接続磁気ディスク制御装置
US6856597B1 (en) * 2000-02-10 2005-02-15 Paradyne Corporation System and method for statistical control of power dissipation with host enforcement
US7222176B1 (en) * 2000-08-28 2007-05-22 Datacore Software Corporation Apparatus and method for using storage domains for controlling data in storage area networks
US20020087722A1 (en) * 2000-12-29 2002-07-04 Ragula Systems D/B/A/ Fatpipe Networks Domain name resolution making IP address selections in response to connection status when multiple connections are present
US20020087724A1 (en) 2000-12-29 2002-07-04 Ragula Systems D/B/A Fatpipe Networks Combining connections for parallel access to multiple frame relay and other private networks
EP1233572A1 (en) * 2001-02-19 2002-08-21 Telefonaktiebolaget L M Ericsson (Publ) Method and system for multiple hosts anycast routing
US6920494B2 (en) * 2001-10-05 2005-07-19 International Business Machines Corporation Storage area network methods and apparatus with virtual SAN recognition
US6892264B2 (en) * 2001-10-05 2005-05-10 International Business Machines Corporation Storage area network methods and apparatus for associating a logical identification with a physical identification
US6947939B2 (en) * 2002-05-08 2005-09-20 Hitachi, Ltd. System and methods to manage wide storage area network
JP4183443B2 (ja) * 2002-05-27 2008-11-19 株式会社日立製作所 データ再配置方法及び装置
US7194538B1 (en) * 2002-06-04 2007-03-20 Veritas Operating Corporation Storage area network (SAN) management system for discovering SAN components using a SAN management server
US20030229689A1 (en) * 2002-06-06 2003-12-11 Microsoft Corporation Method and system for managing stored data on a computer network
US6925541B2 (en) * 2002-06-12 2005-08-02 Hitachi, Ltd. Method and apparatus for managing replication volumes
JP2004048125A (ja) * 2002-07-09 2004-02-12 Hitachi Ltd 接続制御装置、方法及びプログラム
US8060436B2 (en) * 2002-09-16 2011-11-15 Hewlett-Packard Development Company, L.P. Software application domain and storage domain risk analysis process and method
US7945669B2 (en) * 2002-10-30 2011-05-17 Emc Corporation Method and apparatus for provisioning storage resources
US7827248B2 (en) * 2003-06-13 2010-11-02 Randy Oyadomari Discovery and self-organization of topology in multi-chassis systems
US7454488B2 (en) * 2003-09-23 2008-11-18 Hewlett-Packard Development Company, L.P. Method and system for managing a network of nodes
US8539096B2 (en) * 2003-09-26 2013-09-17 Lsi Corporation Systems and methods for configuring ports of an SAS domain
US7240135B2 (en) * 2004-03-05 2007-07-03 International Business Machines Corporation Method of balancing work load with prioritized tasks across a multitude of communication ports

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007164476A (ja) * 2005-12-14 2007-06-28 Hitachi Ltd ストレージ装置及びその制御方法並びにプログラム
JP4671353B2 (ja) * 2005-12-14 2011-04-13 株式会社日立製作所 ストレージ装置及びその制御方法
JP2008546049A (ja) * 2006-04-19 2008-12-18 ハンジョウ エイチ3シー テクノロジーズ コーポレイション、 リミテッド 宛先ディスクへのアクセス方法とディスク容量拡張システム及びディスクアレイ
US8041890B2 (en) 2006-04-19 2011-10-18 Hangzhou H3C Technologies Co., Ltd. Method for accessing target disk, system for expanding disk capacity and disk array
JP2007293422A (ja) * 2006-04-21 2007-11-08 Hitachi Ltd ネットワークブート計算機システムの高信頼化方法
JP2008059315A (ja) * 2006-08-31 2008-03-13 Hitachi Ltd 負荷分散方法及び計算機システム
JP2009129141A (ja) * 2007-11-22 2009-06-11 Nec Corp 情報処理装置
JP2011170770A (ja) * 2010-02-22 2011-09-01 Nec Corp グループ制御装置、スイッチ装置及びグループ情報生成装置

Also Published As

Publication number Publication date
US7548924B2 (en) 2009-06-16
US20050234941A1 (en) 2005-10-20
EP1589411A3 (en) 2008-11-05
JP4455137B2 (ja) 2010-04-21
EP1589411A2 (en) 2005-10-26

Similar Documents

Publication Publication Date Title
JP4455137B2 (ja) 記憶サブシステム管理方法
US6977927B1 (en) Method and system of allocating storage resources in a storage area network
US8402239B2 (en) Volume management for network-type storage devices
RU2427891C2 (ru) Виртуальная сетевая система хранения информации, сетевое запоминающее устройство и виртуальный способ
US7971089B2 (en) Switching connection of a boot disk to a substitute server and moving the failed server to a server domain pool
US8639788B2 (en) Method and apparatus for web based storage on demand
US7428584B2 (en) Method for managing a network including a storage system
US7779082B2 (en) Address management device
JP4813385B2 (ja) ストレージシステムの複数の論理リソースを制御する制御装置
US20060095705A1 (en) Systems and methods for data storage management
US20070079098A1 (en) Automatic allocation of volumes in storage area networks
US7155527B2 (en) Storage system and management method of the storage system enabling allocation of storage devices
JP2003345631A (ja) 計算機システム及び記憶領域の割当方法
JP2009535681A (ja) ストレージ・デバイス・ポートの選択の最適化
JP2013041569A (ja) 仮想マシン環境のためのクラスタシステム提供の方法及び装置
KR20000076955A (ko) 저장 도메인 관리 시스템
JP4285058B2 (ja) ネットワーク管理プログラム、管理計算機及び管理方法
JP2005228278A (ja) 記憶領域の管理方法、管理装置及び管理プログラム
US20140122918A1 (en) Method and Apparatus For Web Based Storage On Demand
JP6055924B2 (ja) ストレージシステム及びストレージシステムの制御方法
US9395926B2 (en) Storage system and management computer
JP2004355638A (ja) 計算機システム及びそのデバイスの割り当て方法
JP6244496B2 (ja) サーバストレージシステムの管理システム及び管理方法
US10496305B2 (en) Transfer of a unique name to a tape drive

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090901

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100126

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100203

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130212

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4455137

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130212

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees