JP2009032274A - 性能情報分析方法 - Google Patents

性能情報分析方法 Download PDF

Info

Publication number
JP2009032274A
JP2009032274A JP2008223057A JP2008223057A JP2009032274A JP 2009032274 A JP2009032274 A JP 2009032274A JP 2008223057 A JP2008223057 A JP 2008223057A JP 2008223057 A JP2008223057 A JP 2008223057A JP 2009032274 A JP2009032274 A JP 2009032274A
Authority
JP
Japan
Prior art keywords
performance information
server
performance
storage
storage device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008223057A
Other languages
English (en)
Other versions
JP4658171B2 (ja
Inventor
Akira Takeda
景 武田
Takahito Kusama
草間  隆人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2008223057A priority Critical patent/JP4658171B2/ja
Publication of JP2009032274A publication Critical patent/JP2009032274A/ja
Application granted granted Critical
Publication of JP4658171B2 publication Critical patent/JP4658171B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

【課題】単一のストレージ装置を複数のサーバで共有して利用する構成において、ストレージ装置内のリソース上でI/Oの競合を引き起こしているサーバ群の特定を容易にする方法を提供する。
【解決手段】特定のストレージ装置内のリソースを利用しているサーバ群を、ストレージ装置とサーバ間のマッピング情報から検索して検出し、そのサーバ郡の性能データのみに絞り込んだI/O競合のレポートを作成する。
【効果】ストレージ装置内のリソースにI/O負荷が集中していることの検出および、負荷をかけているサーバの特定を容易に行うことができる。
【選択図】図4

Description

本発明は、サーバとストレージ装置の性能情報を表示/分析するシステムに関するものである。
近年、SAN(Storage Area Network)技術の発展により、単一のストレージ装置を複数のサーバで共有して利用する構成が増えている。このような構成が増えているのは、バックアップや障害管理などの運用業務の局所化が容易になり、運用管理コストを圧縮することができるからである。
しかしながら一方で、単一のストレージ装置を、複数のサーバで共有することにより、ボリュームの割り当てやストレージの性能管理は複雑になる。SAN環境におけるボリューム割り当てを簡易化する方法を開示したものがある(特許文献1参照)。
米国特許出願公開第2003/0051119号
コンピュータシステムにおいて、ストレージ装置はCPU内のキャッシュやメモリと比較すると低速な記憶媒体であるため、しばしばストレージ装置がシステム全体のボトルネックとなることがある。このため、ストレージ装置ができるだけ高い性能を出せるよう、システムの構築フェーズや、運用フェーズで、各種性能指標値を取得し、所定の性能値が得られているかなどを分析することは重要である。
単一のストレージ装置を複数のサーバで共有して利用するような構成では、ストレージ装置内の特定のリソースに対して複数サーバからのI/O処理が重複し、その結果深刻な性能劣化を引き起こす場合がある。
例えば、ストレージ装置内部の特定の物理ディスクグループに複数のサーバからのI/O負荷が集中し、そのI/O競合によって、サーバ側から見たI/O性能が十分に出ないというのがその例である
ストレージ装置が提供しているツールにより、ストレージ装置内の特定のリソースが処理しているI./O量を閲覧/分析することができる。しかしながら、この方法では、ストレージ装置の外側の設定によって引き起こされるI/O競合性能問題の原因の特定、すなわち具体的にはストレージ装置内の特定のリソースにI/O負荷をかけているサーバ郡や性能のボトルネックとなっている部分を特定することは困難であった。
本発明の目的は、上記の問題を解決し、ストレージ装置内のリソース上でI/Oの競合を引き起こしているサーバ群や性能のボトルネックとなっている部分の特定を容易にする方法を提供することである。
本発明のコンピュータを用いた性能情報表示方法であって、前記コンピュータは、予め記憶装置に格納されたストレージ装置の情報と前記ストレージ装置を利用する複数の機器の情報とを読み出し、前記読み出した情報にもとづいて、前記ストレージ装置の識別子と前記ストレージ装置を利用する複数の機器の識別子とを画面に表示し、前記表示したストレージ装置の識別子を選択する指示を受け付け、前記受付けた指示と前記読み出した情報にもとづいて、前記選択されたストレージ装置を利用する複数の機器の性能情報を関連づけて表示することを特徴とする。
本発明は、ストレージ装置内部の特定のリソースを起点に、そのリソースに負荷をかけているサーバ群の性能指標値を一挙に表示する方法を提供する。具体的には、本発明を実施した性能管理ツールは、ストレージ装置とサーバ間のマッピング情報とサーバ郡の性能情報を収集する。本性能管理ツールは、ユーザからの指示があると、特定のストレージ装置内のリソースを利用しているサーバ群を、ストレージ装置とサーバ間のマッピング情報から検索して検出し、そのサーバ郡の性能データのみに絞り込んだI/O競合のレポートを作成する。
本発明によれば、ストレージ装置に負荷をかけている機器の性能値を関連づけて表示するため、ストレージ装置内のリソース上でI/Oの競合を引き起こしているサーバ群や性能のボトルネックとなっている部分の特定を容易にすることができる。
以下に、複数のサーバがストレージ装置を共用しているSANシステムにおける、本発明の1実施形態について説明する。以下の実施形態におけるSANシステムの例は、本実施例の説明に不要な機能や詳細を省略しているため、一般的なSANシステムに比べ単純化されているが、本実施例の適用範囲が制限されるものではない。
図1は本実施形態のSANシステムの構成を示す図である。本SANシステムは、ストレージ装置A:120と、サーバA:110AとサーバB:110Bからなるサーバ群と、サーバ群とストレージ装置を接続するSAN:140と、管理サーバ:130と、サーバ群およびストレージ装置と管理サーバを接続するLAN:150を含む。サーバは、プログラムが実行されるコンピュータや、コンピュータの機能を用いる端末装置であってもよいし、その他のものでもよい。
サーバ群およびストレージ装置Aは、それぞれの性能情報を、LAN:150を経由して、管理サーバ:130に送信し、管理サーバ:130はその性能情報を内部の2次記憶装置に格納している。
サーバA:110Aは、HBA:114を介して、SAN:140に接続している。サーバA:110Aは、ストレージ装置A:120から提供されるボリュームをマウントするボリュームマウント機能:111Aと、マウントされたボリュームを利用して業務処理を行う業務プログラム:112Aと、サーバボリュームの性能情報を収集するサーバ性能情報収集プログラム:101を実行している。
サーバB:110BもサーバAと同様に、HBAを介してSAN:140に接続しており、ボリュームマウント機能と業務プログラムとサーバ性能情報収集プログラムを実行している。尚、ここではネットワークの一例としてSAN、LANを用いて説明するが、これ以外のもの(NAS(Network Attached Storage)等)を用いてもよい。
ストレージ装置A:120は、ポートA:123およびポートB:124を介してSAN:140に接続している。ストレージ装置A:120の内部では、SAN側にボリュームを提供する、ボリューム提供機能:121と、ストレージ装置の性能情報を収集する、ストレージ性能情報収集プログラム:102が実行される。
本実施例では、簡単のために、ストレージ装置を1台とし、かつストレージ装置A:120が提供しているボリュームを利用しているサーバ群を、サーバA:110AとサーバB:110Bの2台のみとしているが、ストレージ装置台数や、サーバ台数がもっと多い構成においても適用可能である。
管理サーバ:130は、2次記憶装置:161、主記憶装置:162、通信装置:163、CPU:164、表示装置:165、キーボード:166、マウス:167の装置を含む。また、図示を省略したが、ストレージ装置に格納されているデータをサーバが認識するために必要なファイルシステム等の機能も含んでいる。
2次記憶装置:161には、サーバ群および、ストレージ装置A:120の性能情報を保存する、性能情報リポジトリ:103が格納されている。主記憶装置:162には、オペレーティングシステム:168が格納されている。オペレーティングシステム:168の内部では、性能情報リポジトリ:103に蓄積された性能情報を分析し、表示装置165に表示する、性能情報分析プログラム:104が実行される。
図2は、ストレージ装置A:120のボリューム提供機能と、サーバ群のボリュームのマウント機能について説明した図である。
まず、ボリューム提供機能について説明する。本実施例における、ボリューム提供機能120は、ストレージ装置A:120内の物理ディスク群の可用性を、RAID(Redundant Array of Independent Disks)の構成にすることによって高め、RAID構成された仮想的なディスクであるRAIDグループを上位のサーバから使いやすい大きさにスライスし、スライスされた結果である論理ボリュームがポートを介してSAN側から使えるようにする機能を提供している。このように、複数のディスクを組み合わせることで、ディスクアクセスの高速化を図ることや、ディスクの故障などに対する耐障害性を高めることが可能となる。
具体的には、本実施例におけるストレージ装置A:120は、8個の物理ディスク、すなわち物理ディスクA:240Aと、物理ディスクB:240Bと、物理ディスクC:240Cと、物理ディスクD:240Dと、物理ディスクE:240Eと、物理ディスクF:240Fと、物理ディスクG:240Gと、物理ディスクH:240Hを保持している。本実施例では、ボリューム提供機能:121はこれらの物理ディスクを用いて、二つのRAIDグループA:230AとRAIDグループB:230Bを作成している。
RAIDグループとは、RAID構成を組んでいる複数の物理ディスク群を、一つの仮想的なディスクとみなした単位である。
また、本実施例では、ボリューム提供機能:121は、作成したRAIDグループを論理的にスライスし、上位のサーバから利用可能なボリュームとして、6つの論理ボリュームを作成している。すなわち、RAIDグループA:230Aから論理ボリュームA:220Aと、論理ボリュームB:220Bと、論理ボリュームC:220Cを作成し、RAIDグループB:230Bから論理ボリュームD:220Dと、論理ボリュームE:220Eと、論理ボリュームF:220Fを作成している。また、ボリューム提供機能:121は、論理ボリュームをポートに公開し、SAN:140側からアクセス可能にしている。
例えば、ポートAを経由して、論理ボリュームAにサーバからのI/O要求があった場合は、ボリューム提供機能:121によって、そのI/O要求は、RAIDグループA内の対応するスライス部分へのI/O要求に一旦変換され、さらに、ボリューム提供機能:121によって、当該RAIDグループAを物理的に構成している、物理ディスクA:240Aから物理ディスクD:240DにまたがったI/O要求に変換され、処理される。
次に、ボリュームマウント機能について説明する。サーバA:110Aのボリュームマウント機能:111Aは、ストレージ装置A:120から、SAN140側に公開されているボリュームを、サーバA:110A内にマウントし、業務プログラム:112Aから利用できるようにしている。またサーバB:110Bについても同様である。通常この種のボリュームマウント機能は、オペレーティングシステムの一部として提供される。
最後に本実施例における、サーバ側ボリュームと、ストレージ側論理ボリュームの相関関係について説明する。本実施例では、サーバA:110AはボリュームA:210AとボリュームB:210Bの2つのボリュームを、ストレージ装置A:120からマウントして利用しており、これらのボリュームはそれぞれ、ストレージ装置A:120内の論理ボリュームA:220Aと、論理ボリュームB:220Bに対応している。
また、サーバB:110Bは、ボリュームC:210Cをストレージ装置A:120からマウントして利用しており、このボリュームは、ストレージ装置A:120内の論理ボリュームC:220Cに対応している。論理ボリュームA、B、Cはいずれも、RAIDグループA:230Aからスライスされた論理ボリュームであるため、本実施例ではサーバAとサーバBのI/O負荷は同一のRAIDグループAの負荷となっており、I/Oが物理競合しうる状況であるといえる。
図3は、管理サーバ:130の2次記憶装置:161に格納された、性能情報リポジトリ:103の内部構造を説明した図である。性能情報リポジトリ:103は、4つのテーブルから構成される。サーバ性能情報テーブル:310は、サーバ群のボリュームに対する性能情報を格納したテーブルである。サーバ−ストレージマッピングテーブル:320は、サーバのボリュームとストレージ装置のポート、論理ボリューム、RAIDグループとのマッピング情報を格納したテーブルである。ストレージRAIDグループ性能情報テーブル:330はストレージ装置のRAIDグループの性能情報を格納したテーブルである。ストレージポート性能情報テーブル:340は、ストレージ装置のポートの性能情報を格納したテーブルである。
図4は、性能情報収集プログラム:101と、性能情報分析プログラム:104の連携方法を説明した図である。
先に述べたように、サーバA:110AとサーバB:110B上では、サーバ性能情報収集プログラム:101が稼動している。サーバ性能情報収集プログラム:101は、サーバ上のボリュームの性能情報を収集し、性能情報リポジトリ:103上の、サーバ性能情報テーブル:310とサーバ−ストレージマッピングテーブル:320にレコードを追加する。
ストレージ装置A:120では、ストレージ性能情報収集プログラム:102が稼動している。ストレージ性能情報収集プログラム:102は、ストレージ装置のポートおよびRAIDグループの性能情報を収集し、性能情報リポジトリ:103上のストレージRAIDグループ性能情報テーブル:330と、ストレージポート性能情報テーブル:340にレコードを追加する。
管理サーバ:130上では、性能情報分析プログラム:104が稼動しており、ユーザからの要求に応じて、性能情報リポジトリ:103上の性能情報データを取得、分析し、結果を表示装置:165に表示する。
図5は、サーバ性能情報テーブル:310に格納されるデータ項目を詳細に説明した図である。本テーブルは、各サーバ上の各ボリュームのI/O性能情報を格納したテーブルであり、サーバ性能情報収集プログラム:101によりレコードが追加されるテーブルである。本実施例では、本テーブルはまず、サーバとボリュームを一意に識別するためのカラムである、サーバカラム:511とボリュームカラム:512をもつ。
次に、各々のボリュームの毎秒あたりIO回数、読み込みIO回数、書き込みIO回数を表す、IOPS(IO per Second)カラム:513と、Read IOPS(IO per Second)カラム:514と、Write IOPS(IO per Second)カラム:515をもつ。
また次に、各々のボリュームの毎秒あたり転送データ量、読み込み転送データ量、書き込み転送データ量を表す、Xfer(Transfer)カラム:516と、Read Xfer(Transfer)カラム:517と、Write Xfer(Transfer)カラム:518をもち、最後に、その性能情報が観測された時刻である、TSカラム:519をもつ。
図6は、サーバ−ストレージマッピングテーブル:320に格納されるデータ項目を詳細に説明した図である。本テーブルは、各サーバの各ボリュームが、ストレージ装置のどのポートを経由して、どの論理ボリュームおよび、どのRAIDグループに対応しているかを格納したテーブルであり、サーバ性能情報収集プログラム:101によりレコードが追加されるテーブルである。
本実施例では、本テーブルはまず、サーバとボリュームを一意に識別するためのカラムである、サーバカラム:611とボリュームカラム:612をもち、また各々のボリュームがどのストレージ装置、ポート、論理ボリューム、RAIDグループを利用しているかを表す、ストレージカラム:613と、ポートカラム:614と、論理ボリュームカラム:615と、RAIDグループカラム:616をもつ。
本実施例では、サーバ−ストレージマッピングテーブル:320には、最新のマッピング情報のみを持つことを想定しているが、マッピング情報の取得時刻カラムを本テーブルに追加し、マッピング情報の過去履歴情報を持つようにすることによって、過去のマッピング情報に基づいて、関連サーバ群を絞り込むレポートを作成するようにすることも可能である。
図7は、ストレージRAIDグループ性能情報テーブル:330に格納されるデータ項目を詳細に説明した図である。本テーブルは、各ストレージ装置の各RAIDグループのI/O性能情報を格納したテーブルであり、ストレージ性能情報収集プログラム:102によりレコードが追加されるテーブルである。本実施例では、本テーブルはまず、ストレージ装置上のRAIDグループを一意に識別するためのカラムである、ストレージカラム:711とRAIDグループカラム:712をもち、次に、各々のRAIDグループの毎秒あたりIO回数、読み込みIO回数、書き込みIO回数を表す、IOPS(IO per Second)カラム:713と、Read IOPS(IO per Second)カラム:714と、Write IOPS(IO per Second)カラム:715をもつ。
また次に、各々のRAIDグループの毎秒あたり転送データ量、読み込み転送データ量、書き込み転送データ量を表す、Xfer(Transfer)カラム:716と、Read Xfer(Transfer)カラム:717と、Write Xfer(Transfer)カラム:718をもち、最後に、その性能情報が観測された時刻である、TSカラム:719をもつ。
図8は、ストレージポート性能情報テーブル:340に格納されるデータ項目を詳細に説明した図である。本テーブルは、各ストレージ装置の各ポートのI/O性能情報を格納したテーブルであり、ストレージ性能情報収集プログラム:102によりレコードが追加されるテーブルである。
本実施例では、本テーブルはまず、ストレージ装置上のポートを一意に識別するためのカラムである、ストレージカラム:811とポートカラム:812をもち、次に、各々のポートの毎秒あたりIO回数、最大IO回数、最小IO回数を表す、IOPS(IO per Second)カラム:813と、Max IOPS(IO per Second)カラム:814と、Min IOPS(IO per Second)カラム:815をもち、また次に、各々のポートの毎秒あたり転送データ量、最大転送データ量、最小転送データ量を表す、Xfer(Transfer)カラム:816と、Read Xfer(Transfer)カラム:817と、Write Xfer(Transfer)カラム:818をもち、最後に、その性能情報が観測された時刻である、TSカラム:819をもつ。
図9は、SCSIインクワイアリレスポンス情報を説明した図である。SCSIインクワイアリ(Inquiry)は、サーバ上から各々のボリュームに対して発行することができる。発行されたSCSIインクワイアリはSANを経由してストレージ装置に伝達され、ストレージ装置はその応答としてサーバ側に本図で示したSCSIインクワイアリレスポンス情報を返す。
本実施例では、サーバ性能情報収集プログラム:101の内部で、各々のサーバ上のボリュームに対してSCSIインクワイアリを発行し、返されたSCSIインクワイアリレスポンス情報を利用して、接続先のストレージ装置側の情報を取得している。また本実施例では、SCSIインクワイアリレスポンス情報は、接続先のストレージ装置名、ポート名、論理ボリューム名、RAIDグループ名を、接続先ストレージカラム:911と、接続先ポートカラム:912と、接続先論理ボリュームカラム:913と、接続先RAIDグループカラム:914に保持している。
尚、ここでは一例としてSCSIのコマンドを用いて各種情報を収集する例を示したが、これ以外の方法で情報を収集してもよい。
図10は、サーバ性能情報収集プログラム:101の処理を説明したフローチャートである。サーバ性能情報収集プログラム:101は、本プログラムが稼動するサーバ上の全てのボリュームに対して、性能情報と、接続先のストレージ装置情報を取得し、性能情報リポジトリ103にレコードを追加するプログラムである。
ステップ1001では、サーバ内の全てのボリューム毎に繰り返し処理を行うための初期化処理を行う。
ステップ1002では、当該ボリュームの性能情報取得をOSに依頼し、その結果を取得する。本実施例では、一例としてボリューム毎に、毎秒あたりIO回数、読み込みIO回数、書き込みIO回数、毎秒あたり転送データ量、読み込み転送データ量、書き込み転送データ量を取得している。
ステップ1003では、前記ステップにて取得した、当該ボリュームの性能情報を、タイムスタンプとともに、サーバ性能情報テーブル:310に追加する。
ステップ1004では、当該ボリュームに対して、SCSIインクワイアリを発行し、SCSIインクワイアリ情報:910を取得する。また、取得したSCSIインクワイアリ情報:910から、当該ボリュームが利用している、ストレージ装置、ポート、論理ボリューム、RAIDグループ情報を抜き出す。
ステップ1005では、前記ステップで取得した当該ボリュームの接続先情報を、サーバストレージマッピングテーブル:320に追加する。もし既に当該ボリュームのマッピング情報が存在している場合は、削除してから追加する。
ステップ1006では、当該ボリュームが、サーバ上の最後のボリュームかどうかをチェックし、もし最後のボリュームであれば処理を終了する。まだ残りのボリュームがある場合は、ステップ1002に戻る。
図11は、ストレージ性能情報収集プログラム:101の処理を説明したフローチャートである。ストレージ性能情報収集プログラム:101は、本プログラムが稼動するストレージ装置上の全てのポートおよびRAIDグループの性能情報を取得し、性能情報リポジトリ:103にレコードを追加するプログラムである。
ステップ1101では、ストレージ装置内の全てのポート毎に繰り返し処理を行うための初期化処理を行う。
ステップ1102では、当該ポート性能情報の取得をストレージ装置に依頼し、その結果を取得する。本実施例では、一例としてポート毎に、毎秒あたりIO回数、最大IO回数、最小IO回数、毎秒あたり転送データ量、最大転送データ量、最小転送データ量を取得している。
ステップ1103では、前記ステップで取得した、当該ポートの性能情報を、タイムスタンプとともに、ストレージポート性能情報テーブル:340に追加する。
ステップ1104では、当該ポートがストレージ装置上の最後のポートかどうかをチェックし、もし最後のポートであれば、ステップ1105に進む。まだ残りのポートがある場合は、ステップ1102に戻る。
ステップ1105では、ストレージ装置内の全てのRAIDグループ毎に繰り返し処理を行うための初期化処理を行う。
ステップ1106では、当該RAIDグループの性能情報の取得をストレージ装置に依頼し、その結果を取得する。本実施例では、一例としてRAIDグループ毎に毎秒あたりIO回数、読み込みIO回数、書き込みIO回数、毎秒あたり転送データ量、読み込み転送データ量、書き込み転送データ量を取得している。
ステップ1107では、前記ステップで取得した、当該RAIDグループ性能情報を、タイムスタンプとともに、ストレージRAIDグループ性能テーブル:330に追加する。
ステップ1108では、当該RAIDグループがストレージ装置上の最後のRAIDグループかどうかをチェックし、もし最後のRAIDグループであれば、処理を終了する。まだ、残りのRAIDグループがある場合は、ステップ1106に戻る。
図12は性能情報分析プログラム:104の内部構造と、本プログラムが出力する画面の概要について説明した図である。
性能情報分析プログラム:104は、内部で3つのサブプログラムを持つ。ストレージ性能情報表示サブプログラム:1201と、関連サーバ性能情報表示サブプログラム:1202と、関連サーバ性能履歴情報表示サブプログラム:1203である。
ストレージ性能情報表示サブプログラム:1201は、ストレージ性能情報画面:1210を表示することによって、ストレージ装置内のポートとRAIDグループの性能情報をユーザに提供するプログラムである。
関連サーバ性能情報表示サブプログラム:1202は、関連サーバ性能情報画面:1220を表示することによって、ある特定のストレージ側のポートもしくはRAIDグループリソースを利用するサーバ側のボリュームのみに絞り込んで、複数のサーバ側ボリュームの性能情報を表示するプログラムである。
関連サーバ性能情報表示画面:1220は、ストレージ性能情報表示画面:1210よりユーザ要求に応じて起動される。関連サーバ性能情報表示画面:1220を見ることにより、ユーザは、特定のストレージ装置内のリソースに負荷をかけているサーバを特定することが容易になり、かつ、そのサーバ群の性能情報を一挙に閲覧することによって、どのサーバが特にそのリソースに負荷をかけているかを特定することができる。
関連サーバ性能履歴情報表示サブプログラム:1203は、関連サーバ性能履歴情報画面:1230を表示することによって、特定のストレージ装置内のリソースを利用しているサーバ群の性能履歴情報を、性能情報が観測された時刻順に、時系列に表示するプログラムである。関連サーバ性能履歴情報画面:1230は、関連サーバ性能情報画面:1220よりユーザ要求に応じて起動される。
図13は、ストレージ性能情報画面:1210の一実施例を説明した図である。本画面は、ストレージオブジェクト選択領域:1310と、性能表示日時入力領域:1320と、選択オブジェクト性能情報表示領域:1330と、関連サーバ性能表示ボタン:1340を持つ。
本実施例では、ストレージ性能情報画面:1210に、ストレージ装置とストレージ装置内部のリソースをツリー状に表示している。具体的に本図では、ツリーの親ノードとして、ストレージ装置Aノード:1311が表示され、その子ノードとしてRAIDグループとポートが、RAIDグループAノード:1312、RAIDグループBノード:1313、ポートAノード:1314、ポートBノード:1315のように表示される。ユーザは、本ストレージオブジェクト選択領域にて、いずれかの子ノードを選択することができ、選択したオブジェクトに関する性能情報が、選択オブジェクト性能情報表示領域:1330に表示される。
本実施例では、性能分析の対象とするストレージ内部のリソース種別をRAIDグループと、ポートの2種類としているが、本実施例はストレージ装置内のキャッシュメモリなどのその他のリソースに対しても同様に実施可能であり、その適用を制限するものではない。
性能表示日時入力領域:1320は、表示したい性能情報が観測された時刻をユーザが入力する領域である。この領域に入力された日時における、性能情報が性能情報リポジトリから検索され、選択オブジェクト性能情報表示領域:1330に表示される。尚、性能情報を表示するための日時の指定については、プログラムで予め現在時刻を表示するように指定してもよいし、ユーザから受付けたデータに応じて一定期間内の性能情報を時系列順に表示してもよいし、その他のものでもよい。
選択オブジェクト性能情報表示領域:1330は、ストレージオブジェクト選択領域:1310で選択されたオブジェクトについての性能情報を、性能表示日時入力領域に入力された日時について表示する領域である。
図13は、ストレージオブジェクト選択領域にて、RAIDグループAノード:1312が選択され、かつ、性能表示日時として、2003年7月19日午前10時が入力されたことを想定した図になっている。このため、選択オブジェクト性能情報表示領域:1330には、RAIDグループAの2003年7月19日午前10時の性能情報が表示されている。具体的には、選択されたリソース名すなわち「RAIDグループA」が選択オブジェクト表示領域1337に表示され、また、RAIDグループAの2003年7月19日午前10時における性能情報が、IOPS(IO per Second)カラム:1331、Read IOPS(IO per Second)カラム:1332、Write IOPS(IO per Second)カラム:1333、Xfer(Transfer)カラム:1334、Read Xfer(Transfer)カラム:1335、Write Xfer(Transfer)カラム:1336に表示されている。
関連サーバ性能表示ボタン:1340は、関連サーバ性能情報画面:1220の表示を要求するためのボタンである。本ボタンを押すことにより、ストレージオブジェクト選択領域:1310で選択されたオブジェクトを利用する、サーバ側のボリュームの性能情報を表示するための、関連サーバ性能情報画面:1220を表示することができる。本ボタンは、内部では、関連サーバ性能情報表示サブプログラム:1202を起動する。
図14は、関連サーバ性能情報画面:1220の一実施例を説明した図である。本画面は、特定のRAIDグループもしくはポートを利用するサーバとボリュームの一覧と、その性能情報を表示する画面である。ユーザは本画面を見ることにより、特定のRAIDグループもしくはポートに負荷をかけている、サーバおよびボリュームを特定することができる。
関連サーバ性能情報画面:1220は、関連サーバ性能情報表示領域:1410と履歴情報表示ボタン:1420を持つ。
関連サーバ性能情報表示領域:1410は、関連サーバとボリュームの一覧および、その性能情報を表示する領域である。本実施例では、当該RAIDグループもしくはポートを利用する、サーバとボリュームを特定するための、サーバカラム:1421と、ボリュームカラム:1422をもつ。また、本実施例では、本領域にそのボリュームの性能情報として、IOPS(IO per Second)カラム:1423、Write IOPS(IO per Second)カラム:1424、Read IOPS(IO per Second)カラム:1425、Xfer(Transfer)カラム:1426、Read Xfer(Transfer)カラム:1427、Write Xfer(Transfer)カラム:1428を表示している。
履歴情報表示ボタン:1420は、関連サーバ性能履歴情報画面:1230の表示を要求するためのボタンである。本ボタンを押すことにより、関連サーバ群の性能情報をヒストリカルに表示するための、関連サーバ性能履歴情報画面:1230を表示することができる。本ボタンは、内部では、関連サーバ性能履歴情報表示サブプログラム:1203を起動する。
図15は、関連サーバ性能履歴情報画面の一実施例を説明した図である。本画面は、関連サーバ群の性能情報をヒストリカルに表示する。本画面は、関連サーバ性能履歴情報表示領域:1510をもつ。関連サーバ性能履歴情報表示領域:1510には、図15に図示したように折れ線グラフ等によって、関連サーバのヒストリカルな性能情報を表示する。
尚、図15では一例として、グラフの横軸に時間を示し、グラフの縦軸に性能情報を示している。また、サーバAのボリュームAの性能履歴データとサーバBのボリュームCの性能履歴データとを折れ線グラフによって重ね合わせて表示し、それぞれにサーバ名とボリューム名を付加しているが、これは一例であり、サーバ以外の性能情報を表示してもよい。
たとえば、論理ボリュームごとに1画面で性能情報を表示してもよい。また、各サーバが認識するボリュームが同じRAIDグループを利用している場合には、RAIDグループ毎にウインドウで表示してもよいし、その他の表示方法でもよい。
また、1つのウインドウを複数に区切り、ウインドウの左側に図13の1310のようにツリー構造で各種機器を表示し、1310で示されたツリー構造の構成要素のいずれかをユーザが選択したときに、当該ユーザの選択に基づいてウインドウの右側に関連する機器の性能履歴情報表示(例えば、図15)を行ってもよい。
また、ユーザから指定されたストレージ機器を共有する装置の情報を同じ座標軸のグラフを用いて重ね合わせて表示したり、指定されたストレージ機器の性能情報と該指定されたストレージ機器を利用する装置の中で負荷の高い装置の上位3つの性能情報とを対応づけて表示したりしてもよいし、その他の表示方法でもよい。尚、複数の性能情報を表示する際には、複数の性能情報の中で値の低い順に重なるように1つのウインドウに表示してもよいし、予め指定された順序に従って1つのウインドウに表示してもよいし、複数のウインドウを上下又は左右に対応づけて並べて表示してもよい
このように、機器やコンピュータの性能を単体で見せるのではなく、サーバからストレージ装置に至るまでの経路上における関連する機器の性能情報や、ストレージ装置を共有する機器の性能情報等と対応づけて表示することにより、複雑なシステム環境においても性能のボトルネックとなる部分を判別しやすくできる。
また、ユーザからの指定に応じて、多数の性能情報の中から、関連ある機器の性能情報を絞り込んで表示することも可能となり、人間にとって性能情報が理解しやすくなる。
図16は、ストレージ性能情報表示サブプログラム:1201の処理を説明したフローチャートである。本プログラムは、ストレージ性能情報画面:1210の表示を行うプログラムである。
本プログラムは大きく2つの処理に分かれており、ステップ1601からステップ1603はストレージオブジェクト選択領域:1310を描画する処理であり、ステップ1604から終了処理までは、選択オブジェクト性能情報表示領域:1330を描画する処理となっている。
ステップ1601では、ストレージRAIDグループ性能情報テーブル:330を走査し、全てのRAIDグループと、そのRAIDグループが属するストレージ装置の組のリストを取得する。
ステップ1602では、ストレージポート性能情報テーブル:340を走査し、全てのポートと、そのポートが属するストレージ装置の組のリストを取得する。
ステップ1603では、前記ステップ1601とステップ1602にて取得したストレージ装置と組になったRAIDグループとポートのリストを元に、ストレージオブジェクト選択領域:1310に、全てのストレージ装置と、RAIDグループおよびポートを描画する。
ステップ1604では、性能表示日時入力領域:1320に入力された日時情報を取得する。
ステップ1605では、ストレージオブジェクト選択領域:1310にて選択されたオブジェクトの名前を取得する。たとえば、RAIDグループの識別子、ポート名、その他ストレージ関連機器の名前や識別子等の指定を受付ける。
ステップ1607では、前記ステップで取得したストレージオブジェクトの名前から、そのオブジェクトがRAIDグループであるか、ポートであるか判断する。RAIDグループである場合は、ステップ1608へ進み、ポートである場合はステップ1610へ進む。
ステップ1608では、ステップ1605で取得したオブジェクト名とステップ1604で取得した日時をキーとして、ストレージRAIDグループ性能情報テーブル330を検索し、選択されたRAIDグループの、指定された日時における性能情報を取得する。
ステップ1609では、前記ステップで取得したRAIDグループの性能情報を、選択オブジェクト性能情報表示領域:1330に描画する。
ステップ1610では、ステップ1605で取得したオブジェクト名とステップ1604で取得した日時をキーとして、ストレージポート性能情報テーブル340を検索し、選択されたポートの、指定された日時における性能情報を取得する。
ステップ1609では、前記ステップで取得したポートの性能情報を、選択オブジェクト性能情報表示領域:1330に描画する。
図17は、関連サーバ性能情報表示サブプログラム:1202の処理を説明したフローチャートである。本プログラムは、ストレージ性能情報画面:1210上でユーザが関連サーバ性能表示ボタン:1340を押した場合に実行され、関連サーバ性能情報画面:1220を描画するプログラムである。
ステップ1701では、性能表示日時入力領域:1320に入力された日時情報を取得する。
ステップ1702では、ストレージオブジェクト選択領域:1310にて選択されたオブジェクトの名前を取得する。
ステップ1702では、前記ステップで取得したストレージオブジェクトの名前から、そのオブジェクトがRAIDグループであるか、ポートであるか判断する。RAIDグループである場合は、ステップ1704へ進み、ポートである場合はステップ1705へ進む。
ステップ1704では、サーバ−ストレージマッピングテーブル320を、ステップ1702で取得したオブジェクト名をRAIDグループカラムのキーとして検索し、当該RAIDグループを利用しているサーバのボリューム一覧を取得する。
ステップ1705では、サーバ−ストレージマッピングテーブル320を、ステップ1702で取得したオブジェクト名をポートカラムのキーとして検索し、当該ポートを利用しているサーバのボリューム一覧を取得する。
ステップ1706では、サーバ性能情報テーブル:310を、ステップ1701で取得した日時と、ステップ1704もしくは、ステップ1705で得られたサーバのボリューム一覧をキーとして検索し、当該RAIDグループもしくは当該ポートを利用しているサーバ側のボリューム群の性能情報を取得する。
ステップ1707では、前記ステップで取得した、関連サーバの性能情報を、関連サーバ性能情報表示領域:1410に描画する。
図18は、関連サーバ性能履歴情報表示サブプログラム:1203の処理を説明したフローチャートである。本プログラムは、関連サーバ性能情報画面:1220上でユーザが履歴情報表示ボタン:1420を押した場合に実行され、関連サーバ性能履歴情報画面:1230を描画するプログラムである。
ステップ1801では、関連サーバ性能情報領域:1410に表示されている、サーバサイドのボリュームのリストを取得する。
ステップ1802では、前記ステップにて取得した、サーバサイドのボリュームのリストをキーとして、サーバ性能情報テーブル:310を検索し、ボリューム群のヒストリカル性能データを取得する。
ステップ1803では、履歴関連サーバ性能情報画面:1230を作成し、前記ステップで取得した、関連ボリュームのヒストリカル性能データを、関連サーバ性能履歴情報表示領域:1510に描画する。
上述した処理や表示の遷移は一例であり、別な画面遷移を行ってもよい。たとえば、ユーザが図13の画面で、RAIDグループA:1312をマウスポインタ等で指定した場合に、RAIDグループAを利用している複数のサーバの負荷情報をグラフで重ね合わせたもの(例えば、図15)を表示してもよい。また、ポートを指定し、指定されたポート情報に基づいて当該ポートを利用するサーバの負荷情報を表示してもよいし、当該ポートを利用する経路情報と当該経路上にあるストレージ装置を対応付けて(例えば、「サーバ−ボリューム名−スイッチ(I/Oポート)−論理ボリューム−RAIDグループ−物理ディスク」)、ストレージ装置各々に関連する情報を表示してもよいし、その他の表示を行ってもよい。
また、あるサーバのI/O性能が劣化したことを検出した場合に、性能が劣化したサーバを基点として、当該サーバが利用しているポートの性能情報と当該ポートを利用しているサーバの情報を表示してもよい。また、当該サーバが利用している論理ボリュームやRAIDグループを調べ、当該論理ボリュームやRAIDグループを共有して利用している他のサーバの性能情報を表示してもよい。
上述したように、ストレージリソース競合状況検出方法によれば、ストレージ装置内部の特定のリソースを起点に、そのリソースに負荷をかけているサーバ群(又は各種装置)の性能指標値を一挙に表示するため、単一のストレージ装置を複数のサーバで共有して利用する構成において、ストレージ装置内のリソースにI/O負荷が集中していることの検出および、負荷をかけているサーバの特定を容易に行うことができる。
また、複数のストレージ装置又は複数のサーバが各種機器を共有している場合において、関連する機器の性能情報を収集および分析することにより、共有されている機器の性能のボトルネックとなる機器の状態を把握しやすくなる。
本実施形態のSANシステムの構成を示す図である。 ストレージ装置のボリューム提供機能と、サーバのボリュームマウント機能について説明した図である。 性能情報リポジトリの内部構造を説明した図である。 性能情報収集プログラムと、性能情報分析プログラムの連携方法を説明した図である。 サーバ性能情報テーブルに格納されるデータ項目を説明した図である。 サーバ−ストレージマッピングテーブルに格納されるデータ項目を説明した図である。 ストレージRAIDグループ性能情報テーブルに格納されるデータ項目を説明した図である。 ストレージポート性能情報テーブルに格納されるデータ項目を説明した図である。 SCSIインクワイアリレスポンス情報を説明した図である。 サーバ性能情報収集プログラムの処理を説明したフローチャートである。 ストレージ性能情報収集プログラムの処理を説明したフローチャートである。 性能情報分析プログラムの内部構造と、当該プログラムが出力する画面の概略について説明した図である。 ストレージ性能情報画面の一実施例を説明した図である。 関連サーバ性能情報画面の一実施例を説明した図である。 関連サーバ性能履歴情報画面の一実施例を説明した図である。 ストレージ性能情報表示サブプログラムの処理を説明したフローチャートである。 関連サーバ性能情報表示サブプログラムの処理を説明したフローチャートである。 関連サーバ性能履歴情報表示サブプログラムの処理を説明したフローチャートである。
符号の説明
101…サーバ性能情報収集プログラム、102…ストレージ性能情報収集プログラム、103…性能情報リポジトリ、104…性能情報分析プログラム、110A…サーバA、110B…サーバB、111A…サーバA上のボリュームマウント機能、112A…サーバA上の業務プログラム、111B…サーバB上のボリュームマウント機能、112B…サーバB上の業務プログラム、114…HBA、120…ストレージ装置A、121…ボリューム提供機能、123…ポートA、124…ポートB、130…管理サーバ、140…SAN、150…LAN、161…2次記憶装置、162…主記憶装置、163…通信装置、164…CPU、165…表示装置、166…キーボード、167…マウス、168…オペレーティングシステム、210A…ボリュームA、210B…ボリュームB、210C…ボリュームC、220A…論理ボリュームA、220B…論理ボリュームB、220C…論理ボリュームC、220D…論理ボリュームD、220E…論理ボリュームE、220F…論理ボリュームF、220G…論理ボリュームG、220H…論理ボリュームH、230A…RAIDグループA、230B…RAIDグループB、240A…物理ディスクA、240B…物理ディスクB、240C…物理ディスクC、240D…物理ディスクD、240E…物理ディスクE、240F…物理ディスクF、240G…物理ディスクG、240H…物理ディスクH、310…サーバ性能情報テーブル、320…サーバ−ストレージマッピングテーブル、330…ストレージRAIDグループ性能情報テーブル、340ストレージポート性能情報テーブル、511…サーバカラム、512…ボリュームカラム、513…IOPS(IO per Second)カラム、514…Read IOPS(IO per Second)カラム、515…Write IOPS(IO per Second)カラム、516…Xfer(Transfer)カラム、517…Read Xfer(Transfer)カラム、518…Write Xfer(Transfer)カラム、519…TSカラム、611…サーバカラム、612…ボリュームカラム、613…ストレージカラム、614…ポートカラム、615…論理ボリュームカラム、616…RAIDグループカラム、711…ストレージカラム、712…RAIDグループカラム、713…IOPS(IO per Second)カラム、714…Read IOPS(IO per Second)カラム、715…Write IOPS(IO per Second)カラム、716…Xfer(Transfer)カラム、717…Read Xfer(Transfer)カラム、718…Write Xfer(Transfer)カラム、719…TSカラム、811…ストレージカラム、812…ポートカラム、813…IOPS(IO per Second)カラム、814…Max IOPS(IO per Second)カラム、815…Min IOPS(IO per Second)カラム、816…Xfer(Transfer)カラム、817…Max Xfer(Transfer)カラム、818…Min Xfer(Transfer)カラム、819…TSカラム、910…SCSIインクワイアリ情報、911…接続先ストレージカラム、912…接続先ポートカラム、913…接続先論理ボリュームカラム、914…接続先RAIDグループカラム、1201…ストレージ性能情報表示サブプログラム、1202…関連サーバ性能情報表示サブプログラム、1203…関連サーバ性能履歴情報表示サブプログラム、1210…ストレージ性能情報画面、1220…関連サーバ性能情報画面、1230…関連サーバ性能履歴情報画面、1310…ストレージオブジェクト選択領域、1311…ストレージ装置Aノード、1312…RAIDグループAノード、1313…RAIDグループBノード、1314…ポートAノード、1315…ポートBノード、1320…性能表示日時入力領域、1330…選択オブジェクト性能情報表示領域、1331…IOPS(IO per Second)カラム、1332…Read IOPS(IO per Second)カラム、1333…Write IOPS(IO per Second)カラム、1334…Xfer(Transfer)カラム、1335…Read Xfer(Transfer)カラム、1336…Write Xfer(Transfer)カラム、1337…選択オブジェクト名表示領域、1340…関連サーバ性能表示ボタン、1410…関連サーバ性能情報表示領域、1421…サーバカラム、1422…ボリュームカラム、1423…IOPS(IO per Second)カラム、1424…Write IOPS(IO per Second)カラム、1425…Read IOPS(IO per Second)カラム、1426…Xfer(Transfer)カラム、1427…Read Xfer(Transfer)カラム、1428…Write Xfer(Transfer)カラム、1420…履歴情報表示ボタン、1510…関連サーバ性能履歴情報表示領域

Claims (5)

  1. ストレージシステムであって、
    複数のRAIDグループと、前記複数のRAIDグループを用いて定義した複数の論理ボリュームと、を有するストレージ装置と、
    複数の業務プログラムと、前記複数の論理ボリュームに対応し、前記複数の業務プログラムが利用する複数のボリュームと、を有する前記ストレージ装置に接続した複数のサーバと、
    前記ストレージ装置と前記複数のサーバに接続し、性能情報リポジトリを含む管理サーバーと、
    を有し、
    前記管理サーバは、前記複数のサーバが収集する前記複数のボリュームの性能情報と、前記複数のボリュームと前記複数の論理ボリュームと前記複数のRAIDグループとの対応情報と、を前記性能情報リポジトリに格納し、前記複数のRAIDグループから第一のRAIDグループを指定した第一の要求を受信し、前記性能情報リポジトリに格納した前記対応情報を元に前記第一のRAIDグループに対応する一つ以上の論理ボリュームを前記複数の論理ボリュームから選択し、前記一つ以上の論理ボリュームに対応する一つ以上のボリュームを前記複数のボリュームから選択し、前記性能情報リポジトリに格納した前記性能情報のうち、前記一つ以上のボリュームに関する情報を出力する、
    ことを特徴とする情報処理システム。
  2. 請求項1記載のストレージシステムであって、
    前記性能情報リポジトリに格納した前記対応情報は、前記複数のサーバが前記複数のボリュームを指定してSCSIインクワイアリを発行することによって取得した情報を含むことを特徴とする情報処理システム。
  3. 請求項1記載のストレージシステムであって、
    前記性能情報リポジトリに格納した前記性能情報は、前記複数のボリューム毎の複数の時点における性能値を含み、
    前記管理サーバは、第二の要求を受信し、前記第一のRAIDグループに関する前記一つ以上のボリュームに関する複数の時点における性能値を前記性能情報から出力する、
    ことを特徴とする情報処理システム。
  4. 請求項1乃至3記載のストレージシステムであって、
    前記管理サーバは、前記ストレージ装置が収集した前記複数のRAIDグループに関するIOPSまたは毎秒当たりの転送データ量の値を前記性能情報リポジトリに格納し、前記性能情報リポジトリに格納した前記複数のRAIDグループに関するIOPSまたは毎秒あたりの転送データ量の値のうち、前記第一のRAIDグループに関する値を出力する、
    ことを特徴とする情報処理システム。
  5. 請求項1乃至4記載のストレージシステムであって、
    前記性能情報は前記複数のボリュームに関するIOPSまたは毎秒あたりの転送データ量の値を含むことを特徴とする情報処理システム。
JP2008223057A 2008-09-01 2008-09-01 性能情報分析方法 Expired - Fee Related JP4658171B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008223057A JP4658171B2 (ja) 2008-09-01 2008-09-01 性能情報分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008223057A JP4658171B2 (ja) 2008-09-01 2008-09-01 性能情報分析方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2003207250A Division JP4421230B2 (ja) 2003-08-12 2003-08-12 性能情報分析方法

Publications (2)

Publication Number Publication Date
JP2009032274A true JP2009032274A (ja) 2009-02-12
JP4658171B2 JP4658171B2 (ja) 2011-03-23

Family

ID=40402652

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008223057A Expired - Fee Related JP4658171B2 (ja) 2008-09-01 2008-09-01 性能情報分析方法

Country Status (1)

Country Link
JP (1) JP4658171B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08137725A (ja) * 1994-11-14 1996-05-31 Hitachi Ltd 性能予測装置
JP2000339098A (ja) * 1999-03-25 2000-12-08 Dell Usa Lp ストレージドメイン管理システム
JP2002342130A (ja) * 2001-05-16 2002-11-29 Hitachi Ltd ディスクボリュームの管理方法及びその装置
JP2003216348A (ja) * 2001-11-14 2003-07-31 Hitachi Ltd 記憶装置の管理方法および管理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08137725A (ja) * 1994-11-14 1996-05-31 Hitachi Ltd 性能予測装置
JP2000339098A (ja) * 1999-03-25 2000-12-08 Dell Usa Lp ストレージドメイン管理システム
JP2002342130A (ja) * 2001-05-16 2002-11-29 Hitachi Ltd ディスクボリュームの管理方法及びその装置
JP2003216348A (ja) * 2001-11-14 2003-07-31 Hitachi Ltd 記憶装置の管理方法および管理装置

Also Published As

Publication number Publication date
JP4658171B2 (ja) 2011-03-23

Similar Documents

Publication Publication Date Title
JP4421230B2 (ja) 性能情報分析方法
US11645183B1 (en) User interface for correlation of virtual machine information and storage information
JP4744955B2 (ja) データ管理システム
US20120117226A1 (en) Monitoring system of computer and monitoring method
JP6564305B2 (ja) 管理サーバ及びこれを用いた管理方法
US7031988B2 (en) Method for displaying the amount of storage use
WO2020087082A1 (en) Trace and span sampling and analysis for instrumented software
US11276240B1 (en) Precise plane detection and placement of virtual objects in an augmented reality environment
US11416278B2 (en) Presenting hypervisor data for a virtual machine with associated operating system data
JP2006268398A (ja) 計算機システム、データ管理方法およびプログラム
US8131743B1 (en) Object searching in data storage systems
US9087092B2 (en) Logging updates to monitored data sets in a storage
JP4658171B2 (ja) 性能情報分析方法
US11720591B1 (en) Virtual metrics
US11755344B1 (en) Dynamic drill-down of nested graphical interfaces
US11836146B1 (en) Storing indexed fields per source type as metadata at the bucket level to facilitate search-time field learning
US11402979B1 (en) Interactive expandable histogram timeline module for security flagged events

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101221

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101222

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140107

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees