JP2008304963A - 計算機システムまたは計算機システムの性能管理方法 - Google Patents

計算機システムまたは計算機システムの性能管理方法 Download PDF

Info

Publication number
JP2008304963A
JP2008304963A JP2007148738A JP2007148738A JP2008304963A JP 2008304963 A JP2008304963 A JP 2008304963A JP 2007148738 A JP2007148738 A JP 2007148738A JP 2007148738 A JP2007148738 A JP 2007148738A JP 2008304963 A JP2008304963 A JP 2008304963A
Authority
JP
Japan
Prior art keywords
storage area
storage
storage device
data
performance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007148738A
Other languages
English (en)
Other versions
JP4434235B2 (ja
Inventor
Jun Nakajima
中島淳
Daisuke Shinohara
篠原大輔
Yuri Hiraiwa
平岩友理
Nobuyuki Osaki
大崎伸之
Nobuhiro Maki
牧晋広
Takayuki Nagai
永井崇之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2007148738A priority Critical patent/JP4434235B2/ja
Priority to US11/968,687 priority patent/US7996728B2/en
Priority to EP08251308A priority patent/EP2003541A3/en
Publication of JP2008304963A publication Critical patent/JP2008304963A/ja
Application granted granted Critical
Publication of JP4434235B2 publication Critical patent/JP4434235B2/ja
Priority to US13/170,409 priority patent/US8397105B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653Monitoring storage devices or systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2069Management of state, configuration or failover
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • G06F3/0605Improving or facilitating administration, e.g. storage management by facilitating the interaction with a user or administrator
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065Replication mechanisms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0683Plurality of storage devices
    • G06F3/0689Disk arrays, e.g. RAID, JBOD
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2071Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using a plurality of controllers
    • G06F11/2076Synchronous techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466Performance evaluation by tracing or monitoring
    • G06F11/3485Performance evaluation by tracing or monitoring for I/O devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466Performance evaluation by tracing or monitoring
    • G06F11/349Performance evaluation by tracing or monitoring for interfaces, buses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/81Threshold
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/815Virtual
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/885Monitoring specific for caches

Abstract

【課題】ストレージ装置及び計算機を有する計算機システムに関する性能管理を担う管理者の負担を軽減することを目的とする。
【解決手段】 本願発明の一形態は、計算機システムであって、計算機と、計算機から送信されるデータが格納される第1の記憶領域と前記第一の記憶領域と対応付けられる第二の記憶領域との少なくともいずれか一方を備えるストレージ装置と、を備える計算機システムで、対応付けられる第一の記憶領域と前記第二の記憶領域との対応付けの状態を参照し、第一の記憶領域に格納されるデータ入出力に関する第一の性能情報を出力し、対応付けの状態の参照結果、第一の記憶領域に格納されるデータの第二の記憶領域に対する複製処理が実行されている場合、前記第一の性能情報とともに前記第二の記憶領域に格納されるデータ入出力に関する第二の性能情報を出力する出力手段と、を有する。
【選択図】図16

Description

本願明細書で開示される技術は、計算機システムの性能管理に関し、特に、ストレージ装置の性能を管理する方法及び装置に関するものである。
計算機システムの性能管理に関する技術として、特許文献1には、計算機システム内の各リソースの性能情報を取得し、リソース間のマッピングテーブルを参照し、出力すべきリソースの性能情報を絞る技術が開示されている。
また、特許文献2には、サーバーと、複数のボリュームから構成されるストレージサブシステムを有するシステムで、ボリューム毎の容量と、該ストレージサブシステム内部で実行されているボリューム間のコピーに関する設定情報と、前記ストレージサブシステム間のコピーに関する設定情報とを取得し、コピーに関する設定情報に基づいて収集した情報を関連付け、指定されたサーバーが使用するストレージサブシステムの一覧と、ボリュームの総容量および使用容量を表示装置に表示することを特徴とするストレージ使用容量表示方法が開示されている。
米国特許第7127555号公報 米国特許第7031988号公報
特許文献2では、サーバとストレージのマッピング情報と、コピーに関係する設定情報とによって、使用容量を出力する。また、特許文献1では、サーバとストレージ間で、設定されたマッピング情報で、関連付けられたサーバとストレージの性能情報を出力する。
しかし、関連付けられたリソース間の状態によっては、あるサーバからのI/O処理が完了するために、その関連付けられたリソースの性能に依存する場合と、依存しない場合がある。例えば、計算機からのI/Oリクエストに対して特定のリソースにデータを書き込むだけで、I/Oレスポンスを返す場合である。また、その他にも、特定のリソースは他のリソースと関連付けられている設定で、他のリソースへの転送やI/Oリクエストにを複製した後に、I/Oレスポンスを返す場合や、特定のリソースは他のリソースと関連付けられている設定であっても、I/Oレスポンスが、他のリソースへの転送や複製に関係がない場合がある。
したがって、その性能依存関係の有無に関わらず、関連付けられたリソースの性能を出力すると、ある時点では、計算機からのI/Oには関与しないリソースの性能も出力される場合もあり、管理者が、性能管理を効率よく運用することができない。一方、性能依存関係やリソース間の関係無く、あるリソースの性能のみ出力すると、性能依存関係のある、複製先のボリュームにおけるI/O応答時間や、複製先のストレージの物理記憶デバイスにおけるアクセス応答時間を考慮することができず、計算機システムの性能管理の把握をすることが困難になる。
上記課題の少なくとも一つを解決するために、本願発明の一形態は、計算機システムであって、計算機と、計算機から送信されるデータが格納される第1の記憶領域と前記第一の記憶領域と対応付けられる第二の記憶領域との少なくともいずれか一方を備えるストレージ装置と、を備える計算機システムで、対応付けられる第一の記憶領域と前記第二の記憶領域との対応付けの状態を参照し、第一の記憶領域に格納されるデータ入出力に関する第一の性能情報を出力し、対応付けの状態の参照結果、第一の記憶領域に格納されるデータの第二の記憶領域に対する複製処理が実行されている場合、前記第一の性能情報とともに前記第二の記憶領域に格納されるデータ入出力に関する第二の性能情報を出力する出力手段と、を有する。
本発明の一形態によれば、計算機システムに関する性能管理を担う管理者の負担を軽減することができる。
以下に、図面を参照しながら本発明の代表的な実施形態を説明する。尚これにより本発明が限定されるものではない。
まず本実施例における計算機システムの構成例について説明する。図1に本実施例の計算機システムの構成例を示す。計算機システムは、情報収集プログラムを有する1台以上のサーバ(計算機)、情報収集プログラムを有しコピー機能を保持する1台以上のストレージ装置、そして性能依存関係特定プログラム及び監視閾値管理プログラムを有する1台以上の性能監視サーバを有する。本実施例では、サーバ及びストレージ装置の有する情報収集プログラムは、サーバ及びストレージ装置内に保持されているものとしたが、別途、情報収集プログラム用サーバ内で動作させても良い。
以降の説明の都合上、本実施例の計算機システムにおいては、1台のサーバ (サーバA) 40000と、コピー機能を保持する2台のストレージ装置 (ストレージ装置A、ストレージ装置B) 50000がファイバチャネルネットワーク30000を介して相互に接続されているものとする。図1では、サーバA40000に対してストレージ装置Aの論理ボリュームlv1(591000)、lv2(592000)を提供する。また、コピー機能によりストレージ装置Aの論理ボリュームlv1とストレージ装置Bの論理ボリュームlv3の間、及びストレージ装置Aの論理ボリュームlv2とストレージ装置Bの論理ボリュームlv4の間は、それぞれ対応付けられ、コピーペア定義60010が設定されている。本実施例では、コピーペア定義が設定されている複製元論理ボリュームへの、サーバからのI/Oは、コピーペア定義設定されている複製先論理ボリュームでのライトI/Oの完了を待ってから、サーバにおいてライトI/O完了となる、すなわち複製元論理ボリュームと複製先論理ボリュームに二重書きを行う、同期型コピーペア定義とする。本実施例では、コピー元のボリュームとコピー先のボリュームが別のストレージ装置内にあるとしたが、コピー元のボリュームとコピー先のボリュームが同一ストレージ装置内に存在しても良い。
コピーペア定義が設定されている場合の、コピーペアの状態には、一例として「同期」、「中断」などがある。「同期」は、複製元ボリュームと複製先ボリュームとが同期し、複製元ボリュームのデータと複製先ボリュームのデータとが一致している状態を示す。「中断」は、複製元ボリュームと複製先ボリュームとのデータの同期を中断している状態を示す。本実施例ではlv1とlv3は同期状態、lv2とlv4は中断状態にあるものとする。
サーバAからの論理ボリュームlv1へのライトI/Oは、ファイバチャネルネットワーク30000を介して論理ボリュームlv1に送られ、lv1へのライトI/Oは、ファイバチャネルネットワーク30000を介して論理ボリュームlv3に送られる。そして論理ボリュームlv3でライトI/Oの完了を待って、サーバAにおいてライトI/O完了となる。また、サーバAからの論理ボリュームlv2へのライトI/Oは、ファイバチャネル30000を介して論理ボリュームlv2に送られ、論理ボリュームlv2でライトI/Oの完了を待って、サーバAにおいてライトI/O完了となる。
なお、サーバAとストレージ装置A及びストレージ装置Bの接続形態については、図1に示すようにファイバチャネル30000を利用して直接接続されるのではなく、1台以上のファイバチャネルスイッチなどネットワーク機器を介して接続されてもよい。また、本実施例ではサーバAとストレージ装置A及びストレージ装置Bの接続に、ファイバチャネル30000を利用したが、データ通信用のネットワークであれば、別のネットワークでも良く、例えばIPネットワークでも良い。
性能監視サーバ10000(管理計算機)は、管理用ネットワーク20000を介して、サーバA、ストレージ装置A、ストレージ装置Bに接続されており、各装置の情報収集プログラムと通信する。性能依存関係特定プログラム12100は、後述する処理により性能依存関係特定処理及び性能依存関係提示処理などを行う。監視閾値管理プログラム12200は、後述する処理によりコピー状態に応じた性能監視の閾値設定処理及び性能監視対象と性能監視の閾値に変更を加えたアラート通知処理を行う。
図2に性能監視サーバ10000の構成例を示す。性能監視サーバ10000は、プロセッサ11000と、メモリ12000と、管理用ネットワーク20000に接続するための通信装置13000と、性能依存関係プログラム12100による処理の実行結果を出力するディスプレイ装置などの出力装置14000と、管理者が監視閾値管理プログラム12200に指示を入力するためのキーボードなどの入力装置15000と、記憶装置17000を有し、これらは内部バスなどの通信路16000を介して相互に接続される。
メモリ12000には性能監視サーバによって実行されるプログラムである、性能依存関係特定プログラム12100、監視閾値管理プログラム12200、及びコピーペア管理プログラム12700と、コピーペアの定義が行われている論理ボリュームの間のコピーペアの状態情報を保持するコピーペア状態テーブル12300と、計算機システム内の各装置を管理する情報収集プログラムから収集した情報を格納する領域である構成情報リポジトリ12400及び性能情報リポジトリ12500と、コピーペアの状態に応じて設定された閾値を保持する状態別閾値管理テーブル12600とが格納されている。また、構成情報リポジトリ12400には、サーバとサーバ内にマウントされた論理ボリュームの対応関係を保持するサーバ−ストレージマッピングテーブル12401と、対応付けられた論理ボリューム間のコピーペアの関係を保持するコピーペア定義テーブルと12411と、コピーペア定義も含んだ計算機システムの構成情報を保持する構成情報テーブル12421とが格納されている。また、性能情報リポジトリ12500には、計算機システムに含まれる装置及び装置の持つリソースの性能情報を保持する性能情報テーブル12501が格納されている。
プロセッサ10000は、メモリ12000に格納されるプログラムを読み出し、実行し、メモリ12000に格納されるテーブルを参照、更新処理を行なう。
本実施例では、コピーペア管理プログラム12700を管理サーバ10000内のメモリ12000内に格納されているものとしたが、例えばサーバ40000のメモリ42000内や、ストレージ装置50000のメモリ52000内で動作させてもよく、また、別のサーバ上で動作させても良い。また、その他の上述の各プログラム及び各テーブルについても、メモリ12000内に格納されているものとしたが、上述の各プログラム及び各テーブルが記憶装置17000あるいは別の記憶媒体に格納され、実行時にプロセッサ11000がメモリ12000上に読み出し、処理を行ってもよい。また、別のサーバ上あるいはストレージ装置内、サーバ内で保持してもよい。
図3にサーバ40000の構成例を示す。サーバ40000は、プロセッサ41000と、メモリ42000と、管理用ネットワーク20000に接続するための管理I/F制御部43000と、ファイバチャネル30000に接続するための一つ以上のデータI/F制御部47000と、記憶装置48000とを有し、これらは内部バス等の通信路46000を介して相互に接続される。
メモリ42000には、性能監視サーバと通信して当該サーバの管理情報及び性能情報を送受信するためのプログラムである情報収集プログラム42100と、ストレージ装置50000から公開されているボリュームを当該サーバ内にマウントするプログラムであるボリューム管理プログラム42200とが格納されている。
ボリューム管理プログラム42200はストレージ装置Aから、計算機システムに提供されている論理ボリュームをサーバAの記憶装置48000内のボリューム48100にマウントし、サーバA上の業務プログラムからストレージ装置Aから、計算機システムに提供されている論理ボリュームを利用可能としている。
なお、本実施例ではサーバはサーバAの一台、サーバAの備えるデータI/F制御部は一つとしたが、サーバの台数及びデータI/F制御部の数はいくつであってもよい。また、42100、42200は、メモリ42000内に格納されているものとしたが、別の記憶装置あるいは別の記憶媒体に格納され、実行時にプロセッサ41000がメモリ42000上に読み込みを行ってもよく、また、別のサーバ上あるいはストレージ装置内、サーバ内で保持してもよい。
図4は、ストレージ装置50000の構成例を示す。ストレージ装置50000は、プロセッサ51000と、メモリ52000と、管理用ネットワーク20000に接続するための管理I/F制御部53000と、ファイバチャネル30000に接続するためのデータI/F制御部57000と、ディスクI/F制御部57100と、データ格納領域を提供する論理ボリューム提供部59000を有し、これらは内部バス等の通信路56000を介して相互に接続される。
メモリ52000には、性能監視サーバと通信して当該ストレージ装置の管理情報及び性能情報を送受信するためのプログラムである情報収集プログラム52100とディスクキャッシュ52200が格納されている。論理ボリューム提供部59000は、複数の物理ディスク59300から作成されたRAIDグループ59200を論理的に分割し、論理ボリューム59100として提供することで、論理ボリュームに対する当該ストレージ装置外からのアクセスを可能としている。
なお、ストレージ装置はストレージ装置Aとストレージ装置Bの二台、ストレージ装置の備えるデータI/F制御部は一つ、ストレージ装置の備えるディスクI/F制御部は1つとしたが、ストレージの台数及びデータI/F制御部の数、ディスクI/F制御部の数はいくつであってもよい。また、52100、52200は、メモリ52000内に格納されているものとしたが、別の記憶装置あるいは別の記憶媒体に格納され、実行時にプロセッサ51000がメモリ52000上に読み込みを行ってもよく、また、別のサーバ上あるいはストレージ装置内、サーバ内で保持してもよい。
図5は、性能監視サーバ10000が保持する構成情報リポジトリ12400内に格納される、サーバ−ストレージマッピングテーブル12401の一例を示す。本テーブルは各サーバ上の各ボリュームがストレージ装置のどのデータI/Fを経由して、どの論理ボリューム、どのRAIDグループに対応しているかを格納したテーブルである。サーバ−ストレージマッピングテーブル12401は、性能依存関係特定プログラム12100によりレコードが追加されるテーブルである。サーバ−ストレージマッピングテーブル12401のサーバ欄12402にはサーバを一意に識別するための値が登録され、ボリューム番号欄12403にはサーバ内のボリュームを一意に識別するための値が登録され、ストレージ名欄12404にはボリューム番号欄の各ボリュームが利用しているストレージ装置を一意に識別するための値が登録され、データI/F番号欄12405にはボリューム番号欄の各ボリュームが利用しているデータI/Fの番号を一意に識別するための値が登録され、論理ボリューム番号欄12406にはボリューム番号欄の各ボリュームが利用している論理ボリュームを一意に識別するための値が登録され、RAIDグループ欄12407にはボリューム番号欄の各ボリュームが利用しているRAIDグループを一意に識別するための値が登録される。なおボリューム番号欄で”−”と登録されているエントリは、サーバにストレージが割り当てられていないことを示す。
図6に性能監視サーバ10000が保持する構成情報リポジトリ12400内に格納される、コピーペア定義テーブル12411の一例を示す。本テーブルは各コピーペア定義の複製元論理ボリュームと複製先論理ボリュームの対応関係を格納したテーブルである。性能依存関係特定プログラム12100によりレコードが追加されるテーブルである。コピーペア定義テーブル12411のストレージ名欄12412にはストレージを一意に識別するための値が登録され、論理ボリューム番号欄12413には論理ボリュームを一意に識別するための値が登録され、PS欄12414には論理ボリューム欄の論理ボリュームが、コピーペアの複製元ボリュームかコピーペアの複製先ボリュームかを示す値が登録され、コピー相手ストレージ名欄12415にはコピー先のストレージを一意に識別するための値が登録され、コピー先論理ボリューム番号欄12416にはコピー先の論理ボリュームを一意に識別するための値が登録される。
図7に、性能監視サーバ10000が保持する構成情報リポジトリ12400内に格納される、コピーペア定義も含むSANの構成情報を示す、構成情報テーブル12421の一例を示す。構成情報テーブル12421の各欄は図5及び図6の各欄をマージしたものであり、同一の値が格納される。
図8に性能監視サーバ10000が保持する性能情報リポジトリ12500内に格納される、SANの性能情報を示す、性能情報テーブル12501の一例を示す。本テーブルは各サーバ上の各ボリューム、各ストレージ装置の論理ボリューム、各ストレージ装置のRAIDグループなど、性能情報を格納したテーブルである。性能依存関係特定プログラム12100によりレコードが追加されるテーブルである。性能情報テーブル12501のストレージ名欄12502にはストレージを一意に識別するための値が登録され、論理ボリューム番号欄12503には論理ボリュームを一意に識別するための値が登録され、I/O Response Time欄12504には論理ボリュームへのI/Oに対する応答時間が登録され、Read I/O Response Time欄12505には論理ボリュームへの読み込みI/Oに対する応答時間が登録され、Write I/O Response Time欄12506には論理ボリュームへの書き込みI/Oに対する応答時間が登録される。本実施例では、性能情報の一例としてIO Response Time、Read I/O Response Time、Write I/O Response Timeをあげたが、IO Per Second、Read IO Per Second、Write IO Per SecondやTransfer Rate、Read Transfer Rate、Write Transfer Rateなどの別の性能情報を保持してよい。
図9に性能監視サーバ10000が保持するコピーペア状態テーブル12300の一例を示す。
本テーブルは各コピーペア定義の複製元論理ボリュームと複製先論理ボリュームのペア状態を格納したテーブルである。性能依存関係特定プログラム12100によりレコードが追加されるテーブルである。
コピーペア状態テーブルのコピーペア名欄12301には、コピー元のボリュームを備えるストレージ装置と、コピー先のボリュームを備えるストレージ装置においてコピーペアを一意に特定するための値が登録される。複製元ストレージ名欄12302及び複製先ストレージ名欄12304にはストレージを一意に識別するための値が登録される。複製元論理ボリューム番号欄12303及び複製先論理ボリューム番号欄12305には論理ボリュームを一意に識別するための値が登録される。コピーペア状態欄12306には同期や中断といったコピーペアの状態が登録される。
図10に性能監視サーバ10000が保持する状態別閾値管理テーブル12600の一例を示す。本テーブルは各リソースに対して状態ごとに設定された性能の閾値を、格納したテーブルである。監視閾値管理プログラム12100によりレコードが追加されるテーブルである。状態別閾値管理テーブルのストレージ名欄12601には、コピー先の論理ボリュームを備えるストレージ装置を一意に識別するための値が登録され、論理ボリューム番号欄12602にはストレージ名欄で示されたストレージ内で論理ボリュームを一意に識別するための値が登録され、依存元ストレージ名欄12603には、ストレージ名欄で示されストレージの、論理ボリューム欄で示された論理ボリュームに対するコピー元となる論理ボリュームを備えるストレージ装置を一意に識別するための値が登録され、依存元論理ボリューム番号欄12604にはストレージ名欄12601で示されストレージの、論理ボリューム欄12602で示された論理ボリュームに対するコピー元となる論理ボリュームを一意に識別するための値が登録され、IO Response Time閾値欄12605には、論理ボリュームへのI/Oに対する応答時間として要求される閾値が登録され、Read IO Response Time閾値欄12606には、論理ボリュームへの読み取りI/Oに対する応答時間として要求される閾値が登録され、Write IO Response Time閾値欄12607には、論理ボリュームへの書き込みI/Oに対する応答時間として要求される閾値が登録される。なお、依存元ストレージ名、及び依存元論理ボリューム番号において”−”と登録されているエントリは、コピーペア関係の状態に基づいた閾値ではなく、該リソースに対してSAN管理者により設定された閾値であることを示す。
次に、性能監視サーバ10000上の性能依存関係特定プログラム12100が実施する、関連テーブル作成処理について説明する。本処理は、性能監視サーバ10000のプロセッサ11000がメモリ12000内に格納されているプログラムを実行することにより、定期的に実行されるもので、SAN環境におけるコピーペア状態も含めた最新の性能依存関係を特定するための関連テーブルを作成するものである。以下、特に明記のない限り、各ステップはプロセッサ11000が実施するものとする。
図11に性能依存関係特定プログラム12100を読み出したプロセッサ11000が実行する関連テーブル作成処理の概要を表すフローチャート1000を示す。プロセッサ11000は、、各装置の情報収集プログラムと通信して各装置が保持する情報を取得する (ステップ1001)。次に、プロセッサ11000は、ステップ1001で取得した情報を、構成情報リポジトリのサーバ−ストレージマッピングテーブル及び性能情報リポジトリの性能情報テーブルに格納する (ステップ1002)。その後、プロセッサ11000は、ストレージ装置の情報収集プログラムと通信してコピーペア定義情報を取得する (ステップ1003)。そして、プロセッサ11000は、ステップ1003で取得した情報を構成情報リポジトリのサーバ−ストレージマッピングテーブルに格納する (ステップ1004)。さらに、プロセッサ11000は、構成情報リポジトリ内の情報を参照し、コピーペア定義情報を含んだ構成情報である構成情報テーブルを構成情報リポジトリ内で生成する (ステップ1005)。その後、プロセッサ11000は、サーバの情報収集プログラムと通信してコピーペア状態情報を取得する (ステップ1006)。最後に、プロセッサ11000は、ステップ1006で取得した各情報を利用してコピーペア状態テーブルを作成する (ステップ1007)。
本実施例では、構成情報及び性能情報の取得と同時に、コピーペア定義及びコピーペア状態の取得を定期的に繰り返すこととしたが、コピーペア定義情報及びコピーペア状態の変化を監視し、コピーペア状態テーブルを作成してもよい。また、本実施例では、性能依存関係特定プログラムが各装置の情報収集プログラムから構成情報を取得し、構成情報リポジトリ内のサーバ−ストレージマッピングテーブルに構成情報を格納するタイミングと、性能依存関係特定プログラムが各装置の情報収集プログラムから性能情報を取得し、性能情報を収集し性能情報リポジトリの性能情報テーブルに性能情報を格納するタイミングを同じとしたが、異なっても良い。
サーバ−ストレージマッピングテーブル及び性能情報テーブル作成ステップ1002では、プロセッサ11000は、サーバ−ストレージマッピングテーブル12401に新規エントリを作成し、サーバの備える情報収集プログラムから、サーバ名、サーバでのボリューム番号、ストレージ装置名、接続先ポート名、及びストレージ装置の備える論理ボリューム番号の対応関係を取得し、新規作成したエントリの各欄に登録する。情報収集プログラムは、サーバ名、サーバでのボリューム番号、接続先のストレージ装置名、接続先のデータI/F番号、接続先のストレージ装置の備える論理ボリューム番号、及び接続先のストレージ装置の備えるRAIDグループ対応関係を、例えばSCSI Inquiryをサーバ上から各論理ボリュームに対して発行し、ストレージ装置から情報を取得するなど、どのような方法によって取得しても良い。
次に、性能依存関係特定プログラム12100によって実行される、サーバ−ストレージマッピングテーブル及び性能情報テーブル作成ステップ1002では、プロセッサ11000は、性能情報テーブル12501に新規エントリが作成し、サーバの情報収集プログラム及びストレージ装置の情報収集プログラムから、性能情報が取得し、新規作成したエントリの各欄に登録する。プロセッサ11000は、サーバ情報収集プログラムは性能情報を、例えばOSに依頼するなど、どのような方法によって取得しても良い。ストレージの情報収集プログラムは性能情報を、例えば性能情報が蓄えられたメモリから取得するなど、どのような方法によって取得しても良い。本実施例では、一例として、論理ボリュームごとに、毎秒あたりのIO応答時間、読み込みIO応答時間、書き込みIO応答時間を取得している。
コピーペア管理プログラム12700を読み出し、により実行される、コピーペア定義テーブル作成ステップ1004では、コピーペア定義テーブル12411に新規エントリが作成され、ストレージ装置の情報収集プログラムから、コピーペア定義が設定されている論理ボリュームを備えるストレージ装置のストレージ名、コピーペア定義が設定されている論理ボリュームの論理ボリューム番号、複製元論理ボリュームか複製先論理ボリュームかを示すPS情報、コピーペア定義の相手側の論理ボリュームを備えるストレージ装置のストレージ名、コピーペア定義の相手側の論理ボリュームの論理ボリューム番号が取得され、新規作成したエントリの各欄に登録される。
性能依存関係特定プログラムをプロセッサ11000が読み出すことにより実行される、構成情報テーブル作成ステップ1005では、プロセッサ11000は、構成情報テーブル12421に新規エントリを作成し、構成情報リポジトリからサーバ−ストレージマッピングテーブルのエントリを作成し、各欄の値が新規エントリに設定する。次に、プロセッサ11000は、構成情報リポジトリのコピーペア定義テーブルから、新規エントリに設定されたストレージ名及び論理ボリューム番号に合致する、ストレージ名及び論理ボリュームを保持するエントリを検索し、合致するものがコピーペア定義テーブル内に存在する場合、コピー相手ストレージ名及びコピー相手論理ボリューム番号欄の値を、新規エントリのコピー相手ストレージ名欄及びコピー相手論理ボリューム番号欄に登録する。
コピーペア管理プログラムにより実行される、コピーペア状態テーブル作成ステップ1007では、プロセッサ11000は、コピーペア状態テーブルに新規エントリが作成され、コピーペア定義テーブルから情報を取得し、取得した情報をコピーペア状態テーブルの各エントリに登録する。また、サーバの備える情報収集プログラムからコピーペア状態を取得し、新規エントリのコピーペア状態欄に設定する。本実施例では、サーバの備える情報収集プログラムからコピーペア状態を取得したが、ストレージ装置の備える情報収集プログラム、あるいは別のサーバ上のコピーペア状態を取得するプログラムからコピー状態を取得してもよい。
図12は、性能依存関係特定プログラム12100をプロセッサ11000が読み出すことによって実行される性能依存関係特定処理、性能依存関係提示処理の概要を表すフローチャート2000を示す。性能監視サーバ10000上の性能依存関係特定プログラム12100が実施する、性能依存関係特定処理、性能依存関係提示処理について説明する。以下、特に明記のない限り、各ステップはプロセッサ11000がが実行するものとする。
プロセッサ11000は、 SAN管理者の端末から入力装置15000を介して及び上位システム管理ソフトから稼働状況提示要求を受け取る。プロセッサ11000は、提示を要求されたリソース、例えば論理ボリューム番号をキーとして、サーバ−ストレージマッピングテーブルから、当該エントリにおける論理ボリューム欄から論理ボリュームの情報を取得する (ステップ2009)。そして、プロセッサ11000は、取得した論理ボリュームの論理ボリューム番号、及び当該論理ボリュームを備えるストレージのストレージ名をキーとして、ボリューム番号関連テーブル作成処理1000のステップ1007により作成されたコピーペア状態テーブルの情報を取得する (ステップ2001)。
次に、プロセッサ11000は、コピーペア状態テーブルのコピーペア状態欄の値を参照し、コピーペア状態が同期状態であるか否かを判定する (ステップ2002)。プロセッサ1000は、ステップ2002の判定結果により、コピー先の論理ボリュームの構成情報を取得するか否かを決定する。コピーペアの状態が同期状態の場合は、プロセッサ11000は、構成情報リポジトリの構成情報テーブルから性能依存関係情報を取得する(ステップ2003)。一方、コピーペアの状態が同期状態以外の場合は、プロセッサ11000は、構成情報リポジトリのサーバ−ストレージマッピングテーブルから性能依存関係情報を取得する(ステップ2004)。
プロセッサ11000は、ステップ2003あるいはステップ2004において構成情報リポジトリから取得した性能依存関係情報を、出力装置14000に出力する (ステップ2005)。ここで、
さらに、コピー状態を監視し、性能依存関係を特定し、性能依存関係に基づいた提示情報を変更する。例えば、同期状態でなくなった場合は、コピー先の論理ボリュームの性能情報を含めずに。
本実施例では、論理ボリューム単位でのコピー状態の変化を、提示の切り替えタイミングとした。また、業務ごとのコピーペアのグループ単位でのコピー状態の変化や、任意のサーバにより利用される論理ボリュームのグループ単位でのコピー状態の変化、あるいは<コピー元の論理ボリュームを利用するサーバ、コピー元ストレージ、コピー先ストレージ>の一致するコピーペアのグループ単位でのコピー状態の変化を、提示の切り替えタイミングとしてもよい。
また、任意の時間間隔を提示の切り替えタイミングとしてもよい。本実施例では、コピーペア状態として同期状態かそれ以外の状態かで場合分けを行ったが、他のコピー状態に応じて、異なる性能依存関係の出力に行ってもよい。
本処理は、性能監視サーバ10000のプロセッサ11000がメモリ12000内に格納されているプログラムを実行することにより、定期的に実行してもよい。出力された性能依存関係は、SAN管理者や上位システム管理ソフトに通知され、SANでの性能劣化要因を追求できるようにするために利用される。
図13は、プロセッサ11000が、監視閾値管理プログラム12200をメモリ12000から読み出し、実行するコピーペア状態に応じた閾値設定処理の概要を表すフローチャート3000を示す。本処理は、性能監視サーバ10000のプロセッサ11000が、メモリ12000に格納されているプログラムを読み出し実行し、コピーペア状態に応じた閾値設定を行うものである。以下、特に明記のない限り、各ステップはプロセッサ11000が実施するものとする。
プロセッサ11000は、入力装置を介してSAN管理者からの入力による閾値設定要求を受け、要求を受けたリソースのコピーペア情報を構成情報リポジトリのコピーペア定義テーブルから取得する (ステップ3001)。プロセッサ11000は、取得した構成情報から、要求を受けたリソースがコピーペア関係にあるコピー元論理ボリュームに対する閾値設定要求か否かを調べる (ステップ3002)。次に、コピーペア関係にあるコピー元論理ボリュームに対する閾値設定要求であった場合、該閾値をコピー先論理ボリュームに対して設定する (ステップ3003)。最後に、該閾値の設定を要求されたリソースに対して該閾値を設定する (ステップ3004)。
本実施例では、コピーペア状態として「同期」と「中断」を例として説明しているため、「同期」用の閾値として、コピー元の論理ボリュームとコピー先の論理ボリュームで同一の閾値を設定し、「中断」用の閾値は、コピー先の論理ボリュームに設定しないこととした。なお、コピーペア状態として「作成」などの他の状態を考慮する場合、それぞれのコピー状態に応じた閾値を設定し、監視をおこなってもよい。また、本実施例では、ステップ3002の結果によらず、ステップ3004で設定を要求された閾値をそのまま設定を要求されたリソースに設定しているが、例えば、コピーペア関係が定義されたコピー元論理ボリュームの閾値とコピー先論理ボリュームの閾値は、設定を要求された閾値からコピーによる性能の劣化分を考慮した変更を加えて設定するなどしてもよい。
図14は、プロセッサ11000が、メモリ12000に格納される監視閾値管理プログラム12200を実行し、性能監視対象と性能監視の閾値に変更を加えたアラート通知処理の概要を表すフローチャート4000を示す。以下、特に明記のない限り、各ステップはプロセッサ11000が実施するものとする。
プロセッサ11000は、構成情報テーブルから構成情報を取得する (ステップ4001)。次に、プロセッサ11000は、性能情報リポジトリから性能情報を取得する (ステップ4002)。プロセッサ11000は、取得した構成情報中にコピーペア定義が含まれているか否かを判定する (ステップ4003)。さらに、プロセッサ11000は、コピーペア定義が含まれている場合は、コピーペア状態テーブルから、コピーペア状態を取得する (ステップ4004)。そして、プロセッサ11000は、コピーペア定義の有無、及び取得したコピーペア状態に応じて、状態別閾値管理テーブル12600に設定されたそれぞれ別の該リソースの閾値を取得する (ステップ4005)。最後に、プロセッサ11000は、閾値を超えているか否かを判定し (ステップ4006)、管理者に通知するか否かを決定する (ステップ4007)。例えばプロセッサ11000は、管理者の端末に通知し、または、管理者が操作する表示画面にアラートを表示する。
本処理は、性能監視サーバ10000のプロセッサ11000がメモリ12000内に格納されているプログラムを実行することにより実行されるもので、性能劣化時に、SAN環境におけるコピーペア状態も含めた最新の性能依存関係に基づいて、性能監視対象と性能監視の閾値を変えてアラート通知を行うものである。性能監視サーバーは、SAN管理者の端末や上位システム管理ソフトにアラートを通知し、SANでの性能劣化を追求できるようにするために利用される。
図15は、ステップ2005によりプロセッサが出力する装置性能情報画面5000を示す。図15の画面5000には、リソース選択領域5001、SAN性能依存関係表示領域5002及びリソース性能情報表示領域5003が表示されている。リソース選択領域5001にはストレージ装置とストレージ装置の備えるリソースをツリー構造で示している。具体的には、親ノードとしてストレージ装置であるストレージA及びBを、子ノードとして、各ストレージ装置のリソースであるRAIDグループ、ポート、論理ボリューム、キャッシュを各ストレージ装置ごとにツリー構造で示している。ストレージAが有するリソースとストレージBが有するリソースがそれぞれツリー構造で示されている。また、図15のリソース選択領域5001は、ツリー構造で示されている子ノードの一つである論理ボリュームlv1を入力装置15000が指定することにより、選択されていることを示している。
SAN性能依存関係表示領域5002は、性能依存関係特定プログラム12100をプロセッサ11000が実行し、生成した性能依存関係情報で特定される性能依存関係に基づいて、リソース選択領域5001で選択したリソースに関連する情報を表示する領域である。
具体的には、SAN性能依存関係表示領域5002に、論理ボリュームlv1をマウントするサーバA、論理ボリュームlv1の物理記憶領域であるRAIDグループRG1を実線で結ばれている。さらに、論理ボリュームlv1は、ステップ2009により論理ボリュームlv3とコピーペアの関係で、かつステップ2002及びステップ2003によりコピーペアの状態が同期状態であることから論理ボリュームlv1と論理ボリュームlv3とが実線で結ばれて、性能依存関係があることを示している。
リソース性能情報表示領域5003は、リソース選択領域5001で選択したリソースの性能情報を表示する領域である。図15のリソース性能情報表示領域5003には、ステップ2003で取得した性能情報のうち、選択したリソースをキーとして抽出される性能情報リポジトリ内のSANの性能情報を示すテーブル12501から性能情報が、表示される。リソース性能情報表示領域5003内のRAIDグループ性能ボタン5013、関連サーバ性能ボタン5023、コピー先論理ボリューム性能ボタン5033は、ステップ2002ないし2004で判定、特定される性能情報の出力の指示をするためのアイコンである。入力装置15000は、アイコンを選択すると、プロセッサ11000は、リソース選択領域5001で選択したリソースと性能依存関係のあるリソースの性能情報を出力装置14000に表示する。
論理ボリュームlv1とコピーペア関係にあり同期状態である論理ボリュームlv3、論理ボリュームlv3の物理記憶領域であるRAIDグループRG2を表示する。
図16は、ステップ2005によりプロセッサが出力する装置性能情報画面6000を示す。図16の装置性能情報画面6000は、図15と同様の表示領域の構成で、リソース選択領域6001、SAN性能依存関係表示領域6002及びリソース性能情報表示領域6003を有する画面である。図16のリソース選択領域6001では、ツリーの子ノードの一つである論理ボリュームlv2を選択していることを示している。
SAN性能依存関係表示領域6002では、リソース選択領域6001により選択されている論理ボリュームlv2と依存関係にあるリソースが表示されている。論理ボリュームlv2とサーバA及びRAIDグループ(RG1)とは依存関係があるため、論理ボリュームlv2をマウントするサーバA、論理ボリュームlv2の物理記憶領域であるRAIDグループRG1を表示し、実線で結ばれている。論理ボリュームlv2とサーバA及びRAIDグループ(RG1)に依存関係があるのは、サーバAから論理ボリュームlv2へのアクセスに対し、アクセスに応じて論理ボリュームlv2に対応するRAIDグループ(RG1)にアクセスするからである。一方、論理ボリュームlv4及びRAIDグループ(RG3)は、グレイアウトして表示され、論理ボリュームlv2と論理ボリュームとlv4は点線で結ばれ、論理ボリューム4とRAIDグループ(RG3)も点線で結ばれて、表示されている。これは、ステップ2001で取得したコピーペアテーブルにより選択対象である論理ボリュームlv2は、論理ボリュームlv4とコピーペア関係であるため、線で結ばれ、ストレージ装置をまたがる構成になっているリソース間で対応関係があることを示している、一方、コピーペア状態が中断状態であるため、点線で結び、論理ボリュームlv4及び論理ボリュームlv4の物理記憶領域であるRAIDグループをグレイアウトして表示し、性能依存関係にないことを示している。なお、性能依存関係にないことを示すために、例えば、性能依存関係にないリソースは、表示しない方法やペア状態が同期状態の場合にように性能の依存関係が存在するリソースと、ペア状態が中断状態の場合のように依存関係が存在しないリソースを色別で示す方法でもよい。
リソース性能情報表示領域6003には、選択対象である論理ボリュームlv2の性能情報と、性能依存関係にあるリソースである関連サーバー性能を出力するためのアイコン6023と性能依存関係にあるリソースであるRAIDグループの性能を出力するためのアイコン6013がプロセッサ11000により出力装置14000に表示される。性能依存関係にない、図15のようなコピーペア関係にある論理ボリュームの性能を出力するためのアイコンは表示されない。
実施例1の変形例として、非同期型コピーペア定義の場合に、コピーペア状態に応じて性能の依存関係を特定する例を説明する。
非同期型コピーペアとは、コピーペア定義設定されている複製元論理ボリュームへのサーバからのI/Oを、コピーペア定義設定されている複製元論理ボリュームを備えるストレージ装置内で、更新があった箇所とともに記憶しておき、後からまとめて更新データと変更箇所を複製先論理ボリュームに送るという関係にあるコピーペアである。第二実施形態では、同期型コピーと非同期型コピーを区別して扱いたい場合について記載する。
図17に変形例における計算機システムの構成例を示す。以降の説明の都合上、本実施形態のSANにおいては、1台のサーバ(サーバA) 40000と、コピー機能を保持する2台のストレージ装置 (ストレージ装置A、ストレージ装置B) 50000がファイバチャネル30000を介して相互に接続されているものとする。サーバAに対してストレージ装置Aの論理ボリュームlv1、lv2を提供する。また、コピー機能によりストレージ装置Aの論理ボリュームlv1とストレージ装置Bの論理ボリュームlv3の間で同期型コピーペア定義60010が、ストレージ装置Aの論理ボリュームlv2とストレージ装置Bの論理ボリュームlv4の間で非同期型コピーペア定義60020が行われているものとする。本実施形態では、コピー元のボリュームとコピー先のボリュームが別のストレージ装置内にあるとしたが、コピー元のボリュームとコピー先のボリュームが同一ストレージ装置内に存在しても良い。本実施例ではlv1とlv3、lv2とlv4ともに同期状態にあるものとする。
サーバAからの論理ボリュームlv1へのライトI/Oは、ファイバチャネル30000を介して論理ボリュームlv1に送られ、論理ボリュームlv1でライトI/Oの完了を待って、サーバAにおいてライトI/O完了となる。また、サーバAからの論理ボリュームlv2へのライトI/Oは、ファイバチャネル30000を介して論理ボリュームlv2に送られ、論理ボリュームlv2でライトI/Oの完了を待って、サーバAにおいてライトI/O完了となる。
非同期対応性能依存関係特定プログラム121000は、後述する処理により性能依存関係特定処理及び性能依存関係提示処理などを行う。その他の構成は、図1と同様である。
図18に性能監視サーバ10000の構成例を示す。性能監視サーバ10000のメモリ12000には性能監視サーバによって実行されるプログラムである、非同期対応性能依存関係プログラム131000、コピーペア種別/状態テーブル133000、コンシステンシグループ管理テーブル128000などが含まれる。その他の構成要素は図2と同様のため、省略する。
サーバ40000の構成例は図3と同様のため、省略する。
図19にストレージ装置50000の構成例を示す。ストレージ装置50000のメモリ52000にはサイドファイル52000などが含まれる。本実施形態では、サイドファイルをメモリ内に独立の構成として記載したが、ディスクキャシュの一部として構成されていても、またメモリ52000とは別に構成されていてもよい。
図20は、性能監視サーバ10000が保持するコピーペア種別/状態テーブル133000の一例である。本テーブルは各コピーペア定義の複製元論理ボリュームと複製先論理ボリュームのペア状態を格納したテーブルである。
図9との違いは、以下のとおりである。コピー種別欄123007には同期コピーか非同期コピーのコピー種別が登録され、サイドファイル欄123008には、非同期リモートコピー時にサーバからの書き込みデータの順序性を保証するために使用される内部テーブルである、サイドファイル書き出しが行われているか否かを登録する。なお、サイドファイル欄で”−”と登録されているエントリは、サイドファイルを使用していないことを示す。コンシステンシグループ名欄123009には、非同期コピーにおいて、属する論理ボリューム間での書き込みの順序性が保証されたグループである、コンシステンシグループを登録する。なお、コンシステンシグループ名欄で”−”と登録されているエントリは、コンシステンシグループには属していないことを示す。以上が、図9のコピーペア状態テーブルとの違いである。
図21に、性能監視サーバ10000が保持するコンシステンシグループ管理テーブル128000の一例を示す。本テーブルはコンシステンシグループと論理ボリュームの対応関係を格納したテーブルである。非同期対応性能依存関係プログラム131000によりレコードが追加されるテーブルである。コンシステンシグループ管理テーブルのコンシステンシグループ名欄128001には、コンシステンシグループを一意に識別する値が登録される。ストレージ名欄128002には、ストレージ装置を一意に識別するための値が登録される。論理ボリューム番号欄128003には論理ボリュームを一意に識別するための値が登録される。
図22に非同期対応性能依存関係特定プログラム12100によって実行される関連テーブル作成処理の概要を表すフローチャート10000を示す。ステップ1000からステップ1007までは第一実施形態と同様のため省略する。最後に、ステップ1006で取得した各情報を利用してコンシステンシグループ管理テーブルを作成する (ステップ1008)。
図23に非同期対応性能依存関係特定プログラム121000によって実行される性能依存関係特定処理、性能依存関係提示処理の概要を表すフローチャート20000を示す。
本処理は、性能監視サーバ10000のプロセッサ11000がメモリ12000内に格納されているプログラムを実行することにより、定期的に実行されるものである。特定された性能依存関係は、SAN管理者や上位システム管理ソフトに提示され、SANでの性能劣化要因を追求できるようにするために利用される。以下、特に明記のない限り、各ステップはプロセッサ11000が実施するものとする。
ステップ20001及びステップ20002は、図13と同様である。
プロセッサ11000は、次に、プロセッサ11000は、コピーペア種別/状態テーブルのコピー種別欄の値を参照し、コピーペア種別を特定する (ステップ20003)。コピーペア種別が同期コピーである場合、図13のステップ2002に進み、図13のステップ2002以降の処理に進む。一方、コピーペア種別が非同期コピーであった場合、ステップ20005へ進み、プロセッサ11000は、コピーペア種別/状態テーブルのサイドファイル欄の値を参照し、サイドファイルに保持されているデータが書き出し中かどうかを特定する(ステップ20005)。サイドファイルが書き出し中であれば、ステップ2003に進む。
本変形例では、出力の切替タイミングを論理ボリューム単位でのコピー状態の変化としたが、コンシステンシグループ管理テーブル128000を参照し、同じコンシステンシグループに属する論理ボリューム単位で、例えば同じコンシステンシグループに属する論理ボリュームが異なるコピーペア状態を示している場合、その中で最も多くの論理ボリュームが示すコピーペア状態をコンシステンシグループに属する全ての論理ボリュームに対して提示するコピーペア状態とするなどしても良い。本変形例では、コピーペア状態として同期状態かそれ以外の状態かで場合分けを行ったが、他のコピー状態に応じて、異なる性能依存関係を表示画面に出力してもよい。
その他、監視閾値管理プログラム12200によって実行されるコピーペア状態に応じた閾値設定処理において、プロセッサ11000は、コンシステンシグループ管理テーブル128000を参照し、同一コンシステンシグループに含まれる論理ボリューム、及び当該論理ボリュームのコピー先の全ての論理ボリュームに対して、図13に示したフローチャート3000に従い、閾値設定を行っても良い。
リソース性能情報表示領域 5003において、同期のコピーペア種別の場合と非同期のコピーペア種別の場合の区別がつくように、表示の仕方を変更するなどしても良い。また、非同期のコピーペア種別が設定されている複製元論理ボリュームの性能情報を表示する場合に、サイドファイルの使用状況を表示してもよい。サイドファイルは、コンシステンシグループ内で更新順序を正しく保つためのテーブルであり、サイドファイルの増加と、コピー先論理ボリュームの性能情報を参照することで、コピー元論理ボリュームを備えるストレージの影響、あるいはコピー元論理ボリュームを備えるストレージと、コピー先論理ボリュームを備えるストレージ間のネットワークによる影響で性能劣化をしているのか、コピー先論理ボリュームを備えるストレージの影響で性能劣化しているのかを判断するための指標となる。
以上が、実施例1の第一の変形例である。
次に、実施例1の第二の変形例を説明する。図24は、実施例1の第二の変形例における計算機システムの構成例を示す。以降の説明の都合上、本変形例の計算機システムにおいては、1台のサーバ (サーバA)40000と、コピー機能を保持する1台のストレージ装置 (ストレージ装置A) 50000がファイバチャネル30000を介して相互に接続されているものとする。本変形例では、サーバAに対してストレージ装置Aの論理ボリュームlv1、lv2を提供する。また、コピー機能によりストレージ装置Aの論理ボリュームlv1と論理ボリュームlv3の間、論理ボリュームlv2と論理ボリュームlv4の間で非同期型コピーペア定義が行なわれている。さらに、コピー機能により論理ボリュームlv3と論理ボリュームlv5の間、及び論理ボリュームlv4と論理ボリュームlv6の間で非同期型コピーペア定義60010が行われているものとする。本変形例のように、コピー元のボリュームとコピー先のボリュームが同じストレージ装置内に存在しても、コピー元のボリュームとコピー先のボリュームが別のストレージ装置内に存在してもよい。本変形例ではlv1とlv3、lv2とlv4、及びlv3とlv5は同期状態、lv4とlv6は中断状態にあるものとする。
本変形例では簡単化のために、コピーの種別が同期、非同期のいずれの場合にも、コピーペア定義が同期状態である論理ボリューム間には性能依存関係があり、コピーペア定義が中断状態である論理ボリューム間には性能依存関係がないことを例として説明したが、この限定は本発明の適用を限定するものではない。そのほかにも、ある特定のリソースにおける性能に影響を与える別リソースが存在する時の、それらのリソース同士が依存関係がある例として、あるサーバの所定のボリュームに対するI/O応答時間に関係する複製先の論理ボリュームや、論理ボリュームを構成する物理記憶デバイス(例えばRGやRGを構成するディスク装置)におけるアクセス応答時間に関係するリソース同士である。
性能監視サーバ12000は、図1と同様に、サーバA、ストレージ装置A、ストレージ装置Bに接続されており、各装置の情報収集プログラムと通信する。多段性能依存関係特定プログラム121001は、後述する処理により性能依存関係特定処理及び性能依存関係提示処理を行う。多段監視閾値管理プログラム122001は、後述する処理によりコピー状態に応じた性能監視の閾値設定処理及び性能監視対象と性能監視の閾値に変更を加えたアラート通知処理を行う。
図25は、性能監視サーバ10000の構成例を示す。性能監視サーバ10001のメモリ12000には性能監視サーバによって実行されるプログラムである多段監視閾値管理プログラム122001や、コピーペア状態が同期状態のときに、性能依存関係があると判断する限界のコピーペア定義の深さを示す設定ファイルであるコピーペア探索設定ファイルなどが含まれる。当該コピーペア探索設定ファイルには、図28及び図29に示す装置情報提示画面5000上から、管理者によって入力装置からの入力により動的に設定可能とする。その他の構成要素は図2や図18と同様のため、省略する。本変形例において、コピーペア探索設定ファイルの値は1と設定されていることとする。
サーバ40000、及びストレージ装置50000の構成例は図3と同様のため、省略する。
図26に、第二の変形例での、プロセッサ11000が、多段性能依存関係特定プログラム121001を実行し性能依存関係特定処理、性能依存関係提示処理を示すフローチャート6000を示す。コピーペア種別/状態テーブル133000コピーペア種別/状態テーブル133000 プロセッサ11000は、ステップ2009、ステップ2001、ステップ2002を実行し、ステップ2002でYESの場合は、ステップ2003を実行する。次に、プロセッサ11000は、ステップ2003で取得した性能依存関係情報のうち、コピー先の論理ボリュームの構成情報の、コピー相手ストレージ名、及びボリューム番号をキーとして、コピーペア種別/状態テーブルのエントリを取得する (ステップ6005)。そして、プロセッサ11000は、設定値を参照し、コピー定義探索の深さが設定値以上か否かを判断する。(ステップ6006)。設定値未満の場合は、ステップ2002から繰り返す。
一方、 設定値以上の場合は、プロセッサ11000は、コピーペア関係の探索を終了して、ステップ2005を実行する。ステップ2001ないしステップ2005及びステップ2009は、図12の処理と同様である。以上の処理を、プロセッサ11000は、ステップ2009で取得した各エントリについて繰り返す。繰り返しが完了すると、再びステップ2001に戻り、プロセッサ11000は、コピーペア種別/状態テーブルのエントリを取得し、同様の処理を繰り返す。ステップ2002でNoの場合は、プロセッサ11000は、ステップ2004を実行する。
なお、設定値は、図26のフローの前に入力装置を介して入力され、その後、リソースの選択の後、依存関係を表示される。なお、探索値である設定値の入力は、リソースを選択させ依存関係を表示させた後に行って、依存関係の表示を更新させてもよい。
コピーペア種別/状態テーブル133000 図27に、第二の変形例において、多段監視閾値管理プログラム122001によって実行される性能監視の閾値設定処理を示すフローチャート7000を示す。
プロセッサ11000は、ステップ3001、3002を実行し、ステップ3001で取得したコピーペア定義テーブルの各エントリについて、要求を受けたリソースがコピーペア関係にあるコピー元論理ボリュームに対する閾値設定要求か否かを調べる (ステップ3002)。
プロセッサ11000は、コピーペア関係にあるコピー元論理ボリュームに対する閾値設定要求であった場合、ステップ2003を実行する。そして、プロセッサ11000は、取得したコピー先論理ボリューム番号、及び当該論理ボリュームを保持するストレージ名をキーとして、コピーペア定義テーブルのエントリを取得する (ステップ7004)。プロセッサ11000は、コピー定義探索の深さが設定値以上か否かを判断し、設定値以上の場合は、ステップ3004に進む(ステップ7005)。 一方、設定値未満の場合、プロセッサ11000は、ステップ7002から繰り返す。また、ステップ3002がコピーペア関係にあるコピー元論理ボリュームに対する閾値設定要求ではなかった場合も、最初に設定を要求されたリソースに閾値を設定する。以上の処理を各エントリについて実施し終了する。
図28は、性能依存関係管理プログラムの性能依存関係特定処理、性能依存関係提示処理フロー6000のステップ2005で、プロセッサ11000が出力する、装置性能情報画面5000の一例を示した図である。本変形例においても、3つの表示領域を備え、図15とは、SAN性能依存関係表示領域5002に、さらに、コピーペア探索設定の入力領域5012を設けている。
図28においては、論理ボリュームlv1の物理記憶領域であるRAIDグループRG1、論理ボリュームlv1の複製先でありコピーペア状態が同期状態である論理ボリュームlv3と、論理ボリュームlv3の物理記憶領域であるRAIDグループRG3を表示する。ここで、論理ボリュームlv3の複製先でありコピーペア状態が同期状態である論理ボリュームlv5については、5012に示したコピーペア探索設定ファイルに設定されたコピーペア探索値により、依存関係が存在しないと判断し、SAN管理者に提示を行わない。その他、lv5、及びRG5に関しては、グレイアウトして表示するなど、他の同期状態の場合と区別できる他の提示方法でもよい。
図28において、SAN管理者がコピーペア探索値として”2” と入力することで、図29に示したように論理ボリュームlv3の複製先でありコピーペア状態が同期状態である論理ボリュームlv5についても表示されるようになる。本実施形態では、コピーペア探索値をSAN管理者が入力することとしたが、例えば、静的に保存しておくなど他の方法により設定されても良い。
図30においては、論理ボリュームlv3の物理記憶領域であるRAIDグループRG2、論理ボリュームlv3の複製元でありコピーペア状態が同期状態である論理ボリュームlv1と、論理ボリュームlv1の物理記憶領域であるRAIDグループRG1と、論理ボリュームlv3のコピー先でありコピーペア状態が同期状態である論理ボリュームlv5と論理ボリュームlv5の物理記憶領域であるRAIDグループRG3を表示する。
提示の更新は、多段性能依存関係特定プログラムの性能依存関係提示処理フロー6000に従い実施される。図30において、リソース性能情報表示領域 5003にはリソース選択領域5001で選択したリソースの性能情報を表示する。本実施例における、リソース性能情報表示領域5003内のRAIDグループ性能ボタン5013、関連サーバ性能ボタン5023、コピー先論理ボリューム性能ボタン5033、コピー元 論理ボリューム性能5043は、リソース選択領域5001で選択したリソースと性能依存関係のあるリソースの性能情報を表示するために利用する。
図28、図29、図30に示した画面表示は一例であり、別な画面表示を行ってもよい。
以上の実施例1とその第1及び第2の変形例では、SANに接続されたストレージ装置のコピー元である複製元ボリュームと、コピー先である複製先ボリュームの性能情報を、コピーペア状態に応じて性能の依存関係を特定することで、SANにおける性能劣化点、及び性能劣化要因の追求を可能とした。
次に、図31に実施例1の第三の変形例の計算機システム構成例を示す。情報収集プログラムを有する1台以上のサーバ、情報収集プログラムを有しコピー機能を保持する2台以上の仮想化ストレージ装置、1台以上のストレージ装置、そして交替パス対応性能依存関係特定プログラム及び監視閾値管理プログラムを有する1台以上の管理サーバを有する。
ここで、仮想ストレージ装置とは、仮想化機能を有し、サーバからアクセスの対象となる仮想ボリュームを定義し、その実体となる論理ボリュームを仮想ストレージ内及びストレージ装置内で提供することが可能なストレージ装置を示す。以降説明の都合上、本変形例においては、1台のサーバ (サーバA) 40000と、コピー機能を保持する2台の仮想化ストレージ装置 (仮想化ストレージA、仮想化ストレージ装置B) 80000、及び2台のストレージ装置 (ストレージ装置A、ストレージ装置B) 50000がファイバチャネル30000を介して相互に接続されているものとする。
本変形例では、サーバAに対して仮想化ストレージ装置Aの仮想ボリュームvv1、及び仮想化ストレージ装置Bの仮想ボリュームvv2を提供する。そして、サーバAからの仮想ボリュームvv1へのI/Oは、ファイバチャネル30000を介して仮想ボリュームvv1に送られ、仮想ボリュームvv1が仮想化ストレージ装置内部の物理ディスクに対応している場合は、当該物理ディスクにI/Oが送られる。また、仮想ボリュームvv1がストレージ装置外部の物理ディスクに対応している場合は、ファイバチャネル30000を介して当該ストレージ装置Aの論理ボリュームlv1、及び物理ディスク59300にI/Oが送られる。
ここで、コピー機能により仮想化ストレージ装置Aの仮想ボリュームvv1と仮想化ストレージ装置Bの仮想ボリュームvv2の間で、コピーペア定義60010が設定されている。本変形例ではコピーペアの種別は同期コピー、コピーペアの状態は同期状態とするが、同期コピー、非同期コピーのいずれのコピー種別でもよい。本実施例では、コピーの種別が同期、非同期のいずれの場合にも、コピーペア定義が同期状態である論理ボリューム間には性能依存関係があり、コピーペア定義が中断状態である論理ボリューム間には性能依存関係がないものとするが、この限定は本発明の適用を限定するものではない。
なお、サーバA、仮想化ストレージ装置A、仮想化ストレージ装置B、ストレージ装置A、ストレージ装置Bの接続形態については、図31に示すようにファイバチャネル30000を利用して直接接続されるのではなく、1台以上のファイバチャネルスイッチなどネットワーク機器を介して接続されてもよい。また、本変形例ではサーバAと仮想化ストレージ装置A、仮想化ストレージ装置B、ストレージ装置A、ストレージ装置Bの接続に、ファイバチャネル30000を利用したが、データ通信用のネットワークであれば、別のネットワークでも良く、例えばIPネットワークでも良い。
仮想化ストレージ装置80000は、図4に示した、ストレージ装置50000の構成例と同様の構成を持つ。なお、仮想化ストレージ装置が、スイッチなどの仮想化装置であり、ストレージ装置として利用されることのない場合、仮想化装置80000は、ストレージ装置50000と同様の構成を持たなくてもよい。つまり、仮想化装置は、データを格納するボリュームを構成するディスク装置を備えていない構成となる。
図32に性能監視サーバ10000の構成例を示す。メモリ12000には、性能監視サーバによって実行されるプログラムである交替パス対応性能依存関係プログラム121002、監視閾値管理プログラム12200などが含まれる。その他の構成要素は図2と同様のため、省略する。
図33 にサーバ40000の構成例を示す。メモリ42000には、性能監視サーバと通信して当該サーバの管理情報及び性能情報を送受信するためのプログラムである情報収集プログラム42100と、ストレージ装置50000から公開されているボリュームを当該サーバ内にマウントするプログラムであるボリューム管理プログラム42200と、パス管理プログラム42300と、交替パスのうちのいずれのパスがアクティブな状態かが保持されている交替パス状況テーブルとが格納されている。ボリューム管理プログラム42200は仮想化ストレージ装置Aから、提供されている論理ボリュームをサーバAの記憶装置48000内のボリューム48100にマウントし、サーバA上の業務プログラムからストレージ装置Aから、SANに提供されている論理ボリュームを利用可能としている。なお、本実施形態ではサーバはサーバAの一台、サーバAの備えるデータI/F制御部は一つとしたが、サーバの台数及びデータI/F制御部の数はいくつであってもよい。
パス管理プログラムは、サーバAと仮想化ストレージ装置Aの間のネットワークが障害によって利用不可能となる、あるいは仮想化ストレージ装置Aが障害によって停止するなどした場合、その障害を検知し、サーバA上の業務プログラムに意識させずに、I/Oの送信先を仮想化ストレージAから仮想化ストレージBに切り替える処理を行う。
図34に性能監視サーバ10000が保持する構成情報リポジトリ124000内に格納される、交替パス対応サーバ−ストレージマッピングテーブル124001の一例を示す。本テーブルは各サーバ上の各ボリュームが仮想化ストレージ装置のどのデータI/Fを経由して、どの論理ボリューム、どのRAIDグループに対応しているかを格納したテーブルであり、本変形例の場合、同一サーバ名、同一ボリューム番号のエントリとして、アクティブなパス以外にアクティブではない交替パスの情報についても格納される。格納される個々の情報については第一実施形態と同様であるため、説明を省略する。本変形例では、第一実施形態と同様のテーブル構成としたが、仮想ボリュームの対応する、実際の論理ボリュームを示す情報、及び当該論理ボリュームを備えるストレージ装置を示す情報をテーブルの項目に加えても良い。
図35に性能監視サーバ10000が保持する構成情報リポジトリ124000内に格納される、交替パス対応構成情報テーブルの一例を示す。交替パス対応構成情報テーブル124021の各欄は図34及び図6の各欄をマージしたものであり、同一の値が格納される。本変形例の場合、同一サーバ名、同一ボリューム番号のエントリとして、アクティブなパス以外にアクティブではない交替パスの情報についても格納される。本変形例では、第一実施形態と同様のテーブル構成としたが、仮想ボリュームの対応する、実際の論理ボリュームを示す情報、及び当該論理ボリュームを備えるストレージ装置を示す情報をテーブルの項目に加えても良い。
図36にサーバ42000が保持する交替パス状況テーブル42300の一例を示す。本テーブルはサーバから仮想化ストレージ装置へのI/Oパスの候補が列挙されたテーブルである。
42300のサーバ欄42301にはサーバを一意に識別するための値が登録され、ボリューム番号欄42302にはサーバ内のボリュームを一意に識別するための値が登録され、ストレージ名欄42303にはボリューム番号欄の各ボリュームが利用しているストレージ装置を一意に識別するための値が登録され、データI/F番号欄42304にはボリューム番号欄の各ボリュームが利用しているデータI/Fの番号を一意に識別するための値が登録され、論理ボリューム番号欄42305にはボリューム番号欄の各ボリュームが利用している仮想ボリュームを一意に識別するための値が登録される。
図37に交替パス対応性能依存関係特定プログラム121002によって実行される、性能依存関係特定処理、性能依存関係提示処理を表すフローチャート8000を示す。プロセッサ11000は、入力装置から稼働状況提示要求を受けると、 ステップ8008では、論理ボリューム番号42305(ここでは仮想ボリュームを表す)をキーとして、交替パス状況テーブル42300 (図36)をのパス管理プログラムからネットワーク20000を介して取得する (ステップ8008)。そして、プロセッサ11000は、取得した交替パス状況のサーバのボリューム番号42302から、交替パス対応サーバ−ストレージマッピングテーブルを参照し、性能依存関係を持つ論理ボリュームに関する情報(ここでは、論理ボリューム番号124006(ここでは仮想ボリューム)を取得する (ステップ8009)。以下、ステップ8009で取得した論理ボリューム本発明の第一実施例の処理と同一のステップなので、説明を省略する。
図38、図39において、SAN性能依存関係提示画面5002にはリソース選択領域5001で選択したリソースに関連する情報を表示する。図38において、仮想ボリュームvv1をマウントするサーバA、論理ボリュームvv1の物理記憶領域であるRAIDグループRG1、論理ボリュームvv1とコピーペア関係にあり同期状態である論理ボリュームvv2、論理ボリュームvv2の物理記憶領域であるRAIDグループRG2を表示する。図39においては、論理ボリュームvv2をマウントするサーバA、論理ボリュームvv2の物理記憶領域であるRAIDグループRG2を表示する。 ここで、図38で表示された性能依存関係、及び図39で表示された性能依存関係は交替パスの関係にある。
図39において、論理ボリュームvv2とコピーペア関係にあり中断状態である論理ボリュームvv1、及び論理ボリュームvv1の物理記憶領域であるRAIDグループRG1に関しては、グレイアウトして表示する。本変形例では、コピーペア関係にあり、中断状態である論理ボリューム及び該論理ボリュームの物理記憶領域であるRAIDグループをグレイアウトして表示することとしたが、例えば、表示を行わないなど、同期状態の場合と区別でき性能の依存関係が存在しないことを示せる、他の提示方法でもよい。
表示の更新は、交替パス対応性能依存関係特定プログラムの性能依存関係提示処理フロー8000に従い実施される。図38、図39において、リソース性能情報表示領域5003にはリソース選択領域5001で選択したリソースの性能情報を表示する。本実施例では、選択したリソースをキーとして性能情報リポジトリ内のSANの性能情報を示すテーブル12501から性能情報を取得し表示する。本実施例における、リソース性能情報表示領域5003内のRAIDグループ性能ボタン5013、関連サーバ性能ボタン5023、コピー先論理ボリューム性能ボタン5033は、リソース選択領域5001で選択したリソースと性能依存関係のあるリソースの性能情報を表示するために利用する。
図39では、論理ボリュームvv2と論理ボリュームvv1の間にコピーペア定義は存在するものの、コピーペア状態が中断状態であり、性能依存関係を持たないため、コピー先論理ボリューム性能ボタン5033は表示しない。本変形例では、リソース性能情報表示領域5003に提示されたリソースと、コピーペア関係にあり中断状態であるリソースの場合には、コピー先のリソースの性能を表示しないこととしたが、性能の依存関係が存在しないことを示せるような提示を実施してもよい。図38、図39に示した画面表示は一例であり、別な画面表示を行ってもよい。
本変形例では、情報収集プログラムは、サーバ及びストレージ装置内に保持されているものとしたが、別途、情報収集プログラム用サーバ内で動作させても良い。
本願で開示される発明によって、サーバから仮想化ストレージ装置及びストレージ装置へのI/Oパスの交替状況とコピーペア状態に応じて、動的に性能依存関係を特定することが可能となる。 以上の実施例及び変形例により、サーバからストレージ装置までのデータI/Oパスに加え、サーバにI/Oレスポンスが返されるまでに関連するリソースの性能劣化を把握でき、管理者の管理負担を軽減することができる。
実施例1の計算機システムの構成例を示す図である。 実施例1の性能監視サーバの構成例を示す図である。 実施例1のサーバの構成例を示す図である。 実施例1のストレージ装置の構成例を示す図である。 実施例1における性能監視サーバが保持する構成情報リポジトリ内に格納される、計算機システムの構成情報を示すテーブルの例を示す図である。 実施例1の性能監視サーバが保持する構成情報リポジトリ内に格納される、コピーペアの定義を示すテーブルの例を示す図である。 実施例1における性能監視サーバが保持する構成情報リポジトリ内に格納される、コピーペア定義も含むSANの構成情報を示すテーブルの例を示す図である。 実施例1の性能監視サーバが保持する性能情報リポジトリ内に格納される、計算機システムの性能情報を示すテーブルの例を示す図である。 実施例1の性能監視サーバが保持するコピーペア状態テーブルの例を示す図である。 実施例1の性能監視サーバが保持する状態別閾値管理テーブルの例を示す図である。 実施例1の性能依存関係特定プログラムの関連テーブル作成処理の一例を示すフローチャートである。 実施例1の性能依存関係特定プログラムの性能依存関係特定処理、性能依存関係提示処理の一例を示すフローチャートである。 実施例1の監視閾値管理プログラムのコピー状態に応じた性能監視の閾値設定処理の一例を示すフローチャートである。 実施例1の監視閾値管理プログラムの性能監視対象と性能監視の閾値に変更を加えたアラート通知処理の一例を示すフローチャートである。 実施例1において、管理者に提示される装置性能情報画面の一例を示す図である。 実施例1における性能情報画面の一例を示す図である。 第一の変形例における計算機システムの構成例を示す図である。 第一の変形例における性能監視サーバの構成例を示す図である。 第一の変形例におけるストレージ装置の構成例を示す図である。 第一の変形例における性能監視サーバが保持するコピーペア種別/状態テーブルの例を示す図である。 第一の変形例における性能監視サーバが保持するコンシステンシグループ管理テーブルの例を示す図である。 第一の変形例における性能依存関係特定プログラムの関連テーブル作成処理の一例を示すフローチャートである。 第一の変形例における非同期性能依存関係特定プログラムの性能依存関係特定処理、性能依存関係提示処理の一例を示すフローチャートである。 第二の変形例における計算機システムの構成を示す図である。 第二の変形例における性能監視サーバの構成例を示す図である。 第二の変形例における多段性能依存関係特定プログラムの性能依存関係特定処理、性能依存関係提示処理の一例を示すフローチャートである。 第二の変形例における多段監視閾値管理プログラムのコピー状態に応じた性能監視の閾値設定処理の一例を示すフローチャートである。 第二の変形例における性能情報画面の一例を示す図である。 第二の変形例における性能情報画面の一例を示す図である。 第二の変形例における性能情報画面の一例を示す図である。 第三の変形例における計算機システムの構成例を示す図である。 第三の変形例における性能監視サーバの構成例を示す図である。 第三の変形例におけるサーバの構成例を示す図である。 第三の変形例における性能監視サーバが保持する構成情報リポジトリ内に格納される、SANの構成情報を示すテーブルの例を示す図である。 第三の変形例における性能監視サーバが保持する構成情報リポジトリ内に格納される、コピーペア定義も含むSANの構成情報を示すテーブルの例を示す図である。 サーバが保持する交替パス状況テーブルの例を示す図である。 第三の変形例における交替パス対応性能依存関係特定プログラムの性能依存関係特定処理、性能依存関係提示処理の一例を示すフローチャートである。 第三の変形例における性能情報画面の一例を示す図である。 第三の変形例における性能情報画面の一例を示す図である。
符号の説明
10000:性能監視サーバ
12100:性能依存関係特定プログラム
12200:監視閾値管理プログラム
20000:管理用ネットワーク
30000:ファイバチャネル
40000:サーバ
42100:情報収集プログラム
50000:ストレージ装置
52100:情報収集プログラム
59100:論理ボリューム
60010:同期コピーペア

Claims (16)

  1. 計算機システムであって、
    計算機と、
    前記計算機から送信されるデータが格納される第1の記憶領域と前記第一の記憶領域と対応付けられる前記第一の記憶領域に格納されるデータの複製データが格納される第二の記憶領域との少なくともいずれか一方を備えるストレージ装置と、
    を備え、
    対応付けられる第一の記憶領域と前記第二の記憶領域とのデータの複製処理状況を参照する複製処理状況参照手段と、
    前記第一の記憶領域に格納されるデータ入出力に関する第一の性能情報を出力し、前記複製処理状況の参照結果、前記複製データを前記第一の記憶領域から前記第二の記憶領域に複製処理中の場合、前記第一の性能情報とともに前記第二の記憶領域に格納されるデータ入出力に関する第二の性能情報を出力する出力手段と、を有することを特徴とする計算機システム。
  2. 請求項1記載の計算機システムであって、
    第一のストレージ装置は、前記第一の記憶領域を備え、前記第一の記憶領域に格納されるデータの複製データを転送し、
    前記第一のストレージ装置と通信回線を介して接続される第二のストレージ装置は、前記第二の記憶領域を備え、前記第一のストレージ装置から前記第二の記憶領域に格納されるべき複製データを受領し、
    前記複製処理状況参照手段は、前記複製データが前記第一のストレージ装置から前記第二のストレージ装置へ転送されているか否かを示す複製処理状況を参照し、
    前記出力手段は、前記複製データが転送中の場合、前記第一の性能情報とともに前記第二の記憶領域に格納されるデータ入出力に関する第二の性能情報を出力することを特徴とする計算機システム。
  3. 請求項2記載の計算機システムであって、
    さらに、
    対応付けられる第一の記憶領域と第二の記憶領域とを特定する対応関係特定手段と、
    前記出力手段は、前記特定された第一の記憶領域と第二の記憶領域とを示す複数のシンボルを出力することを、特徴とする計算機システム。
  4. 請求項3記載の計算機システムであって、
    複製処理状況参照手段により参照された前記特定された前記第一の記憶領域と前記第二の記憶領域とのデータの複製処理状況に基づいて前記第一の記憶領域のシンボルと前記第二の記憶領域のシンボルとを関連付けて出力するか否かを判断する関連付け表示制御手段と、
    前記出力手段は、前記関連付け表示制御手段による判断結果、前記複製データを前記第一のストレージ装置から前記第二のストレージ装置に複製処理中の場合、前記第一の記憶領域のシンボルと前記第二の記憶領域のシンボルとを関連付けて出力する、ことを特徴とする計算機システム。
  5. 請求項1記載の計算機システムであって、対応付けられる第一の記憶領域と第二の記憶領域は、少なくとも一方が複数であることを特徴とする計算機システム。
  6. 請求項2記載の計算機システムであって、
    前記第一のストレージ装置は、前記第一の記憶領域を構成する物理記憶デバイスと、
    前記第一の記憶領域に格納されるデータに対する入出力要求を受け付ける第一のネットワークインターフェースと、を有し、
    前記第二のストレージ装置は、前記複製データを前記第一のストレージ装置から受ける第二のネットワークインターフェースと前記第二の記憶領域を構成する物理記憶デバイスとを有し、
    前記第一の性能情報は、前記第一の記憶領域を構成する物理記憶デバイスに関する情報と前記第一のネットワークインターフェースに関する情報とを少なくともいずれか一方を含み、
    前記第二の性能情報は、前記第二の記憶領域を構成する物理記憶デバイスに関する情報と前記第二のネットワークインターフェースに関する情報とを少なくともいずれか一方を含むことを特徴とする計算機システム。
  7. 請求項2記載の計算機システムであって、
    前記第一のストレージ装置は、前記第一の記憶領域に対応付けられる第二の記憶領域に格納されるべき複製データを書込み順序とともに保持する第一のメモリを有し、前記第二のストレージ装置に前記書込み順序とともに前記複製データを前記第一のメモリから転送し、
    前記第二のストレージ装置は、前記第一のストレージ装置から受領される前記複製データを前記書込み順序とともに保持する第二のメモリを有し、前記書込み順序に従って、前記複製データを第二の記憶領域に格納し、
    前記複製処理状況参照手段は、前記前記第一のメモリのデータ保持状況あるいは前記第二のメモリの複製データ保持状況を含む前記複製状況を参照する、ことを特徴とする計算機システム。
  8. 請求項2記載の計算機システムであって、
    さらに、前記第二の記憶領域と対応付けられ、前記第二の記憶領域に格納されるデータの複製データが格納される第三の記憶領域を有し、前記第二のストレージ装置と通信回線を介して接続される第三のストレージ装置を備え、
    前記複製処理状況参照手段は、対応付けられる第二の記憶領域と前記第三の記憶領域とのデータの複製処理状況を参照し、
    前記出力手段は、前記複製処理状況の参照結果、前記複製データを前記第一の記憶領域から前記第二の記憶領域に転送中の場合、前記第二の性能情報とともに前記第二の記憶領域に格納されるデータ入出力に関する第三の性能情報を出力する、ことを特徴とする計算機システム。
  9. 請求項1記載の計算機システムであって、
    さらに、前記第一の性能情報と前記第二の性能情報を前記ストレージ装置から収集する性能情報収集手段を有することを特徴とする計算機システム。
  10. 請求項1記載の計算機システムであって、
    前記出力手段は、前記ストレージ装置が備える記憶領域のうち前記計算機がアクセス可能な記憶領域を特定し、前記計算機及び前記記憶領域間のアクセス経路に関する性能情報を情報を出力することを特徴とする計算機システム。
  11. 請求項10記載の計算機システムであって、
    前記計算機は、複数の記憶領域と対応付けられ、前記対応付けられた記憶領域のうち、前記計算機がアクセス可能な記憶領域を特定する特定手段を有することを特徴とする計算機システム。
  12. 計算機から送信されるデータが格納される第1の記憶領域を備える第一のストレージ装置と、
    前記第一の記憶領域と対応付けられる前記第一の記憶領域に格納されるデータの複製データが格納される第二の記憶領域を備える第二のストレージ装置とを管理する管理計算機であって、
    対応付けられる第一の記憶領域と前記第二の記憶領域とのデータの複製処理状況を参照する複製処理状況参照手段と、
    前記第一の記憶領域に格納されるデータ入出力に関する第一の性能情報を出力し、前記複製処理状況の参照結果、前記複製データを前記第一のストレージ装置から前記第二のストレージ装置に転送中の場合、前記第一の性能情報とともに前記第二の記憶領域に格納されるデータ入出力に関する第二の性能情報を出力する出力手段と、を有することを特徴とする管理計算機。
  13. 請求項12記載の管理計算機であって、
    さらに、前記第一の性能情報と前記第二の性能情報を前記ストレージ装置から収集する性能情報収集手段を有することを特徴とする計算機システム。
  14. 請求項12記載の管理計算機であって、
    さらに、対応付けられる第一の記憶領域と第二の記憶領域とを特定する対応関係特定手段を有し、
    前記出力手段は、前記特定された第一の記憶領域と第二の記憶領域とを示す複数のシンボルを出力することを、特徴とする計算機システム。
  15. 請求項12記載の管理計算機であって、
    複製処理状況参照手段により参照された前記特定された前記第一の記憶領域と前記第二の記憶領域とのデータの複製処理状況に基づいて前記第一の記憶領域のシンボルと前記第二の記憶領域のシンボルとを関連付けて出力するか否かを判断する関連付け表示制御手段と、
    前記出力手段は、前記関連付け表示制御手段による判断結果、前記複製データを前記第一のストレージ装置から前記第二のストレージ装置に複製処理中の場合、前記第一の記憶領域のシンボルと前記第二の記憶領域のシンボルとを関連付けて出力する、ことを特徴とする管理計算機。
  16. 計算機と、前記計算機から送信されるデータが格納される第1の記憶領域と前記第一の記憶領域と対応付けられる前記第一の記憶領域に格納されるデータの複製データが格納される第二の記憶領域との少なくともいずれか一方を備えるストレージ装置と、を備える計算機システムに関する性能管理方法であって、
    対応付けられる第一の記憶領域と前記第二の記憶領域とのデータの複製処理状況を参照し、
    前記第一の記憶領域に格納されるデータ入出力に関する第一の性能情報を出力し、前記複製処理状況の参照結果、前記複製データを前記第一の記憶領域から前記第二の記憶領域に複製処理中の場合、前記第一の性能情報とともに前記第二の記憶領域に格納されるデータ入出力に関する第二の性能情報を出力する、ことを特徴とする性能管理方法。
JP2007148738A 2007-06-05 2007-06-05 計算機システムまたは計算機システムの性能管理方法 Expired - Fee Related JP4434235B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2007148738A JP4434235B2 (ja) 2007-06-05 2007-06-05 計算機システムまたは計算機システムの性能管理方法
US11/968,687 US7996728B2 (en) 2007-06-05 2008-01-03 Computer system or performance management method of computer system
EP08251308A EP2003541A3 (en) 2007-06-05 2008-04-03 Computers system or performance management method of computer system
US13/170,409 US8397105B2 (en) 2007-06-05 2011-06-28 Computer system or performance management method of computer system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007148738A JP4434235B2 (ja) 2007-06-05 2007-06-05 計算機システムまたは計算機システムの性能管理方法

Publications (2)

Publication Number Publication Date
JP2008304963A true JP2008304963A (ja) 2008-12-18
JP4434235B2 JP4434235B2 (ja) 2010-03-17

Family

ID=39735318

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007148738A Expired - Fee Related JP4434235B2 (ja) 2007-06-05 2007-06-05 計算機システムまたは計算機システムの性能管理方法

Country Status (3)

Country Link
US (2) US7996728B2 (ja)
EP (1) EP2003541A3 (ja)
JP (1) JP4434235B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011039841A (ja) * 2009-08-12 2011-02-24 Fujitsu Ltd データ移行方法、及びプログラム

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4434235B2 (ja) * 2007-06-05 2010-03-17 株式会社日立製作所 計算機システムまたは計算機システムの性能管理方法
JP2009223442A (ja) 2008-03-13 2009-10-01 Hitachi Ltd ストレージシステム
US8255648B2 (en) * 2008-10-30 2012-08-28 International Business Machines Corporation Maintaining storage device backup consistency
US8230187B1 (en) * 2009-07-06 2012-07-24 Symantec Corporation Techniques for integrating backup modules with virtualized storage
JP5521595B2 (ja) * 2010-02-05 2014-06-18 富士通株式会社 ストレージシステム及びストレージ制御方法
CN103080909A (zh) 2011-02-24 2013-05-01 株式会社日立制作所 计算机系统及其管理方法以及程序
US8713356B1 (en) * 2011-09-02 2014-04-29 Emc Corporation Error detection and recovery tool for logical volume management in a data storage system
JP2013149008A (ja) * 2012-01-18 2013-08-01 Sony Corp 電子機器とデータ転送制御方法およびプログラム
US9237195B2 (en) * 2012-04-27 2016-01-12 Netapp, Inc. Virtual storage appliance gateway
CN102857370B (zh) * 2012-08-14 2016-05-25 华为技术有限公司 一种分配资源的方法及装置
US10210050B1 (en) * 2013-12-23 2019-02-19 EMC IP Holding Company LLC Consistency group driven backup
WO2016190893A1 (en) * 2015-05-25 2016-12-01 Hewlett Packard Enterprise Development Lp Storage management
US10089136B1 (en) * 2016-09-28 2018-10-02 EMC IP Holding Company LLC Monitoring performance of transient virtual volumes created for a virtual machine
US10223220B2 (en) * 2016-10-13 2019-03-05 International Business Machines Corporation Processing a health condition message on a health condition to determine whether to perform a swap operation
US10229013B2 (en) 2016-10-13 2019-03-12 International Business Machines Corporation Generating a health condition message on a health condition detected at a server to send to a host system accessing the server
US10466899B2 (en) 2017-07-28 2019-11-05 Hewlett Packard Enterprise Development Lp Selecting controllers based on affinity between access devices and storage segments
US11379335B2 (en) * 2017-10-05 2022-07-05 International Business Machines Corporation Self-reporting remote copy performance on a consistency group
US10732903B2 (en) 2018-04-27 2020-08-04 Hewlett Packard Enterprise Development Lp Storage controller sub-LUN ownership mapping and alignment

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004139494A (ja) * 2002-10-21 2004-05-13 Hitachi Ltd ストレージ使用容量表示方法
JP2005062941A (ja) * 2003-08-12 2005-03-10 Hitachi Ltd 性能情報分析方法
JP2005293325A (ja) * 2004-03-31 2005-10-20 Nec Corp データベースの即時レプリケーション性能監視システム
JP2006134164A (ja) * 2004-11-08 2006-05-25 Hitachi Ltd ストレージシステムの管理方法
JP2006155658A (ja) * 2006-02-16 2006-06-15 Hitachi Ltd 記憶装置システム
JP2006259976A (ja) * 2005-03-16 2006-09-28 Hitachi Ltd ストレージ・エリア・ネットワークにおけるストレージセッション管理システム
JP2006301820A (ja) * 2005-04-19 2006-11-02 Hitachi Ltd ストレージシステム及びストレージシステムのデータ移行方法
JP2007058484A (ja) * 2005-08-24 2007-03-08 Hitachi Ltd ストレージ管理方法およびストレージシステム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1415307A2 (en) * 2001-08-06 2004-05-06 Mercury Interactive Corporation System and method for automated analysis of load testing results
JP2004302751A (ja) * 2003-03-31 2004-10-28 Hitachi Ltd 計算機システムの性能管理方法、および、記憶装置の性能を管理する計算機システム
JP2004334574A (ja) 2003-05-08 2004-11-25 Hitachi Ltd ストレージの運用管理プログラム、運用管理方法及び管理計算機
US7392314B2 (en) * 2003-08-15 2008-06-24 International Business Machines Corporation System and method for load—balancing in a resource infrastructure running application programs
US20060182050A1 (en) * 2005-01-28 2006-08-17 Hewlett-Packard Development Company, L.P. Storage replication system with data tracking
JP4744171B2 (ja) * 2005-03-18 2011-08-10 株式会社日立製作所 計算機システム及び記憶制御方法
JP4728031B2 (ja) 2005-04-15 2011-07-20 株式会社日立製作所 リモートコピーペアの移行を行うシステム
JP4843294B2 (ja) * 2005-11-04 2011-12-21 株式会社日立製作所 計算機システム及び管理計算機
JP4738144B2 (ja) 2005-11-28 2011-08-03 株式会社日立製作所 情報監視方法、システム及びプログラム
US8028199B1 (en) * 2006-09-22 2011-09-27 Emc Corporation Method and apparatus for determining a source of performance degradation in distributed systems transmission
JP4990018B2 (ja) * 2007-04-25 2012-08-01 株式会社日立製作所 装置性能管理方法、装置性能管理システム、および管理プログラム
JP4434235B2 (ja) * 2007-06-05 2010-03-17 株式会社日立製作所 計算機システムまたは計算機システムの性能管理方法
JP2009223442A (ja) * 2008-03-13 2009-10-01 Hitachi Ltd ストレージシステム
US8521868B2 (en) * 2008-10-15 2013-08-27 International Business Machines Corporation Platform-level indicators of application performance
CN102203813B (zh) * 2008-11-04 2014-04-09 株式会社日立制作所 信息处理系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004139494A (ja) * 2002-10-21 2004-05-13 Hitachi Ltd ストレージ使用容量表示方法
JP2005062941A (ja) * 2003-08-12 2005-03-10 Hitachi Ltd 性能情報分析方法
JP2005293325A (ja) * 2004-03-31 2005-10-20 Nec Corp データベースの即時レプリケーション性能監視システム
JP2006134164A (ja) * 2004-11-08 2006-05-25 Hitachi Ltd ストレージシステムの管理方法
JP2006259976A (ja) * 2005-03-16 2006-09-28 Hitachi Ltd ストレージ・エリア・ネットワークにおけるストレージセッション管理システム
JP2006301820A (ja) * 2005-04-19 2006-11-02 Hitachi Ltd ストレージシステム及びストレージシステムのデータ移行方法
JP2007058484A (ja) * 2005-08-24 2007-03-08 Hitachi Ltd ストレージ管理方法およびストレージシステム
JP2006155658A (ja) * 2006-02-16 2006-06-15 Hitachi Ltd 記憶装置システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011039841A (ja) * 2009-08-12 2011-02-24 Fujitsu Ltd データ移行方法、及びプログラム
US8898394B2 (en) 2009-08-12 2014-11-25 Fujitsu Limited Data migration method

Also Published As

Publication number Publication date
US20110258402A1 (en) 2011-10-20
US20080307271A1 (en) 2008-12-11
EP2003541A3 (en) 2010-03-24
EP2003541A2 (en) 2008-12-17
US7996728B2 (en) 2011-08-09
US8397105B2 (en) 2013-03-12
JP4434235B2 (ja) 2010-03-17

Similar Documents

Publication Publication Date Title
JP4434235B2 (ja) 計算機システムまたは計算機システムの性能管理方法
US9864517B2 (en) Actively responding to data storage traffic
US7725776B2 (en) Method for displaying pair state of copy pairs
US8856079B1 (en) Application programming interface for efficient object information gathering and listing
US10152281B2 (en) Systems, devices, apparatus, and methods for transparently inserting a virtual storage layer in a fibre channel based storage area network while maintaining continuous input/output operations
WO2016199232A1 (ja) ストレージ管理計算機、及びストレージ装置の管理方法
EP1785833B1 (en) Storage control system
JP5860462B2 (ja) 計算機システム及びデータ移行方法
US20070180168A1 (en) Storage system, data processing method and storage apparatus
JP2009223442A (ja) ストレージシステム
JP2010086049A (ja) 管理計算機及びその運用方法
JP2015510296A (ja) ホストエンティティによってアクセスされうる格納データを識別しデータ管理サービスを提供するシステム、装置、および方法
US8732427B2 (en) Systems and methods for collapsing a derivative version of a primary storage volume
US11860892B2 (en) Offline index builds for database tables
JP2008269469A (ja) ストレージシステム及びその管理方法
US10019182B2 (en) Management system and management method of computer system
JP2015531090A (ja) ストレージデバイスの高速アクセス及びデータ保護を実現する計算機、計算機システム、及びi/o要求処理方法
US8949559B2 (en) Storage system and performance management method of storage system
JP2004341994A (ja) プログラム、情報処理装置、及び情報処理装置の制御方法
US11593034B2 (en) Simulating stretched volume remote instance using a shadow volume on a local system
US20180165380A1 (en) Data processing system and data processing method
US7130931B2 (en) Method, system, and article of manufacture for selecting replication volumes
US11853317B1 (en) Creating replicas using queries to a time series database
US8527716B2 (en) Volume sharing method and storage system using the same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090512

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090818

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091007

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091208

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091221

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130108

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140108

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees