JP2010097526A - キャッシュ構成管理システム、管理サーバおよびキャッシュ構成管理方法 - Google Patents
キャッシュ構成管理システム、管理サーバおよびキャッシュ構成管理方法 Download PDFInfo
- Publication number
- JP2010097526A JP2010097526A JP2008269366A JP2008269366A JP2010097526A JP 2010097526 A JP2010097526 A JP 2010097526A JP 2008269366 A JP2008269366 A JP 2008269366A JP 2008269366 A JP2008269366 A JP 2008269366A JP 2010097526 A JP2010097526 A JP 2010097526A
- Authority
- JP
- Japan
- Prior art keywords
- cache
- internal cache
- response time
- capacity
- internal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0866—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/60—Details of cache memory
- G06F2212/601—Reconfiguration of cache memory
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Memory System Of A Hierarchy Structure (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】業務サーバ101と、ストレージ装置106と、複数のストレージ装置106を所定に仮想化したストレージとして識別させる仮想化装置105と、ストレージ管理サーバ107を有するストレージシステムにおいて、ストレージ管理サーバ107は、仮想化装置105およびストレージ装置106のキャッシュの構成、アクセス性能から、仮想化装置105の業務サーバ101に対するレスポンスタイムを予測し、内部キャッシュ123の仮想ボリューム125への割り当ての有無、および割り当て容量による性能予測値を評価することで、仮想化装置105内のキャッシュ容量の判定、および適切なキャッシュ容量の見積もりを行い、内部キャッシュ構成の変更プランを作成することができる。
【選択図】図1A
Description
(第1の実施形態)
第1の実施形態では、仮想化装置に外部接続したストレージ装置内の論理ボリュームを、仮想化装置側に取り込み仮想ボリュームとした場合に、運用管理プログラムが仮想ボリュームに割り当てる仮想化装置内のキャッシュ容量を、目標レスポンスタイムが満たされる適切な容量に変更する。以下、その方法について詳細に説明する。
図1Aは、本発明の第1の実施形態における、ストレージシステムを示すブロック図である。SAN103に業務サーバ101および仮想化装置105が接続されている。また、SAN104に仮想化装置105とストレージ装置106が接続されている。SAN103,104(第1のネットワーク)は図のように分かれていても良いが、1つであっても良い。業務サーバ101は一台であっても複数台あっても良い。ストレージ装置106は一台であっても複数台あっても良い。ストレージ装置106の属性(例えば、ベンダ)は、仮想化装置105の属性と同じであっても良いし異なっていても良い。仮想化装置105は、通信ネットワークを構成するスイッチ装置の形態であっても良い。
ストレージ装置106は、コントローラ122、外部キャッシュ124、論理ボリューム126、SANインターフェース118およびLAN(Local Area Network)インターフェース119を備える。コントローラ122は、外部キャッシュ124および論理ボリューム126に対するデータの入出力の制御を行う制御部である。また、外部キャッシュ124のキャッシュヒット率(以降、「外部キャッシュヒット率」と呼ぶ。)を測定する。測定した情報は、LAN112(第2のネットワーク)を経由し、ストレージ管理サーバ107(管理サーバ)へ送信される。
仮想化装置105は、SANインターフェース115とSANインターフェース117を有し、SANインターフェース115によりSAN103に接続され、SANインターフェース117によりSAN104に接続されている。また、仮想化装置105は、LANインターフェース116を有し、LANインターフェース116によりLAN112に接続されている。
図1Aに戻り、業務サーバ101は、SANインターフェース114を有し、SANインターフェース114によりSAN103に接続されている。また、業務サーバ101はLANインターフェース113を有し、LANインターフェース113によりLAN112に接続されている。業務サーバ101上では、アプリケーションプログラム102とエージェント(agent)127が動作する。アプリケーションプログラム102は、1つの業務サーバ101上に1つだけ存在しても良いし、複数あっても良い。エージェント127は、アプリケーションプログラム102が書き込み、又は読み込みを行う、各ボリュームに対するアクセス情報を収集したり、アプリケーションプログラム102が仮想化装置105に対してデータの書き込み、又は読み込み命令を出し応答が返ってくるまでの、レスポンスタイムの情報を収集したりする。収集した情報はLAN112を経由し、ストレージ管理サーバ107へ送信される。
ストレージ管理サーバ107は、CPU(Central Processing Unit)108、メモリ109、表示部110、入力部111およびLANインターフェース120を備え、LANインターフェース120によりLAN112に接続されている。ストレージ管理サーバ107は、エージェント127、コントローラ121およびコントローラ122が収集した情報をLAN112経由で受信する。CPU108は、メモリ109に記憶されている後述する図2の運用管理プログラム201を読み出して実行することによって、各種処理を行う。また、CPU108は、各種処理過程でユーザとのインタラクションを必要とする情報を表示部110に表示する。さらに、CPU108は、前記インタラクションを通じて、入力部111から入力された情報を処理する。
図2は、本発明の第1の実施形態における、ストレージ管理サーバ上のメモリの構成を示すブロック図である。ストレージ管理サーバ107上のメモリ109は、運用管理プログラム201および運用管理データベース(以下、「運用管理DB(Data Base)」と記す。)202を記録している。
キャッシュ構成情報収集プログラム1001は、論理ボリューム126に割り当てられている外部キャッシュ容量と、当該論理ボリューム126に対応する仮想ボリューム125に割り当てられている内部キャッシュ容量の情報を収集し、キャッシュ構成情報テーブル1005に格納する。
アクセス性能情報収集プログラム1002は、各仮想ボリューム125の内部キャッシュヒット率をコントローラ121から、外部キャッシュヒット率をコントローラ122から収集する。また、業務サーバ101が仮想化装置105に対して書き込み、又は読み込み命令を出した時の、データの平均I/Oサイズとそのデータの単位サイズのデータのアクセス頻度の分散値をコントローラ121によって求め、アクセス性能情報テーブル1006に格納する。なお、アクセス頻度の分散値は、エージェント127で求めても良いし、コントローラ121又はエージェント127より収集した情報に基づき、アクセス性能情報収集プログラム1002で求めても良い。
ポリシー定義情報設定プログラム1003は、業務サーバ101上のアプリケーションプログラム102の求める目標レスポンスタイム(目標性能値)、アプリケーションプログラム102の重要度、および非仮想化環境から仮想化環境への移行の際の許容性能低下度をユーザに入力させ、入力された値をポリシー定義情報設定プログラム1003が、ポリシー定義情報テーブル1007に格納する。ポリシー定義情報テーブル1007の詳細は後述する。
内部キャッシュ構成変更プラン作成プログラム1004は、業務サーバ101上のアプリケーションプログラム102の目標レスポンスタイム(目標性能値)および重要度、仮想化装置105の内部キャッシュの構成、ストレージ装置106の外部キャッシュの構成に基づき、仮想化装置105の内部キャッシュ123の構成変更プランを作成する。ここでの内部キャッシュの構成とは、各仮想ボリューム125に対していくらのキャッシュ容量を割り当てているかを意味する。同様に外部キャッシュの構成とは、各論理ボリューム126に対していくらのキャッシュ容量を割り当てているかを意味する。詳細は図9から図12を参照して後述する。
内部キャッシュ構成変更実行プログラム1013は、前記内部キャッシュ構成変更プラン作成プログラム1004によって作成された内部キャッシュ構成変更プランに基づいて、仮想化装置105のコントローラ121にキャッシュ構成の変更要求を発行し、仮想化装置105の内部キャッシュ123の構成を変更する。
内部キャッシュ構成変更スケジュール作成プログラム1014は、アプリケーションプログラム102からのアクセスのI/O特性の変化に基づいて、アプリケーションプログラム102が目標レスポンスタイムを満たすために、内部キャッシュ構成をどの時点でどのように変更すべきかを予測しスケジュールを作成する。詳細は図15を参照して後述する。
図3は、キャッシュ構成情報テーブルの内容を示す説明図である。キャッシュ構成情報テーブル1005は、ストレージ装置を一意に識別できるストレージ装置ID1005A、ストレージ装置106内で論理ボリュームを一意に識別できるボリュームID1005B、論理ボリューム126を仮想化装置105側に取り込み仮想ボリューム125とした時に仮想ボリューム125へ割り当てられている内部キャッシュ123の内部キャッシュ容量1005C、各論理ボリューム126へ割り当てられている外部キャッシュ容量1005D、ボリューム容量1005E、および仮想ボリューム125を利用するアプリケーションプログラム102を一意に識別するアプリケーションID1005Fをフィールドとして含む。
図4は、アクセス性能情報テーブルの内容を示す説明図である。アクセス性能情報テーブル1006は、ストレージ装置ID1006A、ボリュームID1006B、内部キャッシュヒット率1006C、内部キャッシュ123上のデータにキャッシュヒットした場合の業務サーバ101への応答時間である内部キャッシュレスポンスタイム1006D、外部キャッシュヒット率1006E、外部キャッシュ124上のデータにキャッシュヒットした場合の業務サーバ101への応答時間である外部キャッシュレスポンスタイム1006F、外部キャッシュ124上のデータにキャッシュヒットしなかった場合の業務サーバ101への応答時間である外部ディスクレスポンスタイム1006G、業務サーバ101からのアクセスデータの平均I/Oサイズ1006H、および業務サーバ101からのアクセス頻度の分散値1006Iをフィールドとして含む。
図5Aは、ポリシー定義情報テーブルの内容を示す説明図である。ポリシー定義情報テーブル1007は、アプリケーションプログラム102を一意に識別できるアプリケーションID1007A、アプリケーションプログラム102の目標レスポンスタイム1007B、アプリケーションプログラム102の相対的な重要度1007C、および非仮想化環境から仮想化環境への移行の際に非仮想化環境で測定されたレスポンスタイムに対して仮想化環境への移行後の予測レスポンスタイムとして許容できる許容性能低下度1007Dをフィールドとして含む。なお、本実施形態においては、重要度の数値が小さいものほど重要であるとしている。
図5Bは、ポリシー定義情報の設定方法を示す画面例である。図5Bは、ポリシー定義情報テーブル1007の各フィールドに対応し、各アプリケーションプログラム102が求める目標レスポンスタイム、各アプリケーションプログラム102の重要度、および許容性能低下度について、ユーザが設定する際に表示部110に表示する画面例を図示したものである。本画面例では、アプリケーションID(d500)、目標レスポンスタイムd501、重要度d502、許容性能低下度d503が表示されている。ユーザは、各アプリケーションID(d500)で示されるアプリケーションプログラム102について、目標レスポンスタイムd501、重要度d502、および許容性能低下度d503を設定することができる。
図6は、キャッシュ容量とキャッシュヒット率の関係に関する基本的な考え方を示す説明図である。なお、ここで説明するのは概算のための近似手法の一例であり、別の近似手法を使っても差し支えない。図6には上段、中段、下段に3つのグラフを示しており、上から順に説明する。
図7は、キャッシュヒット率情報テーブルの内容を示す説明図である。アプリケーションプログラム102のI/O特性には、データのI/Oサイズや、データに対するアクセスの分散値、データアクセスがランダムアクセスであるかシーケンシャルアクセスであるか、読み込みが多いのか書き込みが多いのか、など多数の属性が存在する。本発明は、I/O特性が類似したアプリケーションプログラム102は、キャッシュ容量とキャッシュヒット率の相関モデルに関して、同様の相関モデルの適用によって近似が可能という考え方に基づいている。
図8Aは、内部キャッシュ構成変更プラン格納テーブルの内容を示す説明図である。内部キャッシュ構成変更プラン格納テーブル1009は、割り当てる内部キャッシュの容量や内部キャッシュを割り当てた場合の予測レスポンスタイムなどを格納しておくテーブルであり、後述する内部キャッシュ構成変更処理によってレコードが作成される。
図8Bは、内部キャッシュ構成変更プランの確認・再設定方法を示す画面例である。図8Bには、内部キャッシュ構成変更プラン格納テーブル1009の内容を、表示部110の表示画面を通してユーザに提示し、ユーザがキャッシュ容量を確認し必要があれば値を再設定するための画面例を示す。
図13は、I/O特性履歴情報テーブルの内容を示す説明図である。I/O特性履歴情報テーブル1011は、I/O特性を計測した測定時期1011A、ストレージ装置ID1011B、ボリュームID1011C、平均I/Oサイズ1011D、および業務サーバ101からアクセスされるデータの単位サイズのデータにおけるアクセス頻度の分散値1011Eのフィールドを含む。
図14は、内部キャッシュ構成変更スケジュールテーブルの内容を示す説明図である。内部キャッシュ構成変更スケジュールテーブル1012は、キャッシュ構成の変更を開始する時期である変更開始時期1012A、ストレージ装置106を一意に識別できるストレージ装置ID1012B、ストレージ装置106内で論理ボリュームを一意に識別できるボリュームID1012C、および変更後の内部キャッシュ容量1012Dのフィールドを含む。
図9は、内部キャッシュ構成変更プラン作成処理を示すフローチャートである。図9に示す処理は、CPU108(図1参照)が、内部キャッシュ構成変更プラン作成プログラム1004をメモリ109上に読み込み実行される。本内部キャッシュ構成変更プラン作成処理は、ユーザによる入力部111からの実行命令を契機として実行するものとするが、予め設定した日時に実行するようにしても差し支えない。
図10は、内部キャッシュ容量見積もり処理を示すフローチャートである。内部キャッシュ容量見積もり処理は、仮想化装置105の各仮想ボリューム125に対して行う処理である。ここでの見積もり処理では、目標性能を満たす中で最も小さい内部キャッシュ容量を求める。処理主体はCPU108であるが、以下説明において主体名は省略する。
Δ=a(μmodel−μIO)2+b(σ2 model−σ2 freq)2 …(A1)
(内部キャッシュヒット率ri×内部キャッシュレスポンスタイム1006D)+((外部キャッシュヒット率re−内部キャッシュヒット率ri))×外部キャッシュヒット率1006E)+((1−外部キャッシュヒット率re)×外部ディスクレスポンスタイム1006G) …(A2)
(内部キャッシュヒット率ri×内部キャッシュレスポンスタイム1006D)+
((1−内部キャッシュヒット率ri)×外部ディスクレスポンスタイム1006G)
…(A3)
図11は、内部キャッシュ割り当て可否判断処理を示すフローチャートである。内部キャッシュ割り当て可否判断処理は、前記内部キャッシュ容量見積もり処理の結果である、内部キャッシュ構成変更プラン格納テーブル1009(図8A参照)の情報が、実際の仮想化装置105の内部キャッシュ123の総容量の範囲か否かを確認し、範囲外であった場合には重要度が高いアプリケーションに優先して内部キャッシュ容量を割り当てる処理である。処理主体はCPU108であるが、以下説明において主体名は省略する。
図12は、余剰キャッシュ追加配分処理を示すフローチャートである。余剰キャッシュ追加配分処理は、前記内部キャッシュ容量見積もり処理の結果、仮想化装置105に搭載されている内部キャッシュ123の容量に余りが出た場合に、ストレージシステム全体での性能向上のために内部キャッシュ追加時の改善度を考慮して追加で割り当てる内部キャッシュ容量を判断する処理である。なお、追加分配処理は必須ではなく、後述するI/O特性に基づく内部キャッシュ構成変更スケジュール作成処理のために余剰キャッシュを残したままにしておいても良い。処理主体はCPU108であるが、以下説明において主体名は省略する。
((追加前の予測レスポンスタイム−追加後の予測レスポンスタイム)/追加前の予測レスポンスタイム)
によって、各ボリュームの改善度を算出する。
Ci=xi/Σx*Crst …(A4)
図15は、I/O特性に基づく内部キャッシュ構成変更スケジュール作成処理を示すフローチャートである。I/O特性履歴情報テーブル1011(図13参照)より、規則性の有無を判定し、規則性がある場合には、その規則性に応じたタイミングでキャッシュ構成の変更を行うスケジュールを作成する。処理主体はCPU108であるが、以下説明において主体名は省略する。
第1の実施形態では、外部接続したストレージ装置内の論理ボリュームを、仮想化装置側に取り込み仮想ボリュームとした場合の、仮想ボリュームに割り当てられている仮想化装置内の内部キャッシュ容量について述べた。第2の実施形態では、仮想化装置が存在しない環境に対して、仮想化装置を新たに導入する際の内部キャッシュ容量の見積もりについて述べる。なお、第1の実施形態と共通する処理については説明を省略し、第1の実施形態と異なる点を中心に述べる。
図16は、本発明の第2の実施形態における、ストレージシステムを示すブロック図である。図1Aと異なる点は、図1Aの仮想化装置105が含まれず、SAN104も存在しない点である。そのため、業務サーバ101は、SAN103を通し、直接、各ストレージ装置106にアクセスを行う。仮想化装置導入後のストレージシステムのブロック図は、図1Aに示すものとなる。
図17は、本発明の第2実施形態における、ストレージ管理サーバ上のメモリの構成を示すブロック図である。第1の実施形態におけるストレージ管理サーバ107上のメモリのブロック図(図2参照)と異なるのは、以下の点である。メモリ109の運用管理プログラム201には、内部キャッシュ構成変更プラン作成プログラム1004が含まれず、代わりに搭載キャッシュ容量見積もりプログラム1101が含まれる。また運用管理DB202には、I/O特性履歴情報テーブル、および内部キャッシュ構成変更スケジュールテーブル1012が含まれない。
図18は、レスポンスタイムの評価方法を示す説明図である。図18には、本実施形態における、非仮想化環境および仮想化環境での内部キャッシュの割り当ての有無による、キャッシュヒット時のレスポンスタイム(以降、「キャッシュヒットレスポンスタイム」と呼ぶ。)5001、キャッシュミスヒット時のレスポンスタイム(以降、「キャッシュミスヒットレスポンスタイム」と呼ぶ。)5003、およびキャッシュヒット時とミスヒット時を合わせたレスポンスタイムであるボリュームレスポンスタイム5002について示す。
図19は、搭載キャッシュ容量見積もりプログラムの処理を示すフローチャートである。第2の実施形態における、搭載キャッシュ容量見積もりプログラム1101は、運用管理プログラム201により行われる処理である。図19に示す処理は、CPU108(図1参照)が、搭載キャッシュ容量見積もりプログラム1101をメモリ109上に読み込み実行される。処理主体はCPU108であり、以下では主体名は省略する。
図20は、非仮想化環境における内部キャッシュ割り当て判定処理の詳細を示すフローチャートである。図20に示す内部キャッシュ割り当て判定処理(ステップS3003)では、内部キャッシュ割り当ての要否の判定を、目標レスポンスタイムを満たしているか否か、非仮想化環境下のボリュームレスポンスタイムに対する許容性能低下度D_prmtの範囲内か否かで行う。
T_vol_wc = R_int * T_int + (1-R_int) * {T_dsk + (T_vrt + T_net) * 2}
…(A5)
T_vol_cl = R_ext * {T_ext + (T_vrt + T_net) * 2}
+ (1-R_ext) * {T_dsk + (T_vrt + T_net) * 2} …(A6)
図21は、搭載キャッシュ容量見積もり処理の結果を示す画面例である。搭載キャッシュ容量見積もり処理の結果は、表示部110を介してユーザに提示される。本画面例では、アプリケーションID(d1000)がアクセス(利用)する、ストレージ装置IDd1001とボリュームIDd1002を持つボリュームごとに、見積もった内部キャッシュ容量d1003に対して、予測レスポンスタイムd1004、目標レスポンスタイムd1005、現在のボリュームレスポンスタイムd1006、および許容性能低下度d1007と共に表示した画面である。画面下部には搭載する必要のある内部キャッシュ見積もり容量の合計値d1008を表示している。
(1)仮想化装置導入前の外部ストレージ装置のレスポンスタイムを測定し、仮想化環境への移行後のレスポンスタイムの予測値を算出する。仮想化装置内のキャッシュを割り当てる場合と割り当てない場合の両ケースで算出し比較する。目標レスポンスタイムや導入前性能値からの低下度に基づいて、仮想化装置のキャッシュの割り当て要否を判定し、仮想化装置導入における仮想化装置に必要なキャッシュ容量を算出する。
(2)仮想化装置を導入している環境におけるキャッシュ構成管理において、算出したレスポンスタイムが、目標レスポンスタイムを満たす場合は、仮想化装置内のキャッシュ容量を削減し、外部ストレージ装置のキャッシュとの組み合わせにて目標レスポンスタイムを満たすキャッシュ容量を算出し、キャッシュ構成プランを作成する。
(3)作成したキャッシュ構成プランに従い、キャッシュ構成を変更する。また、定期的にI/O特性を監視し、動的にキャッシュ構成変更プランの作成と実行を行い、キャッシュ構成の最適化を行う。
102 アプリケーションプログラム
103,104 SAN(第1のネットワーク)
105 仮想化装置
106 ストレージ装置
107 ストレージ管理サーバ(管理サーバ)
108 CPU
109 メモリ
110 表示部
111 入力部
112 LAN(第2のネットワーク)
113,116,119,120 LANインターフェース
114,115,117,118 SANインターフェース
121 コントローラ
122 コントローラ
123 内部キャッシュ
124 外部キャッシュ
125 仮想ボリューム
126 論理ボリューム
127 エージェント
201 運用管理プログラム
202 運用管理DB
1001 キャッシュ構成情報収集プログラム
1002 アクセス性能情報収集プログラム
1003 ポリシー定義情報設定プログラム
1004 内部キャッシュ構成変更プラン作成プログラム
1005 キャッシュ構成情報テーブル
1006 アクセス性能情報テーブル
1007 ポリシー定義情報テーブル
1008 キャッシュヒット率情報テーブル
1009 内部キャッシュ構成変更プラン格納テーブル
1011 I/O特性履歴情報テーブル
1012 内部キャッシュ構成変更スケジュールテーブル
1013 内部キャッシュ構成変更実行プログラム
1014 内部キャッシュ構成変更スケジュール作成プログラム
1101 搭載キャッシュ容量見積もりプログラム
Claims (15)
- 複数の業務サーバと、複数の論理ボリュームを有する複数のストレージ装置と、前記複数のストレージ装置を所定に仮想化したストレージとして識別させる仮想化装置とが、第1のネットワークを介して通信可能にされており、前記業務サーバと、前記ストレージ装置と、前記仮想化装置とが、第2のネットワークを介して管理サーバと通信可能にされるストレージシステムにおいて、前記仮想化装置内のキャッシュの構成を管理するキャッシュ構成管理システムであって、
前記管理サーバは、
前記業務サーバ内のアプリケーションプログラム毎に前記仮想化装置の各仮想ボリュームに対していくらのキャッシュ容量を割り当てているかという内部キャッシュの構成、および、前記ストレージ装置の論理ボリュームに対していくらのキャッシュ容量を割り当てているかという外部キャッシュの構成の情報を収集し、キャッシュ構成情報として記憶部に格納するキャッシュ構成情報収集手段と、
前記アプリケーションプログラムから前記論理ボリュームをアクセスする際の前記仮想化装置および前記ストレージ装置に対する、キャッシュヒット率およびレスポンスタイムであるアクセス性能を収集し、アクセス性能情報として前記記憶部に格納するアクセス性能情報収集手段と、
前記アプリケーションプログラムの目標性能値を入力部から受理するとポリシー定義情報として前記記憶部に記憶するポリシー定義情報設定手段と、
前記業務サーバ上のアプリケーションプログラムの目標性能値、前記仮想化装置の内部キャッシュの構成、および、前記ストレージ装置の外部キャッシュの構成に基づき、前記仮想化装置内の前記内部キャッシュのキャッシュ容量の変更後における予測性能値を計算し、前記予測性能値が前記目標性能値を満たすように前記内部キャッシュのキャッシュメモリの割り当て容量を見積もり、前記仮想化装置の内部キャッシュの構成変更プランを作成する内部キャッシュ構成変更プラン作成手段と、
前記入力部から内部キャッシュの構成変更の指示を受理すると、前記作成された内部キャッシュ構成変更プランに基づいて、前記仮想化装置に前記内部キャッシュ構成の変更要求を発行し、前記内部キャッシュの構成を変更する内部キャッシュ構成変更実行手段と、を有する
ことを特徴とするキャッシュ構成管理システム。 - 前記目標性能値は、目標レスポンスタイムであり、
前記アクセス性能情報収集手段は、予め、
前記アプリケーションプログラムから前記ストレージ装置内の論理ボリュームにアクセスをした際の、前記仮想化装置内の内部キャッシュにキャッシュヒットした時のレスポンスタイムである内部キャッシュレスポンスタイムと、前記外部キャッシュにキャッシュヒットした時のレスポンスタイムである外部キャッシュレスポンスタイムと、前記論理ボリュームにアクセスした時のレスポンスタイムである外部ディスクレスポンスタイム、とを記憶しており、
前記内部キャッシュ構成変更プラン作成手段は、
前記内部キャッシュレスポンスタイムと、
前記外部キャッシュレスポンスタイムと、
前記外部ディスクレスポンスタイムと、
前記内部キャッシュのキャッシュ容量に対応するキャッシュヒット率である内部キャッシュヒット率と、
前記内部キャッシュ容量をゼロと仮定した場合の外部キャッシュのキャッシュヒット率である外部キャッシュヒット率と、に基づいて、
前記アプリケーションプログラムから前記ストレージ装置の前記論理ボリュームにアクセスをした際の予測レスポンスタイムを算出する
ことを特徴とする請求項1に記載のキャッシュ構成管理システム。 - 前記ポリシー定義情報設定手段は、前記入力部から前記アプリケーションプログラムの重要度を受理すると前記ポリシー定義情報に記憶し、
前記内部キャッシュ構成変更プラン作成手段は、
前記見積もったキャッシュメモリ容量の合計値が、前記仮想化装置に搭載されているキャッシュ容量よりも大きい場合、前記重要度が高い前記アプリケーションプログラムを優先し前記キャッシュメモリの容量の割り当てを行う
ことを特徴とする請求項1に記載のキャッシュ構成管理システム。 - 前記ポリシー定義情報設定手段は、前記入力部から前記アプリケーションプログラムの重要度を受理すると前記ポリシー定義情報に記憶し、
前記内部キャッシュ構成変更プラン作成手段は、
前記アプリケーションプログラムの目標性能値を満たす前記キャッシュメモリの割り当てを行い、前記仮想化装置に搭載されているキャッシュメモリ容量が余り、割り当てるキャッシュメモリの容量を増加させる場合、前記重要度が高い前記アプリケーションプログラムを優先して割り当てる
ことを特徴とする請求項1に記載のキャッシュ構成管理システム。 - 前記管理サーバは、さらに、
前記アプリケーションプログラムからのアクセスのI/O特性の変化に基づいて、前記アプリケーションプログラムが目標性能値を満たすために、内部キャッシュ構成をどの時点でどのように変更すべきかを予測し、内部キャッシュ構成変更のスケジュールを作成する内部キャッシュ構成変更スケジュール作成手段を有する
ことを特徴とする請求項1に記載のキャッシュ構成管理システム。 - 複数の業務サーバと、複数の論理ボリュームを有する複数のストレージ装置と、前記複数のストレージ装置を所定に仮想化したストレージとして識別させる仮想化装置とが、第1のネットワークを介して通信可能にされており、前記業務サーバと、前記ストレージ装置と、前記仮想化装置とを、第2のネットワークを介して管理する管理サーバにおいて、
前記業務サーバ内のアプリケーションプログラム毎に前記仮想化装置の各仮想ボリュームに対していくらのキャッシュ容量を割り当てているかという内部キャッシュの構成、および、前記ストレージ装置の論理ボリュームに対していくらのキャッシュ容量を割り当てているかという外部キャッシュの構成の情報を収集し、キャッシュ構成情報として記憶部に格納するキャッシュ構成情報収集手段と、
前記アプリケーションプログラムから前記論理ボリュームをアクセスする際の前記仮想化装置および前記ストレージ装置に対する、キャッシュヒット率およびレスポンスタイムであるアクセス性能を収集し、アクセス性能情報として前記記憶部に格納するアクセス性能情報収集手段と、
前記アプリケーションプログラムの目標性能値を入力部から受理するとポリシー定義情報として前記記憶部に記憶するポリシー定義情報設定手段と、
前記業務サーバ上のアプリケーションプログラムの目標性能値、前記仮想化装置の内部キャッシュの構成、および、前記ストレージ装置の外部キャッシュの構成に基づき、前記仮想化装置内の前記内部キャッシュのキャッシュ容量の変更後における予測性能値を計算し、前記予測性能値が前記目標性能値を満たすように前記内部キャッシュのキャッシュメモリの割り当て容量を見積もり、前記仮想化装置の内部キャッシュの構成変更プランを作成する内部キャッシュ構成変更プラン作成手段と、
前記入力部から内部キャッシュの構成変更の指示を受理すると、前記作成された内部キャッシュ構成変更プランに基づいて、前記仮想化装置に前記内部キャッシュ構成の変更要求を発行し、前記内部キャッシュの構成を変更する内部キャッシュ構成変更実行手段と、を有する
ことを特徴とする管理サーバ。 - 前記目標性能値は、目標レスポンスタイムであり、
前記アクセス性能情報収集手段は、予め、
前記アプリケーションプログラムから前記ストレージ装置内の論理ボリュームにアクセスをした際の、前記仮想化装置内の内部キャッシュにキャッシュヒットした時のレスポンスタイムである内部キャッシュレスポンスタイムと、前記外部キャッシュにキャッシュヒットした時のレスポンスタイムである外部キャッシュレスポンスタイムと、前記論理ボリュームにアクセスした時のレスポンスタイムである外部ディスクレスポンスタイム、とを記憶しており、
前記内部キャッシュ構成変更プラン作成手段は、
前記内部キャッシュレスポンスタイムと、
前記外部キャッシュレスポンスタイムと、
前記外部ディスクレスポンスタイムと、
前記内部キャッシュのキャッシュ容量に対応するキャッシュヒット率である内部キャッシュヒット率と、
前記内部キャッシュ容量をゼロと仮定した場合の外部キャッシュのキャッシュヒット率である外部キャッシュヒット率と、に基づいて、
前記アプリケーションプログラムから前記ストレージ装置の前記論理ボリュームにアクセスをした際の予測レスポンスタイムを算出する
ことを特徴とする請求項6に記載の管理サーバ。 - 前記ポリシー定義情報設定手段は、前記入力部から前記アプリケーションプログラムの重要度を受理すると前記ポリシー定義情報に記憶し、
前記内部キャッシュ構成変更プラン作成手段は、
前記見積もったキャッシュメモリ容量の合計値が、前記仮想化装置に搭載されているキャッシュ容量よりも大きい場合、前記重要度が高い前記アプリケーションプログラムを優先し前記キャッシュメモリの容量の割り当てを行う
ことを特徴とする請求項6に記載の管理サーバ。 - 前記ポリシー定義情報設定手段は、前記入力部から前記アプリケーションプログラムの重要度を受理すると前記ポリシー定義情報に記憶し、
前記内部キャッシュ構成変更プラン作成手段は、
前記アプリケーションプログラムの目標性能値を満たす前記キャッシュメモリの割り当てを行い、前記仮想化装置に搭載されているキャッシュメモリ容量が余り、割り当てるキャッシュメモリの容量を増加させる場合、前記重要度が高い前記アプリケーションプログラムを優先して割り当てる
ことを特徴とする請求項6に記載の管理サーバ。 - 前記管理サーバは、さらに、
前記アプリケーションプログラムからのアクセスのI/O特性の変化に基づいて、前記アプリケーションプログラムが目標性能値を満たすために、内部キャッシュ構成をどの時点でどのように変更すべきかを予測し、内部キャッシュ構成変更のスケジュールを作成する内部キャッシュ構成変更スケジュール作成手段を有する
ことを特徴とする請求項6に記載の管理サーバ。 - 複数の業務サーバと、複数の論理ボリュームを有する複数のストレージ装置と、前記複数のストレージ装置を所定に仮想化したストレージとして識別させる仮想化装置とが、第1のネットワークを介して通信可能にされており、前記業務サーバと、前記ストレージ装置と、前記仮想化装置とが、第2のネットワークを介して管理サーバと通信可能にされるストレージシステムにおいて、前記仮想化装置内のキャッシュの構成を管理するキャッシュ構成管理方法であって、
前記管理サーバは、
前記業務サーバ内のアプリケーションプログラム毎に前記仮想化装置の各仮想ボリュームに対していくらのキャッシュ容量を割り当てているかという内部キャッシュの構成、および、前記ストレージ装置の論理ボリュームに対していくらのキャッシュ容量を割り当てているかという外部キャッシュの構成の情報を収集し、キャッシュ構成情報として記憶部に格納するキャッシュ構成情報収集ステップと、
前記アプリケーションプログラムから前記論理ボリュームをアクセスする際の前記仮想化装置および前記ストレージ装置に対する、キャッシュヒット率およびレスポンスタイムであるアクセス性能を収集し、アクセス性能情報として前記記憶部に格納するアクセス性能情報収集ステップと、
前記アプリケーションプログラムの目標性能値を入力部から受理するとポリシー定義情報として前記記憶部に記憶するポリシー定義情報設定ステップと、
前記業務サーバ上のアプリケーションプログラムの目標性能値、前記仮想化装置の内部キャッシュの構成、および、前記ストレージ装置の外部キャッシュの構成に基づき、前記仮想化装置内の前記内部キャッシュのキャッシュ容量の変更後における予測性能値を計算し、前記予測性能値が前記目標性能値を満たすように前記内部キャッシュのキャッシュメモリの割り当て容量を見積もり、前記仮想化装置の内部キャッシュの構成変更プランを作成する内部キャッシュ構成変更プラン作成ステップと、
前記入力部から内部キャッシュの構成変更の指示を受理すると、前記作成された内部キャッシュ構成変更プランに基づいて、前記仮想化装置に前記内部キャッシュ構成の変更要求を発行し、前記内部キャッシュの構成を変更する内部キャッシュ構成変更実行ステップと、
を含んで実行することを特徴とするキャッシュ構成管理方法。 - 前記目標性能値は、目標レスポンスタイムであり、
前記アクセス性能情報収集ステップは、予め、
前記アプリケーションプログラムから前記ストレージ装置内の論理ボリュームにアクセスをした際の、前記仮想化装置内の内部キャッシュにキャッシュヒットした時のレスポンスタイムである内部キャッシュレスポンスタイムと、前記外部キャッシュにキャッシュヒットした時のレスポンスタイムである外部キャッシュレスポンスタイムと、前記論理ボリュームにアクセスした時のレスポンスタイムである外部ディスクレスポンスタイム、とを記憶しており、
前記内部キャッシュ構成変更プラン作成ステップは、
前記内部キャッシュレスポンスタイムと、
前記外部キャッシュレスポンスタイムと、
前記外部ディスクレスポンスタイムと、
前記内部キャッシュのキャッシュ容量に対応するキャッシュヒット率である内部キャッシュヒット率と、
前記内部キャッシュ容量をゼロと仮定した場合の外部キャッシュのキャッシュヒット率である外部キャッシュヒット率と、に基づいて、
前記アプリケーションプログラムから前記ストレージ装置の前記論理ボリュームにアクセスをした際の予測レスポンスタイムを算出する
ことを特徴とする請求項11に記載のキャッシュ構成管理方法。 - 前記ポリシー定義情報設定ステップは、前記入力部から前記アプリケーションプログラムの重要度を受理すると前記ポリシー定義情報に記憶し、
前記内部キャッシュ構成変更プラン作成ステップは、
前記見積もったキャッシュメモリ容量の合計値が、前記仮想化装置に搭載されているキャッシュ容量よりも大きい場合、前記重要度が高い前記アプリケーションプログラムを優先し前記キャッシュメモリの容量の割り当てを行う
ことを特徴とする請求項11に記載のキャッシュ構成管理方法。 - 前記ポリシー定義情報設定ステップは、前記入力部から前記アプリケーションプログラムの重要度を受理すると前記ポリシー定義情報に記憶し、
前記内部キャッシュ構成変更プラン作成ステップは、
前記アプリケーションプログラムの目標性能値を満たす前記キャッシュメモリの割り当てを行い、前記仮想化装置に搭載されているキャッシュメモリ容量が余り、割り当てるキャッシュメモリの容量を増加させる場合、前記重要度が高い前記アプリケーションプログラムを優先して割り当てる
ことを特徴とする請求項11に記載のキャッシュ構成管理方法。 - 前記管理サーバは、さらに、
前記アプリケーションプログラムからのアクセスのI/O特性の変化に基づいて、前記アプリケーションプログラムが目標性能値を満たすために、内部キャッシュ構成をどの時点でどのように変更すべきかを予測し、内部キャッシュ構成変更のスケジュールを作成する内部キャッシュ構成変更スケジュール作成ステップを有する
ことを特徴とする請求項11に記載のキャッシュ構成管理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008269366A JP2010097526A (ja) | 2008-10-20 | 2008-10-20 | キャッシュ構成管理システム、管理サーバおよびキャッシュ構成管理方法 |
US12/351,147 US20100100604A1 (en) | 2008-10-20 | 2009-01-09 | Cache configuration system, management server and cache configuration management method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008269366A JP2010097526A (ja) | 2008-10-20 | 2008-10-20 | キャッシュ構成管理システム、管理サーバおよびキャッシュ構成管理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010097526A true JP2010097526A (ja) | 2010-04-30 |
Family
ID=42109495
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008269366A Pending JP2010097526A (ja) | 2008-10-20 | 2008-10-20 | キャッシュ構成管理システム、管理サーバおよびキャッシュ構成管理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20100100604A1 (ja) |
JP (1) | JP2010097526A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014030249A1 (ja) * | 2012-08-24 | 2014-02-27 | 株式会社日立製作所 | ボリュームのi/o性能の検証システム及び検証方法 |
WO2014041760A1 (ja) * | 2012-09-13 | 2014-03-20 | 日本電気株式会社 | 推定装置、データベース稼働状況推定方法およびプログラム記憶媒体 |
EP2854018A1 (en) | 2013-09-27 | 2015-04-01 | Fujitsu Limited | Storage management device, control method , and control program |
US9176881B2 (en) | 2012-01-26 | 2015-11-03 | Hitachi, Ltd. | Computer system and storage control method |
JP2016099761A (ja) * | 2014-11-20 | 2016-05-30 | 富士通株式会社 | ストレージ管理装置、性能調整方法及び性能調整プログラム |
US10097635B2 (en) | 2014-03-27 | 2018-10-09 | Fujitsu Limited | Storage management device, and performance tuning method |
JP2019053346A (ja) * | 2017-09-12 | 2019-04-04 | 東芝メモリ株式会社 | 情報処理装置、情報処理方法、情報処理プログラム、および情報処理システム |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8812788B2 (en) | 2010-11-09 | 2014-08-19 | Lsi Corporation | Virtual cache window headers for long term access history |
KR101191544B1 (ko) * | 2011-01-21 | 2012-10-15 | 엔에이치엔(주) | 캐시 클라우드 구조를 이용한 캐시 시스템 및 캐싱 서비스 제공 방법 |
US20120278819A1 (en) * | 2011-04-26 | 2012-11-01 | Byungcheol Cho | Polling-driven device driver interface |
WO2013103005A1 (ja) * | 2012-01-05 | 2013-07-11 | 株式会社日立製作所 | 計算機システムの管理装置及び管理方法 |
IN2013MU04016A (ja) | 2013-12-23 | 2015-08-07 | Tata Consultancy Services Ltd | |
US10684933B2 (en) * | 2016-11-28 | 2020-06-16 | Sap Se | Smart self-healing service for data analytics systems |
US11249852B2 (en) | 2018-07-31 | 2022-02-15 | Portwonx, Inc. | Efficient transfer of copy-on-write snapshots |
US11354060B2 (en) | 2018-09-11 | 2022-06-07 | Portworx, Inc. | Application snapshot for highly available and distributed volumes |
US11516083B2 (en) * | 2018-09-28 | 2022-11-29 | Mastercard International Incorporated | Systems, computer-readable media and computer-implemented methods for automated, dynamic capacity planning using HTTP response header fields |
US11494128B1 (en) | 2020-01-28 | 2022-11-08 | Pure Storage, Inc. | Access control of resources in a cloud-native storage system |
US11531467B1 (en) | 2021-01-29 | 2022-12-20 | Pure Storage, Inc. | Controlling public access of resources in a secure distributed storage system |
US11520516B1 (en) | 2021-02-25 | 2022-12-06 | Pure Storage, Inc. | Optimizing performance for synchronous workloads |
US11733897B1 (en) | 2021-02-25 | 2023-08-22 | Pure Storage, Inc. | Dynamic volume storage adjustment |
US11726684B1 (en) | 2021-02-26 | 2023-08-15 | Pure Storage, Inc. | Cluster rebalance using user defined rules |
US11561978B2 (en) * | 2021-06-29 | 2023-01-24 | Commvault Systems, Inc. | Intelligent cache management for mounted snapshots based on a behavior model |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10333836A (ja) * | 1997-05-29 | 1998-12-18 | Hitachi Ltd | ディスクアレイ制御装置 |
JP2003337721A (ja) * | 2002-05-21 | 2003-11-28 | Hitachi Ltd | ストレージ構成自動変更装置及び方法 |
JP2005115600A (ja) * | 2003-10-07 | 2005-04-28 | Hitachi Ltd | 情報処理装置及び方法 |
JP2006350780A (ja) * | 2005-06-17 | 2006-12-28 | Hitachi Ltd | キャッシュ割当制御方法 |
JP2008033920A (ja) * | 2006-07-27 | 2008-02-14 | Hitachi Ltd | 仮想化ストレージ環境の管理システム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4631301B2 (ja) * | 2004-03-31 | 2011-02-16 | 株式会社日立製作所 | 記憶装置のキャッシュ管理方法 |
US8010337B2 (en) * | 2004-09-22 | 2011-08-30 | Microsoft Corporation | Predicting database system performance |
JP2007179156A (ja) * | 2005-12-27 | 2007-07-12 | Hitachi Ltd | 記憶制御装置及び方法 |
-
2008
- 2008-10-20 JP JP2008269366A patent/JP2010097526A/ja active Pending
-
2009
- 2009-01-09 US US12/351,147 patent/US20100100604A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10333836A (ja) * | 1997-05-29 | 1998-12-18 | Hitachi Ltd | ディスクアレイ制御装置 |
JP2003337721A (ja) * | 2002-05-21 | 2003-11-28 | Hitachi Ltd | ストレージ構成自動変更装置及び方法 |
JP2005115600A (ja) * | 2003-10-07 | 2005-04-28 | Hitachi Ltd | 情報処理装置及び方法 |
JP2006350780A (ja) * | 2005-06-17 | 2006-12-28 | Hitachi Ltd | キャッシュ割当制御方法 |
JP2008033920A (ja) * | 2006-07-27 | 2008-02-14 | Hitachi Ltd | 仮想化ストレージ環境の管理システム |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9176881B2 (en) | 2012-01-26 | 2015-11-03 | Hitachi, Ltd. | Computer system and storage control method |
WO2014030249A1 (ja) * | 2012-08-24 | 2014-02-27 | 株式会社日立製作所 | ボリュームのi/o性能の検証システム及び検証方法 |
WO2014041760A1 (ja) * | 2012-09-13 | 2014-03-20 | 日本電気株式会社 | 推定装置、データベース稼働状況推定方法およびプログラム記憶媒体 |
EP2854018A1 (en) | 2013-09-27 | 2015-04-01 | Fujitsu Limited | Storage management device, control method , and control program |
US10142211B2 (en) | 2013-09-27 | 2018-11-27 | Fujitsu Limited | Storage management device and control method |
US10097635B2 (en) | 2014-03-27 | 2018-10-09 | Fujitsu Limited | Storage management device, and performance tuning method |
JP2016099761A (ja) * | 2014-11-20 | 2016-05-30 | 富士通株式会社 | ストレージ管理装置、性能調整方法及び性能調整プログラム |
JP2019053346A (ja) * | 2017-09-12 | 2019-04-04 | 東芝メモリ株式会社 | 情報処理装置、情報処理方法、情報処理プログラム、および情報処理システム |
US11416152B2 (en) | 2017-09-12 | 2022-08-16 | Kioxia Corporaton | Information processing device, information processing method, computer-readable storage medium, and information processing system |
Also Published As
Publication number | Publication date |
---|---|
US20100100604A1 (en) | 2010-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2010097526A (ja) | キャッシュ構成管理システム、管理サーバおよびキャッシュ構成管理方法 | |
US10078569B1 (en) | Self adaptive workload classification and forecasting in multi-tiered storage system using arima time series modeling | |
JP6084685B2 (ja) | ストレージシステム | |
US10754573B2 (en) | Optimized auto-tiering, wherein subset of data movements are selected, utilizing workload skew point, from a list that ranks data movements based on criteria other than I/O workload | |
US9940024B1 (en) | Techniques for determining workload skew | |
US9477407B1 (en) | Intelligent migration of a virtual storage unit to another data storage system | |
US9898224B1 (en) | Automatic adjustment of capacity usage by data storage optimizer for data migration | |
US10324633B2 (en) | Managing SSD write quotas in data storage systems | |
US9026765B1 (en) | Performing write operations in a multi-tiered storage environment | |
US8838931B1 (en) | Techniques for automated discovery and performing storage optimizations on a component external to a data storage system | |
US8868797B1 (en) | Techniques for automated discovery of storage devices and their performance characteristics | |
US9507887B1 (en) | Adaptive techniques for workload distribution across multiple storage tiers | |
US8935493B1 (en) | Performing data storage optimizations across multiple data storage systems | |
US9983795B1 (en) | Techniques for determining a storage configuration | |
JP5543668B2 (ja) | ストレージシステム及び記憶領域の割当方法 | |
US9952803B1 (en) | Techniques for automated evaluation and moment of data between storage tiers | |
US8972694B1 (en) | Dynamic storage allocation with virtually provisioned devices | |
US9753987B1 (en) | Identifying groups of similar data portions | |
US10671431B1 (en) | Extent group workload forecasts | |
US10339455B1 (en) | Techniques for determining workload skew | |
US9785353B1 (en) | Techniques for automated evaluation and movement of data between storage tiers for thin devices | |
US9575668B1 (en) | Techniques for selecting write endurance classification of flash storage based on read-write mixture of I/O workload | |
US8566546B1 (en) | Techniques for enforcing capacity restrictions of an allocation policy | |
US9965218B1 (en) | Techniques using multiple service level objectives in connection with a storage group | |
US10338825B2 (en) | Managing SSD wear rate in hybrid storage arrays |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100217 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100730 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100810 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101006 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110426 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110823 |