JP2011008548A - データ中継装置およびストレージシステム - Google Patents

データ中継装置およびストレージシステム Download PDF

Info

Publication number
JP2011008548A
JP2011008548A JP2009151527A JP2009151527A JP2011008548A JP 2011008548 A JP2011008548 A JP 2011008548A JP 2009151527 A JP2009151527 A JP 2009151527A JP 2009151527 A JP2009151527 A JP 2009151527A JP 2011008548 A JP2011008548 A JP 2011008548A
Authority
JP
Japan
Prior art keywords
write
storage unit
virtual
virtual storage
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009151527A
Other languages
English (en)
Inventor
Toshiaki Takeuchi
利明 竹内
Masakazu Sakamoto
眞和 坂元
Tetsuya Kinoshita
徹哉 木下
Takuya Kurihara
拓弥 栗原
Jun Takeuchi
順 竹内
Atsushi Shinohara
敦史 篠原
Yusuke Kurasawa
祐輔 倉澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2009151527A priority Critical patent/JP2011008548A/ja
Priority to US12/820,686 priority patent/US8443140B2/en
Publication of JP2011008548A publication Critical patent/JP2011008548A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065Replication mechanisms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061Improving I/O performance
    • G06F3/0613Improving I/O performance in relation to throughput
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Abstract

【課題】性能が高い側のストレージ装置の性能を十分に活かしたデータ処理を実現して、ホストからのI/Oについての処理性能の低下を防止することを課題とする。
【解決手段】第1の書き込み処理部は、第1の仮想記憶部から第2の仮想記憶部にデータをコピーするコピーセッション期間内に、上位装置からの書き込み命令がある場合に、入出力性能が高いか想起億部に対してだけ書き込み命令を実行する。書き込み位置記憶部は、第1の書き込み処理部によって書き込み命令が実行された仮想記憶部の書き込み位置を記憶する。第2の書き込み処理部は、第1の書き込み処理部による書き込み処理が終了した後に、書き込み位置記憶部に記憶された書き込み位置から決定される仮想記憶部のデータを、書き込み命令が未だ実行されていない一方の仮想記憶部に対して書き込む。
【選択図】図1

Description

この発明は、データ中継装置およびストレージシステムに関する。
従来より、ストレージなどの外部仮想化FCスイッチにおいて記憶資源を有効利用するために、記憶資源を仮想化して利用する仕組みが種々提案されている。例えば、ホストとストレージとを結ぶ高速のネットワークであるSAN(Storage Area Network)を構築する場合に、中継装置として機能するFC(Fibre Channel)スイッチとしての機能に加え、ストレージ資源を包括して仮想化し新たなストレージ構成としてみせる機能を備える仮想化FCスイッチというものが存在する。
仮想化FCスイッチは、接続された物理ストレージ装置の任意の領域を仮想ディスクとして構成し、仮想ターゲット(VT:Virtual Target)を通してホストにみせる機能を持つ。さらに、仮想化FCスイッチは、同様にして構成した他の仮想ディスクに対してデータをコピーする機能を持つ。
図8は、従来技術を説明するための図である。同図に示すように、従来の仮想化FCスイッチは、ストレージ1cから仮想ディスク1bを作成し、仮想ターゲットVT1aを通してホストに接続している。同様にストレージ2cから仮想ディスク2bを作成し、仮想ターゲットVT2aを通してホストに接続している。仮想化FCスイッチが仮想ディスク1bから仮想ディスク2bにデータをコピーする場合、仮想化FCスイッチがコピー元となる仮想ディスク1bからデータを読み出す。そして、コピー先となる仮想ディスク2bにデータを書き出す動作を仮想ディスク1bの先頭LBA(Logical Block Address)から最終LBAまで繰り返す。
また、仮想化FCスイッチは、コピー動作中にホストから「Write I/O」を受け付けた場合でも、仮想ディスク1bと仮想ディスク2bのデータの等価性を保つため、コピー元仮想ディスクとコピー先仮想ディスクとでミラーディスクを作成する。そして、ホストから受けた「Write I/O」を両方の仮想ディスクに書き込む同期書き込みを実行する。
仮想化FCスイッチの同期書き込み動作について簡単に説明する。図9に示すように、仮想化FCスイッチは、ホストから「Write Command(以下、ライトコマンドと記載する)」を受けると、ライトコマンドをストレージ1cおよび2cに転送する。ストレージ1cおよび2cからライトコマンドに対する「Ready」応答(例えば、Ready(1)および(2))を受けると、仮想化FCスイッチは、「Ready」応答をホストに転送する。ホストからライトコマンドに対応するデータを受けると、仮想化FCスイッチは、ホストから受けたデータをストレージ1cおよび2cに書き込む。ストレージ1cおよび2cからライト完了のステータス「Status-Good」を受けると、ホストに転送して、同期書き込みを完了する。図9は、従来技術を説明するための図である。
さらに、仮想化FCスイッチは、ホストからの「Read I/O」については、コピー元となっている仮想ディスク1bからのみ、データを読み出してホストに転送する。
仮想化FCスイッチの読み出し動作について簡単に説明すると、図10に示すように、図10に示すように、仮想化FCスイッチは、ホストから「Read Command(以下、リードコマンドと記載する)」を受けると、リードコマンドをストレージ1cに転送する。ストレージ1cからリードコマンドに対する「Ready」応答を受けると、仮想化FCスイッチは、「Ready」応答をホストに転送する。続いて、ホストからストレージ1cからリード対象データ(Data)を受けると、仮想化FCスイッチは、データをホストに転送する。そして、ストレージ1cからリード完了のステータス(Status-Good)を受けると、リード完了のステータス(Status-Good)をホストに転送して、リード動作を完了する。図10は、従来技術を説明するための図である。
特開2006−127028号公報
ところで、従来の仮想化FCスイッチは、図9を用いて説明した同期書き込み動作において、次のような問題点がある。すなわち、図11に示すように、コピー先の仮想ディスクを構成しているストレージ2cの性能が低い場合、仮想ディスク2bから仮想化FCスイッチへのライトコマンドに対する応答(Ready)が遅れる。
仮想化FCスイッチは、コピー元のストレージ1cから既に応答を受けていたとしても、ストレージ2cからのライトコマンドに対する応答の到達を待って、ホストから書き込み対象のデータを取得する。このように、仮想化FCスイッチのI/O性能は、性能が低い側のストレージ2cに引きずられる結果となり、ホストからのI/Oについての処理性能(ホストからのライトコマンドおよびリードコマンドを処理する性能)が悪くなる。
また、図13に示すように、コピー元の仮想ディスクを構成しているストレージ1cの性能が低い場合には、図11に示す場合とは逆に、コピー先のストレージ2bの性能がコピー元のストレージ1bの性能に引きずられ、結果的に、ホストからのI/Oについての処理性能が悪くなる。
また、マルチプロトコルルータを使い、通信回線を経由して遠隔地にあるストレージで仮想ディスクを構成してコピーを行う場合には、例えば、図12に示すように、コピー先であるストレージ3cからの応答の遅れが発生する場合があり、図11および図13に示す場合と同様に、ホストからのI/Oについての処理性能が悪くなる可能性がある。なお、図11〜図13は、従来技術の問題点を説明するための図である。
開示の技術は、上記に鑑みてなされたものであって、データの入出力性能が異なる複数のストレージ装置を有するストレージシステムにおいて、ホストからのI/Oについての処理性能の低下を防止することが可能なデータ中継装置およびストレージシステムを提供することを目的とする。
本願の開示する技術は、一つの態様において、第1の仮想記憶部から第2の仮想記憶部にデータをコピーするコピーセッション期間内に、上位装置からの書き込み命令がある場合に、入出力性能が高い仮想記憶部に対してだけ前記書き込み命令を実行する第1の書き込み処理部と、前記第1の書き込み処理部によって書き込み命令が実行された仮想記憶部の書き込み位置を記憶する書き込み位置記憶部と、前記第1の書き込み処理部による書き込み処理が終了した後に、前記書き込み位置記憶部に記憶された書き込み位置から決定される前記仮想記憶部のデータを、前記書き込み命令が未だ実行されていない一方の仮想記憶部に対して書き込む第2の書き込み処理部とを有する。
本願の開示する技術の一つの態様によれば、データの入出力性能が異なる複数のストレージ装置を有するストレージシステムにおいて、ホストからのI/Oについての処理性能の低下を防止する。
図1は、実施例1に係るデータ中継装置を説明するための図である。 図2は、実施例2に係る仮想化FCスイッチの構成を示す図である。 図3は、実施例2に係る仮想化FCスイッチによる動作を説明するための図である。 図4は、実施例2に係る仮想化FCスイッチによる動作を説明するための図である。 図5は、実施例2に係る仮想化FCスイッチを説明するための図である。 図6は、実施例3に係る仮想化FCスイッチの構成を示す図である。 図7は、実施例3に係る仮想化FCスイッチによる動作を説明するための図である。 図8は、従来技術を説明するための図である。 図9は、従来技術を説明するための図である。 図10は、従来技術を説明するための図である。 図11は、従来技術の問題点を説明するための図である。 図12は、従来技術の問題点を説明するための図である。 図13は、従来技術の問題点を説明するための図である。
以下に、図面を参照しつつ、本願の開示するデータ中継装置およびストレージシステムの一実施形態について詳細に説明する。なお、データ中継装置およびストレージシステムの一実施形態として後述する実施例により、本願が開示する技術が限定されるものではない。
図1は、実施例1に係るデータ中継装置を説明するための図である。同図に示すように、実施例1に係るデータ中継装置は、第1の書き込み処理部、書き込み位置記憶部および第2の書き込み処理部を有する。
第1の書き込み処理部は、第1の仮想記憶部から第2の仮想記憶部にデータをコピーするコピーセッション期間内に、上位装置からの書き込み命令がある場合に、入出力性能が高い仮想記憶部に対してだけ前記書き込み命令を実行する。
書き込み位置記憶部は、第1の書き込み処理部によって書き込み命令が実行された仮想記憶部の書き込み位置を記憶する。
第2の書き込み処理部は、第1の書き込み処理部による書き込み処理が終了した後に、書き込み位置記憶部に記憶された書き込み位置から決定される仮想記憶部のデータを、書き込み命令が未だ実行されていない一方の仮想記憶部に対して書き込む。
このようなことから、実施例1に係るデータ中継装置は、性能が高い側のストレージ装置の性能を十分に活かしたデータ処理を行って、ホストからのライトI/Oについての処理性能の低下を防止する。
以下では、本願の開示するデータ中継装置の一実施形態として、仮想化FCスイッチを例に挙げて説明する。
実施例2に係る仮想化FCスイッチは、接続された複数の物理ストレージ装置の任意の領域から構成された仮想ディスク間でのデータコピー動作中に、ホストからライトI/O(ライトコマンド)を受け付けた場合には、ミラーディスクを介して、ホストからライトI/Oに同期した書き込みを各仮想ディスクに行うことを概要とする。
そして、実施例2に係る仮想化FCスイッチの骨子は、以下に説明する点にある。
すなわち、仮想化FCスイッチが有する第1の書き込み処理部は、コピー元である第1の仮想記憶部の入出力性能がコピー先である第2の仮想記憶部の入出力性能よりも高い場合には、コピーの処理と並行して、当該第1の仮想記憶部に対してだけ書き込み命令を実行する。仮想化FCスイッチが有する書き込み位置記憶部は、第1の書き込み処理部によって書き込み命令が実行された第1の仮想記憶部の書き込み位置を記憶する。仮想化FCスイッチが有する第2の書き込み処理部は、第1の書き込み処理部による書き込み処理が終了した後に、書き込み位置記憶部に記憶された書き込み位置から決定される第1の仮想記憶部のデータを、第2の仮想記憶部に対して書き込むことで、仮想ディスク間のデータを等価にする。以下、実施例2に係る仮想化FCスイッチについて具体的に説明する。
[仮想化FCスイッチの構成(実施例2)]
図2は、実施例2に係る仮想化FCスイッチの構成を示す図である。なお、同図には、実施例1に係る仮想化FCスイッチを説明する上で必要となる処理機能部のみを図示している。
同図に示すように、実施例1に係る仮想化FCスイッチ200は、ホストコンピュータ100、および物理的なストレージ資源であるストレージ装置300および400とデータのやり取りが可能な状態に接続される。そして、仮想化FCスイッチ200は、入出力制御部210と、VT220、230と、制御部240と、ミラーディスク250と、仮想ディスク260、270を有する。
入出力制御部210は、ホストコンピュータ100等との間でやり取りされる各種情報の入出力を制御する。例えば、入出力制御部210は、ホスト100から送出されたライトI/OやリードI/Oなどの入力を制御する。
VT(仮想ターゲット)220、230は、対応する仮想ディスク260、270をホスト100にみせる。すなわち、ホスト100は、仮想化FCスイッチ200に設定されたVT(仮想ターゲット)にアクセス要求を送信することで、仮想ディスク260、270に対するアクセスを実現する。
仮想ディスク260は、ストレージ装置400よりもデータ入出力性能の高いストレージ装置300に対応し、かつコピー元としての役割を果たす。仮想ディスク270は、ストレージ装置400に対応し、かつコピー先としての役割を果たす。なお、データ入出力性能とは、ホストからのI/Oについての処理を行える状態でスタンバイできるまでのストレージの応答性能である。例えば、図9に示す場合では、ホストからのライトコマンドをストレージに転送し、ストレージから応答が帰ってくるまでの時間がデータ入出力性能に該当する。
制御部240は、ホスト100からのライトI/OやリードI/Oについての処理や、仮想ディスク260と仮想ディスク270との間のデータコピー動作を制御する。そして、図2に示すように、制御部240は、書き込み制御部241、ビット設定部242およびコピー制御部243を有する。
書き込み制御部241は、仮想ディスク260から仮想ディスク270にデータをコピーするコピーセッション期間内に、ホスト100からの書き込み命令がある場合に、入出力性能が高い仮想ディスクに対してだけ書き込み命令を実行する。
具体的には、書き込み制御部241は、コピーセッション期間内にホスト100からの書き込み命令があった場合には、入出力性能の高いストレージ300に対応した仮想ディスク260側にだけ書き込む。なお、書き込み制御部241は、後述するコピー制御部243により実行されているコピーセッション内のコピー動作と並行して、書き込みを実行する。書き込み制御部241による具体的な動作等については、図3および図4を用いて後述する。
ビット設定部242は、コピーセッション期間内に、書き込み制御部241によって書き込み命令が実行された仮想ディスク260の書き込み位置を記憶する。具体的には、書き込み制御部241によってホスト100からのデータが書き込まれた仮想ディスク260内の各領域に対応するビットマップのビットをONに設定することで、書き込み位置を記憶する。なお、ビットマップを用いる場合に限定されるものではなく、ホスト100からの書き込み命令が実行された仮想ディスク260の書き込み位置を後述するコピー制御部243が特定さえできれば、どのような情報を用いてもよい。ビット設定部242による具体的な動作等については、図3および図4を用いて後述する。
コピー制御部243は、ホスト100からのライトI/Oに応じて仮想ディスク260に書き込まれているデータを仮想ディスク270にコピーするコピーセッション期間内におけるコピー動作を制御する。具体的には、コピー先となる仮想ディスク270にデータを書き出す動作を仮想ディスク260の先頭LBA(Logical Block Address)から最終LBAまで繰り返す。
また、コピー制御部243は、書き込み制御部241による書き込み処理が終了した後に、ビットマップに記憶された書き込み位置から決定される仮想ディスク260のデータを、仮想ディスク270に対して書き込む。具体的には、仮想ディスク260への書き込みが完了した後に、ビットマップを走査して、ビットがONに設定されている仮想ディスク260内の領域に書き込まれているデータを仮想ディスク270に書き込む。なお、コピー制御部243による具体的な動作等については、図3および図4を用いて後述する。
[仮想化FCスイッチによる動作(実施例2)]
図3および図4は、実施例2に係る仮想化FCスイッチの動作を説明するための図である。以下では、仮想ディスク260に書き込まれているデータを仮想ディスク270にコピーするコピー動作中に、ホスト100からのライトI/Oを受け付けた場合の動作を説明する。なお、以下に説明する仮想化FCスイッチ200による動作は、コピー動作とは排他的、かつ並列に実行されるものとする。
図3に示すように、仮想化FCスイッチ200の書き込み制御部241は、ホスト100から受け付けたライトI/Oを各ストレージ装置(ストレージ装置300および400)に送る(ステップS1)。そして、書き込み制御部241は、各ストレージ装置からの「Ready」応答受付が完了するのを待って、「Ready」応答をホスト100に送る(ステップS2)。
ホスト100からデータが送られてくると、書き込み制御部241は、仮想ディスク260および仮想ディスク270からミラーディスクを生成し、ミラーディスクを介して、ホスト100から受け付けたデータを仮想ディスク260側にだけ書き込む(ステップS3)。
書き込み制御部241により仮想ディスク260へのデータの書込みが完了すると、仮想化FCスイッチのビット設定部242は、仮想ディスク260にデータを書き込んだ領域に対応するビットマップのビットをONに設定する(ステップS4)。
ビットマップのビット設定を終えると、ビット設定部242は、ライトI/O完了のステータスをホスト100に送って(ステップS5)、仮想化FCスイッチ200は、動作を完了する。
次に、図4を用いて、仮想化FCスイッチ200において、例えば、定期的に行われる、仮想ディスク260に書き込まれたデータを仮想ディスク270に書き込む非同期書き込みの動作を説明する。
図4に示すように、仮想化FCスイッチ200のコピー制御部243は、ビット設定部242が有するビットマップを走査して(ステップS1)、ビットがONに設定されている箇所があるか否かを判定する(ステップS2)。
判定の結果、ビットマップ上でビットがONに設定されている箇所がある場合には(ステップS2肯定)、ビットがONに設定されているビット設定部に対応する仮想ディスク260の領域に書き込まれたデータを仮想ディスク270に書き込む(ステップS3)。そして、仮想化FCスイッチ200は、動作を完了する。
一方、ビットマップ上でビットがONに設定されている箇所がない場合には(ステップS2否定)、仮想化FCスイッチ200は、そのまま非同期書き込み動作を完了する。
[実施例2による効果]
上述してきたように、実施例2によれば、仮想化FCスイッチ200は、仮想ディスク260に書き込まれたデータを仮想ディスク270にコピーしているコピー動作中に、ホスト100からライトI/Oを受け付けた場合には、コピー元である仮想ディスク260側にのみ、ホスト100からのデータを書き込む(図5の(1)参照)。
次に、仮想化FCスイッチ200は、仮想ディスク260にデータを書き込んだ領域に対応するビットマップのビットをONに設定する(図5の(2)参照)。続いて、ホスト100からのデータを仮想ディスク260に書き込んだタイミングとは別なタイミングで、すなわち、非同期に、仮想ディスク260に書き込まれたデータを仮想ディスク270に書き込んで、仮想ディスクを互いに等価にする(図5の(3)参照)。図5は、実施例2に係る仮想化FCスイッチを説明するための図である。
実施例2によれば、従来のように、ホスト100からのライトI/Oに同期して、ホストからのデータを仮想ディスク260および仮想ディスク270の双方に書き込む同期書き込みを行うことはせず、ストレージ装置400よりもデータ入出力性能の高いストレージ装置300に対応した仮想ディスク260にのみデータを書き込む。
したがって、ストレージ装置300よりも入出力性能の低いストレージ装置400に対応した仮想ディスク270から、ホスト100からのI/Oについての処理を行える状態であることを示す応答(Ready応答、例えば、図9参照)を待つ必要がなく、既にホスト100からのI/Oについての処理を行える状態である仮想ディスク260側にのみデータを書き込んで、ホスト100に書き込みの完了を応答する。すなわち、ストレージ装置300の性能がストレージ装置400の性能に引きずられることなく、ホストからのI/Oについての処理する仮想化FCスイッチ200の性能が悪くなることもない。
このように、実施例2の仮想化FCスイッチ200によれば、データの入出力性能が異なる複数のストレージ装置を有するストレージシステムにおいて、性能が高い側のストレージ装置の性能を十分に活かしたデータ処理を行って、ホストからのライトI/Oについての処理性能の低下を防止する。
上記の実施例2において、ホスト100からのライトI/Oに同期して、ホストからのデータを仮想ディスク260および仮想ディスク270に書き込む同期書き込みと、ホスト100からのライトI/Oに応じて仮想ディスク260に書き込んだデータを、ライトI/Oとは非同期なタイミングで仮想ディスク270に書き込む非同期書き込みとを切り替えて用いるようにしてもよい。
[仮想化FCスイッチの構成(実施例3)]
図6は、実施例3に係る仮想化FCスイッチの構成を示す図である。実施例3に係る仮想化FCスイッチ200は、モード切替部制御部244を有する点が実施例2に係る仮想化FCスイッチ200とは異なる。
具体的に説明すると、モード切替部制御部244は、書き込み制御部241において各ストレージ装置からの「Ready」応答受付が完了すると、書き込み制御部241に書き込み動作を一時的に停止させる。そして、モード切替部制御部244は、「Ready」応答の受付時間差を算出して、算出された受付時間差を所定の閾値と比較し、比較結果からストレージ装置の入出力性能差を判定する。
各ストレージ装置からの「Ready」応答の受付時間差を所定の閾値と比較した結果、受付時間差が所定の閾値を越えている場合には、モード切替制御部244は、例えば、仮に現時点で書き込み制御部241に設定されている同期書き込みモードを非同期書き込みモードに切り替える。そして、書き込み制御部241に書き込み動作を開始させる。
書き込み制御部241は、書き込み動作を再開し、「Ready」応答をホスト100に送り、モード切替制御部244により設定された非同期書き込みモードに従って、ホスト100から受け付けたデータを仮想ディスク260側にだけ書き込む。以降の動作は、上記の実施例2と同様である(例えば、図3のステップS2以降および図4参照)。
また、各ストレージ装置からの「Ready」応答の受付時間差を所定の閾値と比較した結果、受付時間差が所定の閾値以下である場合には、モード切替制御部244は、例えば、仮に現時点で書き込み制御部241に設定されている同期書き込みモードを維持する。そして、書き込み制御部241に書き込み動作を開始させる。
書き込み制御部241は、書き込み動作を再開し、「Ready」応答をホスト100に送り、モード切替制御部244により設定された同期書き込みモードに従って、ホスト100から受け付けたデータを仮想ディスク260および仮想ディスク270の双方に書き込む。書き込み制御部241は、データの書込みが完了すると、非同期書き込みモードの場合と同様に、ライトI/O完了のステータスをホスト100に送る。
[仮想化FCスイッチによる動作(実施例3)]
図7は、実施例3に係る仮想化FCスイッチの動作を説明するための図である。実施例3に係る仮想化FCスイッチの動作は、以下に説明する点が実施例2に係る仮想化FCスイッチの動作とは異なる。なお、以下では、書き込み制御部241におけるデータの書込みモードが現時点で同期書き込みモードの設定されている時の動作を説明する。
すなわち、モード切替部制御部244は、各ストレージ装置からの「Ready」応答の受付時間差を算出して、算出された受付時間差を所定の閾値と比較し、比較結果からストレージ装置の入出力性能差を判定する(ステップS3)。
各ストレージ装置からの「Ready」応答の受付時間差を所定の閾値と比較した結果、受付時間差が所定の閾値を越えている場合には(ステップS3肯定)、モード切替制御部244は、例えば、仮に現時点で書き込み制御部241に設定されている同期書き込みモードを非同期書き込みモードに切り替える(ステップS4)。そして、書き込み制御部241に書き込み動作を開始させる。
書き込み制御部241は、「Ready」応答をホスト100に送り、モード切替制御部244により設定された非同期書き込みモードに従って、ホスト100から受け付けたデータを仮想ディスク260側にだけ書き込む(ステップS5)。以降の動作は、上記の実施例2と同様であり(例えば、図4のステップS2以降参照)、ライトI/O完了のステータスをホスト100に送って(ステップS7)、書き込み動作を完了する。
ここで、ステップS3の説明に戻ると、各ストレージ装置からの「Ready」応答の受付時間差を所定の閾値と比較した結果、受付時間差が所定の閾値以下である場合には(ステップS3否定)、モード切替制御部244は、書き込み制御部241に設定されている同期書き込みモードを維持する(ステップS8)。そして、書き込み制御部241に書き込み動作を開始させる。
書き込み制御部241は、「Ready」応答をホスト100に送り、モード切替制御部244により設定された同期書き込みモードに従って、ホスト100から受け付けたデータを仮想ディスク260および仮想ディスク270の双方に書き込む(ステップS9)。そして、ライトI/O完了のステータスをホスト100に送って(ステップS7)、書き込み動作を完了する。
仮想化FCスイッチの運用において、仮想ディスク260から仮想ディスク270への全体コピーが完了すると、2つの仮想ディスクは切り離され、それぞれ別の仮想ディスクとして使用されるようになる。
書き込み制御部241が非同期書き込みモードに設定されている場合、仮想ディスク260から仮想ディスク270への全体コピーが完了しても、ホストからのライトI/Oがコピー先の仮想ディスク270に反映されるまで時間がかかるので、切り離しの操作は待たされることになる。したがって、書き込み制御部241を同期書き込みモードに設定しておいて、ホスト100からのデータを2つの仮想ディスクに同期的に書き込んだ方が都合がよい。
上記の実施例3では、各ストレージ装置からの「Ready」応答の受付時間差を算出して、算出された受付時間差を所定の閾値と比較し、比較結果からストレージ装置の入出力性能差を判定する。そして、ストレージ装置間の入出力性能にそれほど差がない場合には、書き込み制御部241を同期書き込みモードに設定して、ホスト100からのデータを2つの仮想ディスクに同期的に書き込む。
一方、各ストレージ装置間の入出力性能に差がある場合には、書き込み制御部241の書き込みモードを非同期書き込みモードに切り替えて書き込みを行うようにして、性能が高い側のストレージ装置の性能が、性能が低いストレージ装置400の性能に引きずられないようにする。
このようなことから、実施例3によれば、性能が高い側のストレージ装置の性能を十分に活かしたデータ処理を行って、ホストからのライトI/Oに応じた処理性能の低下を防止するだけでなく、仮想化FCスイッチの運用においてより適切な書き込みモードへの切替を実現する。
また、各ストレージ装置からの「Ready」応答の受付時間差を算出して、ストレージ装置の入出力性能差の判定は、定期的に実行してもよいし、ホスト100からのライトI/Oの受付に応じて実行してもよい。
以下、本願の開示する仮想化FCスイッチおよびストレージシステムの他の実施形態を説明する。
(1)コピー元の仮想ディスクに対応するストレージ装置の性能が低い場合の動作
仮想化FCスイッチ200においては、ホスト100からライトI/Oを受けたら仮想ディスク間のデータコピー動作においてコピー元として機能する仮想ディスク260のデータを更新する。さらに、ホスト100からリードI/Oを受けたらコピー元として機能する仮想ディスク260からデータを読み出す。すなわち、ホスト100からのI/Oに対する仮想化FCスイッチ200の応答性能は、コピー元として機能する仮想ディスクに対応したストレージ装置の入出力性能に依存する。
このようなことから、コピー元として機能する仮想ディスク260に対応したストレージ装置300の方が、コピー先となる仮想ディスク270に対応したストレージ装置400よりも入出力性能が低い場合には、ホスト100への応答性能は低下する。
コピー元である仮想ディスク260に対応したストレージ装置300の方が、コピー先の仮想ディスク270に対応したストレージ装置400よりも入出力性能が低い場合には、仮想ディスク間のコピー動作中にホストからのライトI/Oを受けた場合に、コピー元として機能していた仮想ディスク260にだけデータを書き込むと、ホストへの応答性能をより低下させる結果となるので同期書き込みを行う。
仮想ディスク間のコピー動作が完了し、仮想ディスク260と仮想ディスク270との間のデータが等価になった以降(コピー制御部243による仮想ディスク間のコピー動作が完了した以降)は、書き込み制御部241は、ホスト100からのライトI/Oに応じたデータをコピー先である仮想ディスク270側にだけ書き込む。なお、書き込み制御部241は、例えば、コピー制御部243からコピー完了通知を受けることによって、仮想ディスク260と仮想ディスク270との間のデータが等価になった時点を把握する。
書き込み制御部241による仮想ディスク270へのデータの書込み、すなわち、仮想ディスク260と仮想ディスク270との間のデータが等価になった以降の書込みが完了すると、ビット設定部242は、仮想ディスク270にデータを書き込んだ領域に対応するビットマップのビットをONに設定する。
そして、コピー制御部243は、ビット設定部242が有するビットマップを走査して、ビットマップ上でビットがONに設定されている箇所に基づいて、仮想ディスク270の領域に書き込まれたデータを仮想ディスク260に書き込むことで、仮想ディスク270と仮想ディスク260とを等価にする。
このようにすることで、仮想ディスク間の等価性を維持しつつ、ホストへの応答性能をできる限り向上させることができる。
なお、仮想ディスクの中から、ホスト100からのライトI/Oに応じたデータの書き込み先を選択する場合には、ストレージの一時的な負荷増による入出力性能の低下に鑑みて、上記の実施例3で説明したように、各ストレージ装置からの「Ready」応答の受付時間差に基づいて選択することもできる。
(2)仮想ディスクの更新回数に応じた動作
上記の実施例で説明した実施形態により、性能が高い側のストレージ装置の性能を十分に活かしたデータ処理を実現しつつ、ホスト100からのライトI/Oに対する応答性能を向上させることができる。
しかしながら、ホスト100からライトI/Oが頻出され、ライトI/Oを受けるたびに仮想ディスクの更新を行う場合には、仮想化FCスイッチ200において仮想ディスク間のデータコピー動作による処理負荷が増大することとなる。また、仮想化FCスイッチとストレージ装置間をマルチプロトコルルータ経由で接続する場合には、ホスト100と仮想化FCスイッチ200との間で、仮想ディスク間のデータコピーに伴うやり取りされるデータのやり取りが増大し、通信のトラフィックへの負荷となる。
そこで、ビット設定部242が有するビットマップにビットの更新回数をあわせて記録しておき、ビットマップを操作する場合に、更新頻度の多いビットについては毎回走査しないようにする。このようにすることで、仮想化FCスイッチ200において仮想ディスク間のデータコピー動作による処理負荷が低減することができる。
(3)装置構成等
図2あるいは図6に示した仮想化FCスイッチ200の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、仮想化FCスイッチ200の分散・統合の具体的形態は図示のものに限られず、例えば、図2に示すビット設定部242とコピー制御部243とを機能的あるいは物理的に統合する。あるいは、図6に示す書き込み制御部241とモード切替制御部244とを機能的あるいは物理的に統合する。
このように、仮想化FCスイッチ200の全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、仮想化FCスイッチ200にて行なわれる各処理機能(図2、図4等参照)は、その全部または任意の一部が、例えば、CPU(Central Processing Unit)および当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
(付記1)第1の仮想記憶部から第2の仮想記憶部にデータをコピーするコピーセッション期間内に、上位装置からの書き込み命令がある場合に、入出力性能が高いか想起億部に対してだけ前記書き込み命令を実行する第1の書き込み処理部と、
前記第1の書き込み処理部によって書き込み命令が実行された仮想記憶部の書き込み位置を記憶する書き込み位置記憶部と、
前記第1の書き込み処理部による書き込み処理が終了した後に、前記書き込み位置記憶部に記憶された書き込み位置から決定される前記仮想記憶部のデータを、前記書き込み命令が未だ実行されていない一方の仮想記憶部に対して書き込む第2の書き込み処理部と
を有することを特徴とするデータ中継装置。
(付記2)前記第1の書き込み処理部は、コピー元である第1の仮想記憶部の入出力性能がコピー先である第2の仮想記憶部の入出力性能よりも高い場合には、前記コピーの処理と並行して、当該第1の仮想記憶部に対してだけ前記書き込み命令を実行し、
前記書き込み位置記憶部は、前記第1の書き込み処理部によって書き込み命令が実行された前記第1の仮想記憶部の書き込み位置を記憶し、
前記第2の書き込み処理部は、前記第1の書き込み処理部による書き込み処理が終了した後に、前記書き込み位置記憶部に記憶された書き込み位置から決定される前記第1の仮想記憶部のデータを、前記第2の仮想記憶部に対して書き込むことを特徴とする付記1に記載のデータ中継装置。
(付記3)上位装置からの書き込み命令を第1の仮想記憶部から第2の仮想記憶部に転送し、転送した書き込み命令に対して、前記第1および第2の仮想記憶部から受け付けた応答の受付時間差を算出し、算出された受付時間差から前記第1の仮想記憶部と前記第2の仮想記憶部との間の入出力性能差を判定する性能判定部と、
前記性能判定部による入出力性能差の判定結果に応じて、上位装置からの書き込み命令を前記第1または第2の仮想記憶部のいずれか一方にだけ実行する非同期書き込みモード、あるいは上位装置からの書き込み命令を前記第1および第2の仮想記憶部の双方に実行する同期書き込みモードのいずれか一方を設定するモード設定部と
をさらに有し、
前記第1の書き込み処理部は、前記モード設定部により設定されたモードに従って、上位装置からの書き込み命令を実行することを特徴とする付記1に記載のデータ中継装置。
(付記4)前記書き込み位置記憶部は、前記書き込み位置の更新回数を記録する更新回数記録部をさらに有し、
前記第1の書き込み処理部は、前記書き込み位置記憶部に記憶されている更新回数に基づいて、前記書き込み位置記憶部に記憶された書き込み位置から決定される前記仮想記憶部のデータを、前記書き込み命令が未だ実行されていない一方の仮想記憶部に対して書き込むか否かを決定することを特徴とする付記1に記載のデータ中継装置。
(付記5)前記第1の書き込み処理部は、コピー元である第1の仮想記憶部の入出力性能がコピー先である第2の仮想記憶部の入出力性能よりも低い場合には、前記コピーの処理と並行して、前記第1および第2の仮想記憶部に対して前記書き込み命令を実行し、さらに、前記コピーの処理が完了した後は、前記第2の仮想記憶部に対してだけ前記書き込み命令を実行し、
前記書き込み位置記憶部は、前記コピーの処理が完了した後に前記第1の書き込み処理部によって書き込み命令が実行された前記第2の仮想記憶部の書き込み位置を記憶し、
前記第2の書き込み処理部は、前記第1の書き込み処理部による書き込み処理が終了した後に、前記書き込み位置記憶部に記憶された書き込み位置から決定される前記第2の仮想記憶部のデータを、前記第1の仮想記憶部に対して書き込むことを特徴とする付記1に記載のデータ中継装置。
(付記6)前記コピーの処理が完了した後に上位装置からの読み出し命令があった場合には、前記第2の仮想記憶部に対して読み出し命令を実行する読み出し処理部をさらに有することを特徴とする付記5に記載のデータ中継装置。
(付記7)第1のストレージ装置と、
第2のストレージ装置と、
前記第1および/または第2のストレージ装置とのデータのやり取りが可能な状態に接続され、前記第1および/または第2のストレージ装置から作成される仮想記憶部に対して、上位装置からの書き込み命令または読み出し命令を実行するデータ中継装置と
を有し、
前記データ中継装置は、
第1の仮想記憶部から第2の仮想記憶部にデータをコピーするコピーセッション期間内に、上位装置からの書き込み命令がある場合に、入出力性能が高いか想起億部に対してだけ前記書き込み命令を実行する第1の書き込み処理部と、
前記第1の書き込み処理部によって書き込み命令が実行された仮想記憶部の書き込み位置を記憶する書き込み位置記憶部と、
前記第1の書き込み処理部による書き込み処理が終了した後に、前記書き込み位置記憶部に記憶された書き込み位置から決定される前記仮想記憶部のデータを、前記書き込み命令が未だ実行されていない一方の仮想記憶部に対して書き込む第2の書き込み処理部と
を有することを特徴とするストレージシステム。
200 仮想化FCスイッチ
210 入出力制御部
220,230 VT
240 制御部
241 書き込み制御部
242 ビット設定部
243 コピー制御部
244 モード切替制御部
250 ミラーディスク
260,270 仮想ディスク
300,400 ストレージ装置

Claims (6)

  1. 第1の仮想記憶部から第2の仮想記憶部にデータをコピーするコピーセッション期間内に、上位装置からの書き込み命令がある場合に、入出力性能が高い仮想記憶部に対してだけ前記書き込み命令を実行する第1の書き込み処理部と、
    前記第1の書き込み処理部によって書き込み命令が実行された仮想記憶部の書き込み位置を記憶する書き込み位置記憶部と、
    前記第1の書き込み処理部による書き込み処理が終了した後に、前記書き込み位置記憶部に記憶された書き込み位置から決定される前記仮想記憶部のデータを、前記書き込み命令が未だ実行されていない一方の仮想記憶部に対して書き込む第2の書き込み処理部と
    を有することを特徴とするデータ中継装置。
  2. 前記第1の書き込み処理部は、コピー元である第1の仮想記憶部の入出力性能がコピー先である第2の仮想記憶部の入出力性能よりも高い場合には、前記コピーの処理と並行して、当該第1の仮想記憶部に対してだけ前記書き込み命令を実行し、
    前記書き込み位置記憶部は、前記第1の書き込み処理部によって書き込み命令が実行された前記第1の仮想記憶部の書き込み位置を記憶し、
    前記第2の書き込み処理部は、前記第1の書き込み処理部による書き込み処理が終了した後に、前記書き込み位置記憶部に記憶された書き込み位置から決定される前記第1の仮想記憶部のデータを、前記第2の仮想記憶部に対して書き込むことを特徴とする請求項1に記載のデータ中継装置。
  3. 上位装置からの書き込み命令を第1の仮想記憶部から第2の仮想記憶部に転送し、転送した書き込み命令に対して、前記第1および第2の仮想記憶部から受け付けた応答の受付時間差を算出し、算出された受付時間差から前記第1の仮想記憶部と前記第2の仮想記憶部との間の入出力性能差を判定する性能判定部と、
    前記性能判定部による入出力性能差の判定結果に応じて、上位装置からの書き込み命令を前記第1または第2の仮想記憶部のいずれか一方にだけ実行する非同期書き込みモード、あるいは上位装置からの書き込み命令を前記第1および第2の仮想記憶部の双方に実行する同期書き込みモードのいずれか一方を設定するモード設定部と
    をさらに有し、
    前記第1の書き込み処理部は、前記モード設定部により設定されたモードに従って、上位装置からの書き込み命令を実行することを特徴とする請求項1に記載のデータ中継装置。
  4. 前記書き込み位置記憶部は、前記書き込み位置の更新回数を記録する更新回数記録部をさらに有し、
    前記第1の書き込み処理部は、前記書き込み位置記憶部に記憶されている更新回数に基づいて、前記書き込み位置記憶部に記憶された書き込み位置から決定される前記仮想記憶部のデータを、前記書き込み命令が未だ実行されていない一方の仮想記憶部に対して書き込むか否かを決定することを特徴とする請求項1に記載のデータ中継装置。
  5. 前記第1の書き込み処理部は、コピー元である第1の仮想記憶部の入出力性能がコピー先である第2の仮想記憶部の入出力性能よりも低い場合には、前記コピーの処理と並行して、前記第1および第2の仮想記憶部に対して前記書き込み命令を実行し、さらに、前記コピーの処理が完了した後は、前記第2の仮想記憶部に対してだけ前記書き込み命令を実行し、
    前記書き込み位置記憶部は、前記コピーの処理が完了した後に前記第1の書き込み処理部によって書き込み命令が実行された前記第2の仮想記憶部の書き込み位置を記憶し、
    前記第2の書き込み処理部は、前記第1の書き込み処理部による書き込み処理が終了した後に、前記書き込み位置記憶部に記憶された書き込み位置から決定される前記第2の仮想記憶部のデータを、前記第1の仮想記憶部に対して書き込むことを特徴とする請求項1に記載のデータ中継装置。
  6. 第1のストレージ装置と、
    第2のストレージ装置と、
    前記第1および/または第2のストレージ装置とのデータのやり取りが可能な状態に接続され、前記第1および/または第2のストレージ装置から作成される仮想記憶部に対して、上位装置からの書き込み命令または読み出し命令を実行するデータ中継装置と
    を有し、
    前記データ中継装置は、
    第1の仮想記憶部から第2の仮想記憶部にデータをコピーするコピーセッション期間内に、上位装置からの書き込み命令がある場合に、入出力性能が高いか想起億部に対してだけ前記書き込み命令を実行する第1の書き込み処理部と、
    前記第1の書き込み処理部によって書き込み命令が実行された仮想記憶部の書き込み位置を記憶する書き込み位置記憶部と、
    前記第1の書き込み処理部による書き込み処理が終了した後に、前記書き込み位置記憶部に記憶された書き込み位置から決定される前記仮想記憶部のデータを、前記書き込み命令が未だ実行されていない一方の仮想記憶部に対して書き込む第2の書き込み処理部と
    を有することを特徴とするストレージシステム。
JP2009151527A 2009-06-25 2009-06-25 データ中継装置およびストレージシステム Pending JP2011008548A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009151527A JP2011008548A (ja) 2009-06-25 2009-06-25 データ中継装置およびストレージシステム
US12/820,686 US8443140B2 (en) 2009-06-25 2010-06-22 Apparatus, computer-readable recording medium and storage system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009151527A JP2011008548A (ja) 2009-06-25 2009-06-25 データ中継装置およびストレージシステム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012276282A Division JP5594354B2 (ja) 2012-12-18 2012-12-18 制御装置およびストレージシステム

Publications (1)

Publication Number Publication Date
JP2011008548A true JP2011008548A (ja) 2011-01-13

Family

ID=43382027

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009151527A Pending JP2011008548A (ja) 2009-06-25 2009-06-25 データ中継装置およびストレージシステム

Country Status (2)

Country Link
US (1) US8443140B2 (ja)
JP (1) JP2011008548A (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8775753B2 (en) * 2011-01-04 2014-07-08 International Business Machines Corporation Synchronization of logical copy relationships
CN102722341B (zh) * 2012-05-17 2014-12-24 杭州中天微系统有限公司 存储载入单元投机执行控制装置
US20140281621A1 (en) * 2013-03-15 2014-09-18 Jay Everett Nelson Stealth power management in storage array
JP6398417B2 (ja) * 2014-07-22 2018-10-03 富士通株式会社 ストレージ装置、ストレージシステム及びストレージ制御プログラム
JP6814020B2 (ja) * 2016-10-26 2021-01-13 キヤノン株式会社 情報処理装置とその制御方法、及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007535763A (ja) * 2004-04-30 2007-12-06 イーエムシー コーポレイション ストレージ・エリア・ネットワークにおけるオンライン初期ミラー同期化およびミラー同期化検証
JP2008123444A (ja) * 2006-11-15 2008-05-29 Fujitsu Ltd データ格納制御装置、データ格納制御方法、データ格納制御プログラムおよびデータ記憶システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3428842B2 (ja) 1997-01-08 2003-07-22 株式会社日立製作所 情報処理システムおよびデータ多重化システム
JP3400297B2 (ja) 1997-06-04 2003-04-28 株式会社日立製作所 記憶サブシステムおよび記憶サブシステムのデータコピー方法
JP4325843B2 (ja) * 2002-12-20 2009-09-02 株式会社日立製作所 論理ボリュームコピー先性能調整方法及び装置
JP4391265B2 (ja) * 2004-02-26 2009-12-24 株式会社日立製作所 ストレージサブシステムおよび性能チューニング方法
JP2006127028A (ja) * 2004-10-27 2006-05-18 Hitachi Ltd 記憶システム及び記憶制御装置
JP2007179156A (ja) * 2005-12-27 2007-07-12 Hitachi Ltd 記憶制御装置及び方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007535763A (ja) * 2004-04-30 2007-12-06 イーエムシー コーポレイション ストレージ・エリア・ネットワークにおけるオンライン初期ミラー同期化およびミラー同期化検証
JP2008123444A (ja) * 2006-11-15 2008-05-29 Fujitsu Ltd データ格納制御装置、データ格納制御方法、データ格納制御プログラムおよびデータ記憶システム

Also Published As

Publication number Publication date
US20100332772A1 (en) 2010-12-30
US8443140B2 (en) 2013-05-14

Similar Documents

Publication Publication Date Title
JP4282464B2 (ja) リモートコピーシステム
US7343449B2 (en) Storage subsystem and storage system
WO2021005444A1 (en) Mirroring write operations across data storage devices
JP2011008548A (ja) データ中継装置およびストレージシステム
JP6028415B2 (ja) 仮想サーバ環境のデータ移行制御装置、方法、システム
JP4719801B2 (ja) デバイス管理装置、デバイス初期化方法、デバイス初期化プログラムおよびデバイスシステム
JP4325849B2 (ja) 記憶システム、バックアップシステム及びバックアップ方法
US9015385B2 (en) Data storage device and method of controlling data storage device
JP5182162B2 (ja) 計算機システム及びi/o制御方法
US11003541B2 (en) Point-in-time copy on a remote system
US20160011791A1 (en) Storage control apparatus, storage system, and program
US10509567B2 (en) System and method for migrating storage while in use
US8972634B2 (en) Storage system and data transfer method
JP5594354B2 (ja) 制御装置およびストレージシステム
US10732872B2 (en) Storage system and storage control method
JP2005275537A (ja) コピー制御装置および方法
EP1693756B1 (en) Storage subsystem and storage system
JP2012022645A (ja) データ記憶システムおよび非同期レプリケーション方法
US20130054914A1 (en) Data copy processing system, storage device, and data copy processing method
US20160357479A1 (en) Storage control apparatus
JP2018063491A (ja) 制御装置、制御方法及びプログラム
JP5040956B2 (ja) コピー制御装置および方法
JP2004246779A (ja) マルチプロセッサシステム及びデバイス共有方法
JP2022022059A (ja) 情報処理装置、情報処理プログラム、及び情報処理方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120213

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120918