JP2008217354A - 階層型ストレージ管理システムにおける要求スケジューリング方法、要求スケジューリング装置、及びプログラム - Google Patents

階層型ストレージ管理システムにおける要求スケジューリング方法、要求スケジューリング装置、及びプログラム Download PDF

Info

Publication number
JP2008217354A
JP2008217354A JP2007053128A JP2007053128A JP2008217354A JP 2008217354 A JP2008217354 A JP 2008217354A JP 2007053128 A JP2007053128 A JP 2007053128A JP 2007053128 A JP2007053128 A JP 2007053128A JP 2008217354 A JP2008217354 A JP 2008217354A
Authority
JP
Japan
Prior art keywords
request
drive device
scheduling
storage
read
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007053128A
Other languages
English (en)
Other versions
JP4490451B2 (ja
Inventor
Hiroyuki Miura
宏之 三浦
Satoshi Taki
聡史 滝
Takeshi Oshita
健 大下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2007053128A priority Critical patent/JP4490451B2/ja
Priority to US12/073,040 priority patent/US20080216078A1/en
Publication of JP2008217354A publication Critical patent/JP2008217354A/ja
Application granted granted Critical
Publication of JP4490451B2 publication Critical patent/JP4490451B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659Command handling arrangements, e.g. command buffers, queues, command scheduling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061Improving I/O performance
    • G06F3/0611Improving I/O performance in relation to response time
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0683Plurality of storage devices
    • G06F3/0685Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Abstract

【課題】HSM(階層型ストレージ管理)システムで二次ストレージにおける記録媒体の着脱を行う頻度をより抑えつつ、要求をスケジューリングするための技術を提供する。
【解決手段】 階層制御装置は、二次ストレージに搭載されたテープドライブ装置37毎に、そのドライブ装置37で実行させた要求を履歴とすることで参照し、その要求として、カートリッジ38からデータを読み出すリード要求が所定数、連続したテープドライブ装置37をリード要求の専用とする。リード要求の専用としたテープドライブ装置37では、それが実行可能な要求を優先して実行させる。それにより、カートリッジ38を交換する回数を抑えたスケジューリングを行う。そのリード要求の専用とするテープドライブ装置37には上限数を設けることにより、リード要求以外の要求にも対応可能とさせる。
【選択図】図3

Description

本発明は、複数のドライブ装置を搭載し、それぞれのドライブ装置に記録媒体を自動的に着脱可能なストレージを二次ストレージとする階層型ストレージ管理システムでその二次ストレージへの要求のスケジューリングをコンピュータに実行させるための技術に関する。
近年、情報のデジタル化が進み、これまでシステムで取り扱ったことのない情報もデジタル化されるようになってきている。それにより、保管するデータ量は急速に増加し、そのデータ量の増加に伴い維持コストも増大している。このようなことから最近では、アクセス速度を維持しつつ、大量のデータをより低コストに蓄積できる階層型ストレージ管理(HSM:Hierarchical Storage Management)システムが利用されている。
そのHSMシステムでは、アクセス速度の異なる少なくとも2種類のストレージをそれぞれ一次ストレージ、及び二次ストレージとして用意し、アクセス頻度(必要性)の高いファイルは高速な一次ストレージに、アクセス頻度の低いファイルは低速な二次ストレージに自律的に移動させる。それにより、システム全体を仮想化しつつ、アクセスを高速に行える環境を実現させている。
アクセス速度の速いストレージは高価であり、アクセス速度の遅いストレージは安価であるのが普通である。このため、アクセス速度の遅い安価なストレージを二次ストレージとして採用することにより、システム全体のコストを抑えつつ、大容量のデータを蓄積することができる。通常、一次ストレージとしては、ハードディスク装置等のディスク装置(内蔵のディスクを駆動するドライブ装置)を複数、搭載したディスクアレイ装置が採用され、二次ストレージとしては、DVD、或いは磁気テープ等の記録媒体を自動的に交換可能なドライブ装置、或いはそのドライブ装置を複数、搭載したものが採用される。磁気テープは、コスト面、データ保存性に優れている点が着目されている。
一次ストレージに存在しないデータにアクセスがあると、そのデータを読み出すための要求(リード要求)が発行される。そのリード要求により、二次ストレージからデータが読み出され、一次ストレージに送信される。
特開平05−128004号公報 W099/56211 特開平06−44107号公報 特開昭60−147855号公報 特開平3−136148号公報 特開平10−269115号公報 特開平11−102311号公報
二次ストレージでは、一次ストレージと比較して、各処理の所要時間が非常に長い。そのリード要求を処理するときには、データを記録した記録媒体をドライブ装置に装着しなければならない。その装着には長い時間が必要なため、データが読み出されるまでの待ち時間も非常に長くなる。ドライブ装置が別の処理で使用中になっている場合には、待ち時間は更に長くなり、ユーザの運用に大きな悪影響を与えることになる。このことから、二
次ストレージで要求を実行する順序(スケジューリング)は性能(アクセス速度)に大きな影響を及ぼす可能性がある。
二次ストレージに対して発行される要求としては、上記リード要求の他に、データを記録媒体に書き込むためのライト要求、ミラーリングにより論理ボリュームを構成している記録媒体の一つに不具合が発生した場合に、冗長性を復旧するためのリビルド要求、及び記録媒体中の不要領域を無くすためのガーベジコレクション要求、等がある。それらの要求には優先度が定められており、要求のスケジューリングを行う従来の要求スケジューリング装置は基本的に、優先度の高い要求から順次、処理させるようになっていた(特許文献4)。それにより、記録媒体の着脱が多発して性能を低下させるという状況が発生しやすいという問題点があった。
図5は、HSMシステムで要求が発行される発生率の時間変化を示す図である。その図5は、1日における一次ストレージ、及び二次ストレージへの要求の発生率の変化を矢印の数で示している。矢印の向きはデータが転送される方向を示している。それにより、例えば一次ストレージから二次ストレージに向いた矢印は、一次ストレージのデータを二次ストレージに格納するライト要求を表している。
上述したように、二次ストレージへのアクセスには長い時間がかかる。このため、図5に示すように、二次ストレージにアクセスする要求は、業務によるアクセスが少なくなる時間帯(夜間)に発行して処理し、翌日の業務が開始する時間には一次ストレージに用意しておくべきデータを用意しておくようになっているのが普通である。それにより、二次ストレージへの要求は或る程度、集中することが予想される。
二次ストレージへの要求が集中する場合、記録媒体の着脱の多発は要求の処理に要する平均の所用時間を著しく増大させる原因となる。着脱の多発は、記録媒体の消耗をより早くさせる原因ともなる。このようなこともあり、要求のスケジューリングでは、記録媒体を着脱(交換)する頻度に着目することは非常に重要と考えられる。
本発明は、HSM(階層型ストレージ管理)システムで二次ストレージにおける記録媒体の着脱を行う頻度をより抑えつつ、要求をスケジューリングするための技術を提供することを目的とする。
本発明の第1の態様の階層型ストレージ管理システムにおける要求スケジューリング方法は、複数のドライブ装置を搭載し、それぞれのドライブ装置に記録媒体を着脱可能なストレージを二次ストレージとする階層型ストレージ管理システムにおける該二次ストレージへの要求のスケジューリング方法であって、ドライブ装置毎に、該ドライブ装置で処理させた要求を参照し、装着された記録媒体からデータを読み出すリード要求の参照結果に基づき、ドライブ装置を該リード要求の専用ドライブ装置に設定して、該要求のスケジューリングを行う。
第2の態様の要求スケジューリング方法は、上記第1の態様における工程に加えて、ドライブ装置毎に、該ドライブ装置に記録媒体を要求の処理のために装着させてから経過した経過時間を計時し、該計時した経過時間が所定時間を超えていないドライブ装置に対し、該ドライブ装置で処理可能な要求を優先して処理させるスケジューリングを併せて行う。
本発明の要求スケジューリング装置は、複数のドライブ装置を搭載し、それぞれのドライブ装置に記録媒体を着脱可能なストレージを二次ストレージとする階層型ストレージ管
理システムで該二次ストレージへの要求のスケジューリングを行うことを前提とし、ドライブ装置毎に、該ドライブ装置で処理させた要求を参照する参照手段と、参照手段により、装着された記録媒体からデータを読み出すリード要求に基づき、ドライブ装置を該リード要求の専用に設定して、該要求のスケジューリングを行うスケジューリング手段と、を具備する。
本発明のプログラムは、複数のドライブ装置を搭載し、それぞれのドライブ装置に記録媒体を着脱可能なストレージを二次ストレージとする階層型ストレージ管理システムで該二次ストレージへの要求のスケジューリングを行わせるコンピュータに、ドライブ装置毎に、該ドライブ装置で処理させた要求を参照する参照機能と、参照機能により、装着された記録媒体からデータを読み出すリード要求に着目し、ドライブ装置を該リード要求の専用ドライブ装置に設定して、該要求のスケジューリングを行うスケジューリング機能と、を実現させる。
本発明では、二次ストレージに搭載されたドライブ装置毎に、そのドライブ装置で処理させた要求を参照し、その要求として、装着された記録媒体からデータを読み出すリード要求の参照結果に基づき(着目し)、ドライブ装置をリード要求の専用ドライブ装置に設定して、要求のスケジューリングを行う。
上記リード要求は、ランダムに発生する場合もあるが、古い複数のデータ(ファイル)を一度にアクセスしようとして発生する場合も多い。その場合、特定の記録媒体へのリード要求が連続して発生することになる。このため、リード要求に着目して、ドライブ装置をリード要求の専用とすることにより、記録媒体を交換することなく、より多くの要求を処理させることができる。
ドライブ装置毎に、そのドライブ装置に記録媒体を要求の処理のために装着させてから経過した経過時間を計時し、計時した経過時間が所定時間を超えていないドライブ装置に対し、ドライブ装置で処理可能な要求を優先して処理させるスケジューリングを行う場合には、記録媒体を交換することなく、処理可能な要求を処理させることができる。
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。
図1は、本実施の形態による要求スケジューリング装置が適用された階層型ストレージ管理(HSM)システムの構成図である。そのHSMシステムは、通信ネットワークと接続されたホスト(Host)コンピュータ(以降「ホスト」)1を用いて構築したものであり、一次ストレージ2としてディスクアレイ装置、二次ストレージ3として、磁気テープ38を着脱可能な複数のテープドライブ装置37を搭載したテープライブラリ装置を備えている。一次ストレージ2はホスト1に対して、搭載されているディスク容量よりも大容量の論理ボリュームを提供する。一次ストレージ2、及び二次ストレージ3とそれぞれ接続された階層制御装置4は、一次ストレージ2と連携して二次ストレージ3との間のデータの移動を自律的に行い、階層間でデータの管理を行えるものである。一次ストレージ2及び二次ストレージ3の仮想化は、その一次ストレージ2と階層制御装置4によって実現される。本実施の形態による二次ストレージ3の要求スケジューリング装置は、その階層制御装置4に搭載されている。
上記ホスト1は、CPU11、インターフェース(I/F)12、メモリ14、及びディスク装置15をそれぞれバスに接続した構成のコンピュータである。I/F12は一次ストレージ2との接続に用いられる。ディスク装置15には、CPU11が実行するプログラムが格納されている。通信ネットワークとの接続に用いるI/F等は省略している。
一次ストレージ2は、CPU21、ディスク装置22、コントローラ23、メモリ24、及び2つのI/F25及び26をそれぞれバスに接続し、コントローラ23に複数のディスク装置28から成るディスクアレイ27を接続した構成である。ディスク装置22は、メタ情報の格納に用いられ、CPU21が実行する、データアクセス用のプログラムや、階層制御装置4と連携してホスト1に大容量の論理ボリュームを提供するための連携プログラムはメモリ24に格納されている。2つのI/F25及び26のうちの一方はホスト1との接続に用いられ、他方は階層制御装置4との接続に用いられる。コントローラ23は、CPU21からの指示に従って、ホスト1の要求するデータが何れかのディスク装置28に存在すればそのディスク装置28にアクセスし、データがディスク装置28に存在しなければ二次ストレージ3から取得するために、階層制御装置4にデータを要求する。
二次ストレージ3は、I/F31、カートリッジ群32、ロボット33、コントローラ34、不揮発性メモリ35、及び磁気テープ38を脱着可能な複数のテープドライブ装置37からなるテープドライブ装置群36を備えた構成である。
I/F31は、階層制御装置4との接続に用いられる。磁気テープ38としては、扱いやすさから、カートリッジタイプのものが採用されている。カートリッジ群32は、テープドライブ装置37に搭載可能な磁気テープ38から構成される。実際には、複数の磁気テープ38を収納可能な収納部、及びその収納部に収納された一つ以上の磁気テープ38に相当する。ロボット33は、その収納部とテープドライブ装置37間の磁気テープ38の移動を実現させる。コントローラ34は、ロボット33を制御して、各テープドライブ装置37に装着すべき磁気テープ38を装着させ、その磁気テープ38へのアクセスを行う。そのアクセスを行うために、磁気テープ38のメタ情報を不揮発性メモリ35に保存する。保存するメタ情報は、例えば磁気テープ38の識別情報(例えばID)、累積データ量、及び格納ファイル情報などである。以降、磁気テープ38は「カートリッジ」と呼ぶことにする。
階層制御装置4は、CPU41、2つのI/F43、44、メモリ45をそれぞれバスに接続した構成のコンピュータである。CPU41が実行するプログラムはメモリ45に格納されている。2つのI/F43、44はそれぞれ、一次ストレージ2、及び二次ストレージ3との接続に用いられる。
階層制御装置4には一次ストレージ2及び二次ストレージ3を仮想化し、データ管理を行うための階層制御プログラムがメモリ45にインストールされている。ホスト1にはファイル管理を行うためのプログラムであるファイルシステムがディスク装置15にインストールされており、一次ストレージ2と二次ストレージ3から成る論理ボリュームにファイルを格納することができる。
ホスト1の一次ストレージ2へのアクセスは、上記ファイルシステムによって行われる。アクセスしたデータ(ファイル)に関するアクセス情報は、連携プログラムによって階層制御プログラムに通知される。それにより階層制御プログラムは、一次ストレージ2に格納されたデータのアクセス頻度等を認識する。一次ストレージ2の空き容量等は、例えば一次ストレージ2への問い合わせにより確認する。それにより、ホスト1による一次ストレージ2へのアクセス状況、その一次ストレージ2の空き容量に応じた階層制御を行う。その階層制御により、ファイルシステム(ホスト1)が一次ストレージ2に格納されていないデータにアクセスしようとしている場合には、該当するデータを二次ストレージ3から読み出し、一次ストレージ2に転送する。一次ストレージ2の空き容量が少なくなった場合には、アクセス頻度の少ない、最終アクセスの古いデータを一次ストレージ2から
読み出して二次ストレージ3に格納させる。それらの階層間のデータ移動は、一次ストレージ2と階層制御装置4間で直接、データを送受信することで行われる。
二次ストレージ3へのアクセスは、要求を発行することで行われる。階層制御プログラムは、メモリ45に格納したメタ情報を参照し、カートリッジ38毎に要求を発行する。発行した要求は、例えばその要求からコマンドを生成し、そのコマンドを二次ストレージ3に出力することにより、実行される。
そのコマンドはI/F31を介して入力されるコントローラ34によって処理される。コントローラ34は、不揮発性メモリ35に保存されたメタ情報を参照しつつ、階層制御装置4からコマンドにより指示された処理のための制御を行う。その処理を行った結果は階層制御装置4に通知する。
二次ストレージ2への要求としては、データを読み出すためのリード要求、一次ストレージ2のデータを書き込むためのライト(Write)要求、ミラーリングにより論理ボリュームを構成しているカートリッジ38の一つに不具合が発生した場合に、冗長性を復旧するためのリビルド要求、カートリッジ38中の不要領域を無くすためのガーベジコレクション要求、古くなったカートリッジ38やエラー発生率の高いカートリッジ38から、別のカートリッジ38にデータをコピーさせることにより、データの保全性を確保するための冗長コピー要求等がある。
ライト要求には、一次ストレージ2の空き容量が少なくなった場合に、空き容量を増やすために自動発生するもの、一次ストレージ2上に書き込まれたデータがカートリッジ38にライトされずに一定時間が経過した場合に自動発生するもの、及びシステム管理者の指示によって発生するもの、がある。それらのライト要求には優先度が定められている。最も優先度の高いものは、一次ストレージ2の空き容量を増やすために自動発生させるライト要求である。
リード要求には、二次ストレージ3に格納されているデータにホスト1がアクセスする場合に自動発生するもの、システム管理者の指示によって発生するもの、がある。優先度は前者のほうが高く設定されている。
論理ボリュームを構成するカートリッジ38は、例えばミラーリングにより冗長化されている。リビルド要求は、一方のカートリッジ38に故障等の不具合が発生した場合に、他方のカートリッジ38から空いているカートリッジ38にデータをコピーするために自動発生される。
ガーベジコレクション要求は、システム管理者の操作(指示)によって発生する。カートリッジ38は、追記型で用いており、一度カートリッジ38に書き込まれたデータは削除されない。従って、同じデータ(ファイル)を二度、三度と書き込んだ場合、最後にデータを書き込んだ領域以外はユーザから参照されない不要領域となる。ガーベジコレクション要求は、このような不要領域を残して必要な領域のデータだけを別の空いているカートリッジ38にコピーすることにより、コピー元のカートリッジ38に不要領域を無くすためのものである。冗長コピー要求は、システム管理者の指示によって発生する。
システム管理者の操作による要求の発生には、システム管理者が要求を発生させるべき条件を設定し、その条件を満たした場合に自動発生させるもの、システム管理者が論理ボリューム、或いはカートリッジ38を選択し、直接、発生させるもの、がある。前者では、例えばガーベジコレクション要求では、「不要領域が全体の50%を越えたカートリッジ38に対して、午後18:00〜翌朝8:00の間にガーベジコレクション要求を実行
する」ということを実現させるために、不要領域が全体に占める割合、それを実行する時間帯等を条件としてシステム管理者が設定する。実際の操作は、階層制御装置4と接続された入力装置、或いはその制御装置4と通信ネットワークを介して接続された端末装置により行われる。
要求の自動発生は、一次ストレージ2の連携プログラムからの通知によって随時、行われる。連携プログラムからの通知により、二次ストレージ3から必要なデータを読み出すためのリード要求、或いは一次ストレージ2の空き容量を増やすためのライト要求が発行される。コントローラ34からの通知により、一定時間経過によるライト要求、リビルド要求が発行される。
上記ライト要求、及びリード要求は、論理ブロック長単位で処理が行われる。他の要求は、カートリッジ38単位で処理が行われる。優先度は、ユーザのシステム利用に与える影響が大きい要求ほど優先度は高く設定されている。基本的には、優先度は高いほうから以下のような順になっている。
・一次ストレージ2の空き領域を確保するための一次ストレージ2から二次ストレージ3へのライト要求
・ユーザアクセスによって発生する二次ストレージ3から一次ストレージ2へのリード要求
・その他の要求
図5に示すように、二次ストレージ3への要求は集中する場合がある。上記ガーベジコネクション要求は、システム管理者の意図に反して大量に発生する場合がある。カートリッジ38の架け替えを多く行うほど、性能が低下し、カートリッジ38の消耗も早くなる。このことから本実施の形態では、以下のようにして、カートリッジ38の架け替えを行う回数を抑えたスケジューリングを行っている。
図2は、要求のスケジューリングのために管理する要求管理情報を説明する図である。その要求管理情報は、メモリ45に確保された領域に格納されるものであり、待ちキュー、及びドライブ情報を備えている。
要求は、カートリッジ38毎に随時、発行(発生)される。実行(処理)していない要求は、メモリ45に確保した領域である待ちキューで管理される。その待ちキューには、図2に示すように、カートリッジ38毎に、要求が優先度順に並べられる。優先度が同じ要求は、発生時刻が古いほうが優先される。カートリッジ38自体は、IDで管理されている。
ドライブ情報は、テープドライブ装置37毎に、その状況を示すデータをまとめたものである。テープドライブ装置37毎に、その識別情報であるID(カートリッジ38のものと区別するために以降「ドライブID」と記す。カートリッジ38のものは「テープID」と記す)、カウントされているカートリッジ38のテープID、実行(処理)中の要求の有無を示すフラグ情報、及びリード(Read)待ち用か否かを示す設定情報を有している。それにより、各テープドライブ装置37にマウント(装着)されているカートリッジ38、空いているテープドライブ装置37、リード待ち用か否かを特定できるようになっている。
本実施の形態では、次のルールに従って要求のスケジューリングを行っている。
(a)一度、要求の処理のためにテープドライブ装置37に装着したカートリッジ38は、一定時間(規定時間A分)はそのカートリッジ38を使用する要求を優先して実行する(b)リード要求を連続して実行したテープドライブ装置34はリード待ち専用(リード要求の専用)とする
上記ルール(a)により、要求はカートリッジ38単位でまとめられる形となって、複数の要求は対象となるカートリッジ38が装着されることで連続して実行されるようにスケジューリングされる。このため、カートリッジ38を架け替える回数はより抑えることができ、単位時間当たりの実行可能な要求数はより多くすることができるようになる。時間の計時は、例えばCPU41に内蔵のハードタイマを用いて行われる。
二次ストレージ3に対するリード要求は、一次ストレージ2でデータへのアクセスが行えなかった場合に発生する。そのリード要求は、ランダムに発生する場合もあるが、古い複数のデータ(ファイル)を一度にアクセスしようとして発生する場合も多い。その場合、特定のカートリッジ38へのリード要求が連続して発生することになる。上記ルール(b)は、そのようなリード要求に適切に対応したスケジューリングを行えるように設定したものである。このルール(b)により、他に要求が発生している、或いは発生する可能性の高いカートリッジ38をテープドライブ装置37から外すのを高い確率で回避させることができる。それにより、要求はより効率的に実行することができ、二次ストレージ3にアクセスすることによる性能の低下もより抑えられることとなる。上記ドライブ情報中のリード待ち用か否かを示す設定情報は、このルール(b)によりリード待ち用とさせているか否かを示すものである。
上記ルール(a)及び(b)に従ったスケジューリングを行うために、ドライブ情報ではテープドライブ装置37毎に、例えば現在、マウントしているカートリッジ38をマウントとしたマウント時刻、実行させた要求の履歴、最後の要求を実行した時刻(実施時刻)も管理するようにしている。それにより、上記一定時間が経過したか否かの判定や、実行させた要求の参照を可能とさせている。履歴は、ルール(b)に従ったスケジュールを行える分のみとしている。実施時刻は、後述するように、リード待ち用の設定を解除するための情報である。
二次ストレージ3への要求は、リード要求だけではない。ライト要求やリビルド要求等も存在する。このことから、他の要求を確実に実行できるように、リード待ち用とするテープドライブ装置37の数には上限数を設けている。それにより、図3に示すように、全てのテープドライブ装置37がリード要求を実行できない状況となるのを回避して、リード待ち用と設定していないテープドライブ装置37でリード要求以外の要求を実行できるようにしている。
上記上限数、及びリード待ち用を設定するためにリード要求が連続すべき回数(所定回数)は共に、システム管理者が変更可能とさせている。それにより、状況に応じた対応を可能とさせている。また上記一定時間等もシステム管理者が変更可能とさせている。
図4は、スケジューリング処理のフローチャートである。そのスケジューリング処理は、階層制御装置4のCPU41が上記階層制御プログラムをメモリ45から読み出して実行することで実現され、テープドライブ装置37毎に実行される。その起動は、例えば新たな要求の待ちキューへの登録、或いは要求の実行の終了によって行われる。この図4を参照して、上記スケジューリングを実現させる階層制御装置4の動作について詳細に説明する。
先ず、ステップS1では、対象とするテープドライブ装置37はリード待ち用か否か判定する。そのテープドライブ装置37のドライブ情報中の設定情報がリード待ち用を示すものでなかった場合、判定はNoとなってステップS13に移行する。そうでない場合には、つまりそのテープドライブ装置37がリード待ち用と設定されていた場合には、判定はYesとなってステップS2に移行する。
ステップS2では、テープドライブ装置37にカートリッジ(図中「テープ」と表記)38が装着(マウント)済みか否か判定する。カートリッジ38がマウントされていない場合、判定はNoとなってステップS7に移行する。そうでない場合には、つまりカートリッジ38がマウント済みであった場合には、判定はYesとなってステップS3に移行する。
ステップS3では、マウント済みのカートリッジ38で要求を連続実行している時間が規定時間A分を経過しているか否か判定する。その時間は通常、そのカートリッジ38をマウントしてから経過した経過時間であり、その時間が規定時間A分を超えていない場合、判定はYesとなってステップS7に移行する。そうでない場合には、判定はNoとなってステップS4に移行する。
ステップS4では、マウント済みのカートリッジ38に対して発行された要求のなかで最も優先度の高いリード要求を待ちキューより検索する。続くステップS5では、その検索によりリード要求が見つかったか否か判定する。リード要求が見つかった場合、判定はYesとなってステップS6に移行し、テープドライブ装置37でそのリード要求の実行を開始させた後、このスケジューリング処理を終了する。一方、そうでない場合には、判定はNoとなって上記ステップS7に移行する。
上記ステップS2、若しくはS5でのNoの判定、或いは上記ステップS3でのYesの判定によって移行するステップS7では、そのステップS3でのYesの判定によって移行したか否かにより、異なる処理が行われる。
ステップS3でのYesの判定により移行した場合、カートリッジ38はマウント済みであり、そのカートリッジ38に対して未実行のリード要求が存在する可能性がある。このことから、そのカートリッジ38に対する最も優先度の高いリード要求を待ちキューより検索し、その検索によってリード要求が見つからなかった場合、テープドライブ装置37にマウント可能なカートリッジ38を対象に、そのカートリッジ38で待ちキューに登録されているリード要求のなかで最も優先度の高いリード要求(最も古いリード要求に相当する)を検索する。それ以外のケースで移行した場合は、カートリッジ38がマウントされていない、或いはマウント済みのカートリッジ38には対象となるリード要求が存在していないことが確認されている。このことから、テープドライブ装置37にマウント可能なカートリッジ38を対象に、そのカートリッジ38で待ちキューに登録されているリード要求のなかで最も優先度の高いリード要求を検索する。そのような検索を状況に応じて行った後、ステップS8に移行する。
ステップS8では、検索により要求が見つかったか否か判定する。リード要求が見つかった場合、判定はYesとなってステップS9に移行し、テープドライブ装置37でそのリード要求の実行を開始させた後、このスケジューリング処理を終了する。一方、そうでない場合には、判定はNoとなってステップS10に移行する。
ステップS10では、一つ前の要求の実行を開始させた実施時刻から規定時間B分経過しているか否か判定する。その規定時間B分が経過していた場合、判定はYesとなってステップS12に移行し、リード待ち用の設定を解除して、他の要求も割り当て可能とする。そうでない場合には、判定はNoとなってステップS11に移行し、新たな要求が待ちキューに追加されるのを待つことを決定した後、このスケジューリング処理を終了する。リード待ち用の設定の解除は、リード待ち用か否かを示す設定情報を書き換えることで行われる。
このようにして本実施の形態では、リード待ち用に設定したテープドライブ装置37で
は、最後の要求の実行を開始してから規定時間B分の経過を条件に、そのリード待ち用の設定を解除するようにしている。リード待ち用を設定している状況では、リード要求のみを対象に実行するようにしている。それにより、連続して発生するリード要求に対応できるようにしている。リード待ち用の設定、その解除は、ドライブ情報中の対象とするテープドライブ装置37の設定情報を書き換えることで行われる(図2)。
上記ステップS1の判定がNoとなることでステップS13に移行する。ステップS13〜S20では、上記ステップS2〜S9と同様の処理が実行される。異なっているのは基本的に、検索、或いは実行の対象をリード要求に限定しているか否かという点のみである。このことから、ステップS13〜S20についての説明は省略する。ステップS20の判定がNoとなって移行するステップS21では、ステップS11と同様に、新たな要求が待ちキューに追加されるのを待つことを決定した後、このスケジューリング処理を終了する。
マウントされていないカートリッジ38のマウントは、ステップS9、或いはS20で行われる。特には図示していないが、規定時間A分と比較する経過時間を計時するための上記マウント時刻は、ステップS9、或いはS20の実行時に、要求の処理のためにカートリッジ38の交換(架け替え)を指示した場合に書き換える。それにより、現在時刻との差から経過時間を特定可能とさせている。このときには、テープID、実行(処理)中の要求の有無を示すフラグ情報、及び実施時刻の書き換えや、実行した要求の履歴としての格納も併せて行われる。二次ストレージ2では、コントローラ34がロボット33を駆動して、該当するテープドライブ装置37にマウントすべきカートリッジ38がマウントされることになる。フラグ情報、及び実施時刻の書き換え、並びに実行した要求の格納はステップS6及びS17でも同様に行われる。
リード待ち用の設定は、上記したように、所定回数以上、同じカートリッジ38へのリード要求を連続して実行した場合に行われる。このため、その設定は、同一のテープドライブ装置37でステップS17を(所定回数−1)回以上、連続して実行した場合に行われる。このとき、上記上限数を超えないようにするために、既に上限数のテープドライブ装置37がリード待ち用と設定されている場合には、新たなリード待ち設定は行わない、或いはその設定を行うのであれば、例えば最も前にリード待ち設定としたテープドライブ装置37、或いは現在、空いているテープドライブ装置37のその設定を解除する。そのようなテープドライブ装置37の設定を解除することにより、リード要求が連続する可能性がより高いテープドライブ装置37を優先的にリード待ち用に設定できるようになる。
なお、本実施の形態では、二次ストレージ3としてテープライブラリ装置3をそれぞれ採用しているが、別のストレージを採用しても良い。例えば二次ストレージ3としては、DVD等の光ディスクを交換可能なものを採用しても良い。上述したような要求のスケジューリングは、三次ストレージ以上のストレージを対象に行っても良い。
本実施の形態による要求スケジューリング装置は、階層制御プログラムを階層制御装置(コンピュータ)4にインストールすることにより、その階層制御装置4上で実現させている。しかし、その要求スケジューリング装置は、階層制御装置4のような装置に搭載されるのではなく、ホスト1等として用いられる別の装置(コンピュータ)に搭載させても良い。上記階層制御プログラムは、メモリ45に予め格納するのではなく、光ディスク、或いはフラッシュメモリ等に格納することでインストール可能とさせても良い。或いは通信ネットワークを介して配信可能としても良い。このことから、階層制御プログラムのような要求のスケジューリングを行うことが可能なプログラムは、通信ネットワークと接続された装置がアクセス可能な記録媒体に格納しても良い。
(付記1)
複数のドライブ装置を搭載し、それぞれのドライブ装置に記録媒体を着脱可能なストレージを二次ストレージとする階層型ストレージ管理システムにおける該二次ストレージへの要求のスケジューリング方法であって、
前記ドライブ装置毎に、該ドライブ装置で処理させた要求を参照し、
装着された前記記録媒体からデータを読み出すリード要求の参照結果に基づき、前記ドライブ装置を該リード要求の専用ドライブ装置に設定して、該要求のスケジューリングを行う、
ことを特徴とする要求スケジューリング方法。
(付記2)
前記専用ドライブ装置の設定は、前記リード要求を所定数、連続して処理させたドライブ装置に対して行う、
ことを特徴とする付記1記載の要求スケジューリング方法。
(付記3)
前記専用ドライブ装置の設定は、予め設定の上限数に制限して行う、
ことを特徴とする付記1、または2記載の要求スケジューリング方法。
(付記4)
前記ドライブ装置毎に、該ドライブ装置に記録媒体を前記要求の処理のために装着させてから経過した経過時間を計時し、
該計時した経過時間が所定時間を超えていないドライブ装置に対し、該ドライブ装置で処理可能な要求を優先して処理させるスケジューリングを併せて行う、
ことを特徴とする付記1記載の要求スケジューリング方法。
(付記5)
複数のドライブ装置を搭載し、それぞれのドライブ装置に記録媒体を着脱可能なストレージを二次ストレージとする階層型ストレージ管理システムにおける該二次ストレージへの要求のスケジューリング方法であって、
前記ドライブ装置毎に、該ドライブ装置に記録媒体を前記要求の処理のために装着させてから経過した経過時間を計時し、
該計時した経過時間が所定時間を超えていないドライブ装置に対し、該ドライブ装置で処理可能な要求を優先して処理させるスケジューリングを行う、
ことを特徴とする要求スケジューリング方法。
(付記6)
複数のドライブ装置を搭載し、それぞれのドライブ装置に記録媒体を自動的に着脱可能なストレージを二次ストレージとする階層型ストレージ管理システムで該二次ストレージへの要求のスケジューリングを行う要求スケジューリング装置において、
前記ドライブ装置毎に、該ドライブ装置で処理させた要求を参照する参照手段と、
前記参照手段により、装着された記録媒体からデータを読み出すリード要求に基づき、前記ドライブ装置を該リード要求の専用ドライブ装置に設定して、該要求のスケジューリングを行うスケジューリング手段と、
を具備することを特徴とする要求スケジューリング装置。
(付記7)
複数のドライブ装置を搭載し、それぞれのドライブ装置に記録媒体を着脱可能なストレージを二次ストレージとする階層型ストレージ管理システムで該二次ストレージへの要求のスケジューリングを行う要求スケジューリング装置において、
前記ドライブ装置毎に、該ドライブ装置に記録媒体を前記要求の処理のために装着させてから経過した経過時間を計時する計時手段と、
前記計時手段により計時する経過時間が所定時間を超えていないドライブ装置に対し、該ドライブ装置で処理可能な要求を優先して処理させるスケジューリングを行うスケジューリング手段と、
を具備することを特徴とする要求スケジューリング装置。
(付記8)
複数のドライブ装置を搭載し、それぞれのドライブ装置に記録媒体を着脱可能なストレージを二次ストレージとする階層型ストレージ管理システムで該二次ストレージへの要求のスケジューリングを行わせるコンピュータに、
前記ドライブ装置毎に、該ドライブ装置で処理させた要求を参照する参照機能と、
前記参照機能により、装着された記録媒体からデータを読み出すリード要求に基づき、前記ドライブ装置を該リード要求の専用ドライブ装置に設定して、該要求のスケジューリングを行うスケジューリング機能と、
を実現させるためのプログラム。
(付記9)
複数のドライブ装置を搭載し、それぞれのドライブ装置に記録媒体を着脱可能なストレージを二次ストレージとする階層型ストレージ管理システムで該二次ストレージへの要求のスケジューリングを行わせるコンピュータに、
前記ドライブ装置毎に、該ドライブ装置に記録媒体を前記要求の処理のために装着させてから経過した経過時間を計時する計時機能と、
前記計時機能により計時する経過時間が所定時間を超えていないドライブ装置に対し、該ドライブ装置で処理可能な要求を優先して処理させるスケジューリングを行うスケジューリング機能と、
を実現させるためのプログラム。
本実施の形態による要求スケジューリング装置が適用された階層型ストレージ管理システムの構成図である。 要求のスケジューリングのために管理する要求管理情報を説明する図である。 テープドライブ装置群36を構成するテープドライブ装置37に対して行われるリード待ち用の設定を説明する図である。 スケジューリング処理のフローチャートである。 HSMシステムで要求が発行される発生率の時間変化を示す図である。
符号の説明
1 ホストコンピュータ
2 一次ストレージ
3 二次ストレージ
4 階層制御装置
11、21、41 CPU
12、25、26、31、43〜44 インターフェース(I/F)
14、24、45 メモリ
15、22、28 ディスク装置
23、34 コントローラ
27 ディスクアレイ
32 カートリッジ群
33 ロボット
35 不揮発性メモリ
36 テープドライブ装置群
37 テープドライブ装置
38 磁気テープ(カートリッジ)

Claims (5)

  1. 複数のドライブ装置を搭載し、それぞれのドライブ装置に記録媒体を着脱可能なストレージを二次ストレージとする階層型ストレージ管理システムにおける該二次ストレージへの要求のスケジューリング方法であって、
    前記ドライブ装置毎に、該ドライブ装置で処理させた要求を参照し、
    装着された記録媒体からデータを読み出すリード要求の参照結果に基づき、前記ドライブ装置を該リード要求の専用ドライブ装置に設定して、該要求のスケジューリングを行う、
    ことを特徴とする要求スケジューリング方法。
  2. 前記専用ドライブ装置の設定は、前記リード要求を所定数、連続して処理させたドライブ装置に対して行う、
    ことを特徴とする請求項1記載の要求スケジューリング方法。
  3. 前記ドライブ装置毎に、該ドライブ装置に記録媒体を前記要求の処理のために装着させてから経過した経過時間を計時し、
    該計時した経過時間が所定時間を超えていないドライブ装置に対し、該ドライブ装置で処理可能な要求を優先して処理させるスケジューリングを併せて行う、
    ことを特徴とする請求項1記載の要求スケジューリング方法。
  4. 複数のドライブ装置を搭載し、それぞれのドライブ装置に記録媒体を着脱可能なストレージを二次ストレージとする階層型ストレージ管理システムで該二次ストレージへの要求のスケジューリングを行う要求スケジューリング装置において、
    前記ドライブ装置毎に、該ドライブ装置で処理させた要求を参照する参照手段と、
    前記参照手段により、装着された記録媒体からデータを読み出すリード要求に基づき、前記ドライブ装置を該リード要求の専用ドライブ装置に設定して、該要求のスケジューリングを行うスケジューリング手段と、
    を具備することを特徴とする要求スケジューリング装置。
  5. 複数のドライブ装置を搭載し、それぞれのドライブ装置に記録媒体を着脱可能なストレージを二次ストレージとする階層型ストレージ管理システムで該二次ストレージへの要求のスケジューリングを行わせるコンピュータに、
    前記ドライブ装置毎に、該ドライブ装置で処理させた要求を参照する参照機能と、
    前記参照機能により、装着された記録媒体からデータを読み出すリード要求に基づき、前記ドライブ装置を該リード要求の専用ドライブ装置に設定して、該要求のスケジューリングを行うスケジューリング機能と、
    を実現させるためのプログラム。
JP2007053128A 2007-03-02 2007-03-02 階層型ストレージ管理システムにおける要求スケジューリング方法、要求スケジューリング装置、及びプログラム Expired - Fee Related JP4490451B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007053128A JP4490451B2 (ja) 2007-03-02 2007-03-02 階層型ストレージ管理システムにおける要求スケジューリング方法、要求スケジューリング装置、及びプログラム
US12/073,040 US20080216078A1 (en) 2007-03-02 2008-02-28 Request scheduling method, request scheduling apparatus, and request scheduling program in hierarchical storage management system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007053128A JP4490451B2 (ja) 2007-03-02 2007-03-02 階層型ストレージ管理システムにおける要求スケジューリング方法、要求スケジューリング装置、及びプログラム

Publications (2)

Publication Number Publication Date
JP2008217354A true JP2008217354A (ja) 2008-09-18
JP4490451B2 JP4490451B2 (ja) 2010-06-23

Family

ID=39734049

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007053128A Expired - Fee Related JP4490451B2 (ja) 2007-03-02 2007-03-02 階層型ストレージ管理システムにおける要求スケジューリング方法、要求スケジューリング装置、及びプログラム

Country Status (2)

Country Link
US (1) US20080216078A1 (ja)
JP (1) JP4490451B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012185618A (ja) * 2011-03-04 2012-09-27 Fujitsu Ltd ストレージシステム、ストレージ制御装置およびストレージ制御方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4987307B2 (ja) * 2005-03-25 2012-07-25 株式会社日立製作所 ストレージシステム
US7640415B2 (en) * 2005-03-25 2009-12-29 Hitachi, Ltd. Storage system having a first computer, a second computer connected to the first computer via a network, and a storage device system that is accessed by the second computer
US8966172B2 (en) 2011-11-15 2015-02-24 Pavilion Data Systems, Inc. Processor agnostic data storage in a PCIE based shared storage enviroment
US9652182B2 (en) 2012-01-31 2017-05-16 Pavilion Data Systems, Inc. Shareable virtual non-volatile storage device for a server
JP6369235B2 (ja) * 2014-09-02 2018-08-08 富士通株式会社 ストレージ制御装置およびストレージ制御プログラム
US9565269B2 (en) 2014-11-04 2017-02-07 Pavilion Data Systems, Inc. Non-volatile memory express over ethernet
US9712619B2 (en) 2014-11-04 2017-07-18 Pavilion Data Systems, Inc. Virtual non-volatile memory express drive
US10423334B2 (en) * 2017-01-03 2019-09-24 International Business Machines Corporation Predetermined placement for tape cartridges in an automated data storage library
US10684789B2 (en) 2018-06-15 2020-06-16 International Business Machines Corporation Scheduled recall in a hierarchical shared storage system
JP2023133729A (ja) * 2022-03-14 2023-09-27 株式会社デンソー メモリコントローラ

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02273370A (ja) * 1989-04-14 1990-11-07 Sanyo Electric Co Ltd 情報処理装置
JPH03268128A (ja) * 1990-03-19 1991-11-28 Hitachi Ltd データ記憶システム
JPH04228145A (ja) * 1990-05-21 1992-08-18 Internatl Business Mach Corp <Ibm> 自動記憶ライブラリでデマウントすべきデータ記憶媒体を選択する方法および装置
JPH0916455A (ja) * 1995-07-04 1997-01-17 Matsushita Electric Ind Co Ltd 仮想階層記憶装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4638424A (en) * 1984-01-12 1987-01-20 International Business Machines Corporation Managing data storage devices connected to a digital computer
US5875481A (en) * 1997-01-30 1999-02-23 International Business Machines Corporation Dynamic reconfiguration of data storage devices to balance recycle throughput
JP4292331B2 (ja) * 1998-04-27 2009-07-08 ソニー株式会社 データ記録再生装置及びその方法
US6272605B1 (en) * 1998-06-01 2001-08-07 International Business Machines Corporation System using priority data of a host recall request to determine whether to release non-volatile storage with another host before processing further recall requests

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02273370A (ja) * 1989-04-14 1990-11-07 Sanyo Electric Co Ltd 情報処理装置
JPH03268128A (ja) * 1990-03-19 1991-11-28 Hitachi Ltd データ記憶システム
JPH04228145A (ja) * 1990-05-21 1992-08-18 Internatl Business Mach Corp <Ibm> 自動記憶ライブラリでデマウントすべきデータ記憶媒体を選択する方法および装置
JPH0916455A (ja) * 1995-07-04 1997-01-17 Matsushita Electric Ind Co Ltd 仮想階層記憶装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012185618A (ja) * 2011-03-04 2012-09-27 Fujitsu Ltd ストレージシステム、ストレージ制御装置およびストレージ制御方法

Also Published As

Publication number Publication date
JP4490451B2 (ja) 2010-06-23
US20080216078A1 (en) 2008-09-04

Similar Documents

Publication Publication Date Title
JP4490451B2 (ja) 階層型ストレージ管理システムにおける要求スケジューリング方法、要求スケジューリング装置、及びプログラム
JP3588311B2 (ja) ディスク・ドライブへコマンドを出すかどうかを決定する方法及びディスク・コントローラ
WO2017022002A1 (ja) ストレージ装置、ストレージシステム、ストレージシステムの制御方法
JP2008015623A (ja) 複数種類の記憶デバイスを備えたストレージシステムの制御装置
TW200846910A (en) Hints model for optimization of storage devices connected to host and write optimization schema for storage devices
US20080195826A1 (en) Hierarchical storage management system, hierarchical control device, interhierarchical file migration method, and recording medium
US20080201522A1 (en) Buffer management method and optical disc drive
JP2008192061A (ja) ストレージシステム及び記憶管理方法
JP2008276626A (ja) 記憶制御装置及び記憶制御装置の制御方法
JP2014503895A (ja) システム・リセット
JP2008146408A (ja) データ記憶装置、そのデータ再配置方法、プログラム
JP2015005089A (ja) ストレージシステム、制御装置および制御方法
US20120102242A1 (en) Controlling data destaging within a multi-tiered storage system
US20050033933A1 (en) Systems and methods for modifying disk drive firmware in a raid storage system
JP5910213B2 (ja) ストレージシステム、ストレージ制御方法およびストレージ制御プログラム
JP5167888B2 (ja) 仮想テープ装置および仮想テープ装置の制御方法
US20110252205A1 (en) Managing Access Commands By Multiple Level Caching
JP6019940B2 (ja) 情報処理装置、コピー制御プログラム、およびコピー制御方法
US7664914B2 (en) Hierarchical control apparatus of hierarchical storage system and method for maintaining and managing duplexed media
US20110276768A1 (en) I/0 command handling in backup
JP6142608B2 (ja) ストレージシステム、制御装置および制御方法
JP2012123551A (ja) 情報記憶装置
US8812780B2 (en) Raid group control device
JP2023110180A (ja) ストレージ装置および制御方法
JP2011191906A (ja) データ記憶装置、データ監視装置、制御方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090414

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090804

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091005

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091110

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100209

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100330

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100401

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130409

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees