JP2009538493A - データ・プログレッション・ディスク局所性最適化のシステムおよび方法 - Google Patents

データ・プログレッション・ディスク局所性最適化のシステムおよび方法 Download PDF

Info

Publication number
JP2009538493A
JP2009538493A JP2009512307A JP2009512307A JP2009538493A JP 2009538493 A JP2009538493 A JP 2009538493A JP 2009512307 A JP2009512307 A JP 2009512307A JP 2009512307 A JP2009512307 A JP 2009512307A JP 2009538493 A JP2009538493 A JP 2009538493A
Authority
JP
Japan
Prior art keywords
data
location
disk
disk drive
raid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009512307A
Other languages
English (en)
Inventor
クレム，マイケル・ジェイ
アスズマン，ローレンス・イー
Original Assignee
コンペレント・テクノロジーズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コンペレント・テクノロジーズ filed Critical コンペレント・テクノロジーズ
Publication of JP2009538493A publication Critical patent/JP2009538493A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

本開示は、データ・プログレッションおよびディスク配置最適化を有するディスク・ドライブのシステムおよび方法に関する。一般に、システムおよび方法は、複数のディスク・ドライブ上のデータのコストを継続的に決定することと、ディスク・ドライブ上の第１のロケーションからディスク・ドライブ上の第２のロケーションへ移動させるデータが存在するかどうかを判定することと、第１のロケーションに保存されているデータを第２のロケーションへ移動させることとを含む。第１のロケーションは、第１のディスク・ドライブの中心に対して概ね同心円状で配置されたデータ・トラックであり、第２のディスク・ドライブの中心に対しての第２のロケーションよりも、中心に近接している。幾つかの実施形態では、第１のロケーションおよび第２のロケーションは同じディスク・ドライブ上に存在する。

Description

関連出願の相互参照：本出願は、２００６年５月２４日に出願された米国仮特許出願第６０／８０８，０５８号の優先権を主張し、同仮特許出願は、参照によりその全体が本明細書に組み込まれる。
発明の分野：本開示の様々な実施形態は、一般に、ディスク・ドライブのシステムおよび方法に関し、より詳細には、システムのパフォーマンスおよび保護を最大化するために、ディスク・クラス、独立ディスク冗長アレイ（ＲＡＩＤ）レベル、およびディスク配置最適化をユーザが構成できるようにする、データ・プログレッション（ｄａｔａ ｐｒｏｇｒｅｓｓｉｏｎ）を有するディスク・ドライブのシステムおよび方法に関する。
仮想化ボリューム（virtualized volumes）は、複数のディスクからのブロックを使用してボリュームを作成し、複数のディスクにわたるＲＡＩＤ保護を実施する。複数のディスクの使用は、仮想ボリュームが何れか１つのディスクよりも大きくなることを可能にし、ＲＡＩＤの使用はディスク故障に対する保護を提供する。仮想化は、ディスクの一部を使用することによって、複数のボリュームが１組のディスク上の空間を分け合うことも可能にする。
ディスク・ドライブ製造業者は、ディスクの表面領域をより良く使用するために、ゾーン・ビット・レコーディング（ＺＢＲ：Ｚｏｎｅ Ｂｉｔ Ｒｅｃｏｒｄｉｎｇ）技法および他の技法を開発した。同一の角回転では、外側トラックでは内側トラックよりも長い空間をカバーする。ディスクのＺＢＲセクタ密度１００を示す図１に示されるように、ディスクは様々なゾーンを含み、ディスクは外側トラックへ行くほどセクタ数が増加する。
最も内側のトラックと比較して、ディスクの最も外側のトラックは、より多くのセクタを含むことができる。また、最も外側のトラックは、データをより高速に転送する。具体的には、ディスクは、トラックに関わりなく一定の回転速度を維持し、入力／出力（Ｉ／Ｏ）が最も外側のトラックに対するものである場合、一定の時間内により多くのデータを転送することが可能である。
ディスクは、Ｉ／Ｏサービスに費やされる時間を、３つの異なる成分、即ち、シーク、回転、およびデータ転送に分ける。シーク・レイテンシ（待ち時間）、回転待ち時間、およびデータ転送時間は、ディスクに対するＩ／Ｏ負荷および直前のヘッドの位置に応じて変化する。比較すると、シーク待ち時間および回転待ち時間は、データ転送時間よりもはるかに長い。本明細書で使用されるシーク待ち時間は、現在のトラックから次のＩ／Ｏのためのトラックまでヘッドを移動させるのに必要な時間の長さを含み得る。本明細書で使用される回転待ち時間は、所望のデータ・ブロックがヘッドの下を回転するのを待つ時間の長さを含み得る。回転待ち時間は、一般にシーク待ち時間よりも短い。本明細書で使用されるデータ転送時間は、データをプラッタ（platter）に転送およびプラッタから転送するためにかかる時間の長さを含み得る。この部分は、ディスクＩ／Ｏの３つの成分のうちの最短の時間量に相当する。
ストレージ・エリア・ネットワーク（ＳＡＮ）およびこれまでのディスクＩ／Ｏサブシステムは、性能試験に関して、１秒当たりの入出力（ＩＯＰＳ：ｉｎｐｕｔ／ｏｕｔｐｕｔ ｐｅｒ ｓｅｃｏｎｄ）を最大化するために、縮小されたアドレス範囲を使用していた。縮小されたアドレス範囲の使用は、ディスク・ヘッドが移動しなければならない距離を物理的に制限することによって、ディスクのシーク時間を短縮する。図２は、アクセスされる論理ブロック・アドレス（ＬＢＡ）範囲が増大した場合のＩＯＰＳの変化の例示的なグラフ２００を示している。
図３のディスク・トラック・アロケーション３００の概略図に示されるように、ＳＡＮインプリメンテーション（実装）は、これまでボリューム・レベルでのトラックによるディスク空間の優先順位付けを可能にしてきた。これは、ボリュームが、作成時にディスクの或る部分へ指定されることを可能にする。システムのパフォーマンスを最大化するため、より高いパフォーマンスを必要とするボリュームは、最も外側のトラック上に配置される。必要とされるパフォーマンスが低くてもよいボリュームは、ディスクの内側のトラック上に配置される。そのような実装では、ボリューム全体が、使用に関わらず、特定の１組のトラック上に配置される。この実装は、最も外側のトラック上にあるボリュームの頻繁には使用されない部分や、最も内側のトラック上にあるボリュームの頻繁に使用される部分についての問題に取り組んでいない。典型的なボリュームのＩ／Ｏパターンは、ＬＢＡ範囲全体にわたって一様ではない。典型的には、Ｉ／Ｏは、ボリューム内の限られた数のアドレスに集中する。これは、優先順位の高いボリュームの頻繁にはアクセスされないデータが外側トラックを使用し、優先順位の低いボリュームの頻繁に使用されるデータが内側トラックを使用するという問題を引き起こす。
図４は、ボリュームＩ／ＯがＬＢＡ範囲に応じて変化し得ることを示している。例えば、幾つかのＬＢＡ範囲は、相対的に重いＩ／Ｏ ４１０に対してサービスし、一方、他のＬＢＡ範囲は、相対的に軽いＩ／Ｏ ４４０に対してサービスする。ボリューム１ ４２０は、ＬＢＡ範囲０、３、４に対してよりもＬＢＡ範囲１、２に対して、より多くのＩ／Ｏを提供する。ボリューム２ ４３０は、ＬＢＡ範囲０に対してより多くのＩ／Ｏを提供し、ＬＢＡ範囲１、２、３に対してはＩ／Ｏのサービスが少ない。ボリューム１ ４２０の全内容を、パフォーマンスのより良い外側トラック上に配置することは、ＬＢＡ範囲０、３、４について外側トラックの能力を十分には利用していないことになる。上記の実装は、ページ・レベルに対して最適化するためにボリューム内におけるＩ／Ｏパターンを見ていない。
従って、システムのパフォーマンスおよび保護を最大化するために、ディスク・クラス、独立ディスク冗長アレイ（ＲＡＩＤ）レベル、およびディスク配置最適化をユーザが構成できるようにする、データ・プログレッションを有するディスク・ドライブのシステムおよび方法に対する必要性が当技術分野において存在する。ボリュームの頻繁にアクセスされるデータ部分がディスクの最も外側のトラック上に配置され、ボリュームの頻繁にはアクセスされないデータ部分がディスクの内側のトラック上に配置される、ディスク配置最適化に対する更なる必要性も、当技術分野において存在する。
本発明は、一実施形態では、ディスク・ドライブ・システムにおけるディスク局所性最適化（ｄｉｓｋ ｌｏｃａｌｉｔｙ ｏｐｔｉｍｉｚａｔｉｏｎ）の方法である。方法は、複数のディスク・ドライブ上のデータに対するコストを継続的に決定するステップと、ディスク・ドライブ上の第１の位置（ロケーション）からディスク・ドライブ上の第２のロケーションへ移動させるデータが存在するかどうかを判定するステップと、第１のロケーションに保存されているデータを第２のロケーション＾移動させるステップとを含む。第１のロケーションは、第１のディスク・ドライブの中心に対して概ね同心円状で配置されたデータ・トラックであり、第２のディスク・ドライブの中心に対しての第２のロケーションよりも、中心に近接している。幾つかの実施形態では、第１および第２のロケーションは同じディスク・ドライブ上にある。
本発明は、別の実施形態では、ＲＡＩＤサブシステムおよびディスク・マネージャを有するディスク・ドライブ・システムである。ディスク・マネージャは、ディスク・ドライブ・システムの複数のディスク・ドライブ上のデータに対するコストを継続的に決定し、ディスク・ドライブ上の第１のロケーションからディスク・ドライブ上の第２のロケーションへ移動させるデータが存在するかどうかを継続的に判定し、第１のロケーションに保存されているデータを第２のロケーションへ移動させるように構成される。先に述べたように、第１のロケーションは、第１のディスク・ドライブの中心に対して概ね同心円状で配置されたデータ・トラックであり、第１または第２のディスク・ドライブの中心に対しての第２のロケーションよりも、中心に近接している。
本発明は、更に別の実施形態では、ディスク局所性最適化を可能にするディスク・ドライブ・システムである。ディスク・ドライブ・システムは、データを保存する手段と、データを保存する手段上の複数のデータを継続的にチェックして、第１のロケーションから第２のロケーションへ移動させるデータが存在するかどうかを判定する手段とを含む。システムは、第１のロケーションに保存されているデータを第２のロケーションへ移動させる手段を更に含む。第１のロケーションは、第２のロケーションよりも、データを保存する手段におけるパフォーマンスが高い機械的位置に配置されたデータ・トラックである。
複数の実施形態が開示されるが、本発明の例示的な実施形態を示し説明する以下の詳細な説明から、本発明の他の実施形態も当業者には明らかとなるであろう。理解されるように、本発明は、本発明の主旨および範囲から逸脱することなく、様々な明らかな態様において変更が可能である。従って、図面および詳細な説明は例示的なものと見なされ、限定的なものとは見なされない。
本明細書は、本発明の実施形態を形成すると考えられる主題を詳細に指摘し、その主題に対して明確に特許請求を行う特許請求の範囲により締めくくられるが、以下の説明を添付の図面と併せて読むことで、本発明がより良く理解されるであろう。
図１は、従来のゾーン・ビット・レコーディングのディスク・セクタ密度を示す。 図２は、アクセスされるＬＢＡ範囲が増大した場合の従来のＩ／Ｏレートを示す。 図３は、ボリューム・レベルでのトラックによるディスク空間の従来の優先順位付けを示す。 図４は、ＬＢＡ範囲に応じての異なるボリュームＩ／Ｏを示す。 図５は、本発明の原理による、データ・プログレッション動作のためにアクセス可能なデータ・ページの一実施形態を示す。 図６は、本発明の原理による、混合ＲＡＩＤウォータフォール・データ・プログレッションの一実施形態の概略図を示す。 図７は、本発明の原理による、データ・プログレッション・プロセスの一実施形態の流れ図を示す。 図８は、本発明の原理による、データベースの例の一実施形態を示す。 図９は、本発明の原理による、ＭＲＩイメージの例の一実施形態を示す。 図１０は、本発明の原理による、高レベル・ディスク・ドライブ・システムにおけるデータ・プログレッションの一実施形態を示す。 図１１は、本発明の原理による、ディスクの組の様々なトラック上の様々なＲＡＩＤデバイス上におけるボリューム・データの配置の一実施形態を示す。
本開示の様々な実施形態は、一般に、ディスク・ドライブのシステムおよび方法に関し、より詳細には、システムのパフォーマンスおよび保護を最大化するために、ディスク・クラス、独立ディスク冗長アレイ（ＲＡＩＤ）レベル、およびディスク配置最適化をユーザが構成できるようにする、データ・プログレッションを有するディスク・ドライブ・システムおよび方法に関する。データ・プログレッション・ディスク局所性最適化（ＤＰ ＤＬＯ：Ｄａｔａ Ｐｒｏｇｒｅｓｓｉｏｎ Ｄｉｓｋ Ｌｏｃａｌｉｔｙ Ｏｐｔｉｍｉｚａｔｉｏｎ）は、頻繁にアクセスされるデータを、限られた数の高密度ディスク・トラック上にグループ化することによって、仮想化ディスク・ドライブ（ボリューム）のＩＯＰＳを最大化する。これを実行するために、ＤＰ ＤＬＯは、ボリュームの定められた部分に対するＩ／Ｏ負荷を弁別し、ボリュームの各部分についてのデータを、そのＩ／Ｏ負荷に対して適切なディスク・ストレージ上に配置する。
データ・プログレッション
本発明の一実施形態では、データ・プログレッション（ＤＰ）は、適切なコストの記憶空間へデータを徐々に移動させるために使用されることができる。本発明は、ドライブが実際に必要とされる時に、ユーザがドライブを追加できるようにすることができる。これは、ディスク・ドライブの全体的なコストを著しく低減することができる。
ＤＰは、最近アクセスされていないデータおよび履歴スナップショット・データを、より安価なストレージへ移動させることができる。ＤＰおよび履歴スナップショット・データの詳細な説明については、「Ｖｉｒｔｕａｌ Ｄｉｓｋ Ｄｒｉｖｅ Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ」と題する同時係属中の公開された米国特許出願第１０／９１８，３２９号を参照されたい。同特許出願の内容は、その全体が参照により本明細書に組み込まれる。最近アクセスされていないデータの場合、ＤＰは、最近アクセスされていないページの記憶のコストを徐々に低減することができる。幾つかの実施形態では、データは、最低コストのストレージへ直ちに移動させる必要はない。履歴スナップショット・データ（例えば、バックアップ・データ）の場合、ＤＰは、読み取り専用ページを、例えばＲＡＩＤ５などのような、より効率的な記憶空間へ移動させることができる。更なる一実施形態では、ＤＰは、履歴スナップショット・データを、そのページがもはやボリュームによってアクセス可能でないならば、最も安価なストレージへ移動させることができる。ＤＰの他の利点は、現在アクセスされているデータに対する高速Ｉ／Ｏアクセスを維持し、追加の高価な高速ディスク・ドライブを購入する必要性を低減することを含む。
動作について、ＤＰは、物理媒体のコストと、データ保護のために使用されるＲＡＩＤデバイスの効率性とを用いて、記憶コストを決定することができる。例えば、ＤＰは、ＲＡＩＤデバイスの記憶効率を決定し、それに基づいてデータを移動させることができる。更なる例として、ＤＰは、物理ディスク空間をより効率的に使用するため、ＲＡＩＤデバイスの１つのレベルを別のレベルに、例えば、ＲＡＩＤ１０をＲＡＩＤ５に変換することができる。
ＤＰに関連して本明細書で使用されるアクセス可能データは、現時点においてサーバによって読み取りまたは書き込みができるデータを含むことができる。ＤＰは、ページが使用すべきストレージのクラスを決定するために、アクセス可能性（accessibility）を使用することができる。一実施形態では、ページは、それが履歴ポイントインタイム・コピー（ＰＩＴＣ：ｐｏｉｎｔ−ｉｎ−ｔｉｍｅ ｃｏｐｙ）に属する場合、読み取り専用とすることができる。ＰＩＴＣの詳細な説明については、同時係属中の公開された米国特許出願第１０／９１８，３２９号を参照されたい。同特許出願の内容は、その全体が参照により先に本明細書に組み込まれている。サーバが、直近のＰＩＴＣのページを更新していない場合、そのページはまだアクセス可能であり得る。
図５は、ＤＰ動作におけるアクセス可能なデータ・ページ５１０、５２０、５３０の一実施形態を示している。一実施形態では、アクセス可能なデータ・ページは、以下のカテゴリの１または複数のものに分けられ得る。
・アクセス可能で最近アクセスあり（Ａｃｃｅｓｓｉｂｌｅ Ｒｅｃｅｎｔｌｙ Ａｃｃｅｓｓｅｄ） − ボリュームが最も多く使用しているアクティブ・ページ。
・アクセス可能で最近アクセスなし（Ａｃｃｅｓｓｉｂｌｅ Ｎｏｎ−ｒｅｃｅｎｔｌｙ Ａｃｃｅｓｓｅｄ） − 最近使用されていない読み取り／書き込みページ。
・履歴アクセス可能（Ｈｉｓｔｏｒｉｃａｌ Ａｃｃｅｓｓｉｂｌｅ） − ボリュームによって読み取ることができる読み取り専用ページ。このカテゴリは、典型的には、スナップショット・ボリュームに適用されることができる。スナップショット・ボリュームの詳細な説明については、同時係属中の公開された米国特許出願第１０／９１８，３２９号を参照されい。同特許出願の内容は、その全体が参照により先に本明細書に組み込まれている。
・履歴アクセス不可能（Ｈｉｓｔｏｒｉｃａｌ Ｎｏｎ−Ａｃｃｅｓｓｉｂｌｅ） − ボリュームにより現在アクセスされていない読み取り専用データ・ページ。このカテゴリも、典型的には、スナップショット・ボリュームに適用されることができる。スナップショット・ボリュームは、リカバリ目的でこれらのページを維持することができ、ページは、可能な限りで最低のコストのストレージに配置され得る。
図５には、スナップショット・ボリュームに対する所有された様々なページを有する３つのＰＩＴＣが示されている。動的容量ボリュームは、ＰＩＴＣ Ｃ ５３０によってのみ表される。ページのすべては、アクセス可能および読み取り／書き込み可能とすることができる。これらのページは、異なるアクセス時間を有し得る。
ＤＰは、システム内のドライブと相対的にディスク・ドライブを自動的に分類する機能を更に含むことができる。システムは、ディスクを検査して、そのディスクについての、システム内の他のディスクと比較したパフォーマンスを決定することができる。より高速のディスクは、より高い価値の分類（ｈｉｇｈｅｒ ｖａｌｕｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ）に分類されることができ、より低速のディスクは、より低い価値の分類に分類される。ディスクがシステムに追加されると、システムは更に、ディスクの価値分類のバランスを自動的にとりなおすことができる。この手法は、少なくとも、新しいディスクが追加された場合に、決して変化しないシステムおよび頻繁に変化するシステムに対処することができる。幾つかの実施形態では、自動的な分類は、同じ価値分類内に複数のドライブ・タイプを置くことができる。更なる実施形態では、価値が十分に近いと判定されたドライブは、同じ価値を有すると見なされることができる。
ディスクの幾つかのタイプが、以下の表に示されている。
Figure 2009538493
一実施形態では、例えば、システムは以下のドライブ
高−１０Ｋファイバ・チャネル（ＦＣ）ドライブ
低−ＳＡＴＡドライブ
を含むことができる。
１５Ｋ ＦＣドライブが追加されると、ＤＰは、自動的にディスクを再分類し、１０Ｋ ＦＣドライブを降格させることができる。これは、以下の分類
高−１５Ｋ ＦＣドライブ
中−１０Ｋ ＦＣドライブ
低−ＳＡＴＡドライブ
をもたらす。
別の実施形態では、例えば、システムは、以下のドライブ・タイプ
高−２５Ｋ ＦＣドライブ
低−１５Ｋ ＦＣドライブ
を有する。
従って、１５Ｋ ＦＣドライブは、より低い価値分類として分類され、一方、２５Ｋ ＦＣドライブは、より高い価値分類として分類される。
ＳＡＴＡドライブが、システムに追加された場合、ＤＰは、自動的にディスクを再分類することができる。これは、以下の分類
高−２５Ｋ ＦＣドライブ
中−１５Ｋ ＦＣドライブ
低−ＳＡＴＡドライブ
をもたらす。
一実施形態では、ＤＰは、ディスク・タイプ、ＲＡＩＤレベル、および使用されるディスク・トラックから、ＲＡＩＤ空間の値を決定することができる。他の実施形態では、ＤＰは、ディスクまたはＲＡＩＤ空間の他の特性を使用して、ＲＡＩＤ空間の値を決定することができる。更なる一実施形態では、ＤＰは、ＲＡＩＤ空間の値を決定するために、式１を使用することができる。
式１： （ディスク・タイプ値）×［｛（ＲＡＩＤディスク・ブロック／ストライプ）｝／｛（ＲＡＩＤユーザ・ブロック／ストライプ）｝］×（ディスク・トラック値）＝（ＲＡＩＤ空間値）
式１への入力は、ディスク・タイプ値（Ｄｉｓｋ Ｔｙｐｅ Ｖａｌｕｅ）、ＲＡＩＤディスク・ブロック／ストライプ（ＲＡＩＤ Ｄｉｓｋｓ Ｂｌｏｃｋｓ／Ｓｔｒｉｐｅ）、ＲＡＩＤユーザ・ブロック／ストライプ（ＲＡＩＤ Ｕｓｅｒ Ｂｌｏｃｋｓ／Ｓｔｒｉｐｅ）、およびディスク・トラック（Ｄｉｓｋ Ｔｒａｃｋｓ）値を含むことができる。しかし、式１は、限定するものではなく、他の実施形態では、他の入力が式１において使用されてよく、また、ＲＡＩＤ空間の値を決定するために他の式が使用されてもよい。
一実施形態で使用されるディスク・タイプ値は、ディスクについての、システムで利用可能な他のディスクと比較しての、相対的なパフォーマンス特性に基づいた任意の値とすることができる。ディスクのクラスは、１５Ｋ ＦＣ、１０Ｋ ＦＣ、ＳＡＴＡ、ＳＡＳ、およびＦＡＴＡなどを含むことができる。更なる実施形態では、ディスクの他のクラスが含まれてよい。同様に、ディスク・クラスの多様性は時間が経つにつれて増大し得るものであり、以前のリストに限定されものではない。一実施形態では、制御された環境においてディスクのＩ／Ｏ能力を測定するために試験が用いられ得る。最良のＩ／Ｏ能力を有するディスクは、最高値を割り当てられる。
ＲＡＩＤレベルは、ＲＡＩＤ１０、ＲＡＩＤ５−５、ＲＡＩＤ５−９、およびＲＡＩＤ０などを含むことができる。一実施形態で使用されるＲＡＩＤディスク・ブロック／ストライプ（ＲＡＩＤ Ｄｉｓｋｓ Ｂｌｏｃｋｓ／Ｓｔｒｉｐｅ）は、ＲＡＩＤ内のブロックの数を含むことができる。一実施形態で使用されるＲＡＩＤユーザ・ブロック／ストライプ（ＲＡＩＤ Ｕｓｅｒ Ｂｌｏｃｋｓ／Ｓｔｒｉｐｅ）は、ＲＡＩＤストライプがＲＡＩＤのユーザに提供する保護ブロックの数を含むことができる。ＲＡＩＤ０の場合、ブロックは保護されないことがある。ＲＡＩＤディスク・ブロック／ストライプとＲＡＩＤユーザ・ブロック／ストライプとの比は、ＲＡＩＤの効率を決定するために使用され得る。効率の逆数は、ＲＡＩＤの価値を決定するために使用され得る。
一実施形態で使用されるディスク・トラック値（Ｄｉｓｋ Ｔｒａｃｋｓ Ｖａｌｕｅ）は、ディスクの外側トラックおよび内側トラックの比較を可能にする任意の値を含むことができる。以下で更に詳細に説明されるディスク局所性最適化（ＤＬＯ）は、ディスクの内側トラックよりもパフォーマンスが高い外側トラックに、より高い値を付けることができる。
式１の出力は、システム内に構成された他のＲＡＩＤ空間に対する相対的なＲＡＩＤ空間値を生成することができる。より高い値は、典型的には、ＲＡＩＤ空間のより良いパフォーマンスと解釈される。
代替の実施形態では、ＲＡＩＤ空間の値を決定するために他の式または方法が使用され得る。ＤＰは、その場合、システム内の任意の数のＲＡＩＤ空間を順序付けるために値を使用する。最高値（最高価値）のＲＡＩＤ空間は、典型的には、保存されたデータに対しての最良のパフォーマンスを提供することができる。最高値のＲＡＩＤ空間は、典型的には、最も高速のディスク、最も効率的なＲＡＩＤレベル、およびディスクの最も高速のトラックを使用する。
表２は、効率が高くなる順序または金銭的費用が減少する順序で、一実施形態のための様々なストレージ・デバイスを示している。ストレージ・デバイスの一覧は、一般的な、書き込みＩ／Ｏアクセスの遅い順序にも従うことができる。ＤＰは、ＲＡＩＤデバイスの全物理空間で除算しての論理保護空間の効率を計算することができる。
Figure 2009538493
ＲＡＩＤ５の効率は、ストライプ内のディスク・ドライブの数が増加するにつれて増大する。ストライプ内のディスクの数が増加するにつれて、フォールト・ドメインは増大する。ストライプ内のドライブの数の増加は、ＲＡＩＤデバイスを作成するのに必要なディスクの最小数も増加させる。一実施形態では、ＤＰは、スナップショット・ページ・サイズの整数倍であるＲＡＩＤ５ストライプ・サイズを使用する。これは、ＤＰが、ページをＲＡＩＤ５へ移動させるときに全ストライプ書き込みを実行することを可能にし、移動をより効率的にする。すべてのＲＡＩＤ５コンフィギュレーションは、ＤＰ目的のため、同じ書き込みＩ／Ｏ特性を有することができる。例えば、２．５インチＦＣディスクのＲＡＩＤ５は、それらのディスクの性能をうまく効果的に使用することができない。この組み合わせを防止するため、ＤＰは、あるＲＡＩＤレベルがあるディスク・タイプで動作することを防止する機能を、サポートすることができる。ＤＰのコンフィギュレーションは、システムが、ＲＡＩＤ１０、ＲＡＩＤ５などを含む何れか特定のＲＡＩＤレベルを使用することを防止することができ、２．５インチＦＣディスクに関する使用のみを防止するようには限定されない。
幾つかの実施形態では、ＤＰは、ウォータフォール・プログレッション（ｗａｔｅｒｆａｌｌ ｐｒｏｇｒｅｓｓｉｏｎ）も含むことができる。一実施形態では、ウォータフォール・プログレッションは、より高価なリソースが完全に使用されている場合に限って、データをより安価なリソースへ移動させることができる。他の実施形態では、ウォータフォール・プログレッションは、所定の期間の後などに、データを直ちに移動させることができる。ウォータフォール・プログレッションは、最も高価なシステム・リソースの使用を効果的に最大化することができる。ウォータフォール・プログレッションは、システムのコストを最小化することもできる。最下位プールへ安価なディスクを追加すると、最下層に更に大きいプールを生成することができる。
一実施形態では、例えば、ウォータフォール・プログレッションは、次のレベルのＲＡＩＤ空間（ＲＡＩＤ５空間など）が後に続くＲＡＩＤ１０空間を使用することができる。更なる一実施形態では、ウォータフォール・プログレッションは、１５Ｋ ＦＣなどのようなディスクの１つのクラス上の、ＲＡＩＤ１０などのようなＲＡＩＤレベルから、１０Ｋ ＦＣなどのようなディスクの別のクラス上の、同じＲＡＩＤレベルへの、直接的なウォータフォールを強制することができる。代替例として、ＤＰは、例えば図６に示されるような、混合ＲＡＩＤウォータフォール・プログレッション６００を含むことができる。図６では、ウォータフォールの最上位レベル６１０は、２．５インチＦＣディスク上のＲＡＩＤ１０空間を含むことができ、ウォータフォールの次のレベル６２０は、１５Ｋ ＦＣディスク上のＲＡＩＤ１０およびＲＡＩＤ５空間を含むことができ、ウォータフォールの最下位レベル６３０は、ＳＡＴＡディスク上のＲＡＩＤ１０およびＲＡＩＤ５空間を含むことができる。図６は、限定のためのものではなく、混合ウォータフォール・プログレッションの一実施形態は、任意の数のレベルと、任意の様々なディスク上の任意の様々なＲＡＩＤ空間を含むことができる。この代替のＤＰの方法は、ディスク空間およびパフォーマンスを最大化することの問題を解決することができ、ストレージが同じディスク・クラス内でより効率的な形態に姿を変えることを可能にすることができる。この代替の方法は、ＲＡＩＤ１０およびＲＡＩＤ５などのような１つより多くのＲＡＩＤレベルが、あるディスク・クラスの全リソースを共用するという要件をサポートすることもできる。これは、ディスクのあるクラスに対してＲＡＩＤレベルが使用できる固定パーセンテージのディスク空間を構成するステップを含むことができる。従って、代替のＤＰの方法は、他のＲＡＩＤレベルのための余地が共存することを可能にしながら、高価なストレージの使用を最大化することができる。
更なる一実施形態では、混合ＲＡＩＤウォータフォールは、ストレージが制限された場合に、ページをより安価なストレージへ移動させる。全ディスク空間の或るパーセンテージなどのような閾値は、あるＲＡＩＤレベルの記憶量を制限することができる。これは、システム内の最も高価なストレージの使用を最大化することができる。ストレージがその制限に近づいた場合、ＤＰは、自動的にページをより低コストのストレージへ移動させることができる。更に、ＤＰは、書き込みスパイク（ｗｒｉｔｅ ｓｐｉｋｅ）のためのバッファを提供することができる。
場合によっては、履歴およびアクセス可能でないページをより安価なストレージへタイムリーな仕方で移動させる必要があるので、上記のウォータフォール方法は、ページを直ちに最低コストのストレージへ移動させることもできることを理解されたい。履歴ページは、最初に、より安価なストレージへ移動され得る。
図７は、ＤＰプロセス７００の一実施形態の流れ図を示している。ＤＰは、ステップ７０２、７０４、７０６、７０８、７１０、７１２、７１４、７１６、７１８に示されるように、移動させるデータ・ページが存在するかどうかを判定するために、システム内の各ページを、そのアクセス・パターンおよび記憶コストについて継続的にチェックする。例えば、更に多くのページがチェックされる必要がある場合（ステップ７０２）、ＤＰプロセス７００は、そのページが履歴データを含むかどうか（ステップ７０４）、そしてアクセス可能かどうか（ステップ７０６）を判定し、次に、データが最近アクセスされたかどうか（ステップ７０８、７１８）を判定する。上記の判定に続いて、ＤＰプロセス７００は、記憶空間がより高いＲＡＩＤコストで利用可能か、それともより低いＲＡＩＤコストで利用可能か（ステップ７２０、７２２）を判定し、データを、利用可能な記憶空間へ降格または昇格させることができる（ステップ７２４、７２６、７２８）。特定のＲＡＩＤレベルに関して、記憶空間が利用可能ではなく、ディスク・ストレージ・クラスが利用可能ではない場合（ステップ７３０、７３２）、ＤＰプロセス７００は、例えば、以下で更に詳細に説明されるように、借用したディスク・ストレージ・クラス上にＲＡＩＤ記憶空間を生成することによって、ディスク・システムを再構成することができる。ＤＰは、ストレージがその最大アロケーションに達したかどうかも判定することができる。
言い換えると、更なる実施形態では、ＤＰプロセスは、ページが何れかのボリュームによりアクセス可能かどうかを判定することができる。プロセスは、ページが参照されるかを判定するために、履歴に添付された各ボリュームのＰＩＴＣをチェックする。ページがアクティブに使用されている場合、そのページは、昇格または遅い降格に適するものとすることができる。ページが何れのボリュームによってもアクセス可能でない場合、そのページは、使用可能な最低コストのストレージへ移動させられてよい。
更なる一実施形態では、ＤＰは、活動のバーストに起因してのページの昇格を排除できる最近アクセス検出（ｒｅｃｅｎｔ ａｃｃｅｓｓ ｄｅｔｅｃｔｉｏｎ）を含むことができる。ＤＰは、読み取りアクセス追跡と書き込みアクセス追跡を分離することができる。これは、ＤＰが、例えば、アクセス可能なＲＡＩＤ５デバイス上にデータを保持することを可能にする。同様に、ウイルス・スキャンやレポーティングなどの動作は、データを読み取るのみである。更なる実施形態では、ＤＰは、ストレージが不足になりつつある場合、最近アクセスとされる条件を変更することができる。これは、ＤＰが、より積極的にページを降格させることを可能にすることができる。これは、ストレージが不足になりつつある場合にシステムを底から満たすのを助けることもできる。
また別の実施形態では、ＤＰは、システム・リソースが不足気味になった場合に、積極的にデータ・ページを移動させることができる。幾つかの実施形態では、リソースが不足気味のシステムを正すために、より大量のディスクまたはコンフィギュレーションの変更が必要なことがある。しかし、幾つかの実施形態では、ＤＰは、きびしい状況においてシステムが動作できる時間量を延長することができる。即ち、ＤＰは、システムをできるだけ長く動作状態に維持するよう試みることができる。
例えば、システム・リソースが少なくなっている場合、例えば、ＲＡＩＤ１０空間および利用可能ディスク空間の合計が少なくなっている場合の、一実施形態では、ＤＰは、ＲＡＩＤ１０ディスク空間を取り外し（ｃａｎｎｉｂａｌｉｚｅ）、より効率的なＲＡＩＤ５ディスク空間へ移すことができる。これは、書き込みパフォーマンスを代償にして、システムの全容量を増大させることができる。幾つかの実施形態では、より大量のディスクが依然として必要なことがある。同様に、特定のストレージ・クラスが完全に使用されている場合、ＤＰは、システムを動作させ続けるために、非許容可能なページ上での借用を可能にすることができる。例えば、ボリュームが、そのアクセス可能な情報のためにＲＡＩＤ１０ ＦＣを使用するように構成されている場合、更なるＲＡＩＤ１０ ＦＣ空間が利用可能になるまで、ＲＡＩＤ５ ＦＣまたはＲＡＩＤ１０ ＳＡＴＡからのページを割り当てることができる。
図８は高性能データベース８００の一実施形態を示し、このデータベースでは、すべてのアクセス可能なデータが、最近アクセスされていなくても、２．５ ＦＣドライブ上にのみ存在する。図８から理解できるように、例えば、アクセス可能データは、ＲＡＩＤ１０ ２．５インチＦＣディスクの外側トラックに保存されることができる。同様に、アクセス不可能な履歴データは、ＲＡＩＤ５ ＦＣに移動させることができる。
図９はＭＲＩイメージ・ボリューム９００の一実施形態を示し、このＭＲＩイメージ・ボリュームでは、アクセス可能ストレージがＳＡＴＡ、ＲＡＩＤ１０およびＲＡＩＤ５である。イメージが最近アクセスされていない場合、そのイメージは、ＲＡＩＤ５に移動させることができる。新規の書き込みは、最初にＲＡＩＤ１０へ行く。
図１０は、高レベル・ディスク・ドライブ・システム１０００におけるＤＰの一実施形態を示している。ＤＰは、ボリュームの外部挙動やデータ経路の動作を変化させる必要がない。ＤＰは、ページ・プール（ｐａｇｅ ｐｏｏｌ）の変更を要求し得る。ページ・プールは、空き空間およびデバイスの情報のリストを含むことができる。ページ・プールは、複数のフリー・リスト（free list）、拡張したページ・アロケーション方式（enhanced page allocation scheme）、フリー・リスト分類などをサポートすることができる。ページ・プールは更に、ストレージの各クラスについての別個のフリー・リストを維持することができる。アロケーション方式は、最小または最大の許容されるクラスを設定しつつ、ページが多くのプールの１つから割り当てられることを可能にする。フリー・リストの分類は、デバイス・コンフィギュレーションから生じることができる。それぞれのフリー・リストは、それ自体のカウンタを、統計収集および表示のために、提供することができる。それぞれのフリー・リストは、記憶効率の統計の収集のためにＲＡＩＤデバイス効率情報も提供することができる。
ＤＰの一実施形態では、ＰＩＴＣは、移動の候補を識別することができ、それらが移動されるときに、アクセス可能ページへのＩ／Ｏをブロックすることができる。ＤＰは、候補を探して継続的にＰＩＴＣを検査することができる。ページのアクセス可能性は、サーバＩ／Ｏ、新しいスナップショット・ページ更新、ビュー・ボリューム作成／削除などに起因して継続的に変化する。ＤＰは、継続的にボリューム・コンフィギュレーション変化をチェックすることもでき、ページ・クラスおよびカウントの現在リストを要約する（まとめを作成する）こともできる。これは、ＤＰが、要約を評価して、移動させるページが存在するかどうかを判定することを、可能にする。各ＰＩＴＣは、ストレージの各クラスについて使用されたページの数についてのカウンタを提示することができる。ＤＰは、この情報を使用して、閾値に達した場合にページを移動させるための良い候補となるＰＩＴＣを識別することができる。
ＲＡＩＤシステムは、ディスクのコストに基づいて、１組のディスクからデバイスを割り当てることができる。ＲＡＩＤシステムは、デバイスまたはあり得るデバイスの効率を得るために、ＡＰＩを提供することもできる。更に、ＲＡＩＤシステムは、書き込み動作に必要とされるＩ／Ｏの数についての情報を返すことができる。ＤＰは、サードパーティのＲＡＩＤコントローラを使用するために、ＲＡＩＤ ＮＵＬＬを使用することができる。ＲＡＩＤ ＮＵＬＬは、全ディスクを消費することができ、単にパス・スルー・レイヤ（ｐａｓｓ ｔｈｒｏｕｇｈ ｌａｙｅｒ）として機能することができる。
ディスク・マネージャを、自動的にディスク分類を決定および保存するために、使用することもできる。ディスク分類の自動的な決定は、ＳＣＳＩイニシエータの変更を必要とすることがある。
ディスク局所性最適化（Disk Locality Optimization）
ＤＬＯは、システムのパフォーマンスを向上させるため、頻繁にアクセスされるデータを、ディスクの外側トラック上にグループ化することができる。頻繁にアクセスされるデータは、システム内の何れかのボリュームからのデータとすることができる。図１１は、ディスクの組の異なるトラック１１０２、１１０４、１１０６上の様々なＲＡＩＤデバイス上におけるボリューム・データの例示的な配置１１００を示している。ボリューム・データに対する様々なＬＢＡ範囲は様々な量のＩ／Ｏ（例えば、重いＩ／Ｏ １１２６、軽いＩ／Ｏ １１２８）に対してのサービスを行う。例えば、ボリューム１ １１１２のボリューム・データ１ １１０８およびボリューム・データ２ １１１０と、ボリューム２ １１２２のボリューム・データ０ １１１４およびボリューム・データ３ １１１６とは、各々が重いＩ／Ｏ １１２６を有しており、パフォーマンスがより良い外側トラック１１０２上に配置されることができる。同様に、ボリューム１ １１１２のボリューム・データ３ １１１８と、ボリューム２ １１２２のボリューム・データ１ １１２０とは、各々が軽いＩ／Ｏ １１２８を有しており、パフォーマンスが相対的に低いトラック１１０４上に配置されることができる。また、ボリューム１ １１１２のボリューム・データ４ １１２４は、パフォーマンスが相対的に最低のトラック１１０６上に配置されることができる。図１１は例示的なものであって、限定のためのものではない。ディスク・トラック上のデータの他の配置も、本開示によって想定されている。ＤＬＯは、個々のディスクに対するＩ／Ｏ速度（Ｉ／Ｏレート）を高めるために、「ショートストローキング（ｓｈｏｒｔ−ｓｔｒｏｋｉｎｇ」パフォーマンス最適化および高データ転送レートを増大することができる。
従って、ＤＬＯは、より大規模なディスクが追加された場合および／またはより非アクティブなデータがシステムに保存された場合、システムが高いパフォーマンス・レベルを維持することを可能にする。ＳＡＮの現在の多くの実施形態内に含まれるデータの約８０％から８５％は非アクティブである。加えて、データ・インスタント・リプレイ（ＤＩＲ：Ｄａｔａ Ｉｎｓｔａｎｔ Ｒｅｐｌａｙ）などの機能は、より多くのバックアップ情報がＳＡＮ自体に保存されるので、非アクティブ・データの量を増大させる。ＤＩＲの詳細な説明については、同時係属中の公開された米国特許出願第１０／９１８，３２９号を参照されたい。同特許出願の内容は、その全体が参照により先に本明細書に組み込まれている。非アクティブおよびアクセス不可能な再生データまたはバックアップ・データは、多くのアクティブＩ／Ｏなしに、システムに保存されたデータの大きい部分を占めることができる。頻繁に使用されるデータのグループ化は、大規模および小規模のシステムがより良いパフォーマンスを提供することを可能にする。
一実施形態では、ＤＬＯは、シーク待ち時間、回転待ち時間、およびデータ転送時間を短縮することができる。ＤＬＯは、最も頻繁に使用されるトラック間での必要とされるヘッド移動を少なくすることによって、シーク待ち時間を短縮することができる。ＤＬＯでは、ディスクが、遠く離れたトラックへよりも近くのトラックへ移動するために短かい時間を使う。また、外側トラックは、内側トラックよりも大量のデータを格納することができる。回転待ち時間は、一般に、シーク待ち時間よりも短い。幾つかの実施形態では、ＤＬＯは、要求（リクエスト）の回転待ち時間を直接的に短縮しない。しかし、シーク待ち時間を短縮することにより回転待ち時間を間接的に短縮することができ、それにより、ディスクが１回転すると複数の要求を完了することを可能にする。ＤＬＯは、最も外側トラックに対して、改善されたＩ／Ｏ転送レートを利用することによって、データ転送時間を短縮することができる。幾つかの実施形態では、これは、シーク待ち時間および回転待ち時間についての向上と比較すると、最低限の向上を提供できるに過ぎない。しかし、それでも、この最適化に対しての有益な結果を提供することができる。
一実施形態では、ＤＬＯは、パフォーマンスがより良いディスク部分、例えば、１１０２を最初に弁別することができる。先に説明されたように、図２は、ディスクのアクセスされるＬＢＡ範囲が増大するにつれてディスクの全体的Ｉ／Ｏパフォーマンスが低下することを、示している。ＤＬＯは、パフォーマンスがより良いディスク部分を識別することができ、ボリュームＲＡＩＤ空間をその空間の境界内で割り当てることができる。
一実施形態では、ＤＬＯは、ＬＢＡ ０が最も外側のトラック上に存在するとは仮定しない。ディスク上の最高位のＬＢＡが、最も外側のトラック上に存在する。更に、一実施形態では、ＤＬＯは、ディスク空間の使用に優先順位を付けるためにＤＰが使用するファクタである。他の実施形態では、ＤＬＯは、ＤＰとは別個の異なるものであり得る。また更なる実施形態では、本明細書で説明されるＤＰに従ってディスク空間の値（価値）およびデータのプログレッションを決定する際に使用される方法は、ＤＬＯに従ってディスク空間の値（価値）およびデータのプログレッションを決定する際にも適用可能とすることができる。
上記の説明および図面から、示され説明された具体的な実施形態は、説明を目的としたものに過ぎず、本発明の範囲を限定する意図はないことを、当業者であれば理解されよう。当業者であれば、本発明が、本発明の主旨および必須の特徴から逸脱することなく、他の特定の形態で実施され得ることを理解されよう。具体的な実施形態の細部についての言及は本発明の範囲を限定することを意図していない。
本発明の様々な実施形態において、ディスク・クラス、ＲＡＩＤレベル、ディスク局所性、および他の特徴は、相当な数の選択肢を提供する。例えば、ＤＰ ＤＬＯは、ＦＣ、ＳＡＴＡ、およびＦＡＴＡを始めとする様々なディスク・ドライブ技法と共に機能することができる。同様に、ＤＬＯは、ＲＡＩＤ０、ＲＡＩＤ１、ＲＡＩＤ１０、ＲＡＩＤ５、およびＲＡＩＤ６（デュアル・パリティ）などを始めとする様々なＲＡＩＤレベルと共に機能することができる。ＤＬＯは、ディスクの高速または低速のトラック上に任意のＲＡＩＤレベルを配置することができる。

Claims (18)

  1. ディスク・ドライブ・システムにおけるディスク局所性最適化の方法であって、
    前記ディスク・ドライブ・システムの複数のディスク・ドライブ上の複数のデータの各々についてのコストを決定するステップと、
    前記複数のディスク・ドライブ上の第１のロケーションから前記複数のディスク・ドライブ上の第２のロケーションへ移動させるデータが存在するかどうかを判定するステップと、
    前記第１のロケーションに保存されているデータを前記第２のロケーションへ移動させるステップと
    を備え、
    前記第１のロケーションは、第１のディスク・ドライブの中心に対して概ね同心円状で配置されたデータ・トラックであり、第２のディスク・ドライブの中心に対しての前記第２のロケーションよりも、前記中心に近接している、
    方法。
  2. 請求項１に記載の方法であって、前記複数のデータの各々の前記コストが、前記データのアクセス・パターンに基づくものである、方法。
  3. 請求項２に記載の方法であって、
    前記複数のディスク・ドライブ上の第１のロケーションから前記複数のディスク・ドライブ上の第２のロケーションへ移動させるデータが存在するかどうかを判定する前記ステップは、前記第１のロケーション上のデータが前記第２のロケーションへ移動させるのに適したアクセス・パターンを有するかどうかを判定するステップを含む、
    方法。
  4. 請求項２に記載の方法であって、前記第１のディスク・ドライブと前記第２のディスク・ドライブとが同じであり、前記第２のロケーションが前記第１のディスク・ドライブ上に位置するデータ・トラックである、方法。
  5. 請求項３に記載の方法であって、前記複数のディスク・ドライブ上の前記複数のデータが、ボリュームへと割り当てられた複数のＲＡＩＤデバイスからのデータを含む、方法。
  6. 請求項５に記載の方法であって、前記複数のディスク・ドライブ上の前記複数のデータ各々が、ボリュームのサブセットを含む、方法。
  7. 請求項１に記載の方法であって、
    前記複数のディスク・ドライブ上の第３のロケーションから前記複数のディスク・ドライブ上の第４のロケーションへ移動させるデータが存在するかどうかを判定するステップと、
    前記第３のロケーションに保存されているデータを前記第４のロケーションへ移動させるステップと
    を更に備え、
    前記第３のロケーションは、第３のディスク・ドライブの中心に対して概ね同心円状で配置されたデータ・トラックであり、第４のディスク・ドライブの中心に対しての前記第４のロケーションよりも、前記中心から離れている、
    方法。
  8. 請求項７に記載の方法であって、前記複数のデータの各々の前記コストが、前記データの前記アクセス・パターンおよびデータのタイプの少なくとも一方に基づく、方法。
  9. 請求項８に記載の方法であって、データが履歴スナップショット・データを含む場合、前記データを前記第３のロケーションから前記第４のロケーションへ移動させる、方法。
  10. 請求項８に記載の方法であって、前記第３のディスク・ドライブおよび前記第４のディスク・ドライブが同じであり、前記第４のロケーションが、前記第３のディスク・ドライブ上に配置されたデータ・トラックである、方法。
  11. ディスク・ドライブ・システムであって、
    ストレージのプールを備えるＲＡＩＤサブシステムと、
    少なくとも１つのディスク・ストレージ・システム・コントローラを有するディスク・マネージャであって、
    前記ディスク・ドライブ・システムの複数のディスク・ドライブ上の複数のデータの各々についてのコストを決定し、
    前記複数のディスク・ドライブ上の第１のロケーションから前記複数のディスク・ドライブ上の第２のロケーションへ移動させるデータが存在するかどうかを継続的に判定し、
    前記第１のロケーションに保存されているデータを前記第２のロケーションへ移動させる
    ように構成される、ディスク・マネージャと
    を備え、
    前記第１のロケーションは、第１のディスク・ドライブの中心に対して概ね同心円状で配置されたデータ・トラックであり、前記第１のディスク・ドライブの前記中心および第２のディスク・ドライブの中心のうちの１つの前記中心に対しての前記第２のロケーションよりも、前記中心に近接している、
    ディスク・ドライブ・システム。
  12. 請求項１１に記載のシステムであって、前記ディスク・ドライブ・システムが、ＲＡＩＤ−０、ＲＡＩＤ−１、ＲＡＩＤ−５、およびＲＡＩＤ−１０を含む複数のＲＡＩＤレベルの少なくとも１つからの記憶空間を備える、システム。
  13. 請求項１２に記載のシステムであって、ＲＡＩＤ−３、ＲＡＩＤ−４、ＲＡＩＤ−６、およびＲＡＩＤ−７を含むＲＡＩＤレベルを更に含む、システム。
  14. ディスク局所性最適化を行えるディスク・ドライブ・システムであって、
    データを保存する手段と、
    第１のロケーションから第２のロケーションへ移動させるデータが存在するかどうかを判定するために、前記データを保存する手段上の複数のデータをチェックする手段であって、前記第１のロケーションが、前記第２のロケーションよりも、前記データを保存する手段におけるパフォーマンスのより高い機械的位置に配置されたデータ・トラックである、チェックする手段と、
    前記第１のロケーションに保存されているデータを前記第２のロケーションへ移動させる手段と、
    を備えるディスク・ドライブ・システム。
  15. 請求項１４に記載のディスク・ドライブ・システムであって、前記第１のロケーションは、第１のディスク・ドライブの中心に対して概ね同心円状で配置されたデータ・トラックであり、前記第１のディスク・ドライブの前記中心および第２のディスク・ドライブの中心のうちの１つの前記中心に対しての前記第２のロケーションよりも、前記中心に近接している、ディスク・ドライブ・システム。
  16. データを保存するコストを低減するための方法であって、
    第１のディスク上に保存されたデータのアクセス・パターンを評価するステップと、
    少なくとも前記アクセス・パターンに基づいて、第２のディスクの外側トラックおよび内側トラックの少なくとも一つへデータを移動させるステップと
    を備える方法。
  17. 請求項１６に記載の方法であって、前記第１のディスク・ドライブおよび前記第２のディスク・ドライブが同じディスクである、方法。
  18. 請求項１６に記載の方法であって、前記第１のディスク・ドライブと前記第２のディスク・ドライブが異なるディスクである、方法。
JP2009512307A 2006-05-24 2007-05-24 データ・プログレッション・ディスク局所性最適化のシステムおよび方法 Pending JP2009538493A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US80805806P 2006-05-24 2006-05-24
PCT/US2007/069668 WO2007140259A2 (en) 2006-05-24 2007-05-24 Data progression disk locality optimization system and method

Publications (1)

Publication Number Publication Date
JP2009538493A true JP2009538493A (ja) 2009-11-05

Family

ID=38779351

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009512307A Pending JP2009538493A (ja) 2006-05-24 2007-05-24 データ・プログレッション・ディスク局所性最適化のシステムおよび方法

Country Status (5)

Country Link
US (1) US20080091877A1 (ja)
EP (1) EP2021903A2 (ja)
JP (1) JP2009538493A (ja)
CN (1) CN101467122B (ja)
WO (1) WO2007140259A2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9489150B2 (en) * 2003-08-14 2016-11-08 Dell International L.L.C. System and method for transferring data between different raid data storage types for current data and replay data
EP1668486A2 (en) 2003-08-14 2006-06-14 Compellent Technologies Virtual disk drive system and method
US8055858B2 (en) * 2008-01-31 2011-11-08 International Business Machines Corporation Method for protecting exposed data during read/modify/write operations on a SATA disk drive
US8996841B2 (en) * 2008-02-06 2015-03-31 Compellent Technologies Hypervolume data storage object and method of data storage
US8468292B2 (en) * 2009-07-13 2013-06-18 Compellent Technologies Solid state drive data storage system and method
US8667248B1 (en) * 2010-08-31 2014-03-04 Western Digital Technologies, Inc. Data storage device using metadata and mapping table to identify valid user data on non-volatile media
US10922225B2 (en) 2011-02-01 2021-02-16 Drobo, Inc. Fast cache reheat
US9146851B2 (en) 2012-03-26 2015-09-29 Compellent Technologies Single-level cell and multi-level cell hybrid solid state drive
US9519439B2 (en) * 2013-08-28 2016-12-13 Dell International L.L.C. On-demand snapshot and prune in a data storage system
US8976636B1 (en) * 2013-09-26 2015-03-10 Emc Corporation Techniques for storing data on disk drives partitioned into two regions
US9841931B2 (en) 2014-03-31 2017-12-12 Vmware, Inc. Systems and methods of disk storage allocation for virtual machines
US9547460B2 (en) * 2014-12-16 2017-01-17 Dell Products, Lp Method and system for improving cache performance of a redundant disk array controller
US10303392B2 (en) * 2016-10-03 2019-05-28 International Business Machines Corporation Temperature-based disk defragmentation
US11610603B2 (en) * 2021-04-02 2023-03-21 Seagate Technology Llc Intelligent region utilization in a data storage device
CN117149098B (zh) * 2023-10-31 2024-02-06 苏州元脑智能科技有限公司 一种条带单元分配方法、装置、计算机设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000163290A (ja) * 1998-11-30 2000-06-16 Nec Home Electronics Ltd データ記憶方法
JP2002182860A (ja) * 2000-12-18 2002-06-28 Pfu Ltd ディスクアレイ装置
JP2003196127A (ja) * 2001-12-26 2003-07-11 Nippon Telegr & Teleph Corp <Ntt> データの配置方法
JP2004272324A (ja) * 2003-03-05 2004-09-30 Nec Corp ディスクアレイ装置
JP2005018612A (ja) * 2003-06-27 2005-01-20 Hitachi Ltd ストレージ装置、及びストレージ装置の制御方法
WO2005017737A2 (en) * 2003-08-14 2005-02-24 Compellent Technologies Virtual disk drive system and method
JP2006024024A (ja) * 2004-07-08 2006-01-26 Toshiba Corp 論理ディスク管理方法及び装置

Family Cites Families (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5276867A (en) * 1989-12-19 1994-01-04 Epoch Systems, Inc. Digital data storage system with improved data migration
US5396635A (en) * 1990-06-01 1995-03-07 Vadem Corporation Power conservation apparatus having multiple power reduction levels dependent upon the activity of the computer system
US5544347A (en) * 1990-09-24 1996-08-06 Emc Corporation Data storage system controlled remote data mirroring with respectively maintained data indices
US5502836A (en) * 1991-11-21 1996-03-26 Ast Research, Inc. Method for disk restriping during system operation
US5379412A (en) * 1992-04-20 1995-01-03 International Business Machines Corporation Method and system for dynamic allocation of buffer storage space during backup copying
US5390327A (en) * 1993-06-29 1995-02-14 Digital Equipment Corporation Method for on-line reorganization of the data on a RAID-4 or RAID-5 array in the absence of one disk and the on-line restoration of a replacement disk
JPH0744326A (ja) * 1993-07-30 1995-02-14 Hitachi Ltd 記憶装置システム
US5875456A (en) * 1995-08-17 1999-02-23 Nstor Corporation Storage device array and methods for striping and unstriping data and for adding and removing disks online to/from a raid storage array
US5809224A (en) * 1995-10-13 1998-09-15 Compaq Computer Corporation On-line disk array reconfiguration
US5719983A (en) * 1995-12-18 1998-02-17 Symbios Logic Inc. Method and apparatus for placement of video data based on disk zones
US6052797A (en) * 1996-05-28 2000-04-18 Emc Corporation Remotely mirrored data storage system with a count indicative of data consistency
KR100208801B1 (ko) * 1996-09-16 1999-07-15 윤종용 데이타 입/출력 성능을 향상시키기 위한 기억장치 시스템 및 그에 따른 데이타 복구정보 캐시구현방법
KR100275900B1 (ko) * 1996-09-21 2000-12-15 윤종용 알에이아이디 서브시스템에 있어서 분할패러티 예비 디스크 구현방법
KR100244281B1 (ko) * 1996-11-27 2000-02-01 김영환 반도체 소자의 커피시터 제조방법
US5897661A (en) * 1997-02-25 1999-04-27 International Business Machines Corporation Logical volume manager and method having enhanced update capability with dynamic allocation of storage and minimal storage of metadata information
US6076143A (en) * 1997-09-02 2000-06-13 Emc Corporation Method and apparatus for managing the physical storage locations for blocks of information in a storage system to increase system performance
US6366988B1 (en) * 1997-07-18 2002-04-02 Storactive, Inc. Systems and methods for electronic data storage management
US6215747B1 (en) * 1997-11-17 2001-04-10 Micron Electronics, Inc. Method and system for increasing the performance of constant angular velocity CD-ROM drives
US6192444B1 (en) * 1998-01-05 2001-02-20 International Business Machines Corporation Method and system for providing additional addressable functional space on a disk for use with a virtual data storage subsystem
US6212531B1 (en) * 1998-01-13 2001-04-03 International Business Machines Corporation Method for implementing point-in-time copy using a snapshot function
JPH11203056A (ja) * 1998-01-19 1999-07-30 Fujitsu Ltd 入出力制御装置及びアレイディスク装置
US6347359B1 (en) * 1998-02-27 2002-02-12 Aiwa Raid Technology, Inc. Method for reconfiguration of RAID data storage systems
US6438642B1 (en) * 1999-05-18 2002-08-20 Kom Networks Inc. File-based virtual storage file system, method and computer program product for automated file management on multiple file system storage devices
US6353878B1 (en) * 1998-08-13 2002-03-05 Emc Corporation Remote control of backup media in a secondary storage subsystem through access to a primary storage subsystem
US6366987B1 (en) * 1998-08-13 2002-04-02 Emc Corporation Computer data storage physical backup and logical restore
US7000069B2 (en) * 1999-04-05 2006-02-14 Hewlett-Packard Development Company, L.P. Apparatus and method for providing very large virtual storage volumes using redundant arrays of disks
US6356969B1 (en) * 1999-08-13 2002-03-12 Lsi Logic Corporation Methods and apparatus for using interrupt score boarding with intelligent peripheral device
US6516425B1 (en) * 1999-10-29 2003-02-04 Hewlett-Packard Co. Raid rebuild using most vulnerable data redundancy scheme first
US6341341B1 (en) * 1999-12-16 2002-01-22 Adaptec, Inc. System and method for disk control with snapshot feature including read-write snapshot half
US6560615B1 (en) * 1999-12-17 2003-05-06 Novell, Inc. Method and apparatus for implementing a highly efficient, robust modified files list (MFL) for a storage system volume
US6839827B1 (en) * 2000-01-18 2005-01-04 International Business Machines Corporation Method, system, program, and data structures for mapping logical blocks to physical blocks
CN1322747C (zh) * 2000-05-12 2007-06-20 提维股份有限公司 提高带宽效率的方法
US6779095B2 (en) * 2000-06-19 2004-08-17 Storage Technology Corporation Apparatus and method for instant copy of data using pointers to new and original data in a data location
US6779094B2 (en) * 2000-06-19 2004-08-17 Storage Technology Corporation Apparatus and method for instant copy of data by writing new data to an additional physical storage area
US6839864B2 (en) * 2000-07-06 2005-01-04 Onspec Electronic Inc. Field-operable, stand-alone apparatus for media recovery and regeneration
US6732125B1 (en) * 2000-09-08 2004-05-04 Storage Technology Corporation Self archiving log structured volume with intrinsic data protection
US7032119B2 (en) * 2000-09-27 2006-04-18 Amphus, Inc. Dynamic power and workload management for multi-server system
US7058826B2 (en) * 2000-09-27 2006-06-06 Amphus, Inc. System, architecture, and method for logical server and other network devices in a dynamically configurable multi-server network environment
WO2002065275A1 (en) * 2001-01-11 2002-08-22 Yottayotta, Inc. Storage virtualization system and methods
US6990547B2 (en) * 2001-01-29 2006-01-24 Adaptec, Inc. Replacing file system processors by hot swapping
US20020174295A1 (en) * 2001-01-29 2002-11-21 Ulrich Thomas R. Enhanced file system failure tolerance
US6795895B2 (en) * 2001-03-07 2004-09-21 Canopy Group Dual axis RAID systems for enhanced bandwidth and reliability
JP4175788B2 (ja) * 2001-07-05 2008-11-05 株式会社日立製作所 ボリューム制御装置
US6948038B2 (en) * 2001-07-24 2005-09-20 Microsoft Corporation System and method for backing up and restoring data
KR100392382B1 (ko) * 2001-07-27 2003-07-23 한국전자통신연구원 동적 크기 변경 및 메타 데이터 양의 최소화를 위한 논리볼륨 관리 방법
US6952701B2 (en) * 2001-08-07 2005-10-04 Hewlett-Packard Development Company, L.P. Simultaneous array configuration and store assignment for a data storage system
US7092977B2 (en) * 2001-08-31 2006-08-15 Arkivio, Inc. Techniques for storing data based upon storage policies
US6823436B2 (en) * 2001-10-02 2004-11-23 International Business Machines Corporation System for conserving metadata about data snapshots
US6883065B1 (en) * 2001-11-15 2005-04-19 Xiotech Corporation System and method for a redundant communication channel via storage area network back-end
US7003688B1 (en) * 2001-11-15 2006-02-21 Xiotech Corporation System and method for a reserved memory area shared by all redundant storage controllers
US6996741B1 (en) * 2001-11-15 2006-02-07 Xiotech Corporation System and method for redundant communication between redundant controllers
US6877109B2 (en) * 2001-11-19 2005-04-05 Lsi Logic Corporation Method for the acceleration and simplification of file system logging techniques using storage device snapshots
JP2003162377A (ja) * 2001-11-28 2003-06-06 Hitachi Ltd ディスクアレイシステム及びコントローラ間での論理ユニットの引き継ぎ方法
US7644136B2 (en) * 2001-11-28 2010-01-05 Interactive Content Engines, Llc. Virtual file system
US7173929B1 (en) * 2001-12-10 2007-02-06 Incipient, Inc. Fast path for performing data operations
US7475098B2 (en) * 2002-03-19 2009-01-06 Network Appliance, Inc. System and method for managing a plurality of snapshots
JP2003316671A (ja) * 2002-04-19 2003-11-07 Hitachi Ltd ストレージネットワークの構成表示方法
US7197614B2 (en) * 2002-05-08 2007-03-27 Xiotech Corporation Method and apparatus for mirroring data stored in a mass storage system
US7162587B2 (en) * 2002-05-08 2007-01-09 Hiken Michael S Method and apparatus for recovering redundant cache data of a failed controller and reestablishing redundancy
US7181581B2 (en) * 2002-05-09 2007-02-20 Xiotech Corporation Method and apparatus for mirroring data stored in a mass storage system
US6732171B2 (en) * 2002-05-31 2004-05-04 Lefthand Networks, Inc. Distributed network storage system with virtualization
US6938123B2 (en) * 2002-07-19 2005-08-30 Storage Technology Corporation System and method for raid striping
US6957362B2 (en) * 2002-08-06 2005-10-18 Emc Corporation Instantaneous restoration of a production copy from a snapshot copy in a data storage system
US7032093B1 (en) * 2002-08-08 2006-04-18 3Pardata, Inc. On-demand allocation of physical storage for virtual volumes using a zero logical disk
US7107385B2 (en) * 2002-08-09 2006-09-12 Network Appliance, Inc. Storage virtualization by layering virtual disk objects on a file system
US7191304B1 (en) * 2002-09-06 2007-03-13 3Pardata, Inc. Efficient and reliable virtual volume mapping
US7672226B2 (en) * 2002-09-09 2010-03-02 Xiotech Corporation Method, apparatus and program storage device for verifying existence of a redundant fibre channel path
US6996582B2 (en) * 2002-10-03 2006-02-07 Hewlett-Packard Development Company, L.P. Virtual storage systems and virtual storage system operational methods
US6857057B2 (en) * 2002-10-03 2005-02-15 Hewlett-Packard Development Company, L.P. Virtual storage systems and virtual storage system operational methods
US6952794B2 (en) * 2002-10-10 2005-10-04 Ching-Hung Lu Method, system and apparatus for scanning newly added disk drives and automatically updating RAID configuration and rebuilding RAID data
US7024526B2 (en) * 2002-10-31 2006-04-04 Hitachi, Ltd. Apparatus and method of null data skip remote copy
US7194653B1 (en) * 2002-11-04 2007-03-20 Cisco Technology, Inc. Network router failover mechanism
CN1249581C (zh) * 2002-11-18 2006-04-05 华为技术有限公司 一种热备盘数据迁移方法
JP4283004B2 (ja) * 2003-02-04 2009-06-24 株式会社日立製作所 ディスク制御装置およびディスク制御装置の制御方法
US7320052B2 (en) * 2003-02-10 2008-01-15 Intel Corporation Methods and apparatus for providing seamless file system encryption and redundant array of independent disks from a pre-boot environment into a firmware interface aware operating system
US7184933B2 (en) * 2003-02-28 2007-02-27 Hewlett-Packard Development Company, L.P. Performance estimation tool for data storage systems
US20050010731A1 (en) * 2003-07-08 2005-01-13 Zalewski Stephen H. Method and apparatus for protecting data against any category of disruptions
JP4321705B2 (ja) * 2003-07-29 2009-08-26 株式会社日立製作所 スナップショットの取得を制御するための装置及び記憶システム
US20050027938A1 (en) * 2003-07-29 2005-02-03 Xiotech Corporation Method, apparatus and program storage device for dynamically resizing mirrored virtual disks in a RAID storage system
US7287121B2 (en) * 2003-08-27 2007-10-23 Aristos Logic Corporation System and method of establishing and reconfiguring volume profiles in a storage system
US7991748B2 (en) * 2003-09-23 2011-08-02 Symantec Corporation Virtual data store creation and use
US20050081086A1 (en) * 2003-10-10 2005-04-14 Xiotech Corporation Method, apparatus and program storage device for optimizing storage device distribution within a RAID to provide fault tolerance for the RAID
US7702948B1 (en) * 2004-07-13 2010-04-20 Adaptec, Inc. Auto-configuration of RAID systems
US20060059306A1 (en) * 2004-09-14 2006-03-16 Charlie Tseng Apparatus, system, and method for integrity-assured online raid set expansion
US7913038B2 (en) * 2005-06-03 2011-03-22 Seagate Technology Llc Distributed storage system with accelerated striping
JP4345979B2 (ja) * 2005-06-30 2009-10-14 富士通株式会社 Ｒａｉｄ装置、通信接続監視方法及びプログラム
US7653832B2 (en) * 2006-05-08 2010-01-26 Emc Corporation Storage array virtualization using a storage block mapping protocol client and server
US7662970B2 (en) * 2006-11-17 2010-02-16 Baker Hughes Incorporated Oxazolidinium compounds and use as hydrate inhibitors
US7870409B2 (en) * 2007-09-26 2011-01-11 Hitachi, Ltd. Power efficient data storage with data de-duplication
EP2324414A1 (en) * 2008-08-07 2011-05-25 Compellent Technologies System and method for transferring data between different raid data storage types for current data and replay data

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000163290A (ja) * 1998-11-30 2000-06-16 Nec Home Electronics Ltd データ記憶方法
JP2002182860A (ja) * 2000-12-18 2002-06-28 Pfu Ltd ディスクアレイ装置
JP2003196127A (ja) * 2001-12-26 2003-07-11 Nippon Telegr & Teleph Corp <Ntt> データの配置方法
JP2004272324A (ja) * 2003-03-05 2004-09-30 Nec Corp ディスクアレイ装置
JP2005018612A (ja) * 2003-06-27 2005-01-20 Hitachi Ltd ストレージ装置、及びストレージ装置の制御方法
WO2005017737A2 (en) * 2003-08-14 2005-02-24 Compellent Technologies Virtual disk drive system and method
JP2006024024A (ja) * 2004-07-08 2006-01-26 Toshiba Corp 論理ディスク管理方法及び装置

Also Published As

Publication number Publication date
EP2021903A2 (en) 2009-02-11
CN101467122B (zh) 2012-07-04
WO2007140259A2 (en) 2007-12-06
WO2007140259A3 (en) 2008-03-27
US20080091877A1 (en) 2008-04-17
CN101467122A (zh) 2009-06-24

Similar Documents

Publication Publication Date Title
JP2009538493A (ja) データ・プログレッション・ディスク局所性最適化のシステムおよび方法
US9542125B1 (en) Managing data relocation in storage systems
US9477431B1 (en) Managing storage space of storage tiers
US9411530B1 (en) Selecting physical storage in data storage systems
US9569130B2 (en) Storage system having a plurality of flash packages
US9244618B1 (en) Techniques for storing data on disk drives partitioned into two regions
US9513814B1 (en) Balancing I/O load on data storage systems
US9606915B2 (en) Pool level garbage collection and wear leveling of solid state devices
US9684593B1 (en) Techniques using an encryption tier property with application hinting and I/O tagging
US10082959B1 (en) Managing data placement in storage systems
US9395937B1 (en) Managing storage space in storage systems
US9575668B1 (en) Techniques for selecting write endurance classification of flash storage based on read-write mixture of I/O workload
US9811288B1 (en) Managing data placement based on flash drive wear level
US9323459B1 (en) Techniques for dynamic data storage configuration in accordance with an allocation policy
US9311207B1 (en) Data storage system optimizations in a multi-tiered environment
US9122629B2 (en) Elastic cache with single parity
US20110252218A1 (en) Method and apparatus for choosing storage components within a tier
KR20130100722A (ko) Smr raid용의 대블록 무작위 쓰기 핫 스페어 ssd 구현
US20080270719A1 (en) Method and system for efficient snapshot operations in mass-storage arrays
US20130275802A1 (en) Storage subsystem and data management method of storage subsystem
JP2003131816A (ja) 局部的なデータの再割り付けのためのｉ／ｏカウンターを持つ記憶デバイス及びその制御方法
US8650358B2 (en) Storage system providing virtual volume and electrical power saving control method including moving data and changing allocations between real and virtual storage areas
JP6011153B2 (ja) ストレージシステム、ストレージ制御方法およびストレージ制御プログラム
CN113811862A (zh) 存储驱动器的动态性能等级调整
JP6554990B2 (ja) ストレージ制御装置およびストレージ制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100521

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110914

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20111206

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20111213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120905

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20121204

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20121211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130305

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130409