JP2016522484A - オブジェクト情報の複数の次元を用いたオブジェクトストレージ - Google Patents

オブジェクト情報の複数の次元を用いたオブジェクトストレージ Download PDF

Info

Publication number
JP2016522484A
JP2016522484A JP2016510813A JP2016510813A JP2016522484A JP 2016522484 A JP2016522484 A JP 2016522484A JP 2016510813 A JP2016510813 A JP 2016510813A JP 2016510813 A JP2016510813 A JP 2016510813A JP 2016522484 A JP2016522484 A JP 2016522484A
Authority
JP
Japan
Prior art keywords
storage
data
objects
solutions
storage system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016510813A
Other languages
English (en)
Other versions
JP6211173B2 (ja
Inventor
ハミルトン,ジェームズ・アール
ヘンリー,アリッサ・エイチ
Original Assignee
アマゾン・テクノロジーズ・インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アマゾン・テクノロジーズ・インコーポレーテッド filed Critical アマゾン・テクノロジーズ・インコーポレーテッド
Publication of JP2016522484A publication Critical patent/JP2016522484A/ja
Application granted granted Critical
Publication of JP6211173B2 publication Critical patent/JP6211173B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/283Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • G06F3/0605Improving or facilitating administration, e.g. storage management by facilitating the interaction with a user or administrator
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647Migration mechanisms
    • G06F3/0649Lifecycle management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0683Plurality of storage devices
    • G06F3/0685Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays

Abstract

情報の複数の次元の分析に従って、ストレージシステムの種々のストレージソリューションにわたってオブジェクトをグループ化し、格納する方法は、ストレージ管理モジュールとして、または、ストレージ管理モジュール内において実装され得る。モジュールは、ストレージシステム(例えば、データストレージシステム)のオブジェクト(例えば、データオブジェクト)に関する情報を収集する。オブジェクトは、ストレージシステムに既に格納されたオブジェクトであり得、または、ストレージシステムに格納しようとする新しいオブジェクトであり得る。モジュールは、収集した情報を複数の次元にわたって分析して、オブジェクトのグループを決定し、各決定したグループについてストレージソリューションを決定する。モジュールは、次に、決定したストレージソリューションに従って、オブジェクトのグループの格納を指示し得る。ストレージシステムのオブジェクトに関して新しい情報を取得すると、モジュールは、その新しい情報を含む分析に従って、1つのストレージソリューションから他のストレージソリューションへのオブジェクトの移動を指示し得る。【選択図】図3

Description

データストレージ技術においては、多くの種類のストレージ技術(ストレージソリューションとも呼んでよい)が存在し、広範囲の価格、性能、容量、及び、機能を提供している。一般的に、半導体ドライブ(SSD)技術装置や、ハードディスクドライブ(HDD)技術装置等の、高速アクセスを提供するストレージ技術は、光ディスクドライブや磁気テープドライブ等の、アクセスの遅いストレージ技術よりも高価である(ストレージ単位当たり)。従って、多くのデータストレージシステムは、1つまたは複数の上位層で用いられる高価で高速のストレージ技術と、1つまたは複数の下位層で用いられる、それより安価で低速のストレージ技術という、2つ以上の層のストレージ技術を用いて設計、実装される。これらのデータストレージシステムの種々の層へのデータの格納を指示するストレージ管理方法(例えば、階層ストレージ管理(HSM)法)が開発されてきた。
しかしながら、HSM等の従来のストレージ管理方法は、ストレージの決定を行う際に、データに関する情報の1つの次元のみ(アクセス履歴)を考慮するのが典型的であり、その1つの次元に従って、データストレージ技術の一次元の層を、データを上に移したり、下に移したりするだけであるのが典型的である。例えば、HSM法は、一般的に、最近アクセスされた(例えば、書き込まれた、または、読み出された)データを上位の層(単数または複数)(例えば、ディスクドライブ)に格納し、最近(例えば、特定の期間)アクセスされていないデータを下位の層(単数または複数)(例えば、テープ)に移す。下に(例えば、テープに)移されたデータは、一般的に、そのデータへのアクセス要求を受信した場合のみ、上位の層に戻され得る。上位の層に移されたデータは、下位の層(例えば、テープ)に戻される前に、特定の期間、その上位の層に留まり得る。
少なくとも一部の実施形態に係る、ストレージシステムにおいて、ストレージ管理モジュールとして実装し得る多次元ストレージ管理方法の高レベルフローチャートである。 図2A、図2Bは、少なくとも一部の実施形態に係る、複数の次元にわたるデータオブジェクトのグループの決定をグラフィカルに示す図である。 少なくとも一部の実施形態に係る、クラスタ分析技術を用いた、複数の次元にわたるデータオブジェクトのグループの決定をグラフィカルに示す図である。 ストレージ管理方法の実施形態を実装し得るストレージシステムの実施例の論理的ビューを示すブロック図である。 ストレージ管理方法の実施形態を実装し得るストレージシステムの物理的実装の例を示す図である。 少なくとも一部の実施形態に係る、クラスタ分析技術を用いてデータオブジェクトのグループをストレージソリューションにマッチさせる、多次元ストレージ管理方法の高レベルフローチャートである。 少なくとも一部の実施形態に係る、ストレージ管理方法の実施形態を用いてデータオブジェクトのクラスタを決定し、そのデータオブジェクトを複数のストレージソリューション間に分配し得る、ストレージシステムの実施例の論理的ビューを示すブロック図である。 ストレージ管理方法の実施形態を用いて、他のストレージアプリケーションを含む複数のストレージソリューション間でのデータオブジェクトの分配を指示し得る、ストレージシステムの実施例の論理的ビューを示すブロック図である。 一部の実施形態において使用可能なコンピュータシステムの実施例を示すブロック図である。
本明細書では、例として、幾つかの実施形態と説明図について実施形態を記載したが、当業者は、実施形態は、記載した実施形態と図面に限定されないことを認識されよう。ここに記載の図面および詳細な説明は、実施形態を特定の開示の形態に限定することを意図しておらず、むしろ逆に、請求項に規定した精神及び範囲内にある全ての修正、同等物、及び、代替物を含むことを意図していることは理解されたい。本明細書で用いた表題は、系統立てのためだけであり、本明細書または請求項の範囲を限定するために用いてはいない。この出願書類を通して使用されている、「してよい、し得る」という言い回しは、強制的な意味(すなわち、ねばならない)ではなく、許容的な意味(すなわち、をする可能性を有する)で用いられている。同様に、「含む」という言い回しは、限定ではなく、一部として含むことを意味する。
オブジェクトに関する情報の複数の次元の分析に従って、ストレージシステムの種々のストレージソリューションにわたってオブジェクトをグループ化し、格納する方法及び装置の様々な実施形態を記載する。1つまたは複数のコンピュータ装置上で、ストレージ管理モジュールとして、または、ストレージ管理モジュール内において、実装し得る多次元ストレージ管理方法を記載する。ストレージ管理モジュールは、オブジェクトについて収集された情報の複数の次元の分析に従って、ストレージシステムの種々のストレージソリューションまたは層にわたってオブジェクトのグループを決定し、決定されたオブジェクトのグループを格納する指示をし得る。ストレージ管理モジュールを実装し得るコンピュータ装置の実施例を図8に示す。ストレージ管理モジュールを実装し得るストレージシステムの実施例を図3、4、6、7に示す。
図1は、少なくとも一部の実施形態に係る、ストレージシステムのストレージ管理モジュールとして実装し得る多次元ストレージ管理方法の高レベルフローチャートである。100に示すように、ストレージ管理方法は、ストレージシステム(例えば、データストレージシステム)の1つまたは複数のオブジェクト(例えば、データオブジェクト)に関する情報を取得する。例えば、ストレージ管理方法は、ストレージアプリケーションソフトウェアによって保持されるストレージシステムに格納されるオブジェクトのメタデータから情報を収集し得る。オブジェクトは、ストレージシステムに既に格納されているオブジェクトであり得、または、ストレージシステムに格納されようとする新しいオブジェクトであり得る。102に示すように、ストレージ管理モジュールは、複数の次元にわたって取得した情報を分析して、オブジェクトのグループを決定する。104に示すように、ストレージ管理モジュールは、決定したグループのそれぞれについてストレージソリューションを決定する。106に示すように、ストレージ管理モジュールは、決定したストレージソリューションに従って、グループ単位でオブジェクトの格納を指示し得る。ストレージシステムのオブジェクト(1つまたは複数)に関する新しい情報を取得すると、ストレージ管理方法は、新しい情報を含む分析に従って、1つのストレージソリューションから他のストレージソリューションへのオブジェクト(1つまたは複数)の移動を指示し得る。
多次元ストレージ管理方法の実施形態は、例えば、オブジェクトのアクセスまたはフェッチの速度に著しいスキューがあり、かつ、ストレージソリューション間のストレージコストに著しい相違のある、ストレージシステムに適用されてよい。ストレージ管理方法は、ストレージシステムに格納されたオブジェクトの情報を複数の次元にわたって分析して、アクセスされる可能性が高いオブジェクトであって、かつ、そのオブジェクトに比較的高速で安価なアクセスを提供し得る、(ストレージ単位当たり)より高価なストレージソリューションに格納し得るオブジェクトのグループ(単数または複数)を決定し得る。アクセスされる可能性が低いオブジェクトであって、かつ、(ストレージ単位当たり)より安価なストレージソリューションではあるが、オブジェクトへのアクセスに、一般的に、より長く時間がかかって、高価になり得るストレージソリューションに格納し得るオブジェクトの他のグループ(単数または複数)を決定し得る。
少なくとも一部の実装においては、様々なストレージソリューションは、ストレージ層としてのストレージシステムで実装され得る。そこでは、第1または最上位の層は、格納されたオブジェクトへの最も高速なアクセスをストレージシステムのクライアントに提供する最も高価な(ストレージ単位当たり)ストレージソリューションに従って実装され、最後のまたは最下位の層は、最も安価な(ストレージ単位当たり)ストレージソリューションであるが、オブジェクトへのアクセスには、より長い時間がかかり、最もコストのかかるストレージソリューションに従って実装される。最上位と最下位の層の間の中間レベルのストレージコストとアクセス特性を有する1つまたは複数の中間層があり得るが、ない事もあり得る。多次元ストレージ管理方法を用いて、ストレージシステムに格納されるデータオブジェクトに関する情報を分析して、複数の次元に従ってオブジェクトをグループ化し、そのデータオブジェクトのグループを適切な層に分配し得る。
実施例として、多次元ストレージ管理方法を実装するデータストレージシステムは、2層以上の永続ストレージソリューションを含み得る。第1または最上位の層は、半導体ドライブ(SSD)技術装置を含み得る。第2または中間の層は、ハードディスクドライブ(HDD)技術装置を含み得る。最下位の層は、例えば、磁気テープまたは他の取り外し可能な永続ストレージ媒体にデータオブジェクトを格納し、そのストレージ媒体を最小限の電力と最小限の温度、湿度調節のストレージ設備に保管することを伴い得る。ストレージ管理方法は、データストレージシステムのストレージ管理モジュールとして、または、ストレージ管理モジュール内において実装されて、データオブジェクトまたはデータオブジェクトのグループを、そのデータオブジェクトについて収集された情報の複数の次元の分析に従って、上記層のうちの特定の層に格納することを指示し得る。ストレージ管理方法は、データオブジェクトについて収集された情報に適用されて、新しいデータオブジェクトを特定の層に格納することを指示し得、及び/または、データオブジェクトを上に(下位の層から上位の層に)または、下に(上位の層から下位の層に)移動またはコピーさせることを指示し得る。
上記のストレージステムは、ストレージ管理方法を用いて、アクセス特性、及び/または、ストレージコストに従って階層的に配置された2つ以上のストレージ層にわたって、データオブジェクトの格納を指示するものである。しかしながら、ストレージ管理方法は、必ずしも階層的に配置されていない複数の異なるストレージソリューションを含むストレージシステムにも適用し得、決定されたオブジェクトのグループを、そのオブジェクトに関する情報の複数の次元の分析に従って最適であり得る特定のストレージソリューションに格納することを指示し得る。例えば、一部の実施形態においては、ストレージ管理方法は、オブジェクトについて複数の次元を含む情報を収集し得、複数の次元に従ったクラスタ分析技術を実行して、オブジェクトのクラスタまたはグループを決定し得る。図2Bの実施例を参照する。次に、グループの特性を調べて、様々なストレージソリューショの特性と比較して、そのグループを特定のストレージソリューションにマッチさせ得る。オブジェクトのグループは、次に、決定されたストレージソリューションに分配され得る。
多次元ストレージ管理方法は、ここでは主にデータストレージシステムに関して記載している。データストレージシステムにおいては、格納されているオブジェクトはデータオブジェクトであり、ストレージソリューションは、様々なデータストレージ技術及び媒体、例えば、永続メモリ技術、半導体ドライブ(SSD)技術、ハードディスクドライブ(HDD)技術、磁気テープもしくは磁気ディスク、及び、光ディスク(OD)などの永続ストレージ媒体を含み得、また、温度、湿度が調節され、電力供給された「レイズドフロア」データセンタ、及び、低電力で、温度、湿度調節が最小限のストレージ設備またはウェアハウス等の様々なストレージ方法またはストレージ場所を含み得る。しかしながら、多次元ストレージ管理方法は、任意のストレージシステムに適用し得る。例えば、実施形態は、部品または製品のストレージシステムまたは流通システムに適用され得、その場合、格納されているオブジェクトは物理的オブジェクトであり、ストレージソリューションは、ストレージもしくは流通設備内の異なる物理的位置、及び/または、複数の地理的に分散したストレージもしくは流通設備にわたる異なる物理的位置を含む。他の実施例としては、ストレージ管理方法の実施形態は、マルチレベルのキャッシュメモリシステムに適用され得る。その場合、データは、そのデータの複数の次元の分析、かつ、ガーベージコレクションシステムのメモリオブジェクトに従って、メモリの異なるレベルにわたって分配され得る。
図2Aは、少なくとも一部の実施形態に係る、複数の次元にわたってデータオブジェクトのグループを決定することをグラフィカルに示す。少なくとも一部の実施形態においては、データオブジェクトに関する情報の第1の次元の分析を行って、データオブジェクトの2つ以上のグループ200を決定し得る。第2の次元も分析して、グループ200の少なくとも1つを2つ以上のサブグループ202にさらに分割し得る。少なくとも一部の実施形態においては、1つまたは複数の他の次元も分析して、サブグループ202の少なくとも1つをさらに分割し得る。種々のグループは、データストレージシステムの2つ以上の種々のストレージソリューションのうちの、そのグループについて決定された特定のストレージソリューションに格納され得る。
図2Bは、少なくとも一部の実施形態に係る、クラスタ分析技術を用いて複数の次元にわたってデータオブジェクトのグループを決定することをグラフィカルに示す。一部の実施形態においては、ストレージ管理方法は、オブジェクトについて複数の次元を含む情報を収集し得、かつ、その複数の次元に従ってクラスタ分析技術を実行して、オブジェクトのクラスタまたはグループを決定し得る。図2Bの実施例に示すように、3つの次元A、B、Cをクラスタ分析において用いて、データオブジェクトの5つのクラスタまたはグループを決定する。次に、グループの特性を調べて、様々なストレージソリューションの特性と比較して、そのグループを特定のストレージソリューションにマッチさせ得る。データオブジェクトのグループは、次に、決定されたストレージソリューションに分配され得る。
少なくとも一部の実施形態においては、ストレージ管理方法によって分析され得るオブジェクト(例えば、データオブジェクト)に関する情報の複数の次元は、少なくとも、オブジェクトの年数と、オブジェクトのアクセス頻度と、を含み得る。一般的に、新しいデータオブジェクトは、古いデータオブジェクトよりアクセスされる可能性が高いが、今後の予想寿命はより短く、過去にめったにアクセスされなかったデータオブジェクトは、今後もめったにアクセスされない可能性が高い。これらの観察は、本明細書に記載のストレージ管理方法の少なくとも一部の実施形態によって活用されて、複数の次元に従って、データオブジェクトをグループ化し、格納し得る。
データストレージシステムにおいて、媒体に格納されたデータオブジェクトへのアクセスが要求される時、ストレージ媒体(例えば、磁気テープもしくはディスク、光ディスク等)をフェッチするためのコストがある。従って、アクセスされる可能性の高いデータオブジェクトは、グループ化されて、第1のストレージ媒体に格納され得、アクセスされる可能性の低いデータオブジェクトは、グループ化されて、第2のストレージ媒体に格納され得る。アクセスの可能性を決定する一方法は、年数である。上記のように、新しいオブジェクトは、古いオブジェクトより頻繁にアクセスされる傾向がある。従って、年数は、考慮される次元であり得、新しいオブジェクトは、第1のストレージ媒体に格納され得、古いオブジェクトは、第2のストレージ媒体に格納され得る。第1のストレージ媒体は、新しいオブジェクト媒体と呼ばれ得、第2のストレージ媒体は、古いオブジェクト媒体と呼ばれ得る。これらの2つのグループにソートする影響は、新しいオブジェクト媒体に関する参照率(reference rate)が増加し、古いオブジェクト媒体に関する参照率(reference rateが低下することである。古いオブジェクト媒体は、アーカイバルストレージシステム等の多くのストレージシステム内で優位を占めるので、古いオブジェクト媒体は、比較的、稀にしかフェッチされず、新しいオブジェクト媒体は、一般的に既に取得可能になっていて、フェッチを必要とせず、このアプローチは、媒体フェッチ要求の数を著しく低減し得る。より安価なストレージソリューション(例えば、商品用ハードディスクドライブ(HDD)技術、磁気テープ、光ディスク等)を古いオブジェクト媒体に用い得、より高価なストレージソリューション(例えば、半導体ドライブ(SSD)技術)を新しいオブジェクト媒体に用い得るので、格納されたデータ単位当たりの新しいオブジェクト媒体のコストは、格納されたデータ単位当たりの古いオブジェクト媒体のコストより一般的に高くなり得ることに留意されたい。
ストレージ管理方法の少なくとも一部の実施形態においては、他の次元である、アクセスパターン、または、アクセス頻度を上記に追加し得、データオブジェクトを種々のストレージ媒体にグループ化する技術を再度、適用し得る。この次元を用いて、データオブジェクトは、古いオブジェクト媒体グループ及び新しいオブジェクト媒体グループ内で、アクセスパターンに基づいて、各グループの2つのサブグループ、すなわち、1)最近アクセスされたデータオブジェクト(ホットなオブジェクトとも呼ばれ得る)2)最近アクセスされていないデータオブジェクト(コールドなオブジェクトとも呼ばれ得る)にさらに分割され得る。従って、データオブジェクトは、4つのグループ、すなわち、ホットな新しいオブジェクト、コールドな新しいオブジェクト、ホットな古いオブジェクト、及び、コールドな古いオブジェクトにさらに分割され得る。これらのグループのそれぞれは、異なるストレージ媒体またはストレージソリューションに格納され得る。
「最近読み出されていない」という有用な定義は、アーカイバルストレージ等の一部のデータストレージアプリケーションにおいては特に、「全く読み出されていない」ということである。少なくとも一部の実施形態においては、この定義と、上記の対象の2つの次元(古いオブジェクトと新しいオブジェクト)と、を用いて、データオブジェクトを4つのクラス、すなわち、1)アクセスされた新しいオブジェクト、2)アクセスされていない新しいオブジェクト、3)アクセスされた古いオブジェクト、4)アクセスされていない古いオブジェクトにさらに分割し得る。これらのクラスはそれぞれ、異なるストレージ媒体に格納されて、データストレージソリューションの4つのレベルまたは層を生み出し得る。少なくとも一部の実施形態においては、グループ4(アクセスされていない古いデータオブジェクト)は、データオブジェクトのフェッチやアクセスに時間がかかり、比較的高価ではあるが、消費電力が少なく、温度、湿度の調節が限定的、または、他の要因で、格納されたデータ単位当たりのストレージコストがとても安い場所(例えば、ウェアハウス)に、遠隔に、かなり安価に格納することができる。グループ3(アクセスされた古いデータオブジェクト)は、グループ4よりアクセスが容易である必要があるが、グループ1、2ほどアクセスが容易である必要はなく、従って、グループ1、2より安価に格納され得る。同様に、グループ2は、グループ3よりアクセスが容易である必要があるが、グループ1ほどアクセスが容易である必要はなく、従って、グループ1より安価に格納され得る。
以上、ストレージ管理方法によって分析され得る2つの次元(年数及びアクセス頻度)について述べ、その次元に従ってデータオブジェクトを、それぞれ、異なるストレージソリューションに格納され得る2つ、3つ、または、それ以上のグループにグループ化し得る事を述べた。各グループのストレージソリューションは、各グループのアクセス要件(時間とコスト)とストレージコストとに従って選択され得る。しかしながら、これら2つを超える次元に従って、ストレージ管理方法を拡張、適用し、データオブジェクトを複数の次元に従って、複数のグループにグループ化し得、そのグループの少なくとも一部は、種々のストレージソリューションに格納される。
データオブジェクトをグループ化または分類するストレージ管理方法の少なくとも一部の実施形態において、年数及びアクセス頻度の代わりに、または、それらに加えて用い得る幾つかの他の次元を以下に記載する。これらの他の次元は、例として提供するものであり、制限を意図していないことに留意されたい。
少なくとも一部の実施形態においては、オブジェクトタイプは、考慮される他の次元であり得る。種々のタイプのデータオブジェクト(例えば、種々のタイプのファイル)は、種々の使用モデルを表し得、従って、種々のアクセスパターンを表し得る。例えば、バックアップデータ(例えば、データベースバックアップファイル)及び監査データ(例えば、アーカイブの目的で格納されている会社の電子メール)は、めったに、または、全くアクセスされない場合があり、従って、単位当たりの格納コストがより安いが、アクセスがより高価である1つまたは複数のストレージソリューションまたは層に格納し得る。他の実施例として、一部のタイプのデータオブジェクト(例えば、データベースレコード、オンライントランザクション処理データ等)は、アクセスがより容易な、または、アクセスが最も容易なストレージ層に、保持される必要があろう。他の実施例として、データストレージシステムがデータについての冗長モデル(単数または複数)(例えば、抹消符号化)を用いる一部の実施形態においては、冗長データは、アクセス度が低く、従って、単位当たりの格納コストがより安く、アクセスがより高価な1つまたは複数のストレージソリューションまたは層に格納され得る。
少なくとも一部の実施形態においては、ストレージシステムのデータオブジェクトのアクセス情報は、ストレージ管理方法によって追跡、及び/または、マイニングされ得、かつ、1つまたは複数のアクセスメトリクス(アクセス日時、ユーザID等)に基づいて分析されて、様々なアクセスパターン、または、その組み合わせに基づいて、1つまたは複数のデータオブジェクトのグループを決定し得る。幾つかの実施例を以下に記載する。
少なくとも一部の実施形態においては、データオブジェクトについて、アクセス情報を経時的に追跡し得、かつ、追跡されたアクセス情報を用いて、ストレージ決定の基にすることができる1つまたは複数の追加の次元を提供し得る。例えば、データオブジェクトが最後にアクセスされた(または、全くアクセスされなかった)時についての日時情報を、ストレージ決定を行う次元として用いることに代わって、または、それに追加して、データオブジェクトの複数のアクセスについての日時情報を過去に向けて(例えば、データオブジェクトの作成日時まで戻って)追跡、分析して、一般的なアクセスパターン、経時的なアクセス頻度、及び/または、ある特定の時(例えば、毎金曜日、特定の日付もしくはその頃で一年に一度、各月末など)のアクセスパターン等の1つまたは複数の次元を決定し得る。
日時アクセス情報を経時的に追跡することに加えて、少なくとも一部の実施形態は、また、他のアクセス関連の情報、例えば、どのユーザ(単数または複数)またはアプリケーション(単数または複数)がデータオブジェクトにアクセスしたかを、追跡及び分析して、ストレージ決定の基にすることができる1つまたは複数の追加の次元を提供し得る。ユーザ関連のアクセス情報を用いる実施例として、経時的に追跡されるアクセス情報の分析によって、周期的にまたは非周期的にデータオブジェクトにアクセスする特定のユーザまたはアプリケーションが、1つまたは複数の他のデータオブジェクトにも、同時にまたは同じ頃にアクセスすることを決定し得る。従って、このユーザまたはアプリケーションが、そのデータオブジェクトの1つにアクセスすると、他のデータオブジェクト(単数または複数)にもアクセスされる可能性が高い。従って、それらのデータオブジェクトはグループ化することができ、ストレージ決定は、そのグループに従って行い得る(例えば、データオブジェクトのグループを、同じストレージソリューションに一緒に格納すること、または、グループ内のデータオブジェクトのいずれかがアクセスされると、そのグループのデータオブジェクトの全てをアクセスがより容易なストレージソリューションに移動させること)。
少なくとも一部の実施形態においては、オブジェクトの関係または相関関係、例えば、時間的関係は、データオブジェクトのグループを決定するために考慮、使用し得る1つまたは複数の他の次元を提供し得る。例えば、ストレージシステムのデータオブジェクトについて追跡したアクセス情報を分析して、めったにアクセスされないデータオブジェクトのグループ(同じタイプであり得るが、必ずしもそうでない)は、アクセスされる時に、一緒にアクセスされる傾向があることを決定し得、従って、その時間的に関係するオブジェクトを1グループとして、ストレージ決定を行い、適用し得る。
少なくとも一部の実施形態においては、ユーザのアクセスパターンは、ストレージ決定を行う際、ストレージ管理方法が考慮し得る他の次元であり得る。例えば、アクセスパターンは、上記のように経時的に追跡され得、かつ、アクセスパターンを用いて、例えば、一か月に一度、四半期に一度、または、一年に一度など、ある間隔を置いてアクセスされる傾向があるデータオブジェクトのグループ、または、特定のユーザによって一緒にアクセスされる傾向があるオブジェクトのグループを決定し得る。
少なくとも一部の実施形態においては、オブジェクトメタデータ(例えば、所有権、アクセス許可(例えば、特定のユーザに与えられた読み取り/書き込み許可)、タイムスタンプ(作成、最後の書き込み、最後の読み取り等)、及び、ストレージシステムに保持され得るデータオブジェクトに関連する任意の他のメタデータ)は、ストレージ決定を行う際に、ストレージ管理方法が考慮し得る1つまたは複数の他の次元を提供し得る。
少なくとも一部の実施形態においては、クライアント指定の優先順位は、例えば、サービスプロバイダとのサービスレベル合意書(SLA)で表し得、また、ストレージ決定の際、ストレージ管理方法が考慮し得る1つまたは複数の次元を提供し得る。例えば、サービスプロバイダは、種々のクライアントに対して、または、単一のクライアントのためのデータオブジェクトの種々のセットに対して、種々のレベルのSLAを提供または取り決め得る。クライアントについてのSLAの情報は、クライアントのデータについてのストレージソリューションまたは層の決定に用い得る。限定のためでない実施例として、あるクライアントとのSLAは、そのクライアントのデータオブジェクトは、データオブジェクトに対する要求を受信してから一定の期間内(例えば、2時間以内、または、4時間以内)アクセス可能であると規定し得、他のクライアントとのSLAは、何らかのほかの期間(例えば、6時間または12時間)を規定し得る。この情報を用いて、様々なクライアントのデータオブジェクトをストレージシステムの種々のストレージソリューションまたは層にマッチ及び分配して、クライアントのデータオブジェクトに適切なアクセスタイムを提供し得る。他の実施例としては、クライアントとのSLAは、クライアントのデータオブジェクトの1つのグループ(例えば、オンライントランザクションレコード)は、常に、可能な限り早くアクセス可能であり(例えば、ストレージシステムの最上位層)、クライアントのデータオブジェクトの他のグループ(例えば、バックアップ、冗長データ等)は、より幾分長い期間(例えば、2時間、4時間、または、より長い時間)内、アクセス可能と、規定し得る。この情報を用いて、クライアントのデータオブジェクトのグループをストレージシステムの種々のストレージソリューションまたは層にマッチ、分配して、クライアントのデータオブジェクトの様々なグループに適切なアクセスタイムを提供し得る。
少なくとも一部の実施形態においては、ストレージ管理モジュールは、データオブジェクトに関する情報の収集、そのデータオブジェクトを複数の次元に従ってグループに分類、及び、そのグループについて特定のストレージソリューションの決定、を行い得る。しかしながら、一部の実施形態においては、ユーザ入力、例えば、データオブジェクトの特定のセットを所有するクライアントからの入力を用いて、少なくとも一部のデータオブジェクトについてのストレージソリューションまたは層を指定し得る。
図3は、ストレージ管理方法の実施形態を実装し得るストレージシステムの実施例の論理的ビューを示すブロック図である。ストレージシステムは、例えば、サービスプロバイダのネットワーク上で実装されるストレージサービスであり得、当該ネットワークは、インターネット等の中間ネットワークを介して仮想ストレージをクライアントに提供する。ストレージシステムは、ストレージ管理モジュール302として、または、ストレージ管理モジュール302内において、ストレージ管理方法の実施形態を実装し得るストレージアプリケーション300を含み得る。ストレージアプリケーション300は、ストレージシステムに格納されたデータオブジェクトのメタデータのストアも保持し得る。ストレージアプリケーション300は、1つまたは複数のコンピュータ装置上で実装され得る。ストレージアプリケーション300を実装し得るコンピュータ装置の実施例を図8に示す。
ストレージシステムは、ストレージの2つ以上の層またはレベルを含み得る。この実施例においては、ストレージシステムは、データオブジェクト350Aを格納する最上位層310と、データオブジェクト350Cを格納する最下位層314と、データオブジェクト350Bを格納する1つまたは複数の中間層312と、を含む。最上位層310は、例えば、半導体ドライブ(SSD)技術装置を含み得る。少なくとも1つの中間層312は、例えば、ハードディスクドライブ(HDD)技術装置を含み得る。最下位層314は、例えば、データオブジェクト350Cを、磁気テープ、光ディスク、または、他の取り外し可能な永続ストレージ媒体に格納することを伴い得る。少なくとも一部の実施形態においては、最下位層314ストレージとして使用される媒体(例えば、テープ媒体)は、所要電力が低く、温度、湿度の調節が低い、もしくは最小レベルである設備に保管され得る。しかしながら、2層、3層、または、それ以上の層があり得、それらの層のうちの種々の層は、この実施例で与えられるものと異なる種類のストレージ技術を含み得、かつ、所与の層は、1つ、2つ、または、それ以上の種類のストレージ技術を含み得ることに留意されたい。
ストレージアプリケーション300は、ストレージシステムに格納する新しいデータオブジェクトを1つまたは複数のクライアント360から受信し得る。ストレージアプリケーション300は、また、格納されたデータオブジェクト350へのアクセス要求をクライアント(単数または複数)360から受信し得る。さらに、ストレージアプリケーション300は、一部のデータオブジェクト、例えば、ストレージシステムに格納されたクライアントデータのためのバックアップ、複製、または、冗長データオブジェクトを内部で生成し得る。
ストレージ管理モジュール302は、オブジェクトの年数、アクセス頻度、アクセスパターン、オブジェクトタイプ、オブジェクト関係、及び、オブジェクトメタデータを含むが、それらに限定されない、データオブジェクトについての情報を収集し得、収集した情報から決定された複数の次元に基づいて、ストレージシステム内の、または、ストレージシステムに入れる、データオブジェクトについてのストレージ決定を行い得る。少なくとも一部の実施形態においては、クライアント360がストレージシステムに格納しようとする新しいデータオブジェクトについて、及び、既にストレージシステムに存在するデータオブジェクト350について、情報を収集し得る。ストレージ管理モジュール302によるストレージ決定は、1つまたは複数のデータオブジェクトを、指定したストレージ層に格納、移動、または、コピーするように、ストレージアプリケーション300、及び/または、ストレージ層の1つに指示し得る。
一部の実施形態においては、クライアント(単数または複数)360によってストレージシステムに格納される新しいデータオブジェクトは、少なくとも最初は最上位層310に格納され得る。あるいは、一部の実施形態においては、ストレージ管理モジュール302は、新しいデータオブジェクトに関する少なくとも一部の情報を収集し得、その情報の1つまたは複数の他の次元(考慮し得る1つの次元である、オブジェクトの年数は「新しい」であることに留意する)に基づいて新しいデータオブジェクトについてストレージ決定を行い得る。例えば、一部の実施形態においては、ストレージ管理モジュール302は、クライアント360がストレージシステムに格納しようとしているデータオブジェクトのタイプを調べ得、少なくとも部分的にオブジェクトのタイプに基づいて、そのデータオブジェクトをどのストレージ層に格納すべきか決定し得る。例えば、データオブジェクトが、クライアント360からのバックアップデータであると決定された場合、ストレージ管理モジュール302は、そのデータオブジェクトは、アクセスされそうにないと決定し得、従って、そのデータオブジェクト(単数または複数)を、最上位層310ではなく、最下位層314またはその代わりに中間層312に格納するように指示し得る。他の実施例としては、データオブジェクトが、クライアント360からの監査データ(例えば、アーカイブに保管しようとする電子メール)であると決定された場合、ストレージ管理モジュール302は、そのデータオブジェクトは、アクセスされそうにないと決定し得、従って、そのデータオブジェクト(単数または複数)を、最上位層310ではなく、最下位層314またはその代わりに中間層312に格納するように指示し得る。少なくとも一部の実施形態においては、新しいデータオブジェクトについて収集された情報が、ストレージ決定に不十分な場合(例えば、オブジェクトタイプが分からない場合)、その新しいデータオブジェクトは、デフォルト設定により、最初は最上位層310に格納され得る。
一部の実施形態において、クライアント360は、ストレージシステムに格納されようとする特定の新しいデータオブジェクト、もしくは、新しいデータオブジェクトのグループ、またはその代わりに、既にストレージシステムに格納されているデータオブジェクトに対して、ストレージ命令を提供し得る。ストレージ命令は、例えば、特定のストレージソリューションまたはストレージ層にデータオブジェクト(単数または複数)を格納するようにストレージアプリケーション300に指示し得る。クライアント360からのストレージ命令は、従って、ストレージ管理モジュール302からの決定をオーバーライドし得、あるいはその代わりに、各データオブジェクト(単数または複数)についてストレージ決定を行う際、考慮し得る追加情報として、ストレージ管理モジュール302に入力され得る。
少なくとも一部の実施形態においては、ストレージ管理モジュール302は、周期的にまたは非周期的に、ストレージ層の1つまたは複数に格納されているデータオブジェクト350についての情報を収集し得、その情報の1つまたは複数の次元に基づいて、データオブジェクト350についてのストレージ決定を行い得る。ストレージ管理モジュール302は、また、クライアント360から受信したアクセス要求に応答して、特定のデータオブジェクト350について、ストレージ決定を行い得る。ストレージシステムに格納されたデータオブジェクト350について行ってよいストレージ決定の幾つかの実施例を以下に示す。これらの実施例は、包括的でも限定的でもないことに留意されたい。
少なくとも一部の実施形態においては、ストレージ管理モジュール302は、最上位層310のデータオブジェクト350Aについての情報を収集し得、その情報の複数の次元、例えば、データオブジェクト350Aの年数及びアクセス頻度に基づいて、データオブジェクト350Aを中間層312に移すか否か、最下位層314に移すか否かを決定し得る。例えば、少なくとも一部の実施形態においては、あるデータオブジェクト350Aが、年数閾値より古く、一度もアクセスされていない場合、ストレージ管理モジュール302は、そのデータオブジェクト350Aを最下位層314に移す決定をし得る。あるデータオブジェクトが、年数閾値よりも新しく、一度もアクセスされていない場合、ストレージ管理モジュール302は、そのデータオブジェクト350Aを第1の中間層312に移す決定をし得る。あるデータオブジェクトが、年数閾値よりも古く、アクセスされたことがある場合、ストレージ管理モジュール302は、そのデータオブジェクト350Aを第2の中間層312に移す決定をし得る。まだ新しく、アクセスされたことがあるデータオブジェクト350Aは、最上位層310に残され得る。
少なくとも一部の実施形態においては、これらの決定を行う際に、ストレージ管理モジュール302は、オブジェクトの年数及びアクセス頻度以外の次元の情報を考慮し得る。例えば、一部の実施形態においては、データオブジェクト350Aのセット間の関係を考慮し得る。実施例として、ストレージ管理モジュール302は、めったにアクセスされないデータオブジェクト350Aのセットは、一緒にアクセスされる傾向があり得ると決定し得、従って、そのセット内のデータオブジェクト350Aの1つまたは複数が最近アクセスされた場合、ストレージ管理モジュール302は、そのセット内のデータオブジェクト350Aの全てを、最上位層310にセットで残す決定をし得る。他の実施例として、ストレージ管理モジュール302は、決定を行う際、オブジェクトタイプを考慮し得る。例えば、最上位層310で見つけられるアクセスされそうにない一定のタイプであることが分かっているデータオブジェクト350A(例えば、バックアップまたは監査データ)は、年数またはアクセス頻度に関わらず、より下位の層に移され得、よりアクセスされる可能性が高い他のタイプであることが分かっているデータオブジェクト350A(例えば、データベースオブジェクト)は、年数またはアクセス頻度に関わらず、最上位層310に残し得る。
少なくとも一部の実施形態においては、ストレージ管理モジュール302は、中間層312のデータオブジェクト350Bについての情報を取得または収集し得、その情報の複数の次元に基づいて、最上位層310、他の中間層312、または、最下位層314にデータオブジェクト350Bを移すか否かを決定し得る。少なくとも一部の実施形態においては、データオブジェクト350Bの少なくとも年数及びアクセス頻度を考慮し得る。例えば、あるデータオブジェクト350Bが年数閾値(最上位層310に用いられる年数閾値と異なり得るが、必ずしもそうではない)より古く、一度もアクセスされなかったことが決定されると、ストレージ管理モジュール302は、そのデータオブジェクト350Bをより下位の中間層312または最下位層314に移すことを決定し得る。他の実施例として、ストレージ管理モジュール302が、データオブジェクト350Bが最近アクセスされたと決定する場合、ストレージ管理モジュール302は、データオブジェクト350Bをより上位の中間層312または最上位層310に移すことを決定し得る。中間層312のデータオブジェクト350Bに対するアクセス要求を受信することによって、データオブジェクト350Bは、より上位の層(例えば、より上位の中間層312または最上位層310)に移され得ることに留意されたい。
少なくとも一部の実施形態においては、オブジェクトの年数及びアクセス頻度以外の次元の情報、例えば、オブジェクトタイプ及びオブジェクト関係は、例えば、最上位層310のデータオブジェクト350Aに関して上述したように、中間層(単数または複数)のデータオブジェクト350Bについてこれらの決定を行う際、ストレージ管理モジュール302によって考慮され得る。実施例として、ストレージ管理モジュール302は、めったにアクセスされないデータオブジェクト350Bのセットは一緒にアクセスされる傾向があると決定し得、従って、そのセット内のデータオブジェクト350Bの1つまたは複数が最近アクセスされた場合、ストレージ管理モジュール302は、そのセット内のデータオブジェクト350Bの全てを最上位層310に移す決定をし得る。
少なくとも一部の実施形態においては、ストレージ管理モジュール302は、ストレージシステムのデータオブジェクト350へのアクセス情報を追跡、及び/または、マイニングし得、1つまたは複数のアクセスメトリクス(アクセス日時、ユーザID等)に基づいてそのアクセス情報を分析して、様々なアクセスパターンまたはその組み合わせに基づいた1つまたは複数のデータオブジェクトのグループを決定し得る。少なくとも一部の実施形態においては、データオブジェクトのアクセス情報を経時的に追跡し得、追跡したアクセス情報を用いて、ストレージ決定の基にすることができる1つまたは複数の追加の次元を提供し得る。例えば、データオブジェクトへの複数のアクセスに関する日時情報を、過去に遡って(例えば、データオブジェクトの作成日時まで戻って)追跡及び分析して、一般的なアクセスパターン、経時的なアクセス頻度、及び/または、一定の時間(例えば、毎金曜日、ある特定の日付またはその頃に一年に一度、各月末など)のアクセスパターン等、1つまたは複数の次元を決定し得る。
少なくとも一部の実施形態において考慮し得る他の次元は、ユーザのアクセスパターンである。例えば、ストレージ管理モジュール302は、1つまたは複数のデータオブジェクト350のセット(同じタイプであり得るか、または、あり得ない)が、ある間隔を置いて、例えば、一か月に一度、四半期に一度、または、一年に一度、アクセスされる傾向にあることを決定し得る。ストレージ管理モジュール302は、その間隔に従って、データオブジェクト350のセットを、下位の層(例えば、中間層312または最下位層314)から上位の層(例えば、最上位層310)に移し得、データオブジェクト350がもはやアクセスされなくなると、データオブジェクト350のセットを、下位の層(例えば、中間層312または最下位層314)に移し得る。
少なくとも一部の実施形態においては、例えば、サービスプロバイダとのサービスレベル合意書(SLA)に示されたクライアント指定の優先順位は、ストレージ決定を行う際、ストレージ管理モジュール302が考慮し得る1つまたは複数の次元を提供し得る。例えば、サービスプロバイダは、種々のレベルのSLAを、種々のクライアントに、または、単一のクライアントのデータオブジェクトの種々のセットに提供し得る。クライアントのデータについてストレージソリューションまたは層を決定する際、SLA内のクライアントについての情報を用い得る。
少なくとも一部の実施形態においては、最下位層314のデータオブジェクト350Cは、データオブジェクト350Cへのアクセス要求がクライアント360から受信されなければ、最下位層314に居続ける傾向があり得る。しかしながら、ストレージ管理モジュール302は、最下位層のデータオブジェクト350Cの1つまたは複数の次元を考慮し得、その結果として、下位の層314のデータオブジェクト350Cの1つまたは複数を上位の層(例えば、中間層312または最上位層310)に移動またはコピーする決定をし得る。例えば、上記のように、ユーザのアクセスパターンの結果、データオブジェクト350Cのセットを上位の層に移動またはコピーし得る。他の実施例として、一緒にアクセスされる傾向のある、時間的に関係したデータオブジェクト350Cのセット内のデータオブジェクト350Cの全ては、そのセット内の少なくとも1つのデータオブジェクト350Cがアクセスされた場合、最下位層314から上位の層に移動またはコピーされ得る。
前述の通り、一部の実装においては、ストレージシステムの最下位層314は、磁気テープまたは他の取り外し可能な永続媒体にデータオブジェクト350Cを格納することを伴い得る。最下位層314ストレージとして用いられる媒体(例えば、テープ媒体)は、所要電力が低く、かつ、温度、湿度の調節が低いかまたは最小限であり得る別個の設備に移動、保管され得る。少なくとも一部の実施形態においては、最下位層314は、データオブジェクト350のコールドアーカイバルストレージと考え得る。データオブジェクト350の移動、及び、データオブジェクト350の最下位層314からの取り出しのコストは、従って、非常に高くなり得るが、データオブジェクト350の単位当たりの格納コストはとても低くなり得る。
一部の実施形態においては、データオブジェクト350Cにアクセスする必要がある時、データオブジェクト350Cを最下位層314から取り除いて、上位の層(例えば、最上位層310)に移し、後に、データオブジェクト350がもはやアクセスされなくなると、データオブジェクト350を最下位層314に移す代わりに、データオブジェクト350Cのコピーを作成して、上位の層に移し得、データオブジェクト350Cのオリジナルを最下位層314の媒体に格納したままにし得る。上位の層のデータオブジェクト350のコピーがもはやアクセスされなくなると、データオブジェクト350のコピーは、その上位層から単に削除(または、ガーベージコレクションのためにフラグを立てる)することができる。一部の実装においては、類似の方法を用いて、データオブジェクト350Bを中間層312から上位の層(例えば、最上位層312)にコピーし得る。
図4は、ストレージ管理方法の実施形態を実装可能なストレージシステムの物理的実装例を示す。例えば、図3に示すストレージシステムの実施例の論理的ビューは、図4に示す例に従って実装され得る。
図4は、また、サービスプロバイダ400によって実装されるストレージサービスとして、ストレージシステムを示す。ストレージサービスは、プロバイダネットワーク上で実装され得、インターネット等の中間ネットワークを介して、サービスプロバイダ400の複数のクライアント460に遠隔ストレージを提供し得る。一部の実装においては、少なくとも一部のクライアント460は、サービスプロバイダ400のネットワークインフラストラクチャを介してストレージサービスにアクセス可能なサービスプロバイダ400内のプロセスであり得る。クライアント460は、ストレージサービスAPI404を介してストレージサービスにアクセスし、ストレージサービスが提供するストレージにおいてデータを読み書きし得る。クライアント460が格納するデータは、少なくとも一部の場合には、マルチテナントストレージハードウェアに格納され得る。すなわち、2つ以上のクライアント460は、ストレージシステム内の同じストレージ装置(単数または複数)に格納され得、任意の1つのクライアント460のデータは、ストレージシステム内の2つ以上のストレージ装置にわたって散在し得る。ストレージサービスソフトウェア及び/またはハードウェアコンポーネント(ストレージアプリケーション402として示される)は、ストレージシステム内の物理的ストレージ装置(単数または複数)へのクライアントデータの格納、及び、そこからのクライアントデータの取り出しを管理し得る。ストレージサービスは、API404を介して、各クライアント460に仮想ストレージとしてストレージを提示し得る。すなわち、各クライアント460は、例えば、仮想ディスクまたはボリュームとして、ストレージシステムの自分のデータをビューし得、自分のデータにアクセス(読み書き)し得るが、他のクライアントのデータは、クライアント460によって、ビューもアクセスもできない。
サービスプロバイダ400は、1つまたは複数のデータセンタ420内、または、当該データセンタ420にわたって、サービスプロバイダネットワークを実装し得る。各データセンタ420は、何百または何千のネットワーク化されたストレージ装置(例えば、ラックマウント方式のストレージ装置)を含み得、当該ストレージ装置上で、ストレージサービスは、ストレージサービスが提供するデータストレージと、サーバ、ネットワーク装置(ルータ、スイッチ、ロードバランサ等)、配線(例えば、光ファイバケーブル等のデータケーブル、及び、電力ケーブル)などの他のハードウェアと、を実装及び保持する。ハードウェアのコストに加えて、データセンタ420は、データセンタ420内のネットワーク装置、サーバ装置、ストレージ装置、及び、他のハードウェア装置に電力が供給されるので、典型的には、所要電力とコストの高い物理的設備であり得、また、その設備は、典型的には、温度、湿度が調節されて、ハードウェアを保護し、電気機器の熱負荷を相殺する。
少なくとも一部の実装においては、データセンタ(単数または複数)のストレージサービスで用いられる物理的データストレージ装置は、アクセス特性を含むがそれに限られない特性と、コストが異なる2つ以上の異なる種類のストレージ装置を含み得る。例えば、一部のストレージ装置は、フラッシュメモリ技術装置または半導体ドライブ(SSD)技術装置等の、アクセス時間が比較的高速で、(かつ、比較的、所要電力が高くなり得る)比較的高価なストレージ装置であり得、他のストレージ装置は、商品用ハードディスクドライブ(HDD)技術装置等の、アクセス時間が遅く(かつ、比較的、所要電力が低くなり得る)、より安価な装置であり得る。
少なくとも一部の実施形態においては、サービスプロバイダは、従って、データセンタ(単数または複数)420内に、異なるコスト及び特性を有するストレージ装置の2つ以上の層を実装し得、ストレージサービスは、(例えば、ストレージアプリケーション402内のストレージ管理モジュール406として実装される)ここに記載のストレージ管理方法を活用して、クライアントのデータオブジェクトをその層にわたって分配し得る。例えば、図3に示すように、ストレージサービスは、最上位層のストレージソリューション410として半導体ドライブ(SSD)技術装置を用い得、中間層のストレージソリューション412として商品用ハードディスクドライブ(HDD)技術装置を用い得る。他の技術装置を用いて、データセンタ(単数または複数)420において1つまたは複数の追加の中間層412を実装し得ることに留意されたい。
サービスプロバイダ400は、また、ストレージシステムの最下位層またはアーカイバルストレージで用い得る1つまたは複数のストレージ設備430を実装し得る。ストレージ設備430は、データセンタ420の設備に隣接しているか、近くにあり得るか、もしくは、その中にもあり得、または、任意のデータセンタ420から地理的に離れ得ることに留意されたい。ストレージ設備430は、基本的に、磁気テープまたは光ディスク等の永続的なオフラインストレージ媒体を格納するためのウェアハウスであり得、従って、所要電力は低く、温度、湿度の調節も低いかまたは最小限であり得る。少なくとも一部の実施形態においては、1つまたは複数のストレージ設備430は、テープや光ディスク等の取り外し可能な、永続ストレージ媒体に格納されたデータオブジェクトのためのコールドアーカイバルストレージと考え得る。ストレージ設備430へのデータの移動、及び、ストレージ設備430からのデータの取り出しのコストは、従って、非常に高くなる場合があり、ストレージ設備430にデータを格納する単位当たりのコストは、とても低くなり得る。
ストレージサービスは、ここに記載のストレージ管理方法を活用して、アーカイブに保管することができるデータオブジェクトを検出し、検出したデータオブジェクトの、データセンタ420の最上位層及び/または中間層から1つまたは複数のストレージ設備430への移動を指示し得る。例えば、ストレージ管理方法を用いて、データセンタ(単数または複数)420の最上位層410及び/または中間層412に格納されるデータオブジェクトに関する情報を収集、分析し得、年数、アクセス頻度、タイプ、及び、オブジェクト間の関係等の、その情報の1つまたは複数の次元に従って、アーカイブに保管することができ、従って、ストレージ設備430のアーカイバルストレージに移すことができるデータオブジェクトの1つまたは複数のグループを決定し得る。次に、そのデータオブジェクトの1つまたは複数のグループは、前記層(単数または複数)にあるストレージ装置から、テープまたは光ディスク等の取り外し可能な永続ストレージ媒体に移動またはコピーされ得、そして、そのストレージ媒体は、1つまたは複数のストレージ設備430に移されて、格納され得る。あるいは、データオブジェクトの1つまたは複数のグループは、(例えば、高速ネットワーク接続を介して)電子的にストレージ設備430に送信され得、ストレージ設備430でストレージ媒体に書き込まれ得る。
ストレージサービスはまた、ここに記載のストレージ管理方法を活用して、1つまたは複数のストレージ設備430から取り出されるデータオブジェクトを検出し得、検出したデータオブジェクトの、1つまたは複数のストレージ設備430からデータセンタ420の最上位層410または中間層412への移動またはコピーを指示し得る。例えば、ストレージ管理方法を用いて、ストレージ設備430に格納されたデータオブジェクトに関する情報を収集、分析し得、オブジェクト間の関係、ユーザのアクセスパターン等、その情報の1つまたは複数の次元に従って、アクセスが容易になるように、ストレージ設備430のアーカイバルストレージから取り出して、データセンタ420の最上位層410または中間層412に移動またはコピーすることができる1つまたは複数のグループのデータオブジェクトを決定し得る。データオブジェクトの1つまたは複数のグループを含むストレージ媒体は、次に、ストレージ設備430から取り出され得、データセンタ(単数または複数)420のストレージ層の1つまたは複数にデータオブジェクトのグループ(単数または複数)を移動またはコピーするのに用いられ得る。一部の実施形態においては、データオブジェクトのグループ(単数または複数)のコピーは、ストレージ媒体に行われ得、コピーを含むストレージ媒体は、データセンタ(単数または複数)420に移され得、そこで、そのストレージ媒体を用いて、データセンタ(単数または複数)のストレージ層の1つまたは複数においてデータオブジェクトのグループのコピーを作成し得る。あるいは、データオブジェクトの1つまたは複数のグループは、(例えば、高速ネットワーク接続を介して)ストレージ設備430からデータセンタ(単数または複数)420に電子的に送信され得る。
一部の実施形態においては、ストレージ設備430のストレージ媒体からデータセンタ420のストレージ層(例えば、最上位層410)にデータオブジェクトのグループを移し、後に、そのデータオブジェクトがアクセスされなくなると、そのデータオブジェクトをストレージ設備430に戻す代わりに、データオブジェクトのコピーを作成して、データセンタ420に移し得、データオブジェクトを含むオリジナルのストレージ媒体は、ストレージ設備430にとどまったままであり得る。データセンタ420のデータオブジェクトのコピーは、もはやアクセスされなくなると、そのコピーは、データセンタ420のストレージ装置から単に削除(または、ガーベージコレクションのためのフラグを立てる)することができる。
図3及び図4に示すデータストレージシステムにおいては、ストレージ管理方法を用いて、アクセス特性及び/またはストレージコストに従って階層的に配置され得る2つ以上のストレージ層にわたるデータオブジェクトの格納を指示する。しかしながら、ストレージ管理方法は、また、種々の特性を有する複数の種々のストレージソリューションを含むデータストレージシステムに適用して、データオブジェクトの決定されたグループを、そのデータオブジェクトに関する情報の複数の次元の分析に従って、例えば、クラスタ分析技術によって、そのグループに最も適していると思われる特定のストレージソリューションに格納するように指示し得る。データオブジェクトのクラスタまたはグループを決定するための複数の次元に関するクラスタ分析の実施例については、図2Bを参照されたい。次に、グループの特性を調べて、ストレージシステムの様々なストレージソリューションの特性と比較して、そのグループを特定のストレージソリューションにマッチさせ得る。データオブジェクトのグループは、次に、決定されたストレージソリューションに格納または移され得る。
図5は、少なくとも一部の実施形態に係る、クラスタ分析技術を用いて、データオブジェクトのグループをストレージソリューションにマッチさせる多次元ストレージ管理方法の高レベルフローチャートである。500に示すように、データストレージシステムの複数のストレージソリュ.ーションの特性と能力を決定し得る。502に示すように、ストレージ管理方法は、データストレージシステムのデータオブジェクトに関する情報を取得する。例えば、ストレージ管理方法は、ストレージアプリケーションソフトウェアに保持されるストレージシステムに格納されたデータオブジェクトのオブジェクトメタデータから情報を収集し得る。データオブジェクトは、ストレージシステムに既に格納されているデータオブジェクトであり得、または、ストレージシステムに格納されようとする新しいデータオブジェクトであり得る。504に示すように、取得した情報にクラスタ分析技術を適用して、情報の複数の次元に従って、データオブジェクトのグループを決定し得る。506で示すように、決定されたグループは、ストレージソリューションの特性と能力に従って、特定のストレージソリューションにマッチさせ得る。508で示すように、ストレージ管理方法は、決定されたストレージソリューションに従って、グループ単位でデータオブジェクトの格納を指示し得る。ストレージシステムのデータオブジェクト(単数または複数)に関する新しい情報を取得すると、ストレージ管理方法は、新しい情報を含む分析に従って、データオブジェクト(単数または複数)の、1つのストレージソリューションから他のストレージソリューションへの移動を指示し得る。
図6は、少なくとも一部の実施形態に係る、ストレージシステムの実施例の論理的ビューを示すブロック図である。ここでは、ストレージ管理方法の実施形態を用いて、データオブジェクトのクラスタを決定し、そのデータオブジェクトを複数のストレージソリューション間に分配し得る。ストレージシステムは、ストレージアプリケーション600を含み得、ストレージアプリケーション600は、ストレージ管理モジュール602として、または、ストレージ管理モジュール602内において、ストレージ管理方法の実施形態を実装し得る。ストレージアプリケーション600は、また、ストレージシステムに格納されたデータオブジェクトのメタデータのストアを保持し得る。ストレージアプリケーション600は、1つまたは複数のコンピュータ装置上で実装され得る。ストレージアプリケーション600を実装し得るコンピュータ装置の実施例を図8に示す。
ストレージシステムは、それぞれ、異なる特性と能力を有する複数の異なるストレージソリューションを含み得る。この実施例は、7つの異なるストレージソリューション610、612、614、620、622、624、630を示すが、それらに限定することは意図していない。ストレージソリューション610、612、614は、フラッシュメモリ技術装置、半導体ドライブ(SSD)技術装置、及び、高速磁気ディスク技術装置等の、比較的、高速のアクセス時間を有する、比較的、高価なストレージソリューションであり得る。ストレージソリューション620、622、624は、商品用ハードディスクドライブ(HDD)技術装置及び光ディスク技術装置等のアクセス時間がより遅く、より安価なストレージソリューションであり得る。ストレージソリューション630は、データへのアクセスは高価になり得るが、単位当たりのストレージコストは最も安くなり得る最も安価なストレージソリューションであり得る。ストレージソリューション630は、例えば、磁気テープ、光ディスク、または、他の取り外し可能な永続ストレージ媒体にデータオブジェクトを格納すること、所要電力の低い、温度、湿度の調節が低いかまたは最小レベルの設備に、その媒体を移して格納することと、を伴い得る。
ストレージソリューション610、612、614、620、622、624で用いられる様々な装置は、コスト(例えば、ストレージ単位当たり)、消費電力、容量、スループット、アクセススピード、及び、環境要件などの1つまたは複数の特性及び能力が異なり得る。信頼性メトリクスまたは統計(例えば、故障率、平均故障間隔(MTBF))等の装置の他の特性も異なり得る。
ストレージアプリケーション600は、ストレージシステムに格納する新しいデータオブジェクトを1つまたは複数のクライアント660から受信し得る。ストレージアプリケーション600は、また、格納されたデータオブジェクトへのアクセス要求をクライアント(単数または複数)660から受信し得る。さらに、ストレージアプリケーション600は、一部のデータオブジェクト、例えば、ストレージシステムに格納されたクライアントデータのためのバックアップ、複製、または、冗長データオブジェクトを内部で生成し得る。
一部の実施形態においては、クライアント660は、ストレージシステムに格納しようとする特定の新しいデータオブジェクトもしくは新しいデータオブジェクトのグループ、またはその代わりに、ストレージシステムに既に格納されているデータオブジェクトに、ストレージ命令を提供し得る。ストレージ命令は、例えば、特定のストレージソリューションまたはストレージ層にデータオブジェクト(単数または複数)を格納するようにストレージアプリケーション600に指示し得る。クライアント660からのストレージ命令は、従って、ストレージ管理モジュール602からの決定をオーバーライドし得、あるいはその代わりに、各データオブジェクト(単数または複数)についてのストレージを決定する際に、考慮し得る追加情報として、ストレージ管理モジュール602に入力され得る。
ストレージ管理モジュール602は、ストレージシステム内にある、または、ストレージシステムに入れられるデータオブジェクトの情報を収集してよく、収集した情報(例えば、オブジェクトの年数、アクセス頻度、オブジェクトタイプ、オブジェクト関係、オブジェクトメタデータ、ユーザのアクセスパターン等)から決定した複数の次元の分析に基づいて、データオブジェクトのグループを決定し得る。少なくとも一部の実施形態においては、クラスタ分析技術を用いてデータオブジェクトのクラスタまたはグループを決定し、そのクラスタを特定のストレージソリューションにマッチさせ得る。従って、データオブジェクトのグループの特性または要件を調べて、様々なストレージソリューションの特性及び能力と比較して、そのグループを特定のストレージソリューションにマッチさせ得る。これによって、ストレージ管理モジュール602によるストレージ決定を生成する。ストレージ管理モジュール602は、1つまたは複数のデータオブジェクトを、そのデータオブジェクトが属するグループについて決定されたストレージソリューションに、格納、移動またはコピーするようにストレージアプリケーション600及び/またはストレージソリューションの1つまたは複数に指示し得る。
一部の実施形態においては、クライアント(単数または複数)660によってストレージシステムに格納された新しいデータオブジェクトは、少なくとも最初は、デフォルトストレージソリューション、例えば、ストレージソリューション610、612、614のうちの1つに格納され得る。あるいは、新しいオブジェクトは、オブジェクトに関する情報の分析に基づいて、ストレージソリューションのいずれか1つに格納され得る。ストレージ管理モジュール602は、新しいデータオブジェクトに関する少なくとも一部の情報を収集し得、その情報の2つ以上の次元の分析(例えば、クラスタ分析)に基づいて、新しいデータオブジェクトのストレージソリューション(単数または複数)を決定し得る(考慮してよい1つの次元であるオブジェクトの年数は、「新しい」ことに留意する)。
少なくとも一部の実施形態においては、ストレージ管理モジュール602は、様々なストレージソリューションの1つまたは複数に以前格納したデータオブジェクトについての情報を収集し得、その情報の2つ以上の次元の分析(例えば、クラスタ分析)に基づいて、そのデータオブジェクトを他のストレージソリューションに移すか否かを決定し得る。ストレージ決定は、ストレージ管理モジュール602によって生成され得る。ストレージ管理モジュール602は、1つまたは複数のデータオブジェクトを、分析に従ってデータオブジェクトが属するグループについて決定されたストレージソリューションに、格納、移動、または、コピーするように、ストレージアプリケーション600及び/またはストレージソリューションの1つもしくは複数に指示し得る。
図6において、ストレージアプリケーション600からストレージソリューションの幾つかへの太い矢印は、ストレージ管理モジュール602の指示の下、新しいデータオブジェクトをストレージソリューションに格納する実施例を表す。ストレージソリューションの幾つかからストレージアプリケーション600への太い矢印は、クライアントのアクセス要求を満たすために、ストレージソリューションからデータオブジェクトを取り出すことを表す。少なくとも一部のケースにおいては、データオブジェクトは、1つのストレージソリューションからフェッチされて、要求を行っているクライアント660にそのデータオブジェクトを提供する前に、他のストレージソリューションに配置され得ることに留意されたい。例えば、データオブジェクトは、ストレージソリューション630からフェッチされ、クライアント660がそのデータオブジェクトにアクセスできる前に、ストレージソリューション610、612または614の1つにコピーされ得る。様々なストレージソリューション間の細い矢印は、ストレージ管理モジュール602の指示の下、ストレージソリューション間のデータオブジェクトの移動またはコピーの実施例を表す。
少なくとも一部の実施形態においては、ストレージシステムによって使用可能なストレージソリューションは、1つまたは複数の他のストレージシステムまたはストレージアプリケーションを含み得る。図7は、ストレージシステムの実施例の論理的ビューを示すブロック図である。この実施例においては、ストレージ管理方法の実施形態を用いて、他のストレージアプリケーションを含む複数のストレージソリューション間でのデータオブジェクトの分配を指示し得る。ストレージシステムは、ストレージ管理モジュール702として、または、ストレージ管理モジュール702内において、ストレージ管理方法の実施形態を実装し得るストレージアプリケーション700を含み得る。ストレージシステムは、それぞれ、異なる特性と能力を有する、1つまたは複数の異なるストレージソリューション710(例えば、半導体ドライブ(SSD)技術装置、ハードディスクドライブ(HDD)技術装置、光ディスク技術装置など)を含み得る。ストレージソリューション710の少なくとも1つは、例えば、磁気テープ、光ディスク、または、他の取り外し可能な永続ストレージ媒体にデータオブジェクトを格納することと、所要電力が低く、かつ、温度、湿度の調節が低いかまたは最小限の設備に、その媒体を移し、格納することを伴い得る。
ストレージアプリケーション700は、格納する新しいデータオブジェクトを1つまたは複数のクライアント760Aから受信し得、そのデータオブジェクトをストレージソリューション(単数または複数)710に格納し得る。ストレージアプリケーション700は、また、格納されたデータオブジェクトへのアクセス要求をクライアント(単数または複数)760Aから受信し得る。さらに、ストレージアプリケーション700は、一部のデータオブジェクト、例えば、ストレージシステムに格納されたクライアントデータのためのバックアップ、複製、または、冗長データオブジェクトを内部で生成し得る。
この実施例においては、しかしながら、ストレージアプリケーション770と、1つまたは複数のストレージソリューション780と、を含む第2のストレージシステムは、ストレージアプリケーション700の追加のストレージソリューションとして用い得る。ストレージアプリケーション770は、格納する新しいデータオブジェクトを1つまたは複数のクライアント760Bから受信し得、そのデータオブジェクトをストレージソリューション(単数または複数)780に格納し得る。ストレージアプリケーション770は、また、格納されたデータオブジェクトへのアクセス要求をクライアント(単数または複数)760Bから受信し得る。さらに、ストレージアプリケーション770は、格納するデータオブジェクトをストレージアプリケーション700から受信し得、そのデータオブジェクトをストレージソリューション(単数または複数)780に格納し得る。ストレージアプリケーション770は、また、格納したデータオブジェクトへのアクセス要求をストレージアプリケーション700から受信し得る。少なくとも一部の実施形態においては、ストレージアプリケーション770は、APIを含み得、または、提供し得、APIを介して、ストレージアプリケーション700は、ストレージアプリケーション770にデータを書き込むことができ、ストレージアプリケーション770からデータを読み取ることができる。
ストレージアプリケーション700のストレージ管理モジュール702は、ストレージシステム内にある、または、ストレージシステムに入れられるデータオブジェクトの情報を収集し得、収集された情報(例えば、オブジェクトの年数、アクセス頻度、オブジェクトタイプ、オブジェクト関係、オブジェクトメタデータ、ユーザのアクセスパターン等)から決定された複数の次元の分析に基づいて、データオブジェクトのグループを決定し得る。少なくとも一部の実施形態においては、クラスタ分析技術を用いて、データオブジェクトのクラスタまたはグループを決定し得る。従って、データオブジェクトのグループの特性または要件を調べ、ストレージソリューション(単数または複数)710を含む様々なストレージソリューションとストレージアプリケーション770の特性及び能力と比較して、そのグループを特定のストレージソリューションにマッチさせ得る。これによって、ストレージ管理モジュール702によるストレージ決定を生成する。ストレージ管理モジュール702は、1つまたは複数のデータオブジェクトを、そのデータオブジェクトが属するグループについてストレージ管理モジュール702が決定したストレージソリューション710またはストレージアプリケーション770に、格納、移動、または、コピーするように、ストレージアプリケーション700に指示し得る。
一部の実装においては、ストレージアプリケーション770は、また、ストレージ管理方法の実施形態をストレージ管理モジュールとして実装して、データオブジェクトのストレージソリューション(単数または複数)780への格納を指示し得る。
例示のシステム
少なくとも一部の実施形態においては、本明細書に記載のオブジェクトストレージ方法及び装置の一部または全てを実装するサーバは、図8に示すコンピュータシステム2000等の、1つまたは複数のコンピュータがアクセス可能な媒体を含む、または、その媒体にアクセスするように構成された汎用コンピュータシステムを含み得る。例示の実施形態においては、コンピュータシステム2000は、入力/出力(I/O)インタフェース2030を介してシステムメモリ2020に接続された1つまたは複数のプロセッサ2010を含む。コンピュータシステム2000は、I/Oインタフェース2030に接続されたネットワークインタフェース2040をさらに含む。
様々な実施形態においては、コンピュータシステム2000は、1つのプロセッサ2010を含むユニプロセッサシステムであり得るか、または、幾つか(例えば、2、4、8、または、他の適切な数)のプロセッサ2010を含むマルチプロセッサシステムであり得る。プロセッサ2010は、命令を実行することができる任意の適切なプロセッサであり得る。例えば、様々な実施形態において、プロセッサ2010は、x86、PowerPC、SPARC、もしくは、MIPS ISA等の様々な命令セットアーキテクチャ(ISA)、または、任意の適切なISAのいずれかを実装する汎用または組み込みプロセッサであり得る。マルチプロセッサシステムにおいて、各プロセッサ2010は、同じISAを実装し得ることが多いが、必ずしもそうであり得る必要はない。
システムメモリ2020は、プロセッサ(単数または複数)2010がアクセス可能な命令及びデータを格納するように構成され得る。様々な実施形態において、システムメモリ2020は、スタティックランダムアクセスメモリ(SRAM)、同期型ダイナミックRAM(SDRAM)、不揮発性/フラッシュタイプメモリ、または、任意の他の種類のメモリ等の、任意の適切なメモリ技術を用いて実装され得る。例示の実施形態においては、オブジェクトストレージ方法及び装置について上述したそれらの方法、技術及びデータ等の1つまたは複数の所望の機能を実装するプログラム命令及びデータは、コード2024及びデータ2026としてシステムメモリ2020内に格納されて、示されている。
一実施形態においては、I/Oインタフェース2030は、ネットワークインタフェース2040または他の周辺インタフェースを含む、プロセッサ2010、システムメモリ2020、及び、装置内の任意の周辺装置間のI/Oトラフィックを調整するように構成され得る。一部の実施形態においては、I/Oインタフェース2030は、任意の必要なプロトコル、タイミング、または、他のデータ変換を行って、1つのコンポーネント(例えば、システムメモリ2020)から他のコンポーネント(例えば、プロセッサ2010)が使用するのに適切なフォーマットにデータ信号を変換し得る。一部の実施形態においては、I/Oインタフェース2030は、例えば、ペリフェラルコンポーネントインターコネクト(PCI)バス規格またはユニバーサルシリアルバス(USB)規格の変種等、様々な種類の周辺バスを通して取り付けられた装置のサポートを含み得る。一部の実施形態においては、I/Oインタフェース2030の機能は、例えば、ノースブリッジ及びサウスブリッジ等の2つ以上の別個のコンポーネントに分割され得る。また、一部の実施形態においては、システムメモリ2020へのインタフェース等のI/Oインタフェース2030の機能の一部または全ては、プロセッサ2010に直接、組み込まれ得る。
ネットワークインタフェース2040は、例えば、図1から図7に示すような他のコンピュータシステムまたは装置等の、ネットワーク(単数または複数)2050に取り付けられた他の装置2060と、コンピュータシステム2000との間での、データのやりとりを可能にするように構成され得る。様々な実施形態においては、ネットワークインタフェース2040は、例えば、Ethernet(登録商標)ネットワークタイプ等の任意の適切な有線または無線の一般的データネットワークを介した通信をサポートし得る。さらに、ネットワークインタフェース2040は、アナログ音声ネットワークもしくはデジタルファイバ通信ネットワーク等の電気通信/電話ネットワーク、ファイバチャネルSAN等のストレージエリアネットワーク、または、任意の他の適切な種類のネットワーク及び/もしくはプロトコルのいずれかを介した、通信をサポートし得る。
一部の実施形態においては、システムメモリ2020は、オブジェクトストレージシステム及びストレージ管理方法の実施形態を実装するための、図1から図7に関して上述したようなプログラム命令及びデータを格納するように構成されたコンピュータがアクセス可能な媒体の一実施形態であり得る。しかしながら、他の実施形態においては、プログラム命令及び/またはデータは、コンピュータがアクセス可能な種々の種類の媒体上で、受信、送信、または、格納され得る。一般的に言えば、コンピュータがアクセス可能な媒体は、磁気媒体または光媒体等の非一時的ストレージ媒体またはメモリ媒体、例えば、I/Oインタフェース2030を介してコンピュータシステム2000に接続されたディスクまたはDVD/CDを含み得る。コンピュータがアクセス可能な非一時的ストレージ媒体は、また、システムメモリ2020または他の種類のメモリとして、コンピュータシステム2000の一部の実施形態に含まれ得る、RAM(例えば、SDRAM、DDR SDRAM、RDRAM、SRAM等)、ROM等の、任意の揮発性または不揮発性媒体を含み得る。さらに、コンピュータがアクセス可能な媒体は、ネットワークインタフェース2040を介して実装され得るような、ネットワーク及び/または無線リンク等の通信媒体を介して伝えられる、電気信号、電磁気信号、または、デジタル信号等の伝送媒体または信号を含み得る。
開示の実施形態を以下の項に記載する。
1.データストレージシステムにおいて、
当該ストレージシステムにデータオブジェクトを格納するための2つ以上の異なるストレージソリューションであって、それぞれ、ストレージ及びアクセス性の単位当たりコストを含む異なる特性を有するストレージ技術を実装するストレージソリューションと、
ストレージ管理モジュールを実装する1つまたは複数のコンピュータ装置と
を備え、前記ストレージ管理モジュールは、
1つまたは複数のデータオブジェクトに関する情報を取得し、
前記取得した情報の2つ以上の次元に従って前記データオブジェクトの1つまたは複数のグループを決定し、
前記決定した1つまたは複数のデータオブジェクトのグループのそれぞれについて前記2つ以上のストレージソリューションの特定の1つを決定し、かつ、
前記1つまたは複数のグループ内の前記データオブジェクトの、前記各決定されたストレージソリューションへの格納を指示するように動作可能なストレージ管理モジュールである、
データストレージシステム。
2.前記1つまたは複数のグループの前記データオブジェクトの、前記各決定されたストレージソリューションへの格納を指示するために、前記ストレージ管理モジュールは、
前記データストレージシステムの新しいデータオブジェクトの、前記2つ以上のストレージソリューションの1つへの格納を指示し、かつ、
前記データストレージシステムの既存のデータオブジェクトの、前記2つ以上のストレージソリューションの1つまたは複数から前記2つ以上のストレージソリューションの種々のストレージソリューションへの移動を指示する
ように動作可能な、第1項に記載のデータストレージシステム。
3.前記2つ以上の次元は、前記データオブジェクトの年数、前記データオブジェクトのアクセス頻度、前記データオブジェクトのアクセスパターン、前記データオブジェクトのタイプ、前記データオブジェクト間の関係、または、前記データオブジェクトのメタデータのうちの2つ以上を含む、第1項に記載のデータストレージシステム。
4.前記ストレージソリューションによって実装される前記ストレージ技術は、フラッシュメモリ技術、半導体ドライブ(SSD)技術、ハードディスクドライブ(HDD)技術、光ディスク(OD)技術、または、磁気テープ技術のうちの2つ以上を含む、第1項に記載のデータストレージシステム。
5.前記ストレージソリューションのうちの1つまたは複数は、電力供給され、温度、湿度の調節されたデータセンタで実装され、かつ、前記ストレージソリューションのうちの1つは、前記データセンタよりも所要電力が低く、温度、湿度の調節レベルが低い設備に永続ストレージ媒体を格納することを伴う、第1項に記載のデータストレージシステム。
6.前記1つまたは複数のグループの前記データオブジェクトの前記各決定したストレージソリューションへの格納を指示するために、前記ストレージ管理モジュールは、
1つまたは複数のデータオブジェクトの前記ストレージ媒体への格納を指示し、前記ストレージ媒体の前記設備への格納を指示し、かつ、
少なくとも1つのデータオブジェクトの、前記設備内の前記ストレージ媒体から前記データセンタ内の前記1つまたは複数のストレージソリューションの1つへのコピーを指示するように、動作可能であって、前記少なくとも1つのデータオブジェクトのオリジナルは、前記設備内の前記ストレージ媒体に保持される、第5項に記載のデータストレージシステム。
7.前記データストレージシステムは、サービスプロバイダのネットワーク上で実装されるストレージサービスであり、前記ストレージサービスは、前記ストレージサービスへのAPIを介して仮想ストレージを1つまたは複数のクライアントに提供し、かつ、前記データオブジェクトは、前記ストレージサービスへの前記APIを介して前記1つまたは複数のクライアントによって前記仮想ストレージに格納されたデータオブジェクトを含む、第1項に記載のデータストレージシステム。
8.1つまたは複数のコンピュータ装置によって実装されるストレージ管理モジュールによって行われる方法であって、
ストレージシステムのオブジェクトを、前記オブジェクトに関する情報の複数の次元に従って分析して、前記オブジェクトのグループを決定することと、
ストレージとアクセス性の単位当たりのコストを含む前記ストレージソリューションの異なる特性に従って、各決定されたグループについて、複数のストレージソリューションの特定の1つを決定することと、
前記ストレージシステムの前記各決定されたストレージソリューションへの前記オブジェクトの格納を指示することと、
を行うことを含む、方法。
9.前記ストレージシステムはデータストレージシステムであり、前記オブジェクトはデータオブジェクトであり、かつ、前記ストレージソリューションは、それぞれ、異なるストレージ技術を実装する、第8項に記載の方法。
10.前記ストレージソリューションによって実装される前記ストレージ技術は、フラッシュメモリ技術、半導体ドライブ(SSD)技術、ハードディスクドライブ(HDD)技術、光ディスク(OD)技術、または、磁気テープ技術のうちの2つ以上を含む、第9項に記載の方法。
11.前記複数の次元は、前記オブジェクトの年数、前記オブジェクトのアクセス頻度、前記オブジェクトのアクセスパターン、前記オブジェクトのタイプ、前記オブジェクト間の関係、前記オブジェクトの指定された優先順位、または、前記オブジェクトのオブジェクトメタデータのうちの2つ以上を含む、第8項に記載の方法。
12.前記オブジェクトのアクセス情報を経時的に追跡することをさらに含み、前記追跡されたアクセス情報は、前記オブジェクトのアクセスの日時情報、または、前記オブジェクトへのユーザアクセス情報の1つまたは複数を含み、かつ、前記複数の次元の少なくとも1つは、前記追跡されたアクセス情報に従って決定される、第8項に記載の方法。
13.少なくとも1つのグループは、前記ストレージシステムの新しいオブジェクトを含み、かつ、前記ストレージシステムの前記各決定されたストレージソリューションへの前記オブジェクトの格納を前記指示することは、前記複数のストレージソリューションの1つまたは複数への前記新しいオブジェクトの格納を指示することを含む、第8項に記載の方法。
14.少なくとも1つのグループは、前記複数のストレージソリューションの既存のオブジェクトを含み、かつ、前記ストレージシステムの前記各決定されたストレージソリューションへの前記オブジェクトの格納を前記指示することは、前記複数のストレージソリューションのうちの種々のストレージソリューションへの前記既存のオブジェクトの移動を指示することを含む、第8項に記載の方法。
15.前記ストレージソリューションの1つまたは複数は、電力供給され、温度、湿度の調節された設備で実装され、かつ、前記ストレージソリューションの1つは、前記電力供給され、温度、湿度の調節された設備よりも所要電力が低く、温度、湿度の調節レベルが低い設備にオブジェクトを格納することを伴う、第8項に記載の方法。
16.前記分析することと、前記決定することとは、クラスタ分析技術に従って行われる、第8項に記載の方法。
17.ストレージ管理モジュールを実装するためのコンピュータで実行可能なプログラム命令を格納する、コンピュータがアクセス可能な非一時的ストレージ媒体において、前記ストレージ管理モジュールは、
データストレージシステムのデータオブジェクトに関する情報の2つ以上の次元に従って、クラスタ分析技術を適用して、前記データオブジェクトのグループを決定し、
前記ストレージソリューションの1つまたは複数の異なる特性に従って、各決定したグループについて、複数のストレージソリューションのうちの特定の1つを決定し、かつ、
前記データストレージシステムの
前記各決定したストレージソリューションへの前記データオブジェクトの格納を指示するように、動作可能なストレージ管理モジュールである、
コンピュータがアクセス可能な非一時的ストレージ媒体。
18.前記ストレージソリューションの前記特性は、格納及びアクセス速度の単位当たりコストを含む、第17項に記載のコンピュータがアクセス可能な非一時的ストレージ媒体。
19.前記データストレージシステムは、マルチレベルのキャッシュメモリシステムであり、前記ストレージソリューションは、前記キャッシュメモリシステムの種々のレベルである、第17項に記載のコンピュータがアクセス可能な非一時的ストレージ媒体。
20.各ストレージソリューションは、異なるストレージ技術を実装し、前記ストレージソリューションによって実装される前記ストレージ技術は、フラッシュメモリ技術、半導体ドライブ(SSD)技術、ハードディスクドライブ(HDD)技術、光ディスク(OD)技術、または、磁気テープ技術のうちの2つ以上を含む、第17項に記載のデータストレージシステム。
結論
様々な実施形態は、コンピュータがアクセス可能な媒体上で前述の記載に従って実装される命令及び/またはデータを受信、送信、または、格納することをさらに含み得る。一般的に言うと、コンピュータがアクセス可能な媒体は、ディスクもしくはDVD/CD−ROM等の磁気媒体または光媒体、RAM(例えば、SDRAM、DDR、RDRAM、SRAM等)、ROM等の揮発性または不揮発性媒体などのストレージ媒体またはメモリ媒体を含み得、ネットワーク及び/または無線リンク等の通信媒体を介して伝えられる電気信号、電磁気信号もしくはデジタル信号等の伝送媒体または信号も含み得る。
図面に示し、ここに記載した様々な方法は、方法の例示的な実施形態を表す。方法は、ソフトウェア、ハードウェア、または、それらの組み合わせで実装され得る。方法の順序は変更され得、かつ、様々な要素は、追加、並べ替え、省略、修正等され得る。
本開示の利益を有する当業者には明らかなように、様々な修正及び変更が行われ得る。このような修正及び変更の全てを包含するものとし、従って、上記記載は、限定的な意味ではなく、例示とみなすべきである。

Claims (15)

  1. データストレージシステムにおいて、
    当該ストレージシステムにデータオブジェクトを格納するための2つ以上の異なるストレージソリューションであって、それぞれ、ストレージ及びアクセス性の単位当たりコストを含む異なる特性を有するストレージ技術を実装するストレージソリューションと、
    ストレージ管理モジュールを実装する1つまたは複数のコンピュータ装置と
    を備え、前記ストレージ管理モジュールは、
    1つまたは複数のデータオブジェクトに関する情報を取得し、
    前記取得した情報の2つ以上の次元に従って前記データオブジェクトの1つまたは複数のグループを決定し、
    前記決定した1つまたは複数のデータオブジェクトのグループのそれぞれに対して前記2つ以上のストレージソリューションの特定の1つを決定し、かつ、
    前記1つまたは複数のグループの前記データオブジェクトの、前記各決定されたストレージソリューションへの格納を指示するように、動作可能なストレージ管理モジュールである、
    データストレージシステム。
  2. 前記1つまたは複数のグループの前記データオブジェクトの前記各決定されたストレージソリューションへの格納を指示するために、前記ストレージ管理モジュールは、
    前記データストレージシステムの新しいデータオブジェクトの、前記2つ以上のストレージソリューションの1つへの格納を指示し、かつ、
    前記データストレージシステムの既存のデータオブジェクトの、前記2つ以上のストレージソリューションの1つまたは複数から前記2つ以上のストレージソリューションの種々のストレージソリューションへの移動を指示する、ように動作可能な、
    請求項1に記載のデータストレージシステム。
  3. 前記2つ以上の次元は、前記データオブジェクトの年数、前記データオブジェクトのアクセス頻度、前記データオブジェクトのアクセスパターン、前記データオブジェクトのタイプ、前記データオブジェクト間の関係、または、前記データオブジェクトのメタデータのうちの2つ以上を含む、請求項1に記載のデータストレージシステム。
  4. 前記ストレージソリューションの1つまたは複数は、電力供給され、温度、湿度の調節されたデータセンタで実装され、かつ、前記ストレージソリューションの1つは、前記データセンタより所要電力が低く、温度、湿度の調節のレベルが低い設備に永続ストレージ媒体を格納することを伴い、かつ、前記ストレージソリューションにより実装される前記ストレージ技術は、フラッシュメモリ技術、半導体ドライブ(SSD)技術、ハードディスクドライブ(HDD)技術、光ディスク(OD)技術、または、磁気テープ技術のうちの2つ以上を含む、請求項1に記載のデータストレージシステム。
  5. 前記各決定したストレージソリューションへの前記1つまたは複数のグループの前記データオブジェクトの格納を指示するために、前記ストレージ管理モジュールは、
    1つまたは複数のデータオブジェクトの前記ストレージ媒体への格納を指示し、前記ストレージ媒体の前記設備への格納を指示し、かつ、
    前記設備の前記ストレージ媒体から、前記データセンタの前記1つまたは複数のストレージソリューションの1つへの、少なくとも1つのデータオブジェクトのコピーを指示するように、
    動作可能で、前記少なくとも1つのデータオブジェクトのオリジナルは、前記設備内の前記ストレージ媒体上に保持される、請求項4に記載のデータストレージシステム。
  6. 前記データストレージシステムは、サービスプロバイダのネットワーク上で実装されるストレージサービスであり、前記ストレージサービスは、前記ストレージサービスへのAPIを介して、1つまたは複数のクライアントに仮想ストレージを提供し、かつ、前記データオブジェクトは、前記ストレージサービスへの前記APIを介して前記1つまたは複数のクライアントによって前記仮想ストレージに格納されたデータオブジェクトを含む、請求項1に記載のデータストレージシステム。
  7. 1つまたは複数のコンピュータ装置によって実装されるストレージ管理モジュールによって行われる方法であって、
    ストレージシステムのオブジェクトを前記オブジェクトに関する情報の複数の次元に従って分析して、前記オブジェクトのグループを決定することと、
    ストレージ及びアクセス性の単位当たりのコストを含む前記ストレージソリューションの異なる特性に従って、各決定されたグループについて、複数のストレージソリューションの特定の1つを決定することと、
    前記ストレージシステムの前記各決定したストレージソリューションへの前記オブジェクトの格納を指示することと、
    を行うことを含む、方法。
  8. 前記ストレージシステムは、データストレージシステムであり、前記オブジェクトは、データオブジェクトであり、かつ、前記ストレージソリューションは、それぞれ、異なるストレージ技術を実装する、請求項7に記載の方法。
  9. 前記ストレージソリューションによって実装される前記ストレージ技術は、フラッシュメモリ技術、半導体ドライブ(SSD)技術、ハードディスクドライブ(HDD)技術、光ディスク(OD)技術、または、磁気テープ技術のうちの2つ以上を含む、請求項8に記載の方法。
  10. 前記複数の次元は、前記オブジェクトの年数、前記オブジェクトのアクセス頻度、前記オブジェクトのアクセスパターン、前記オブジェクトのタイプ、前記オブジェクト間の関係、前記オブジェクトの指定した優先順位、または、前記オブジェクトのオブジェクトメタデータのうちの2つ以上を含む、請求項7に記載の方法。
  11. 前記オブジェクトのアクセス情報を経時的に追跡することをさらに含み、前記追跡されたアクセス情報は、前記オブジェクトのアクセスの日時情報と、前記オブジェクトのユーザアクセス情報のうちの1つまたは複数を含み、かつ、前記複数の次元の少なくとも1つは、前記追跡されたアクセス情報に従って決定される、請求項7に記載の方法。
  12. 少なくとも1つのグループは、前記ストレージシステムの新しいオブジェクトを含み、かつ、前記ストレージシステムの前記各決定したストレージソリューションへの前記オブジェクトの格納を前記指示することは、前記複数のストレージソリューションの1つまたは複数への前記新しいオブジェクトの格納を指示することを含む、請求項7に記載の方法。
  13. 少なくとも1つのグループは、前記複数のストレージソリューションの既存のオブジェクトを含み、かつ、前記ストレージシステムの前記各決定したストレージソリューションへの前記オブジェクトの格納の前記指示は、前記複数のストレージソリューションのうちの種々のストレージソリューションに前記既存のオブジェクトを移す指示を含む、請求項7に記載の方法。
  14. 前記ストレージソリューションの1つまたは複数は、電力供給され、温度、湿度の調節された設備で実装され、かつ、前記ストレージソリューションの1つは、前記電力供給され、温度、湿度の調節された設備よりも所要電力が低く、温度、湿度の調節のレベルが低い設備にオブジェクトを格納することを伴う、請求項7に記載の方法。
  15. 前記分析することと前記決定することは、クラスタ分析技術に従って行われる、請求項7に記載の方法。
JP2016510813A 2013-04-25 2014-04-25 オブジェクト情報の複数の次元を用いたオブジェクトストレージ Active JP6211173B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/870,772 US9971796B2 (en) 2013-04-25 2013-04-25 Object storage using multiple dimensions of object information
US13/870,772 2013-04-25
PCT/US2014/035531 WO2014176547A1 (en) 2013-04-25 2014-04-25 Object storage using multiple dimensions of object information

Publications (2)

Publication Number Publication Date
JP2016522484A true JP2016522484A (ja) 2016-07-28
JP6211173B2 JP6211173B2 (ja) 2017-10-11

Family

ID=51790205

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016510813A Active JP6211173B2 (ja) 2013-04-25 2014-04-25 オブジェクト情報の複数の次元を用いたオブジェクトストレージ

Country Status (6)

Country Link
US (1) US9971796B2 (ja)
EP (1) EP2989556B1 (ja)
JP (1) JP6211173B2 (ja)
CN (1) CN105144142B (ja)
CA (1) CA2910211C (ja)
WO (1) WO2014176547A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021054244A1 (ja) 2019-09-20 2021-03-25 富士フイルム株式会社 記録装置、記録方法、記録プログラム、及び磁気テープ

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014031616A1 (en) * 2012-08-22 2014-02-27 Bitvore Corp. Enterprise data processing
US9092159B1 (en) * 2013-04-30 2015-07-28 Emc Corporation Object classification and identification from raw data
US10102079B2 (en) * 2013-06-13 2018-10-16 Hytrust, Inc. Triggering discovery points based on change
US10089192B2 (en) 2013-06-13 2018-10-02 Hytrust, Inc. Live restore for a data intelligent storage system
US8849764B1 (en) 2013-06-13 2014-09-30 DataGravity, Inc. System and method of data intelligent storage
US9846540B1 (en) * 2013-08-19 2017-12-19 Amazon Technologies, Inc. Data durability using un-encoded copies and encoded combinations
GB2528333A (en) * 2014-07-15 2016-01-20 Ibm Device and method for determining a number of storage devices for each of a plurality of storage tiers and an assignment of data to be stored in the plurality
US9632709B1 (en) * 2015-11-16 2017-04-25 International Business Machines Corporation Collocation of object storage data with removable media
US10223368B2 (en) * 2015-12-17 2019-03-05 International Business Machines Corporation Predictive object tiering based on object metadata
CN109074304A (zh) * 2016-02-16 2018-12-21 泰克年研究发展基金会公司 优化的数据分布系统
US10620860B2 (en) * 2017-02-13 2020-04-14 Oracle International Corporation System for storing data in tape volume containers
US10552046B2 (en) 2017-04-27 2020-02-04 International Business Machines Corporation Automatic tiering of storage using dynamic grouping
US10318415B2 (en) 2017-05-31 2019-06-11 International Business Machines Corporation Garbage collection facility grouping infrequently accessed data units in designated transient memory area
JP7068573B2 (ja) * 2018-01-17 2022-05-17 富士通株式会社 データ処理装置、データ処理システムおよびデータ処理プログラム
US10798140B1 (en) 2018-07-16 2020-10-06 Amazon Technologies, Inc. Stream data record reads using push-mode persistent connections
US10768830B1 (en) * 2018-07-16 2020-09-08 Amazon Technologies, Inc. Streaming data service with isolated read channels
US10855754B1 (en) 2018-07-16 2020-12-01 Amazon Technologies, Inc. Isolated read channel categories at streaming data service
US11188566B2 (en) 2018-10-25 2021-11-30 International Business Machines Corporation Grouping of objects into clusters in an object-based storage environment
TWI692955B (zh) * 2019-01-16 2020-05-01 香港商希瑞科技股份有限公司 伺服器及相關的電腦程式產品
US11099759B2 (en) 2019-06-03 2021-08-24 Advanced New Technologies Co., Ltd. Method and device for dividing storage devices into device groups
CN111259108B (zh) * 2020-01-13 2023-05-05 中国银行股份有限公司 一种信息存储方法、装置及电子设备
US11789632B1 (en) * 2020-07-12 2023-10-17 Lightbits Labs Ltd. System and method for data placement in multiple tier storage systems
US11556266B2 (en) * 2020-10-22 2023-01-17 Dell Products L.P. Systems and methods for object migration in storage devices

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07262058A (ja) * 1994-03-22 1995-10-13 Internatl Business Mach Corp <Ibm> データ記憶管理システム及び方法
JP2006031668A (ja) * 2004-07-15 2006-02-02 Hitachi Ltd データ価値に基づく階層型ストレージ管理の為の方法と装置
JP2008083845A (ja) * 2006-09-26 2008-04-10 Hitachi Ltd ストレージ装置及びストレージシステム並びにデータ読出し方法
JP2010271901A (ja) * 2009-05-21 2010-12-02 Hitachi Ltd 省電力制御装置及び方法
JP2011515727A (ja) * 2008-02-12 2011-05-19 ネットアップ,インコーポレイテッド ハイブリッド媒体ストレージシステムアーキテクチャ
JP2013025700A (ja) * 2011-07-25 2013-02-04 Nec Corp ファイル格納先候補決定装置、ファイル格納先候補の決定方法、ファイル格納先決定支援システム、並びにコンピュータ・プログラム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000004483A2 (en) 1998-07-15 2000-01-27 Imation Corp. Hierarchical data storage management
US6269382B1 (en) 1998-08-31 2001-07-31 Microsoft Corporation Systems and methods for migration and recall of data from local and remote storage
US8671132B2 (en) 2003-03-14 2014-03-11 International Business Machines Corporation System, method, and apparatus for policy-based data management
US7007048B1 (en) 2003-05-29 2006-02-28 Storage Technology Corporation System for information life cycle management model for data migration and replication
US7734661B2 (en) 2003-08-11 2010-06-08 Descisys Limited Method and apparatus for accessing multidimensional data
US7225211B1 (en) 2003-12-31 2007-05-29 Veritas Operating Corporation Multi-class storage mechanism
US7293133B1 (en) 2003-12-31 2007-11-06 Veritas Operating Corporation Performing operations without requiring split mirrors in a multi-class file system
US7103740B1 (en) 2003-12-31 2006-09-05 Veritas Operating Corporation Backup mechanism for a multi-class file system
US8127095B1 (en) 2003-12-31 2012-02-28 Symantec Operating Corporation Restore mechanism for a multi-class file system
US8055622B1 (en) 2004-11-30 2011-11-08 Symantec Operating Corporation Immutable data containers in tiered storage hierarchies
US20070271302A1 (en) * 2006-05-16 2007-11-22 Texas Instruments, Incorporated Data copy system and method for multi-platform disaster recovery
US8370597B1 (en) * 2007-04-13 2013-02-05 American Megatrends, Inc. Data migration between multiple tiers in a storage system using age and frequency statistics
US7949637B1 (en) * 2007-06-27 2011-05-24 Emc Corporation Storage management for fine grained tiered storage with thin provisioning
US20100257140A1 (en) * 2009-03-31 2010-10-07 Philip John Davis Data archiving and retrieval system
US8904394B2 (en) 2009-06-04 2014-12-02 International Business Machines Corporation System and method for controlling heat dissipation through service level agreement analysis by modifying scheduled processing jobs
CN102576293B (zh) * 2009-09-08 2015-08-26 国际商业机器公司 固态存储设备和分层存储系统中的数据管理
US8566619B2 (en) * 2009-12-30 2013-10-22 International Business Machines Corporation Cooling appliance rating aware data placement
US9355109B2 (en) * 2010-06-11 2016-05-31 The Research Foundation For The State University Of New York Multi-tier caching
US8996803B2 (en) * 2010-07-02 2015-03-31 Futurewei Technologies, Inc. Method and apparatus for providing highly-scalable network storage for well-gridded objects
US9588644B2 (en) * 2011-03-17 2017-03-07 Red Hat, Inc. Time-based organization of desktop items
US8627035B2 (en) * 2011-07-18 2014-01-07 Lsi Corporation Dynamic storage tiering
US9256381B1 (en) * 2011-09-29 2016-02-09 Emc Corporation Managing degraded storage elements in data storage systems
CN102663116B (zh) * 2012-04-11 2014-04-23 中国人民大学 面向列存储数据仓库的多维olap查询处理方法
US9846711B2 (en) * 2012-12-28 2017-12-19 Facebook, Inc. LSM cache

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07262058A (ja) * 1994-03-22 1995-10-13 Internatl Business Mach Corp <Ibm> データ記憶管理システム及び方法
JP2006031668A (ja) * 2004-07-15 2006-02-02 Hitachi Ltd データ価値に基づく階層型ストレージ管理の為の方法と装置
JP2008083845A (ja) * 2006-09-26 2008-04-10 Hitachi Ltd ストレージ装置及びストレージシステム並びにデータ読出し方法
JP2011515727A (ja) * 2008-02-12 2011-05-19 ネットアップ,インコーポレイテッド ハイブリッド媒体ストレージシステムアーキテクチャ
JP2010271901A (ja) * 2009-05-21 2010-12-02 Hitachi Ltd 省電力制御装置及び方法
JP2013025700A (ja) * 2011-07-25 2013-02-04 Nec Corp ファイル格納先候補決定装置、ファイル格納先候補の決定方法、ファイル格納先決定支援システム、並びにコンピュータ・プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021054244A1 (ja) 2019-09-20 2021-03-25 富士フイルム株式会社 記録装置、記録方法、記録プログラム、及び磁気テープ

Also Published As

Publication number Publication date
US20140324920A1 (en) 2014-10-30
EP2989556B1 (en) 2021-03-17
CN105144142B (zh) 2018-04-27
JP6211173B2 (ja) 2017-10-11
CA2910211C (en) 2018-04-03
CA2910211A1 (en) 2014-10-30
WO2014176547A1 (en) 2014-10-30
US9971796B2 (en) 2018-05-15
EP2989556A1 (en) 2016-03-02
EP2989556A4 (en) 2016-11-16
CN105144142A (zh) 2015-12-09

Similar Documents

Publication Publication Date Title
JP6211173B2 (ja) オブジェクト情報の複数の次元を用いたオブジェクトストレージ
US9672267B2 (en) Hybrid data management system and method for managing large, varying datasets
JP4648723B2 (ja) データ価値に基づく階層型ストレージ管理の為の方法と装置
US8285762B2 (en) Migration of metadata and storage management of data in a first storage environment to a second storage environment
CN102317938B (zh) 用于复制内容可寻址存储集群的异步分布式去重
JP6093773B2 (ja) キャッシュベースのキー・バリューストアのマッピングおよび複製
US9612758B1 (en) Performing a pre-warm-up procedure via intelligently forecasting as to when a host computer will access certain host data
JP2014535107A5 (ja)
US10521401B2 (en) Data object lockdown
US20150134708A1 (en) Updating map structures in an object storage system
US20180341665A1 (en) Data object storage across multiple storage nodes
US20140101158A1 (en) File Handling in a Hierarchical Storage System
CN107220248A (zh) 一种用于存储数据的方法和装置
US10896207B2 (en) Optimization of object-based storage
US10521398B1 (en) Tracking version families in a file system
US11436193B2 (en) System and method for managing data using an enumerator
US9529812B1 (en) Timestamp handling for partitioned directories
US11016688B1 (en) Real-time localized data access in a distributed data storage system
Deng et al. pNFS-based software-defined storage for information lifecycle management
Arora Data management: state-of-the-practice at open-science data centers
Nurul IMPROVED TIME COMPLEXITY AND LOAD BALANCE FOR HDFS IN MULTIPLE NAMENODE
Sun et al. Large-Scale Data Storage and Management Scheme Based on Distributed Database Systems
Lin et al. Marine Video Data Capture and Storage
Ross et al. Parallel file systems
Jaffe Scalable storage systems

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161122

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170912

R150 Certificate of patent or registration of utility model

Ref document number: 6211173

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250