JP2011034546A

JP2011034546A - Ｅｒａｓｕｒｅコード化されたデータストレージ容量及びパワーマネージメント方法及びシステム

Info

Publication number: JP2011034546A
Application number: JP2009287351A
Authority: JP
Inventors: Ross E Zwisler; ロス・イー．ズウィスラー; Brian Mckean; ブライアン・マッキーン; Kevin Kidney; ケビン・キドニー
Original assignee: LSI Corp
Current assignee: LSI Corp
Priority date: 2009-07-30
Filing date: 2009-12-18
Publication date: 2011-02-17
Also published as: TW201104558A; KR20110013146A; EP2282260A2; CN101989231A; EP2282260A3; US20110029729A1

Abstract

【課題】マスストレージシステムにおける、柔軟な容量管理と効率的なパワーマネジメント機能の提供。
【解決手段】データセットが、シン・プロビジョニングされるとともにErasureコード化された複数のデータチャンクに割り振られる。ストレージデバイスは、第１、第２のストレージデバイスセットに分けられ、第１のストレージデバイスセットはパワーアップ、第２のそれはパワーダウンされている。第１のストレージデバイスセットの各ストレージデバイスに等しくロードするようデータチャンクが分布している。第１のストレージデバイスセットに再割り当てするために、第２のストレージデバイスセットからのストレージデバイスがパワーアップされる場合に、複数のデータチャンクが第１のストレージデバイスセット及び再割り当てされたストレージデバイスに均等に分布されるまで、再割り当てされたストレージデバイスにデータチャンクが移行される。
【選択図】図１

Description

本発明は、総じて、コンピュータデータストレージの分野に関するものであり、特に、マスデータストレージシステムの容量及びパワー用法を管理するためのシステム及び方法に関するものである。

データセンタは、電子データの格納及び検索のためにディスクドライブを用いる。マスデータストレージシステムの容量を増大させるため及びデータストレージシステムによって必要とされるディスクドライブの数を管理するための、様々な方法がある。

方法は、データのセットを複数のデータチャンクに割り振ることであって、複数のデータチャンクはシン・プロビジョニングされるとともにErasureコード化（イレイジャコード化）されている、ことと、複数のストレージデバイスを第１のストレージデバイスセットと第２のストレージデバイスセットとに分けることであって、第１のストレージデバイスセットはパワーアップされており、第２のストレージデバイスセットはパワーダウンされている、ことと、第１のストレージデバイスセットの各ストレージデバイスに等しくロードするために、複数のデータチャンクを第１のストレージデバイスセットに分布させることと、第２のストレージデバイスセットからのストレージデバイスを第１のストレージデバイスセットに再割り当てするために、第２のストレージデバイスセットからのストレージデバイスをパワーアップさせることと、複数のデータチャンクが第１のストレージデバイスセット及び再割り当てされたストレージデバイスに均等に分布されるまで、再割り当てされたストレージデバイスに複数のデータチャンクのデータチャンクを移行させることと、を非限定的に含む。

システムは、データセットを複数のデータチャンクに割り振るための手段であって、複数のデータチャンクは、シン・プロビジョニングされるとともにErasureコード化されている、手段と、複数のストレージデバイスを第１のストレージデバイスセットと第２のストレージデバイスセットとに分けるための手段であって、第１のストレージデバイスセットはパワーアップされており、第２のストレージデバイスセットはパワーダウンされている、手段と、第１のストレージデバイスセットの各ストレージデバイスに等しくロードするために、複数のデータチャンクを第１のストレージデバイスセットに分布させるための手段と、第２のストレージデバイスセットからのストレージデバイスを第１のストレージデバイスセットに再割り当てするために、第２のストレージデバイスセットからのストレージデバイスをパワーアップさせるための手段と、複数のデータチャンクが第１のストレージデバイスセット及び再割り当てされたストレージデバイスに均等に分布されるまで、再割り当てされたストレージデバイスに複数のデータチャンクのデータチャンクを移行させるための手段と、を非限定的に含む。

マスストレージシステムは、データセットを複数のデータチャンクに割り振るためのプロセッサであって、複数のデータチャンクは、シン・プロビジョニングされるとともにErasureコード化されている、プロセッサと、複数のデータチャンクを格納するために通信可能な状態でプロセッサに接続された複数のストレージデバイスであって、第１のストレージデバイスセットと第２のストレージデバイスセットとに分けられ、第１のストレージデバイスセットはパワーアップされており、第２のストレージデバイスセットはパワーダウンされている、複数のストレージデバイスと、通信可能な状態で複数のストレージデバイスに接続され、複数のストレージデバイスの動作を制御するように構成されたコントローラと、を非限定的に含み、コントローラは、第１のストレージデバイスセットの各ストレージデバイスに等しくロードするために、複数のデータチャンクを第１のストレージデバイスセットに分布させ、第２のストレージデバイスセットからのストレージデバイスを第１のストレージデバイスセットに再割り当てするために、第２のストレージデバイスセットからのストレージデバイスをパワーアップさせ、複数のデータチャンクが第１のストレージデバイスセット及び再割り当てされたストレージデバイスに均等に分布されるまで、再割り当てされたストレージデバイスに複数のデータチャンクのデータチャンクを移行させる。

以上の概要及び以下の詳細な説明は、ともに、例示的で説明的なものにすぎず、必ずしも本開示に対して制約的ではない。明細書に組み込まれ、その一部を構成する添付の図面は、本開示の内容を示している。説明及び図面は、あわせて、本開示の原理を説明する働きをする。

当業者ならば、添付の図面を参照にして、本開示の数々の利点をより良く理解することができる。
本開示の実施形態にしたがったマスストレージデータ容量の拡大方法を示した流れ図である。本発明の実施形態にしたがったマスストレージデータ容量のマネージメントを進める複数のストレージデバイスを示したブロック図である。本発明の実施形態にしたがったマスストレージデータ容量のマネージメントを進める複数のストレージデバイスを示したブロック図である。本発明の実施形態にしたがったマスストレージデータ容量のマネージメントを進める複数のストレージデバイスを示したブロック図である。本発明の実施形態にしたがったマスストレージデータ容量の拡大を実施することができるマスストレージシステムを示したブロック図である。

次に、添付の図面に示された開示内容について詳細に言及する。

図１を参照すると、本開示の代表的実施形態にしたがった、マスデータストレージシステムにおいてデータを処理するための方法が示されている。

本開示のこの実施形態では、方法１００は、データセットを複数のデータチャンクに割り振るステップ１１０であって、複数のデータチャンクは、シン・プロビジョニングされるとともにErasureコード化されている、ステップ１１０を含むことができる。データセットのエンコードには、例えばＲＡＩＤ（独立ディスク冗長アレイ）５又はＲＡＩＤ６のErasureコード化スキームを用いることができる。

代表的実施形態では、方法１００は、更に、複数のストレージデバイスを第１のストレージデバイスセットと第２のストレージデバイスセットとに分けるステップ１２０であって、第１のストレージデバイスセットはパワーアップされており、第２のストレージデバイスセットはパワーダウンされている、ステップ１２０を含むことができる。例えば、ストレージデバイスは、ハードディスクドライブであってよい。第１のストレージデバイスセットは、データセットの格納に必要とされる最小数のストレージデバイスを含有することができる。第１のストレージデバイスセットは、アクティブセットとして知られてよい。ストレージデバイスの最小数は、アクティブセットのデータ容量、マスデータストレージシステムに格納されるデータの量、及びデータセットのエンコードに使用されるErasureコード化スキームに依存してよい。アクティブセットのストレージデバイスは、常にパワーアップされていてよい。アクティブセットのストレージデバイスに格納されるデータは、いかなるパワーアップ遅延も伴わずにアクセスすることが可能である。マスデータストレージシステムに格納されるデータは、全て、アクティブセットのストレージデバイスに格納されてよい。

更に、第２のストレージデバイスセットは、パッシブセットとして知られてよい。パッシブセットのストレージデバイスは、パワーダウンされていてよく、そうして、エネルギを節約することができる。パッシブセットのストレージデバイスは、いかなるデータも格納しなくてよい、又はアクティブセットのストレージデバイス上において入手不可能ないかなるデータも格納しなくてよい。

代表的実施形態では、方法１００は、更に、第１のストレージデバイスセットの各ストレージデバイスに等しくロードするために、複数のデータチャンクを第１のストレージデバイスセットに分布させる、ステップ１３０を含むことができる。例えば、複数のデータチャンクは、引用によって組み込まれる"CRUSH: Controlled, Scalable, Decentralized Placement of Replicated Data," Sage Weil, Scott A. Brandt, Ethan L. Miller, Carlos Maltzahn, Proceedings of SC '06, November 2006に記載されるようなＣＲＵＳＨ（Controlled, Scalable, Decentralized Placement of Replicated Data, 拡張性ハッシング下における制御式の複製）アルゴリズムにしたがって分布されてよい。

代表的実施形態では、方法１００は、更に、第２のストレージデバイスセットからのストレージデバイスを第１のストレージデバイスセットに再割り当てするために、第２のストレージデバイスセットからのストレージデバイスをパワーアップさせる、ステップ１４０を含むことができる。ストレージデバイスのパワーアップは、ストレージデバイスをパッシブセットからアクティブセットに再割り当てすることができる。第２のストレージデバイスセットからのストレージデバイスを第１のストレージデバイスセットに再割り当てするために、第２のストレージデバイスセットからのストレージデバイスをパワーアップさせる、ステップ１４０は、アクティブセットにおいて更なる容量が必要とされているかどうかを決定するために、アクティブセットのストレージデバイスの容量を監視することを必要とすることができる。パッシブセットからアクティブセットに再割り当てされるものとして、１つのストレージデバイスのみが開示されているが、複数のストレージデバイスが再割り当てされることも、更に考えられる。

代表的実施形態では、方法１００は、更に、複数のデータチャンクが第１のストレージデバイスセット及び再割り当てされたストレージデバイスに均等に分布されるまで、再割り当てされたストレージデバイスに複数のデータチャンクのデータチャンクを移行させる、ステップ１５０を含むことができる。データチャンクの移行は、再割り当てされたストレージデバイスが完全にアクティブになって初めて生じることができる。

図２Ａ〜２Ｃを参照すると、本開示の実施形態にしたがって複数のストレージデバイス２３０が方法１００を実施する様子が示されている。図２Ａ〜２Ｃでは、複数のデータストライプ（２５０、２６０、２７０、２８０）は、２＋１ＲＡＩＤ５のErasureコード化スキームを使用してエンコードされる。このエンコーディングスキームは、アクティブセット２１０において最低３つのストレージデバイス２００〜２０２を必要とする。各２＋１ＲＡＩＤ５データストライプ（２５０、２６０、２７０、２８０）は、３つのデータチャンク（例えば２５０ａ、２５０ｂ、及び２５０ｐ）に割り振られている。図２Ａを参照すると、各データストライプ２５０、２６０、２７０は、３つのデータチャンクに割り振られ、アクティブセット２１０の間で分布されている。パッシブセット２２０は、ハードディスクドライブ２０３〜２０５からなる。

図２Ｂを参照すると、アクティブセット２１０において更なるストレージ容量が必要とされることが決定されている。ハードディスクドライブ２０３がパワーアップされ、そうして、パッシブセット２２０からアクティブセット２１０に再割り当てされる。図２Ｃを参照すると、ハードディスクドライブ２０３は、完全にアクティブなアクティブセット２１０のハードディスクドライブになっている。ハードディスクドライブ２００〜２０２から、様々なデータチャンクがハードディスクドライブ２０３に移行される。図２Ａ〜２Ｃに示されるように、ハードディスクドライブ２０３は、パッシブセット２２０からアクティブセット２１０に再割り当てされてよい。複数のストレージデバイス２３０のErasureコード化スキームは、再割り当てプロセス全体を通して一貫性を維持することができる。パッシブセット２２０からアクティブセット２１０へのハードディスクドライブ２０３の再割り当ては、複数のストレージデバイス２３０に対してデータをストライピングしなおすことを必要としなくてすむ。

図３を参照すると、マスストレージシステム３００は、本開示の実施形態にしたがって方法１００を実施することができる。プロセッサ３１０は、データセットを複数のデータチャンクに割り振ることができる。複数のストレージデバイス３２０（例えば図２Ａ〜２Ｃの複数のストレージデバイス２３０）は、通信可能な状態でプロセッサ３１０に接続することができる。複数のストレージデバイス３２０は、複数のデータチャンクを格納することができる。コントローラ３３０は、通信可能な状態で複数のストレージデバイス３２０に接続することができる。コントローラ３３０は、複数のストレージデバイス３２０の動作を制御するように構成することができる。

コントローラ３３０は、複数のデータチャンクを複数のストレージデバイス３２０にロードするように構成することができる。複数のデータチャンクは、アクティブなストレージデバイス３２０のセットに等しくロードすることができる。コントローラ３３０は、パッシブなストレージデバイス３２０のセットからのストレージデバイスをパワーアップさせることができる。コントローラ３３０は、パッシブセットからのストレージデバイスをアクティブなストレージデバイスセットに再割り当てすることができる。コントローラ３３０は、複数のデータチャンクがアクティブなストレージデバイスセット及び再割り当てされたストレージデバイスに均等に分布されるまで、複数のデータチャンクからのデータチャンクを移行させることができる。

更に、データは、アクティブセットのストレージデバイスから同アクティブセットの他のストレージデバイスに逆方向に移行することもできると考えられる。そして、アクティブセットの他のストレージデバイス内にデータを複製されていないデータを持たないようなアクティブセットのストレージデバイスを、パワーダウンさせることができる。パワーダウンされたストレージデバイスは、パッシブなストレージデバイスセットに再割り当てされてよい。再び図２Ａ〜２Ｃを参照すると、これらの図は、上述された場合と逆の順序で見ることもできる。図２Ｃを参照すると、ハードディスクドライブ２０３の容量は、アクティブセット２１０においてもう必要とされていないことが決定されている。図２Ｂを参照すると、ハードディスクドライブ２０３内の全てのデータが、アクティブセット２１０のハードディスクドライブ２００〜２０２に移行されている。図２Ｂに示されるように、ハードディスクドライブ２０３内のデータは、全て消去することができる。しかしながら、この消去は、必ずしも必要でなく、必ずしも好ましいとは限らない。ハードディスクドライブ２０３内の全てのデータが、アクティブセット２１０のハードディスクドライブ２００〜２０２に移行されたら、ハードディスクドライブ２０３は、パワーダウンされてよい。図２Ａを参照すると、ハードディスクドライブ２０３は、アクティブセット２１０からパッシブセット２２０に再割り当てされてよい。

本開示では、開示された方法は、デバイスによって読み取り可能な命令セット又はソフトウェアとして実装することができる。更に、開示された方法におけるステップ間の具体的順序又は序列は、代表的アプローチの例にすぎないことが理解される。方法における段階間の具体的順序又は序列は、開示された内容の範囲内において、設計上の好みに基づいて並べ替え可能であることが理解される。添付の方法クレームは、各ステップの要素を１つの順序例で提示したものであり、提示された具体的な順序又は序列に必ずしも限定されることを意図していない。

以上の詳細な説明は、ブロック図、流れ図、及び／又は実施例の使用を通じてデバイス及び／又はプロセスの様々な実施形態を示してきた。このようなブロック図、流れ図、及び／又は実施例が、１つ又は２つ以上の機能及び／又は動作を内含する限り、当業者ならば、このようなブロック図、流れ図、又は実施例における各機能及び／又は動作が、個別に及び／又は集合的に、広範囲のハードウェア、ソフトウェア、ファームウェア、又は仮想的なそれらのあらゆる組み合わせによって実装可能であることがわかる。１つの実施形態では、本明細書で説明された内容の幾つかの部分を、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタルシグナルプロセッサ（ＤＳＰ）、又はその他の集積形式で実装することができる。しかしながら、当業者ならば、本明細書で開示される実施形態の幾つかの態様が、その全部又は一部を、１つ又は２つ以上のコンピュータで実行される１つ又は２つ以上のコンピュータプログラムとして（例えば２つ又は２つ以上のコンピュータシステムで実行される１つ又は２つ以上のプログラムとして）、１つ又は２つ以上のプロセッサで実行される１つ又は２つ以上のプログラムとして（例えば１つ又は２つ以上のマイクロプロセッサで実行される１つ又は２つ以上のプログラムとして）、ファームウェアとして、又は仮想的なそれらのあらゆる組み合わせとして集積回路に等しく実装可能であること、そしてソフトウェア用及びファームウェア用に回路系を設計すること及び／又はコードを記述することが、この開示に照らせば十分に当業者の技能の範囲内であることがわかる。また、当業者ならば、本明細書で説明される内容のメカニズムが、様々な形態でプログラム製品として配布可能であること、そして本明細書で説明される内容の例示的実施形態が、配布を実際に行うために使用されるシグナルベアリング媒体の具体的な種類にかかわらず適用されることがわかる。シグナルベアリング媒体の例は、フロッピィディスク、ハードディスクドライブ、ＣＤ−ＲＯＭ、デジタルテープ、及びコンピュータメモリなどの追記型の媒体、並びにＴＤＭ又はＩＰをベースにした通信リンク（例えばパケットリンク）を使用したデジタル通信リンク及びアナログ通信リンクなどの伝送タイプの媒体を非限定的に含む。

以上の説明により、本開示及びそれに付随する多くの利点が理解されると考えられ、形態、構成、及び配置に対し、開示された内容から逸脱することなく又はその重要な利点のいずれも犠牲にすることなくて様々な変更が可能であることが明らかである。説明された形態は、説明的なものにすぎず、以下のクレームの意図は、このような変更を包含して含むことにある。

Claims

データセットを、シン・プロビジョニングされているとともにErasureコード化されている複数のデータチャンクに割り振ることと、
複数のストレージデバイスを、パワーアップされている第１のストレージデバイスセットとパワーダウンされている第２のストレージデバイスセットとに分けることと、
前記第１のストレージデバイスセットの各ストレージデバイスに等しくロードするために、前記複数のデータチャンクを前記第１のストレージデバイスセットに分布させることと、
前記第２のストレージデバイスセットからのストレージデバイスを前記第１のストレージデバイスセットに再割り当てするために、前記第２のストレージデバイスセットからの前記ストレージデバイスをパワーアップさせることと、
前記複数のデータチャンクが前記第１のストレージデバイスセット及び再割り当てされたストレージデバイスに均等に分布されるまで、前記複数のデータチャンクのデータチャンクを前記再割り当てされたストレージデバイスに移行させることと、
を備える方法。
請求項１に記載の方法であって、
前記複数のデータチャンクは、ＲＡＩＤ（独立ディスク冗長アレイ）５又はＲＡＩＤ６のエンコーディングを用いてエンコードされる、方法。
請求項１に記載の方法であって、
前記第１のストレージデバイスセットの各ストレージデバイスに等しくロードするために、前記複数のデータチャンクを前記第１のストレージデバイスセットに分布させることは、更に、前記第１のストレージデバイスセットの各ストレージデバイスに等しくロードするために、ＣＲＵＳＨ（拡張性ハッシング下における制御式の複製）アルゴリズムを用いて前記複数のデータチャンクを前記第１のストレージデバイスセットに分布させることを含む、方法。
請求項１に記載の方法であって、
前記第１のストレージデバイスセットは、最小数のストレージデバイスを含む、方法。
請求項４に記載の方法であって、
前記ストレージデバイスの最小数は、前記複数のデータチャンクをエンコードするために用いられるErasureコード化スキームの要件と、前記第１のストレージデバイスセットに格納されるデータの量とによって決定される、方法。
請求項１に記載の方法であって、
前記第２のストレージデバイスセットからのストレージデバイスを前記第１のストレージデバイスセットに再割り当てするために、前記第２のストレージデバイスセットからの前記ストレージデバイスをパワーアップさせることは、更に、更なる容量が必要かどうかを決定するために、前記第１のストレージデバイスデバイスの容量を監視することを含む、方法。
請求項１に記載の方法であって、
前記複数のデータチャンクのデータチャンクを移行させることは、前記第２のストレージデバイスセットからの前記ストレージデバイスが完全にアクティブになると生じる、方法。
データセットを、シン・プロビジョニングされているとともにErasureコード化されている複数のデータチャンクに割り振るための手段と、
複数のストレージデバイスを、パワーアップされている第１のストレージデバイスセットとパワーダウンされている第２のストレージデバイスセットとに分けるための手段と、
前記第１のストレージデバイスセットの各ストレージデバイスに等しくロードするために、前記複数のデータチャンクを前記第１のストレージデバイスセットに分布させるための手段と、
前記第２のストレージデバイスセットからのストレージデバイスを前記第１のストレージデバイスセットに再割り当てするために、前記第２のストレージデバイスセットからの前記ストレージデバイスをパワーアップさせるための手段と、
前記複数のデータチャンクが前記第１のストレージデバイスセット及び再割り当てされたストレージデバイスに均等に分布されるまで、前記複数のデータチャンクのデータチャンクを前記再割り当てされたストレージデバイスに移行させるための手段と、
を備えるシステム。
請求項８に記載のシステムであって、
前記複数のデータチャンクは、ＲＡＩＤ（独立ディスク冗長アレイ）５又はＲＡＩＤ６のエンコーディングを用いてエンコードされる、システム。
請求項８に記載のシステムであって、
前記第１のストレージデバイスセットの各ストレージデバイスに等しくロードするために、前記複数のデータチャンクは、ＣＲＵＳＨ（拡張性ハッシング下における制御式の複製）アルゴリズムを用いて前記第１のストレージデバイスセットに分布される、システム。
請求項８に記載のシステムであって、
前記第１のストレージデバイスセットは、最小数のストレージデバイスを含む、システム。
請求項１１に記載のシステムであって、
前記ストレージデバイスの最小数は、前記複数のデータチャンクをエンコードするために用いられるErasureコード化スキームの要件と、前記第１のストレージデバイスセットに格納されるデータの量とによって決定される、システム。
請求項８に記載のシステムであって、
前記第２のストレージデバイスセットからのストレージデバイスを前記第１のストレージデバイスセットに再割り当てするために、前記第２のストレージデバイスセットからの前記ストレージデバイスをパワーアップさせるための前記手段は、更に、更なる容量が必要かどうかを決定するために、前記第１のストレージデバイスデバイスの容量を監視するための手段を含む、システム。
請求項８に記載のシステムであって、
前記複数のデータチャンクのデータチャンクを移行させるための手段は、前記第２のストレージデバイスセットからの前記ストレージデバイスが完全にアクティブになると前記移行を実施する、システム。
データセットを、シン・プロビジョニングされているとともにErasureコード化されている複数のデータチャンクに割り振るためのプロセッサと、
前記複数のデータチャンクを格納するために通信可能な状態で前記プロセッサに接続された複数のストレージデバイスであって、第１のストレージデバイスセットと第２のストレージデバイスセットとに分けられ、前記第１のストレージデバイスセットはパワーアップされており、前記第２のストレージデバイスセットはパワーダウンされている、複数のストレージデバイスと、
通信可能な状態で前記複数のストレージデバイスに接続され、前記複数のストレージデバイスの動作を制御するように構成されたコントローラと、
を備え、
前記コントローラは、前記第１のストレージデバイスセットの各ストレージデバイスに等しくロードするために前記複数のデータチャンクを前記第１のストレージデバイスセットに分布させ、前記第２のストレージデバイスセットからのストレージデバイスを前記第１のストレージデバイスセットに再割り当てするために前記第２のストレージデバイスセットからの前記ストレージデバイスをパワーアップさせ、前記複数のデータチャンクが前記第１のストレージデバイスセット及び再割り当てされたストレージデバイスに均等に分布されるまで、前記複数のデータチャンクのデータチャンクを前記再割り当てされたストレージデバイスに移行させる、マスストレージシステム。
請求項１５に記載のシステムであって、
前記複数のデータチャンクは、ＣＲＵＳＨ（拡張性ハッシング下における制御式の複製）アルゴリズムを用いて分布される、システム。
請求項１５に記載のシステムであって、
前記第１のストレージデバイスセットは、最小数のストレージデバイスを含む、システム。
請求項１７に記載のシステムであって、
前記コントローラは、前記複数のデータチャンクをエンコードするために用いられるErasureコード化スキームの要件と、前記第１のストレージデバイスセットに格納されるデータの量とに基づいて、前記ストレージデバイスの最小数を決定する、システム。
請求項１５に記載のシステムであって、
前記コントローラは、更に、更なる容量が必要かどうかを決定するために、前記第１のストレージデバイスデバイスの容量を監視する、システム。
請求項１５に記載のシステムであって、
前記コントローラは、前記再割り当てされたストレージデバイスが完全にアクティブになるとデータチャンクを移行させる、システム。