JP2017228323A - 仮想化ストレージエリアネットワークのための仮想ディスクブループリント - Google Patents

仮想化ストレージエリアネットワークのための仮想ディスクブループリント Download PDF

Info

Publication number
JP2017228323A
JP2017228323A JP2017196048A JP2017196048A JP2017228323A JP 2017228323 A JP2017228323 A JP 2017228323A JP 2017196048 A JP2017196048 A JP 2017196048A JP 2017196048 A JP2017196048 A JP 2017196048A JP 2017228323 A JP2017228323 A JP 2017228323A
Authority
JP
Japan
Prior art keywords
virtual disk
physical storage
virtual
storage
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017196048A
Other languages
English (en)
Other versions
JP6798960B2 (ja
Inventor
カラマノリス、クリストス
Karamanolis Christos
シャー、マンシ
Shah Mansi
バーネット、ネイサン
Burnett Nathan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
VMware LLC
Original Assignee
VMware LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by VMware LLC filed Critical VMware LLC
Publication of JP2017228323A publication Critical patent/JP2017228323A/ja
Application granted granted Critical
Publication of JP6798960B2 publication Critical patent/JP6798960B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0605—Improving or facilitating administration, e.g. storage management by facilitating the interaction with a user or administrator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects
    • G06F3/0664—Virtualisation aspects at device level, e.g. emulation of a storage device or system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects
    • G06F3/0665—Virtualisation aspects at area level, e.g. provisioning of virtual or logical volumes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer Security & Cryptography (AREA)

Abstract

【課題】複数のホストコンピュータに収容された複数の物理ストレージデバイスを備えるオブジェクトストア内に仮想ディスクを格納する改良された方法を提供する。【解決手段】複数のホストコンピュータ内に収容された複数の物理ストレージデバイスを含むオブジェクトストア内に仮想ディスクを格納する技術が開示される。仮想ディスクの作成のためのプロファイルが受信され、プロファイルは、仮想ディスクの使用目的として望まれるストレージプロパティを特定する。仮想ディスクブループリントは、仮想ディスクブループリントがプロファイルに対応する冗長性または性能要件に対処する仮想ディスク用のストレージ編成を記述するよう、プロファイルに基づいて生成される。そして、ストレージ編成を満たすよう仮想ディスクのコンポーネントを格納することができる一組の物理ストレージデバイスが決定される。【選択図】 図２

Description

分散システムにより、ネットワーク内の多数のクライアントが共有リソースのプールへアクセスすることが可能である。例えば、分散ストレージシステムにより、ホストコンピュータのクラスタが、各ホストコンピュータ内に位置するか、または、それに取り付けられたローカルディスク（例えば、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）ベースのフラッシュストレージ、ＳＡＴＡ（Ｓｅｒｉａｌ ＡＴ Ａｔｔａｃｈｍｅｎｔ）、またはＳＡＳ（Ｓｅｒｉａｌ Ａｔｔａｃｈｅｄ ＳＣＳＩ）磁気ディスク）を集約してストレージの単一または共有のプールを作成することが可能となる。このストレージのプール（本開示では時に「データストア」または「ストア」とも称される）は、クラスタ内の全てのホストコンピュータによりアクセス可能であり、ストレージエンティティの単一名前空間として存在し得る（ファイルの場合の階層ファイルシステム名前空間、オブジェクトの場合の一意識別子のフラットな名前空間、等のように）。ホストコンピュータ上で生成された仮想マシン等のストレージクライアントは、データストアを使用し得、例えば、仮想マシンによりその動作中にアクセスされる仮想ディスクを格納する。データストアを形成する共有ローカルディスクは異なる性能特性（例えば、容量、毎秒入力／出力またはＩＯＰＳ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｐｅｒ Ｓｅｃｏｎｄ）能力、等）を有し得るため、仮想ディスクまたはその一部を格納するためのこのような共有ローカルディスクの使用量は、各所与の仮想マシンのニーズに基づいて仮想マシン間で分散され得る。
このアプローチは、企業に費用効率の高い性能を提供する。例えば、プールされたローカルディスクを使用する分散ストレージは、安価であり、かつ高度にスケーラブルで、比較的管理が簡単である。このような分散ストレージはクラスタ内の市販品ディスクを使用可能であるので、企業は追加のストレージインフラストラクチャに投資する必要がない。（それぞれが潜在的に異なるストレージ仕様を有する）潜在的に多様な市販品ストレージデバイスの共有プールにより支持されたデータストアの利用の際に生じる１つの問題は、それらのデータストレージおよびアクセスについて異なるストレージ特性を所望し得る異なるクライアントのために、このような共有プール内に（またはそれに渡って）如何にデータを格納するかを決定することである。例えば、データストアが仮想マシン等のクライアントへの「仮想ディスク」の提供のために使用される場合、いくつかの仮想マシンは、必要不可欠であり、かつ高い可用性（および冗長性）を呈する仮想ディスクを要求するアプリケーションを実行し得、他の仮想マシンは、ストレージへのアクセス時に高いＩＯＰＳを要求する時間依存のアプリケーションを実行し得る。これらの多様なストレージ要件を、その要件を満たすことができるよう適切なローカルストレージデバイスに如何に究極的にマッピングさせるかが課題である。
本開示の一実施形態は、複数のホストコンピュータに収容された複数の物理ストレージデバイスを備えるオブジェクトストア内に仮想ディスクを格納する方法に関する。この方法によれば、仮想ディスクの作成のためのプロファイルが受信され、プロファイルは、仮想ディスクの使用目的として望まれるストレージプロパティを特定する。仮想ディスクブループリントは、仮想ディスクブループリントがプロファイルに対応する冗長性または性能要件に対処する仮想ディスク用のストレージ編成を記述するよう、プロファイルに基づいて生成される。そして、ストレージ編成を満たすよう仮想ディスクのコンポーネントを格納することができる一組の物理ストレージデバイスが決定される。
他の実施形態は、限定するわけではないが、処理ユニットに本開示の方法の１つ以上の態様を実装させ得る命令を含むコンピュータ可読媒体、ならびに、本開示の方法の１つ以上の態様を実装するよう構成された、プロセッサ、メモリおよびモジュールを有するコンピュータシステムを含む。
一実施形態に係る、例示的なコンピューティング環境を示す。 一実施形態に係る、仮想ディスクを表すオブジェクトストア内に編成されたオブジェクトの例示的な階層構造を示す。 一実施形態に係る、ＶＳＡＮ（Ｖｉｒｔｕａｌ Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）モジュールのコンポーネントを示す。 一実施形態に係る、定義されたストレージポリシーに基づく仮想ディスクオブジェクト作成の方法フロー図を示す。 一実施形態に係る、ＶＭ（Ｖｉｒｔｕａｌ Ｍａｃｈｉｎｅ）で生じたＩ／Ｏオペレーションの取り扱いを示す。
図１は、一実施形態に係る、コンピューティング環境１００を示す。図示されるように、コンピューティング環境１００は、ノードで実行中の仮想マシン（ＶＭ）１１２に集約オブジェクトストア１１６を提供するために、クラスタ１１０のホストサーバまたはノード１１１に収容されるか、または直接取り付けられた市販品ローカルストレージを利用するソフトウェアベースの「仮想ストレージエリアネットワーク」（ＶＳＡＮ）環境である。以下、用語「収容された」または「に収容された」の使用は、収容され、または別様に直接に取り付けられたことの両方を包含するよう使用され得る。ノード１１１に収容されるか、または別様に直接に取り付けられたローカル市販品ストレージは、ソリッドステートドライブ（ＳＳＤ）１１７および磁気もしくはスピニングディスク１１８のうちの少なくとも一つの組み合わせを含み得る。ある実施形態において、ＳＳＤ１１７は、Ｉ／Ｏ性能向上のための磁気ディスク１１８手前の読み出しキャッシュおよび書き込みバッファのうち少なくともいずれか一方として機能する。下記に詳述されるように、各ノード１１１は、（例えば、オブジェクトストアにオブジェクトを作成する、等の）ストレージ管理ワークフローを自動化し、オブジェクトストア内のオブジェクトに対し指定された所定のストレージポリシーに基づいて、（例えば、オブジェクトストア内のオブジェクトに対するＩ／Ｏオペレーションを取り扱う、等の）オブジェクトストア内のオブジェクトへのアクセスを提供するために、ストレージ管理モジュール（本開示においては、「ＶＳＡＮモジュール」と称される）を含み得る。例えば、ＶＭは、その使用目的に応じてその「仮想ディスク」のための特定のストレージ要件（例えば、容量、可用性、ＩＯＰＳ等）を有するようアドミニストレータにより最初に構成され得るため、アドミニストレータは、このような可用性、容量およびＩＯＰＳ等を定義する各ＶＭ毎のストレージプロファイルまたはポリシーを定義し得る。さらに後述するように、ＶＳＡＮモジュールは、定義されたポリシーに基づいてオブジェクトストアの物理ストレージリソースにより支持することにより、指定された仮想ディスクのために「オブジェクト」を作成し得る。
仮想化管理プラットフォーム１０５は、ノード１１１のクラスタ１１０と関連付けられる。仮想化管理プラットフォーム１０５により、アドミニストレータがノード１１１でのＶＭの構成及び生成を管理することが可能となる。図１の実施形態に示されているように、各ノード１１１は、仮想化層またはハイパーバイザ１１３、ＶＳＡＮモジュール１１４、および（ＳＳＤ１１７およびノード１１１の磁気ディスク１１８を含む）ハードウェア１１９を含む。ハイパーバイザ１１３を通じて、ノード１１１は、多数のＶＭ１１２を立ち上げて実行することができる。ハイパーバイザ１１３は、部分的に、各ＶＭ１１２についてコンピューティングリソース（例えば、処理能力、ランダムアクセスメモリ等）を適切に割り当てるためにハードウェア１１９を管理する。さらに、後述するように、各ハイパーバイザ１１３は、その対応するＶＳＡＮモジュール１１４を通じて、仮想ディスク（またはその一部）用のストレージとしての使用のためにハードウェア１１９に位置するストレージリソース（例えば、ＳＳＤ１１７および磁気ディスク１１８）へのアクセスと、クラスタ１１０内の任意のノード１１１に存在する任意のＶＭ１１２によりアクセスされ得る他の関連ファイルへのアクセスとを提供する。特定の実施形態において、ヴィエムウェア社（ＶＭｗａｒｅ， Ｉｎｃ．）のヴィ・スフィア・ハイパーバイザ（ｖＳｐｈｅｒｅ Ｈｙｐｅｒｖｉｓｏｒ）が、ハイパーバイザ１１３としてノード１１１にインストールされ得、ヴィエムウェアのヴィ・センタサーバ（ｖＣｅｎｔｅｒ Ｓｅｒｖｅｒ）が仮想化管理プラットフォーム１０５として使用され得る。
一実施形態において、ＶＳＡＮモジュール１１４はハイパーバイザ１１３内に「ＶＳＡＮ」デバイスドライバとして実装される。このような実施形態において、ＶＳＡＮモジュール１１４は、概念的「ＶＳＡＮ」１１５へのアクセスを提供し、ＶＳＡＮ１１５を介してアドミニストレータがオブジェクトストア１１６により支持される多数のトップレベル「デバイス」または名前空間オブジェクトを生成し得る。よくある状況の１つとして、デバイスオブジェクトの作成中、アドミニストレータは、デバイスオブジェクトのための特定のファイルシステムを規定し得る（このようなデバイスオブジェクトは以下、「ファイルシステムオブジェクト」とも称される）。例えば、一実施形態において、各ノード１１１内の各ハイパーバイザ１１３は、ブートプロセスの間、ＶＳＡＮモジュール１１４により露出される概念的グローバル名前空間のための／ｖｓａｎ／ルートノードを発見し得る。例えば、ＶＳＡＮモジュール１１４により露出されるＡＰＩにアクセスすることにより、ハイパーバイザ１１３は、ＶＳＡＮ１１５にその時点で存在する全てのトップレベルファイルシステムオブジェクト（または他のタイプのトップレベルデバイスオブジェクト）を決定し得る。ＶＭ（または他のクライアント）がファイルシステムオブジェクトのうちの１つにアクセスしようと試みると、ハイパーバイザ１１３は、そのときのファイルシステムオブジェクトを動的に「自動マウント」し得る。ＶＳＡＮ１１５を通じてアクセス可能なファイルシステムオブジェクト（例えば、／ｖｓａｎ／ｆｓ＿ｎａｍｅ１、等）は、例えば、ＶＭへの同時アクセス中に同時実行制御を提供するよう設計された、ヴィエムウェアの分散またはクラスタ化ファイルシステム、ＶＭＦＳ（Ｖｉｒｔｕａｌ Ｍａｃｈｉｎｅ Ｆｉｌｅ Ｓｙｓｔｅｍ）のような、特定のファイルシステムのセマンティクスをエミュレートするよう実装され得る。ＶＳＡＮ１１５が多数のファイルシステムオブジェクトをサポートするため、任意の特定のクラスタ化ファイルシステムの限定に縛られることなくオブジェクトストア１１６を通じたストレージリソースの提供が可能である。例えば、多くのクラスタ化ファイルシステム（例えば、ＶＭＦＳ等）は、ある量のノード１１１をサポートするためにだけスケール可能である。多数のトップレベルファイルシステムオブジェクトサポートを提供することにより、ＶＳＡＮ１１５は、このようなクラスタ化ファイルシステムのスケーラビリティ制限を克服する。
下記の図２の文脈における更なる詳述に示されるように、ファイルシステムオブジェクトは、それ自身、クラスタ１１０で実行中のＶＭ１１２によりアクセス可能な多数の仮想ディスク記述子ファイル（例えば、ヴィ・スフィア（ｖＳｐｈｅｒｅ）環境における．ｖｍｄｋファイル、等）へのアクセスを提供し得る。これらの仮想ディスク記述子ファイルは、仮想ディスクのための実際のデータを含むとともに、オブジェクトストア１１６により別個に支持される仮想ディスク「オブジェクト」への参照を含む。仮想ディスクオブジェクトは、それ自身、階層的または「複合」オブジェクトであり得、階層的または「複合」オブジェクトは、下記に説明されるように、仮想ディスクの最初の作成時にアドミニストレータにより生成される対応するストレージプロファイルまたはポリシーのストレージ要件（例えば、容量、可用性、ＩＯＰＳ等）を反映する「コンポーネント」オブジェクト（これもオブジェクトストア１１６により別個に支持される）によりさらに構成される。下記にさらに議論されるように、各ＶＳＡＮモジュール１１４は、（下記にさらに説明される実施形態において、クラスタレベルオブジェクト管理すなわち「ＣＬＯＭ（Ｃｌｕｓｔｅｒ Ｌｅｖｅｌ Ｏｂｊｅｃｔ Ｍａｎａｇｅｒ）」サブモジュールを通じて）、他のノード１１１の他のＶＳＡＮモジュール１１４と通信して、オブジェクトストア１１６内にストアされた種々のオブジェクト間の位置、構成、ポリシーおよび関係を記述するメタデータを含むメモリ内メタデータデータベース（例えば、各ノード１１１のメモリ内に、別個に、しかし、同期方式により維持された）を作成および維持する。このメモリ内メタデータデータベースは、例えば、アドミニストレータが最初にＶＭのために仮想ディスクを作成するとき、および、ＶＭが実施中であり仮想ディスク上のＩ／Ｏオペレーション（例えば、読み出しまたは書き込み）を行う場合に、ノード１１１上のＶＳＡＮモジュール１１４により利用される。図３の文脈で下記にさらに議論されるように、ＶＳＡＮモジュール１１４は、（下記にさらに説明される一実施形態において、ドキュメントオブジェクトマネージャすなわち「ＤＯＭ（Ｄｏｃｕｍｅｎｔ Ｏｂｊｅｃｔ Ｍａｎａｇｅｒ）」サブモジュールを通じて）Ｉ／Ｏオペレーションの対象となる仮想ディスクの一部を支持する実際の物理ローカルストレージを収容するノード（または、ノード群）へのＩ／Ｏオペレーションリクエストを適切に送るために、メモリ内データベース内のメタデータを使用してオブジェクトの階層を横断する。
図２は、一実施形態に係る、仮想ディスクを表すオブジェクトストア１１６内に編成されたオブジェクトの例示的な階層構造を示す。上記において先に詳述されたように、１つのノード１１１にて実行中のＶＭ１１２は、オブジェクトストア１１６内に階層的または複合オブジェクト２００としてストアされた仮想ディスク上のＩ／Ｏオペレーションを実行し得る。ハイパーバイザ１１３は、ＶＳＡＮモジュール１１４を通じてＶＳＡＮ１１５のアブストラクションとインターフェースすることにより（例えば、一実施形態において先に議論されたように、仮想ディスクオブジェクトに対応するトップレベルファイルシステムオブジェクトを自動マウントすることにより）、ＶＭ１１２に仮想ディスクへのアクセスを提供する。例えば、ＶＳＡＮモジュール１１４は、メモリ内メタデータデータベースのそのローカルコピーをクエリすることにより、仮想ディスクのための記述子ファイル２１０（例えば．ｖｍｄｋファイル）を格納するＶＳＡＮ１１５内にストアされた特定のファイルシステムオブジェクト２０５（例えば、一実施形態におけるＶＭＦＳファイルシステムオブジェクト、等）を識別することができる。ファイルシステムオブジェクト２０５が、仮想化環境をサポートする際に仮想マシン構成ファイル（例えば、ｖＳｐｈｅｒｅ環境における．ｖｍｘファイル、等）等の、その目的に沿った各種の他のファイルをストアし得ることが理解されるであろう。ある実施形態において、各ファイルシステムオブジェクトは、特定のＶＭに対応するそれらの仮想ディスク（例えば、「毎ＶＭ」ファイルシステムオブジェクト）のみをサポートするよう構成され得る。
記述子ファイル２１０は、オブジェクトストア１１６に別個にストアされ、仮想ディスクを概念的に表す（および本開示において時に仮想ディスクオブジェクトとも称され得る）複合オブジェクト２００への参照を含む。複合オブジェクト２００は、仮想ディスク作成時にアドミニストレータにより生成された対応ストレージプロファイルまたはポリシー内のストレージ要件（例えば、容量、可用性、ＩＯＰＳ、等）またはサービスレベルアグリーメント（ＳＬＡ（Ｓｅｒｖｉｃｅ Ｌｅｖｅｌ Ａｇｒｅｅｍｅｎｔ））に適する仮想ディスクのストレージ編成または構成（本開示において仮想ディスク「ブループリント」と時に称される）を記述するメタデータを格納する。例えば、図２の実施形態において、複合オブジェクト２００は、仮想ディスクの２つのミラーコピー（例えば、ミラー）がＲＡＩＤ（Ｒｅｄｕｎｄａｎｔ Ａｒｒａｙｓ ｏｆ Ｉｎｅｘｐｅｎｓｉｖｅ Ｄｉｓｋｓ） ０構成内でさらにそれぞれストライプ化されるＲＡＩＤ １構成を記述する仮想ディスクブループリント２１５を含む。したがって、複合オブジェクト２２５は、各仮想ディスクミラー内の各ストライプ（例えば、仮想ディスクのデータパーティション）に対応する、多数の「リーフ」または「コンポーネント」オブジェクト２２０ｘに対する参照を含み得る。各コンポーネントオブジェクト２２０のための（例えば、各ストライプのための）メモリ内メタデータデータベースにおいてＶＳＡＮモジュール１１４によりアクセス可能なメタデータは、ストライプ（およびこのような物理リソース内のストライプの位置）を実際に格納する物理ストレージリソース（例えば、磁気ディスク１１８、等）を収容するクラスタ１１０内の特定のノード１１１ｘに対するマッピングを提供するか、または、別様に同特定のノード１１１ｘを識別する。
図３は、一実施形態に係る、ＶＳＡＮモジュール１１４の構成要素を示す。前述のように、ある実施形態において、ＶＳＡＮモジュール１１４は、ハイパーバイザ１１３へのＶＳＡＮ１１５のアブストラクションの露出するデバイスドライバとして実行し得る。ＶＳＡＮモジュール１１４の各種のサブモジュールは、異なる責務を取り扱い、このような責務に応じてユーザ空間３１５またはカーネル空間３２０のいずれかにおいて動作し得る。図３の実施形態に示されるように、ＶＳＡＮモジュール１１４は、ユーザ空間３１５で動作するクラスタレベルオブジェクト管理（ＣＬＯＭ：（ＣＬＯＭ：ｃｌｕｓｔｅｒ ｌｅｖｅｌ ｏｂｊｅｃｔ ｍａｎａｇｅｍｅｎｔ））サブモジュール３２５を含む。ＣＬＯＭサブモジュール３２５は、アドミニストレータによる仮想ディスクの作成中に、仮想ディスクブループリントを生成し、このような仮想ディスクブループリントのために作成されたオブジェクトが、アドミニストレータにより設定されたストレージプロファイルまたはポリシー要件を満たすよう構成されることを確実にする。（例えば、仮想ディスクのための）オブジェクト作成中にアクセスされることに加えて、ＣＬＯＭサブモジュール３２５は、（例えば、仮想ディスクブループリントまたはオブジェクトストア１１６内の実際の物理ストレージへの仮想ディスクブループリントのマッピングを動的に修正または別様に更新するために）オブジェクトに関するストレージプロファイルまたはポリシーへのアドミニストレータによりなされた変更の際、または、クラスタまたは作業負荷に対する変更が、現在のストレージプロファイルまたはポリシーに準拠しないオブジェクトを生じるときに、アクセスされ得る。
一実施形態において、アドミニストレータが、仮想ディスクオブジェクト２００等の複合オブジェクトのストレージプロファイルまたはポリシーを作成すると、ＣＬＯＭサブモジュール３２５は、各種の発見的アルゴリズムおよび分散アルゴリズムのうち少なくとも一方を適用して、ストレージポリシーを満たすか、または別様にストレージポリシーに適合するクラスタ１１０内の構成（例えば、ミラーリングを介した所望の冗長性およびストライピングを介したアクセス性能を達成するためのＲＡＩＤ構成：負荷バランシングを達成するために、どのノードのローカルストレージが、仮想ディスクのある部分／パーティション／ストライプを格納すべきか、等）を記述する仮想ディスクブループリント２１５を生成する。例えば、ＣＬＯＭサブモジュール３２５は、一実施形態において、仮想ディスクが最初にアドミニストレータにより作成されたときに、図２における仮想ディスクオブジェクト２００のＲＡＩＤ １／ＲＡＩＤ ０構成を記述するブループリント２１５の生成を担当する。上記において説明されたように、ストレージポリシーは、容量、ＩＯＰＳ、可用性および信頼性についての要件を規定し得る。ストレージポリシーはまた、作業負荷特徴（例えば、ランダムまたはシーケンシャルアクセス、Ｉ／Ｏリクエストサイズ、キャッシュサイズ、期待キャッシュヒット率、等）を規定し得る。さらに、アドミニストレータはまた、あるノード１１１（またはノード１１１に収容されたローカルディスク）を優先的に使用するためにＶＳＡＮモジュール１１４への親和度を規定し得る。例えば、ＶＭの新たな仮想ディスクの提供時に、アドミニストレータは、仮想ディスクが４００ＧＢの予備容量、１５０読み出しＩＯＰＳの予約、３００書き込みＩＯＰＳの予約および９９．９９％の所望の可用性を有することを規定する仮想ディスクのストレージポリシーまたはプロファイルを生成し得る。生成されたストレージポリシーの受信時に、ＣＬＯＭサブモジュール３２５は、生成されたストレージポリシーに適する複合オブジェクト（例えば、仮想ディスクオブジェクト）の仮想ディスクブループリントを生成する目的で、そのＶＳＡＮモジュール１１４により維持されるメモリ内メタデータデータベースを調べてクラスタ１１０の現在の状態を判定する。下記においてさらに説明されるように、ＣＬＯＭサブモジュール３２５は、その対応する分散オブジェクトマネージャ（ＤＯＭ）サブモジュール３４０にブループリントを伝達し、分散オブジェクトマネージャ（ＤＯＭ）サブモジュール３４０は、オブジェクト空間１１６と相互作用して、例えば、クラスタ１１０の各種ノード１１１内の物理ストレージ位置に複合オブジェクトのコンポーネントオブジェクト（例えば、ストライプ）を割り当てるか、または別様にマッピングすることにより、ブループリントを実施する。
ＣＬＯＭサブモジュール３２５およびＤＯＭサブモジュール３４０に加えて、図３にさらに示されるように、ＶＳＡＮモジュール１１４はまた、クラスタ１１０の状態についての情報をＶＳＡＮモジュール１１４の他のサブモジュールに提供するために、上述のメモリ内メタデータデータベースを維持するとともに、クラスタ１１０内の各ノード１１１のステータス、アクセス可能性および可視性をモニタリングすることによりクラスタ１１０の全般的な「ヘルス」の追跡も行なう、クラスタモニタリング、メンバシップおよびディレクトリサービス（ＣＭＭＤＳ（Ｃｌｕｓｔｅｒ Ｍｏｎｉｔｏｒｉｎｇ， Ｍｅｍｂｅｒｓｈｉｐ， ａｎｄ Ｄｉｒｅｃｔｏｒｙ Ｓｅｒｖｉｃｅｓ））サブモジュール３３５を含み得る。メモリ内メタデータデータベースは、各種ノード１１１、ノード１１１内に収容されたストレージリソース（ＳＳＤ、磁気ディスク、等）およびその特性／能力、ノード１１１の現在の状態、および、それらの対応するストレージリソース、ノード１１１間のネットワーク経路、等のＶＳＡＮ環境の物理インベントリを維持するディレクトリサービスとして機能する。先に説明されたように、物理インベントリを維持することに加えて、メモリ内メタデータデータベースはさらに、オブジェクトストア１１６にストアされるオブジェクトについてのメタデータのカタログ（例えば、どのような複合オブジェクト・コンポーネントオブジェクトが存在するか、どのようなコンポーネントオブジェクトがどのような複合オブジェクトに属するか、どのノードがいずれのオブジェクトへのアクセスを制御する「コーディネータ」または「オーナー」として機能するか、各オブジェクトについてのサービス品質要件、オブジェクト構成、オブジェクトの物理ストレージ位置へのマッピング、等）を提供する。先に説明されたように、ＶＳＡＮモジュール１１４内の他のサブモジュールは、更新目的でＣＭＭＤＳサブモジュール３３５（図３において接続線で表される）にアクセスして、クラスタトポロジおよびオブジェクト構成における変更を学習し得る。例えば、先に説明されたように、仮想ディスク作成中、ＣＬＯＭサブモジュール３２５は、仮想ディスクブループリントを生成するためにメモリ内メタデータデータベースにアクセスし、実行中のＶＭ１１２からのＩ／Ｏオペレーションに対処する目的で、ＤＯＭサブモジュール３４０は、メモリ内メタデータデータベースにアクセスして、対応する複合オブジェクト（仮想ディスクオブジェクト）のコンポーネントオブジェクト（例えば、ストライプ）を格納するノード１１１、および、Ｉ／Ｏオペレーションを満たすためにそれらのノードが到達可能な経路を決定する。
上記において説明されたように、ＤＯＭサブモジュール３４０は、Ｉ／Ｏオペレーションの取り扱いの間、および、オブジェクト作成の間、ＤＯＭサブモジュール３４０が実行される特定のノード１１１のローカルストレージにストアされたオブジェクトストア１１６内のそれらのコンポーネントオブジェクト、および、そのノード１１１が現在「コーディネータ」または「オーナー」として指定され続けているある他の複合オブジェクトへのアクセスの制御およびそのオペレーションの取り扱いを実施する。例えば、ＶＭからのＩ／Ｏオペレーションの取り扱い時に、ある実施形態における複合オブジェクトの階層的性質のため、目的の複合オブジェクト（例えば、Ｉ／Ｏオペレーションの対象となる仮想ディスクオブジェクト）のためのコーディネータとして機能するＤＯＭサブモジュール３４０は、第２のノード１１１（またはノード群）内の異なるＤＯＭサブモジュール３４０とのネットワークを介してさらなる通信を必要とし得る。第２のノード１１１（またはノード群）は、第２のノード１１１のローカルストレージにストアされ、かつＩ／Ｏオペレーションの対象である仮想ディスクの一部分である仮想ディスクオブジェクトの特定のコンポーネントオブジェクト（例えば、ストライプ等）についてのコーディネータとして機能する。Ｉ／Ｏオペレーションを発行するＶＭが、仮想ディスクオブジェクトのコーディネータとも異なるノード１１１上に存在すると、ＶＭを実行中のノードのＤＯＭサブモジュール３４０は、コーディネータのＤＯＭサブモジュール３４０ともネットワークを介して通信する必要があるであろう。ある実施形態において、Ｉ／Ｏオペレーションを発行するＶＭが、Ｉ／Ｏオペレーションの対象となる仮想ディスクオブジェクトのコーディネータと異なるノード上に存在すると、２つのノードの２つのＤＯＭサブモジュール３４０は、ＶＭを実行中のノードに対して仮想ディスクオブジェクトのコーディネータの役割を変更するために互いに通信し得る（例えば、それにより、ＶＭを実行中のノードと仮想ディスクオブジェクトについてのコーディネータとして機能するノードとの間のＩ／Ｏオペレーションを調整するのに必要なネットワーク通信の量が低減される）。
ＤＯＭサブモジュール３４０もまた同様に、オブジェクト作成中に互いに通信する。例えば、仮想ディスク作成中にＣＬＯＭモジュール３２５により生成された仮想ディスクブループリントは、どのノード１１１が仮想ディスクオブジェクトおよびその対応するコンポーネントオブジェクト（ストライプ等）についてのコーディネータとして機能すべきかを指定する情報を含み得る。このような指定されたノードについてのＤＯＭサブモジュール３４０の各々には、オブジェクトに関するメタデータでメモリ内メタデータデータベースを更新する目的で、それらの各オブジェクトを作成し、このようなオブジェクトにローカルストレージを（必要に応じ）割り当て、それらのオブジェクトをそれらの対応するＣＭＭＤＳサブモジュール３３５に通知するためのリクエストが発行される（例えば、実施形態に応じて、仮想ディスクオブジェクトについてのコーディネータとして指定されたＤＯＭサブモジュール３４０により、または、仮想ディスクブループリントを生成するノードのＤＯＭサブモジュール３４０により、等）。このようなリクエストを実施するために、ＤＯＭサブモジュール３４０は、そのノード１１１のローカルＳＳＤおよび磁気ディスクとの通信を実際に行なうＶＳＡＮモジュール１１４内のコンポーネントとして機能するログ構造化オブジェクトマネージャ（ＬＳＯＭ（Ｌｏｇ Ｓｔｒｕｃｔｕｒｅｄ Ｏｂｊｅｃｔ Ｍａｎａｇｅｒ））サブモジュール３５０と相互作用する。コンポーネントオブジェクトについてのローカルストレージの割り当て（およびそのノードがコーディネータとして機能する複合オブジェクトについてのポリシーおよび構成等の他のメタデータのストア、等）に加えて、ＬＳＯＭサブモジュール３５０はさらに、例えば、ストレージリソースが輻輳したかどうかを報告するために、そのノード１１１のローカルストレージへのＩ／Ｏオペレーションの流れをモニタリングする。
図３はまた、論理エンドポイント（例えば、ノード、オブジェクト、等）間の任意サイズのデータグラムを提供する高信頼データグラムトランスポート（ＲＤＴ（Ｒｅｌｉａｂｌｅ Ｄａｔａｇｒａｍ Ｔｒａｎｓｐｏｒｔ））サブモジュール３４５を示し、エンドポイントは潜在的に、多数の経路に渡り得る。一実施形態において、基礎となるトランスポートはＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）である。代替的に、ＲＤＭＡ（Ｒｅｍｏｔｅ Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）等の他のトランスポートが使用され得る。ＲＤＴサブモジュール３４５は、例えば、上記において先に説明されたようにオブジェクト作成またはＩ／Ｏオペレーション取り扱いのために、ＤＯＭサブモジュール３４０が互いに通信する時に、使用される。ある実施形態において、ＲＤＴモジュール３４５は、ＣＭＭＤＳモジュール３３５と相互作用することにより、メモリ内メタデータデータベース内の最新の位置情報を維持し、リンクヘルスステータスに基づいて接続を作成、除去または再確立するために、論理エンドポイントのアドレスを動的に解決する。例えば、ＣＭＭＤＳモジュール３３５がリンクがヘルシーでないと報告すると、ＲＤＴサブモジュール３４５は、よりよい状況でのリンクを好み、接続を切り得る。
図４は、一実施形態に係る、定義されたストレージポリシーに基づく仮想ディスクオブジェクト作成の方法フロー図を示す。例えば、ステップ４００において、アドミニストレータは、容量、可用性およびＩＯＰＳ要件（例えば、定義されたストレージポリシー）を有する仮想ディスクを作成するために、仮想管理プラットフォーム１０５のユーザインタフェースと相互作用し得る。一実施形態において、仮想管理プラットフォーム１０５は、ステップ４０５において「マスター」ノード１１１に仮想ディスクについてのオブジェクトを作成するようリクエストし得る。ステップ４１０において、このようなマスターノード１１１は、ＶＳＡＮモジュール内のそのＣＬＯＭサブモジュール３２５を通じて仮想ディスクブループリントを生成し得る。先に説明されたように、ＣＬＯＭサブモジュール３５は、ＣＭＭＳ（Ｃｏｍｐｕｔｅｒｉｚｅｄ Ｍａｉｎｔｅｎａｎｃｅ Ｍａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍ）サブモジュール３３５のメモリ内メタデータデータベースへのコンサルティングにより判定されたように、クラスタ１１０のステータスに基づいて仮想ディスクオブジェクト（例えば、複合オブジェクト）の作成のために仮想ディスクブループリントを生成する。仮想ディスクブループリントは、仮想ディスクオブジェクトのコーディネータまたはオーナーとして機能すべき特定のノードを識別し得る。ステップ４１５において、マスターノード１１１のＤＯＭサブモジュール３４０は、識別されたノードのＤＯＭサブモジュール３４０に仮想ディスクオブジェクトを作成するようリクエストし得る。ステップ４２０において、識別されたノードのＤＯＭサブモジュール３４０は、例えば、その対応するＬＳＯＭサブモジュール３５０と通信することにより、リクエストを受信し、仮想ディスクオブジェクトを作成し、仮想ディスクオブジェクトを記述するメタデータをそのローカルストレージに持続的に格納する。ステップ４２５において、ＤＯＭサブモジュール３４０は、仮想ディスクオブジェクトブループリントに基づいて、仮想ディスクブループリント内の任意のコンポーネントオブジェクトについてのコーディネータまたはオーナーとして機能するよう指定されているクラスタ１１０内のそれらの他のノードを識別する。ＤＯＭサブモジュール３４０は、コンポーネントオブジェクトについてのコーディネータとして機能する他のノードのＤＯＭサブモジュール３４０と（例えば、そのＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）サブモジュール３４５を使用して）通信し、それらのローカルストレージ内にこのようなコンポーネントオブジェクトを支持するデータを格納する。このようなＤＯＭサブモジュール３４０が、仮想ディスクオブジェクトのコーディネータのＤＯＭサブモジュール３４０から各コンポーネントオブジェクトを作成するリクエストを受信すると、ＤＯＭサブモジュール３４０は、今度はステップ４３０において、コンポーネントオブジェクト（およびその関連するメタデータ）についてのローカルストレージを割り当てるために各モジュール３５０と通信する。ひとたびこのようなコンポーネントオブジェクトが作成されると、ステップ４３５において、それらのＤＯＭサブモジュール３４０は、そのＣＭＭＳサブモジュール３３５のメモリ内メタデータデータベースにコンポーネントの作成を通知する。ステップ４４０において、仮想ディスクオブジェクトのコーディネータのＤＯＭサブモジュール３４０はまた、メモリ内メタデータデータベースを更新するために、その作成をそのＣＭＭＤＳサブモジュール３３５に通知し、最終的にはアドミニストレータに確認を送信する（例えば、マスターノードを介して仮想管理プラットフォーム１０５に通信し戻す）。
図５は、一実施形態に係る、ＶＭから生じたＩ／Ｏオペレーションの取り扱いを示す。特定のノードで実行中のＶＭがその仮想ディスクへのＩ／Ｏオペレーションを実施すると、ＶＭのゲストオペレーティングシステムは、ステップ５００において、その仮想ディスクについて意図されたＩ／Ｏオペレーションリクエストを（ゲストオペレーティングシステムのデバイスドライバを通じて）送信し、ステップ５０５において、そのリクエストはハイパーバイザ１１３により受信され、ハイパーバイザ１１３内のＩ／Ｏスタックの各種の層を介してＶＳＡＮモジュール１１４のＤＯＭサブモジュール３４０に最終的には送信されて変換される。ステップ５１０において、ＤＯＭサブモジュール３４０により受信されたＩ／Ｏリクエストは、ＣＭＭＳサブモジュール３３５のメモリ内メタデータデータベースへのアクセスにより仮想ディスクオブジェクトのコーディネータノードを識別するためにＤＯＭサブモジュール３４０が使用する仮想ディスクを表すオブジェクトについての一意識別子を含む（ある実施形態において、コーディネータノードの識別子の一意識別子へのマッピングをルックアップするためにメモリ内メタデータデータベースへアクセスすることは、仮想ディスクオブジェクトが最初にアクセスされた時にのみ生じ、このようなマッピングは、後続のルックアップが必要とされないように将来のＩ／Ｏオペレーションについて持続する）。仮想ディスクオブジェクトについてのコーディネータノードを識別すると、ＶＭを実行中のノードのＤＯＭサブモジュール３４０は、ステップ５１５においてＩ／Ｏオペレーションを実行するようリクエストするために（例えば、そのＲＴＰサブモジュール３４５を使用して）コーディネータノードのＤＯＭサブモジュール３４０と通信する。先に説明されたように、ある実施形態において、ＶＭを実行中のノードと仮想ディスクオブジェクトのコーディネータとして機能するノードとが異なると、２つのＤＯＭサブモジュールは、仮想ディスクオブジェクトのコーディネータの役割を、実行中のＶＭのノードとなるよう更新するように通信する。コーディネータによるＩ／Ｏリクエストを受信すると、ステップ５２０において、そのＤＯＭサブモジュールは、Ｉ／Ｏオペレーションの対象となる仮想ディスクオブジェクトの特定のコンポーネントオブジェクト（例えば、ストライプ）のそれらのコーディネータノードを（例えば、ある実施形態において、再びメモリ内メタデータデータベースを参照することにより）識別する。例えば、Ｉ／ＯオペレーションがＲＡＩＤ ０構成の多数のストライプ（例えば、多数のコンポーネントオブジェクト）にまたがれば、ＤＯＭサブモジュール３４０は、Ｉ／Ｏオペレーションを分割し、対応するＩ／Ｏリクエストを２つのストライプに対応する関連コンポーネントオブジェクトについての各コーディネートノードに適切に送信し得る。ステップ５２５において、仮想ディスクオブジェクトのコーディネータノードのＤＯＭサブモジュールは、識別されたコンポーネントオブジェクトのコーディネータノードのＤＯＭサブモジュールがＩ／Ｏオペレーションリクエストを実行するようリクエストし、ステップ５３０において、識別されたコンポーネントオブジェクトについてのこのようなコーディネータノードのＤＯＭサブモジュールは、コンポーネントオブジェクトがストアされるローカルストレージリソース内でＩ／Ｏオペレーションを実行するために、それらの対応するＬＳＯＭサブモジュールと相互作用する。
１つ以上の実施形態が理解を明確にするために詳細に記述されてきたが、特許請求の範囲内においてある変更および修正がなされ得ることは明らかである。従って、記述された実施形態は例示的であり制限するものではないと考えられるべきであって、特許請求の範囲は、本開示にて与えられた詳細に制限されるべきではなく、しかし特許請求の範囲およびその均等物内において修正され得る。例えば、前述の多数の実施形態は、仮想マシンをＶＳＡＮモジュールにより提供される仮想ディスクにアクセスするクライアントとして記述したが、非仮想化ホストサーバおよびそこで実行中の非仮想化アプリケーションのうちの少なくとも一方のクラスタ等の任意のクライアントが、代替実施形態においてＶＳＡＮモジュールを同様に利用し得ることが理解されるべきである。同様に、ＶＳＡＮモジュールの代替実施形態が、限定するものではないが、ＲＥＳＴ（ＲＥｐｒｅｓｅｎｔａｔｉｏｎａｌ Ｓｔａｔｅ Ｔｒａｎｓｆｅｒ）オブジェクト、ファイル、ファイルシステム、ブロブ（バイナリーラージオブジェクト）および他のオブジェクト等の、仮想ディスク以外の高レベルストレージオブジェクトを作成可能であり得る。同様に、ＶＳＡＮモジュール１１４がハイパーバイザ１１３内に埋め込まれるとして概して記述されてきたが、代替実施形態は、例えば特別な仮想マシンまたは仮想アプライアンス、別個のアプリケーションまたは分散オブジェクトストアを提供および管理するためにコンピューティングプラットフォームに挿入可能な任意の他の「プラガブル（ｐｌｕｇｇａｂｌｅ）」モジュールまたはドライバとして、ハイパーバイザ１１３とは別個のＶＳＡＮモジュールを実装し得る。同様に、前述の実施形態はブループリントを編成する１つの技術としてＲＡＩＤ構成を参照してきたが、他の実施形態において、限定するものではないが、抹消符号および他の類似技術の使用を含む他の構成を利用し得ることが理解されるべきである。
本開示に記述された各種の実施形態は、コンピュータシステム内にストアされたデータを伴う各種のコンピュータ実装オペレーションを採用し得る。例えば、これらのオペレーションは、通常は物理量の物理マニピュレーションを要求し得るが、必ずしもではないものの、これらの量は電気的または磁気的信号の形態を取り得、そこでは、それら、あるいは、それらの代表値は、ストアされ、伝送され、結合され、比較され、または別様にマニピュレートされることが可能である。さらに、このようなマニピュレーションは、しばしば製造、識別、判定または比較の観点で参照される。１つ以上の実施形態の一部を形成する本開示で記述された任意のオペレーションは、有用なマシンオペレーションであり得る。さらに、１つ以上の実施形態はまた、それらのオペレーションを実行するためのデバイスまたは装置に関する。装置は、特定の要求目的のために特別に構築され得、または、コンピュータにストアされたコンピュータプログラムにより選択的に活性化され、または構成される汎用コンピュータであり得る。特に、各種の汎用マシンが、本開示の教示に従って書かれたコンピュータプログラムと共に使用され得、または、要求されるオペレーションの実行のためにより特別化された装置を構築することが、より都合がよい場合もあり得る。
本開示に記述された各種の実施形態は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースまたはプログラマブルコンシューマエレクトロニクス、ミニコンピュータ、メインフレームコンピュータ、等を含む他のコンピュータシステム構成で実践され得る。
１つ以上の実施形態は、１つ以上のコンピュータ可読媒体内に具現化された１つ以上のコンピュータプログラムとして、または、１つ以上のコンピュータプログラムモジュールとして実装され得る。用語「コンピュータ可読媒体」は、後にコンピュータシステムに入力され得るデータを格納することが可能な任意のデータストレージデバイスを指し、コンピュータ可読媒体は、コンピュータによりコンピュータプログラムを読み取り可能なようにコンピュータプログラムを具現化するための任意の既存のまたは将来開発される技術に基づき得る。コンピュータ可読媒体の例には、ハードドライブ、ネットワーク接続ストレージ（ＮＡＳ：Ｎｅｔｗｏｒｋ Ａｔｔａｃｈｅｄ Ｓｔｏｒａｇｅ）、リードオンリーメモリ、ランダムアクセスメモリ（例えば、フラッシュメモリデバイス）、ＣＤ（コンパクトディスク）、ＣＤ−ＲＯＭ、ＣＤ−ＲまたはＣＤ−ＲＷ、ＤＶＤ（デジタルバーサタイルディスク）、磁気テープ、および、他の光学および非光学データストレージデバイスが含まれる。コンピュータ可読媒体はまた、コンピュータ可読コードが分散方式でストアされ、実行されるように、ネットワーク結合コンピュータシステム上に分散され得る。
さらに、記述された仮想化方法は概して、仮想マシンが特定のハードウェアシステムに沿ったインターフェースを提示するものとしてきたが、記述された方法は、任意の特定のハードウェアシステムに直接には対応しない仮想化と共に使用され得る。ホスト化実施形態、非ホスト化実施形態、または、その両者間の区別があいまいとなりがちな実施形態として実装される、各種の実施形態に係る仮想化システムが、全て想定される。さらに、各種の仮想化オペレーションが、全体としてまたは部分的にハードウェア内に実装され得る。例えば、ハードウェア実装は、非ディスクデータをセキュアにするためにストレージアクセスリクエストの修正のためのルックアップテーブルを採用し得る。
仮想化の程度にかかわらず、多くの変形、修正、付加および改良が可能である。仮想化ソフトウェアはそれゆえ、ホスト、コンソールまたは仮想化機能を実行するゲストオペレーティングシステムのコンポーネントを含み得る。複数のインスタンスが、単一のインスタンスとして本開示に説明されるコンポーネント、オペレーションまたは構造のために提供され得る。最後に、各種コンポーネント、オペレーションおよびデータストアの境界は、いくらか恣意的であり、特定のオペレーションは特定の例示的構成の文脈で例示される。機能性の他の割り当てが想定され、１つ以上の実施形態の範囲に収まり得る。一般に、例示の構成において別個のコンポーネントとして表される構造および機能性は、結合された構造またはコンポーネントとして実装され得る。同様に、単一のコンポーネントとして表される構造および機能性は、別個のコンポーネントとして実装され得る。これらのおよび他の変形、修正、付加および改良は、添付の請求項の範囲内に収まり得る。請求項において、要素およびステップの内少なくともいずれか一方は、請求項において明示的に述べられていない限り、オペレーションの如何なる特定の順序も暗示しない。

Claims (16)

  1. 複数のホストコンピュータ内に収容された複数の物理ストレージデバイスを備えるオブジェクトストア内に仮想マシンの仮想ディスクを格納する方法であって、
    前記仮想マシンによる前記仮想ディスクの使用目的に応じたストレージプロパティを特定する、前記仮想マシンの前記仮想ディスクの作成のためのプロファイルを受信する工程と、
    前記プロファイルに基づいて、前記プロファイルに対応する冗長性または性能要件に対処する前記仮想ディスク用のストレージ編成を定義する仮想ディスクオブジェクトを生成する工程と、
    前記仮想ディスクオブジェクトによって定義される前記ストレージ編成に従って前記仮想ディスクの複数のコンポーネントオブジェクトを作成し、前記仮想ディスクオブジェクトによって定義される前記ストレージ編成を満たすように前記仮想ディスクのコンポーネントを格納する一組の物理ストレージデバイスを決定する工程と、ここで、前記一組の物理ストレージデバイス内の前記コンポーネントは、各々前記仮想ディスクの前記複数のコンポーネントオブジェクトの個々の一つに対応しており、
    前記複数のコンポーネントオブジェクトが各々前記仮想ディスクの一部であることを示すように前記仮想ディスクに関連するメタデータを更新して、前記仮想ディスク上の前記仮想マシンによって入力／出力（Ｉ／Ｏ）動作を実行することができるようにする工程と
    を備える方法。
  2. 前記ストレージプロパティは、前記仮想ディスクの容量、前記仮想ディスクに望まれるアップタイム可用性または前記仮想ディスクに望まれるＩＯＰＳ性能レートのうちの少なくとも１つを含む、請求項１に記載の方法。
  3. 前記決定する工程はさらに、前記物理ストレージデバイスの現在の状態を追跡するデータベースを調べることを含み、前記物理ストレージデバイスの少なくとも１つを収容する前記複数のホストコンピュータの各々は、対応する物理ストレージデバイスの状態に変更があったときはいつでも前記データベースを更新する、請求項１に記載の方法。
  4. 前記データベースは、前記物理ストレージデバイスのスループット、前記物理ストレージデバイスのＩＯＰＳ、前記ホストコンピュータのＣＰＵサイクル、および、前記ホストコンピュータのメモリ使用量のうちの少なくとも１つを追跡する、請求項３に記載の方法。
  5. 前記ストレージ編成は、１つ以上のＲＡＩＤレベルに従って前記仮想ディスク内にストアされたデータの分散を記述する、請求項３に記載の方法。
  6. 前記ストレージ編成は、抹消符号に従って前記仮想ディスク内にストアされたデータの分散を記述する、請求項３に記載の方法。
  7. 決定された一組の物理ストレージデバイス内にストアされ得る前記仮想ディスクの前記コンポーネントは、前記ストレージ編成内に記述されたＲＡＩＤストライプ組内のストライプに対応し、かつ前記オブジェクトストア内の前記仮想ディスクの前記複数のコンポーネントオブジェクトの対応する一つにより各々表される、請求項５に記載の方法。
  8. 前記仮想ディスクの前記対応するコンポーネントオブジェクトに対する前記一組の物理ストレージデバイス内のストレージ位置を割り当てるよう、決定された一組の物理ストレージデバイスを収容するホストコンピュータにリクエストする工程と、
    前記ホストコンピュータのうちの１つによりストレージ位置が割り当てられていることの確認を受信した場合に、前記対応するコンポーネントオブジェクトへの前記割り当てられたストレージ位置のマッピングで前記データベースを更新する工程と
    をさらに備える、請求項７に記載の方法。
  9. 前記物理ストレージデバイスの前記現在の状態をモニタリングして、前記コンポーネントオブジェクトの前記ストレージ位置に基づいて、前記仮想ディスクが前記プロファイルを満たすことができない結果となりかねない、前記物理ストレージデバイスのオペレーションにおける任意の変更を識別する工程と、
    前記物理ストレージデバイスの現在の状態に基づいて、前記プロファイルを満たすであろうコンポーネントオブジェクトの新たなストレージ位置を決定する工程と
    をさらに備える、請求項８に記載の方法。
  10. プロセッサ上で実行されたときに、請求項１乃至９のいずれか１項に記載の方法を行う命令を格納するコンピュータ可読ストレージ媒体。
  11. プロセッサと、
    モジュールをホストするメモリであって、前記プロセッサ上で実行されたときに、複数のホストコンピュータ内に収容された複数の物理ストレージデバイスを備えるオブジェクトストア内に仮想マシンの仮想ディスクを格納するオペレーションを実行するメモリと
    を備えるコンピュータシステムであって、前記オペレーションが、
    前記仮想マシンによる前記仮想ディスクの使用目的に応じたストレージプロパティを特定する、前記仮想マシンの前記仮想ディスクの作成のためのプロファイルを受信することと、
    前記プロファイルに基づいて、前記プロファイルに対応する冗長性または性能要件に対処する前記仮想ディスク用のストレージ編成を定義する仮想ディスクオブジェクトを生成することと、
    前記仮想ディスクオブジェクトによって定義される前記ストレージ編成に従って前記仮想ディスクの複数のコンポーネントオブジェクトを作成し、前記仮想ディスクオブジェクトによって定義される前記ストレージ編成を満たすように前記仮想ディスクのコンポーネントを格納する一組の物理ストレージデバイスを決定することと、ここで、前記一組の物理ストレージデバイス内の前記コンポーネントは、各々前記仮想ディスクの前記複数のコンポーネントオブジェクトの個々の一つに対応しており、
    前記複数のコンポーネントオブジェクトが各々前記仮想ディスクの一部であることを示すように前記仮想ディスクに関連するメタデータを更新して、前記仮想ディスク上の前記仮想マシンによって入力／出力（Ｉ／Ｏ）動作を実行することができるようにすることと
    を備える、コンピュータシステム。
  12. 決定することはさらに、前記物理ストレージデバイスの現在の状態を追跡するデータベースを調べることを含み、前記物理ストレージデバイスの少なくとも１つを収容する前記複数のホストコンピュータの各々は、対応する物理ストレージデバイスの状態に変更があったときはいつでも前記データベースを更新する、請求項１１に記載のコンピュータシステム。
  13. 前記ストレージ編成は、１つ以上のＲＡＩＤレベルに従って前記仮想ディスク内にストアされたデータの分散を記述する、請求項１２に記載のコンピュータシステム。
  14. 決定された一組の物理ストレージデバイス内にストアされ得る前記仮想ディスクの前記コンポーネントは、前記ストレージ編成内に記述されたＲＡＩＤストライプ組内のストライプに対応し、かつ前記オブジェクトストア内の前記仮想ディスクの前記複数のコンポーネントオブジェクトの対応する一つにより各々表される、請求項１３に記載のコンピュータシステム。
  15. 前記オペレーションが、
    前記仮想ディスクの前記対応するコンポーネントオブジェクトについての前記一組の物理ストレージデバイス内のストレージ位置を割り当てるよう、決定された一組の物理ストレージデバイスを収容するホストコンピュータにリクエストすることと、
    前記ホストコンピュータのうちの１つによりストレージ位置が割り当てられていることの確認を受信した場合に、前記対応するコンポーネントオブジェクトへの前記割り当てられたストレージ位置のマッピングで前記データベースを更新することと
    をさらに備える、請求項１４に記載のコンピュータシステム。
  16. 前記オペレーションが、
    前記物理ストレージデバイスの現在の状態をモニタリングして、前記コンポーネントオブジェクトの前記ストレージ位置に基づいて、前記仮想ディスクが前記プロファイルを満たすことができない結果となりかねない、前記物理ストレージデバイスの前記オペレーションにおける任意の変更を識別することと、
    前記物理ストレージデバイスの前記現在の状態に基づいて、前記プロファイルを満たすであろうコンポーネントオブジェクトの新たなストレージ位置を決定することと
    をさらに備える、請求項１５に記載のコンピュータシステム。
JP2017196048A 2013-08-26 2017-10-06 仮想化ストレージエリアネットワークのための仮想ディスクブループリント Active JP6798960B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/010,316 2013-08-26
US14/010,316 US10747475B2 (en) 2013-08-26 2013-08-26 Virtual disk blueprints for a virtualized storage area network, wherein virtual disk objects are created from local physical storage of host computers that are running multiple virtual machines

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016529769A Division JP6532871B2 (ja) 2013-08-26 2014-06-10 仮想化ストレージエリアネットワークのための仮想ディスクブループリント

Publications (2)

Publication Number Publication Date
JP2017228323A true JP2017228323A (ja) 2017-12-28
JP6798960B2 JP6798960B2 (ja) 2020-12-09

Family

ID=51134400

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016529769A Active JP6532871B2 (ja) 2013-08-26 2014-06-10 仮想化ストレージエリアネットワークのための仮想ディスクブループリント
JP2017196048A Active JP6798960B2 (ja) 2013-08-26 2017-10-06 仮想化ストレージエリアネットワークのための仮想ディスクブループリント

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016529769A Active JP6532871B2 (ja) 2013-08-26 2014-06-10 仮想化ストレージエリアネットワークのための仮想ディスクブループリント

Country Status (5)

Country Link
US (3) US10747475B2 (ja)
EP (1) EP3039524B1 (ja)
JP (2) JP6532871B2 (ja)
AU (1) AU2014311783B2 (ja)
WO (1) WO2015030902A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9811531B2 (en) 2013-08-26 2017-11-07 Vmware, Inc. Scalable distributed storage architecture
US11016820B2 (en) 2013-08-26 2021-05-25 Vmware, Inc. Load balancing of resources
US10747475B2 (en) 2013-08-26 2020-08-18 Vmware, Inc. Virtual disk blueprints for a virtualized storage area network, wherein virtual disk objects are created from local physical storage of host computers that are running multiple virtual machines
US9665235B2 (en) * 2013-12-31 2017-05-30 Vmware, Inc. Pre-configured hyper-converged computing device
US20160139834A1 (en) * 2014-11-14 2016-05-19 Cisco Technology, Inc. Automatic Configuration of Local Storage Resources
US10126983B2 (en) 2015-06-24 2018-11-13 Vmware, Inc. Methods and apparatus to enforce life cycle rules in a modularized virtualization topology using virtual hard disks
US9928010B2 (en) 2015-06-24 2018-03-27 Vmware, Inc. Methods and apparatus to re-direct detected access requests in a modularized virtualization topology using virtual hard disks
US9804789B2 (en) * 2015-06-24 2017-10-31 Vmware, Inc. Methods and apparatus to apply a modularized virtualization topology using virtual hard disks
US10101915B2 (en) 2015-06-24 2018-10-16 Vmware, Inc. Methods and apparatus to manage inter-virtual disk relations in a modularized virtualization topology using virtual hard disks
US10318183B1 (en) * 2015-06-30 2019-06-11 EMC IP Holding Company LLC Storage management system and method
US9830082B1 (en) 2015-09-08 2017-11-28 EMC IP Holding Company LLC Hybrid hyper-converged infrastructure and storage appliance
US9778865B1 (en) * 2015-09-08 2017-10-03 EMC IP Holding Company LLC Hyper-converged infrastructure based on server pairs
US10691479B2 (en) * 2017-06-28 2020-06-23 Vmware, Inc. Virtual machine placement based on device profiles
US11023264B2 (en) * 2017-07-18 2021-06-01 Vmware, Inc. Blueprint application storage policy
US10268408B2 (en) * 2017-08-28 2019-04-23 Vmware, Inc. Flexible efficient runtime placement of data across multiple disks
US10531592B1 (en) * 2018-07-19 2020-01-07 Quanta Computer Inc. Smart rack architecture for diskless computer system
CN111301433B (zh) * 2018-12-12 2021-04-02 北京图森智途科技有限公司 一种自动驾驶车辆的计算节点的管理系统、方法和装置
KR102012604B1 (ko) * 2018-12-28 2019-10-21 건국대학교 산학협력단 가상화를 위한 확장 가능한 네트워크 연결 저장 장치 및 방법
US10951469B2 (en) 2019-01-31 2021-03-16 EMC IP Holding Company LLC Consumption-based elastic deployment and reconfiguration of hyper-converged software-defined storage
US10708135B1 (en) * 2019-01-31 2020-07-07 EMC IP Holding Company LLC Unified and automated installation, deployment, configuration, and management of software-defined storage assets
US11163687B2 (en) 2019-10-17 2021-11-02 Citrix Systems, Inc. Provisioning virtual machines with a single identity and cache virtual disk
US11860802B2 (en) 2021-02-22 2024-01-02 Nutanix, Inc. Instant recovery as an enabler for uninhibited mobility between primary storage and secondary storage

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040054648A1 (en) * 2002-09-17 2004-03-18 Hitachi, Ltd. Method for creation and management of virtual volumes for DBMs
US20050166011A1 (en) * 2004-01-23 2005-07-28 Burnett Robert J. System for consolidating disk storage space of grid computers into a single virtual disk drive
JP2008527555A (ja) * 2005-01-18 2008-07-24 インターナショナル・ビジネス・マシーンズ・コーポレーション 仮想化ストレージ・サブシステム内の仮想化ストレージ割り当ての自動パフォーマンス最適化を提供するための方法、装置およびプログラム・ストレージ・デバイス
JP2010055369A (ja) * 2008-08-28 2010-03-11 Hitachi Ltd ストレージシステム、論理記憶領域割り当て方法及び計算機システム
JP2010066842A (ja) * 2008-09-09 2010-03-25 Hitachi Ltd ストレージ装置及びストレージ装置の制御方法
WO2011108027A1 (ja) * 2010-03-04 2011-09-09 株式会社日立製作所 計算機システム及びその制御方法
US20120005435A1 (en) * 2010-01-28 2012-01-05 Hitachi, Ltd. Management system and methods of storage system comprising pool configured of actual area groups of different performances
JP2012104097A (ja) * 2010-11-08 2012-05-31 Lsi Corp ストレージシステムにおける要求に対する応答に関連した待ち時間削減
WO2012090247A1 (en) * 2010-12-28 2012-07-05 Hitachi, Ltd. Storage system, management method of the storage system, and program
WO2012104912A1 (en) * 2011-02-02 2012-08-09 Hitachi, Ltd. Data storage apparatus and data management method
US20130204849A1 (en) * 2010-10-01 2013-08-08 Peter Chacko Distributed virtual storage cloud architecture and a method thereof

Family Cites Families (125)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06110766A (ja) 1992-09-25 1994-04-22 Hitachi Ltd 分割格納ファイルシステムのディレクトリ構成方法および計算機システム
DE69434381T2 (de) * 1993-06-04 2006-01-19 Network Appliance, Inc., Sunnyvale Verfahren zur Paritätsdarstellung in einem Raid-Untersystem unter Verwendung eines nichtflüchtigen Speichers
US5778384A (en) 1995-12-22 1998-07-07 Sun Microsystems, Inc. System and method for automounting and accessing remote file systems in Microsoft Windows in a networking environment
US6032224A (en) 1996-12-03 2000-02-29 Emc Corporation Hierarchical performance system for managing a plurality of storage units with different access speeds
US6314526B1 (en) 1998-07-10 2001-11-06 International Business Machines Corporation Resource group quorum scheme for highly scalable and highly available cluster system management
US6553389B1 (en) 1999-09-13 2003-04-22 Hewlett-Packard Company Resource availability determination mechanism for distributed data storage system
US6658473B1 (en) 2000-02-25 2003-12-02 Sun Microsystems, Inc. Method and apparatus for distributing load in a computer environment
WO2001067309A2 (en) 2000-03-03 2001-09-13 Radiant Logic, Inc. System and method for providing access to databases via directories and other hierarchical structures and interfaces
JP2002108567A (ja) 2000-09-28 2002-04-12 Hitachi Ltd 記憶制御装置
US6839752B1 (en) 2000-10-27 2005-01-04 International Business Machines Corporation Group data sharing during membership change in clustered computer system
US6915391B2 (en) 2000-12-15 2005-07-05 International Business Machines Corporation Support for single-node quorum in a two-node nodeset for a shared disk parallel file system
US20040136379A1 (en) 2001-03-13 2004-07-15 Liao Raymond R Method and apparatus for allocation of resources
US6708175B2 (en) 2001-06-06 2004-03-16 International Business Machines Corporation Program support for disk fencing in a shared disk parallel file system across storage area network
US20020188592A1 (en) * 2001-06-11 2002-12-12 Storage Technology Corporation Outboard data storage management system and method
US6687701B2 (en) 2001-09-25 2004-02-03 Hewlett-Packard Development Company, L.P. Namespace management in a distributed file system
WO2003046721A1 (en) 2001-11-23 2003-06-05 Commvault Systems, Inc. Selective data replication system and method
US8914429B2 (en) 2002-02-08 2014-12-16 Willaim Pitts Method for creating global distributed namespace
US6985914B2 (en) 2002-02-20 2006-01-10 Emc Corporation Cluster meta file system of file system cells managed by respective data movers of a network file server
US7035858B2 (en) 2002-04-29 2006-04-25 Sun Microsystems, Inc. System and method dynamic cluster membership in a distributed data system
US7774444B1 (en) 2002-10-16 2010-08-10 Symantec Operating Corporation SAN simulator
CN1692356B (zh) 2002-11-14 2014-06-04 易斯龙系统公司 用于对现存文件重新条带化的方法
US7143260B2 (en) * 2002-12-20 2006-11-28 Veritas Operating Corporation Intermediate descriptions of intent for storage allocation
US7159093B2 (en) * 2002-12-20 2007-01-02 Veritas Operating Corporation Development of a detailed logical volume configuration from high-level user requirements
US8234517B2 (en) 2003-08-01 2012-07-31 Oracle International Corporation Parallel recovery by non-failed nodes
US7277897B2 (en) 2003-08-01 2007-10-02 Oracle International Corporation Dynamic reassignment of data ownership
US7613945B2 (en) 2003-08-14 2009-11-03 Compellent Technologies Virtual disk drive system and method
US9489150B2 (en) 2003-08-14 2016-11-08 Dell International L.L.C. System and method for transferring data between different raid data storage types for current data and replay data
US8527541B2 (en) 2003-11-05 2013-09-03 Emc Corporation Method for mapping a flat namespace onto a hierarchical namespace using locality of reference cues
US20050240714A1 (en) 2004-04-13 2005-10-27 Bea Systems, Inc. System and method for virtual content repository deployment
US7768959B1 (en) 2004-04-21 2010-08-03 Marvell International Ltd. All-in-one wireless network device
US7360030B1 (en) 2004-06-01 2008-04-15 Sanbolic, Inc. Methods and apparatus facilitating volume management
US7441096B2 (en) 2004-07-07 2008-10-21 Hitachi, Ltd. Hierarchical storage management system
US7613703B2 (en) 2004-09-30 2009-11-03 Microsoft Corporation Organizing resources into collections to facilitate more efficient and reliable resource access
US7770076B2 (en) * 2004-11-02 2010-08-03 Nvidia Corporation Multi-platter disk drive controller and methods for synchronous redundant data operations
US20060218360A1 (en) * 2005-03-22 2006-09-28 Burkey Todd R Method, apparatus and program storage device for providing an optimized read methodology for synchronously mirrored virtual disk pairs
US7617370B2 (en) 2005-04-29 2009-11-10 Netapp, Inc. Data allocation within a storage system architecture
US8127059B1 (en) * 2005-09-02 2012-02-28 Pmc-Sierra Us, Inc. Apparatus for interconnecting hosts with storage devices
US20070055703A1 (en) 2005-09-07 2007-03-08 Eyal Zimran Namespace server using referral protocols
US20070214384A1 (en) 2006-03-07 2007-09-13 Manabu Kitamura Method for backing up data in a clustered file system
US7716425B1 (en) * 2006-09-27 2010-05-11 Hewlett-Packard Development Company, L.P. Prefetching data in distributed storage systems
US7739470B1 (en) 2006-10-20 2010-06-15 Emc Corporation Limit algorithm using queue depth to control application performance
US7669029B1 (en) 2006-11-15 2010-02-23 Network Appliance, Inc. Load balancing a data storage system
US7734884B1 (en) 2006-12-29 2010-06-08 Emc Corporation Simultaneous concurrent and cascaded triangular asynchronous replication
JP4505763B2 (ja) 2007-01-31 2010-07-21 ヒューレット−パッカード デベロップメント カンパニー エル．ピー． ノードクラスタの管理
JP2008210057A (ja) 2007-02-23 2008-09-11 Hitachi Ltd 記憶システム及びその管理方法
US8090792B2 (en) 2007-03-08 2012-01-03 Nec Laboratories America, Inc. Method and system for a self managing and scalable grid storage
JP5379956B2 (ja) 2007-03-19 2013-12-25 株式会社日立製作所 ストレージ装置及び記憶領域配置方法
WO2008147973A2 (en) 2007-05-25 2008-12-04 Attune Systems, Inc. Remote file virtualization in a switched file system
US8386610B2 (en) 2007-12-31 2013-02-26 Netapp, Inc. System and method for automatic storage load balancing in virtual server environments
JP2009217475A (ja) 2008-03-10 2009-09-24 Fujitsu Ltd ストレージシステム，ストレージ装置，ストレージシステムの制御方法および制御プログラム
TWI476610B (zh) 2008-04-29 2015-03-11 Maxiscale Inc 同級間冗餘檔案伺服器系統及方法
US8612678B2 (en) * 2008-04-30 2013-12-17 Netapp, Inc. Creating logical disk drives for raid subsystems
US9459927B2 (en) 2008-05-22 2016-10-04 Alcatel Lucent Central office based virtual personal computer
JP5460979B2 (ja) 2008-07-09 2014-04-02 住友化学株式会社 遷移金属リン酸塩、それを用いたナトリウム二次電池用正極および該正極を用いた二次電池
US8914567B2 (en) 2008-09-15 2014-12-16 Vmware, Inc. Storage management system for virtual machines
US20100114826A1 (en) 2008-10-24 2010-05-06 Microsoft Corporation Configuration management in distributed data systems
US9396021B2 (en) 2008-12-16 2016-07-19 International Business Machines Corporation Techniques for dynamically assigning jobs to processors in a cluster using local job tables
US8893050B2 (en) 2009-01-12 2014-11-18 International Business Machines Corporation Assembly and output of user-defined groupings
JP5180865B2 (ja) 2009-02-10 2013-04-10 株式会社日立製作所 ファイルサーバ、ファイル管理システムおよびファイル管理方法
KR101042908B1 (ko) 2009-02-12 2011-06-21 엔에이치엔(주) 네트워크 분리 장애 상황에서 메이저 그룹을 결정하기 위한방법, 시스템, 및 컴퓨터 판독 가능한 기록 매체
US8291159B2 (en) 2009-03-12 2012-10-16 Vmware, Inc. Monitoring and updating mapping of physical storage allocation of virtual machine without changing identifier of the storage volume assigned to virtual machine
US8176289B2 (en) * 2009-05-21 2012-05-08 Red Hat Israel, Ltd. Method to support sparse volumes or thin provisioned volumes in real time
US8694578B2 (en) 2009-05-29 2014-04-08 Microsoft Corporation Swarm-based synchronization over a network of object stores
US8429097B1 (en) 2009-08-12 2013-04-23 Amazon Technologies, Inc. Resource isolation using reinforcement learning and domain-specific constraints
US8103769B1 (en) 2009-09-03 2012-01-24 Amazon Technologies, Inc. Dynamic isolation of shared resources
US8387060B2 (en) 2009-10-01 2013-02-26 Dell Products L.P. Virtual machine resource allocation group policy based on workload profile, application utilization and resource utilization
US8566520B1 (en) * 2009-10-05 2013-10-22 Marvell International Ltd. Storage space allocation for logical disk creation
US8326799B2 (en) 2009-10-09 2012-12-04 Seagate Technology Llc Data distribution in systems with multiple storage entities
US8635422B1 (en) * 2009-10-29 2014-01-21 Symantec Corporation Systems and methods for reclaiming storage space from deleted volumes on thin-provisioned disks
US8074003B1 (en) * 2009-12-28 2011-12-06 Emc Corporation Host-based storage controller providing block devices in geographically distributed storage
US8453036B1 (en) 2010-02-01 2013-05-28 Network Appliance, Inc. System and method for dynamically resizing a parity declustered group
US11256529B2 (en) 2010-03-17 2022-02-22 Zerto Ltd. Methods and apparatus for providing hypervisor level data services for server virtualization
US20110238857A1 (en) 2010-03-29 2011-09-29 Amazon Technologies, Inc. Committed processing rates for shared resources
JP2012008854A (ja) 2010-06-25 2012-01-12 Hitachi Ltd ストレージ仮想化装置
US10162722B2 (en) 2010-07-15 2018-12-25 Veritas Technologies Llc Virtual machine aware replication method and system
WO2012024801A1 (en) 2010-08-25 2012-03-01 Rayan Zachariassen Method and system for cache tiering
US20120054264A1 (en) 2010-08-31 2012-03-01 International Business Machines Corporation Techniques for Migrating Active I/O Connections with Migrating Servers and Clients
CN102232282B (zh) 2010-10-29 2014-03-26 华为技术有限公司 一种实现数据中心资源负载均衡的方法及装置
US9032146B2 (en) * 2010-11-30 2015-05-12 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Dynamic use of raid levels responsive to workload requirements
US8996807B2 (en) 2011-02-15 2015-03-31 Intelligent Intellectual Property Holdings 2 Llc Systems and methods for a multi-level cache
US9201677B2 (en) 2011-05-23 2015-12-01 Intelligent Intellectual Property Holdings 2 Llc Managing data input/output operations
JP2012173996A (ja) 2011-02-22 2012-09-10 Nec Corp クラスタシステム、クラスタ管理方法、およびクラスタ管理プログラム
US8904136B2 (en) 2011-03-15 2014-12-02 Symantec Corporation Optimized shrinking of virtual disks
WO2012147116A1 (en) * 2011-04-25 2012-11-01 Hitachi, Ltd. Computer system and virtual machine control method
US20120303322A1 (en) * 2011-05-23 2012-11-29 Rego Charles W Incorporating memory and io cycle information into compute usage determinations
US8645654B1 (en) * 2011-06-29 2014-02-04 Emc Corporation Selecting physical storage in data storage systems
US9489396B2 (en) 2011-07-01 2016-11-08 V3 Systems Holdings, Inc. Intermediation of hypervisor file system and storage device models
US9244967B2 (en) 2011-08-01 2016-01-26 Actifio, Inc. Incremental copy performance between data stores
US8850130B1 (en) * 2011-08-10 2014-09-30 Nutanix, Inc. Metadata for managing I/O and storage for a virtualization
US8601473B1 (en) * 2011-08-10 2013-12-03 Nutanix, Inc. Architecture for managing I/O and storage for a virtualization environment
US8954979B1 (en) 2011-08-15 2015-02-10 Netapp, Inc. Method and system for managing resources in a network
US9514014B2 (en) 2011-08-17 2016-12-06 EMC IP Holding Company, LLC Methods and systems of managing a distributed replica based storage
US9116633B2 (en) 2011-09-30 2015-08-25 Commvault Systems, Inc. Information management of virtual machines having mapped storage devices
US8276140B1 (en) 2011-11-14 2012-09-25 Google Inc. Adjustable virtual network performance
US9336061B2 (en) 2012-01-14 2016-05-10 International Business Machines Corporation Integrated metering of service usage for hybrid clouds
US20140130055A1 (en) * 2012-02-14 2014-05-08 Aloke Guha Systems and methods for provisioning of storage for virtualized applications
US9020912B1 (en) 2012-02-20 2015-04-28 F5 Networks, Inc. Methods for accessing data in a compressed file system and devices thereof
US9298715B2 (en) 2012-03-07 2016-03-29 Commvault Systems, Inc. Data storage system utilizing proxy device for storage operations
US9348724B2 (en) * 2012-05-21 2016-05-24 Hitachi, Ltd. Method and apparatus for maintaining a workload service level on a converged platform
JPWO2013190737A1 (ja) * 2012-06-19 2016-02-08 日本電気株式会社 サーバシステム、サーバ、サーバ制御方法、及び、サーバ制御プログラム
US9612966B2 (en) 2012-07-03 2017-04-04 Sandisk Technologies Llc Systems, methods and apparatus for a virtual machine cache
US9244846B2 (en) 2012-07-06 2016-01-26 International Business Machines Corporation Ensuring causality of transactional storage accesses interacting with non-transactional storage accesses
US20140115579A1 (en) * 2012-10-19 2014-04-24 Jonathan Kong Datacenter storage system
US9453740B2 (en) 2012-10-30 2016-09-27 Alpine Electronics, Inc. Method of displaying objects on navigation map
US9448883B1 (en) 2012-12-04 2016-09-20 Cadence Design Systems, Inc. System and method for allocating data in memory array having regions of varying storage reliability
US9092161B2 (en) * 2012-12-05 2015-07-28 Red Hat Israel, Ltd. Selection of allocation policy and format for virtual machine disk images
US9122528B2 (en) 2012-12-13 2015-09-01 Telefonaktiebolaget L M Ericsson (Publ) Energy conservation and hardware usage management for data centers
US8924664B2 (en) 2012-12-13 2014-12-30 Infinidat Ltd. Logical object deletion
US9239730B2 (en) 2013-01-11 2016-01-19 Red Hat Israel, Ltd. Managing connections in a distributed virtualization environment
US20140201151A1 (en) 2013-01-11 2014-07-17 Commvault Systems, Inc. Systems and methods to select files for restoration from block-level backup for virtual machines
US9015123B1 (en) 2013-01-16 2015-04-21 Netapp, Inc. Methods and systems for identifying changed data in an expandable storage volume
US8984243B1 (en) * 2013-02-22 2015-03-17 Amazon Technologies, Inc. Managing operational parameters for electronic resources
US9507887B1 (en) 2013-03-13 2016-11-29 EMC IP Holding Company LLC Adaptive techniques for workload distribution across multiple storage tiers
GB2526031B (en) 2013-05-08 2020-07-29 Hitachi Ltd Storage system and data management method
US9015650B2 (en) 2013-06-03 2015-04-21 Microsoft Technology Licensing, Llc Unified datacenter storage model
US8850455B1 (en) 2013-06-28 2014-09-30 Emc Corporation Method and system for parent backup application monitoring of children backup applications
US9088501B2 (en) 2013-07-31 2015-07-21 Citrix Systems, Inc. Systems and methods for least connection load balancing by multi-core device
US10747475B2 (en) 2013-08-26 2020-08-18 Vmware, Inc. Virtual disk blueprints for a virtualized storage area network, wherein virtual disk objects are created from local physical storage of host computers that are running multiple virtual machines
US9672115B2 (en) 2013-08-26 2017-06-06 Vmware, Inc. Partition tolerance in cluster membership management
US9811531B2 (en) 2013-08-26 2017-11-07 Vmware, Inc. Scalable distributed storage architecture
US11016820B2 (en) 2013-08-26 2021-05-25 Vmware, Inc. Load balancing of resources
US9582198B2 (en) 2013-08-26 2017-02-28 Vmware, Inc. Compressed block map of densely-populated data structures
US11018988B2 (en) 2013-08-26 2021-05-25 Vmware, Inc. Translating high level requirements policies to distributed configurations
US9887924B2 (en) 2013-08-26 2018-02-06 Vmware, Inc. Distributed policy-based provisioning and enforcement for quality of service
US9609058B2 (en) 2014-10-13 2017-03-28 Commvault Systems, Inc. Storage management operations based on executable files served on demand to storage management components

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040054648A1 (en) * 2002-09-17 2004-03-18 Hitachi, Ltd. Method for creation and management of virtual volumes for DBMs
US20050166011A1 (en) * 2004-01-23 2005-07-28 Burnett Robert J. System for consolidating disk storage space of grid computers into a single virtual disk drive
JP2008527555A (ja) * 2005-01-18 2008-07-24 インターナショナル・ビジネス・マシーンズ・コーポレーション 仮想化ストレージ・サブシステム内の仮想化ストレージ割り当ての自動パフォーマンス最適化を提供するための方法、装置およびプログラム・ストレージ・デバイス
JP2010055369A (ja) * 2008-08-28 2010-03-11 Hitachi Ltd ストレージシステム、論理記憶領域割り当て方法及び計算機システム
JP2010066842A (ja) * 2008-09-09 2010-03-25 Hitachi Ltd ストレージ装置及びストレージ装置の制御方法
US20120005435A1 (en) * 2010-01-28 2012-01-05 Hitachi, Ltd. Management system and methods of storage system comprising pool configured of actual area groups of different performances
WO2011108027A1 (ja) * 2010-03-04 2011-09-09 株式会社日立製作所 計算機システム及びその制御方法
US20130204849A1 (en) * 2010-10-01 2013-08-08 Peter Chacko Distributed virtual storage cloud architecture and a method thereof
JP2012104097A (ja) * 2010-11-08 2012-05-31 Lsi Corp ストレージシステムにおける要求に対する応答に関連した待ち時間削減
WO2012090247A1 (en) * 2010-12-28 2012-07-05 Hitachi, Ltd. Storage system, management method of the storage system, and program
WO2012104912A1 (en) * 2011-02-02 2012-08-09 Hitachi, Ltd. Data storage apparatus and data management method

Also Published As

Publication number Publication date
US11210035B2 (en) 2021-12-28
AU2014311783B2 (en) 2017-03-02
EP3039524B1 (en) 2020-03-11
US10747475B2 (en) 2020-08-18
US11809753B2 (en) 2023-11-07
US20200371721A1 (en) 2020-11-26
WO2015030902A1 (en) 2015-03-05
AU2014311783A1 (en) 2016-02-25
EP3039524A1 (en) 2016-07-06
JP6532871B2 (ja) 2019-06-19
US20220043608A1 (en) 2022-02-10
US20150058555A1 (en) 2015-02-26
JP6798960B2 (ja) 2020-12-09
JP2016531349A (ja) 2016-10-06

Similar Documents

Publication Publication Date Title
JP6607901B2 (ja) スケーラブル分散ストレージアーキテクチャ
JP6798960B2 (ja) 仮想化ストレージエリアネットワークのための仮想ディスクブループリント
US11704166B2 (en) Load balancing of resources
JP6208354B2 (ja) サービス品質の分散ポリシーベースのプロビジョニング及び施行
JP2019036361A (ja) クラスタメンバーシップ管理における分断耐性

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180130

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180703

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201027

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201119

R150 Certificate of patent or registration of utility model

Ref document number: 6798960

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350