JP2019536125A - 標準及び非標準分散ストレージ・ネットワーク・データ・アクセスの方法およびコンピュータ可読メモリ - Google Patents

標準及び非標準分散ストレージ・ネットワーク・データ・アクセスの方法およびコンピュータ可読メモリ Download PDF

Info

Publication number
JP2019536125A
JP2019536125A JP2019512258A JP2019512258A JP2019536125A JP 2019536125 A JP2019536125 A JP 2019536125A JP 2019512258 A JP2019512258 A JP 2019512258A JP 2019512258 A JP2019512258 A JP 2019512258A JP 2019536125 A JP2019536125 A JP 2019536125A
Authority
JP
Japan
Prior art keywords
data
dsn
data access
standard
storage unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019512258A
Other languages
English (en)
Other versions
JP6975228B2 (ja
Inventor
バプテスト、アンドリュー、ドミニク
レゲット、ウェスレー
シルフォン、バート
レスター、ジェームズ、リトル
マーク、ザカリー
モトワニ、マニッシュ
レッシュ、ジェイソン
ドゥーセ、グレゴリー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JP2019536125A publication Critical patent/JP2019536125A/ja
Application granted granted Critical
Publication of JP6975228B2 publication Critical patent/JP6975228B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1076Parity data used in redundant arrays of independent storages, e.g. in RAID systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614Improving the reliability of storage systems
    • G06F3/0619Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638Organizing or formatting or addressing of data
    • G06F3/064Management of blocks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer And Data Communications (AREA)
  • Communication Control (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Detection And Correction Of Errors (AREA)

Abstract

【課題】 標準及び非標準DSNデータ・アクセスに関する。【解決手段】 方法は、分散ストレージ・ネットワーク(DSN)のコンピューティング・デバイスにより、DSNからのデータにアクセスするために、非標準DSNデータ・アクセス・プロトコルを使用するか又は標準DSNデータ・アクセス・プロトコルを使用するかを決定することを含む。コンピューティング・デバイスが、非標準DSNデータ・アクセス・プロトコルを使用すると決定するとき、方法は、非標準DSNデータ・アクセス要求のセットを生成することをさらに含む。方法は、非標準DSNデータ・アクセス要求のセットをストレージ・ユニットに送ることをさらに含む。方法は、ストレージ・ユニットにより、非標準DSNデータ・アクセス要求を1つ又は複数のDSNスライス名に変換することをさらに含む。方法は、ストレージ・ユニットにより、1つ又は複数のDSNスライス名がスライス名範囲内にあることを判断することをさらに含む。1つ又は複数のDSNスライス名がスライス名範囲内にあるとき、方法は、ストレージ・ユニットにより、データ・アクセス機能を実行することをさらに含む。【選択図】 図1

Description

本発明は、一般に、コンピュータ・ネットワークに関し、より特定的には、データの分散エラー符号化(dispersing error encoded data)に関する。
コンピューティング・デバイスは、データの通信、データの処理、及び/又はデータの格納を行うことが知られている。そのようなコンピューティング・デバイスは、無線スマートフォン、ラップトップ、タブレット、パーソナル・コンピュータ(PC)、ワーク・ステーション、及びビデオ・ゲーム・デバイスから、毎日何百万ものウェブ検索、株式取引、又はオンライン購入をサポートするデータ・センタにまで及ぶ。一般に、コンピューティング・デバイスは、中央処理ユニット(CPU)、メモリ・システム、ユーザ入力/出力インターフェース、周辺機器インターフェース、及び相互接続バス構造を含む。
さらに知られているように、コンピュータは、「クラウド・コンピューティング」を用して、コンピュータの代わりに1つ又は複数のコンピューティング機能(例えば、サービス、アプリケーション、アルゴリズム、演算論理関数等)を実行することによって、そのCPUを事実上拡張することができる。さらに、大規模なサービス、アプリケーション、及び/又は機能については、クラウド・コンピューティングを複数のクラウド・コンピューティング・リソースによりディストリビュート方式で行って、サービス、アプリケーション、及び/又は関数の完了のための応答時間を改善することができる。例えば、Hadoopは、数千のコンピュータによるアプリケーション実行を可能にするディストリビューテッド・アプリケーションをサポートするオープンソース・ソフトウェア・フレームワークである。
クラウド・コンピューティングに加えて、コンピュータは、そのメモリ・システムの一部として「クラウド・ストレージ」を用いることができる。知られているように、クラウド・ストレージは、ユーザがそのコンピュータを介して、ファイル、アプリケーションなどをインターネット・ストレージ・システム上に格納することを可能にする。インターネット・ストレージ・システムは、エラー訂正スキームを用いて格納のためにデータを符号化するRAID(redundant array of independent disks、独立ディスク冗長アレイ)システム及び/又は分散ストレージ・システムを含むことができる。
クラウド・ストレージ・システムにおいては、データにアクセスする(例えば、読み出す、書き込む、削除する等)ための従来のプロトコルがある。例えば、読み出し要求は、所望のデータの1又は複数の部分を格納する分散又はディストリビューテッド・ストレージ・ネットワーク(DSN)の各ストレージ・ユニットへの個々の読み出し要求を含む。呼び出すべき付加的なデータが望まれる場合、別の読み出し要求を生成し、ストレージ・ユニットに送る必要がある。このことは、データ及び付加的なデータが関連している場合でも行われる。
非標準DSNデータ・アクセスに関する。本発明は、分散ストレージ・ネットワーク(DSN)のコンピューティング・デバイスにより、前記DSNからのデータにアクセスするために、非標準DSNデータ・アクセス・プロトコルを使用するか又は標準DSNデータ・アクセス・プロトコルを使用するかを決定することであって、前記データは1つ又は複数の符号化データ・スライスのセットに分散ストレージ・エラー符号化され、前記1つ又は複数の符号化データ・スライスのセットは前記DSNのストレージ・ユニットのセット内に格納される、決定することと、前記コンピューティング・デバイスが、前記非標準DSNデータ・アクセス・プロトコルを使用すると決定することに応じて、前記コンピューティング・デバイスにより、前記データに関する非標準DSNデータ・アクセス要求のセットを生成することであって、前記非標準DSNデータ・アクセス要求のセットのうちの非標準DSNデータ・アクセス要求は、前記ストレージ・ユニットのセットのうちのストレージ・ユニットのネットワーク識別子、前記データに対応するデータ識別子、及びデータ・アクセス機能を含む、生成することと、前記コンピューティング・デバイスにより、前記非標準DSNデータ・アクセス要求のセットを、前記ストレージ・ユニットを含む前記ストレージ・ユニットのセットのうちの少なくとも幾つかのストレージ・ユニットに送ることと、前記ストレージ・ユニットにより、前記非標準DSNデータ・アクセス要求を1つ又は複数のDSNスライス名に変換することと、前記ストレージ・ユニットにより、前記1つ又は複数のDSNスライス名が、前記ストレージ・ユニットに割り当てられたスライス名範囲内にあることを判断することと、前記1つ又は複数のDSNスライス名がスライス名範囲内にあることに応じて、前記ストレージ・ユニットにより、前記1つ又は複数のDSNスライス名に対応する1つ又は複数の符号化データ・スライスに関する前記データ・アクセス機能を実行することを含む。
ここで、本発明の好ましい実施形態を、単なる例として以下の図面を参照して説明する。
本発明による、分散(dispersed)又はディストリビューテッド(distributed)ストレージ・ネットワーク(DSN)の実施形態の模式的なブロック図である。 本発明による、コンピューティング・コアの実施形態の模式的なブロック図である。 本発明による、データの分散ストレージ・エラー符号化の例の模式的なブロック図である。 本発明による、エラー符号化関数の一般的な例の模式的なブロック図である。 本発明による、エラー符号化関数の特定の例の模式的なブロック図である。 本発明による、符号化データ・スライス(EDS)のスライス名の例の模式的なブロック図である。 本発明による、データの分散ストレージ・エラー復号の例の模式的なブロック図である。 本発明による、エラー復号関数の一般的な例の模式的なブロック図である。 本発明による、複数のストレージ・ユニットのプールの実施形態の模式的なブロック図である。 本発明による、DSNの別の実施形態の模式的なブロック図である。 本発明による、標準(standard)符号化データ・スライス命名の例の図である。 本発明による、非標準(non-standard)データ命名の例の図である。 本発明による、非標準データ命名の別の図である。 本発明による、DSNにおいて符号化データ・スライスにアクセスする例の模式的なブロック図である。 本発明による、DSNにおける標準及び非標準データ・アクセスの方法の例の論理図である。 本発明による、DSNにおいて標準及び非標準データにアクセスする方法の送信ステップの例の論理図である。 本発明による、DSNにおいて標準及び非標準データにアクセスする方法の変換ステップの例の論理図である。
図1は、複数のコンピューティング・デバイス12〜16、管理ユニット18、完全性(integrity)処理ユニット20、及びDSNメモリ22を含む分散又はディストリビューテッド・ストレージ・ネットワーク(DSN)10の実施形態の模式的なブロック図である。DSN10のコンポーネントは、ネットワーク24に結合され、ネットワーク24は、1つ又は複数の無線及び/又は有線通信システム、1つ又は複数の非パブリック・イントラネット・システム及び/又は公衆インターネット・システム;及び/又は1つ又は複数のローカル・エリア・ネットワーク(LAN)及び/又は広域ネットワーク(WAN)を含むことができる。
DSNメモリ22は、地理的に異なる場所(例えば、1つはシカゴ、1つはミルウォーキー等)に、共通の場所に、又はその組み合わせで配置することができる複数のストレージ・ユニット36を含む。例えば、DSNメモリ22が8個のストレージ・ユニット36を含む場合、各ストレージ・ユニットは、異なる場所に配置される。別の例として、DSNメモリ22が8個のストレージ・ユニット36を含む場合、8個のストレージ・ユニット全てが同じ場所に配置される。さらに別の例として、DSNメモリ22が8個のストレージ・ユニット36を含む場合、第1の対のストレージ・ユニットは第1の共通の場所にあり、第2の対のストレージ・ユニットは第2の共通の場所にあり、第3の対のストレージ・ユニットは第3の共通の場所にあり、第4の対のストレージ・ユニットは第4の共通の場所にある。DSNメモリ22は、8個より多い又は少ないストレージ・ユニット36を含み得ることに留意されたい。さらに、各ストレージ・ユニット36は、コンピューティング・コア(図2又はそのコンポーネントに示されるような)と、分散エラー符号化データを格納するための複数のメモリ・デバイスとを含むことに留意されたい。
コンピューティング・デバイス12〜16、管理ユニット18、及び完全性処理ユニット20の各々は、コンピューティング・コア26を含み、コンピューティング・コア26は、ネットワーク・インターフェース30〜33を含む。コンピューティング・デバイス12〜16はそれぞれ、携帯型コンピューティング・デバイス及び/又は固定型コンピューティング・デバイスとすることができる。携帯型コンピューティング・デバイスは、ソーシャル・ネットワーキング・デバイス、ゲーミング・デバイス、携帯電話、スマートフォン、デジタル・アシスタント、デジタル音楽プレーヤ、デジタル・ビデオ・プレーヤ、ラップトップ・コンピュータ、手持ち式コンピュータ、タブレット、ビデオ・ゲーム・コントローラ、及び/又はコンピューティング・コアを含む任意の他の携帯型デバイスとすることができる。固定型コンピューティング・デバイスは、パーソナル・コンピュータ(PC)、コンピュータ・サーバ、ケーブル・セットトップ・ボックス、衛星放送受信器、テレビ・セット、プリンタ、ファックス装置、家庭用娯楽機器、ビデオ・ゲーム機、及び/又は任意のタイプの家庭用若しくはオフィス用コンピューティング機器とすることができる。管理ユニット18及び完全性処理ユニット20の各々は、別個のコンピューティング・デバイスであってもよく、共通のコンピューティング・デバイスであってもよく、及び/又はコンピューティング・デバイス12〜16の1つ又は複数及び/又はストレージ・ユニット36の1つ又は複数に統合されてもよいことに留意されたい。
各インターフェース30、32及び33は、ネットワーク24を介して間接的に及び/又は直接的に1つ又は複数の通信リンクをサポートするためのソフトウェア及びハードウェアを含む。例えば、インターフェース30は、コンピューティング・デバイス14と16との間の通信リンク(例えば、有線、無線、直接、LANを介する、ネットワーク24を介するなど)をサポートする。別の例として、インターフェース32は、コンピューティング・デバイス12及び16とDSNメモリ22との間の通信リンク(例えば、有線接続、無線接続、LAN接続、及び/又はネットワーク24との間の任意の他のタイプの接続)をサポートする。さらに別の例として、インターフェース33は、ネットワーク24に対する管理ユニット18及び完全性処理ユニット20の各々のための通信リンクをサポートする。
図3〜図8の1つ又は複数を参照して後で説明されるように、コンピューティング・デバイス12及び16は、コンピューティング・デバイスが、データ(例えば、データ40)を分散ストレージ・エラー符号化及び復号するのを可能にする、分散ストレージ(DS)クライアント・モジュール34を含む。この例示的な実施形態において、コンピューティング・デバイス16は、コンピューティング・デバイス14のための分散ストレージ処理エージェントとして機能する。この役割において、コンピューティング・デバイス16は、コンピューティング・デバイス14の代わりにデータを分散ストレージ・エラー符号化及び復号する。分散ストレージ・エラー符号化及び復号を用いれば、DSN10は、データ損失なしに、及び、データの冗長又はバックアップ・コピーを必要とせずに、かなりの数のストレージ・ユニットの障害に対する耐性がある(障害の数は、分散ストレージ・エラー符号化関数のパラメータに基づく)。さらに、DSN10は、データ損失なしにセキュアな方法で無期限にデータを格納する(例えば、システムは、権限のないデータ・アクセスの試みに対して非常に耐性がある)。
動作において、管理ユニット18は、DS管理サービスを行う。例えば、管理ユニット18は、コンピューティング・デバイス12〜14に対して個々に、又はユーザ・デバイスのグループの一部として、ディストリビューテッド・データ・ストレージ・パラメータ(例えば、ボールト(vault)の作成、ディストリビューテッド・ストレージ・パラメータ、セキュリティ・パラメータ、課金情報、ユーザ・プロファイル情報など)を確立する。特定の例として、管理ユニット18は、ユーザ・デバイス、デバイスのグループ、又はパブリック・アクセスのためのDSNメモリ22内のボールト(例えば、DSNのネーム空間全体の一部と関連した仮想メモリ・ブロック)の作成を調整し、ボールトについての分散ストレージ(DS)エラー符号化パラメータを、ボールトごとに確立する。管理ユニット18は、DSN10のレジストリ情報を更新することによって、各ボールトについてのDSエラー符号化パラメータの格納を容易にし、それにより、レジストリ情報は、DSNメモリ22、コンピューティング・デバイス12〜16、管理ユニット18、及び/又は完全性処理ユニット20内に格納され得る。
管理ユニット18は、ユーザ・プロファイル情報(例えば、アクセス制御リスト(ACL))を作成し、ローカル・メモリ内及び/又はDSNメモリ22のメモリ内に格納する。ユーザ・プロファイル情報は、認証情報、許可、及び/又はセキュリティ・パラメータを含む。セキュリティ・パラメータは、暗号化/解読スキーム、1つ又は複数の暗号化鍵、鍵生成スキーム、及び/又はデータ符号化/復号スキームを含むことができる。
管理ユニット18は、特定のユーザ、ユーザ・グループ、ボールト・アクセス、パブリック・ボールト・アクセス等に対する課金情報を作成する。例えば、管理ユニット18は、非パブリック・ボールト及び/又はパブリック・ボールトにユーザがアクセスする回数を追跡し、それを用いてアクセスごとの課金情報を生成することができる。別の例では、管理ユニット18は、ユーザ・デバイス及び/又はユーザ・グループによって格納された及び/又は取り出されたデータの量を追跡し、それを用いてデータ量ごとの課金情報を生成することができる。
別の例として、管理ユニット18は、ネットワーク動作、ネットワーク管理、及び/又はネットワーク保守を実行する。ネットワーク動作は、ユーザ・データ割り当て要求(例えば、読み出し及び/又は書き込み要求)を認証すること、ボールトの作成を管理すること、ユーザ・デバイスに対する認証資格証明を確立すること、DSN10へ/からコンポーネント(例えば、ユーザ・デバイス、ストレージ・ユニット、及び/又はDSクライアント・モジュール34を有するコンピューティング・デバイス)を追加/削除すること、及び/又はストレージ・ユニット36に対する認証資格証明を確立することを含む。ネットワーク管理は、デバイス及び/又はユニットの障害を監視すること、ボールト情報を保持すること、デバイス及び/又はユニットのアクティブ化ステータスを決定すること、デバイス及び/又はユニットのロードを決定すること、及び/又はDSN10の性能レベルに影響を与える任意の他のシステム・レベル動作を決定することを含む。ネットワーク保守は、DSN10のデバイス及び/又はユニットの交換、アップグレード、修理、及び/又は拡張を容易にすることを含む。
完全性処理ユニット20は、「不良」又は欠損している符号化データ・スライスの再構築を実行する。高レベルにおいては、完全性処理ユニット20は、DSNメモリ22から、符号化データ・スライス、及び/又は符号化データ・スライスのスライス名の取り出し/リストを定期的に試みることによって再構築を実行する。取り出された符号化スライスについて、それらは、データ破損、古いバージョン等に起因するエラーに関してチェックされる。スライスがエラーを含む場合、それは「不良」スライスとしてフラグが立てられる。受け取られなかった及び/又はリストされなかった符号化データ・スライスについては、それらは、欠損スライスとしてフラグが立てられる。不良及び/又は欠損スライスは、その後、再構築されたスライスを生成するために良好なスライスとみなされる他の取り出された符号化データ・スライスを使用して再構築される。再構築されたスライスは、DSNメモリ22内に格納される。
図2は、処理モジュール50、メモリ・コントローラ52、メイン・メモリ54、ビデオ・グラフィック処理ユニット55、入力/出力(IO)コントローラ56、周辺コンポーネント相互接続(PCI)インターフェース58、IOインターフェース・モジュール60、少なくとも1つのIOデバイス・インターフェース・モジュール62、読み出し専用メモリ(ROM)基本入出力システム(BIOS)64、及び1つ又は複数のメモリ・インターフェース・モジュールを含むコンピューティング・コア26の実施形態の模式的なブロック図である。1つ又は複数のメモリ・インターフェース・モジュールは、ユニバーサル・シリアル・バス(USB)インターフェース・モジュール66、ホスト・バス・アダプタ(HBA)インターフェース・モジュール68、ネットワーク・インターフェース・モジュール70、フラッシュ・インターフェース・モジュール72、ハードドライブ・インターフェース・モジュール74、及びDSNインターフェース・モジュール76のうちの1つ又は複数を含む。
DSNインターフェース・モジュール76は、従来のオペレーティング・システム(OS)ファイル・システム・インターフェース(例えば、ネットワーク・ファイル・システム(NFS)、フラッシュ・ファイル・システム(FFS)、ディスク・ファイル・システム(DFS)、ファイル転送プロトコル(FTP)、ウェブベースのディストリビューテッド・オーサリング及びバージョニング(WebDAV)等)、及び/又はブロック・メモリ・インターフェース(例えば、スモール・コンピュータ・システム・インターフェース(SCSI)、インターネット・スモール・コンピュータ・システム・インターフェース(iSCSI)等)を模倣するように機能する。DSNインターフェース・モジュール76及び/又はネットワーク・インターフェース・モジュール70は、図1のインターフェース30〜33の1つ又は複数として機能することができる。IOデバイス・インターフェース・モジュール62及び/又はメモリ・インターフェース・モジュール66〜76は、集合的に又は個々にIOポートと呼ぶことができることに留意されたい。
図3は、データの分散ストレージ・エラー符号化の一例の模式的なブロック図である。コンピューティング・デバイス12又は16が格納すべきデータを有するとき、コンピューティング・デバイス12又は16は、分散ストレージ・エラー符号化パラメータに基づく分散ストレージ・エラー符号化プロセスに従って、データを分散ストレージ・エラー符号化する。分散ストレージ・エラー符号化パラメータは、符号化関数(例えば、情報ディストリビューテッド・アルゴリズム、リード・ソロモン(Reed-Solomon)、コーシー・リード・ソロモン(Cauchy Reed-Solomon)、系統的符号化、非系統的符号化、オンライン・コード等)、データ・セグメント化プロトコル(例えば、データ・セグメント・サイズ、固定、可変等)、及びデータ・セグメント毎の符号化値を含む。データ・セグメント毎符号化値は、データ・セグメントの符号化当たりの(すなわち、符号化データ・スライスのセット内の)符号化データ・スライスの総数又はピラー幅(pillar width)数(T);データ・セグメントを回復するのに必要な符号化データ・スライス・セットの符号化データ・スライスの復号閾値数(D);データ・セグメントを復号するためにストレージから読み出すべきセット当たりの符号化データ・スライスの数を示す、符号化データ・スライスの読み出し閾値数(R);及び/又は符号化データ・セグメントが適切に格納されたと見なされるまでに正確に格納されなければならないセット当たりの符号化データ・スライスの数を示す、書き込み閾値数(W)を含む。分散ストレージ・エラー符号化パラメータは、スライス(slicing)情報(例えば、各データ・セグメントに対して作成される符号化データ・スライスの数)、及び/又はスライス・セキュリティ情報(例えば、符号化データ・スライス毎の、暗号化、圧縮、完全性チェックサム等)をさらに含むことができる。
本例において、符号化関数としてコーシー・リード・ソロモンが選択され(一般的な例が図4に示され、特定の例が図5に示される)、データ・セグメント化プロトコルは、データ・オブジェクトを固定サイズのデータ・セグメントに分割することであり、データ・セグメント毎符号化値は、ピラー幅5、復号閾値3、読み出し閾値4、及び書き込み閾値4を含む。データ・セグメント化プロトコルに従って、コンピューティング・デバイス12又は16は、データ(例えば、ファイル(テキスト、ビデオ、音声等)、データ・オブジェクト、又は他のデータ配列)を複数の固定サイズのデータ・セグメント(例えば、キロバイトからテラバイト又はそれを上回る範囲の、1乃至Yの固定サイズ)に分割する。作成されるデータ・セグメントの数は、データのサイズ及びデータ・セグメント化プロトコルに依存する。
次に、コンピューティング・デバイス12又は16は、選択された符号化関数(例えば、コーシー・リード・ソロモン)を用いてデータ・セグメントを分散ストレージ・エラー・符号化し、符号化データ・スライスのセットを生成する。図4は、一般的なコーシー・リード・ソロモン符号化関数を示し、これは、符号化行列(encoding matrix、EM)、データ行列(DM)、及びコード化行列(coded matrix、CM)を含む。符号化行列(EM)のサイズは、選択されたデータ・セグメント毎符号化値のピラー幅数(T)及び復号閾値数(D)に依存する。データ行列(DM)を生成するために、データ・セグメントは、複数のデータブロックに分割され、データブロックは、1行当たりZのデータブロックを有する数Dの行に配列される。Zは、データ・セグメントから作成されるデータブロックの数及び復号閾値数(D)の関数であることに留意されたい。コード化行列は、データ行列に符号化行列を行列乗算することによって生成される。
図5は、ピラー数(T)5及び復号閾値数3の、コーシー・リード・ソロモン符号化の特定の例を示す。この例において、第1のデータ・セグメントは、12個のデータブロック(D1〜D12)に分割される。コード化行列は、5行のコード化データブロックを含み、ここで第1の行X11〜X14は、第1の符号化データスライス(EDS1_1)に対応し、第2の行X21〜X24は、第2の符号化データスライス(EDS2_1)に対応し、第3の行X31〜X34は、第3の符号化データスライス(EDS3_1)に対応し、第4の行X41〜X44は、第4の符号化データスライス(EDS4_1)に対応し、第5の行X51〜X54は、第5の符号化データスライス(EDS5_1)に対応する。EDSの名称の2番目の数は、データ・セグメント数に対応することに留意されたい。
図3の検討に戻ると、コンピューティング・デバイスはまた、符号化データ・スライスのセット内の各符号化データスライス(EDS)についてのスライス名(SN)も作成する。スライス名78の典型的な形式が、図6に示される。図示のように、スライス名(SN)78は、符号化データ・スライスのピラー数(例えば、1〜Tのうちの1つ)、データ・セグメント数(例えば、1〜Yのうちの1つ)、ボールト識別子(ID)、データ・オブジェクト識別子(ID)を含み、さらに符号化データ・スライスの改訂(revision)レベル情報を含むことができる。スライス名は、少なくとも部分的に、DSNメモリ22への格納及びそこからの取り出しための符号化データ・スライスのためのDSNアドレスとして機能する。
符号化の結果として、コンピューティング・デバイス12又は16は、複数の符号化データ・スライスのセットを生成し、これらには、格納用のストレージ・ユニットに対するそれぞれのスライス名が与えられる。図示のように、第1の符号化データ・スライスのセットは、EDS1_1からEDS5_1までを含み、第1のスライス名のセットは、SN1_1からSN5_1までを含み、最後の符号化データ・スライスのセットは、EDS1_YからEDS5_Yまでを含み、最後のスライス名のセットは、SN1_YからSN5_Yまでを含む。
図7は、図4の例において分散ストレージ・エラー符号化されて格納されたデータ・オブジェクトの、分散ストレージ・エラー復号の一例の模式的なブロック図である。この例において、コンピューティング・デバイス12又は16は、ストレージ・ユニットから、少なくとも、データ・セグメント毎の復号閾値数の符号化データ・スライスを取り出す。特定の例として、コンピューティング・デバイスは、読出し閾値数の符号化データ・スライスを取り出す。
復号閾値数の符号化データ・スライスからのデータ・セグメントを回復するために、コンピューティング・デバイスは、図8に示すような復号関数を用いる。図示のように、復号関数は、本質的に図4の符号化関数の逆行列である。コード化行列は、復号閾値数(例えば、この例では3)の行を含み、復号行列は、コード化行列の対応する行を含む符号化行列の逆行列である。例えば、コード化行列が行1、2及び4を含む場合、符号化行列を行1、2及び4に減らし、次いで逆行列にして、復号行列を生成する。
図9は、複数のストレージ・ユニットのプールの実施形態の模式的なブロック図である。この例では、ストレージ・ユニット36は、複数のストレージ・プール(例えば、1〜n)内に配置される。さらに、説明を簡単にするために、各ストレージ・プールは、7つのストレージ・ユニットを含む。しかしながら、ストレージ・プールは、7つよりはるかに多いストレージ・ユニットを有することができ、ストレージ・プールごとに、異なる数のストレージ・ユニットを有することもできる。
ストレージ・プール1〜nは、7つのストレージ・ユニットのうちの5つのみを用いて、2つのボールト(ボールト1及びボールト2)をサポートする。ボールトをサポートするストレージ・プール内のストレージ・ユニットの数は、ピラー幅数に対応し、この例では、ピラー幅数は5である。ストレージ・プールは、ストレージ・ユニットの行を有することができ、ここで、SU#1は、各々が第1のピラー数に対応する複数のストレージ・ユニットを表し、SU#2は、各々が第2のピラー数に対応する複数のストレージ・ユニットを表し、以下同様であることに留意されたい。他のボールトは、5つのストレージ・ユニットのピラー幅数よりも多い又は少ないピラー幅数を使用できることに留意されたい。さらに、管理ユニット、又は他のオーソリティのコンピューティング・デバイスが、ストレージ・ユニットのストレージ・プールの構成、DSNアドレス範囲、及び/又はストレージ・ユニットによる通信プロトコルを定める構成情報を発行することに留意されたい。
図10は、デバイス80、DSNネットワーク82、別のネットワーク84、及び複数のストレージ・ユニット36(5つが図示される)を含む、DSNの別の実施形態の模式的なブロック図である。デバイス80は、DSクライアント・モジュール34を含み、コンピューティング・デバイス12(例えば、それぞれのDSN符号化及び復号を行うもの)、コンピューティング・デバイス16(例えば、他のコンピューティング・デバイスのためにDSN符号化及び復号を行うもの)、管理ユニット18、及び/又は完全性処理ユニット20とすることができる。DSNネットワーク82は、図1のネットワーク24を含み、他のネットワーク84は、LAN、WAN、及び/又はその組み合わせを含む。DSNネットワーク82及び他のネットワーク84は、相互排他的ネットワークであってもよく、又は実質的に同じインフラストラクチャから成るものであってもよい。
ストレージ・ユニット36の各々は、標準DSNインターフェース86、非標準DSNインターフェース88、論理−物理アドレス変換モジュール90、非標準−標準変換モジュール92、コンピューティング・コア26内のメモリ・コントローラ52、及び物理メモリ94を含む。物理メモリ94は、ハードドライブ・メモリ、テープ・メモリ、DSNメモリ、フラッシュ・メモリ、及びサム・ドライブ・メモリのうちの1つ又は複数を含む。物理メモリ94は、標準DSNデータ・アクセス・プロトコル(例えば、従来の手法、標準化された手法、事実上の標準化された手法、及び/又は独自の手法)に従って、符号化データ・スライスを格納する。
動作の例において、デバイス80は、標準DSNデータ・アクセス・プロトコル又は非標準DSNデータ・アクセス・プロトコル(例えば、標準DSNデータ・アクセス・プロトコルではない)を用いて、データに関するデータ要求を発行するかどうかを決定する。例えば、標準DSNデータ・アクセス・プロトコルは、図1〜図9の1つ又は複数を参照して検討されるDSN動作に対応する。従って、この例では、非標準DSNデータ・アクセス・プロトコルは、DSNメモリ22(すなわち、ストレージ・ユニット36)内のデータにアクセスする何らかの他の方法である。
デバイス80は、1つ又は複数の要因に基づいて、標準DSNデータ・アクセス・プロトコルか又は非標準DSNデータ・アクセス・プロトコルかを決定する。例えば、デバイスは、データが複数の関連したデータ・オブジェクトを含むとき、非標準DSNデータ・アクセス・プロトコルを使用すると決定する。特定の例として、関連したデータ・オブジェクトは、同じ主題等に関する、同じ著者による本の章等である。非標準DSNデータ・アクセス・プロトコルを使用すると決定する際の別の要因は、関連したデータについて、より少ないデータ・アクセス要求を生成、送付、及び処理する必要があることである。
別の例として、デバイスは、データが異なる改訂レベルのデータ・オブジェクトを含むとき、非標準DSNデータ・アクセス・プロトコルを使用すると決定する。特定の例として、データ・オブジェクトは、1回又は複数回、変更されている。各変更について、データ・オブジェクトは分散ストレージ・エラー符号化されて、複数の符号化データ・スライスのセットを生成する。複数の符号化データ・スライスのセットの各々の符号化データ・スライスは、変更のレベルに対応する改訂レベルを有する。従って、同じデータの複数の改訂レベルにアクセスしたいと望むとき、非標準DSNデータ・アクセス・プロトコルが使用される。
さらに別の例として、デバイスは、データが特定の符号化データ・スライスのセットを含むとき、標準DSNデータ・アクセス・プロトコルを使用すると決定する。例えば、特定の符号化データ・スライスのセットは、非標準DSNデータ・アクセス・プロトコルに従って作成されたデータ名と結びつけられた複数の他の符号化データ・スライスのセットに属する。更に別の例として、デバイスは、データ・アクセス機能に基づいて、非標準DSNデータ・アクセス・プロトコルを使用するか、又は標準DSNデータ・アクセス・プロトコルを使用するかを決定する。特定の例として、デバイスは、書き込み要求に対して標準DSNデータ・アクセス・プロトコルを使用し、読み出し要求又はリスト要求(例えば、格納された符号化データ・スライスに対応するスライス名のリストを戻す、ここでフライス名はスライス名の範囲内にある)に対して非標準DSNデータ・アクセス・プロトコルを使用すると決定する。
デバイスが非標準DSNデータ・アクセス・プロトコルを使用すると決定すると、デバイスは、データに関する非標準データ・アクセス要求98のセットを生成する。例えば、非標準データ・アクセス要求は、ストレージ・ユニットのネットワーク識別子102、データに対応するデータ識別子、及びデータ・アクセス機能を含む。これは、図16を参照してより詳細に説明する。次に、デバイスは、非標準データ・アクセス要求のセットを、ストレージ・ユニットの少なくとも幾つかに送る。
ストレージ・ユニット(例えば、ストレージ・ユニット1)は、第1のストレージ・ユニットを識別するネットワーク識別子に基づき、非標準DSNインターフェース88を介して、非標準データ・アクセス要求の対応するものを受け取る。非標準DSNインターフェース88は、物理的コネクタ(例えば、ネットワーク・ポート)、及び1つ又は複数のインターフェース・プロトコル・アプリケーションを含むことに留意されたい。例えば、インターフェース・プロトコル・アプリケーションは、アプリケーション・プログラム・インターフェース(API)、及び/又はLAN信号プロトコル・ドライバ、WAN信号プロトコル・ドライバである。
インターフェース88は、非標準データ・アクセス要求を、非標準−標準変換モジュール92は、非標準データ・アクセス要求を1つ又は複数のDSNスライス名に変換する(例えば、名称変換機能を提供する)非標準−標準変換モジュール92に転送する。次に、ストレージ・ユニットは、1つ又は複数のDSNスライス名が、ストレージ・ユニットに割り当てられたスライス名範囲内にあるかどうかを判断する。スライス名が範囲内にない場合、ストレージ・ユニットは、エラーを報告するか、又は単に要求を無視する。スライス名が範囲内にある場合、スライス名は、論理−物理アドレス変換モジュール90に与えられ、データの対応する符号化データ・スライスが物理的に格納される場所を決定する。次に、ストレージ・ユニットは、対応する符号化データ・スライスに関するデータ・アクセス機能(例えば、読み出し、書き込み、変更、削除、リスト)を実行する。
コンピューティング・デバイスが標準DSNデータ・アクセス・プロトコルを使用すると決定すると、コンピューティング・デバイスは、図1〜図9の1つ又は複数を参照して既述されるような、データに関するデータ・アクセス要求96のセットを生成する。次に、デバイスは、スライス名100に基づき、要求をストレージ・ユニットに送る。ストレージ・ユニット1内では、デバイスは、対応する要求及びスライス名を受け取る。論理−物理アドレス変換モジュール90は、スライス名を物理アドレスに変換し、対応する符号化データ・スライスが格納される場所を決定する。次に、ストレージ・ユニットは、対応する符号化データ・スライスに関するデータ・アクセス機能(例えば、読み出し、書き込み、変更、削除、リスト)を実行する。
図11は、標準符号化データ・スライス命名(naming)の例の図である。この例では、データ41(例えば、本、ビデオ、フォトライブラリ等)がデータ・オブジェクト40−1乃至40−zに分けられる。データ・オブジェクトの各々は、オブジェクトID(例えば、ランダムに生成された)が割り当てられ、データ・セグメントに分けられる。各データ・セグメントは、セグメントIDが割り当てられ、分散ストレージ・エラー符号化されて、符号化データ・スライスのセットを生成する。各符号化データ・スライスは、ピラー数、セグメントID(又は数)、ボールトID、改訂数、及びオブジェクトIDを含むスライス名を有する。データ41を取り出すために、デバイスは、データ41に関連する各データ・オブジェクトについて別個の読み出し要求を生成及び発行する。
図12は、非標準データ命名の例の図である。この例では、データ41は再びデータ・オブジェクト40−1乃至40−zに分けられる。データ41にはデータ名(例えば、本1、ビデオ1、フォトライブライ1)が割り当てられ、各データ・オブジェクトには関連した名称(例えば、本1_チャプタ1、ビデオ1_チャプタ1、ライブラリ1_チャプタ1等)が割り当てられる。データ41を取り出すために、デバイスは、データ41に対する単一の読み出し要求を生成及び発行する。
図13は、非標準データ命名の別の例の図である。この例では、関連したデータ・オブジェクトは、所定の関連したデータ名である。例えば、データ・オブジェクト40−1は、所定の名称本1のチャプタ1であり、データ・オブジェクト40−zは、所定の名称本1のチャプタzである。データ・オブジェクト名の1つを用いて、デバイスは、関連した名称を有するデータ・オブジェクトの全て、又は少なくとも一部を取り出すことができる。デバイス及びストレージ・ユニットは、変換を容易にするために、標準DSNデータ・オブジェクト名の非標準DSNオブジェクトIDへのマッピングを保持することに留意されたい。
図14は、DSNにおいて符号化データ・スライスにアクセスする例の模式的なブロック図である。符号化データ・スライス(EDS)の各列は、符号化スキームのピラー幅数のピラー数に対応する。この例では、ピラー幅数は5であり、ここでピラー数1のEDSは、1つ又は複数の第1のストレージ・ユニット(SU 1)内に格納され、ピラー数2のEDSは、1つ又は複数の第2のストレージ・ユニット(SU s)内に格納され、以下同様である。この例は、ストレージ・ユニットが2つのボールト(ボールト1及び2)をサポートすることをさらに示す。
各符号化データ・スライス(EDS)は、そのスライス名に基づいて格納され、EDSは、最上位から最下位への順に、ピラー数、セグメント数、ボールト数(ボールト生成情報を含む)、改訂数、及びオブジェクト数を含む。ピラー数がスライス名の最上位部分である場合、それは、ピラー1のEDSが第1のストレージ・ユニット内に格納されることを可能にする。第1のストレージ・ユニット内で、EDSは、セグメント数、ボールト数、改訂数、及びオブジェクト数により順に格納される。従って、符号化データ・オブジェクトに対応する複数の符号化データ・スライス・セットの場合、ピラー1のEDSは、連続した方法で論理的に格納されず、それらは、他の符号化データ・オブジェクトのピラー1のEDS及び同じデータ・オブジェクトの異なる改訂レベルが散在する。
この例でさらに示されるように、3つの符号化データ・オブジェクト:すなわち、データ・オブジェクト「a1」、データ・オブジェクト「a2」、及びデータ・オブジェクト「b1」が格納される。データ・オブジェクト「a1」の2つの改訂:すなわち、改訂レベル「1」(例えば、複数の以前の改訂EDSのセット)及び改訂レベル「2」(例えば、複数の現在の改訂EDSのセット)が格納される。
例において、符号化データ・オブジェクト「a1」の2つの改訂レベルにアクセスするために標準DSNデータ・アクセス・プロトコルを使用することは、2つの複数のアクセス要求のセット:すなわち、各改訂レベルについて1つを必要とする。しかしながら、非標準DSNデータ・アクセス・プロトコルを用いて、データ・オブジェクト「a1」を識別する1つのアクセス要求が、両方の改訂レベルへのアクセスを提供する。
別の例として、データ・オブジェクト「a1」及び「a2」が関連する場合(例えば、本のチャプタ)、2つの符号化データ・オブジェクトにアクセスするために標準DSNデータ・アクセス・プロトコルを使用することは、2つの複数のアクセス要求のセット、すなわち各データ・オブジェクトについて1つを必要とする。しかしながら、非標準DSNデータ・アクセス・プロトコルを用いて、両方のデータ・オブジェクト「a1」及び「a2」を識別する1つのアクセス要求が、両方のデータ・オブジェクトへのアクセスを提供する。両方のデータ・オブジェクトが識別子である方法に応じて、非標準DSNデータ・アクセス要求は、所定のデータ・オブジェクトの最新の改訂レベル、所定のデータ・オブジェクトの選択された改訂レベル、又は所定のデータ・オブジェクトの複数の改訂レベルのみにアクセスする。
図15は、デバイス(例えば、コンピューティング・デバイス12又は16)が、DSNからのデータにアクセスするために、非標準DSNデータ・アクセス・プロトコルを使用するか、又は標準DSNデータ・アクセス・プロトコルを使用するかを決定するステップ110を含む、DSNにおける標準及び非標準データ・アクセスの方法の例の論理図である。データ(例えば、データ・セグメント、データ・セグメントのグループ、データ・オブジェクト、複数のデータ・オブジェクト等)は、DSNのストレージ・ユニットのセット内に格納される1つ又は複数の符号化データ・スライスのセットに分散ストレージ・エラー符号化される。
デバイスは、非標準DSNデータ・アクセス・プロトコル又は標準DSNデータ・アクセス・プロトコルを種々の方法で使用すると決定することができる。例えば、デバイスは、データが複数の関連したデータ・オブジェクトを含むとき、非標準DSNデータ・アクセス・プロトコルを使用すると決定する。別の例として、デバイスは、異なる改訂レベルのデータ・オブジェクトを含むとき、非標準DSNデータ・アクセス・プロトコルを使用すると判断する。さらに別の例として、デバイスは、データが特定の符号化データ・スライスのセットを含むとき、標準DSNデータ・アクセス・プロトコルを使用すると決定する。更に別の例として、デバイスは、データ・アクセス機能(例えば、書き込み機能若しくは削除機能について標準プロトコルを使用する、読み出し機能若しくはリスト機能について非標準プロトコルを使用する)に基づいて、非標準DSNデータ・アクセス・プロトコル又は標準DSNデータ・アクセス・プロトコルを使用すると決定する。
デバイスが、非標準DSNデータ・アクセス・プロトコルを使用すると決定すると、方法は、デバイスがデータに関する非標準データ・アクセス要求のセットを生成する、ステップ112に継続する。非標準データ・アクセス要求は、ストレージ・ユニットのネットワーク識別子、データに対応するデータ識別子、及びデータ・アクセス機能を含む。1つの例では、ネットワーク識別子は、ストレージ・ユニットにおいて、uniform record locator(URL)、ネットワーク・ポート、ネットワーク・インターフェース、アプリケーション・プログラム・インターフェース(API)、信頼証明書(trusted certificate)、認証オーソリティ(authentication authority)、及び資格証明(credential)のうちの1つ又は複数を含む。別の例において、データ識別子は、ファイル名、URLに埋め込まれた名称、1つ又は複数のデータ・オブジェクト名、1つ又は複数のデータ・セグメント名、データの名称、データの集合の名称のうちの1つ又は複数を含む。更に別の例において、データ・アクセス機能は、読み出し要求、書き込み要求、削除要求、及びリスト要求のうちの1つ又は複数を含む。更に別の例において、デバイスは、関連した符号化データ・スライスの特定、関連した符号化データ・スライスのリスト、及び符号化データ・スライスに関する変換した名称のリストのうちの1つ又は複数を含む、特定のDSN機能を最適化するためのデータ識別子を生成する。関連した(related)とは、トピックによる関連、命名による関連、データ編成による関連、及び/又は改訂数による関連を含むことに留意されたい。
方法は、デバイスが、非標準データ・アクセス要求を、ストレージ・ユニットを含むストレージ・ユニットにセットの少なくとも幾つかのストレージ・ユニットに送る、ステップ114に継続する。方法は、ストレージ・ユニットが、非標準データ・アクセス要求を1つ又は複数のDSNスライス名に変換する、ステップ116に継続する。1つの例が、図17を参照してさらに説明される。
方法は、ストレージ・ユニットが、1つ又は複数のDSNスライス名がストレージ・ユニットに割り当てられたスライス名範囲内にあるかどうかを判断する、ステップ118に継続する。1つ又は複数のDSNスライス名がスライス名範囲内にない場合、方法は、ストレージ・ユニットが、要求がエラーであり、エラー・メッセージを送る又は要求を無視すると決定する、ステップ122に継続する。しかしながら、1つ又は複数のDSNスライス名がスライス名範囲内にある場合、方法は、ストレージ・ユニットが、1つ又は複数のDSNスライス名に対応する1つ又は複数の符号化データ・スライスに関するデータ・アクセス機能(例えば、読み出し、書き込み、削除、リスト等)を実行する、ステップ120に継続する。
ステップ110において、デバイスが、標準DSNデータ・アクセス・プロトコルを使用すると決定すると、方法は、デバイスが、DSNスライス名及びデータ・アクセス機能を含む、データに関するデータ・アクセス要求のセットを生成する、ステップ124に継続する。DSNスライス名は、ストレージ・ユニットについてのDSNアドレスを提供することに留意されたい。方法は、デバイスが、データ・アクセス要求のセットをストレージ・ユニットのセットに送る、ステップ126に継続する。方法は、ストレージ・ユニットがデータ・アクセス機能を実行する、ステップ128に継続する。
図16は、DSNにおける標準及び非標準データ・アクセスの方法の送信ステップの例の論理図である。要求を設定する各ストレージ・ユニットに関して、方法は、デバイスが信頼証明書(例えば、ストレージ・ユニットに関する信頼できるオーソリティによる署名された証明書)、認証オーソリティ(例えば、信頼できるオーソリティが信頼証明書を発行する)、及び資格証明(例えば、トランザクションを認証する権利、DSN内の他のデバイスと通信する権利、こうした通信の性質に関する権利等)のうちの1つ又は複数を検証する、ステップ130を含む。ステップ132において検証されない場合、方法は、デバイスがエラーを引き起こす(すなわち、デバイスが間違ったストレージ・ユニット又は無効なストレージ・ユニットを識別した)、ステップ134に継続する。
信頼証明書、認証オーソリティ、及び資格証明のうちの1つ又は複数が検証されると、方法は、デバイスが、URL、ネットワーク・ポート、ネットワーク・インターフェース、及びAPIの1つを介してストレージ・ユニットをアドレス指定し、決定されたアクセス機構を生成すると決定する、ステップ136に継続する。方法は、デバイスが、決定されたアクセス機構を介して、非標準データ・アクセス要求のセットを少なくとも幾つかのストレージ・ユニットに送る、ステップ138に継続する。
図17は、DSNにおける標準及び非標準データ・アクセスの方法の変換ステップの例の論理図である。方法は、ストレージ・ユニットが、データ・アクセス要求を発行する要求中のデバイスの識別に基づいてボールト識別子を決定する、ステップ140から始まる。例えば、ストレージ・ユニットは、検索を行ってボールトを識別する。別の例として、要求は、ボールトIDを含む。方法は、ストレージ・ユニットが、ボールト識別子及びネットワーク識別子に基づいてピラー数を決定する、ステップ142に継続する。例えば、ストレージ・ユニットは、ピラーを格納するこのボールトについて、1つの符号化データ・スライスを知っている。別の例として、ネットワーク識別子は、ピラー数の表示を含む。
方法は、ストレージ・ユニットが、データ識別子に基づいてセグメント識別子の範囲を決定する、ステップ144に継続する。方法は、ストレージ・ユニットが、データ識別子に基づいてオブジェクト識別子を決定する、ステップ146に継続する。例えば、オブジェクト識別子に基づいて、ストレージ・ユニットは、データ・オブジェクトと関連したセグメントの数を検索する、又は他の方法で決定することができる。方法は、ストレージ・ユニットが、ピラー数、ボールト識別子、セグメント識別子の範囲、及びオブジェクト識別子に基づいて1つ又は複数のDSNスライス名を生成する、ステップ148に継続する。デバイスは、図17の逆を行って、非標準DSNデータ・アクセス要求に対してネットワーク識別子及びデータ識別子を生成できることに留意されたい。
本明細書で使用され得る場合、ビットストリーム、ストリーム、信号シーケンス等(又はその均等物)などの用語は、そのコンテンツが多数の所望のタイプ(例えば、いずれも一般に「データ」と呼ぶことができるデータ、ビデオ、スピーチ、音声等)のいずれかに対応するデジタル情報を記述するために互換的に用いられていることに留意されたい。
本明細書で使用できる場合、「実質的に」及び「約」という用語は、その対応する用語及び/又は項目間の相関性について業界で受け入れられる許容範囲を与える。そのような業界で受け入れられる許容範囲は、1パーセント未満から50パーセントまでに及び、これらに限定されるものではないが、成分値、集積回路プロセス変動、温度変動、立ち上がり及び立ち下がり時間、及び/又は熱雑音に対応する。そのような項目間の相関性は、数パーセントの差から大規模な差に及ぶ。同じく本明細書で使用できる場合、「動作可能に結合された」、「結合された」、及び/又は「結合」という用語は、項目間の直接結合、及び/又は介在する項目を介する項目間の間接結合を含み(例えば、項目は、これらに限定されるものではないが、コンポーネント、要素、回路、及び/又はモジュール)、ここで、間接結合については、介在する項目は、信号の情報を変更しないが、その電流レベル、電圧レベル、及び/又は電力レベルを調整することができる。さらに本明細書で使用できる場合、推論結合(inferred coupling)(すなわち、1つの要素が別の要素に推論によって結合される)は、「結合される」と同じように2つの項目間の直接及び間接結合を含む。さらに本明細書で使用できる場合、「動作可能」又は「動作可能に結合された」という用語は、項目が、アクティブにされたときに1つ又は複数の対応する機能を実行するための電力接続、入力、出力等のうちの1つ又は複数を含むことを示し、1つ又は複数の他の項目に推論結合することをさらに含むことができる。さらに本明細書で使用できる場合、「関連付けられた」という用語は、別個の項目、及び/又は別の項目内に埋め込まれている1つの項目の直接及び/又は間接結合を含む。
本明細書で使用できる場合、「比較して好ましい(compares favorably)」という用語は、2つ又はそれより多い項目、信号等の間の比較が望ましい関係を与えることを示す。例えば、望ましい関係が、信号1が信号2より大きい強さを有することである場合、信号1の強さが信号2の強さよりも大きいとき、又は信号2の強さが信号1の強さよりも小さいときに、好ましい比較が達成され得る。本明細書で使用し得る場合、「比較して好ましくない(compares unfavorably)」という用語は、2つ又はそれより多い項目、信号等の間の比較が所望の関係を与えないことを示す。
また本明細書で使用できる場合、「処理モジュール」、「処理回路」、及び/又は「処理ユニット」という用語は、単一の処理デバイス又は複数の処理デバイスであり得る。そのような処理デバイスは、マイクロプロセッサ、マイクロコントローラ、デジタル・シグナル・プロセッサ、マイクロコンピュータ、中央処理装置、フィールド・プログラマブル・ゲート・アレイ、プログラマブル論理デバイス、状態機械、論理回路、アナログ回路、デジタル回路、及び/又は回路のハード・コーディング及び/又は動作命令に基づいて信号(アナログ及び/又はデジタル)を操作する任意のデバイスであり得る。処理モジュール、モジュール、処理回路、及び/又は処理ユニットは、メモリ及び/又は集積メモリ要素であることができ、又はそれらをさらに含むことができ、それらは、単一のメモリ・デバイス、複数のメモリ・デバイス、及び/又は別の処理モジュール、モジュール、処理回路、及び/又は処理ユニットの組み込み回路であり得る。そのようなメモリ・デバイスは、読み出し専用メモリ、ランダム・アクセス・メモリ、揮発性メモリ、不揮発性メモリ、スタティック・メモリ、ダイナミック・メモリ、フラッシュ・メモリ、キャッシュメモリ、及び/又はデジタル情報を格納する任意のデバイスであり得る。処理モジュール、モジュール、処理回路、及び/又は処理ユニットが1つより多い処理デバイスを含む場合、処理デバイスは、中央に配置されてよく(例えば、有線及び/又は無線のバス構造を介して一緒に直接結合される)、又はディストリビュートして配置されてもよい(例えば、ローカル・エリア・ネットワー及び/又は広域ネットワークを介した間接結合によるクラウド・コンピューティング)ことに留意されたい。さらに、処理モジュール、モジュール、処理回路、及び/又は処理ユニットが、状態機械、アナログ回路、デジタル回路、及び/又は論理回路を介してその機能の1つ又は複数を実装する場合、対応する動作命令を格納するメモリ及び/又はメモリ要素は、状態機械、アナログ回路、デジタル回路、及び/又は論理回路を含む回路の内部又は外部に組み込まれ得ることに留意されたい。さらに、図の1つ又は複数に示されるステップ及び/又は機能の少なくとも幾つかに対応するハード・コード命令及び/又は動作命令を、メモリ要素が格納し、処理モジュール、モジュール、処理回路、及び/又は処理ユニットが実行することができることにも留意されたい。そのようなメモリ・デバイス又はメモリ要素は、製造品内に含まれ得る。
1つ又は複数の実施形態は、指定された機能及びその関係の性能を示す方法ステップを用いて上記に説明されている。これらの機能的な基本構成要素(functional building block)及び方法ステップの範囲及びシーケンスは、説明の便宜のために本明細書では任意に定められている。指定された機能及び関係が適切に実施される限り、代替的な範囲及びシーケンスを定めることもできる。従って、いずれのそのような代替的な範囲又はシーケンスも、特許請求される発明の範囲内にある。さらに、これらの機能的基本構成要素の範囲は、説明の便宜のために任意に定められている。特定の重要な機能が適切に実施される限り、代替的な範囲を定めることができる。同様に、フロー図のブロックは、特定の重要な機能を示すために本明細書では任意に定められ得る。
使用される範囲において、フロー図のブロックの範囲及びシーケンスは、別様に定められてもよく、依然として特定の重要な機能を実施することができる。従って、機能的基本構成要素及びフロー図のブロックの両方のそうした代替的定義は、特許請求される発明の範囲内にある。当業者であれば、本明細書における機能的基本構成要素、及び他の例示的なブロック、モジュール、及びコンポーネントは、例示されたように実装されてよく、又は個別部品、特定用途向け集積回路、適切なソフトウェアなどを実行するプロセッサ、又はこれらの任意の組み合わせによって実装されてもよいことも認識するであろう。
加えて、フロー図は、「開始」及び/又は「続行」の表示を含むことができる。「開始」及び「続行」表示は、提示されたステップを他のルーチンに任意に組み込むことができること又は別様に他のルーチンと関連して用いることできることを反映する。この文脈において、「開始」は、提示された最初のステップの始まりを示すものであり、具体的に示されていない他の活動がその前に先立っていてもよい。さらに、「続行」表示は、提示されたステップを複数回実行することができること、及び/又は具体的に示されていない他の活動がその後に続いていてもよいことを反映する。さらに、フロー図は、ステップの特定の順序を示すが、因果律が維持される条件で、他の順序も同様に可能である。
1つ又はそれ以上の実施形態は、本明細書において、1つ又は複数の態様、1つ又は複数の特徴、1つ又は複数の概念、及び/又は1つ又は複数の例を示すために使用されている。装置、製品、機械、及び/又はプロセスの物理的実施形態は、本明細書で論じられる実施形態の1つ又は複数を参照して説明される態様、特徴、概念、例等の1つ又は複数を含み得る。さらに、図ごとに、実施形態は、同じ若しくは異なる参照番号を使用することができる同じ又は類似した名前の機能、ステップ、モジュール等を組み込んでもよく、従って、それらの機能、ステップ、モジュール等は、同じ又は類似した機能、ステップ、モジュール等であってもよく、又は異なるものであってもよい。
特に記述されていない限り、本明細書に提示された図面のいずれかの図における要素への、要素からの、及び/又は要素間の信号は、アナログ又はデジタル、連続時間又は離散時間、及びシングルエンド又は差動であり得る。例えば、信号経路がシングルエンド経路として示されている場合、それは差動信号経路も表す。同様に、信号経路が差動経路として示されている場合、それはシングルエンド信号経路も表す。1つ又は複数の特定のアーキテクチャが本明細書に説明されるが、当業者により認識されるように、明確に示されていない1つ又は複数のデータ・バス、要素間の直接接続、及び/又は他の要素間の間接結合を使用する他のアーキテクチャが同様に実装されてもよい。
「モジュール」という用語は、本発明の種々の実施形態の説明で使用される。モジュールは、本明細書で説明され得るような1つ又は複数の機能を実行するための処理モジュール、機能ブロック、ハードウェア、及び/又はメモリ上に格納されたソフトウェアを含む。モジュールがハードウェアによって実装される場合、ハードウェアは、ソフトウェア及び/又はファームウェアと独立して及び/又は関連して動作することができることに留意されたい。本明細書で使用される場合、モジュールは、1つ又は複数のサブ・モジュールを含むことができ、サブ・モジュールの各々は、1つ又は複数のモジュールであり得る。
本明細書においてさらに使用し得るように、コンピュータ可読メモリは、1つ又は複数のメモリ要素を含む。メモリ要素は、別個のメモリ・デバイス、複数のメモリ・デバイス、又はメモリ・デバイス内のメモリ位置の集合とすることができる。このようなメモリ・デバイスは、読出し専用メモリ、ランダム・アクセス・メモリ、揮発性メモリ、不揮発性メモリ、静的メモリ、動的メモリ、フラッシュ・メモリ、キャッシュメモリ、及び/又はデジタル情報を格納するあらゆるデバイスとすることができる。メモリ・デバイスは、固体メモリ、ハードドライブ・メモリ、クラウド・メモリ、サムドライブ、サーバメモリ、コンピューティング・デバイスメモリ、及び/又はデジタル情報を格納するための他の物理媒体の形態とすることができる。
本発明の種々の機能及び特徴の特定の組み合わせが本明細書で明示的に説明されているが、これらの特徴及び機能の他の組み合わせも同様に可能である。本発明は、本明細書に開示された特定の例により限定されるものではなく、これらの他の組み合わせを明白に組み込む。
10:分散又はディストリビューテッド・ストレージ・ネットワーク(DSN)
12〜16:コンピューティング・デバイス
18:管理ユニット
20:完全性処理ユニット
22:DSNメモリ
24:ネットワーク
26:コンピューティング・コア
30〜33:ネットワーク・インターフェース
34:分散ストレージ(DS)クライアント・モジュール
36:ストレージ・ユニット
40、41:データ
50:処理モジュール
52:メモリ・コントローラ
54:メイン・メモリ
55:ビデオ・グラフィック処理ユニット
56:入力/出力(IO)コントローラ
58:周辺コンポーネント相互接続(PCI)インターフェース
62:IOデバイス・インターフェース・モジュール
70:ネットワーク・インターフェース・モジュール
76:DSNインターフェース・モジュール
78:スライス名
80:デバイス
82:DSNネットワーク
84:他のネットワーク
86:標準DSNインターフェース
88:非標準DSNインターフェース
90:論理−物理アドレス変換モジュール
92:非標準−標準変換モジュール
94:物理メモリ
96:データ・アクセス要求
98:非標準DSNデータ・アクセス要求
100:スライス名
102:ネットワーク識別子

Claims (14)

  1. 分散ストレージ・ネットワーク(DSN)のコンピューティング・デバイスにより、前記DSNからのデータにアクセスするために、非標準DSNデータ・アクセス・プロトコルを使用するか又は標準DSNデータ・アクセス・プロトコルを使用するかを決定することであって、前記データは1つ又は複数の符号化データ・スライスのセットに分散ストレージ・エラー符号化され、前記1つ又は複数の符号化データ・スライスのセットは前記DSNのストレージ・ユニットのセット内に格納される、決定することと、
    前記コンピューティング・デバイスが、前記非標準DSNデータ・アクセス・プロトコルを使用すると決定することに応じて、
    前記コンピューティング・デバイスにより、前記データに関する非標準DSNデータ・アクセス要求のセットを生成することであって、前記非標準DSNデータ・アクセス要求のセットのうちの非標準DSNデータ・アクセス要求は、前記ストレージ・ユニットのセットのうちのストレージ・ユニットのネットワーク識別子、前記データに対応するデータ識別子、及びデータ・アクセス機能を含む、生成することと、
    前記コンピューティング・デバイスにより、前記非標準DSNデータ・アクセス要求のセットを、前記ストレージ・ユニットを含む前記ストレージ・ユニットのセットのうちの少なくとも幾つかのストレージ・ユニットに送ることと、
    前記ストレージ・ユニットにより、前記非標準DSNデータ・アクセス要求を1つ又は複数のDSNスライス名に変換することと、
    前記ストレージ・ユニットにより、前記1つ又は複数のDSNスライス名が、前記ストレージ・ユニットに割り当てられたスライス名範囲内にあることを判断することと、
    前記1つ又は複数のDSNスライス名がスライス名範囲内にあることに応じて、前記ストレージ・ユニットにより、前記1つ又は複数のDSNスライス名に対応する1つ又は複数の符号化データ・スライスに関する前記データ・アクセス機能を実行することと、
    を含む、方法。
  2. 前記コンピューティング・デバイスが、前記標準DSNデータ・アクセス・プロトコルを使用すると決定することに応じて、
    前記コンピューティング・デバイスにより、前記データに関するデータ・アクセス要求のセットを生成することであって、前記データ・アクセス要求のセットのうちのデータ・アクセス要求は、1つ又は複数のDSNスライス名及び前記データ・アクセス機能を含み、前記1つ又は複数のDSNスライス名は、前記ストレージ・ユニットに対して1つ又は複数のDSNアドレスを提供する、生成することと、
    前記コンピューティング・デバイスにより、前記データ・アクセス要求のセットを前記ストレージ・ユニットのセットに送ることと、
    前記ストレージ・ユニットのセットのうちの少なくとも幾つかのストレージ・ユニットにより、前記データ・アクセス機能を実行することと、
    を含む、請求項1に記載の方法。
  3. 前記非標準DSNデータ・アクセス・プロトコルを使用するか又は前記標準DSNデータ・アクセス・プロトコルを使用するかを決定することは、
    前記データが複数の関連したデータ・オブジェクトを含むことに応じて、前記非標準DSNデータ・アクセス・プロトコルを使用すると決定することと、
    前記データが異なる改訂レベルのデータ・オブジェクトを含むことに応じて、前記非標準DSNデータ・アクセス・プロトコルを使用すると決定することと、
    前記データが特定の符号化データ・スライスのセットを含むことに応じて、前記標準DSNデータ・アクセス・プロトコルを使用すると決定することと、
    前記データ・アクセス機能に基づいて前記非標準DSNデータ・アクセス・プロトコル又は前記標準DSNデータ・アクセス・プロトコルを使用すると決定することと、
    のうちの1つ又は複数を含む、請求項1に記載の方法。
  4. 前記ネットワーク識別子が、前記ストレージ・ユニットにおいて、uniform record locator(URL)、ネットワーク・ポート、ネットワーク・インターフェース、アプリケーション・プログラム・インターフェース(API)、信頼証明書、認証オーソリティ、及び資格証明のうちの1つ又は複数を含むことと、
    前記データ識別子が、ファイル名、前記URLに埋め込まれた名称、1つ又は複数のデータ・オブジェクト名、1つ又は複数のデータ・セグメント名、前記データについての名称、前記データの集合についての名称のうちの1つ又は複数を含むことと、
    前記データ・アクセス機能が、読み出し要求、書き込み要求、削除要求、及びリスト要求のうちの1つ又は複数を含むことと、
    をさらに含む、請求項1に記載の方法。
  5. 前記非標準DSNデータ・アクセス要求のセットを前記ストレージ・ユニットのセットのうちの少なくとも幾つかのストレージ・ユニットに送ることは、
    前記少なくとも幾つかのストレージ・ユニットの各々について、
    前記信頼証明書、前記認証オーソリティ、及び前記資格証明のうちの1つ又は複数を検証することと、
    前記信頼証明書、前記認証オーソリティ、及び前記資格証明のうちの前記1つ又は複数が検証されたことに応じて、前記URL、前記ネットワーク・ポート、前記ネットワーク・インターフェース、及び前記APIの1つを介して、前記ストレージ・ユニットをアドレス指定するように決定し、決定されたアクセス機構を生成することと、
    前記決定されたアクセス機構を介して、前記非標準DSNデータ・アクセス要求のセットを少なくとも幾つかのストレージ・ユニットに送ることと、
    を含む、請求項4に記載の方法。
  6. 特定のDSN機能を最適化するように前記データ識別子を生成することであって、前記特定のDSN機能は、関連した符号化データ・スライスを特定すること、関連した符号化データ・スライスをリストすること、及び符号化データ・スライスに関する変換された名称のリストすることのうちの1つ又は複数を含む、生成することをさらに含む、請求項1に記載の方法。
  7. 前記非標準DSNデータ・アクセス要求を1つ又は複数のDSNスライス名に変換することは、
    データ・アクセス要求を発行する要求中のデバイスの識別に基づいてボールト識別子を判断することと、
    前記ボールト識別子及び前記ネットワーク識別子に基づいてピラー数を判断することと、
    前記データ識別子に基づいてセグメント識別子の範囲を判断することと、
    前記データ識別子に基づいてオブジェクト識別子を判断することと、
    前記ピラー数、前記ボールト識別子、前記セグメント識別子の範囲、及び前記オブジェクト識別子に基づいて、前記1つ又は複数のDSNスライス名を生成することと、
    を含む、請求項1に記載の方法。
  8. 分散ストレージ・ネットワーク(DSN)のコンピューティング・デバイスにより実行されることに応じて、前記コンピューティング・デバイスに、
    前記DSNからのデータにアクセスするために、非標準DSNデータ・アクセス・プロトコルを使用するか又は標準DSNデータ・アクセス・プロトコルを使用するかを決定することであって、前記データは1つ又は複数の符号化データ・スライスのセットに分散ストレージ・エラー符号化され、前記1つ又は複数の符号化データ・スライスのセットは前記DSNのストレージ・ユニットのセット内に格納される、決定することと、
    前記コンピューティング・デバイスが、前記非標準DSNデータ・アクセス・プロトコルを使用すると決定することに応じて、
    前記データに関する非標準DSNデータ・アクセス要求のセットを生成することであって、前記非標準DSNデータ・アクセス要求のセットのうちの非標準DSNデータ・アクセス要求は、前記ストレージ・ユニットのセットのうちのストレージ・ユニットのネットワーク識別子、前記データに対応するデータ識別子、及びデータ・アクセス機能を含む、生成することと、
    前記非標準DSNデータ・アクセス要求のセットを、前記ストレージ・ユニットを含む前記ストレージ・ユニットのセットのうちの少なくとも幾つかのストレージ・ユニットに送ることと、
    を行わせる動作命令を格納する第1のメモリ要素と、
    前記ストレージ・ユニットのセットのうちの1つのストレージ・ユニットにより実行されることに応じて、前記ストレージ・ユニットに、
    前記非標準DSNデータ・アクセス要求を1つ又は複数のDSNスライス名に変換することと、
    前記1つ又は複数のDSNスライス名が、前記ストレージ・ユニットに割り当てられたスライス名範囲内にあることを判断することと、
    前記1つ又は複数のDSNスライス名がスライス名範囲内にあることに応じて、前記ストレージ・ユニットにより、前記1つ又は複数のDSNスライス名に対応する1つ又は複数の符号化データ・スライスに関する前記データ・アクセス機能を実行することと、
    を行わせる動作命令を格納する第2のメモリ要素と、
    を含む、コンピュータ可読メモリ。
  9. 前記コンピューティング・デバイスにより実行されることに応じて、前記コンピューティング・デバイスに、
    前記データに関するデータ・アクセス要求のセットを生成することであって、前記データ・アクセス要求のセットのうちのデータ・アクセス要求は、1つ又は複数のDSNスライス名及び前記データ・アクセス機能を含み、前記1つ又は複数のDSNスライス名は、前記ストレージ・ユニットに対して1つ又は複数のDSNアドレスを提供する、生成することと、
    前記データ・アクセス要求のセットを前記ストレージ・ユニットのセットに送ることと、
    を行わせる動作命令を格納する第3のメモリ要素と、
    前記ストレージ・ユニットにより実行されることに応じて、前記ストレージ・ユニットに、
    前記データ・アクセス要求のセットの前記1つの前記データ・アクセス機能を実行すること、
    を行わせる動作命令を格納する第4のメモリ要素と、
    をさらに含む、請求項8に記載のコンピュータ可読メモリ。
  10. 前記第1のメモリ要素は、
    前記コンピューティング・デバイスにより実行されることに応じて、前記コンピューティング・デバイスに、
    前記データが複数の関連したデータ・オブジェクトを含むことに応じて、前記非標準DSNデータ・アクセス・プロトコルを使用すると決定することと、
    前記データが異なる改訂レベルのデータ・オブジェクトを含むことに応じて、前記非標準DSNデータ・アクセス・プロトコルを使用すると決定することと、
    前記データが特定の符号化データ・スライスのセットを含むことに応じて、前記標準DSNデータ・アクセス・プロトコルを使用すると決定することと、
    前記データ・アクセス機能に基づいて前記非標準DSNデータ・アクセス・プロトコル又は前記標準DSNデータ・アクセス・プロトコルを使用すると決定することと、
    のうちの1つ又は複数により、前記非標準DSNデータ・アクセス・プロトコルを使用するか又は標準DSNデータ・アクセス・プロトコルを使用するかを決定させる動作命令をさらに格納する、請求項8に記載のコンピュータ可読メモリ。
  11. 前記ネットワーク識別子が、前記ストレージ・ユニットにおいて、uniform record locator(URL)、ネットワーク・ポート、ネットワーク・インターフェース、アプリケーション・プログラム・インターフェース(API)、信頼証明書、認証オーソリティ、及び資格証明のうちの1つ又は複数を含むことと、
    前記データ識別子が、ファイル名、前記URLに埋め込まれた名称、1つ又は複数のデータ・オブジェクト名、1つ又は複数のデータ・セグメント名、前記データについての名称、前記データの集合についての名称のうちの1つ又は複数を含むことと、
    前記データ・アクセス機能が、読み出し要求、書き込み要求、削除要求、及びリスト要求のうちの1つ又は複数を含むことと、
    をさらに含む、請求項8に記載のコンピュータ可読メモリ。
  12. 前記第1のメモリ要素は、前記コンピューティング・デバイスにより実行されることに応じて、前記コンピューティング・デバイスに、
    前記少なくとも幾つかのストレージ・ユニットの各々について、
    前記信頼証明書、前記認証オーソリティ、及び前記資格証明のうちの1つ又は複数を検証することと、
    前記信頼証明書、前記認証オーソリティ、及び前記資格証明のうちの前記1つ又は複数が検証されたことに応じて、前記URL、前記ネットワーク・ポート、前記ネットワーク・インターフェース、及び前記APIの1つを介して、前記ストレージ・ユニットをアドレス指定するように決定し、決定されたアクセス機構を生成することと、
    前記決定されたアクセス機構を介して、前記非標準DSNデータ・アクセス要求のセットを少なくとも幾つかのストレージ・ユニットに送ることと、
    によって、前記非標準DSNデータ・アクセス要求のセットを前記ストレージ・ユニットのセットのうちの少なくとも幾つかのストレージ・ユニットに送らせる動作命令をさらに格納する、請求項11に記載のコンピュータ可読メモリ。
  13. 前記コンピューティング・デバイスにより実行されることに応じて、前記コンピューティング・デバイスに、
    特定のDSN機能を最適化するように前記データ識別子を生成することであって、前記特定のDSN機能は、関連した符号化データ・スライスを特定すること、関連した符号化データ・スライスをリストすること、及び符号化データ・スライスに関する変換された名称のリストすることのうちの1つ又は複数を含む、生成すること
    を行わせる動作命令を格納する第3のメモリ要素をさらに含む、請求項8に記載のコンピュータ可読メモリ。
  14. 前記第2のメモリ要素は、前記ストレージ・ユニットにより実行されることに応じて、前記ストレージ・ユニットに、
    データ・アクセス要求を発行する要求中のデバイスの識別に基づいてボールト識別子を判断することと、
    前記ボールト識別子及び前記ネットワーク識別子に基づいてピラー数を判断することと、
    前記データ識別子に基づいてセグメント識別子の範囲を判断することと、
    前記データ識別子に基づいてオブジェクト識別子を判断することと、
    前記ピラー数、前記ボールト識別子、前記セグメント識別子の範囲、及び前記オブジェクト識別子に基づいて、前記1つ又は複数のDSNスライス名を生成することと、
    によって、前記非標準DSNデータ・アクセス要求を1つ又は複数のDSNスライス名に変換させる動作命令を更に格納する、請求項8に記載のコンピュータ可読メモリ。
JP2019512258A 2016-09-06 2017-09-04 標準及び非標準分散ストレージ・ネットワーク・データ・アクセスの方法およびコンピュータ可読メモリ Active JP6975228B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/257,001 US10169149B2 (en) 2016-09-06 2016-09-06 Standard and non-standard dispersed storage network data access
US15/257,001 2016-09-06
PCT/IB2017/055309 WO2018047053A1 (en) 2016-09-06 2017-09-04 Standard and non-standard dispersed storage network data access

Publications (2)

Publication Number Publication Date
JP2019536125A true JP2019536125A (ja) 2019-12-12
JP6975228B2 JP6975228B2 (ja) 2021-12-01

Family

ID=61280523

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019512258A Active JP6975228B2 (ja) 2016-09-06 2017-09-04 標準及び非標準分散ストレージ・ネットワーク・データ・アクセスの方法およびコンピュータ可読メモリ

Country Status (6)

Country Link
US (2) US10169149B2 (ja)
JP (1) JP6975228B2 (ja)
CN (1) CN109661665B (ja)
DE (1) DE112017002940T5 (ja)
GB (1) GB2569476B (ja)
WO (1) WO2018047053A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11283869B2 (en) * 2020-03-25 2022-03-22 International Business Machines Corporation Data governance in a dispersed storage network using bucket templates
US11188419B1 (en) 2020-05-28 2021-11-30 International Business Machines Corporation Namespace indices in dispersed storage networks
US11500700B2 (en) 2020-05-28 2022-11-15 International Business Machines Corporation Leasing prioritized items in namespace indices
US11243695B2 (en) 2020-05-28 2022-02-08 International Business Machines Corporation Leasing unordered items in namespace indices
US11194660B1 (en) 2020-05-28 2021-12-07 International Business Machines Corporation Listing and protocol for namespace index

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008527511A (ja) * 2005-01-06 2008-07-24 ジェムプリュス データ記憶装置
JP2011003187A (ja) * 2009-06-22 2011-01-06 Samsung Electronics Co Ltd クラウドストレージを提供するクライアント、仲介サーバ及び方法
US20110265143A1 (en) * 2010-04-26 2011-10-27 Cleversafe, Inc. Slice retrieval in accordance with an access sequence in a dispersed storage network
CN105573672A (zh) * 2015-12-11 2016-05-11 上海爱数信息技术股份有限公司 一种基于nfs的虚拟化存储方法和系统

Family Cites Families (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4092732A (en) 1977-05-31 1978-05-30 International Business Machines Corporation System for recovering data stored in failed memory unit
US5485474A (en) 1988-02-25 1996-01-16 The President And Fellows Of Harvard College Scheme for information dispersal and reconstruction
US5454101A (en) 1992-09-15 1995-09-26 Universal Firmware Industries, Ltd. Data storage system with set lists which contain elements associated with parents for defining a logical hierarchy and general record pointers identifying specific data sets
US5987622A (en) 1993-12-10 1999-11-16 Tm Patents, Lp Parallel computer system including parallel storage subsystem including facility for correction of data in the event of failure of a storage device in parallel storage subsystem
US6175571B1 (en) 1994-07-22 2001-01-16 Network Peripherals, Inc. Distributed memory switching hub
US5848230A (en) 1995-05-25 1998-12-08 Tandem Computers Incorporated Continuously available computer memory systems
US5774643A (en) 1995-10-13 1998-06-30 Digital Equipment Corporation Enhanced raid write hole protection and recovery
US5809285A (en) 1995-12-21 1998-09-15 Compaq Computer Corporation Computer system having a virtual drive array controller
US6012159A (en) 1996-01-17 2000-01-04 Kencast, Inc. Method and system for error-free data transfer
US5802364A (en) 1996-04-15 1998-09-01 Sun Microsystems, Inc. Metadevice driver rename/exchange technique for a computer system incorporating a plurality of independent device drivers
US5890156A (en) 1996-05-02 1999-03-30 Alcatel Usa, Inc. Distributed redundant database
US6058454A (en) 1997-06-09 2000-05-02 International Business Machines Corporation Method and system for automatically configuring redundant arrays of disk memory devices
US6088330A (en) 1997-09-09 2000-07-11 Bruck; Joshua Reliable array of distributed computing nodes
US5991414A (en) 1997-09-12 1999-11-23 International Business Machines Corporation Method and apparatus for the secure distributed storage and retrieval of information
US6272658B1 (en) 1997-10-27 2001-08-07 Kencast, Inc. Method and system for reliable broadcasting of data files and streams
JPH11161505A (ja) 1997-12-01 1999-06-18 Matsushita Electric Ind Co Ltd メディア送出装置
JPH11167443A (ja) 1997-12-02 1999-06-22 Casio Comput Co Ltd インターフェイス装置
US6415373B1 (en) 1997-12-24 2002-07-02 Avid Technology, Inc. Computer system and process for transferring multiple high bandwidth streams of data between multiple storage units and multiple applications in a scalable and reliable manner
US6374336B1 (en) 1997-12-24 2002-04-16 Avid Technology, Inc. Computer system and process for transferring multiple high bandwidth streams of data between multiple storage units and multiple applications in a scalable and reliable manner
CA2341014A1 (en) 1998-08-19 2000-03-02 Alexander Roger Deas A system and method for defining transforms of memory device addresses
US6356949B1 (en) 1999-01-29 2002-03-12 Intermec Ip Corp. Automatic data collection device that receives data output instruction from data consumer
US6609223B1 (en) 1999-04-06 2003-08-19 Kencast, Inc. Method for packet-level fec encoding, in which on a source packet-by-source packet basis, the error correction contributions of a source packet to a plurality of wildcard packets are computed, and the source packet is transmitted thereafter
US6571282B1 (en) 1999-08-31 2003-05-27 Accenture Llp Block-based communication in a communication services patterns environment
US6826711B2 (en) 2000-02-18 2004-11-30 Avamar Technologies, Inc. System and method for data protection with multidimensional parity
US6718361B1 (en) 2000-04-07 2004-04-06 Network Appliance Inc. Method and apparatus for reliable and scalable distribution of data files in distributed networks
US7272613B2 (en) 2000-10-26 2007-09-18 Intel Corporation Method and system for managing distributed content and related metadata
US7140044B2 (en) 2000-11-13 2006-11-21 Digital Doors, Inc. Data security system and method for separation of user communities
US7103915B2 (en) 2000-11-13 2006-09-05 Digital Doors, Inc. Data security system and method
US7146644B2 (en) 2000-11-13 2006-12-05 Digital Doors, Inc. Data security system and method responsive to electronic attacks
US8176563B2 (en) 2000-11-13 2012-05-08 DigitalDoors, Inc. Data security system and method with editor
GB2369206B (en) 2000-11-18 2004-11-03 Ibm Method for rebuilding meta-data in a data storage system and a data storage system
US6785783B2 (en) 2000-11-30 2004-08-31 International Business Machines Corporation NUMA system with redundant main memory architecture
US7080101B1 (en) 2000-12-01 2006-07-18 Ncr Corp. Method and apparatus for partitioning data for storage in a database
US20020080888A1 (en) 2000-12-22 2002-06-27 Li Shu Message splitting and spatially diversified message routing for increasing transmission assurance and data security over distributed networks
US6857059B2 (en) 2001-01-11 2005-02-15 Yottayotta, Inc. Storage virtualization system and methods
US20020156973A1 (en) 2001-01-29 2002-10-24 Ulrich Thomas R. Enhanced disk array
US20030037261A1 (en) 2001-03-26 2003-02-20 Ilumin Corporation Secured content delivery system and method
US6879596B1 (en) 2001-04-11 2005-04-12 Applied Micro Circuits Corporation System and method for systolic array sorting of information segments
US7024609B2 (en) 2001-04-20 2006-04-04 Kencast, Inc. System for protecting the transmission of live data streams, and upon reception, for reconstructing the live data streams and recording them into files
GB2377049A (en) 2001-06-30 2002-12-31 Hewlett Packard Co Billing for utilisation of a data storage array
US6944785B2 (en) 2001-07-23 2005-09-13 Network Appliance, Inc. High-availability cluster virtual server system
US7636724B2 (en) 2001-08-31 2009-12-22 Peerify Technologies LLC Data storage system and method by shredding and deshredding
US7024451B2 (en) 2001-11-05 2006-04-04 Hewlett-Packard Development Company, L.P. System and method for maintaining consistent independent server-side state among collaborating servers
US7003688B1 (en) 2001-11-15 2006-02-21 Xiotech Corporation System and method for a reserved memory area shared by all redundant storage controllers
US7171493B2 (en) 2001-12-19 2007-01-30 The Charles Stark Draper Laboratory Camouflage of network traffic to resist attack
EP1547252A4 (en) 2002-07-29 2011-04-20 Robert Halford MULTIDIMENSIONAL DATA PROTECTION AND MIRRORING METHOD FOR MICROBIAL DATA
US7051155B2 (en) 2002-08-05 2006-05-23 Sun Microsystems, Inc. Method and system for striping data to accommodate integrity metadata
US20040122917A1 (en) 2002-12-18 2004-06-24 Menon Jaishankar Moothedath Distributed storage system for data-sharing among client computers running defferent operating system types
JP2006526204A (ja) 2003-03-13 2006-11-16 ディーアールエム テクノロジーズ、エルエルシー セキュアストリーミングコンテナ
US7185144B2 (en) 2003-11-24 2007-02-27 Network Appliance, Inc. Semi-static distribution technique
GB0308262D0 (en) 2003-04-10 2003-05-14 Ibm Recovery from failures within data processing systems
GB0308264D0 (en) 2003-04-10 2003-05-14 Ibm Recovery from failures within data processing systems
US7415115B2 (en) 2003-05-14 2008-08-19 Broadcom Corporation Method and system for disaster recovery of data from a storage device
CN101566931B (zh) 2003-08-14 2011-05-18 克姆佩棱特科技公司 虚拟磁盘驱动系统和方法
US8239552B2 (en) * 2003-08-21 2012-08-07 Microsoft Corporation Providing client access to devices over a network
US7899059B2 (en) 2003-11-12 2011-03-01 Agere Systems Inc. Media delivery using quality of service differentiation within a media stream
US8332483B2 (en) 2003-12-15 2012-12-11 International Business Machines Corporation Apparatus, system, and method for autonomic control of grid system resources
US7206899B2 (en) 2003-12-29 2007-04-17 Intel Corporation Method, system, and program for managing data transfer and construction
US7222133B1 (en) 2004-02-05 2007-05-22 Unisys Corporation Method for reducing database recovery time
US7240236B2 (en) 2004-03-23 2007-07-03 Archivas, Inc. Fixed content distributed data storage using permutation ring encoding
US7231578B2 (en) 2004-04-02 2007-06-12 Hitachi Global Storage Technologies Netherlands B.V. Techniques for detecting and correcting errors using multiple interleave erasure pointers
JP4446839B2 (ja) 2004-08-30 2010-04-07 株式会社日立製作所 ストレージ装置及びストレージ管理装置
US7680771B2 (en) 2004-12-20 2010-03-16 International Business Machines Corporation Apparatus, system, and method for database provisioning
US7386758B2 (en) 2005-01-13 2008-06-10 Hitachi, Ltd. Method and apparatus for reconstructing data in object-based storage arrays
US7672930B2 (en) 2005-04-05 2010-03-02 Wal-Mart Stores, Inc. System and methods for facilitating a linear grid database with data organization by dimension
US7562271B2 (en) * 2005-09-26 2009-07-14 Rambus Inc. Memory system topologies including a buffer device and an integrated circuit memory device
US8285878B2 (en) 2007-10-09 2012-10-09 Cleversafe, Inc. Block based access to a dispersed data storage network
US10154034B2 (en) * 2010-04-26 2018-12-11 International Business Machines Corporation Cooperative data access request authorization in a dispersed storage network
US8171101B2 (en) 2005-09-30 2012-05-01 Cleversafe, Inc. Smart access to a dispersed data storage network
US7953937B2 (en) 2005-09-30 2011-05-31 Cleversafe, Inc. Systems, methods, and apparatus for subdividing data for storage in a dispersed data storage grid
US7546427B2 (en) 2005-09-30 2009-06-09 Cleversafe, Inc. System for rebuilding dispersed data
US7904475B2 (en) 2007-10-09 2011-03-08 Cleversafe, Inc. Virtualized data storage vaults on a dispersed data storage network
US7574579B2 (en) 2005-09-30 2009-08-11 Cleversafe, Inc. Metadata management system for an information dispersed storage system
US7574570B2 (en) 2005-09-30 2009-08-11 Cleversafe Inc Billing system for information dispersal system
US20070214285A1 (en) 2006-03-08 2007-09-13 Omneon Video Networks Gateway server
US8478865B2 (en) * 2007-10-09 2013-07-02 Cleversafe, Inc. Systems, methods, and apparatus for matching a connection request with a network interface adapted for use with a dispersed data storage network
US10230692B2 (en) * 2009-06-30 2019-03-12 International Business Machines Corporation Distributed storage processing module
US9507735B2 (en) * 2009-12-29 2016-11-29 International Business Machines Corporation Digital content retrieval utilizing dispersed storage
US8756338B1 (en) 2010-04-29 2014-06-17 Netapp, Inc. Storage server with embedded communication agent
US9560036B2 (en) 2010-07-08 2017-01-31 International Business Machines Corporation Cross-protocol federated single sign-on (F-SSO) for cloud enablement
US10404520B2 (en) * 2013-05-29 2019-09-03 Microsoft Technology Licensing, Llc Efficient programmatic memory access over network file access protocols
US9438675B2 (en) 2013-08-29 2016-09-06 International Business Machines Corporation Dispersed storage with variable slice length and methods for use therewith
US9900316B2 (en) * 2013-12-04 2018-02-20 International Business Machines Corporation Accessing storage units of a dispersed storage network
US9619568B2 (en) 2014-05-30 2017-04-11 Amadeus S.A.S. Content access in a travel management system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008527511A (ja) * 2005-01-06 2008-07-24 ジェムプリュス データ記憶装置
JP2011003187A (ja) * 2009-06-22 2011-01-06 Samsung Electronics Co Ltd クラウドストレージを提供するクライアント、仲介サーバ及び方法
US20110265143A1 (en) * 2010-04-26 2011-10-27 Cleversafe, Inc. Slice retrieval in accordance with an access sequence in a dispersed storage network
CN105573672A (zh) * 2015-12-11 2016-05-11 上海爱数信息技术股份有限公司 一种基于nfs的虚拟化存储方法和系统

Also Published As

Publication number Publication date
GB2569476B (en) 2019-10-30
US20190050291A1 (en) 2019-02-14
US10372540B2 (en) 2019-08-06
US20180067807A1 (en) 2018-03-08
CN109661665B (zh) 2023-09-12
GB2569476A (en) 2019-06-19
DE112017002940T5 (de) 2019-03-14
WO2018047053A1 (en) 2018-03-15
JP6975228B2 (ja) 2021-12-01
CN109661665A (zh) 2019-04-19
GB201904145D0 (en) 2019-05-08
US10169149B2 (en) 2019-01-01

Similar Documents

Publication Publication Date Title
US20170004195A1 (en) Efficient method for redundant storage of a set of encoded data slices
US10298683B2 (en) Consolidating data access in a dispersed storage network
JP6975228B2 (ja) 標準及び非標準分散ストレージ・ネットワーク・データ・アクセスの方法およびコンピュータ可読メモリ
US20240171551A1 (en) Storing, Processing and Analyzing Large Volumes of Data in a Storage Network
JP2019527414A (ja) 所望のストレージ・ユニット・セットを特定するためのディストリビューテッド・アグリーメント・プロトコルの操作
US11237904B2 (en) Tracking data access in a dispersed storage network
US20160328228A1 (en) Upgrading devices in a dispersed storage network
US20180107553A1 (en) Detecting storage errors in a dispersed storage network
US10534666B2 (en) Determining storage requirements based on licensing right in a dispersed storage network
JP2018524705A (ja) データ転送中にデータアクセス要求を処理するための方法及びシステム
US10423490B2 (en) Read-source requests to support bundled writes in a distributed storage system
US20220066879A1 (en) Metadata Based Listing in a Distributed Storage System
US10067822B2 (en) Combined slice objects in alternate memory locations
US20170118288A1 (en) Modifying information dispersal algorithm configurations in a dispersed storage network
US10417253B2 (en) Multi-level data storage in a dispersed storage network
US10642687B2 (en) Pessimistic reads and other smart-read enhancements with synchronized vaults
US10387067B2 (en) Optimizing data storage in a dispersed storage network
US10437677B2 (en) Optimized distributed rebuilding within a dispersed storage network
US20180107421A1 (en) Multi-site duplication via high-level storage unit processing modules
US10503591B2 (en) Selecting retrieval locations in a dispersed storage network
US10157011B2 (en) Temporary suspension of vault access
US20180113762A1 (en) Selecting an alternative rebuilding method in a dispersed storage network

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190416

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210629

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211102

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211105

R150 Certificate of patent or registration of utility model

Ref document number: 6975228

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150