JP2019071100A - 分散型ストレージシステム - Google Patents
分散型ストレージシステム Download PDFInfo
- Publication number
- JP2019071100A JP2019071100A JP2018244619A JP2018244619A JP2019071100A JP 2019071100 A JP2019071100 A JP 2019071100A JP 2018244619 A JP2018244619 A JP 2018244619A JP 2018244619 A JP2018244619 A JP 2018244619A JP 2019071100 A JP2019071100 A JP 2019071100A
- Authority
- JP
- Japan
- Prior art keywords
- node
- data
- drive
- stripe
- nodes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
- G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
- G06F11/1076—Parity data used in redundant arrays of independent storages, e.g. in RAID systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
- G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/064—Management of blocks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
- H03M13/29—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes combining two or more codes or code structures, e.g. product codes, generalised product codes, concatenated codes, inner and outer codes
- H03M13/2906—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes combining two or more codes or code structures, e.g. product codes, generalised product codes, concatenated codes, inner and outer codes using block codes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2211/00—Indexing scheme relating to details of data-processing equipment not covered by groups G06F3/00 - G06F13/00
- G06F2211/10—Indexing scheme relating to G06F11/10
- G06F2211/1002—Indexing scheme relating to G06F11/1076
- G06F2211/1028—Distributed, i.e. distributed RAID systems with parity
Abstract
Description
本発明の代表的な他の例は、第1ノードと第2ノードと第3ノードとを含む複数のノードを有するシステムにおいて実行されるデータ処理の方法であって、前記複数のノードのそれぞれは、ストレージデバイスを含み、論理ボリュームを提供し、前記方法は、前記第1ノードが、前記第2ノードが提供する論理ボリュームのデータと、前記第3ノードが提供する論理ボリュームのデータとを受信し、前記第1ノードが、前記受信したデータを少なくとも含むデータの冗長コードを算出し、前記第1ノードが、前記冗長コードを前記第1ノードのストレージデバイスに格納する。
本発明の代表的な他の例は、第1ノードと第2ノードと第3ノードとを含む複数のノードを有する分散型ストレージシステムであって、前記複数のノードのそれぞれは、ストレージデバイスを含み、論理ボリュームを提供し、前記第1ノードは、前記第2ノードが提供する論理ボリュームのデータと、前記第3ノードが提供する論理ボリュームのデータとを少なくとも含むデータから算出された冗長データを、第1ノードのストレージデバイスに格納する。
概要
本実施形態は、分散型ストレージシステムを開示する。分散型ストレージシステムは、それぞれがストレージデバイスを含む複数の計算機ノードをネットワークにより接続して構成される。分散型ストレージシステムは、複数の計算機ノードのストレージデバイスによってストレージプールを実現する仮想的なストレージシステムを実現する。
本開示において、ストレージデバイスは、1台のHDDやSSD等の1台のストレージドライブ及び複数台のストレージドライブを含むRAID装置、及び複数のRAID装置を含む。ストライプ又はストライプデータは、データ保護のための冗長コードの生成の元となるデータユニットである。ストライプを、冗長コードと差別化するためにユーザデータと呼ぶことがある。ストライプは、計算機ノード内のストレージデバイスに格納されると共に、他の計算機ノードにおける冗長コードの生成において使用される。
(アドレス値/ストライプサイズ)modc
プロセッサ119は、ダーティキュー901からX1〜X3のダーティデータを選択し、下記の式で、冗長コードP1又はP2を算出する。
P1=X1xorX2xorX3
P2=(X1*A1)xor(X2*A2)xor(X3*A3)
冗長コードP1、P2は、それぞれ、自系のストレージデバイスの新規領域にライトされる。
プロセッサ119は、中間ダーティキュー904から、自系のドライブ113にライト済みの旧冗長データP1’又はP2’に対応する新らたな中間ダーティデータM1、M2を抽出する。中間ダーティデータの個数は2とは限らない。プロセッサ119は、下記の式で新中間コードMP1又はMP2を算出する。
MP1=M1xorM2
MP2=(M1*A1)xor(M2*A2)
P1=P1’xorMP1
P2=P2’xorMP2
新冗長コードP1、P2は、を旧領域(P1’、P2’)にオーバーライトされる。
=全体容量×Max(Y÷リソース数、Y÷(X+Y))
(但し、リソース数>Y)
図29は、冗長化のためのノード間の転送を効率化する方法を示す。上述した方法では、ノードに対するライト量に対して、冗長度に比例して転送量が増加する。例えば、図1の例において、2ノード障害時にデータを回復するためには、1個のノードから、2個のノードのキャッシュメモリ181に対してライトデータが転送される。
(ログ構造(ドライブ)+パリティ生成(ドライブ)オフロード方式)
図31は、分散型ストレージシステムのハードウェア構成例を示す。図3が示す構成例との主な差は、ネットワーク104により接続された計算機ノード101のバックエンドポートが、仮想的又は物理的なネットワーク103を介して複数のフラッシュドライブ3105に接続されている点である。一つのサイトには、1又は複数の計算機ノード101が設置されている。
図32は、本例の概要を示す。本例は、パリティ生成処理、及びログ構造化形式でのデータ格納処理をフラッシュドライブで実施する。これにより、計算機ノードは、冗長コードの生成及びログ構造化形式を意識することなく、ライト処理を実施できるため、ライト処理の時間を短縮できる。
図33は、ストレージシステムの制御のためにドライブ3105で管理するテーブル構造を示す。フラッシュメモリ3104は、ログ構造に関する情報である論物変換表3301、ログ変換表3302、データ保護に関する情報であるパリティーデータ変換表3307、データーパリティ変換表3308、及びアドレス識別子フリーキュー3309を格納する。
図34は、計算機ノード101とフラッシュドライブ3105との間の通信インタフェースを示している。D_WRITEコマンド3401は、Dドライブ3219のドライブ番号、LBA、データ転送長を引数とし、Dドライブ3219へ書き込みを行う。その後、ログ構造のメタデータであるアドレス識別子を出力する。
(最新データのリード)
図35は、計算機ノード101がDドライブ3219から最新データを読み込む処理のフローチャートを示す。本処理は、ホストからリード命令を受領した場合に実行される(S3501)。
図36は、旧データのリード処理を示している。旧データのリード処理では、まず計算機ノード101は、OLD_D_READコマンドをDドライブ3219へ発行する(S3601)。Dドライブ3219は、OLD_D_READコマンドを受領すると(S3602)、指定されたアドレス識別子に対応する旧データを格納している物理アドレスを、ログ変換表3304から取得する(S3603)。
図37は、計算機ノード101がDドライブ3219へデータを書き込む処理のフローチャートを示す。ライト処理は、二つの処理を含む。一の処理は、ホストへライト結果を返却するまでの同期ライト処理である。もう一つの処理は、ドライブ内のパリティ生成バッファに蓄積されたデータからパリティを生成し、媒体へ格納する非同期ライト処理である。
図39は、ガベージコレクション処理のフローチャートを示す。本処理は、ドライブに格納されたデータ量が予め設定された目標容量(閾値)を超えた場合に、不要なデータを消去する。これにより、必要なデータを限られた領域に格納できる。消去されるデータの種類は、ライトデータとパリティである。本処理は、ホストI/Oと同期して実行されてもよいし、ホストI/Oと非同期で実行されてもよい。
(ログ構造(ドライブ)+パリティ生成(コントローラ)オフロード方式)
図40は、分散型ストレージシステムのハードウェア構成例を示す。実施形態3との差は、計算機ノード101内部に、パリティ生成処理部を実装している点である。パリティ生成処理部は、ハードウェア又はソフトウェアで実装できる。ストレージシステムは、複数の計算機ノード101を含んで構成されており、各計算機ノード101は、内部に、パリティを生成する機能を持つ、パリティ生成処理部4006を含む。
図41は、本例の概要を示す。実施形態3との差は、パリティ生成処理を計算機ノードが実施するため、P1ドライブ3220とP2ドライブ3221は、I/O非同期でパリティを生成する必要がない点である。このため、パリティ数が2以上の場合、P1パリティのパリティ構成データ情報をP2ドライブ3221へ通知する必要がなく、計算機ノード101とドライブ3219〜3221の処理負荷を削減でき、ライト処理時間を短縮できる。
図42は、計算機ノード101とドライブ3219〜3221との間の通信インタフェースを示している。実施形態3におけるP_WRITEコマンド3402の代わりに、P_WRITE2コマンド4201がある。
(同期ライト処理)
本例のライト処理は、実施形態3と同様に、同期ライト処理と非同期ライト処理とを含む。図43は、本例での同期ライト処理のフローチャートを示している。まず、ホストからライト命令を受領すると(S4301)、計算機ノード101は、Dドライブ3219へD_WRITEコマンドを発行する(S4302)。
図44は、本例での非同期ライト処理のフローチャートを示している。同期ライト処理を繰り返し実行した結果、パリティ生成バッファ4101内に所定数のデータが蓄積する、又は、所定時間が経過すると、計算機ノード101は、非同期ライト処理を実施する(S4401)。
図45は、本実施形態のガベージコレクション処理のフローチャートを示している。ステップS4201〜S4204、S4207は、ステップS3901〜S3904、S3907に対応する。
(1−1)
ストレージシステムは、1以上の計算機と、複数のストレージドライブと、を含み、
前記1以上の計算機は、ライトデータブロックを格納するデータドライブ及び前記ライトデータブロックの冗長コードを格納する第1冗長コードドライブを決定し、
前記1以上の計算機は、前記ライトデータブロックを前記データドライブ及び前記第1冗長コードドライブにそれぞれ送信し、
前記データドライブは、前記ライトデータブロックを記憶媒体に格納し、
前記第1冗長コードドライブは、前記1以上の計算機から受信した複数のライトデータブロックを使用して冗長コードを生成し、記憶媒体に格納する。
(1−2)
前記第1冗長コードドライブは、
受信したライトデータブロックそれぞれのライト先に基づいて、前記受信したライトデータブロックそれぞれが属するストライプタイプを決定し、
同一ストライプタイプに含まれる複数のライトデータブロックから冗長コードを生成する。
(1−3)
前記第1冗長コードドライブは、
前記1以上の計算機から、前記ライトデータブロックの格納先情報をさらに受信し、
前記冗長コードの格納先と前記ライトデータブロックの格納先との関係を管理する。
(1−4)
前記1以上の計算機は、前記ライトデータブロックを、前記ライトデータブロックの格納先情報と共に、第2冗長コードドライブにさらに送信し、
前記第2冗長コードドライブは、前記第1冗長コードドライブにおいて冗長コードの生成で使用されたデータブロックの情報を示す構成情報を取得し、前記構成情報に従って選択したデータブロックを使用して冗長コードを生成する。
(1−5)
ストレージシステムは、計算機と、複数のストレージドライブと、を含み、
前記計算機は、ライトデータブロックを格納するデータドライブ及び前記ライトデータブロックの冗長コードを格納する冗長コードドライブを決定し、
前記計算機は、前記ライトデータブロックを前記データドライブに送信し、
前記データドライブは、前記ライトデータブロックを記憶媒体に格納し、
前記計算機は、前記ライトデータを使用して冗長コードを生成し、
前記計算機は、前記冗長コードと、前記冗長コードの生成で使用されたデータブロックの情報を示す構成情報と、を前記冗長コードドライブに送信し、
前記冗長コードドライブは、前記冗長コードを記憶媒体に格納し、
前記冗長コードドライブは、前記冗長コードの格納先と前記ライトデータブロックの格納先との関係を管理する。
(2−1)
分散型ストレージシステムであって、
ネットワークを介して通信する複数のノードと、
前記分散型ストレージシステムは更に複数のストレージデバイスと、を含み、
少なくとも3以上のノードを含む第1ノードグループが予め定義されており、
前記第1ノードグループのノードそれぞれは、その管理しているストレージデバイスに格納するデータを、前記第1ノードグループに属する他ノードに送信し、
前記第1ノードグループの第1ノードは、前記第1ノードグループの2以上の他ノードから、データを受信し、
前記第1ノードは、前記2以上の他ノードから受信したデータの組み合わせを使用して冗長コードを生成し、
前記第1ノードは、前記生成した冗長コードを、前記冗長コードを生成したデータを格納するストレージデバイスとは異なるストレージデバイスに格納し、
前記第1ノードが生成する冗長コードのうち、少なくとも二つの冗長コードのデータ組み合わせは、構成するデータの論理アドレスの組み合わせが異なる、分散型ストレージシステム。
(2−2)
2−1に記載の分散型ストレージシステムであって、
前記第1ノードグループのノードそれぞれは、前記管理しているストレージデバイスに格納するデータから、ノード内冗長コードを生成する、分散型ストレージシステム。
(2−3)
2−1に記載の分散型ストレージシステムであって、
前記第1ノードは、
キャッシュを含み、
前記2以上の他ノードから受信したデータを前記キャッシュに一時的に格納し、
前記キャッシュに一時的に格納した前記データからデータを選択し、
前記選択したデータから一つの冗長コードを生成する、分散型ストレージシステム。
(2−4)
2−1に記載の分散型ストレージシステムであって、
前記第1ノードは、前記冗長コードそれぞれと、前記冗長コードそれぞれの生成に使用したデータの送信元ノードそれぞれにおける論理アドレス情報とを、関連付けて管理する、分散型ストレージシステム。
(2−5)
2−1に記載の分散型ストレージシステムであって、
前記冗長コードそれぞれを生成するデータの数は不定である、分散型ストレージシステム。
(2−6)
請求項1に記載の分散型ストレージシステムであって、
前記複数のノードにおいて、少なくとも3以上のノードを含む第2ノードグループ及び第3ノードグループが予め定義されており、
前記第2ノードグループに属する第2ノードは、
前記第1ノードグループに属するノード及び前記第3ノードグループに属するノードから受信したデータを使用して第2レベル冗長コードを生成し、
前記第2レベル冗長コードを、前記第2ノードが管理するストレージデバイスに格納する、分散型ストレージシステム。
(2−7)
2−1に記載の分散型ストレージシステムであって、
前記第1ノードは、前記冗長コードを格納する領域が閾値に達した後、
前記領域に格納されている第1冗長コードと第2冗長コードを選択し、
前記第1冗長コードと前記第2冗長コードをマージして、異なるノードのみから送信されたデータの第3冗長コードを生成し、
前記第1冗長コードと前記第2冗長コードとを消去して前記第3冗長コードを前記領域に格納する、分散型ストレージシステム。
(2−8)
2−1に記載の分散型ストレージシステムであって、
前記第1ノードに第1データを送信した前記第1ノードグループに属する第2ノードは、前記第1データを前記第2ノードが管理するストレージでバイスから消去する前に、前記第1データを前記第1ノードに送信し、
前記第1ノードは、前記第1データを使用して、前記第1データを使用して生成した第1冗長コードを更新する、分散型ストレージシステム。
(2−9)
2−1に記載の分散型ストレージシステムであって、
前記第1ノードグループに属し、前記第1ノードに第1データを送信した第2ノードは、
前記第1データの更新データと、前記第1データとを使用して、中間データを生成し、前記中間データを前記第1ノードに送信し、
前記第1ノードは、前記中間データを使用して前記第1データを使用して生成した冗長コードを更新する、分散型ストレージシステム。
(2−10)
2−2に記載の分散型ストレージシステムであって、
前記第1ノードは、
前記管理しているストレージデバイスに格納するデータを分割して、ノード内冗長コードを生成し、
前記分割したデータの少なくとも一部、及び、前記ノード内冗長コードを、前記第1ノードグループの他ノードに送信し、
前記第1ノードが生成する冗長コードに使用されるデータの組み合わせは、他のノードから送信されたノード内冗長コードを含む、分散型ストレージシステム。
(2−11)
2−1に記載の分散型ストレージシステムであって、
前記第1ノードグループに属する複数のノードが格納するデータを使用して冗長コードを生成するノードは、前記第1ノードグループにおいて分散されている、分散型ストレージシステム。
(2−12)
ネットワークを介して通信する複数ノードを含む分散型ストレージシステムにおける一つのノードにおいて実行されるデータ制御方法であって、
前記分散型ストレージシステムは更に複数のストレージデバイスを含み、
少なくとも3以上のノードを含む第1ノードグループが予め定義されており、
前記データ制御方法は、
管理するストレージデバイスに格納するデータを、前記第1ノードグループに属する他ノードに送信し、
前記第1ノードグループに属する2以上の他ノードから受信したデータの組み合わせを使用して冗長コードを生成し、
前記生成した冗長コードを、前記冗長コードを生成したデータを格納するストレージデバイスとは異なるストレージデバイスに、格納する、ことを含み、
生成する冗長コードのうち、少なくとも二つの冗長コードを生成するデータ組み合わせは、構成するデータの論理アドレスの組み合わせが異なる、方法。
(2−13)
2−12に記載の方法であって、
前記管理しているストレージデバイスに格納するデータから、ノード内冗長コードを生成することをさらに含む、方法。
(2−14)
2−12に記載の方法であって、
前記2以上の他ノードから受信したデータをキャッシュに一時的に格納し、
前記キャッシュに一時的に格納した前記データからデータを選択し、
前記選択したデータから一つの冗長コードを生成する、方法。
(2−15)
2−12に記載の方法であって、
前記冗長コードそれぞれと、前記冗長コードそれぞれの生成に使用したデータの送信元ノードそれぞれにおける論理アドレス情報とを、関連付けて管理する、方法。
Claims (1)
- 第1ノードと第2ノードと第3ノードとを含む複数のノードを有するシステムであって、
前記複数のノードのそれぞれは、ストレージデバイスを含み、論理ボリュームを提供し、
前記第1ノードは、前記第2ノードが提供する論理ボリュームのデータと、前記第3ノードが提供する論理ボリュームのデータとを少なくとも含むデータの冗長コードを、第1ノードのストレージデバイスに格納する
ことを特徴とするシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2014/076105 WO2016051512A1 (ja) | 2014-09-30 | 2014-09-30 | 分散型ストレージシステム |
JPPCT/JP2014/076105 | 2014-09-30 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016552148A Division JP6752149B2 (ja) | 2014-09-30 | 2015-09-30 | 分散型ストレージシステム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019071100A true JP2019071100A (ja) | 2019-05-09 |
JP2019071100A5 JP2019071100A5 (ja) | 2019-09-26 |
JP6815378B2 JP6815378B2 (ja) | 2021-01-20 |
Family
ID=55629607
Family Applications (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016552148A Active JP6752149B2 (ja) | 2014-09-30 | 2015-09-30 | 分散型ストレージシステム |
JP2018244619A Active JP6815378B2 (ja) | 2014-09-30 | 2018-12-27 | 分散型ストレージシステム |
JP2020087326A Active JP7077359B2 (ja) | 2014-09-30 | 2020-05-19 | 分散型ストレージシステム |
JP2021021418A Active JP7374939B2 (ja) | 2014-09-30 | 2021-02-15 | 分散型ストレージシステム |
JP2023110180A Pending JP2023123802A (ja) | 2014-09-30 | 2023-07-04 | 分散型ストレージシステム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016552148A Active JP6752149B2 (ja) | 2014-09-30 | 2015-09-30 | 分散型ストレージシステム |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020087326A Active JP7077359B2 (ja) | 2014-09-30 | 2020-05-19 | 分散型ストレージシステム |
JP2021021418A Active JP7374939B2 (ja) | 2014-09-30 | 2021-02-15 | 分散型ストレージシステム |
JP2023110180A Pending JP2023123802A (ja) | 2014-09-30 | 2023-07-04 | 分散型ストレージシステム |
Country Status (6)
Country | Link |
---|---|
US (6) | US20160371145A1 (ja) |
JP (5) | JP6752149B2 (ja) |
CN (3) | CN106030501B (ja) |
DE (1) | DE112015000710T8 (ja) |
GB (1) | GB2545290B (ja) |
WO (2) | WO2016051512A1 (ja) |
Families Citing this family (161)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11188665B2 (en) | 2015-02-27 | 2021-11-30 | Pure Storage, Inc. | Using internal sensors to detect adverse interference and take defensive actions |
US10437677B2 (en) * | 2015-02-27 | 2019-10-08 | Pure Storage, Inc. | Optimized distributed rebuilding within a dispersed storage network |
CN106649406B (zh) * | 2015-11-04 | 2020-04-28 | 华为技术有限公司 | 一种自适应存储文件的方法和装置 |
JP6597231B2 (ja) * | 2015-11-27 | 2019-10-30 | 富士通株式会社 | 演算装置、プログラム、情報処理方法 |
US10423362B2 (en) * | 2015-11-30 | 2019-09-24 | International Business Machines Corporation | Utilizing multiple dispersal algorithms to encode data for storage in a dispersed storage network |
US10592128B1 (en) * | 2015-12-30 | 2020-03-17 | EMC IP Holding Company LLC | Abstraction layer |
US11169707B2 (en) * | 2016-01-22 | 2021-11-09 | Netapp, Inc. | Garbage collection pacing in a storage system |
US10459638B2 (en) * | 2016-02-22 | 2019-10-29 | Hitachi Ltd. | Computer system that generates group information and redundant code based on user data and changes the group information and redundant code based on transmission data, control method for computer system, and recording medium |
US10331371B2 (en) * | 2016-02-23 | 2019-06-25 | International Business Machines Corporation | Determining maximum volume size |
US10204045B2 (en) * | 2016-08-30 | 2019-02-12 | International Business Machines Corporation | Data file handling in a volatile memory |
CN106569742B (zh) * | 2016-10-20 | 2019-07-23 | 华为技术有限公司 | 存储管理方法及存储设备 |
CN106528330A (zh) * | 2016-10-29 | 2017-03-22 | 华为技术有限公司 | 一种数据备份方法、节点及数据备份系统 |
US10484015B2 (en) | 2016-12-28 | 2019-11-19 | Amazon Technologies, Inc. | Data storage system with enforced fencing |
US11301144B2 (en) | 2016-12-28 | 2022-04-12 | Amazon Technologies, Inc. | Data storage system |
US10514847B2 (en) | 2016-12-28 | 2019-12-24 | Amazon Technologies, Inc. | Data storage system with multiple durability levels |
WO2018173300A1 (ja) | 2017-03-24 | 2018-09-27 | 株式会社日立製作所 | I/o制御方法およびi/o制御システム |
US11150846B2 (en) | 2017-03-28 | 2021-10-19 | Hitachi, Ltd. | Storage system, computer-readable recording medium, and control method for system that reconstructs and distributes data |
US10705911B2 (en) * | 2017-04-24 | 2020-07-07 | Hewlett Packard Enterprise Development Lp | Storing data in a distributed storage system |
KR101907786B1 (ko) | 2017-04-28 | 2018-10-12 | 한국과학기술원 | 캐시 메모리를 이용한 다수의 보조 노드 무선 통신에서 노드간 협력을 통해 사용자의 체감 효과를 향상시키는 분산 저장 방법 및 장치 |
US10732893B2 (en) * | 2017-05-25 | 2020-08-04 | Western Digital Technologies, Inc. | Non-volatile memory over fabric controller with memory bypass |
WO2018229944A1 (ja) * | 2017-06-15 | 2018-12-20 | 株式会社日立製作所 | ストレージシステム及びストレージシステムの制御方法 |
JP7032631B2 (ja) * | 2017-07-04 | 2022-03-09 | 富士通株式会社 | 送受信システム、送受信システムの制御方法、及び送信装置 |
US10761743B1 (en) | 2017-07-17 | 2020-09-01 | EMC IP Holding Company LLC | Establishing data reliability groups within a geographically distributed data storage environment |
US10817388B1 (en) | 2017-07-21 | 2020-10-27 | EMC IP Holding Company LLC | Recovery of tree data in a geographically distributed environment |
US10684780B1 (en) | 2017-07-27 | 2020-06-16 | EMC IP Holding Company LLC | Time sensitive data convolution and de-convolution |
CN107577433B (zh) * | 2017-09-13 | 2020-09-22 | 苏州浪潮智能科技有限公司 | 一种存储介质和文件数据的迁移方法、装置及设备 |
US10379948B2 (en) | 2017-10-02 | 2019-08-13 | Western Digital Technologies, Inc. | Redundancy coding stripe based on internal addresses of storage devices |
US10474528B2 (en) * | 2017-10-02 | 2019-11-12 | Western Digital Technologies, Inc. | Redundancy coding stripe based on coordinated internal address scheme across multiple devices |
US10880040B1 (en) | 2017-10-23 | 2020-12-29 | EMC IP Holding Company LLC | Scale-out distributed erasure coding |
CN109725830B (zh) * | 2017-10-27 | 2022-02-08 | 伊姆西Ip控股有限责任公司 | 管理独立磁盘冗余阵列的方法、设备和存储介质 |
US11061622B2 (en) | 2017-11-13 | 2021-07-13 | Weka.IO Ltd. | Tiering data strategy for a distributed storage system |
CN107807797B (zh) * | 2017-11-17 | 2021-03-23 | 北京联想超融合科技有限公司 | 数据写入的方法、装置及服务器 |
TWI656442B (zh) * | 2017-11-30 | 2019-04-11 | 慧榮科技股份有限公司 | 用來於一記憶裝置中進行存取控制之方法以及記憶裝置及其控制器 |
US10379950B2 (en) * | 2017-11-30 | 2019-08-13 | Western Digital Technologies, Inc. | Updating write-in-place storage devices |
JP6905611B2 (ja) * | 2017-11-30 | 2021-07-21 | 株式会社日立製作所 | 記憶システム及びその制御方法 |
US11314635B1 (en) * | 2017-12-12 | 2022-04-26 | Amazon Technologies, Inc. | Tracking persistent memory usage |
CN108459824B (zh) * | 2017-12-19 | 2021-05-04 | 西安华为技术有限公司 | 一种数据修改写方法及装置 |
US10382554B1 (en) | 2018-01-04 | 2019-08-13 | Emc Corporation | Handling deletes with distributed erasure coding |
TWI643066B (zh) * | 2018-01-15 | 2018-12-01 | 慧榮科技股份有限公司 | 用來於一記憶裝置中重新使用關於垃圾收集的一目的地區塊之方法、記憶裝置及其控制器以及電子裝置 |
CN110071949B (zh) * | 2018-01-23 | 2022-05-24 | 阿里巴巴集团控股有限公司 | 一种跨地理区域管理计算应用的系统、方法和装置 |
US11016850B2 (en) * | 2018-03-20 | 2021-05-25 | Veritas Technologies Llc | Systems and methods for detecting bit rot in distributed storage devices having failure domains |
US10817374B2 (en) | 2018-04-12 | 2020-10-27 | EMC IP Holding Company LLC | Meta chunks |
FR3080196B1 (fr) | 2018-04-13 | 2022-10-14 | Inst Mines Telecom | Methodes et dispositifs de codage et de decodage de donnees |
JP6751111B2 (ja) * | 2018-04-26 | 2020-09-02 | 株式会社日立製作所 | ストレージシステム、ストレージシステムの制御方法及び管理ノード |
US10579297B2 (en) | 2018-04-27 | 2020-03-03 | EMC IP Holding Company LLC | Scaling-in for geographically diverse storage |
US11099980B2 (en) * | 2018-05-09 | 2021-08-24 | International Business Machines Corporation | Host aware update write |
US11023130B2 (en) * | 2018-06-15 | 2021-06-01 | EMC IP Holding Company LLC | Deleting data in a geographically diverse storage construct |
US10936196B2 (en) * | 2018-06-15 | 2021-03-02 | EMC IP Holding Company LLC | Data convolution for geographically diverse storage |
US10929229B2 (en) | 2018-06-21 | 2021-02-23 | International Business Machines Corporation | Decentralized RAID scheme having distributed parity computation and recovery |
US20190050161A1 (en) * | 2018-06-21 | 2019-02-14 | Intel Corporation | Data storage controller |
US10719250B2 (en) | 2018-06-29 | 2020-07-21 | EMC IP Holding Company LLC | System and method for combining erasure-coded protection sets |
US10725941B2 (en) | 2018-06-30 | 2020-07-28 | Western Digital Technologies, Inc. | Multi-device storage system with hosted services on peer storage devices |
US10409511B1 (en) | 2018-06-30 | 2019-09-10 | Western Digital Technologies, Inc. | Multi-device storage system with distributed read/write processing |
CN108958660B (zh) * | 2018-07-02 | 2021-03-19 | 深圳市茁壮网络股份有限公司 | 分布式存储系统及其数据处理方法和装置 |
US11115490B2 (en) * | 2018-07-31 | 2021-09-07 | EMC IP Holding Company LLC | Host based read cache for san supporting NVMEF with E2E validation |
US20200042466A1 (en) * | 2018-08-03 | 2020-02-06 | Burlywood, Inc. | Power Loss Protection And Recovery |
US10592144B2 (en) | 2018-08-03 | 2020-03-17 | Western Digital Technologies, Inc. | Storage system fabric with multichannel compute complex |
JP6995728B2 (ja) * | 2018-09-28 | 2022-01-17 | 株式会社日立製作所 | ストレージ装置、管理方法及びプログラム |
JP6949801B2 (ja) * | 2018-10-17 | 2021-10-13 | 株式会社日立製作所 | ストレージシステム及びストレージシステムにおけるデータ配置方法 |
US10922178B2 (en) * | 2018-10-31 | 2021-02-16 | Hewlett Packard Enterprise Development Lp | Masterless raid for byte-addressable non-volatile memory |
US11436203B2 (en) | 2018-11-02 | 2022-09-06 | EMC IP Holding Company LLC | Scaling out geographically diverse storage |
TWI704456B (zh) * | 2018-11-22 | 2020-09-11 | 慧榮科技股份有限公司 | 資料儲存裝置與資料存取方法 |
US10901635B2 (en) | 2018-12-04 | 2021-01-26 | EMC IP Holding Company LLC | Mapped redundant array of independent nodes for data storage with high performance using logical columns of the nodes with different widths and different positioning patterns |
US10931777B2 (en) | 2018-12-20 | 2021-02-23 | EMC IP Holding Company LLC | Network efficient geographically diverse data storage system employing degraded chunks |
US11119683B2 (en) | 2018-12-20 | 2021-09-14 | EMC IP Holding Company LLC | Logical compaction of a degraded chunk in a geographically diverse data storage system |
US10892782B2 (en) | 2018-12-21 | 2021-01-12 | EMC IP Holding Company LLC | Flexible system and method for combining erasure-coded protection sets |
DE102018133482A1 (de) * | 2018-12-21 | 2020-06-25 | Interroll Holding Ag | Förderanordnung mit Sensoren mit Busdatenkodierung |
CN111367461B (zh) * | 2018-12-25 | 2024-02-20 | 兆易创新科技集团股份有限公司 | 一种存储空间管理方法及装置 |
CN111367868B (zh) * | 2018-12-26 | 2023-12-29 | 三六零科技集团有限公司 | 一种文件获取请求的处理方法和装置 |
JP6947717B2 (ja) * | 2018-12-27 | 2021-10-13 | 株式会社日立製作所 | ストレージシステム |
US11023307B2 (en) * | 2019-01-03 | 2021-06-01 | International Business Machines Corporation | Automatic remediation of distributed storage system node components through visualization |
US10768840B2 (en) * | 2019-01-04 | 2020-09-08 | EMC IP Holding Company LLC | Updating protection sets in a geographically distributed storage environment |
US11023331B2 (en) | 2019-01-04 | 2021-06-01 | EMC IP Holding Company LLC | Fast recovery of data in a geographically distributed storage environment |
US10942827B2 (en) | 2019-01-22 | 2021-03-09 | EMC IP Holding Company LLC | Replication of data in a geographically distributed storage environment |
US20200241781A1 (en) | 2019-01-29 | 2020-07-30 | Dell Products L.P. | Method and system for inline deduplication using erasure coding |
US10942825B2 (en) | 2019-01-29 | 2021-03-09 | EMC IP Holding Company LLC | Mitigating real node failure in a mapped redundant array of independent nodes |
US10972343B2 (en) | 2019-01-29 | 2021-04-06 | Dell Products L.P. | System and method for device configuration update |
US10936239B2 (en) | 2019-01-29 | 2021-03-02 | EMC IP Holding Company LLC | Cluster contraction of a mapped redundant array of independent nodes |
US10846003B2 (en) | 2019-01-29 | 2020-11-24 | EMC IP Holding Company LLC | Doubly mapped redundant array of independent nodes for data storage |
US10901641B2 (en) | 2019-01-29 | 2021-01-26 | Dell Products L.P. | Method and system for inline deduplication |
US10866766B2 (en) | 2019-01-29 | 2020-12-15 | EMC IP Holding Company LLC | Affinity sensitive data convolution for data storage systems |
US10979312B2 (en) | 2019-01-29 | 2021-04-13 | Dell Products L.P. | System and method to assign, monitor, and validate solution infrastructure deployment prerequisites in a customer data center |
US11442642B2 (en) * | 2019-01-29 | 2022-09-13 | Dell Products L.P. | Method and system for inline deduplication using erasure coding to minimize read and write operations |
US10911307B2 (en) | 2019-01-29 | 2021-02-02 | Dell Products L.P. | System and method for out of the box solution-level configuration and diagnostic logging and reporting |
US11210232B2 (en) * | 2019-02-08 | 2021-12-28 | Samsung Electronics Co., Ltd. | Processor to detect redundancy of page table walk |
US11171671B2 (en) * | 2019-02-25 | 2021-11-09 | Samsung Electronics Co., Ltd. | Reducing vulnerability window in key value storage server without sacrificing usable capacity |
JP6889742B2 (ja) * | 2019-03-04 | 2021-06-18 | 株式会社日立製作所 | ストレージシステム、データ管理方法、及びデータ管理プログラム |
JP6942748B2 (ja) | 2019-03-19 | 2021-09-29 | 株式会社日立製作所 | 分散ストレージシステム、データ管理方法、及びデータ管理プログラム |
JP2020154587A (ja) | 2019-03-19 | 2020-09-24 | 株式会社日立製作所 | 計算機システム及びデータ管理方法 |
US11029865B2 (en) | 2019-04-03 | 2021-06-08 | EMC IP Holding Company LLC | Affinity sensitive storage of data corresponding to a mapped redundant array of independent nodes |
US10944826B2 (en) | 2019-04-03 | 2021-03-09 | EMC IP Holding Company LLC | Selective instantiation of a storage service for a mapped redundant array of independent nodes |
US11113146B2 (en) | 2019-04-30 | 2021-09-07 | EMC IP Holding Company LLC | Chunk segment recovery via hierarchical erasure coding in a geographically diverse data storage system |
US11121727B2 (en) | 2019-04-30 | 2021-09-14 | EMC IP Holding Company LLC | Adaptive data storing for data storage systems employing erasure coding |
US11119686B2 (en) | 2019-04-30 | 2021-09-14 | EMC IP Holding Company LLC | Preservation of data during scaling of a geographically diverse data storage system |
US11748004B2 (en) | 2019-05-03 | 2023-09-05 | EMC IP Holding Company LLC | Data replication using active and passive data storage modes |
US11169723B2 (en) | 2019-06-28 | 2021-11-09 | Amazon Technologies, Inc. | Data storage system with metadata check-pointing |
US11209996B2 (en) | 2019-07-15 | 2021-12-28 | EMC IP Holding Company LLC | Mapped cluster stretching for increasing workload in a data storage system |
US11023145B2 (en) | 2019-07-30 | 2021-06-01 | EMC IP Holding Company LLC | Hybrid mapped clusters for data storage |
US11449399B2 (en) | 2019-07-30 | 2022-09-20 | EMC IP Holding Company LLC | Mitigating real node failure of a doubly mapped redundant array of independent nodes |
US11372730B2 (en) | 2019-07-31 | 2022-06-28 | Dell Products L.P. | Method and system for offloading a continuous health-check and reconstruction of data in a non-accelerator pool |
US10963345B2 (en) * | 2019-07-31 | 2021-03-30 | Dell Products L.P. | Method and system for a proactive health check and reconstruction of data |
US11609820B2 (en) | 2019-07-31 | 2023-03-21 | Dell Products L.P. | Method and system for redundant distribution and reconstruction of storage metadata |
US11328071B2 (en) | 2019-07-31 | 2022-05-10 | Dell Products L.P. | Method and system for identifying actor of a fraudulent action during legal hold and litigation |
US11775193B2 (en) | 2019-08-01 | 2023-10-03 | Dell Products L.P. | System and method for indirect data classification in a storage system operations |
US11228322B2 (en) | 2019-09-13 | 2022-01-18 | EMC IP Holding Company LLC | Rebalancing in a geographically diverse storage system employing erasure coding |
US11449248B2 (en) | 2019-09-26 | 2022-09-20 | EMC IP Holding Company LLC | Mapped redundant array of independent data storage regions |
US11360949B2 (en) * | 2019-09-30 | 2022-06-14 | Dell Products L.P. | Method and system for efficient updating of data in a linked node system |
US11422741B2 (en) | 2019-09-30 | 2022-08-23 | Dell Products L.P. | Method and system for data placement of a linked node system using replica paths |
US11604771B2 (en) | 2019-09-30 | 2023-03-14 | Dell Products L.P. | Method and system for data placement in a linked node system |
US11481293B2 (en) | 2019-09-30 | 2022-10-25 | Dell Products L.P. | Method and system for replica placement in a linked node system |
CN112667529B (zh) * | 2019-10-16 | 2024-02-13 | 戴尔产品有限公司 | 网络织物存储系统 |
US11288139B2 (en) | 2019-10-31 | 2022-03-29 | EMC IP Holding Company LLC | Two-step recovery employing erasure coding in a geographically diverse data storage system |
US11435910B2 (en) | 2019-10-31 | 2022-09-06 | EMC IP Holding Company LLC | Heterogeneous mapped redundant array of independent nodes for data storage |
US11119690B2 (en) | 2019-10-31 | 2021-09-14 | EMC IP Holding Company LLC | Consolidation of protection sets in a geographically diverse data storage environment |
US11435957B2 (en) | 2019-11-27 | 2022-09-06 | EMC IP Holding Company LLC | Selective instantiation of a storage service for a doubly mapped redundant array of independent nodes |
JP2021099723A (ja) | 2019-12-23 | 2021-07-01 | 株式会社日立製作所 | 分散ストレージシステム、データ制御方法及び記憶媒体 |
US11144220B2 (en) | 2019-12-24 | 2021-10-12 | EMC IP Holding Company LLC | Affinity sensitive storage of data corresponding to a doubly mapped redundant array of independent nodes |
US10992532B1 (en) * | 2020-01-15 | 2021-04-27 | EMC IP Holding Company LLC | Automated network configuration changes for I/O load redistribution |
US11347419B2 (en) * | 2020-01-15 | 2022-05-31 | EMC IP Holding Company LLC | Valency-based data convolution for geographically diverse storage |
US11349500B2 (en) * | 2020-01-15 | 2022-05-31 | EMC IP Holding Company LLC | Data recovery in a geographically diverse storage system employing erasure coding technology and data convolution technology |
US11231860B2 (en) | 2020-01-17 | 2022-01-25 | EMC IP Holding Company LLC | Doubly mapped redundant array of independent nodes for data storage with high performance |
JP6955588B2 (ja) * | 2020-01-20 | 2021-10-27 | 株式会社日立製作所 | データ分析を支援するシステム及び方法 |
US11210002B2 (en) * | 2020-01-29 | 2021-12-28 | Samsung Electronics Co., Ltd. | Offloaded device-driven erasure coding |
US11435948B2 (en) * | 2020-01-31 | 2022-09-06 | EMC IP Holding Company LLC | Methods and systems for user space storage management |
US11281535B2 (en) | 2020-03-06 | 2022-03-22 | Dell Products L.P. | Method and system for performing a checkpoint zone operation for a spare persistent storage |
US11175842B2 (en) | 2020-03-06 | 2021-11-16 | Dell Products L.P. | Method and system for performing data deduplication in a data pipeline |
US11416357B2 (en) | 2020-03-06 | 2022-08-16 | Dell Products L.P. | Method and system for managing a spare fault domain in a multi-fault domain data cluster |
US11119858B1 (en) | 2020-03-06 | 2021-09-14 | Dell Products L.P. | Method and system for performing a proactive copy operation for a spare persistent storage |
US11301327B2 (en) | 2020-03-06 | 2022-04-12 | Dell Products L.P. | Method and system for managing a spare persistent storage device and a spare node in a multi-node data cluster |
CN113835637A (zh) * | 2020-03-19 | 2021-12-24 | 北京奥星贝斯科技有限公司 | 一种数据的写入方法、装置以及设备 |
US11507308B2 (en) | 2020-03-30 | 2022-11-22 | EMC IP Holding Company LLC | Disk access event control for mapped nodes supported by a real cluster storage system |
US11182096B1 (en) | 2020-05-18 | 2021-11-23 | Amazon Technologies, Inc. | Data storage system with configurable durability |
US11418326B2 (en) | 2020-05-21 | 2022-08-16 | Dell Products L.P. | Method and system for performing secure data transactions in a data cluster |
US11288229B2 (en) | 2020-05-29 | 2022-03-29 | EMC IP Holding Company LLC | Verifiable intra-cluster migration for a chunk storage system |
US11831773B1 (en) | 2020-06-29 | 2023-11-28 | Amazon Technologies, Inc. | Secured database restoration across service regions |
US11675747B2 (en) * | 2020-07-10 | 2023-06-13 | EMC IP Holding Company, LLC | System and method for early tail-release in a log structure log using multi-line PLB structure supporting multiple partial transactions |
CN114063890A (zh) * | 2020-08-05 | 2022-02-18 | 宇瞻科技股份有限公司 | 数据备份方法及存储装置 |
US11681443B1 (en) | 2020-08-28 | 2023-06-20 | Amazon Technologies, Inc. | Durable data storage with snapshot storage space optimization |
US11693983B2 (en) | 2020-10-28 | 2023-07-04 | EMC IP Holding Company LLC | Data protection via commutative erasure coding in a geographically diverse data storage system |
TWI739676B (zh) * | 2020-11-25 | 2021-09-11 | 群聯電子股份有限公司 | 記憶體控制方法、記憶體儲存裝置及記憶體控制電路單元 |
JP7244482B2 (ja) * | 2020-12-16 | 2023-03-22 | 株式会社日立製作所 | ストレージ管理システム、管理方法 |
US20220206713A1 (en) * | 2020-12-30 | 2022-06-30 | Samsung Electronics Co., Ltd. | Storage device including memory controller and operating method of the memory controller |
CN112711386B (zh) * | 2021-01-18 | 2021-07-16 | 深圳市龙信信息技术有限公司 | 存储装置的存储容量检测方法、设备及可读存储介质 |
US11847141B2 (en) | 2021-01-19 | 2023-12-19 | EMC IP Holding Company LLC | Mapped redundant array of independent nodes employing mapped reliability groups for data storage |
US11625174B2 (en) | 2021-01-20 | 2023-04-11 | EMC IP Holding Company LLC | Parity allocation for a virtual redundant array of independent disks |
US11726684B1 (en) * | 2021-02-26 | 2023-08-15 | Pure Storage, Inc. | Cluster rebalance using user defined rules |
CN115237667A (zh) * | 2021-04-23 | 2022-10-25 | 伊姆西Ip控股有限责任公司 | 用于存储管理的方法、电子设备和计算机程序产品 |
CN116917871A (zh) * | 2021-04-26 | 2023-10-20 | 华为技术有限公司 | 存储器系统和用于存储器系统中的方法 |
JP7266060B2 (ja) * | 2021-04-30 | 2023-04-27 | 株式会社日立製作所 | ストレージシステムの構成変更方法及びストレージシステム |
KR102645033B1 (ko) * | 2021-04-30 | 2024-03-07 | 계명대학교 산학협력단 | 데이터 분산 저장 방법 및 상기 방법을 수행하는 컴퓨팅 장치 |
US11449234B1 (en) | 2021-05-28 | 2022-09-20 | EMC IP Holding Company LLC | Efficient data access operations via a mapping layer instance for a doubly mapped redundant array of independent nodes |
JP7253007B2 (ja) * | 2021-05-28 | 2023-04-05 | 株式会社日立製作所 | ストレージシステム |
US11354191B1 (en) | 2021-05-28 | 2022-06-07 | EMC IP Holding Company LLC | Erasure coding in a large geographically diverse data storage system |
US11507321B1 (en) * | 2021-06-04 | 2022-11-22 | Western Digital Technologies, Inc. | Managing queue limit overflow for data storage device arrays |
US11567883B2 (en) | 2021-06-04 | 2023-01-31 | Western Digital Technologies, Inc. | Connection virtualization for data storage device arrays |
JP7412397B2 (ja) | 2021-09-10 | 2024-01-12 | 株式会社日立製作所 | ストレージシステム |
US11874821B2 (en) | 2021-12-22 | 2024-01-16 | Ebay Inc. | Block aggregation for shared streams |
JP7412405B2 (ja) | 2021-12-23 | 2024-01-12 | 株式会社日立製作所 | 情報処理システム、情報処理方法 |
JP7443404B2 (ja) | 2022-01-21 | 2024-03-05 | 株式会社日立製作所 | ストレージシステム |
CN116027989B (zh) * | 2023-03-29 | 2023-06-09 | 中诚华隆计算机技术有限公司 | 一种基于存储管理芯片对文件集进行存储的方法及系统 |
CN116703651B (zh) * | 2023-08-08 | 2023-11-14 | 成都秦川物联网科技股份有限公司 | 一种智慧燃气数据中心运行管理方法、物联网系统和介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013527942A (ja) * | 2010-07-16 | 2013-07-04 | 株式会社日立製作所 | 記憶制御装置、又は複数の当該記憶制御装置を有する記憶システム |
JP2013543996A (ja) * | 2011-03-25 | 2013-12-09 | 株式会社日立製作所 | ストレージシステム及び記憶領域の割当方法 |
Family Cites Families (94)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2888401B2 (ja) * | 1992-08-03 | 1999-05-10 | インターナショナル・ビジネス・マシーンズ・コーポレイション | 冗長ディスクドライブアレイに対する同期方法 |
US5388108A (en) * | 1992-10-23 | 1995-02-07 | Ncr Corporation | Delayed initiation of read-modify-write parity operations in a raid level 5 disk array |
US5519849A (en) * | 1992-12-07 | 1996-05-21 | Digital Equipment Corporation | Method of reducing the complexity of an I/O request to a RAID-4 or RAID-5 array |
US5689678A (en) * | 1993-03-11 | 1997-11-18 | Emc Corporation | Distributed storage array system having a plurality of modular control units |
JP2000039970A (ja) * | 1998-07-24 | 2000-02-08 | Nec Software Kobe Ltd | ディスクアレイシステムの二重障害防止制御方式 |
US6460122B1 (en) * | 1999-03-31 | 2002-10-01 | International Business Machine Corporation | System, apparatus and method for multi-level cache in a multi-processor/multi-controller environment |
US20010044879A1 (en) * | 2000-02-18 | 2001-11-22 | Moulton Gregory Hagan | System and method for distributed management of data storage |
US6826711B2 (en) * | 2000-02-18 | 2004-11-30 | Avamar Technologies, Inc. | System and method for data protection with multidimensional parity |
EP1139558B1 (en) | 2000-03-31 | 2006-08-02 | STMicroelectronics S.r.l. | Control method of the current flow in driver systems for brushless motors, particularly during the switching phase |
US20020191311A1 (en) * | 2001-01-29 | 2002-12-19 | Ulrich Thomas R. | Dynamically scalable disk array |
US20020156974A1 (en) * | 2001-01-29 | 2002-10-24 | Ulrich Thomas R. | Redundant dynamically distributed file system |
US7054927B2 (en) * | 2001-01-29 | 2006-05-30 | Adaptec, Inc. | File system metadata describing server directory information |
US6990547B2 (en) * | 2001-01-29 | 2006-01-24 | Adaptec, Inc. | Replacing file system processors by hot swapping |
US6862692B2 (en) * | 2001-01-29 | 2005-03-01 | Adaptec, Inc. | Dynamic redistribution of parity groups |
US6990667B2 (en) * | 2001-01-29 | 2006-01-24 | Adaptec, Inc. | Server-independent object positioning for load balancing drives and servers |
US20020169827A1 (en) * | 2001-01-29 | 2002-11-14 | Ulrich Thomas R. | Hot adding file system processors |
US20020138559A1 (en) * | 2001-01-29 | 2002-09-26 | Ulrich Thomas R. | Dynamically distributed file system |
US20020124137A1 (en) * | 2001-01-29 | 2002-09-05 | Ulrich Thomas R. | Enhancing disk array performance via variable parity based load balancing |
JP2003131818A (ja) * | 2001-10-25 | 2003-05-09 | Hitachi Ltd | クラスタ構成ストレージにおけるクラスタ間raid構成 |
JP4211282B2 (ja) * | 2002-05-14 | 2009-01-21 | ソニー株式会社 | データ蓄積方法及びデータ蓄積システム、並びに、データ記録制御装置、データ記録指令装置、データ受信装置及び情報処理端末 |
JP2004126716A (ja) | 2002-09-30 | 2004-04-22 | Fujitsu Ltd | 広域分散ストレージシステムを利用したデータ格納方法、その方法をコンピュータに実現させるプログラム、記録媒体、及び広域分散ストレージシステムにおける制御装置 |
JP4172259B2 (ja) * | 2002-11-26 | 2008-10-29 | ソニー株式会社 | 情報処理装置および方法、並びにコンピュータ・プログラム |
JP2004180092A (ja) * | 2002-11-28 | 2004-06-24 | Sony Corp | 情報処理装置および情報処理方法、並びにコンピュータ・プログラム |
US7159150B2 (en) * | 2002-12-31 | 2007-01-02 | International Business Machines Corporation | Distributed storage system capable of restoring data in case of a storage failure |
US7546342B2 (en) | 2004-05-14 | 2009-06-09 | Microsoft Corporation | Distributed hosting of web content using partial replication |
US7296180B1 (en) * | 2004-06-30 | 2007-11-13 | Sun Microsystems, Inc. | Method for recovery of data |
US7536693B1 (en) * | 2004-06-30 | 2009-05-19 | Sun Microsystems, Inc. | Method for load spreading of requests in a distributed data storage system |
US7552356B1 (en) * | 2004-06-30 | 2009-06-23 | Sun Microsystems, Inc. | Distributed data storage system for fixed content |
US7328303B1 (en) * | 2004-06-30 | 2008-02-05 | Sun Microsystems, Inc. | Method and system for remote execution of code on a distributed data storage system |
US7734643B1 (en) * | 2004-06-30 | 2010-06-08 | Oracle America, Inc. | Method for distributed storage of data |
JP4519563B2 (ja) * | 2004-08-04 | 2010-08-04 | 株式会社日立製作所 | 記憶システム及びデータ処理システム |
US7516354B2 (en) | 2004-08-25 | 2009-04-07 | International Business Machines Corporation | Storing parity information for data recovery |
US7389393B1 (en) * | 2004-10-21 | 2008-06-17 | Symantec Operating Corporation | System and method for write forwarding in a storage environment employing distributed virtualization |
US7636814B1 (en) * | 2005-04-28 | 2009-12-22 | Symantec Operating Corporation | System and method for asynchronous reads of old data blocks updated through a write-back cache |
US7698334B2 (en) * | 2005-04-29 | 2010-04-13 | Netapp, Inc. | System and method for multi-tiered meta-data caching and distribution in a clustered computer environment |
US7617370B2 (en) * | 2005-04-29 | 2009-11-10 | Netapp, Inc. | Data allocation within a storage system architecture |
US7904649B2 (en) * | 2005-04-29 | 2011-03-08 | Netapp, Inc. | System and method for restriping data across a plurality of volumes |
US7743210B1 (en) * | 2005-04-29 | 2010-06-22 | Netapp, Inc. | System and method for implementing atomic cross-stripe write operations in a striped volume set |
US7962689B1 (en) * | 2005-04-29 | 2011-06-14 | Netapp, Inc. | System and method for performing transactional processing in a striped volume set |
US8001580B1 (en) * | 2005-07-25 | 2011-08-16 | Netapp, Inc. | System and method for revoking soft locks in a distributed storage system environment |
US7376796B2 (en) * | 2005-11-01 | 2008-05-20 | Network Appliance, Inc. | Lightweight coherency control protocol for clustered storage system |
US7716180B2 (en) * | 2005-12-29 | 2010-05-11 | Amazon Technologies, Inc. | Distributed storage system with web services client interface |
US20070214183A1 (en) * | 2006-03-08 | 2007-09-13 | Omneon Video Networks | Methods for dynamic partitioning of a redundant data fabric |
US8082362B1 (en) * | 2006-04-27 | 2011-12-20 | Netapp, Inc. | System and method for selection of data paths in a clustered storage system |
JP5137413B2 (ja) * | 2006-11-28 | 2013-02-06 | 株式会社日立製作所 | 半導体記憶装置 |
US8151060B2 (en) | 2006-11-28 | 2012-04-03 | Hitachi, Ltd. | Semiconductor memory system having a snapshot function |
WO2008126324A1 (ja) * | 2007-03-30 | 2008-10-23 | Fujitsu Limited | アクセス制御プログラム、アクセス制御装置およびアクセス制御方法 |
WO2008136074A1 (ja) * | 2007-04-20 | 2008-11-13 | Fujitsu Limited | 2重化組み合わせ管理プログラム、2重化組み合わせ管理装置、および2重化組み合わせ管理方法 |
US7827350B1 (en) * | 2007-04-27 | 2010-11-02 | Netapp, Inc. | Method and system for promoting a snapshot in a distributed file system |
US8341623B2 (en) * | 2007-05-22 | 2012-12-25 | International Business Machines Corporation | Integrated placement planning for heterogenous storage area network data centers |
US7975102B1 (en) * | 2007-08-06 | 2011-07-05 | Netapp, Inc. | Technique to avoid cascaded hot spotting |
JP4386932B2 (ja) * | 2007-08-17 | 2009-12-16 | 富士通株式会社 | ストレージ管理プログラム、ストレージ管理装置およびストレージ管理方法 |
JP4519179B2 (ja) * | 2008-02-25 | 2010-08-04 | 富士通株式会社 | 論理ボリューム管理プログラム、論理ボリューム管理装置、論理ボリューム管理方法、および分散ストレージシステム |
US8302192B1 (en) * | 2008-04-30 | 2012-10-30 | Netapp, Inc. | Integrating anti-virus in a clustered storage system |
CN101291347B (zh) * | 2008-06-06 | 2010-12-22 | 中国科学院计算技术研究所 | 一种网络存储系统 |
US7992037B2 (en) * | 2008-09-11 | 2011-08-02 | Nec Laboratories America, Inc. | Scalable secondary storage systems and methods |
US8495417B2 (en) * | 2009-01-09 | 2013-07-23 | Netapp, Inc. | System and method for redundancy-protected aggregates |
JP5341184B2 (ja) * | 2009-02-20 | 2013-11-13 | 株式会社日立製作所 | ストレージシステム及びストレージシステムの運用方法 |
CN101488104B (zh) * | 2009-02-26 | 2011-05-04 | 北京云快线软件服务有限公司 | 一种实现高效安全存储的系统和方法 |
KR20120059569A (ko) * | 2009-08-21 | 2012-06-08 | 램버스 인코포레이티드 | 인-시츄 메모리 어닐링 |
US8473677B2 (en) * | 2009-09-29 | 2013-06-25 | Cleversafe, Inc. | Distributed storage network memory access based on memory state |
JP4838878B2 (ja) * | 2009-12-04 | 2011-12-14 | 富士通株式会社 | データ管理プログラム、データ管理装置、およびデータ管理方法 |
US9037951B2 (en) * | 2009-12-17 | 2015-05-19 | International Business Machines Corporation | Data management in solid state storage systems |
US8832370B2 (en) * | 2010-02-12 | 2014-09-09 | Netapp, Inc. | Redundant array of independent storage |
US8103904B2 (en) * | 2010-02-22 | 2012-01-24 | International Business Machines Corporation | Read-other protocol for maintaining parity coherency in a write-back distributed redundancy data storage system |
US8583866B2 (en) * | 2010-02-22 | 2013-11-12 | International Business Machines Corporation | Full-stripe-write protocol for maintaining parity coherency in a write-back distributed redundancy data storage system |
US8103903B2 (en) * | 2010-02-22 | 2012-01-24 | International Business Machines Corporation | Read-modify-write protocol for maintaining parity coherency in a write-back distributed redundancy data storage system |
US8756598B1 (en) * | 2010-03-31 | 2014-06-17 | Netapp, Inc. | Diskless virtual machine cloning by separately cloning a virtual drive and configuration data of a source virtual machine for combination into a cloned virtual machine |
US9015126B2 (en) * | 2010-05-22 | 2015-04-21 | Nokia Corporation | Method and apparatus for eventually consistent delete in a distributed data store |
JP2012033169A (ja) * | 2010-07-29 | 2012-02-16 | Ntt Docomo Inc | バックアップシステムにおける符号化を使用して、ライブチェックポインティング、同期、及び/又は復旧をサポートするための方法及び装置 |
US8775868B2 (en) * | 2010-09-28 | 2014-07-08 | Pure Storage, Inc. | Adaptive RAID for an SSD environment |
US8463991B2 (en) * | 2010-09-28 | 2013-06-11 | Pure Storage Inc. | Intra-device data protection in a raid array |
US20120084504A1 (en) * | 2010-10-01 | 2012-04-05 | John Colgrove | Dynamic raid geometries in an ssd environment |
US20120084507A1 (en) * | 2010-10-01 | 2012-04-05 | John Colgrove | Multi-level protection with intra-device protection in a raid array based storage system |
US9128626B2 (en) | 2010-10-01 | 2015-09-08 | Peter Chacko | Distributed virtual storage cloud architecture and a method thereof |
US9430330B1 (en) * | 2010-12-29 | 2016-08-30 | Netapp, Inc. | System and method for managing environment metadata during data backups to a storage system |
US8645799B2 (en) * | 2010-12-31 | 2014-02-04 | Microsoft Corporation | Storage codes for data recovery |
US8910156B1 (en) * | 2011-04-29 | 2014-12-09 | Netapp, Inc. | Virtual machine dependency |
US20120290714A1 (en) * | 2011-05-13 | 2012-11-15 | Nokia Corporation | Method and apparatus for providing heuristic-based cluster management |
JP5893016B2 (ja) * | 2011-06-02 | 2016-03-23 | 株式会社日立製作所 | ストレージ管理サーバ、計算機システム、及びストレージ管理方法 |
US8886910B2 (en) * | 2011-09-12 | 2014-11-11 | Microsoft Corporation | Storage device drivers and cluster participation |
CN103019614B (zh) * | 2011-09-23 | 2015-11-25 | 阿里巴巴集团控股有限公司 | 分布式存储系统管理装置及方法 |
US8683286B2 (en) * | 2011-11-01 | 2014-03-25 | Cleversafe, Inc. | Storing data in a dispersed storage network |
CN103095767B (zh) * | 2011-11-03 | 2019-04-23 | 中兴通讯股份有限公司 | 分布式缓存系统及基于分布式缓存系统的数据重构方法 |
JP2013114624A (ja) | 2011-11-30 | 2013-06-10 | Hitachi Ltd | ストレージシステム及びプール容量縮小の制御方法 |
US8595586B2 (en) * | 2012-04-25 | 2013-11-26 | Facebook, Inc. | Distributed system for fault-tolerant data storage |
US9613656B2 (en) * | 2012-09-04 | 2017-04-04 | Seagate Technology Llc | Scalable storage protection |
CN102882983B (zh) * | 2012-10-22 | 2015-06-10 | 南京云创存储科技有限公司 | 一种云存储系统中提升并发访问性能的数据快速存储方法 |
US9086991B2 (en) * | 2013-02-19 | 2015-07-21 | Infinidat Ltd. | Solid state drive cache recovery in a clustered storage system |
IN2014DE00404A (ja) * | 2014-02-13 | 2015-08-14 | Netapp Inc | |
KR102190670B1 (ko) * | 2014-03-03 | 2020-12-14 | 삼성전자주식회사 | 마이그레이션 관리자를 포함하는 메모리 시스템 |
US9294558B1 (en) * | 2014-03-31 | 2016-03-22 | Amazon Technologies, Inc. | Connection re-balancing in distributed storage systems |
CN104008152B (zh) * | 2014-05-21 | 2017-12-01 | 华南理工大学 | 支持海量数据访问的分布式文件系统的架构方法 |
US9727485B1 (en) * | 2014-11-24 | 2017-08-08 | Pure Storage, Inc. | Metadata rewrite and flatten optimization |
-
2014
- 2014-09-30 WO PCT/JP2014/076105 patent/WO2016051512A1/ja active Application Filing
-
2015
- 2015-09-30 CN CN201580010284.5A patent/CN106030501B/zh active Active
- 2015-09-30 DE DE112015000710.5T patent/DE112015000710T8/de active Active
- 2015-09-30 CN CN202010024851.5A patent/CN111258500B/zh active Active
- 2015-09-30 US US15/120,840 patent/US20160371145A1/en not_active Abandoned
- 2015-09-30 GB GB1614431.3A patent/GB2545290B/en active Active
- 2015-09-30 WO PCT/JP2015/077853 patent/WO2016052665A1/ja active Application Filing
- 2015-09-30 CN CN202010024845.XA patent/CN111190552B/zh active Active
- 2015-09-30 JP JP2016552148A patent/JP6752149B2/ja active Active
-
2017
- 2017-07-28 US US15/662,510 patent/US10185624B2/en active Active
-
2018
- 2018-08-22 US US16/108,265 patent/US10496479B2/en active Active
- 2018-12-27 JP JP2018244619A patent/JP6815378B2/ja active Active
-
2019
- 2019-11-12 US US16/680,772 patent/US11036585B2/en active Active
-
2020
- 2020-05-19 JP JP2020087326A patent/JP7077359B2/ja active Active
-
2021
- 2021-02-15 JP JP2021021418A patent/JP7374939B2/ja active Active
- 2021-05-21 US US17/326,504 patent/US11487619B2/en active Active
-
2022
- 2022-10-20 US US17/969,763 patent/US11886294B2/en active Active
-
2023
- 2023-07-04 JP JP2023110180A patent/JP2023123802A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013527942A (ja) * | 2010-07-16 | 2013-07-04 | 株式会社日立製作所 | 記憶制御装置、又は複数の当該記憶制御装置を有する記憶システム |
JP2013543996A (ja) * | 2011-03-25 | 2013-12-09 | 株式会社日立製作所 | ストレージシステム及び記憶領域の割当方法 |
Also Published As
Publication number | Publication date |
---|---|
US20180357127A1 (en) | 2018-12-13 |
CN106030501B (zh) | 2020-02-07 |
WO2016051512A1 (ja) | 2016-04-07 |
CN111258500A (zh) | 2020-06-09 |
DE112015000710T5 (de) | 2016-11-03 |
US11487619B2 (en) | 2022-11-01 |
GB2545290A (en) | 2017-06-14 |
JPWO2016052665A1 (ja) | 2017-08-10 |
JP6752149B2 (ja) | 2020-09-09 |
CN111190552A (zh) | 2020-05-22 |
US20200081781A1 (en) | 2020-03-12 |
US11886294B2 (en) | 2024-01-30 |
JP2020144913A (ja) | 2020-09-10 |
CN106030501A (zh) | 2016-10-12 |
US20160371145A1 (en) | 2016-12-22 |
US10185624B2 (en) | 2019-01-22 |
GB2545290B (en) | 2021-07-07 |
US20230066084A1 (en) | 2023-03-02 |
DE112015000710T8 (de) | 2016-12-22 |
US11036585B2 (en) | 2021-06-15 |
US10496479B2 (en) | 2019-12-03 |
CN111258500B (zh) | 2023-05-09 |
JP6815378B2 (ja) | 2021-01-20 |
US20210271551A1 (en) | 2021-09-02 |
JP2021089764A (ja) | 2021-06-10 |
JP7077359B2 (ja) | 2022-05-30 |
GB201614431D0 (en) | 2016-10-05 |
CN111190552B (zh) | 2023-04-14 |
WO2016052665A1 (ja) | 2016-04-07 |
US20180011764A1 (en) | 2018-01-11 |
JP2023123802A (ja) | 2023-09-05 |
JP7374939B2 (ja) | 2023-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7077359B2 (ja) | 分散型ストレージシステム | |
CN107209714B (zh) | 分布式存储系统及分布式存储系统的控制方法 | |
US10783078B1 (en) | Data reduction techniques in a flash-based key/value cluster storage | |
US10459638B2 (en) | Computer system that generates group information and redundant code based on user data and changes the group information and redundant code based on transmission data, control method for computer system, and recording medium | |
CN110058822B (zh) | 一种磁盘阵列横向拓展方法 | |
JP6677740B2 (ja) | ストレージシステム | |
WO2012016209A2 (en) | Apparatus, system, and method for redundant write caching | |
JP2022512064A (ja) | 様々なデータ冗長性スキームを備えた、システムにおける利用可能なストレージ空間を改善すること | |
GB2536514A (en) | Storage device and method for controlling storage device | |
JP6429963B2 (ja) | ストレージ装置及びストレージ装置の制御方法 | |
CN111587423A (zh) | 分布式存储系统的分层数据策略 | |
US20120278560A1 (en) | Pre-fetching in a storage system that maintains a mapping tree | |
WO2016056104A1 (ja) | ストレージ装置、及び、記憶制御方法 | |
CN111587425A (zh) | 分布式存储系统中的文件操作 | |
US11809720B2 (en) | Techniques for storage management | |
JP6653370B2 (ja) | ストレージシステム | |
WO2019026221A1 (ja) | ストレージシステム及びストレージ制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190809 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200317 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200515 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200708 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201222 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6815378 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |