JP2021105964A - 情報処理方法 - Google Patents
情報処理方法 Download PDFInfo
- Publication number
- JP2021105964A JP2021105964A JP2019238200A JP2019238200A JP2021105964A JP 2021105964 A JP2021105964 A JP 2021105964A JP 2019238200 A JP2019238200 A JP 2019238200A JP 2019238200 A JP2019238200 A JP 2019238200A JP 2021105964 A JP2021105964 A JP 2021105964A
- Authority
- JP
- Japan
- Prior art keywords
- data
- storage
- fragment data
- storage device
- processing method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 44
- 238000003672 processing method Methods 0.000 title claims abstract description 42
- 239000012634 fragment Substances 0.000 claims abstract description 149
- 238000004364 calculation method Methods 0.000 claims description 71
- 238000012545 processing Methods 0.000 abstract description 59
- 238000011084 recovery Methods 0.000 abstract 2
- 238000000034 method Methods 0.000 description 27
- 238000013500 data storage Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000007616 round robin method Methods 0.000 description 4
- 230000008929 regeneration Effects 0.000 description 3
- 238000011069 regeneration method Methods 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Hardware Redundancy (AREA)
Abstract
Description
記憶対象のデータを複数に分割した分割データと記憶対象のデータを復元するための復元データとからなるフラグメントデータを、複数の記憶装置のうちのいずれかに格納するストレージノードが、
前記フラグメントデータを格納する記憶装置が故障する可能性に応じた情報を計算し、
計算した結果に基づいて、前記フラグメントデータを他の記憶装置に移動させる
という構成をとる。
記憶対象のデータを複数に分割した分割データと記憶対象のデータを復元するための復元データとからなるフラグメントデータを、複数の記憶装置のうちのいずれかに格納するストレージノードであって、
前記フラグメントデータを格納する記憶装置が故障する可能性に応じた情報を計算する計算部と、
前記計算部が計算した結果に基づいて、前記フラグメントデータを他の記憶装置に移動させる移動部と、
を有する
という構成をとる。
記憶対象のデータを複数に分割した分割データと記憶対象のデータを復元するための復元データとからなるフラグメントデータを、複数の記憶装置のうちのいずれかに格納するストレージノードに、
前記フラグメントデータを格納する記憶装置が故障する可能性に応じた情報を計算する計算部と、
前記計算部が計算した結果に基づいて、前記フラグメントデータを他の記憶装置に移動させる移動部と、
を実現するためのプログラムである。
本発明の第1の実施形態を図1から図9までを参照して説明する。図1は、システム全体の構成の一例を示すブロック図である。図2は、アクセラレータノード110の構成の一例を示すブロック図である。図3は、ストレージシステム100において行われる分散記憶処理の一例を説明するための図である。図4は、ストレージノード120の構成の一例を示すブロック図である。図5は、データ移動処理の一例を説明するための図である。図6は、故障時期リスト126の一例を示す図である。図7は、データ移動処理の一例を説明するための図である。図8は、ストレージノード120が故障時期リスト126を生成する際の動作の一例を示すフローチャートである。図9は、ストレージノード120がフラグメントデータの移動または複製を行う際の動作の一例を示すフローチャートである。
次に、本発明の第2の実施形態について、図10、図11を参照して説明する。図10、図11は、ストレージノード300の構成の一例を示している。
・CPU(Central Processing Unit)301(演算装置)
・ROM(Read Only Memory)302(記憶装置)
・RAM(Random Access Memory)303(記憶装置)
・RAM303にロードされるプログラム群304
・プログラム群304を格納する記憶装置305
・情報処理装置外部の記録媒体310の読み書きを行うドライブ装置306
・情報処理装置外部の通信ネットワーク311と接続する通信インタフェース307
・データの入出力を行う入出力インタフェース308
・各構成要素を接続するバス309
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における情報処理方法などの概略を説明する。但し、本発明は、以下の構成に限定されない。
記憶対象のデータを複数に分割した分割データと記憶対象のデータを復元するための復元データとからなるフラグメントデータを、複数の記憶装置のうちのいずれかに格納するストレージノードが、
前記フラグメントデータを格納する記憶装置が故障する可能性に応じた情報を計算し、
計算した結果に基づいて、前記フラグメントデータを他の記憶装置に移動させる
情報処理方法。
(付記2)
付記1に記載の情報処理方法であって、
計算した結果に基づいて移動が必要であると判断される記憶装置から、移動が必要でないと判断される他の記憶装置へと、前記フラグメントデータを移動させる
情報処理方法。
(付記3)
付記1または付記2に記載の情報処理方法であって、
計算した結果と、記憶装置の空き容量を示す情報と、に基づいて、移動先の記憶装置を選択する
情報処理方法。
(付記4)
付記1から付記3までのいずれか1項に記載の情報処理方法であって、
事前に定めた記憶装置への要求数を超えないように、前記フラグメントデータの移動を行う
情報処理方法。
(付記5)
付記1から付記4までのいずれか1項に記載の情報処理方法であって、
記憶装置が故障する可能性に応じた情報として、記憶装置が故障する時期を示す故障時期情報を計算する
情報処理方法。
(付記6)
付記1から付記5までのいずれか1項に記載の情報処理方法であって、
前記フラグメントデータの優先度を計算し、
計算した前記フラグメントデータの優先度に応じて、前記フラグメントデータを他の記憶装置に移動させる
情報処理方法。
(付記7)
付記6に記載の情報処理方法であって、
優先度の高い前記フラグメントデータから順番に他の記憶装置に移動させる
情報処理方法。
(付記8)
付記1から付記7までのいずれか1項に記載の情報処理方法であって、
ストレージノードは、複数の記憶装置を有するとともに、他のストレージノードと通信可能に接続されており、
ストレージノード自身が有する他の記憶装置と、他のストレージノードが有する記憶装置と、のうちのいずれかに、前記フラグメントデータを移動させる
情報処理方法。
(付記9)
付記1から付記8までのいずれか1項に記載の情報処理方法であって、
ストレージノードは、複数の他のストレージノードと通信可能に接続されることでストレージシステムを構成しており、
ストレージシステム全体の空き容量を示す容量情報を取得し、
取得した前記容量情報に基づいて、前記フラグメントデータを移動した後、移動元の前記フラグメントデータを削除するか否か判断する
情報処理方法。
(付記10)
記憶対象のデータを複数に分割した分割データと記憶対象のデータを復元するための復元データとからなるフラグメントデータを、複数の記憶装置のうちのいずれかに格納するストレージノードであって、
前記フラグメントデータを格納する記憶装置が故障する可能性に応じた情報を計算する計算部と、
前記計算部が計算した結果に基づいて、前記フラグメントデータを他の記憶装置に移動させる移動部と、
を有する
ストレージノード。
(付記11)
記憶対象のデータを複数に分割した分割データと記憶対象のデータを復元するための復元データとからなるフラグメントデータを、複数の記憶装置のうちのいずれかに格納するストレージノードに、
前記フラグメントデータを格納する記憶装置が故障する可能性に応じた情報を計算する計算部と、
前記計算部が計算した結果に基づいて、前記フラグメントデータを他の記憶装置に移動させる移動部と、
を実現するためのプログラム。
110 アクセラレータノード
111 ファイルシステムサービス部
112 ブロック分割処理部
113 重複排除処理部
114 分散処理部
120 ストレージノード
121 データ保存部
122 故障時期計算部
123 故障時期同期部
124 優先度計算部
125 データ移動部
126 故障時期リスト
127 記憶装置
200 データ格納・参照装置
300 ストレージノード
301 CPU
302 ROM
303 RAM
304 プログラム群
305 記憶装置
306 ドライブ装置
307 通信インタフェース
308 入出力インタフェース
309 バス
310 記録媒体
311 通信ネットワーク
321 計算部
322 移動部
Claims (11)
- 記憶対象のデータを複数に分割した分割データと記憶対象のデータを復元するための復元データとからなるフラグメントデータを、複数の記憶装置のうちのいずれかに格納するストレージノードが、
前記フラグメントデータを格納する記憶装置が故障する可能性に応じた情報を計算し、
計算した結果に基づいて、前記フラグメントデータを他の記憶装置に移動させる
情報処理方法。 - 請求項1に記載の情報処理方法であって、
計算した結果に基づいて移動が必要であると判断される記憶装置から、移動が必要でないと判断される他の記憶装置へと、前記フラグメントデータを移動させる
情報処理方法。 - 請求項1または請求項2に記載の情報処理方法であって、
計算した結果と、記憶装置の空き容量を示す情報と、に基づいて、移動先の記憶装置を選択する
情報処理方法。 - 請求項1から請求項3までのいずれか1項に記載の情報処理方法であって、
事前に定めた記憶装置への要求数を超えないように、前記フラグメントデータの移動を行う
情報処理方法。 - 請求項1から請求項4までのいずれか1項に記載の情報処理方法であって、
記憶装置が故障する可能性に応じた情報として、記憶装置が故障する時期を示す故障時期情報を計算する
情報処理方法。 - 請求項1から請求項5までのいずれか1項に記載の情報処理方法であって、
前記フラグメントデータの優先度を計算し、
計算した前記フラグメントデータの優先度に応じて、前記フラグメントデータを他の記憶装置に移動させる
情報処理方法。 - 請求項6に記載の情報処理方法であって、
優先度の高い前記フラグメントデータから順番に他の記憶装置に移動させる
情報処理方法。 - 請求項1から請求項7までのいずれか1項に記載の情報処理方法であって、
ストレージノードは、複数の記憶装置を有するとともに、他のストレージノードと通信可能に接続されており、
ストレージノード自身が有する他の記憶装置と、他のストレージノードが有する記憶装置と、のうちのいずれかに、前記フラグメントデータを移動させる
情報処理方法。 - 請求項1から請求項8までのいずれか1項に記載の情報処理方法であって、
ストレージノードは、複数の他のストレージノードと通信可能に接続されることでストレージシステムを構成しており、
ストレージシステム全体の空き容量を示す容量情報を取得し、
取得した前記容量情報に基づいて、前記フラグメントデータを移動した後、移動元の前記フラグメントデータを削除するか否か判断する
情報処理方法。 - 記憶対象のデータを複数に分割した分割データと記憶対象のデータを復元するための復元データとからなるフラグメントデータを、複数の記憶装置のうちのいずれかに格納するストレージノードであって、
前記フラグメントデータを格納する記憶装置が故障する可能性に応じた情報を計算する計算部と、
前記計算部が計算した結果に基づいて、前記フラグメントデータを他の記憶装置に移動させる移動部と、
を有する
ストレージノード。 - 記憶対象のデータを複数に分割した分割データと記憶対象のデータを復元するための復元データとからなるフラグメントデータを、複数の記憶装置のうちのいずれかに格納するストレージノードに、
前記フラグメントデータを格納する記憶装置が故障する可能性に応じた情報を計算する計算部と、
前記計算部が計算した結果に基づいて、前記フラグメントデータを他の記憶装置に移動させる移動部と、
を実現するためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019238200A JP7491545B2 (ja) | 2019-12-27 | 2019-12-27 | 情報処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019238200A JP7491545B2 (ja) | 2019-12-27 | 2019-12-27 | 情報処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021105964A true JP2021105964A (ja) | 2021-07-26 |
JP7491545B2 JP7491545B2 (ja) | 2024-05-28 |
Family
ID=76918869
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019238200A Active JP7491545B2 (ja) | 2019-12-27 | 2019-12-27 | 情報処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7491545B2 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007233903A (ja) * | 2006-03-03 | 2007-09-13 | Hitachi Ltd | 記憶制御装置及び記憶制御装置のデータ回復方法 |
JP2011154428A (ja) * | 2010-01-26 | 2011-08-11 | Nec Corp | ストレージシステム |
JP2016099659A (ja) * | 2014-11-18 | 2016-05-30 | 株式会社エヌ・ティ・ティ・データ | 管理装置、ストレージシステム、ストレージ管理方法、及びプログラム |
WO2017149581A1 (ja) * | 2016-02-29 | 2017-09-08 | 株式会社日立製作所 | 仮想ストレージシステム |
JP2019036163A (ja) * | 2017-08-17 | 2019-03-07 | 富士通株式会社 | ストレージ制御装置、および制御プログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108255414B (zh) | 2017-04-14 | 2020-04-03 | 新华三信息技术有限公司 | 固态硬盘访问方法及装置 |
-
2019
- 2019-12-27 JP JP2019238200A patent/JP7491545B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007233903A (ja) * | 2006-03-03 | 2007-09-13 | Hitachi Ltd | 記憶制御装置及び記憶制御装置のデータ回復方法 |
JP2011154428A (ja) * | 2010-01-26 | 2011-08-11 | Nec Corp | ストレージシステム |
JP2016099659A (ja) * | 2014-11-18 | 2016-05-30 | 株式会社エヌ・ティ・ティ・データ | 管理装置、ストレージシステム、ストレージ管理方法、及びプログラム |
WO2017149581A1 (ja) * | 2016-02-29 | 2017-09-08 | 株式会社日立製作所 | 仮想ストレージシステム |
JP2019036163A (ja) * | 2017-08-17 | 2019-03-07 | 富士通株式会社 | ストレージ制御装置、および制御プログラム |
Non-Patent Citations (2)
Title |
---|
LI,PENG ET AL: "ProCode: Aproactive Erasure Coding Scheme for Cloud Storage Systems", 2016 IEEE 35THSYMPOSIUM ON RELIABLE DISTRIBUTED SYSTEMS, JPN6023033790, 2016, US, pages 219 - 228, XP033034619, ISSN: 0005132698, DOI: 10.1109/SRDS.2016.039 * |
NUNOME, ATSUSHI ET AL: "A Data Migration Scheme Considering Node Reliability for an Autonomous Distributed Storage System", 2018 5TH INTERNATIONAL CONFERENCE ON COMPUTATIONALSCIENCE/INTELLIGENCE AND APPLIED INFORMATICS, JPN6023033789, 2018, US, pages 160 - 165, XP033399623, ISSN: 0005132699, DOI: 10.1109/CSII.2018.00035 * |
Also Published As
Publication number | Publication date |
---|---|
JP7491545B2 (ja) | 2024-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5637552B2 (ja) | ストレージシステム | |
US12067256B2 (en) | Storage space optimization in a system with varying data redundancy schemes | |
WO2017119091A1 (ja) | 分散型ストレージシステム、データ格納方法、およびソフトウェアプログラム | |
CN107807794B (zh) | 一种数据存储方法和装置 | |
JP5158074B2 (ja) | ストレージ管理プログラム、ストレージ管理方法、ストレージ管理装置およびストレージシステム | |
US8239621B2 (en) | Distributed data storage system, data distribution method, and apparatus and program to be used for the same | |
US11151030B1 (en) | Method for prediction of the duration of garbage collection for backup storage systems | |
JP6094267B2 (ja) | ストレージシステム | |
US11128535B2 (en) | Computer system and data management method | |
CN102349047A (zh) | 数据插入系统 | |
Cidon et al. | MinCopysets: Derandomizing replication in cloud storage | |
CN112579550B (zh) | 一种分布式文件系统的元数据信息同步方法及系统 | |
KR101652436B1 (ko) | 분산파일 시스템에서의 중복 제거 장치 및 방법 | |
JP5758449B2 (ja) | データ再配置装置、方法およびプログラム | |
JP6337982B1 (ja) | ストレージシステム | |
JP6269120B2 (ja) | ストレージシステム | |
JP7491545B2 (ja) | 情報処理方法 | |
JP5891842B2 (ja) | ストレージシステム | |
JP5751041B2 (ja) | ストレージ装置、ストレージ方法およびプログラム | |
JP5688676B2 (ja) | ストレージ装置及びストレージ装置の記憶資源の使用効率向上方法 | |
JP2013058133A (ja) | データ書き込み装置 | |
JP2011232941A (ja) | ディスクアレイ装置、及び、ミラーリング制御方法 | |
US20150277780A1 (en) | Server apparatus, recording medium storing information storage program, and information storing method | |
JP6819869B2 (ja) | ストレージ装置、プログラム、情報処理方法 | |
JP6343952B2 (ja) | ストレージシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221102 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230814 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230822 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231012 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20231219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240306 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20240315 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240416 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240509 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7491545 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |