JP2018132814A - 計算機システムおよびリストア方法 - Google Patents
計算機システムおよびリストア方法 Download PDFInfo
- Publication number
- JP2018132814A JP2018132814A JP2017024082A JP2017024082A JP2018132814A JP 2018132814 A JP2018132814 A JP 2018132814A JP 2017024082 A JP2017024082 A JP 2017024082A JP 2017024082 A JP2017024082 A JP 2017024082A JP 2018132814 A JP2018132814 A JP 2018132814A
- Authority
- JP
- Japan
- Prior art keywords
- chunk
- file
- network
- data
- parallelism
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 46
- 238000003860 storage Methods 0.000 claims abstract description 34
- 230000014759 maintenance of location Effects 0.000 claims abstract description 19
- 230000005540 biological transmission Effects 0.000 claims description 103
- 238000012545 processing Methods 0.000 claims description 46
- 239000012634 fragment Substances 0.000 claims description 35
- 238000007726 management method Methods 0.000 description 38
- 230000008569 process Effects 0.000 description 32
- 238000010586 diagram Methods 0.000 description 24
- 238000004891 communication Methods 0.000 description 18
- 230000015654 memory Effects 0.000 description 16
- 238000013523 data management Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 9
- 238000012546 transfer Methods 0.000 description 7
- 230000000052 comparative effect Effects 0.000 description 5
- 230000001934 delay Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000010076 replication Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Landscapes
- Retry When Errors Occur (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
Description
(p)リストア対象ファイルを、計測された遅延に応じた並列度分のチャンクに分割すると仮定した場合に、チャンクサイズが、計測された遅延に応じたチャンクサイズ以上になるか否かを判断すること、
(q)(p)の判断結果が真の場合、リストア対象ファイルを、計測された遅延に応じた並列度分のチャンクに分割し、その分割により得られたチャンクを、計測された遅延に応じた並列度で取得すること、
を実行してよい。これにより、遅延に応じた並列度が維持される。
(r)(q)の判断結果が偽の場合、リストア対象ファイルと、1以上の他のリストア対象ファイルとを、計測された遅延に応じた並列度分のチャンクに分割し、その分割により得られたチャンクを、計測された遅延に応じた並列度で取得すること、
を実行してよい。リストア対象ファイルと1以上の他のリストア対象ファイルとの合計サイズは、計測された遅延に応じたチャンクサイズと計測された遅延に応じた並列度との積以上である。これにより、遅延に応じたチャンクサイズが維持される。
(s1)リストア対象ファイルを、計測された遅延に応じたチャンクサイズのチャンクに分割し、その分割により得られたチャンクを、計測された遅延に応じた並列度未満のうちの最大並列度で取得すること、
を実行してよい。これにより、遅延に応じたチャンクサイズを最小チャンクサイズとして守り、遅延に応じた並列度未満であるがなるべく高い並列度で、チャンクを取得することができる。
(s2)(q)の判断結果が偽の場合、リストア対象ファイルを、計測された遅延に応じたチャンクサイズのチャンクに分割し、その分割により得られたチャンクを、計測された遅延に応じた並列度未満のうちの最大並列度で取得することを実行すること、
を実行してよい。これにより、上記の積以上の合計サイズが得られる他のリストア対象ファイルの有無に関わらず、遅延に応じたチャンクサイズを最小チャンクサイズとして守り、遅延に応じた並列度未満であるがなるべく高い並列度で、チャンクを取得することができる。
Claims (15)
- 1以上のネットワークストレージからネットワークを通してリストア対象データを取得する計算機システムであって、
前記1以上のネットワークストレージ間のネットワーク遅延を計測する遅延計測手段と、
計測されたネットワーク遅延に応じたチャンクサイズおよび並列度のうちの少なくとも1つに従い、前記リストア対象データの少なくとも一部であるチャンクを、前記ネットワークを通して、前記1以上のネットワークストレージから取得する取得手段と、
取得されたチャンクを基に前記リストア対象データをリストアするリストア手段と
を備える計算機システム。 - 前記取得手段は、下記の処理、
(a)前記リストア対象データのうちの未処理データを、最近計測されたネットワーク遅延に応じたチャンクサイズのチャンクに分割すること、
(b)(a)の分割により得られたチャンクのうち、前記最近計測されたネットワーク遅延に応じた並列度分のチャンクを取得すること、
(c)(a)の分割により得られたチャンクと前記並列度分のチャンクとの差分があるか否かを判断すること、
(d)(c)の判断結果が真の場合、前記差分を未処理データとして(a)を実行すること、
を実行する、
請求項1記載の計算機システム。 - 前記取得手段、下記の処理、
(h)前前記リストア対象データのうちの未処理データを、前記計測されたネットワーク遅延に応じたチャンクサイズのチャンクに分割すると仮定した場合に、チャンク数が、前記最近計測されたネットワーク遅延に応じた並列度以上になるか否かを判断すること、
(i)(h)の判断結果が真の場合、前記リストア対象データのうちの未処理データを、前記計測されたネットワーク遅延に応じたチャンクサイズのチャンクに分割すること、
(j)(h)の判断結果が偽の場合、前記最近計測されたネットワーク遅延に応じたチャンクサイズと前記最近計測されたネットワーク遅延に応じた並列度との積以上に合計データサイズがなるように、前記リストア対象データの他に、1以上の他のリストア対象データを選択し、前記リストア対象データとその選択した1以上の他のリストア対象データとのうちの未処理データを、前記最近計測されたネットワーク遅延に応じたチャンクサイズのチャンクに分割すること、
(k)(i)または(j)の分割により得られたチャンクのうち、前記計測されたネットワーク遅延に応じた並列度分のチャンクを取得すること、
を実行する、
請求項1記載の計算機システム。 - 前記リストア対象データは、最大並列度分のネットワークストレージの各々に格納されており、
前記1以上のネットワークストレージは、前記最大並列度分のネットワークストレージであり、
前記取得手段は、前記最大並列度分のネットワークストレージのうち、並列度分のネットワークストレージからそれぞれその並列度分のチャンクを並列に取得する、
請求項1乃至3のうちのいずれか1項に記載の計算機システム。 - 前記取得手段は、下記の処理、
(p)前記リストア対象データを、前記計測されたネットワーク遅延に応じた並列度分のチャンクに分割すると仮定した場合に、チャンクサイズが、前記計測されたネットワーク遅延に応じたチャンクサイズ以上になるか否かを判断すること、
(q)(p)の判断結果が真の場合、前記リストア対象データを、前記計測されたネットワーク遅延に応じた並列度分のチャンクに分割し、その分割により得られたチャンクを、前記計測されたネットワーク遅延に応じた並列度で取得すること、
を実行する、
請求項1記載の計算機システム。 - 前記取得手段は、下記の処理、
(r)(q)の判断結果が偽の場合、前記リストア対象データと、1以上の他のリストア対象データとを、前記計測されたネットワーク遅延に応じた並列度分のチャンクに分割し、その分割により得られたチャンクを、前記計測されたネットワーク遅延に応じた並列度で取得すること、
を実行し、
前記リストア対象データと前記1以上の他のリストア対象データとの合計データサイズは、前記計測されたネットワーク遅延に応じたチャンクサイズと前記計測されたネットワーク遅延に応じた並列度との積以上である、
請求項5記載の計算機システム。 - 前記取得手段は、(q)の判断結果が偽の場合であっても、前記積以上の合計サイズが得られる他のリストア対象データが無ければ、(r)に代えて、下記の処理、
(s)前記リストア対象データを、前記計測されたネットワーク遅延に応じたチャンクサイズのチャンクに分割し、その分割により得られたチャンクを、前記計測されたネットワーク遅延に応じた並列度未満のうちの最大並列度で取得すること、
を実行する、
請求項6記載の計算機システム。 - 前記取得手段は、下記の処理、
(s)(q)の判断結果が偽の場合、前記リストア対象データを、前記計測されたネットワーク遅延に応じたチャンクサイズのチャンクに分割し、その分割により得られたチャンクを、前記計測されたネットワーク遅延に応じた並列度未満のうちの最大並列度で取得することを実行すること、
を実行する、
請求項5記載の計算機システム。 - 複数のネットワークストレージに、前記リストア対象データを含む1以上のリストア対象データが格納されており、
前記取得手段は、前記複数のネットワークストレージのうちの2以上のネットワークストレージから前記1以上のリストア対象データのチャンクを取得する、
請求項1記載の計算機システム。 - 前記複数のネットワークストレージに、前記リストア対象データの複数のフラグメントが格納されており、
前記複数のフラグメントの各々は、直前のフラグメントの後側部分と、直後のフラグメントの前側部分とのうちの少なくとも1つと重複しており、
前記取得手段は、前記複数のフラグメントのチャンクを前記複数のネットワークストレージから取得する、
請求項9記載の計算機システム。 - 前記取得手段は、リストアセッション毎に、最近計測されたネットワーク遅延に応じたチャンクサイズおよび並列度のうちの少なくとも1つに従いチャンクを取得する、
請求項1乃至10のうちのいずれか1項に記載の計算機システム。 - 前記計測されたネットワーク遅延が、相対的に小さければ、チャンクサイズは小さい、および、並列数は大きい、のうちの少なくともいずれかであり、
前記計測されたネットワーク遅延が、相対的に大きければ、チャンクサイズは大きい、および、並列数は小さい、のうちの少なくともいずれかである、
請求項1乃至11のうちのいずれか1項に記載の計算機システム。 - 前記リストア対象データは、ファイルであり、
前記ネットワークは、単位時間当たりのデータ送受信サイズを徐々に大きくするスロースタートを含んだフロー制御が実施されるTCP(Transmission Control Protocol)である、
請求項1乃至12のうちのいずれか1項に記載の計算機システム。 - データを1以上のネットワークストレージにバックアップする第1の計算機システムと、
前記1以上のネットワークストレージに格納されているデータのうちのリストア対象データをリストアする第2の計算機システムと
を備え、
前記第2の計算機システムは、
前記1以上のネットワークストレージと前記第2の計算機システム間のネットワーク遅延を計測し、
計測されたネットワーク遅延に応じたチャンクサイズおよび並列度のうちの少なくとも1つに従い、前記リストア対象データの少なくとも一部であるチャンクを取得し、
取得されたチャンクを基に前記リストア対象データをリストアする、
バックアップリストアシステム。 - 1以上のネットワークストレージ間のネットワーク遅延を計測し、
計測されたネットワーク遅延に応じたチャンクサイズおよび並列度のうちの少なくとも1つに従い、前記リストア対象データの少なくとも一部であるチャンクを、ネットワークを通して、前記1以上のネットワークストレージから取得し、
取得されたチャンクを基に前記リストア対象データをリストアする、
リストア方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017024082A JP6924952B2 (ja) | 2017-02-13 | 2017-02-13 | 計算機システムおよびリストア方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017024082A JP6924952B2 (ja) | 2017-02-13 | 2017-02-13 | 計算機システムおよびリストア方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018132814A true JP2018132814A (ja) | 2018-08-23 |
JP6924952B2 JP6924952B2 (ja) | 2021-08-25 |
Family
ID=63247448
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017024082A Active JP6924952B2 (ja) | 2017-02-13 | 2017-02-13 | 計算機システムおよびリストア方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6924952B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023501656A (ja) * | 2020-01-06 | 2023-01-18 | アーミク カンパニー,リミテッド | データの送信および照会時の費用を最小化するためのデータアーカイビング方法およびシステム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6085251A (en) * | 1998-04-02 | 2000-07-04 | The United States Of America As Represented By The Secretary Of The Air Force | Implementing a parallel file transfer protocol |
JP2000216815A (ja) * | 1999-01-21 | 2000-08-04 | Toshiba Corp | マルチリンク通信装置 |
JP2004531824A (ja) * | 2001-03-28 | 2004-10-14 | チャン パーク,ヤン | ネットワーク環境でのファイル伝送方法 |
JP2012048373A (ja) * | 2010-08-25 | 2012-03-08 | Toshiba Corp | 医用データストレージ装置 |
JP2016502774A (ja) * | 2012-10-18 | 2016-01-28 | ジラフィック テクノロジーズ エルティーディー.Giraffic Technologies Ltd. | 通信リンクのスループットを動的に最大化するための輻輳制御方法。 |
JP2016096437A (ja) * | 2014-11-13 | 2016-05-26 | シャープ株式会社 | 通信装置、通信方法、通信プログラム、及びプロセッサ |
-
2017
- 2017-02-13 JP JP2017024082A patent/JP6924952B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6085251A (en) * | 1998-04-02 | 2000-07-04 | The United States Of America As Represented By The Secretary Of The Air Force | Implementing a parallel file transfer protocol |
JP2000216815A (ja) * | 1999-01-21 | 2000-08-04 | Toshiba Corp | マルチリンク通信装置 |
JP2004531824A (ja) * | 2001-03-28 | 2004-10-14 | チャン パーク,ヤン | ネットワーク環境でのファイル伝送方法 |
JP2012048373A (ja) * | 2010-08-25 | 2012-03-08 | Toshiba Corp | 医用データストレージ装置 |
JP2016502774A (ja) * | 2012-10-18 | 2016-01-28 | ジラフィック テクノロジーズ エルティーディー.Giraffic Technologies Ltd. | 通信リンクのスループットを動的に最大化するための輻輳制御方法。 |
JP2016096437A (ja) * | 2014-11-13 | 2016-05-26 | シャープ株式会社 | 通信装置、通信方法、通信プログラム、及びプロセッサ |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023501656A (ja) * | 2020-01-06 | 2023-01-18 | アーミク カンパニー,リミテッド | データの送信および照会時の費用を最小化するためのデータアーカイビング方法およびシステム |
JP7387116B2 (ja) | 2020-01-06 | 2023-11-28 | アーミク カンパニー,リミテッド | データの送信および照会時の費用を最小化するためのデータアーカイビング方法およびシステム |
Also Published As
Publication number | Publication date |
---|---|
JP6924952B2 (ja) | 2021-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7098628B2 (ja) | クラウドデータストアにわたるファイルシステム階層ミラーリング | |
US11487468B2 (en) | Healing failed erasure-coded write attempts in a distributed data storage system configured with fewer storage nodes than data plus parity fragments | |
EP3062226B1 (en) | Data replication method and storage system | |
US9209989B2 (en) | Causation of a data read operation against a first storage system by a server associated with a second storage system according to a host generated instruction | |
EP3612954B1 (en) | Replication lag-constrained deletion of data in a large-scale distributed data storage system | |
US8055745B2 (en) | Methods and apparatus for accessing data from a primary data storage system for secondary storage | |
US8601225B2 (en) | Time ordered view of backup data on behalf of a host | |
US20160150012A1 (en) | Content-based replication of data between storage units | |
US8683144B2 (en) | Causation of a data read against a first storage system to optionally store a data write to preserve the version to allow viewing and recovery | |
US9075532B1 (en) | Self-referential deduplication | |
US20230418716A1 (en) | Anti-entropy-based metadata recovery in a strongly consistent distributed data storage system | |
US10922009B2 (en) | Mirroring write operations across data storage devices | |
US9471586B2 (en) | Intelligent selection of replication node for file data blocks in GPFS-SNC | |
JP6133396B2 (ja) | 計算機システム、サーバ、及び、データ管理方法 | |
US11099767B2 (en) | Storage system with throughput-based timing of synchronous replication recovery | |
CN111225003B (zh) | 一种nfs节点配置方法和装置 | |
US11144232B2 (en) | Storage system with efficient snapshot pair creation during synchronous replication of logical storage volumes | |
US11003541B2 (en) | Point-in-time copy on a remote system | |
JP6924952B2 (ja) | 計算機システムおよびリストア方法 | |
US20190095106A1 (en) | Low-latency lightweight distributed storage system | |
US11360712B2 (en) | Storage system with continuous data verification for synchronous replication of logical storage volumes | |
US11386049B1 (en) | Synchronous replication end to end latency reporting | |
US11256716B2 (en) | Verifying mirroring of source data units to target data units | |
JP2004013867A (ja) | 複製データベースシステム、データベース装置及びそれに用いるデータベース更新方法並びにそのプログラム | |
US20230034463A1 (en) | Selectively using summary bitmaps for data synchronization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200120 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210622 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210715 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6924952 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |