JP2017142605A - バックアップリストアシステム及びリストア方法 - Google Patents
バックアップリストアシステム及びリストア方法 Download PDFInfo
- Publication number
- JP2017142605A JP2017142605A JP2016022712A JP2016022712A JP2017142605A JP 2017142605 A JP2017142605 A JP 2017142605A JP 2016022712 A JP2016022712 A JP 2016022712A JP 2016022712 A JP2016022712 A JP 2016022712A JP 2017142605 A JP2017142605 A JP 2017142605A
- Authority
- JP
- Japan
- Prior art keywords
- data
- backup
- target
- metadata
- objects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】第1オブジェクトサーバが、オブジェクトのオブジェクトデータ及びそれのメタデータの各々について、そのデータが第1条件に該当する場合、そのデータの複製データをバックアップサーバにバックアップし、そのデータが第2条件に該当する場合、そのデータの複数の断片データを2以上のバックアップサーバにバックアップする。第2オブジェクトサーバが、複数のバックアップサーバから複製データ及び複数の断片データのうちの少なくとも1つを取得しオブジェクトをリストアする。
【選択図】図1
Description
当該データでありオブジェクトデータ又はメタデータである対象データが第1条件と第2条件のいずれの条件に該当するかを判断し、
対象データが第1条件に該当する場合、対象データの1以上の複製データを2以上のバックアップサーバにバックアップし、
対象データが第2条件に該当する場合、対象データのEC(Erasure Coding)に従う冗長度Vの断片データ(Vは1より大きい値)である2以上のデータを、2以上のバックアップサーバにバックアップする。なお、対象データの冗長度Vの断片データは、ECに従う断片データでなくてもよい。例えば、断片データの複製データが2以上のデータに含まれていれば、断片データが失われてもそれの複製データに代替可能なため、その断片データの冗長性が実現される。
当該オブジェクトである対象オブジェクトのメタデータとして、そのメタデータの少なくとも1つの複製データ、又は、そのメタデータの断片データを複数のバックアップサーバのうちの少なくとも1つから受信し、
対象オブジェクトのオブジェクトデータとして、そのオブジェクトデータの少なくとも1つの複製データ、又は、そのオブジェクトデータの断片データを複数のバックアップサーバのうちの少なくとも1つから受信し、
受信したメタデータと受信したオブジェクトデータとに基づき、対象オブジェクトの第2ファイルシステム空間における位置に対象オブジェクトをリストアする。
・バックアップ対象ファイルのパスを表すパス501。
・バックアップ対象ファイルのID(通番)502。
・種別503「FILE」。
・Meta504「Rep.」(メタデータの複製データがバックアップされたため)。
・Data505「(p,q)」(p=断片データ数、q=パリティデータ数)。
・MetaBUP506(複製データ(メタデータ複製)の送信先のバックアップサイト106のサイト名)。
・DataBUP507(断片データの送信先のバックアップサイト106のサイト名)。
・ParityBUP508(パリティデータの送信先のバックアップサイト106のサイト名)。
Claims (15)
- 複数のバックアップサーバと、
それぞれがファイル又はディレクトリである1以上のオブジェクトを前記複数のバックアップサーバの少なくとも1つにバックアップする第1オブジェクトサーバと、
前記バックアップされた1以上のオブジェクトを前記複数のバックアップサーバの少なくとも1つからリストアする第2オブジェクトサーバと
を備え、
前記1以上のオブジェクトの各々は、オブジェクトデータとそのオブジェクトデータについてのメタデータとで構成されており、
前記第1オブジェクトサーバは、前記1以上のオブジェクトの各々におけるオブジェクトデータ及びメタデータの各々について、
(B1)当該データでありオブジェクトデータ又はメタデータである対象データが第1条件と第2条件のいずれの条件に該当するかを判断し、
(B2)前記対象データが前記第1条件に該当する場合、前記対象データの1以上の複製データを2以上のバックアップサーバにバックアップし、
(B3)前記対象データが前記第2条件に該当する場合、前記対象データのEC(Erasure Coding)に従う冗長度Vの断片データ(Vは1より大きい値)である2以上のデータを2以上のバックアップサーバにバックアップし、
前記第1オブジェクトサーバは、前記1以上のオブジェクトの各々について、ファイルシステム空間におけるそのオブジェクトの位置とそのオブジェクトのバックアップ先とに関する情報を、前記複数のバックアップサーバのうちの少なくとも1つにおける管理情報に登録し、
前記第2オブジェクトサーバは、
(R1)前記1以上のオブジェクトの各々について、そのオブジェクトの前記ファイルシステム空間における位置と、そのオブジェクトのバックアップ先とを、前記管理情報を参照することにより特定し、
(R2)前記1以上のオブジェクトの各々について、
(R21)当該オブジェクトである対象オブジェクトのメタデータとして、そのメタデータの少なくとも1つの複製データ、又は、そのメタデータの断片データを前記複数のバックアップサーバのうちの少なくとも1つから受信し、
(R22)前記対象オブジェクトのオブジェクトデータとして、そのオブジェクトデータの少なくとも1つの複製データ、又は、そのオブジェクトデータの断片データを前記複数のバックアップサーバのうちの少なくとも1つから受信し、
(R23)前記受信したメタデータと前記受信したオブジェクトデータとに基づき、前記対象オブジェクトの前記ファイルシステム空間における位置に前記対象オブジェクトをリストアする、
バックアップリストアシステム。 - 前記第2オブジェクトサーバは、前記1以上のオブジェクトのうちの少なくとも1つについて、(R22)より先に(R21)を実行する、
請求項1記載のバックアップリストアシステム。 - 前記第2オブジェクトサーバは、
(R2)の開始前に、前記ファイルシステム空間に一時ディレクトリを設け、
前記1以上のオブジェクトについて並行して(R21)及び(R22)を実行することで、前記一時ディレクトリに前記1以上のオブジェクトを並行してリストアし、
前記1以上のオブジェクトの各々について、(R23)で、前記一時ディレクトリから、前記ファイルシステム空間における該当位置に、前記対象オブジェクトを移動する、
請求項1又は2記載のバックアップリストアシステム。 - 前記第1条件は、前記対象データがメタデータであることであり、
前記第2条件は、前記対象データがオブジェクトデータであることである、
請求項1乃至3のうちのいずれか1項に記載のバックアップリストアシステム。 - 前記第1条件は、前記対象データがメタデータであること、及び、前記対象データがオブジェクトデータであり且つそのオブジェクトデータのデータサイズが閾値未満であること、のいずれかであり、
前記第2条件は、前記対象データがオブジェクトデータであり且つそのオブジェクトデータのデータサイズが前記閾値以上であることである、
請求項1乃至3のうちのいずれか1項に記載のバックアップリストアシステム。 - 前記対象データが前記第2条件に該当する場合、前記冗長度Vの値は、前記対象データを含んだオブジェクトのパス深度に従う値であり、
前記対象データを含んだオブジェクトのパス深度は、前記ファイルシステム空間のルートディレクトリからそのオブジェクトに至るまでに経由するリンクの数である、
請求項1乃至5のうちのいずれか1項に記載のバックアップリストアシステム。 - 前記第1条件、前記複製データの数、前記第2条件、前記冗長度Vの値のうちの少なくとも1つが、災害が発生してからの経過時間と回復率との関係に基づいており、
前記回復率は、バックアップデータ数に対する、回復したバックアップサーバの数の割合である、
請求項1乃至6のうちのいずれか1項に記載のバックアップリストアシステム。 - それぞれがファイル又はディレクトリである1以上のオブジェクトの各々におけるオブジェクトデータ及びメタデータの各々が、1以上の複製データを複数のバックアップサーバのうちの2以上のバックアップサーバにバックアップすることであるレプリケーションバックアップと、EC(Erasure Coding)に従う冗長度Vの断片データ(Vは1以上の値)である2以上のデータを2以上のバックアップサーバにバックアップすることである分散バックアップとのうちの選択されたバックアップ方式に従いバックアップされた複数のバックアップサーバから前記1以上のオブジェクトをリストアするリストア方法であって、
(R1)前記1以上のオブジェクトの各々について、そのオブジェクトのファイルシステム空間における位置と、そのオブジェクトのバックアップ先とを特定し、
(R2)前記1以上のオブジェクトの各々について、
(R21)当該オブジェクトである対象オブジェクトのメタデータとして、そのメタデータの少なくとも1つの複製データ、又は、そのメタデータの断片データを前記複数のバックアップサーバのうちの少なくとも1つから受信し、
(R22)前記対象オブジェクトのオブジェクトデータとして、そのオブジェクトデータの少なくとも1つの複製データ、又は、そのオブジェクトデータの断片データを前記複数のバックアップサーバのうちの少なくとも1つから受信し、
(R23)前記受信したメタデータと前記受信したオブジェクトデータとに基づき、前記対象オブジェクトの前記ファイルシステム空間における位置に前記対象オブジェクトをリストアする、
リストア方法。 - 前記1以上のオブジェクトの各々におけるオブジェクトデータ及びメタデータの各々について、
(B1)当該データでありオブジェクトデータ又はメタデータである対象データが第1条件と第2条件のいずれの条件に該当するかを判断し、
(B2)前記対象データが前記第1条件に該当する場合、前記対象データの1以上の複製データを2以上のバックアップサーバにバックアップし、
(B3)前記対象データが前記第2条件に該当する場合、前記対象データのECに従う冗長度Vの断片データである2以上のデータを2以上のバックアップサーバにバックアップする、
請求項8記載のリストア方法。 - 複数のバックアップサーバに接続されたインターフェースと、
前記インタフェースに接続されたプロセッサと
を有し、
前記プロセッサは、それぞれがファイル又はディレクトリである1以上のバックアップ対象オブジェクトの各々におけるオブジェクトデータ及びメタデータの各々について、
(B1)当該データでありオブジェクトデータ又はメタデータである対象データが第1条件と第2条件のいずれの条件に該当するかを判断し、
(B2)前記対象データが前記第1条件に該当する場合、前記対象データの1以上の複製データを2以上のバックアップサーバにバックアップし、
(B3)前記対象データが前記第2条件に該当する場合、前記対象データのEC(Erasure Coding)に従う冗長度Vの断片データ(Vは1以上の値)である2以上のデータを2以上のバックアップサーバにバックアップし、
前記プロセッサは、前記1以上のバックアップ対象オブジェクトの各々について、第1ファイルシステム空間におけるそのバックアップ対象オブジェクトの位置とそのバックアップ対象オブジェクトのバックアップ先とに関する情報を、前記複数のバックアップサーバのうちの少なくとも1つにおける管理情報に登録し、
前記第1ファイルシステム空間は、前記1以上のバックアップ対象オブジェクトを含んだファイルシステム空間であり、
前記プロセッサは、
(R1)それぞれがファイル又はディレクトリである1以上のリストア対象オブジェクトの各々について、そのリストア対象オブジェクトの第2ファイルシステム空間における位置と、そのオブジェクトのバックアップ先とを、前記管理情報を参照することにより特定し、前記第2ファイルシステム空間は、前記1以上のリストア対象オブジェクトを含んだファイルシステム空間であり、
(R2)前記1以上のリストア対象オブジェクトの各々について、
(R21)当該リストア対象オブジェクトである対象オブジェクトのメタデータとして、そのメタデータの少なくとも1つの複製データ、又は、そのメタデータの断片データを前記複数のバックアップサーバのうちの少なくとも1つから受信し、
(R22)前記対象オブジェクトのオブジェクトデータとして、そのオブジェクトデータの少なくとも1つの複製データ、又は、そのオブジェクトデータの断片データを前記複数のバックアップサーバのうちの少なくとも1つから受信し、
(R23)前記受信したメタデータと前記受信したオブジェクトデータとに基づき、前記対象オブジェクトの前記第2ファイルシステム空間における位置に前記対象オブジェクトをリストアする、
オブジェクトサーバ。 - 前記プロセッサは、前記1以上のリストア対象オブジェクトのうちの少なくとも1つについて、(R22)より先に(R21)を実行する、
請求項10記載のオブジェクトサーバ。 - 前記プロセッサは、
(R2)の開始前に、前記第2ファイルシステム空間に一時ディレクトリを設け、
前記1以上のリストア対象オブジェクトについて並行して(R21)及び(R22)を実行することで、前記一時ディレクトリに前記1以上のリストア対象オブジェクトを並行してリストアし、
前記1以上のリストア対象オブジェクトの各々について、(R23)で、前記一時ディレクトリから、前記第2ファイルシステム空間における該当位置に、前記対象オブジェクトを移動する、
請求項9又は10記載のオブジェクトサーバ。 - 前記第1条件は、前記対象データがメタデータであることであり、
前記第2条件は、前記対象データがオブジェクトデータであることである、
請求項10乃至12のうちのいずれか1項に記載のオブジェクトサーバ。 - 前記第1条件は、前記対象データがメタデータであること、及び、前記対象データがオブジェクトデータであり且つそのオブジェクトデータのデータサイズが閾値未満であることであり、
前記第2条件は、前記対象データがオブジェクトデータであり且つそのオブジェクトデータのデータサイズが前記閾値以上であることである、
請求項10乃至13のうちのいずれか1項に記載のオブジェクトサーバ。 - 前記対象データが前記第2条件に該当する場合、前記冗長度Vの値は、前記対象データを含んだバックアップ対象オブジェクトのパス深度に従う値であり、
前記対象データを含んだバックアップ対象オブジェクトのパス深度は、前記第1ファイルシステム空間のルートディレクトリからそのバックアップ対象オブジェクトに至るまでに経由するリンクの数である、
請求項10乃至14のうちのいずれか1項に記載のオブジェクトサーバ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016022712A JP6671708B2 (ja) | 2016-02-09 | 2016-02-09 | バックアップリストアシステム及びバックアップリストア方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016022712A JP6671708B2 (ja) | 2016-02-09 | 2016-02-09 | バックアップリストアシステム及びバックアップリストア方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017142605A true JP2017142605A (ja) | 2017-08-17 |
JP6671708B2 JP6671708B2 (ja) | 2020-03-25 |
Family
ID=59628622
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016022712A Active JP6671708B2 (ja) | 2016-02-09 | 2016-02-09 | バックアップリストアシステム及びバックアップリストア方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6671708B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109426587A (zh) * | 2017-08-25 | 2019-03-05 | 杭州海康威视数字技术股份有限公司 | 一种数据恢复方法及装置 |
CN111666179A (zh) * | 2020-06-12 | 2020-09-15 | 重庆云海时代信息技术有限公司 | 一种多点数据容灾的智能复制系统及服务器 |
WO2021052416A1 (zh) * | 2019-09-18 | 2021-03-25 | 中兴通讯股份有限公司 | 容灾方法、装置、局点和存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007073004A (ja) * | 2005-09-09 | 2007-03-22 | Canon Inc | データ保全情報装置、分散ストレージシステム及びその方法 |
JP2010079886A (ja) * | 2008-09-11 | 2010-04-08 | Nec Lab America Inc | 拡張可能な2次ストレージシステムと方法 |
JP2012226544A (ja) * | 2011-04-19 | 2012-11-15 | Clickbenefit Co Ltd | 情報処理システムおよびデータバックアップ方法 |
US8504535B1 (en) * | 2010-12-20 | 2013-08-06 | Amazon Technologies, Inc. | Erasure coding and redundant replication |
JP2015519674A (ja) * | 2012-06-13 | 2015-07-09 | カリンゴ・インコーポレーテッドCaringo Incorporated | ストレージクラスタにおける消失符号付加および複製 |
JP2015529861A (ja) * | 2012-09-20 | 2015-10-08 | 株式会社日立製作所 | 複数の性能指標に基づきアクセス先を決定する分散バックアップシステム |
-
2016
- 2016-02-09 JP JP2016022712A patent/JP6671708B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007073004A (ja) * | 2005-09-09 | 2007-03-22 | Canon Inc | データ保全情報装置、分散ストレージシステム及びその方法 |
JP2010079886A (ja) * | 2008-09-11 | 2010-04-08 | Nec Lab America Inc | 拡張可能な2次ストレージシステムと方法 |
US8504535B1 (en) * | 2010-12-20 | 2013-08-06 | Amazon Technologies, Inc. | Erasure coding and redundant replication |
JP2012226544A (ja) * | 2011-04-19 | 2012-11-15 | Clickbenefit Co Ltd | 情報処理システムおよびデータバックアップ方法 |
JP2015519674A (ja) * | 2012-06-13 | 2015-07-09 | カリンゴ・インコーポレーテッドCaringo Incorporated | ストレージクラスタにおける消失符号付加および複製 |
JP2015529861A (ja) * | 2012-09-20 | 2015-10-08 | 株式会社日立製作所 | 複数の性能指標に基づきアクセス先を決定する分散バックアップシステム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109426587A (zh) * | 2017-08-25 | 2019-03-05 | 杭州海康威视数字技术股份有限公司 | 一种数据恢复方法及装置 |
WO2021052416A1 (zh) * | 2019-09-18 | 2021-03-25 | 中兴通讯股份有限公司 | 容灾方法、装置、局点和存储介质 |
CN111666179A (zh) * | 2020-06-12 | 2020-09-15 | 重庆云海时代信息技术有限公司 | 一种多点数据容灾的智能复制系统及服务器 |
CN111666179B (zh) * | 2020-06-12 | 2023-03-28 | 重庆云海时代信息技术有限公司 | 一种多点数据容灾的智能复制系统及服务器 |
Also Published As
Publication number | Publication date |
---|---|
JP6671708B2 (ja) | 2020-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10860432B2 (en) | Cloud data backup storage manager | |
US11256558B1 (en) | Prioritized data rebuilding in a dispersed storage network based on consistency requirements | |
JP6483746B2 (ja) | データ記憶アプリケーションプログラミングインターフェース | |
CN101488104B (zh) | 一种实现高效安全存储的系统和方法 | |
US7529785B1 (en) | Efficient backups using dynamically shared storage pools in peer-to-peer networks | |
US9250811B1 (en) | Data write caching for sequentially written media | |
US9092441B1 (en) | Archival data organization and management | |
JP6725742B2 (ja) | ファイルストレージ、オブジェクトストレージ、およびストレージシステム | |
US10659225B2 (en) | Encrypting existing live unencrypted data using age-based garbage collection | |
JP2017518565A (ja) | 散在ストレージ・ネットワークにおける多世代記憶されたデータの読取り | |
US8954793B2 (en) | Method and a storage server for data redundancy | |
JP2016513306A (ja) | データ格納方法、データストレージ装置、及びストレージデバイス | |
WO2018121456A1 (zh) | 一种数据存储方法、服务器以及存储系统 | |
JP6133396B2 (ja) | 計算機システム、サーバ、及び、データ管理方法 | |
JP5292351B2 (ja) | メッセージキュー管理システム及びロックサーバ及びメッセージキュー管理方法及びメッセージキュー管理プログラム | |
US8315986B1 (en) | Restore optimization | |
US11768624B2 (en) | Resilient implementation of client file operations and replication | |
CN103593264A (zh) | 远距离广域网络容灾备份系统及方法 | |
WO2024148824A1 (zh) | 数据处理方法、系统、装置、存储介质及电子设备 | |
JP6671708B2 (ja) | バックアップリストアシステム及びバックアップリストア方法 | |
US20160139996A1 (en) | Methods for providing unified storage for backup and disaster recovery and devices thereof | |
JP5292350B2 (ja) | メッセージキュー管理システム及びロックサーバ及びメッセージキュー管理方法及びメッセージキュー管理プログラム | |
JP2018524705A (ja) | データ転送中にデータアクセス要求を処理するための方法及びシステム | |
JP6376626B2 (ja) | データ格納方法、データストレージ装置、及びストレージデバイス | |
US20190034278A1 (en) | Determining missing encoded data slices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180628 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180628 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190328 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190514 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190627 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191203 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200106 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200128 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200221 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6671708 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |