JP2012064217A - データ復元方法及びサーバ装置 - Google Patents
データ復元方法及びサーバ装置 Download PDFInfo
- Publication number
- JP2012064217A JP2012064217A JP2011202692A JP2011202692A JP2012064217A JP 2012064217 A JP2012064217 A JP 2012064217A JP 2011202692 A JP2011202692 A JP 2011202692A JP 2011202692 A JP2011202692 A JP 2011202692A JP 2012064217 A JP2012064217 A JP 2012064217A
- Authority
- JP
- Japan
- Prior art keywords
- data
- storage device
- storage
- replication
- replication set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/16—Protection against loss of memory contents
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
- G06F16/184—Distributed file systems implemented as replicated file system
- G06F16/1844—Management specifically adapted to replicated file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/273—Asynchronous replication or reconciliation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/065—Replication mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
- H04L41/0668—Management of faults, events, alarms or notifications using network fault recovery by dynamic selection of recovery network elements, e.g. replacement by the most appropriate element after failure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
- H04L43/0811—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking connectivity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Environmental & Geological Engineering (AREA)
- Multimedia (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Computer And Data Communications (AREA)
- Debugging And Monitoring (AREA)
- Information Transfer Between Computers (AREA)
- Multi Processors (AREA)
Abstract
【解決手段】本発明は一般に分散型データストレージシステムに関連する。特に本発明は所望のデータ復元レベルを保証するのに必要なデータの観点から分散型データストレージシステムを最適化することに関連する。
【選択図】図4
Description
ストレージ装置として少なくとも使用されるネットワーク装置を含む分散型データストレージシステムにおけるデータ復元方法であって、
保存するデータ項目各々について、前記分散型データストレージシステムにおける所定数個(k個)のストレージ装置を表現するレプリケーション集合を選択するステップであって、前記所定数個(k個)のストレージ装置は前記データ項目を保存するために選択されており、前記所定数kはレプリケーションレベルを表す、ステップと、
前記レプリケーション集合に属するストレージ装置各々について、該ストレージ装置に関連するタイマのタイムアウト値を決定するステップであって、該タイマは、前記ストレージ装置が前記分散型データストレージシステムから離脱すると計時し始め且つ前記ストレージ装置が前記分散型データストレージシステムに再接続すると止まり、前記タイマが満了すると前記ストレージ装置は切断されたものと判断され、前記タイムアウト値は前記ストレージ装置について測定された休止時間データの分布を表す関数により決定され、前記休止時間データは、前記分散型データストレージシステムにおいて前記ストレージ装置が利用可能でなかった期間を表す、ステップと、
少なくとも1つの前記ストレージ装置が切断されたと判断された場合において、前記レプリケーション集合に属する接続されているストレージ装置の数が所定の閾値を下回っていた場合、少なくとも1つの別のストレージ装置を前記レプリケーション集合のために新たに選択し、該少なくとも1つの別のストレージ装置におけるデータ項目から新たなデータ項目を生成し、該少なくとも1つの別のストレージ装置を前記レプリケーション集合に加えることで、前記レプリケーションレベルを復元するステップと
を有するデータ復元方法である。
ストレージ装置として少なくとも使用されるネットワーク装置を含む分散型データストレージシステムにおけるデータ復元方法である。本方法は少なくとも以下のステップを有する:
_データ項目の保存各々について、レプリケーション集合を選択するステップ。レプリケーション集合は、分散型データストレージシステムにおける所定数個(k個)のストレージ装置を表現し、所定数個のストレージ装置はデータ項目を保存するために選択されている。所定数kはレプリケーションレベルを表す。
_データ項目の保存各々について、レプリケーション集合を選択する手段。レプリケーション集合は、分散型データストレージシステムにおける所定数個(k個)のストレージ装置を表現し、所定数個のストレージ装置はデータ項目を保存するために選択されている。所定数kはレプリケーションレベルを表す。
timeoutvalue = a/c*timeout value
ここで、aはレプリケーション集合に属する接続された装置として観測された装置数であり、cはレプリケーション集合に属する接続された装置の所望数である。a>cであった場合、因子a/cは1より大きく、タイムアウト値は増やされることになり、「活発(aggressive)」でないタイムアウト設定となり、レプリケーション集合において離脱した装置の置換(復元又は復旧)を遅らせることになる。a=cであった場合、タイムアウト値は不変のまま残る。a<cであった場合、タイムアウト値は減少し、より「活発(aggressive)」なタイムアウト設定となり、レプリケーション集合において離脱した装置の置換(復元又は復旧)を加速することになる。
12、14 ゲートウェイ
17 サーバ
1003 ネットワーク
Claims (6)
- ストレージ装置として少なくとも使用されるネットワーク装置を含む分散型データストレージシステムにおけるデータ復元方法であって、
保存するデータ項目各々について、前記分散型データストレージシステムにおける所定数個(k個)のストレージ装置を表現するレプリケーション集合を選択するステップであって、前記所定数個(k個)のストレージ装置は前記データ項目を保存するために選択されており、前記所定数kはレプリケーションレベルを表す、ステップと、
前記レプリケーション集合に属するストレージ装置各々について、該ストレージ装置に関連するタイマのタイムアウト値を決定するステップであって、該タイマは、前記ストレージ装置が前記分散型データストレージシステムから離脱すると計時し始め且つ前記ストレージ装置が前記分散型データストレージシステムに再接続すると止まり、前記タイマが満了すると前記ストレージ装置は切断されたものと判断され、前記タイムアウト値は前記ストレージ装置について測定された休止時間データの分布を表す関数により決定され、前記休止時間データは、前記分散型データストレージシステムにおいて前記ストレージ装置が利用可能でなかった期間を表す、ステップと、
少なくとも1つの前記ストレージ装置が切断されたと判断された場合において、前記レプリケーション集合に属する接続されているストレージ装置の数が所定の閾値を下回っていた場合、少なくとも1つの別のストレージ装置を前記レプリケーション集合のために新たに選択し、該少なくとも1つの別のストレージ装置におけるデータ項目から新たなデータ項目を生成し、該少なくとも1つの別のストレージ装置を前記レプリケーション集合に加えることで、前記レプリケーションレベルを復元するステップと
を有するデータ復元方法。 - 前記ストレージ装置に関連する前記タイマが満了した後、前記ストレージ装置が前記分散型データストレージシステムに再接続した場合に、前記ストレージ装置が属していたレプリケーション集合に前記ストレージ装置を復帰させるステップを更に有する、請求項1記載のデータ復元方法。
- 前記レプリケーション集合に属する前記ストレージ装置各々について決定されたタイムアウト値が、前記レプリケーション集合について決定されたクリティカル因子に適合させられており、該クリティカル因子は前記レプリケーション集合において利用可能なストレージ装置の数と前記レプリケーションレベルとの間の差分に応じて決定される、請求項1又は2に記載のデータ復元方法。
- 前記クリティカル因子は、2つの異なる前記休止時間データの測定値同士の間における、前記レプリケーション集合に属する接続されているストレージ装置数の差分に応じて決定される、請求項3記載のデータ復元方法。
- ストレージ装置として少なくとも使用されるネットワーク装置を含む分散型データストレージシステムにおけるデータ復元のためのサーバ装置であって、
保存するデータ項目各々について、前記分散型データストレージシステムにおける所定数個(k個)のストレージ装置を表現するレプリケーション集合を選択する手段であって、前記所定数個(k個)のストレージ装置は前記データ項目を保存するために選択されており、前記所定数kはレプリケーションレベルを表す、手段と、
前記レプリケーション集合に属するストレージ装置各々について、該ストレージ装置に関連するタイマのタイムアウト値を決定する手段であって、該タイマは、前記ストレージ装置が前記分散型データストレージシステムから離脱すると計時し始め且つ前記ストレージ装置が前記分散型データストレージシステムに再接続すると止まり、前記タイマが満了すると前記ストレージ装置は切断されたものと判断され、前記タイムアウト値は前記ストレージ装置について測定された休止時間データの分布を表す関数により決定され、前記休止時間データは、前記分散型データストレージシステムにおいて前記ストレージ装置が利用可能でなかった期間を表す、手段と、
少なくとも1つの前記ストレージ装置が切断されたと判断された場合において、前記レプリケーション集合に属する接続されているストレージ装置の数が所定の閾値を下回っていた場合、少なくとも1つの別のストレージ装置を前記レプリケーション集合のために新たに選択し、該少なくとも1つの別のストレージ装置におけるデータ項目から新たなデータ項目を生成し、該少なくとも1つの別のストレージ装置を前記レプリケーション集合に加えることで、前記レプリケーションレベルを復元する手段と
を有するサーバ装置。 - 請求項1記載のデータ復元方法をコンピュータに実行させるプログラムコード命令を含むコンピュータプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP10306000.0 | 2010-09-20 | ||
EP10306000A EP2439908A1 (en) | 2010-09-20 | 2010-09-20 | Method of data replication in a distributed data storage system and corresponding device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012064217A true JP2012064217A (ja) | 2012-03-29 |
JP5836722B2 JP5836722B2 (ja) | 2015-12-24 |
Family
ID=43920327
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011202692A Expired - Fee Related JP5836722B2 (ja) | 2010-09-20 | 2011-09-16 | データ復元方法及びサーバ装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8812801B2 (ja) |
EP (2) | EP2439908A1 (ja) |
JP (1) | JP5836722B2 (ja) |
KR (1) | KR20120030938A (ja) |
CN (1) | CN102411607B (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9336091B2 (en) | 2014-03-06 | 2016-05-10 | International Business Machines Corporation | Reliability enhancement in a distributed storage system |
US10033803B1 (en) * | 2014-10-31 | 2018-07-24 | Amazon Technologies, Inc. | Data volume auto-repair based on volume degradation level |
CN105227345A (zh) * | 2015-08-24 | 2016-01-06 | 北京汉柏科技有限公司 | 一种连接的超时时间设置方法及装置 |
US10379742B2 (en) | 2015-12-28 | 2019-08-13 | Netapp, Inc. | Storage zone set membership |
US10514984B2 (en) * | 2016-02-26 | 2019-12-24 | Netapp, Inc. | Risk based rebuild of data objects in an erasure coded storage system |
US10055317B2 (en) | 2016-03-22 | 2018-08-21 | Netapp, Inc. | Deferred, bulk maintenance in a distributed storage system |
US11733874B2 (en) * | 2021-05-03 | 2023-08-22 | EMC IP Holding Company LLC | Managing replication journal in a distributed replication system |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004341961A (ja) * | 2003-05-16 | 2004-12-02 | Nippon Telegr & Teleph Corp <Ntt> | ストレージシステムおよびストレージプログラム |
WO2010037794A2 (en) * | 2008-10-03 | 2010-04-08 | Telefonaktiebolaget Lm Ericsson (Publ) | Monitoring mechanism for a distributed database |
WO2010046393A2 (en) * | 2008-10-24 | 2010-04-29 | Ilt Productions Ab | Distributed data storage |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7571215B2 (en) * | 2001-07-16 | 2009-08-04 | Bea Systems, Inc. | Data replication protocol |
CN1658560A (zh) * | 2005-02-28 | 2005-08-24 | 中国人民解放军国防科学技术大学 | 一种基于预测的快速数据复制方法 |
WO2008038271A1 (en) * | 2006-09-28 | 2008-04-03 | Xeround Systems Ltd. | An apparatus and method for a distributed storage global database |
-
2010
- 2010-09-20 EP EP10306000A patent/EP2439908A1/en not_active Withdrawn
-
2011
- 2011-09-01 KR KR1020110088594A patent/KR20120030938A/ko not_active Application Discontinuation
- 2011-09-15 US US13/200,021 patent/US8812801B2/en not_active Expired - Fee Related
- 2011-09-16 JP JP2011202692A patent/JP5836722B2/ja not_active Expired - Fee Related
- 2011-09-20 CN CN201110279583.2A patent/CN102411607B/zh not_active Expired - Fee Related
- 2011-09-20 EP EP11181921A patent/EP2432193A3/en not_active Withdrawn
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004341961A (ja) * | 2003-05-16 | 2004-12-02 | Nippon Telegr & Teleph Corp <Ntt> | ストレージシステムおよびストレージプログラム |
WO2010037794A2 (en) * | 2008-10-03 | 2010-04-08 | Telefonaktiebolaget Lm Ericsson (Publ) | Monitoring mechanism for a distributed database |
WO2010046393A2 (en) * | 2008-10-24 | 2010-04-29 | Ilt Productions Ab | Distributed data storage |
Non-Patent Citations (1)
Title |
---|
JPN6015024626; Jing Tian 外4名: '"Probabilistic Failure Detection for Efficient Distributed Storage Maintenance"' IEEE Symposium on Reliable Distributed Systems, 2008. SRDS.2008.28, 20081006, pp.147-156, IEEE * |
Also Published As
Publication number | Publication date |
---|---|
EP2432193A3 (en) | 2012-07-11 |
CN102411607B (zh) | 2016-08-03 |
US8812801B2 (en) | 2014-08-19 |
EP2439908A1 (en) | 2012-04-11 |
CN102411607A (zh) | 2012-04-11 |
EP2432193A2 (en) | 2012-03-21 |
US20120072689A1 (en) | 2012-03-22 |
KR20120030938A (ko) | 2012-03-29 |
JP5836722B2 (ja) | 2015-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5836722B2 (ja) | データ復元方法及びサーバ装置 | |
CN110071821B (zh) | 确定事务日志的状态的方法,节点和存储介质 | |
US8185753B2 (en) | Storage medium for storing power consumption monitor program, power consumption monitor apparatus and power consumption monitor method | |
RU2501072C2 (ru) | Распределенное хранение восстанавливаемых данных | |
Montresor et al. | Robust aggregation protocols for large-scale overlay networks | |
US8260924B2 (en) | User load balancing systems and methods thereof | |
CN109151045A (zh) | 一种分布式云系统及监控方法 | |
CN106452836B (zh) | 主节点设置方法及装置 | |
JP5753030B2 (ja) | キャッシュクラウド構造を利用したキャッシュシステムおよびキャッシングサービスの提供方法 | |
US20160062859A1 (en) | Systems and methods to maintain data integrity and redundancy in a computing system having multiple computers | |
CN113190620B (zh) | Redis集群之间数据的同步方法、装置、设备及存储介质 | |
CN113965576A (zh) | 基于容器的大数据采集方法、装置、存储介质和设备 | |
Ali et al. | Probabilistic normed load monitoring in large scale distributed systems using mobile agents | |
Gankevich et al. | Subordination: Cluster management without distributed consensus | |
JP5813771B2 (ja) | 分散型データ記憶システムにデータを記憶する方法およびこれに対応する装置 | |
CN105323271A (zh) | 一种云计算系统以及云计算系统的处理方法和装置 | |
CN115314361B (zh) | 一种服务器集群管理方法及其相关组件 | |
CN112202895A (zh) | 监控指标数据的收集方法、系统、电子设备及存储介质 | |
CN113190344B (zh) | 一种面向软件定义卫星的神经网络动态重构部署的方法以及装置 | |
Danielis et al. | Extensive analysis of the kad-based distributed computing system dude | |
Picconi et al. | An analytical estimation of durability in DHTs | |
CN115277379B (zh) | 分布式锁容灾处理方法、装置、电子设备及存储介质 | |
Dandoush et al. | Performance analysis of centralized versus distributed recovery schemes in P2P storage systems | |
Tangmankhong et al. | Peer-to-peer fault tolerance framework for a grid computing system | |
JP6127005B2 (ja) | クラスタシステムのサーバ装置およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140908 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150518 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150623 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150915 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151006 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151104 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5836722 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |