JP2013528883A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2013528883A5 JP2013528883A5 JP2013515367A JP2013515367A JP2013528883A5 JP 2013528883 A5 JP2013528883 A5 JP 2013528883A5 JP 2013515367 A JP2013515367 A JP 2013515367A JP 2013515367 A JP2013515367 A JP 2013515367A JP 2013528883 A5 JP2013528883 A5 JP 2013528883A5
- Authority
- JP
- Japan
- Prior art keywords
- checkpoint
- storage
- data
- file system
- update
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011084 recovery Methods 0.000 claims 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 claims 1
- 239000004071 soot Substances 0.000 claims 1
Claims (15)
- 少なくとも一部がコンピューターによって実施される方法であって、
第1の組の更新が第1のチェックポイントに関連付けられることを示すステップと、
前記第1のチェックポイントに関するチェックポイント・データを、ファイルシステムのデータを更新するためにコピーオンライトを使用する前記ファイルシステムの記憶域に書き込むことを決定するステップと、
前記第1の組の更新の後に行われる更新が後続のチェックポイントに関連付けられることを示すステップと、
前記第1の組の更新のための書込み計画を生成するステップであって、それぞれの書込み計画が、前記第1の組の更新の少なくとも1つを表すデータについて記憶域上の少なくとも1つの計画された位置を示す、ステップと、
前記ファイルシステムの割当てデータ、ならびに前記書込み計画によって修正されたファイルシステムオブジェクトの記憶位置を示すようにメタデータを更新するステップと、
前記メタデータの論理的なコピーを作成するステップと
を含む方法。 - 前記書込み計画の作成と並行して前記後続の更新のための書込み計画の生成を可能にしつつ、前記第1のチェックポイント・データを書き込むための書込み計画を作成するステップと、
少なくとも1つの検証コードを記憶域に書き込むステップであって、前記チェックポイント・データの前記少なくとも1つの検証コード部分、前記少なくとも1つの検証コードが、前記第1の組の更新が記憶域に正確に書き込まれたかどうか決定するために使用可能である、ステップと
をさらに含む請求項1に記載の方法。 - 前記少なくとも1つの検証コードを記憶域に書き込むステップより前に、前記第1の組の更新を表すデータが記憶域に書き込まれるのを待つステップ
をさらに含む請求項2に記載の方法。 - 少なくとも1つの検証コードを記憶域に書き込むステップが、前記メタデータの前記論理的なコピーを表す少なくとも1つのツリーデータ構造のルートノードを参照する他のデータと共にブロックで記憶域に単一の検証コードを書き込むステップを含み、
前記ブロックを検証するために前記単一の検証コードを計算するステップをさらに含む請求項2に記載の方法。 - 前記少なくとも1つの検証コードを読み出すステップと、記憶域内のデータから少なくとも1つの他の検証コードを計算するステップと、前記少なくとも1つの検証コードを前記少なくとも1つの他の検証コードと比較するステップと、それに基づいて、前記第1の組の更新を表すすべてのデータが記憶域にうまく書き込まれたかどうか決定するステップをさらに含む請求項2に記載の方法。
- 第1の組の更新が第1のチェックポイントに関連付けられることを示すステップが、データ構造が別のチェックポイントを示すように更新される前に行われる更新に前記第1のチェックポイントが使用されることを示す前記データ構造を更新するステップを含む請求項1に記載の方法。
- 前記メタデータの論理的なコピーを作成するステップが、前記第1の組の更新のうちの前記少なくとも1つの更新を表す前記データを前記記憶域に書き込むのと並行して前記論理的なコピーを作成するステップを含む請求項1に記載の方法。
- コンピューティング環境内におけるシステムであって、
ファイルシステムのファイルシステムオブジェクトを更新するよう求める要求を受信するよう動作可能なインターフェースと、
前記要求に応じるためストアに送る1つまたは複数のI/O要求を決定するように動作可能なI/Oマネージャーと、
アクションを実行するように動作可能なチェックポイント・マネージャーであって、前記アクションが、
ファイルシステムオブジェクトを更新するよう求める要求に関連する第1のチェックポイントを決定することであって、前記チェックポイント・マネージャーが要求をそれぞれ異なるチェックポイントに割り当てることができる、決定することと、
前記チェックポイントに関連するチェックポイント・データを前記ファイルシステムの記憶域に書き込むことを決定することと、
ファイルシステムオブジェクトを更新するよう求める後続の要求の第2のチェックポイントを決定することと、
前記後続の要求のためのデータの書込みの準備を可能にしながら、前記ファイルシステムの整合性状態を待つことと、
前記ファイルシステムのメタデータの論理的なコピーを作成することと、
前記論理的コピーを前記記憶域に書き込むことと、
少なくとも1つの検証コードを前記記憶域に書き込むことであって、前記少なくとも1つの検証コードが、前記チェックポイントより前の前記更新が記憶域に書き込まれたかどうか決定するのに使用可能である、書き込むことと
を含む、チェックポイント・マネージャーと
を備えるシステム。 - 前記チェックポイント・マネージャーが、ファイルシステムオブジェクトを更新するよう求める要求に関連するチェックポイントを決定するように動作可能であり、前記チェックポイント・マネージャーが、前記チェックポイントに関連するチェックポイント・データを前記ファイルシステムの記憶域に書き込むことを決定する前に行われる更新に前記第1のチェックポイントが使用されること、およびその後に行われる更新に前記第2のチェックポイントが使用されることを示すデータ構造を更新するように動作可能である請求項8に記載のシステム。
- 前記チェックポイント・マネージャーが、前記チェックポイントに関連するチェックポイント・データを前記ファイルシステムの記憶域に書き込むことを決定するように動作可能であることが、前記チェックポイント・マネージャーが、チェックポイント時間が終了したと決定するように動作可能であることを含み、前記チェックポイント時間がリカバリーウィンドウに基づく請求項8に記載のシステム。
- 前記ファイルシステムの整合性状態を維持するために前記ファイルシステムオブジェクトと共に更新されるすべてのファイルシステムオブジェクトの記憶域上の位置を示す書込み計画を生成するように動作可能な書込み計画マネージャーをさらに備える請求項8に記載のシステム。
- 前記チェックポイント・マネージャーが前記ファイルシステムの整合性状態を待つように動作可能であることが、前記チェックポイント・マネージャーが、前記第1のチェックポイントファイルシステムオブジェクトに関連するすべての更新が前記ファイルシステムの記憶域内に表されるまで待つように動作可能であることを含む請求項8に記載のシステム。
- 前記チェックポイント・マネージャーが後続の要求のためのデータ書込みの準備を可能にすることが、前記チェックポイント・マネージャーが、前記後続の要求のために書込み計画が生成され、記憶域に書き込まれることを可能にするが、前記メタデータの前記論理的なコピーの作成後まで、前記メタデータの更新を可能にしないように動作可能であることを含む請求項8に記載のシステム。
- 実行されたときにアクションを実施するコンピューター実行可能命令を有するコンピューター記憶媒体であって、前記アクションが、
ファイルシステムのリカバリー要求を受信することと、
前記ファイルシステムの記憶域内でチェックポイントのチェックポイント・データを突き止めることであって、前記チェックポイント・データが、アクションによって以前に生成されている、突き止めることとを含み、該アクションが、
前記チェックポイントに関連する更新の後に行われる更新が後続のチェックポイントに割り当てられることを示すこと、
前記チェックポイントに関連する前記更新の書込み計画を生成することであって、それぞれの書込み計画が、前記更新のうちの少なくとも1つを表すための記憶域内の少なくとも1つの計画された位置を示す、生成すること、
前記書込み計画によって修正されたオブジェクトの記憶位置を示すようにメタデータを更新すること、
前記メタデータの論理的なコピーを作成すること、及び
前記チェックポイントに関して記憶域に少なくとも1つの検証コードを書き込むこと
を含み、
前記検証コードを使用して前記チェックポイント・データを検証することを含むコンピューター記憶媒体。 - 前記検証コードを使用して前記チェックポイント・データを検証することが、前記チェックポイント・データのチェックサムを計算することと、前記チェックポイント・データの前記チェックサムを前記検証コードと比較することとを含む請求項14に記載のコンピューター記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/815,418 | 2010-06-15 | ||
US12/815,418 US8224780B2 (en) | 2010-06-15 | 2010-06-15 | Checkpoints for a file system |
PCT/US2011/038811 WO2011159476A2 (en) | 2010-06-15 | 2011-06-01 | Checkpoints for a file system |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013528883A JP2013528883A (ja) | 2013-07-11 |
JP2013528883A5 true JP2013528883A5 (ja) | 2014-06-19 |
JP5735104B2 JP5735104B2 (ja) | 2015-06-17 |
Family
ID=45097053
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013515367A Active JP5735104B2 (ja) | 2010-06-15 | 2011-06-01 | ファイルシステムのチェックポイント |
Country Status (11)
Country | Link |
---|---|
US (3) | US8224780B2 (ja) |
EP (1) | EP2583202B1 (ja) |
JP (1) | JP5735104B2 (ja) |
KR (2) | KR101805948B1 (ja) |
CN (1) | CN102934114B (ja) |
AU (1) | AU2011265653B2 (ja) |
BR (1) | BR112012031912B1 (ja) |
CA (1) | CA2803763C (ja) |
RU (1) | RU2554847C2 (ja) |
TW (1) | TWI492077B (ja) |
WO (1) | WO2011159476A2 (ja) |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8433865B2 (en) | 2009-12-11 | 2013-04-30 | Microsoft Corporation | Consistency without ordering dependency |
US8793440B2 (en) | 2010-06-17 | 2014-07-29 | Microsoft Corporation | Error detection for files |
US9155320B2 (en) * | 2011-07-06 | 2015-10-13 | International Business Machines Corporation | Prefix-based leaf node storage for database system |
US8776094B2 (en) | 2011-08-11 | 2014-07-08 | Microsoft Corporation | Runtime system |
US9766986B2 (en) | 2013-08-08 | 2017-09-19 | Architecture Technology Corporation | Fight-through nodes with disposable virtual machines and rollback of persistent state |
US9769250B2 (en) | 2013-08-08 | 2017-09-19 | Architecture Technology Corporation | Fight-through nodes with disposable virtual machines and rollback of persistent state |
US9838415B2 (en) | 2011-09-14 | 2017-12-05 | Architecture Technology Corporation | Fight-through nodes for survivable computer network |
US8543544B2 (en) * | 2012-01-06 | 2013-09-24 | Apple Inc. | Checkpoint based progressive backup |
FR2989801B1 (fr) * | 2012-04-18 | 2014-11-21 | Schneider Electric Ind Sas | Procede de gestion securisee d'un espace memoire pour microcontroleur |
KR102050723B1 (ko) | 2012-09-28 | 2019-12-02 | 삼성전자 주식회사 | 컴퓨팅 시스템 및 그 데이터 관리 방법 |
US9003228B2 (en) * | 2012-12-07 | 2015-04-07 | International Business Machines Corporation | Consistency of data in persistent memory |
US9304998B2 (en) * | 2012-12-19 | 2016-04-05 | Microsoft Technology Licensing, Llc | Main-memory database checkpointing |
WO2015116190A1 (en) | 2014-01-31 | 2015-08-06 | Hewlett-Packard Development Company, L.P. | Persistent memory controller based atomicity assurance |
CN103984609B (zh) * | 2014-05-28 | 2017-06-16 | 华为技术有限公司 | 一种基于写时复制的文件系统中回收检查点的方法和装置 |
US10635504B2 (en) | 2014-10-16 | 2020-04-28 | Microsoft Technology Licensing, Llc | API versioning independent of product releases |
US9892153B2 (en) * | 2014-12-19 | 2018-02-13 | Oracle International Corporation | Detecting lost writes |
CN106294357B (zh) * | 2015-05-14 | 2019-07-09 | 阿里巴巴集团控股有限公司 | 数据处理方法和流计算系统 |
US10031817B2 (en) | 2015-11-05 | 2018-07-24 | International Business Machines Corporation | Checkpoint mechanism in a compute embedded object storage infrastructure |
US10284592B1 (en) | 2015-12-17 | 2019-05-07 | Architecture Technology Corporation | Application randomization mechanism |
US10200401B1 (en) | 2015-12-17 | 2019-02-05 | Architecture Technology Corporation | Evaluating results of multiple virtual machines that use application randomization mechanism |
US10007498B2 (en) | 2015-12-17 | 2018-06-26 | Architecture Technology Corporation | Application randomization mechanism |
US10412114B1 (en) | 2015-12-17 | 2019-09-10 | Architecture Technology Corporation | Application randomization mechanism |
US10200406B1 (en) | 2015-12-17 | 2019-02-05 | Architecture Technology Corporation | Configuration of application randomization mechanism |
US10412116B1 (en) | 2015-12-17 | 2019-09-10 | Architecture Technology Corporation | Mechanism for concealing application and operation system identity |
CN105930223A (zh) * | 2016-04-24 | 2016-09-07 | 湖南大学 | 一种减少检查点文件大小的方法 |
US20220100374A1 (en) * | 2016-08-19 | 2022-03-31 | Ic Manage Inc | Hierarchical file block variant tracking for performance in parallelism at multi-disk arrays |
KR101969799B1 (ko) * | 2016-09-07 | 2019-04-17 | 울산과학기술원 | 전자 장치 및 제어 방법 |
CN108509460B (zh) * | 2017-02-28 | 2021-07-20 | 微软技术许可有限责任公司 | 分布式系统中的数据一致性检查 |
US10554685B1 (en) | 2017-05-25 | 2020-02-04 | Architecture Technology Corporation | Self-healing architecture for resilient computing services |
US20190102262A1 (en) * | 2017-09-29 | 2019-04-04 | Intel Corporation | Automated continuous checkpointing |
KR102022481B1 (ko) * | 2017-12-06 | 2019-09-18 | 연세대학교 산학협력단 | Gpu 사용량을 이용한 고성능 컴퓨팅 시스템의 체크포인트 생성 방법 |
KR102468737B1 (ko) * | 2017-12-19 | 2022-11-21 | 에스케이하이닉스 주식회사 | 메모리 시스템 및 메모리 시스템의 동작방법 |
US10754785B2 (en) | 2018-06-28 | 2020-08-25 | Intel Corporation | Checkpointing for DRAM-less SSD |
US11416453B2 (en) * | 2019-04-23 | 2022-08-16 | EMC IP Holding Company LLC | Facilitating checkpoint locks for distributed systems |
US11822435B2 (en) | 2020-07-06 | 2023-11-21 | Bank Of America Corporation | Consolidated data restoration framework |
US11620084B2 (en) | 2020-12-30 | 2023-04-04 | Samsung Electronics Co., Ltd. | Storage device including memory controller and operating method of memory controller |
CN113538754B (zh) * | 2021-06-08 | 2023-04-07 | 福建新大陆通信科技股份有限公司 | 一种ctid智能门锁授权数据管理方法及系统 |
CN116048384A (zh) * | 2022-11-02 | 2023-05-02 | 中国科学院空间应用工程与技术中心 | 一种文件系统元数据的写入方法和系统 |
Family Cites Families (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4959771A (en) * | 1987-04-10 | 1990-09-25 | Prime Computer, Inc. | Write buffer for a digital processing system |
EP1003103B1 (en) * | 1993-06-03 | 2008-10-01 | Network Appliance, Inc. | Write anywhere file-system layout method and apparatus |
US5963962A (en) * | 1995-05-31 | 1999-10-05 | Network Appliance, Inc. | Write anywhere file-system layout |
US6035399A (en) * | 1995-04-07 | 2000-03-07 | Hewlett-Packard Company | Checkpoint object |
US5864657A (en) * | 1995-11-29 | 1999-01-26 | Texas Micro, Inc. | Main memory system and checkpointing protocol for fault-tolerant computer system |
US5907849A (en) * | 1997-05-29 | 1999-05-25 | International Business Machines Corporation | Method and system for recovery in a partitioned shared nothing database system using virtual share disks |
US6185663B1 (en) * | 1998-06-15 | 2001-02-06 | Compaq Computer Corporation | Computer method and apparatus for file system block allocation with multiple redo |
US6374264B1 (en) * | 1998-09-04 | 2002-04-16 | Lucent Technologies Inc. | Method and apparatus for detecting and recovering from data corruption of a database via read prechecking and deferred maintenance of codewords |
JP2001101044A (ja) * | 1999-09-29 | 2001-04-13 | Toshiba Corp | トランザクショナルファイル管理方法、トランザクショナルファイルシステム及び複合トランザクショナルファイルシステム |
US6571259B1 (en) * | 2000-09-26 | 2003-05-27 | Emc Corporation | Preallocation of file system cache blocks in a data storage system |
US6629198B2 (en) * | 2000-12-08 | 2003-09-30 | Sun Microsystems, Inc. | Data storage system and method employing a write-ahead hash log |
US7730213B2 (en) * | 2000-12-18 | 2010-06-01 | Oracle America, Inc. | Object-based storage device with improved reliability and fast crash recovery |
US6678809B1 (en) * | 2001-04-13 | 2004-01-13 | Lsi Logic Corporation | Write-ahead log in directory management for concurrent I/O access for block storage |
JP2003223350A (ja) * | 2002-01-29 | 2003-08-08 | Ricoh Co Ltd | データベースシステム |
US6993539B2 (en) | 2002-03-19 | 2006-01-31 | Network Appliance, Inc. | System and method for determining changes in two snapshots and for transmitting changes to destination snapshot |
US20040216130A1 (en) * | 2002-08-30 | 2004-10-28 | Keller S. Brandon | Method for saving and restoring data in software objects |
US7457822B1 (en) | 2002-11-01 | 2008-11-25 | Bluearc Uk Limited | Apparatus and method for hardware-based file system |
US7216254B1 (en) | 2003-03-24 | 2007-05-08 | Veritas Operating Corporation | Method and system of providing a write-accessible storage checkpoint |
US7412460B2 (en) * | 2003-06-19 | 2008-08-12 | International Business Machines Corporation | DBMS backup without suspending updates and corresponding recovery using separately stored log and data files |
JP3798767B2 (ja) * | 2003-06-26 | 2006-07-19 | 株式会社東芝 | ディスク制御システム及びディスク制御プログラム |
US7401093B1 (en) | 2003-11-10 | 2008-07-15 | Network Appliance, Inc. | System and method for managing file data during consistency points |
US7721062B1 (en) | 2003-11-10 | 2010-05-18 | Netapp, Inc. | Method for detecting leaked buffer writes across file system consistency points |
US7054960B1 (en) * | 2003-11-18 | 2006-05-30 | Veritas Operating Corporation | System and method for identifying block-level write operations to be transferred to a secondary site during replication |
US7168001B2 (en) * | 2004-02-06 | 2007-01-23 | Hewlett-Packard Development Company, L.P. | Transaction processing apparatus and method |
US7664965B2 (en) * | 2004-04-29 | 2010-02-16 | International Business Machines Corporation | Method and system for bootstrapping a trusted server having redundant trusted platform modules |
JP4104586B2 (ja) * | 2004-09-30 | 2008-06-18 | 株式会社東芝 | ファイル管理機能を備えたファイルシステム及びファイル管理方法 |
US7505410B2 (en) * | 2005-06-30 | 2009-03-17 | Intel Corporation | Method and apparatus to support efficient check-point and role-back operations for flow-controlled queues in network devices |
US7693864B1 (en) * | 2006-01-03 | 2010-04-06 | Netapp, Inc. | System and method for quickly determining changed metadata using persistent consistency point image differencing |
US20070234342A1 (en) * | 2006-01-25 | 2007-10-04 | Flynn John T Jr | System and method for relocating running applications to topologically remotely located computing systems |
WO2007091237A2 (en) * | 2006-02-06 | 2007-08-16 | Filesx, Inc. | Long term backup on disk |
US7769723B2 (en) * | 2006-04-28 | 2010-08-03 | Netapp, Inc. | System and method for providing continuous data protection |
US7870356B1 (en) * | 2007-02-22 | 2011-01-11 | Emc Corporation | Creation of snapshot copies using a sparse file for keeping a record of changed blocks |
US8495573B2 (en) | 2007-10-04 | 2013-07-23 | International Business Machines Corporation | Checkpoint and restartable applications and system services |
TWI476610B (zh) * | 2008-04-29 | 2015-03-11 | Maxiscale Inc | 同級間冗餘檔案伺服器系統及方法 |
WO2010049391A2 (en) * | 2008-10-30 | 2010-05-06 | International Business Machines Corporation | Performing a data write on a storage device |
-
2010
- 2010-06-15 US US12/815,418 patent/US8224780B2/en active Active
-
2011
- 2011-05-09 TW TW100116194A patent/TWI492077B/zh not_active IP Right Cessation
- 2011-06-01 CA CA2803763A patent/CA2803763C/en active Active
- 2011-06-01 CN CN201180029522.9A patent/CN102934114B/zh active Active
- 2011-06-01 KR KR1020127032646A patent/KR101805948B1/ko active Application Filing
- 2011-06-01 EP EP11796160.7A patent/EP2583202B1/en active Active
- 2011-06-01 JP JP2013515367A patent/JP5735104B2/ja active Active
- 2011-06-01 WO PCT/US2011/038811 patent/WO2011159476A2/en active Application Filing
- 2011-06-01 AU AU2011265653A patent/AU2011265653B2/en active Active
- 2011-06-01 RU RU2012154324/08A patent/RU2554847C2/ru active
- 2011-06-01 BR BR112012031912-4A patent/BR112012031912B1/pt active IP Right Grant
- 2011-06-01 KR KR1020177033663A patent/KR101840996B1/ko active IP Right Grant
-
2012
- 2012-06-22 US US13/530,269 patent/US8924356B2/en active Active
-
2014
- 2014-12-19 US US14/578,248 patent/US20150178165A1/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2013528883A5 (ja) | ||
RU2012154324A (ru) | Контрольные точки для файловой системы | |
CN111480149B (zh) | 持久存储器设备中的预写式日志记录 | |
US20180157674A1 (en) | Distributed nfs metadata server | |
JP2013513862A5 (ja) | ||
JP2018152127A (ja) | 注釈付きアトミック書き込み操作を行う方法および装置 | |
JP2014513338A5 (ja) | 仮想ディスクの最適圧縮のための方法、コンピュータ可読記憶媒体及びシステム | |
CN104756066B (zh) | 在源逻辑地址和目标逻辑地址之间建立时间点拷贝关系的系统及方法 | |
JP2013542486A5 (ja) | ||
WO2017041654A1 (zh) | 用于分布式存储系统的写入数据、获取数据的方法和设备 | |
JP2014515148A5 (ja) | ||
WO2019174205A1 (zh) | 一种垃圾回收的方法、装置及存储设备 | |
JP2014507713A5 (ja) | ||
US9286320B2 (en) | System and method for maintaining consistency among metadata elements of filesystem's logical objects | |
JP5582418B2 (ja) | トランザクションメモリ | |
RU2012129205A (ru) | Корректность без зависимости от упорядоченности | |
US10552403B2 (en) | Using checksums to reduce the write latency of logging | |
Son et al. | SSD-assisted backup and recovery for database systems | |
JP5721056B2 (ja) | トランザクション処理装置、トランザクション処理方法およびトランザクション処理プログラム | |
WO2014117337A1 (zh) | 数据更新方法及装置和产品 | |
US9582209B2 (en) | Efficient data deployment for a parallel data processing system | |
CN102024021A (zh) | 一种逻辑文件系统元数据的日志方法 | |
Dorożyński et al. | Checkpointing of parallel mpi applications using mpi one-sided api with support for byte-addressable non-volatile ram | |
CN105556462A (zh) | 写入文件和文件元数据 | |
TW201034020A (en) | Embedded electronic device and method for storing data |