JP2013528883A5 - - Google Patents

Download PDF

Info

Publication number
JP2013528883A5
JP2013528883A5 JP2013515367A JP2013515367A JP2013528883A5 JP 2013528883 A5 JP2013528883 A5 JP 2013528883A5 JP 2013515367 A JP2013515367 A JP 2013515367A JP 2013515367 A JP2013515367 A JP 2013515367A JP 2013528883 A5 JP2013528883 A5 JP 2013528883A5
Authority
JP
Japan
Prior art keywords
checkpoint
storage
data
file system
update
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013515367A
Other languages
English (en)
Other versions
JP5735104B2 (ja
JP2013528883A (ja
Filing date
Publication date
Priority claimed from US12/815,418 external-priority patent/US8224780B2/en
Application filed filed Critical
Publication of JP2013528883A publication Critical patent/JP2013528883A/ja
Publication of JP2013528883A5 publication Critical patent/JP2013528883A5/ja
Application granted granted Critical
Publication of JP5735104B2 publication Critical patent/JP5735104B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (15)

  1. 少なくとも一部がコンピューターによって実施される方法であって、
    第1の組の更新が第1のチェックポイントに関連付けられることを示すステップと、
    前記第1のチェックポイントに関するチェックポイント・データを、ファイルシステムのデータを更新するためにコピーオンライトを使用する前記ファイルシステムの記憶域に書き込むことを決定するステップと、
    前記第1の組の更新の後に行われる更新が後続のチェックポイントに関連付けられることを示すステップと、
    前記第1の組の更新のための書込み計画を生成するステップであって、それぞれの書込み計画が、前記第1の組の更新の少なくとも1つを表すデータについて記憶域上の少なくとも1つの計画された位置を示す、ステップと、
    前記ファイルシステムの割当てデータ、ならびに前記書込み計画によって修正されたファイルシステムオブジェクトの記憶位置を示すようにメタデータを更新するステップと、
    前記メタデータの論理的なコピーを作成するステップと
    を含む方法。
  2. 前記書込み計画の作成と並行して前記後続の更新のための書込み計画の生成を可能にしつつ、前記第1のチェックポイント・データを書き込むための書込み計画を作成するステップと、
    少なくとも1つの検証コードを記憶域に書き込むステップであって、前記チェックポイント・データの前記少なくとも1つの検証コード部分、前記少なくとも1つの検証コードが、前記第1の組の更新が記憶域に正確に書き込まれたかどうか決定するために使用可能である、ステップと
    をさらに含む請求項1に記載の方法。
  3. 前記少なくとも1つの検証コードを記憶域に書き込むステップより前に、前記第1の組の更新を表すデータが記憶域に書き込まれるのを待つステップ
    をさらに含む請求項2に記載の方法。
  4. 少なくとも1つの検証コードを記憶域に書き込むステップが、前記メタデータの前記論理的なコピーを表す少なくとも1つのツリーデータ構造のルートノードを参照する他のデータと共にブロックで記憶域に単一の検証コードを書き込むステップを含み、
    前記ブロックを検証するために前記単一の検証コードを計算するステップをさらに含む請求項2に記載の方法。
  5. 前記少なくとも1つの検証コードを読み出すステップと、記憶域内のデータから少なくとも1つの他の検証コードを計算するステップと、前記少なくとも1つの検証コードを前記少なくとも1つの他の検証コードと比較するステップと、それに基づいて、前記第1の組の更新を表すすべてのデータが記憶域にうまく書き込まれたかどうか決定するステップをさらに含む請求項2に記載の方法。
  6. 第1の組の更新が第1のチェックポイントに関連付けられることを示すステップが、データ構造が別のチェックポイントを示すように更新される前に行われる更新に前記第1のチェックポイントが使用されることを示す前記データ構造を更新するステップを含む請求項1に記載の方法。
  7. 前記メタデータの論理的なコピーを作成するステップが、前記第1の組の更新のうちの前記少なくとも1つの更新を表す前記データを前記記憶域に書き込むのと並行して前記論理的なコピーを作成するステップを含む請求項1に記載の方法。
  8. コンピューティング環境内におけるシステムであって、
    ファイルシステムのファイルシステムオブジェクトを更新するよう求める要求を受信するよう動作可能なインターフェースと、
    前記要求に応じるためストアに送る1つまたは複数のI/O要求を決定するように動作可能なI/Oマネージャーと、
    アクションを実行するように動作可能なチェックポイント・マネージャーであって、前記アクションが、
    ファイルシステムオブジェクトを更新するよう求める要求に関連する第1のチェックポイントを決定することであって、前記チェックポイント・マネージャーが要求をそれぞれ異なるチェックポイントに割り当てることができる、決定することと、
    前記チェックポイントに関連するチェックポイント・データを前記ファイルシステムの記憶域に書き込むことを決定することと、
    ファイルシステムオブジェクトを更新するよう求める後続の要求の第2のチェックポイントを決定することと、
    前記後続の要求のためのデータの書込みの準備を可能にしながら、前記ファイルシステムの整合性状態を待つことと、
    前記ファイルシステムのメタデータの論理的なコピーを作成することと、
    前記論理的コピーを前記記憶域に書き込むことと、
    少なくとも1つの検証コードを前記記憶域に書き込むことであって、前記少なくとも1つの検証コードが、前記チェックポイントより前の前記更新が記憶域に書き込まれたかどうか決定するのに使用可能である、書き込むことと
    を含む、チェックポイント・マネージャーと
    を備えるシステム。
  9. 前記チェックポイント・マネージャーが、ファイルシステムオブジェクトを更新するよう求める要求に関連するチェックポイントを決定するように動作可能であり、前記チェックポイント・マネージャーが、前記チェックポイントに関連するチェックポイント・データを前記ファイルシステムの記憶域に書き込むことを決定する前に行われる更新に前記第1のチェックポイントが使用されること、およびその後に行われる更新に前記第2のチェックポイントが使用されることを示すデータ構造を更新するように動作可能である請求項8に記載のシステム。
  10. 前記チェックポイント・マネージャーが、前記チェックポイントに関連するチェックポイント・データを前記ファイルシステムの記憶域に書き込むことを決定するように動作可能であることが、前記チェックポイント・マネージャーが、チェックポイント時間が終了したと決定するように動作可能であることを含み、前記チェックポイント時間がリカバリーウィンドウに基づく請求項8に記載のシステム。
  11. 前記ファイルシステムの整合性状態を維持するために前記ファイルシステムオブジェクトと共に更新されるすべてのファイルシステムオブジェクトの記憶域上の位置を示す書込み計画を生成するように動作可能な書込み計画マネージャーをさらに備える請求項8に記載のシステム。
  12. 前記チェックポイント・マネージャーが前記ファイルシステムの整合性状態を待つように動作可能であることが、前記チェックポイント・マネージャーが、前記第1のチェックポイントファイルシステムオブジェクトに関連するすべての更新が前記ファイルシステムの記憶域内に表されるまで待つように動作可能であることを含む請求項8に記載のシステム。
  13. 前記チェックポイント・マネージャーが後続の要求のためのデータ書込みの準備を可能にすることが、前記チェックポイント・マネージャーが、前記後続の要求のために書込み計画が生成され、記憶域に書き込まれることを可能にするが、前記メタデータの前記論理的なコピーの作成後まで、前記メタデータの更新を可能にしないように動作可能であることを含む請求項8に記載のシステム。
  14. 実行されたときにアクションを実施するコンピューター実行可能命令を有するコンピューター記憶媒体であって、前記アクションが、
    ファイルシステムのリカバリー要求を受信することと、
    前記ファイルシステムの記憶域内でチェックポイントのチェックポイント・データを突き止めることであって、前記チェックポイント・データが、アクションによって以前に生成されている、突き止めることとを含み、該アクションが、
    前記チェックポイントに関連する更新の後に行われる更新が後続のチェックポイントに割り当てられることを示すこと、
    前記チェックポイントに関連する前記更新の書込み計画を生成することであって、それぞれの書込み計画が、前記更新のうちの少なくとも1つを表すための記憶域内の少なくとも1つの計画された位置を示す、生成すること、
    前記書込み計画によって修正されたオブジェクトの記憶位置を示すようにメタデータを更新すること、
    前記メタデータの論理的なコピーを作成すること、及び
    前記チェックポイントに関して記憶域に少なくとも1つの検証コードを書き込むこ
    を含み、
    前記検証コードを使用して前記チェックポイント・データを検証することを含むコンピューター記憶媒体。
  15. 前記検証コードを使用して前記チェックポイント・データを検証することが、前記チェックポイント・データのチェックサムを計算することと、前記チェックポイント・データの前記チェックサムを前記検証コードと比較することとを含む請求項14に記載のコンピューター記憶媒体。
JP2013515367A 2010-06-15 2011-06-01 ファイルシステムのチェックポイント Active JP5735104B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/815,418 2010-06-15
US12/815,418 US8224780B2 (en) 2010-06-15 2010-06-15 Checkpoints for a file system
PCT/US2011/038811 WO2011159476A2 (en) 2010-06-15 2011-06-01 Checkpoints for a file system

Publications (3)

Publication Number Publication Date
JP2013528883A JP2013528883A (ja) 2013-07-11
JP2013528883A5 true JP2013528883A5 (ja) 2014-06-19
JP5735104B2 JP5735104B2 (ja) 2015-06-17

Family

ID=45097053

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013515367A Active JP5735104B2 (ja) 2010-06-15 2011-06-01 ファイルシステムのチェックポイント

Country Status (11)

Country Link
US (3) US8224780B2 (ja)
EP (1) EP2583202B1 (ja)
JP (1) JP5735104B2 (ja)
KR (2) KR101805948B1 (ja)
CN (1) CN102934114B (ja)
AU (1) AU2011265653B2 (ja)
BR (1) BR112012031912B1 (ja)
CA (1) CA2803763C (ja)
RU (1) RU2554847C2 (ja)
TW (1) TWI492077B (ja)
WO (1) WO2011159476A2 (ja)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8433865B2 (en) 2009-12-11 2013-04-30 Microsoft Corporation Consistency without ordering dependency
US8793440B2 (en) 2010-06-17 2014-07-29 Microsoft Corporation Error detection for files
US9155320B2 (en) * 2011-07-06 2015-10-13 International Business Machines Corporation Prefix-based leaf node storage for database system
US8776094B2 (en) 2011-08-11 2014-07-08 Microsoft Corporation Runtime system
US9766986B2 (en) 2013-08-08 2017-09-19 Architecture Technology Corporation Fight-through nodes with disposable virtual machines and rollback of persistent state
US9769250B2 (en) 2013-08-08 2017-09-19 Architecture Technology Corporation Fight-through nodes with disposable virtual machines and rollback of persistent state
US9838415B2 (en) 2011-09-14 2017-12-05 Architecture Technology Corporation Fight-through nodes for survivable computer network
US8543544B2 (en) * 2012-01-06 2013-09-24 Apple Inc. Checkpoint based progressive backup
FR2989801B1 (fr) * 2012-04-18 2014-11-21 Schneider Electric Ind Sas Procede de gestion securisee d'un espace memoire pour microcontroleur
KR102050723B1 (ko) 2012-09-28 2019-12-02 삼성전자 주식회사 컴퓨팅 시스템 및 그 데이터 관리 방법
US9003228B2 (en) * 2012-12-07 2015-04-07 International Business Machines Corporation Consistency of data in persistent memory
US9304998B2 (en) * 2012-12-19 2016-04-05 Microsoft Technology Licensing, Llc Main-memory database checkpointing
WO2015116190A1 (en) 2014-01-31 2015-08-06 Hewlett-Packard Development Company, L.P. Persistent memory controller based atomicity assurance
CN103984609B (zh) * 2014-05-28 2017-06-16 华为技术有限公司 一种基于写时复制的文件系统中回收检查点的方法和装置
US10635504B2 (en) 2014-10-16 2020-04-28 Microsoft Technology Licensing, Llc API versioning independent of product releases
US9892153B2 (en) * 2014-12-19 2018-02-13 Oracle International Corporation Detecting lost writes
CN106294357B (zh) * 2015-05-14 2019-07-09 阿里巴巴集团控股有限公司 数据处理方法和流计算系统
US10031817B2 (en) 2015-11-05 2018-07-24 International Business Machines Corporation Checkpoint mechanism in a compute embedded object storage infrastructure
US10284592B1 (en) 2015-12-17 2019-05-07 Architecture Technology Corporation Application randomization mechanism
US10200401B1 (en) 2015-12-17 2019-02-05 Architecture Technology Corporation Evaluating results of multiple virtual machines that use application randomization mechanism
US10007498B2 (en) 2015-12-17 2018-06-26 Architecture Technology Corporation Application randomization mechanism
US10412114B1 (en) 2015-12-17 2019-09-10 Architecture Technology Corporation Application randomization mechanism
US10200406B1 (en) 2015-12-17 2019-02-05 Architecture Technology Corporation Configuration of application randomization mechanism
US10412116B1 (en) 2015-12-17 2019-09-10 Architecture Technology Corporation Mechanism for concealing application and operation system identity
CN105930223A (zh) * 2016-04-24 2016-09-07 湖南大学 一种减少检查点文件大小的方法
US20220100374A1 (en) * 2016-08-19 2022-03-31 Ic Manage Inc Hierarchical file block variant tracking for performance in parallelism at multi-disk arrays
KR101969799B1 (ko) * 2016-09-07 2019-04-17 울산과학기술원 전자 장치 및 제어 방법
CN108509460B (zh) * 2017-02-28 2021-07-20 微软技术许可有限责任公司 分布式系统中的数据一致性检查
US10554685B1 (en) 2017-05-25 2020-02-04 Architecture Technology Corporation Self-healing architecture for resilient computing services
US20190102262A1 (en) * 2017-09-29 2019-04-04 Intel Corporation Automated continuous checkpointing
KR102022481B1 (ko) * 2017-12-06 2019-09-18 연세대학교 산학협력단 Gpu 사용량을 이용한 고성능 컴퓨팅 시스템의 체크포인트 생성 방법
KR102468737B1 (ko) * 2017-12-19 2022-11-21 에스케이하이닉스 주식회사 메모리 시스템 및 메모리 시스템의 동작방법
US10754785B2 (en) 2018-06-28 2020-08-25 Intel Corporation Checkpointing for DRAM-less SSD
US11416453B2 (en) * 2019-04-23 2022-08-16 EMC IP Holding Company LLC Facilitating checkpoint locks for distributed systems
US11822435B2 (en) 2020-07-06 2023-11-21 Bank Of America Corporation Consolidated data restoration framework
US11620084B2 (en) 2020-12-30 2023-04-04 Samsung Electronics Co., Ltd. Storage device including memory controller and operating method of memory controller
CN113538754B (zh) * 2021-06-08 2023-04-07 福建新大陆通信科技股份有限公司 一种ctid智能门锁授权数据管理方法及系统
CN116048384A (zh) * 2022-11-02 2023-05-02 中国科学院空间应用工程与技术中心 一种文件系统元数据的写入方法和系统

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4959771A (en) * 1987-04-10 1990-09-25 Prime Computer, Inc. Write buffer for a digital processing system
EP1003103B1 (en) * 1993-06-03 2008-10-01 Network Appliance, Inc. Write anywhere file-system layout method and apparatus
US5963962A (en) * 1995-05-31 1999-10-05 Network Appliance, Inc. Write anywhere file-system layout
US6035399A (en) * 1995-04-07 2000-03-07 Hewlett-Packard Company Checkpoint object
US5864657A (en) * 1995-11-29 1999-01-26 Texas Micro, Inc. Main memory system and checkpointing protocol for fault-tolerant computer system
US5907849A (en) * 1997-05-29 1999-05-25 International Business Machines Corporation Method and system for recovery in a partitioned shared nothing database system using virtual share disks
US6185663B1 (en) * 1998-06-15 2001-02-06 Compaq Computer Corporation Computer method and apparatus for file system block allocation with multiple redo
US6374264B1 (en) * 1998-09-04 2002-04-16 Lucent Technologies Inc. Method and apparatus for detecting and recovering from data corruption of a database via read prechecking and deferred maintenance of codewords
JP2001101044A (ja) * 1999-09-29 2001-04-13 Toshiba Corp トランザクショナルファイル管理方法、トランザクショナルファイルシステム及び複合トランザクショナルファイルシステム
US6571259B1 (en) * 2000-09-26 2003-05-27 Emc Corporation Preallocation of file system cache blocks in a data storage system
US6629198B2 (en) * 2000-12-08 2003-09-30 Sun Microsystems, Inc. Data storage system and method employing a write-ahead hash log
US7730213B2 (en) * 2000-12-18 2010-06-01 Oracle America, Inc. Object-based storage device with improved reliability and fast crash recovery
US6678809B1 (en) * 2001-04-13 2004-01-13 Lsi Logic Corporation Write-ahead log in directory management for concurrent I/O access for block storage
JP2003223350A (ja) * 2002-01-29 2003-08-08 Ricoh Co Ltd データベースシステム
US6993539B2 (en) 2002-03-19 2006-01-31 Network Appliance, Inc. System and method for determining changes in two snapshots and for transmitting changes to destination snapshot
US20040216130A1 (en) * 2002-08-30 2004-10-28 Keller S. Brandon Method for saving and restoring data in software objects
US7457822B1 (en) 2002-11-01 2008-11-25 Bluearc Uk Limited Apparatus and method for hardware-based file system
US7216254B1 (en) 2003-03-24 2007-05-08 Veritas Operating Corporation Method and system of providing a write-accessible storage checkpoint
US7412460B2 (en) * 2003-06-19 2008-08-12 International Business Machines Corporation DBMS backup without suspending updates and corresponding recovery using separately stored log and data files
JP3798767B2 (ja) * 2003-06-26 2006-07-19 株式会社東芝 ディスク制御システム及びディスク制御プログラム
US7401093B1 (en) 2003-11-10 2008-07-15 Network Appliance, Inc. System and method for managing file data during consistency points
US7721062B1 (en) 2003-11-10 2010-05-18 Netapp, Inc. Method for detecting leaked buffer writes across file system consistency points
US7054960B1 (en) * 2003-11-18 2006-05-30 Veritas Operating Corporation System and method for identifying block-level write operations to be transferred to a secondary site during replication
US7168001B2 (en) * 2004-02-06 2007-01-23 Hewlett-Packard Development Company, L.P. Transaction processing apparatus and method
US7664965B2 (en) * 2004-04-29 2010-02-16 International Business Machines Corporation Method and system for bootstrapping a trusted server having redundant trusted platform modules
JP4104586B2 (ja) * 2004-09-30 2008-06-18 株式会社東芝 ファイル管理機能を備えたファイルシステム及びファイル管理方法
US7505410B2 (en) * 2005-06-30 2009-03-17 Intel Corporation Method and apparatus to support efficient check-point and role-back operations for flow-controlled queues in network devices
US7693864B1 (en) * 2006-01-03 2010-04-06 Netapp, Inc. System and method for quickly determining changed metadata using persistent consistency point image differencing
US20070234342A1 (en) * 2006-01-25 2007-10-04 Flynn John T Jr System and method for relocating running applications to topologically remotely located computing systems
WO2007091237A2 (en) * 2006-02-06 2007-08-16 Filesx, Inc. Long term backup on disk
US7769723B2 (en) * 2006-04-28 2010-08-03 Netapp, Inc. System and method for providing continuous data protection
US7870356B1 (en) * 2007-02-22 2011-01-11 Emc Corporation Creation of snapshot copies using a sparse file for keeping a record of changed blocks
US8495573B2 (en) 2007-10-04 2013-07-23 International Business Machines Corporation Checkpoint and restartable applications and system services
TWI476610B (zh) * 2008-04-29 2015-03-11 Maxiscale Inc 同級間冗餘檔案伺服器系統及方法
WO2010049391A2 (en) * 2008-10-30 2010-05-06 International Business Machines Corporation Performing a data write on a storage device

Similar Documents

Publication Publication Date Title
JP2013528883A5 (ja)
RU2012154324A (ru) Контрольные точки для файловой системы
CN111480149B (zh) 持久存储器设备中的预写式日志记录
US20180157674A1 (en) Distributed nfs metadata server
JP2013513862A5 (ja)
JP2018152127A (ja) 注釈付きアトミック書き込み操作を行う方法および装置
JP2014513338A5 (ja) 仮想ディスクの最適圧縮のための方法、コンピュータ可読記憶媒体及びシステム
CN104756066B (zh) 在源逻辑地址和目标逻辑地址之间建立时间点拷贝关系的系统及方法
JP2013542486A5 (ja)
WO2017041654A1 (zh) 用于分布式存储系统的写入数据、获取数据的方法和设备
JP2014515148A5 (ja)
WO2019174205A1 (zh) 一种垃圾回收的方法、装置及存储设备
JP2014507713A5 (ja)
US9286320B2 (en) System and method for maintaining consistency among metadata elements of filesystem's logical objects
JP5582418B2 (ja) トランザクションメモリ
RU2012129205A (ru) Корректность без зависимости от упорядоченности
US10552403B2 (en) Using checksums to reduce the write latency of logging
Son et al. SSD-assisted backup and recovery for database systems
JP5721056B2 (ja) トランザクション処理装置、トランザクション処理方法およびトランザクション処理プログラム
WO2014117337A1 (zh) 数据更新方法及装置和产品
US9582209B2 (en) Efficient data deployment for a parallel data processing system
CN102024021A (zh) 一种逻辑文件系统元数据的日志方法
Dorożyński et al. Checkpointing of parallel mpi applications using mpi one-sided api with support for byte-addressable non-volatile ram
CN105556462A (zh) 写入文件和文件元数据
TW201034020A (en) Embedded electronic device and method for storing data