JP2014526735A5 - - Google Patents

Download PDF

Info

Publication number
JP2014526735A5
JP2014526735A5 JP2014529692A JP2014529692A JP2014526735A5 JP 2014526735 A5 JP2014526735 A5 JP 2014526735A5 JP 2014529692 A JP2014529692 A JP 2014529692A JP 2014529692 A JP2014529692 A JP 2014529692A JP 2014526735 A5 JP2014526735 A5 JP 2014526735A5
Authority
JP
Japan
Prior art keywords
journal
data set
storage
stored
volatile memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014529692A
Other languages
English (en)
Other versions
JP6026538B2 (ja
JP2014526735A (ja
Filing date
Publication date
Priority claimed from US13/229,736 external-priority patent/US9229809B2/en
Application filed filed Critical
Publication of JP2014526735A publication Critical patent/JP2014526735A/ja
Publication of JP2014526735A5 publication Critical patent/JP2014526735A5/ja
Application granted granted Critical
Publication of JP6026538B2 publication Critical patent/JP6026538B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (20)

  1. コンピュータのプロセッサが、少なくとも一つの記憶装置によって提供される記憶セットにおいてデータセットを記憶する方法であって:
    記憶装置上で、それぞれ検証子と関連付けられたデータセットを記憶するよう構成されたジャーナルを生成する段階と;
    前記記憶セット中のある位置にデータセットを記憶する要求を受領すると
    前記データセットについての検証子を計算し;前記検証子および前記データセットを前記ジャーナルに記憶する段階と
    前記ジャーナルに記憶されており、前記ジャーナルから一緒に放逐される少なくとも二つのデータセットのバッチを選択する段階と;
    前記バッチのそれぞれのデータセットについて前記データセットおよび前記データセットの前記検証子を前記記憶セットに記憶する段階と
    前記バッチの前記データセットすべてを前記記憶セットに記憶したのち、前記ジャーナルから前記バッチの前記データセットを除去する段階とを含む、
    方法。
  2. 前記ジャーナルがデータセットのシーケンスを含み、
    前記ジャーナルにデータセットを記憶することが、該データセットを前記データセットのシーケンスにアペンドすることを含む、
    請求項1記載の方法。
  3. 記ジャーナルの容量に関わるジャーナル容量イベント;
    前記ジャーナルに記憶されている前記データセットの継続時間に関わる継続時間イベント;
    前記ジャーナル内の少なくとも一つのデータセットを前記記憶セットにコミットする要求に関わるコミット要求イベント;および
    前記記憶セットの少なくとも一つの記憶装置の作業負荷に関わる記憶装置作業負荷イベントを含むコミット・イベント集合から選択されるコミット・イベントを検出したときに、
    前記記憶セットに記憶されるべきデータセットの前記バッチを選択する段階をさらに含む、
    請求項1記載の方法。
  4. データセットの前記バッチの選択が:
    前記ジャーナルに記憶されており、前記記憶セット中の第一の位置に記憶されるべき第一のデータセットを前記バッチに含めるよう選択し;
    前記ジャーナルに記憶されており、前記記憶セット中の前記第一の位置に近い第二の位置に記憶されるべき第二のデータセットを前記バッチに含めるよう選択することを含む、
    請求項1記載の方法。
  5. データセットの前記バッチの選択が、前記ジャーナルに記憶されており、前記記憶セット中のある位置に記憶されるべき第一のデータセットを、前記ジャーナルが前記第一のデータセットより新しくかつ前記記憶セット中の前記位置に記憶されるべき第二のデータセットを含んでいる場合には、前記バッチから省略することを含む、請求項1記載の方法。
  6. それぞれの要求がデータセットについて前記記憶セット中での位置を指定しており;
    データセットについての検証子を計算することが:
    前記ジャーナルに完全に記録されているデータセットについては、そのデータセットから検証子を計算し;
    前記ジャーナルに完全には記録されていないデータセットについては:
    前記記憶セット中での前記位置における前記データセットのもとのバージョンを読み;
    前記データセットの前記もとのバージョンのもとの検証子を読み;
    前記もとの検証子から前記データセットの前記もとのバージョンを除去し;
    前記もとの検証子に前記データセットを含める、
    ことを含む、請求項1記載の方法。
  7. 前記ジャーナルの揮発性メモリ表現を再構築する段階をさらに含み、該再構築が:
    前記ジャーナル中に記憶されているそれぞれのデータセットについて、前記記憶セット中のそのデータセットの位置を読む段階と;
    前記データセットの位置を読んだのちに、前記ジャーナル中の前記データセットを読む段階と;
    前記データセットの位置を読んでいる間は、諸プロセスからの前記記憶セットにアクセスする要求をブロックする段階とを含む、
    請求項1記載の方法。
  8. 前記コンピュータが揮発性メモリを有しており;
    当該方法が:
    前記揮発性メモリ中に、前記記憶装置上に記憶されている前記ジャーナルの揮発性メモリ表現を生成し;
    前記ジャーナルにデータセットを記憶するときに、前記ジャーナルの前記揮発性メモリ表現中に前記データセットを記憶する段階を含む
    請求項1記載の方法。
  9. 前記ジャーナルの前記揮発性メモリ表現が、前記記憶セット中で、前記データセットが記憶されるべき位置に従ってインデックス付けされる、請求項8記載の方法。
  10. 請求項記載の方法であって、当該方法が、データセットを読み出す要求を受領すると:
    前記データセットが前記揮発性メモリ内の前記ジャーナルの前記揮発性メモリ表現内に記憶されていることを判別すると、前記揮発性メモリ表現内に記憶されている前記データセットを提示し;
    前記データセットが前記記憶装置上の前記ジャーナルに記憶されていることを判別すると、前記ジャーナルに記憶されている前記データセットを提示し;
    前記データセットが前記記憶装置上の前記記憶セットに記憶されていることを判別すると、前記記憶装置の前記記憶セットに記憶されている前記データセットを提示することを含む
    方法。
  11. 請求項記載の方法であって、当該方法が、前記記憶セットにバッチを記憶したのち、そのバッチを前記ジャーナルの前記揮発性メモリ表現から除去する段階を含む、方法。
  12. 請求項11記載の方法であって、当該方法が
    前記ジャーナルにデータセットを記憶するときに、前記ジャーナルの前記揮発性メモリ表現中に前記データセットを、除去不可能とマークして記憶し;
    前記記憶セットにデータセットを記憶するときに、前記ジャーナルの前記揮発性メモリ表現中に記憶されている前記データセットを、除去可能とマークする段階を含み
    データセットを前記揮発性メモリ中の前記ジャーナルの前記揮発性メモリ表現から除去することが、除去可能とマークされたデータセットのみを前記ジャーナルの前記揮発性メモリ表現から除去することを含む、
    方法。
  13. 前記コンピュータが、前記記憶装置上に記憶されている前記ジャーナルに関連付けられた書き込みバッファを有しており、
    当該方法が:
    前記書き込みバッファから前記記憶セットへのデータセットのコミットを検出する段階と;
    データセットのコミットを検出すると、前記ジャーナルの前記揮発性メモリ表現において、そのデータセットにコミット済みとマークする段階とを含み、
    前記ジャーナルからデータセットを除去することが、コミット済みとマークされたデータセットのみを前記ジャーナルから除去することを含む、
    請求項11記載の方法。
  14. 請求項記載の方法であって:
    前記ジャーナルの前記揮発性メモリ表現がある容量のデータセットをもち;
    前記揮発性メモリ中に前記ジャーナルの前記揮発性メモリ表現を生成することが:
    前記ジャーナルの前記揮発性メモリ表現中の前記容量のデータセット;
    前記ジャーナルの前記揮発性メモリ表現の前記容量を含む前記データセットの前記検証子;
    前記ジャーナルに記憶されているデータセットが前記記憶セットに記憶されつつある間に前記記憶セットに記憶されるべきデータセットを記憶するよう構成されたバッファとを記憶するよう前記揮発性メモリ中の容量をリザーブしておくことを含む、
    方法。
  15. 前記コンピュータの障害から回復したときに、
    前記ジャーナルを使って、前記コンピュータの前記揮発性メモリ内に前記ジャーナルの前記揮発性メモリ表現を再構築し、
    前記揮発性メモリ内に前記ジャーナルの前記揮発性メモリ表現を再構築したのち、前記記憶セットに記憶されるべき前記ジャーナルに記憶されているデータセットのバッチを選択することを再開始する段階をさらに含む、
    請求項8記載の方法。
  16. 前記コンピュータが前記ジャーナルを記憶する前記記憶装置に関連付けられた書き込みバッファを有しており、
    当該方法は、前記ジャーナルにデータセットおよび検証子を書き込んでいる間、前記書き込みバッファをバイパスすることを含む、
    請求項1記載の方法。
  17. 前記コンピュータが前記ジャーナルを記憶する前記記憶装置に関連付けられた書き込みバッファを有しており、
    当該方法は、前記ジャーナルを記憶している記憶装置の書き込みバッファをフラッシュするときに、その記憶装置にフラッシュされたデータセットを示すフラッシュ点を同定する段階を含む、
    請求項1記載の方法。
  18. 少なくとも一つの記憶装置が前記ジャーナルに関連付けられた書き込みバッファを有しており、
    当該方法は、バッチの記憶セットを前記記憶セットに記憶したのち、前記記憶装置の前記書き込みバッファをフラッシュする段階を含む、
    請求項1記載の方法。
  19. なくとも一つの記憶装置を含む記憶セット上にデータを記憶する方法であって
    記憶装置上で、レコードのシーケンス、頭部ポインタおよび尾部ポインタを有するジャーナルを生成する段階と;
    前記記憶セット中のある位置に記憶されるべきデータセットを受領すると:
    前記ジャーナルの頭部ポインタを新たなレコードを過ぎるところまで進め;
    前記新たなレコードに前記データセットを記憶する段階と
    前記ジャーナルの前記尾部ポインタの近くの、前記ジャーナルから一緒に放逐される少なくとも一つの選択されたデータセットを選択する段階と
    それぞれの選択されたデータセットについてその選択されたデータセッ
    前記記憶セットにコミットする段階と
    前記バッチの選択されたデータセットすべてを前記記憶セットにコミットしたのち、前記ジャーナルの前記尾部ポインタを、前記バッチの記選択されたデータセットすべてを過ぎたところまで進める段階とを含む、
    方法
  20. コンピュータのプロセッサに、少なくとも一つの記憶装置によって提供される記憶セットにおいてデータセットを記憶する方法を実行させるためのコンピュータ・プログラムであって、前記方法は:
    記憶装置上で、データセットを記憶するよう構成されたジャーナルを生成する段階と;
    前記記憶セット中のある位置にデータセットを記憶する要求を受領すると、前記データセットを前記ジャーナルに記憶する段階と;
    前記ジャーナルに記憶されており、一緒に前記ジャーナルから放逐される少なくとも二つのデータセットのバッチを選択する段階と;
    前記バッチのそれぞれのデータセットについて、前記データセットを前記記憶セットに記憶する段階と;
    前記バッチのデータセットすべてを前記記憶セットに記憶したのち、前記ジャーナルから前記バッチを除去する段階とを含む、
    コンピュータ・プログラム。
JP2014529692A 2011-09-11 2011-10-11 検証されたデータセットの不揮発性媒体ジャーナリング Active JP6026538B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/229,736 2011-09-11
US13/229,736 US9229809B2 (en) 2011-09-11 2011-09-11 Nonvolatile media journaling of verified data sets
PCT/US2011/055818 WO2013036265A1 (en) 2011-09-11 2011-10-11 Nonvolatile media journaling of verified data sets

Publications (3)

Publication Number Publication Date
JP2014526735A JP2014526735A (ja) 2014-10-06
JP2014526735A5 true JP2014526735A5 (ja) 2014-11-13
JP6026538B2 JP6026538B2 (ja) 2016-11-16

Family

ID=47728149

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014529692A Active JP6026538B2 (ja) 2011-09-11 2011-10-11 検証されたデータセットの不揮発性媒体ジャーナリング

Country Status (6)

Country Link
US (1) US9229809B2 (ja)
EP (1) EP2754051B1 (ja)
JP (1) JP6026538B2 (ja)
KR (1) KR101863406B1 (ja)
CN (1) CN102945201B (ja)
WO (1) WO2013036265A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9229809B2 (en) 2011-09-11 2016-01-05 Microsoft Technology Licensing Llc Nonvolatile media journaling of verified data sets
US8456972B2 (en) 2011-09-12 2013-06-04 Microsoft Corporation Efficient access to storage devices with usage bitmaps
US8977826B1 (en) * 2011-12-28 2015-03-10 Emc Corporation Extent commands in replication
WO2014066986A1 (en) * 2012-11-02 2014-05-08 Vod2 Inc. Data distribution methods and systems
GB2503600B (en) * 2012-12-21 2014-05-14 Mobile Content Man Solutions Ltd Digital memory imaging system and method
CN103488433B (zh) * 2013-09-18 2016-05-11 北京思特奇信息技术股份有限公司 一种基于分布式文件系统的批量文件操作方法及系统
TWI498902B (zh) * 2013-11-28 2015-09-01 Phison Electronics Corp 資料管理方法、記憶體儲存裝置及記憶體控制電路單元
US9628333B2 (en) * 2013-12-04 2017-04-18 International Business Machines Corporation Operating a dual chipset network interface controller (‘NIC’) that includes a high performance media access control chipset and a low performance media access control chipset
CN104021049B (zh) * 2014-05-16 2017-11-03 华为技术有限公司 分布式存储系统中数据统一的方法和以太接口硬盘
US9720774B2 (en) * 2015-06-29 2017-08-01 Sap Se Adaptive recovery for SCM-enabled databases
US20170031791A1 (en) * 2015-07-27 2017-02-02 Futurewei Technologies, Inc. Maintaining a parity-inconsistent table to identify stripes affected by a write hole effect
JP6734536B2 (ja) * 2016-07-29 2020-08-05 富士通株式会社 情報処理装置及びメモリコントローラ
CN106599046B (zh) * 2016-11-09 2020-06-30 北京同有飞骥科技股份有限公司 分布式文件系统的写入方法及装置
US10496319B2 (en) 2017-02-28 2019-12-03 Sap Se Lifecycle management for data in non-volatile memory including blocking creation of a database savepoint and associating non-volatile memory block identifiers with database column fragments
CN114089915B (zh) * 2017-03-27 2022-12-20 珠海极海半导体有限公司 基于flash存储器的文件追加写操作方法及装置
US10936206B1 (en) * 2017-04-05 2021-03-02 Tintri By Ddn, Inc. Handling a device in a latency state in a redundant storage system
CN107315616B (zh) * 2017-06-30 2020-08-21 苏州浪潮智能科技有限公司 一种固件的加载方法、装置及电子设备
KR102441997B1 (ko) * 2017-11-01 2022-09-08 한국전자통신연구원 네트워크에서 메타데이터의 동기화를 제어하는 장치 및 그 방법
CN110018783B (zh) * 2018-01-09 2022-12-20 阿里巴巴集团控股有限公司 一种数据存储方法、装置及系统
CN108920094B (zh) * 2018-06-01 2021-06-08 深圳忆联信息系统有限公司 擦除单元raid方法、装置、计算机设备及存储介质
US11347653B2 (en) * 2018-08-31 2022-05-31 Nyriad, Inc. Persistent storage device management
KR20200035592A (ko) * 2018-09-27 2020-04-06 삼성전자주식회사 스토리지 장치의 구동 방법, 이를 수행하는 스토리지 장치 및 이를 포함하는 스토리지 시스템
CN111208933B (zh) * 2018-11-21 2023-06-30 昆仑芯(北京)科技有限公司 数据访问的方法、装置、设备和存储介质
CN112003815A (zh) * 2019-05-27 2020-11-27 阿里巴巴集团控股有限公司 通信系统、方法和装置、定位系统、计算设备和存储介质
US10970170B2 (en) * 2019-08-29 2021-04-06 Micron Technology, Inc. Shared parity protection
CN113126887A (zh) * 2020-01-15 2021-07-16 伊姆西Ip控股有限责任公司 用于重建盘阵列的方法、电子设备和计算机程序产品
US11429308B2 (en) * 2020-03-18 2022-08-30 Vmware, Inc. Adaptive metadata batching based on input/output rate

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2888958B2 (ja) 1990-10-20 1999-05-10 富士通株式会社 部分書き換え可能な記憶媒体におけるファイル管理方式
JP3250861B2 (ja) 1993-03-09 2002-01-28 株式会社日立製作所 ディスク装置システム
JPH08147110A (ja) 1994-11-18 1996-06-07 Sony Corp データ記録媒体管理方法、データ記録媒体管理装置およびデータ記録媒体
JP2000305860A (ja) 1999-04-23 2000-11-02 Toshiba Corp 情報記憶システム及び同システムに於ける記憶制御方法
JP2001051806A (ja) 1999-08-05 2001-02-23 Fujitsu Ltd ディスクアレイ装置
JP2001166993A (ja) 1999-12-13 2001-06-22 Hitachi Ltd 記憶制御装置およびキャッシュメモリの制御方法
US6516380B2 (en) 2001-02-05 2003-02-04 International Business Machines Corporation System and method for a log-based non-volatile write cache in a storage controller
JP2003196032A (ja) 2001-12-26 2003-07-11 Nec Corp ストレージ装置のライトキャッシュ制御方法及びストレージ装置
JP3788961B2 (ja) * 2002-08-30 2006-06-21 株式会社東芝 ディスクアレイ装置及び同装置におけるレイドレベル変更方法
US7035974B2 (en) 2002-11-06 2006-04-25 Synology Inc. RAID-5 disk having cache memory implemented using non-volatile RAM
US7675828B2 (en) 2003-02-25 2010-03-09 Lg Electronics Inc. Recording medium having data structure for managing at least a data area of the recording medium and recording and reproducing methods and apparatuses
JP4026517B2 (ja) 2003-03-12 2007-12-26 ソニー株式会社 記録媒体、記録装置、記録方法
US7162401B1 (en) 2003-03-28 2007-01-09 Applied Micro Circuits Corporation Monitoring of resources that are being modeled by simulation or emulation
US20050188248A1 (en) * 2003-05-09 2005-08-25 O'brien John Scalable storage architecture
JP2005032413A (ja) 2003-06-19 2005-02-03 Nec Corp 光ディスクの未記録領域への記録方法、光デイスクの記録装置,光ディスク及び光ディスクのデータ記録用プログラム
GB0318384D0 (en) 2003-08-06 2003-09-10 Ibm A storage controller and a method for recording diagnostic information
US7010721B2 (en) 2003-09-29 2006-03-07 International Business Machines Corporation File system journal management
US7197599B2 (en) * 2003-12-29 2007-03-27 Intel Corporation Method, system, and program for managing data updates
JP4144549B2 (ja) 2004-03-31 2008-09-03 日本電気株式会社 データ保存システムおよび該システムの制御方法
JP5128130B2 (ja) 2004-05-10 2013-01-23 パナソニック株式会社 追記形ディスクに対するデータ疑似書換え
US7873782B2 (en) 2004-11-05 2011-01-18 Data Robotics, Inc. Filesystem-aware block storage system, apparatus, and method
JP4435705B2 (ja) * 2005-03-14 2010-03-24 富士通株式会社 記憶装置、その制御方法及びプログラム
US7562188B2 (en) 2005-06-17 2009-07-14 Intel Corporation RAID power safe apparatus, systems, and methods
TWI320139B (en) 2005-08-01 2010-02-01 Method for improving writing data efficiency and storage subsystem and system implementing the same
US7774346B2 (en) 2005-08-26 2010-08-10 Oracle International Corporation Indexes that are based on bitmap values and that use summary bitmap values
US7533298B2 (en) 2005-09-07 2009-05-12 Lsi Corporation Write journaling using battery backed cache
US7457928B2 (en) 2005-10-28 2008-11-25 International Business Machines Corporation Mirroring system memory in non-volatile random access memory (NVRAM) for fast power on/off cycling
US7845008B2 (en) * 2005-12-07 2010-11-30 Lenovo (Singapore) Pte. Ltd. Virus scanner for journaling file system
US7574560B2 (en) 2006-01-03 2009-08-11 Emc Corporation Methods, systems, and computer program products for dynamic mapping of logical units in a redundant array of inexpensive disks (RAID) environment
JP4741371B2 (ja) 2006-01-05 2011-08-03 株式会社日立製作所 システム、サーバ装置及びスナップショットの形式変換方法
US7752402B2 (en) * 2006-08-18 2010-07-06 Isilon Systems, Inc. Systems and methods for allowing incremental journaling
JP2008225616A (ja) 2007-03-09 2008-09-25 Hitachi Ltd ストレージシステム、リモートコピーシステム、及びデータ復元方法
KR101424782B1 (ko) 2007-07-19 2014-08-04 삼성전자주식회사 솔리드 스테이트 디스크 컨트롤러 및 솔리드 스테이트디스크 컨트롤러의 데이터 처리 방법
US8145604B2 (en) * 2007-10-19 2012-03-27 Apple Inc. Method and apparatus for relocating an active five system journal
US7877626B2 (en) 2007-12-31 2011-01-25 Datadirect Networks, Inc. Method and system for disk storage devices rebuild in a data storage system
JP5029513B2 (ja) * 2008-06-30 2012-09-19 ソニー株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
JP5156518B2 (ja) 2008-07-23 2013-03-06 株式会社日立製作所 記憶制御装置及び方法
US20100138603A1 (en) 2008-12-03 2010-06-03 Atul Mukker System and method for preventing data corruption after power failure
JP2010267164A (ja) * 2009-05-15 2010-11-25 Toshiba Storage Device Corp 記憶装置、データ転送制御装置、データ転送方法およびデータ転送プログラム
KR101562794B1 (ko) 2009-08-04 2015-10-26 삼성전자주식회사 데이터 저장 장치
US9229809B2 (en) 2011-09-11 2016-01-05 Microsoft Technology Licensing Llc Nonvolatile media journaling of verified data sets
US8456972B2 (en) 2011-09-12 2013-06-04 Microsoft Corporation Efficient access to storage devices with usage bitmaps

Similar Documents

Publication Publication Date Title
JP2014526735A5 (ja)
US10379954B2 (en) Method and apparatus for cache management of transaction processing in persistent memory
CN106471478B (zh) 用于在非易失性数据存储设备内以原子的方式执行多个写事务的设备控制器和方法
US9229809B2 (en) Nonvolatile media journaling of verified data sets
US7953774B2 (en) Aggregation of write traffic to a data store
JP2013542486A5 (ja)
KR101870521B1 (ko) 스토리지 저널링을 개선하는 방법 및 시스템
JP2008546076A5 (ja)
US20160231940A1 (en) Maintaining data-set coherency in non-volatile memory across power interruptions
JP2009520280A5 (ja)
JP2014526748A5 (ja)
JP5932877B2 (ja) テープメディアへファイルを書き込む所要時間の低減
JP2016513845A5 (ja)
JP2013542513A5 (ja)
JP2013521579A5 (ja)
JP2015506041A5 (ja)
Verma et al. {Failure-Atomic} Updates of Application Data in a Linux File System
JP2013513862A5 (ja)
CN102981944B (zh) 一种基于文件系统的日志存储方法
JP2014512601A5 (ja)
JP2009187400A5 (ja)
JP2009501390A5 (ja)
RU2012129205A (ru) Корректность без зависимости от упорядоченности
JP2020518059A5 (ja)
US20170185493A1 (en) Database transaction replay