JP2006146904A5 - - Google Patents

Download PDF

Info

Publication number
JP2006146904A5
JP2006146904A5 JP2005320312A JP2005320312A JP2006146904A5 JP 2006146904 A5 JP2006146904 A5 JP 2006146904A5 JP 2005320312 A JP2005320312 A JP 2005320312A JP 2005320312 A JP2005320312 A JP 2005320312A JP 2006146904 A5 JP2006146904 A5 JP 2006146904A5
Authority
JP
Japan
Prior art keywords
data
original
based storage
mirror
storage system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005320312A
Other languages
English (en)
Other versions
JP4776342B2 (ja
JP2006146904A (ja
Filing date
Publication date
Priority claimed from US10/989,392 external-priority patent/US7228320B2/en
Application filed filed Critical
Publication of JP2006146904A publication Critical patent/JP2006146904A/ja
Publication of JP2006146904A5 publication Critical patent/JP2006146904A5/ja
Application granted granted Critical
Publication of JP4776342B2 publication Critical patent/JP4776342B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (14)

  1. オブジェクトベース・ストレージシステムにオブジェクトレベルのスナップショットを生成するシステムであって、
    ホストデバイスと、
    前記ホストデバイスに結合して稼動するオブジェクトベース・ストレージシステムと
    を備え、
    前記ホストデバイスは、
    第一のオブジェクト管理テーブル(OMT)と、
    ファイルシステムと
    を有し、
    前記オブジェクトベース・ストレージシステムは、
    コントローラと、
    データをオブジェクトとして記憶する少なくとも一台のオブジェクトベース・ストレージデバイス(OSD)と
    を有し、
    前記オブジェクトは、データと、前記データの属性データとを有し、
    前記コントローラは、スナップショットモジュールと、第二のOMTとを有し、
    前記オブジェクトベース・ストレージシステムは、前記ホストデバイスからI/O要求を受け、前記I/O要求をOSDコマンドとして処理し、
    前記スナップショットモジュールは、少なくとも一台のOSD内のオリジナルオブジェクトのミラーオブジェクトを、下記(1−1)乃至(1−5)を行うことにより生成し、
    (1−1)前記オリジナルオブジェクト内のデータであるオリジナルデータを読み出す;
    (1−2)前記オリジナルオブジェクト内の属性データであるオリジナル属性データを取得する;
    (1−3)前記オリジナルデータと前記オリジナル属性データを用いて前記ミラーオブジェクトを生成する;
    (1−4)前記オリジナルオブジェクトと分けられたボリュームに前記ミラーオブジェクトを格納する;
    (1−5)前記オリジナルオブジェクトの更新を前記ミラーオブジェクトに反映するミラー操作を行う;
    前記スナップショットモジュールは、前記オリジナルオブジェクトのスナップショットを生成する特定の時点で前記ミラーオブジェクトへの前記ミラー操作を停止することにより、少なくとも一台のOSDにおけるスナップショット操作を開始する、
    システム。
  2. 前記スナップショット操作は、前記更新のミラー操作を停止することに先駆けて、前記オリジナルオブジェクト第二のミラー操作を生成することを含む、
    請求項1記載のシステム。
  3. 更に、前記スナップショット操作を開始するために、前記スナップショットジュールに対する前記OSDコマンドと、SPLIT又はSNAPSHOTコマンドを開始することができるサービスプロセッサとを有する、
    請求項1記載のシステム。
  4. 前記第一のOMTと前記第二のOMTは、ファイル識別子(FID)、パーティションID(PID)、オブジェクトID(OID)、およびオブジェクト状態とスナップショットの世代番号に対するマッピング情報を維持する、
    請求項1記載のシステム。
  5. 前記オブジェクト状態はミラー又はスプリットの何れかの状態から成る、
    請求項4記載のシステム。
  6. 前記ディスクコントローラは、更に、OIDを前記少なくとも一台のOSDの物理ブロック番号に変換する変換機構を含む、
    請求項1記載のシステム。
  7. 前記少なくとも一台のOSDは、更に、OIDを前記少なくとも一台のOSDの物理ブロック番号に変換する変換機構を含む、
    請求項1記載のシステム。
  8. 前記オリジナルオブジェクトと前記ミラーオブジェクトは、一式のファイル、複数のファイル、一つのテーブル、テーブルの一行、テーブルの一列、一台のボリュームの一つに関係する、
    請求項1記載のシステム。
  9. 更に、前記第一のOMTを実装し前記ホストデバイスに結合して稼動するメタデータサーバが備えられる、
    請求項1記載のシステム。
  10. オブジェクトベース・ストレージシステムでのペア生成方法であって、
    (10−1)前記オブジェクトベース・ストレージシステムにおいてオブジェクトベース・ストレージデバイス(OSD)へデータを記憶し、それにより、前記オブジェクトベース・ストレージシステムはコンテントデータと属性データを含むオブジェクトとしてデータを記憶するステップと、
    (10−2)ソースボリュームにおける一以上のオリジナルオブジェクトからミラーペアの作成を指示する前記オブジェクトベース・ストレージシステムにおいて、ペア生成コマンドを受信するステップと、
    (10−3)前記ペア生成コマンドの受信に応答して、前記ソースボリュームにおける一以上のオリジナルオブジェクトの各々をデスティネーションボリュームにコピーするステップと
    を有し、
    前記(10−3)のステップは、
    (10−3−1)各コピーオブジェクトに対し、新しいパーティションID(PID)と新しいオブジェクトID(OID)を決定するステップと、
    (10−3−2) 前記オリジナルオブジェクト内のデータであるオリジナルデータを読み込むステップと、
    (10−3−3) 前記オリジナルオブジェクト内の属性データである前記オリジナル属性データを検索するステップと、
    (10−3−4) 前記検索されたオリジナルコンテントデータとオリジナル属性データで前記コピーオブジェクトを生成し、前記新しいPIDとOIDを前記コピーオブジェクトの前記属性データに挿入するステップと、
    (10−3−5) 前記デスティネーションボリュームにおいて各コピーオブジェクトを記憶するステップ
    を有する、
    方法。
  11. オブジェクトベース・ストレージシステムでのオブジェクト生成方法であって、
    前記オブジェクトベース・ストレージシステムにおいてオブジェクトベース・ストレージデバイス(OSD)へデータを記憶し、それにより、前記オブジェクトベース・ストレージシステムはコンテントデータと属性データを含むオブジェクトとしてデータを記憶するステップと、
    ホストデバイスでのファイルシステムのアプリケーションから、ファイル識別子(FID)とデータを受信するステップと、
    前記ファイル識別子に関係するファイルに対する属性データを生成するステップと、
    前記ファイルの前記ファイルコンテントデータと前記属性データで前記ファイルのオリジナルオブジェクトを生成し、前記オリジナルオブジェクトは関係するオリジナルパーティションID(PID)とオリジナルオブジェクトID (OID)を持つステップと、
    前記コピーオブジェクトに対する前記OSDにおいて第二のPIDと第二のOIDを決定するステップと、
    前記オリジナルオブジェクトのコピーオブジェクトを生成し、前記コピーオブジェクトは前記オリジナルオブジェクトの前記ファイルコンテントデータと前記属性データを含み、前記第二のPIDと前記第二のOIDは前記コピーされたオブジェクトにアサインされているステップと、
    前記FIDと、オリジナルオブジェクトPIDとオリジナルオブジェクトOIDを、オブジェクト管理テーブル(OMT)において登録するステップと
    を有する方法。
  12. オブジェクトベース・ストレージシステムでのオブジェクトへのデータ書き込み方法であって、
    前記オブジェクトベース・ストレージシステムにおいてオブジェクトベース・ストレージデバイス(OSD)へデータを記憶し、それにより、前記オブジェクトベース・ストレージシステムはコンテントデータと属性データを含むオブジェクトとしてデータを記憶するステップと、
    ホストデバイスで、ファイルID(FID)と書き込みデータを含む書き込み操作を受信するステップと、
    前記FIDと関係するオブジェクトのパーティションID(PID)とオブジェクトID(OID)に対し、前記ホストデバイスのオブジェクト管理テーブルを検索するステップと、
    前記FIDと関係する前記オブジェクトの前記書き込みデータ、前記PIDと前記OIDを含む書き込みコマンドを、前記オブジェクトベース・ストレージシステムにおいて、スナップショットモジュールに対して送信するステップと、
    前記FIDに関係する前記オブジェクトの前記PIDと前記OIDを用いて、前記ストレージシステムのオブジェクト管理テーブルを検索して、前記オブジェクトがミラー又はスプリットの状態にあることを判定するステップと、
    前記状態がスプリットであれば、前記オブジェクトに前記書き込みデータを書き込むステップと、
    前記状態がミラーであれば、前記ストレージシステムの前記オブジェクト管理テーブルから、前記FIDを使用して、ミラーオブジェクトと関係する第二のPIDと第二のOIDを検索するステップと、
    前記状態がミラーであれば、前記オブジェクトと前記ミラーオブジェクトに対し前記書き込みデータを書き込むステップと
    を有する方法。
  13. オブジェクトベース・ストレージシステムでのスナップショット生成方法であって、
    前記オブジェクトベース・ストレージシステムにおいてオブジェクトベース・ストレージデバイス(OSD)へデータを記憶し、それにより、前記オブジェクトベース・ストレージシステムはコンテントデータと属性データを含むオブジェクトとしてデータを記憶するステップと、
    ホストデバイスから、前期オブジェクトベース・ストレージシステムにおいて、I/O要求を受信し、OSDコマンドとして前記I/O要求を処理するステップと、
    オリジナルオブジェクトのミラーオブジェクトを、下記(13−1)乃至(13−5)を行うことにより作成するステップと、
    (13−1)前記オリジナルオブジェクト内のデータであるオリジナルデータを読み込む;
    (13−2)前記オリジナルオブジェクト内の属性データであるオリジナル属性データを取得する;
    (13−3)前記オリジナルオブジェクトの前記オリジナルコンテントデータと前記オリジナル属性データを用いて前記ミラーオブジェクトを生成する;
    (13−4)前記オリジナルオブジェクトから分かれたボリュームにおいてミラーオブジェクトを記憶する;
    (13−5)前記オリジナルオブジェクトの更新を前記ミラーオブジェクトに反映するミラー操作を行う;
    ホストデバイスにおいて、識別子でスナップショット要求を受信するステップと、
    前記ファイルに対し、ファイルID(FID)を識別するために識別子を用いて、ホストデバイスのファイル属性を検索するステップと、
    前記FIDを使用して、ホストデバイスのオブジェクト管理テーブルを検索して、前記FIDと関係するオブジェクトのパーティションID(PID)とオブジェクトID(OID)を識別し、前記FIDと関係する前記オブジェクトは前記オリジナルオブジェクトであるステップと、
    前記ホストデバイスにおいて、ファイルシステムから、前記オブジェクトベース・ストレージシステムにおけるスナップショットモジュールでのSNAPSHOTコマンドを受信するステップと、
    前記FIDに関係した前記オブジェクトとミラーペアを形成する前記ミラーオブジェクトに対する、前記FIDに関係する前記オブジェクトのミラー操作を停止する前記スナップショットモジュールの構成を変更し、それにより、前記ミラーオブジェクトが前記スナップショットになるステップと、
    前記構成が変更された前記ミラーオブジェクトに対し、ミラーからスプリットへ、前記オブジェクトベース・ストレージシステムのオブジェクト管理テーブルにおける状態を変更するステップと
    を有する方法。
  14. オブジェクトベース・ストレージシステムにおいて、差分ボリュームにおけるスナップショットを生成する方法であって、
    前記オブジェクトベース・ストレージシステムにおいてオブジェクトベース・ストレージデバイス(OSD)へデータを記憶し、それにより、前記オブジェクトベース・ストレージシステムはコンテントデータと属性データを含むオブジェクトとしてデータを記憶するステップと、
    識別子を用いたスナップショット要求をホストデバイスで受信するステップと、
    前記識別子と関係するファイルに対し、ファイルID(FID)を識別するための識別子を用いてファイル属性を検索するステップと、
    前記FIDを用い、前記ホストデバイスのオブジェクト管理テーブルを検索して、前記FIDと関係するプライマリオブジェクトに対し、パーティションID(PID)とオブジェクトID(OID)を識別するステップと、
    前記ホストデバイスのファイルシステムから、前記オブジェクトベース・ストレージシステムのスナップショットモジュールでの前記PIDと前記OIDを含むSNAPSHOTコマンドを受信するステップと、
    関係するPIDとOIDを持つ第一の差分オブジェクトから第二の差分オブジェクトへ、プライマリオブジェクトに対する差分データのデスティネーションを変更するためのスナップショットモジュールにおける構成を変更するステップと、
    前記第一の差分オブジェクトにおいて、データを安定させることにより、前記プライマリオブジェクトと関係する前記第一の差分オブジェクトの一時点のスナップショットをとるステップと、
    前記オブジェクトベース・ストレージシステムにおいて維持される第二のオブジェクト管理テーブルにおいて、前記プライマリオブジェクトの世代番号を1加算するステップと、
    前記ファイルシステムに、前記プライマリオブジェクトPID、OID、前記第一の差分オブジェクトPID、OID、前記世代番号を送信するステップと、
    を有する方法。
JP2005320312A 2004-11-17 2005-11-04 ストレージシステムでオブジェクトレベルのスナップショットを生成するシステムと方法 Expired - Fee Related JP4776342B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/989,392 US7228320B2 (en) 2004-11-17 2004-11-17 System and method for creating an object-level snapshot in a storage system
US10/989392 2004-11-17

Publications (3)

Publication Number Publication Date
JP2006146904A JP2006146904A (ja) 2006-06-08
JP2006146904A5 true JP2006146904A5 (ja) 2008-11-27
JP4776342B2 JP4776342B2 (ja) 2011-09-21

Family

ID=36387714

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005320312A Expired - Fee Related JP4776342B2 (ja) 2004-11-17 2005-11-04 ストレージシステムでオブジェクトレベルのスナップショットを生成するシステムと方法

Country Status (2)

Country Link
US (2) US7228320B2 (ja)
JP (1) JP4776342B2 (ja)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7228320B2 (en) * 2004-11-17 2007-06-05 Hitachi, Ltd. System and method for creating an object-level snapshot in a storage system
US7672979B1 (en) * 2005-04-22 2010-03-02 Symantec Operating Corporation Backup and restore techniques using inconsistent state indicators
US8346950B1 (en) * 2005-05-19 2013-01-01 Glam Media, Inc. Hosted application server
KR100825720B1 (ko) * 2005-12-08 2008-04-29 한국전자통신연구원 파일 시스템에서 파일 관리 방법 및 이를 위한 메타데이터서버
TWI307026B (en) * 2005-12-30 2009-03-01 Ind Tech Res Inst System and method for storage management
US7562078B1 (en) * 2006-04-01 2009-07-14 Network Appliance, Inc. Retention of active data stored in memory
US7707183B2 (en) * 2006-07-21 2010-04-27 Netiq Corporation Methods, systems and computer program products for monitoring changes to objects on a computer system using information models and baselines
KR100912126B1 (ko) 2006-12-04 2009-08-13 한국전자통신연구원 객체 기반 파일 시스템의 파일셋의 스냅샷 제공 방법
US20100023420A1 (en) 2006-12-05 2010-01-28 Alex Nerst Transferring entitlements in communication networks
US7882202B2 (en) * 2008-04-01 2011-02-01 International Business Machines Corporation System to delegate virtual storage access method related file operations to a storage server using an in-band RPC mechanism
CN101796514B (zh) * 2008-10-07 2012-04-18 华中科技大学 对象存储系统的管理方法
JP2010134788A (ja) * 2008-12-05 2010-06-17 Hitachi Ltd クラスタ・ストレージ装置、及びそれを制御する方法
US20100217977A1 (en) * 2009-02-23 2010-08-26 William Preston Goodwill Systems and methods of security for an object based storage device
WO2011113504A1 (en) * 2010-03-16 2011-09-22 Amplidata Nv Device driver for use in a data storage system
US8306950B2 (en) * 2010-08-26 2012-11-06 International Business Machines Corporation Managing data access requests after persistent snapshots
KR101702366B1 (ko) 2010-12-22 2017-02-03 삼성전자주식회사 동적으로 확장 가능한 기능을 제공하는 스토리지 장치 및 그것의 동작 방법
JP5541149B2 (ja) 2010-12-27 2014-07-09 富士通株式会社 スナップショット採取プログラム、サーバおよびスナップショット採取方法
US8386840B2 (en) 2010-12-27 2013-02-26 Amplidata Nv Distributed object storage system
US8433849B2 (en) 2010-12-27 2013-04-30 Amplidata Nv Hierarchical, distributed object storage system
US8732518B2 (en) 2011-04-13 2014-05-20 Netapp, Inc. Reliability based data allocation and recovery in a storage system
CN102890646B (zh) * 2011-07-18 2016-03-30 华为软件技术有限公司 数据快照方法、快照还原方法、相关装置和系统
US9158828B1 (en) * 2011-12-19 2015-10-13 Emc Corporation Techniques using associated object properties
US20130282992A1 (en) * 2011-12-22 2013-10-24 Intel Corporation Object-aware storage
CN103246716B (zh) * 2013-04-26 2016-02-24 中国传媒大学 基于对象集群文件系统的对象副本高效管理方法及系统
CN103559224A (zh) * 2013-10-18 2014-02-05 华为技术有限公司 一种对元数据对象进行散列的方法及装置
US10248682B2 (en) 2015-02-20 2019-04-02 Scality, S.A. Object storage system capable of performing snapshots, branches and locking
US10261960B2 (en) * 2014-09-12 2019-04-16 Scality, S.A. Snapshots and forks of storage systems using distributed consistent databases implemented within an object store
US10366070B2 (en) 2015-02-20 2019-07-30 Scality S.A. Locking and I/O improvements of systems built with distributed consistent database implementations within an object store
JP6327028B2 (ja) * 2014-07-14 2018-05-23 日本電気株式会社 オブジェクトストレージシステムおよびその制御方法およびその制御プログラム
SG11201703410YA (en) * 2014-12-27 2017-06-29 Huawei Tech Co Ltd Data processing method, apparatus, and system
US10592128B1 (en) * 2015-12-30 2020-03-17 EMC IP Holding Company LLC Abstraction layer
US10534796B1 (en) * 2016-06-30 2020-01-14 EMC IP Holding Company LLC Maintaining an active-active cloud across different types of cloud storage services
US10055166B1 (en) * 2016-06-30 2018-08-21 EMC IP Holding Company LLC Method, data storage system and computer program product for managing data copying
WO2018009170A1 (en) * 2016-07-02 2018-01-11 Fencel Richard Stanley Projection of software and integrated circuit diagrams into actual 3d space
CN106202367B (zh) 2016-07-07 2019-03-05 腾讯科技(深圳)有限公司 一种对象信息的处理方法及装置
JP6724252B2 (ja) * 2017-04-14 2020-07-15 華為技術有限公司Huawei Technologies Co.,Ltd. データ処理方法、記憶システムおよび切り換え装置
US11550820B2 (en) * 2017-04-28 2023-01-10 Oracle International Corporation System and method for partition-scoped snapshot creation in a distributed data computing environment
US11163730B2 (en) * 2019-05-13 2021-11-02 Microsoft Technology Licensing, Llc Hard link operations for files in a file system
CN111240894B (zh) * 2019-12-31 2023-11-14 中国建设银行股份有限公司 用于对基于Ceph的对象存储系统进行故障分析的系统和介质
CN113254823A (zh) * 2021-05-13 2021-08-13 浙江网商银行股份有限公司 网页数据处理方法及装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1341310C (en) * 1988-07-15 2001-10-23 Robert Filepp Interactive computer network and method of operation
US5649152A (en) 1994-10-13 1997-07-15 Vinca Corporation Method and system for providing a static snapshot of data stored on a mass storage system
US6101497A (en) 1996-05-31 2000-08-08 Emc Corporation Method and apparatus for independent and simultaneous access to a common data set
US5761678A (en) 1996-06-26 1998-06-02 International Business Machines Corporation Creation of clone storage area with identification of base storage area and deferred cloning of metadata
US6298401B1 (en) 1997-08-11 2001-10-02 Seagate Technology Llc Object oriented storage device having a disc drive controller providing an interface exposing methods which are invoked to access objects stored in a storage media
US6704838B2 (en) * 1997-10-08 2004-03-09 Seagate Technology Llc Hybrid data storage and reconstruction system and method for a data storage device
US20020129047A1 (en) * 1999-12-13 2002-09-12 Cane David A. Multiple copy capability for network backup systems
US6804690B1 (en) 2000-12-27 2004-10-12 Emc Corporation Method for physical backup in data logical order
US7293030B2 (en) * 2001-11-29 2007-11-06 Symantec Operating Corporation Methods, functional data, and systems to represent a storage environment
US6775672B2 (en) * 2001-12-19 2004-08-10 Hewlett-Packard Development Company, L.P. Updating references to a migrated object in a partition-based distributed file system
US6850969B2 (en) * 2002-03-27 2005-02-01 International Business Machined Corporation Lock-free file system
US7827077B2 (en) * 2003-05-02 2010-11-02 Visa U.S.A. Inc. Method and apparatus for management of electronic receipts on portable devices
US7627617B2 (en) * 2004-02-11 2009-12-01 Storage Technology Corporation Clustered hierarchical file services
US7228320B2 (en) * 2004-11-17 2007-06-05 Hitachi, Ltd. System and method for creating an object-level snapshot in a storage system
US7382758B2 (en) * 2004-11-30 2008-06-03 Motorola, Inc. Medium access control for simultaneous channel communications
US7580958B2 (en) * 2005-06-17 2009-08-25 International Business Machines Corporation Supporting multiple versions of a routine
KR100825720B1 (ko) * 2005-12-08 2008-04-29 한국전자통신연구원 파일 시스템에서 파일 관리 방법 및 이를 위한 메타데이터서버
US9002795B2 (en) * 2006-01-26 2015-04-07 Seagate Technology Llc Object-based data storage device

Similar Documents

Publication Publication Date Title
JP2006146904A5 (ja)
JP4776342B2 (ja) ストレージシステムでオブジェクトレベルのスナップショットを生成するシステムと方法
US11847336B1 (en) Efficient replication using metadata
JP4786945B2 (ja) インデックス付与強制クエリ
US10936547B2 (en) Filesystem replication using a minimal filesystem metadata changelog
US6826666B2 (en) Method and system for transporting data content on a storage area network
US7711754B2 (en) System and method for managing data using static lists
US8352490B2 (en) Method and system for locating update operations in a virtual machine disk image
JP2018028715A (ja) ストレージ制御装置、ストレージシステムおよびストレージ制御プログラム
US7668875B2 (en) Data storage device, method of rearranging data and recording medium therefor
CN106663047A (zh) 用于优化的签名比较和数据复制的系统和方法
KR102263357B1 (ko) 분산 파일시스템 환경에서 사용자 수준 dma i/o를 지원하는 시스템 및 그 방법
JP2014510314A (ja) ファイル共有システム及びファイル共有方法
JP2006268829A (ja) ストレージシステム間でオブジェクトをミラー化する方法と装置
JP2004500633A (ja) ネットワークバックアップシステム用の多重コピー能力
JP2007183763A (ja) システム、サーバ装置及びスナップショットの形式変換方法
US9020994B1 (en) Client-based migrating of data from content-addressed storage to file-based storage
CN110008197B (zh) 一种数据处理方法、系统及电子设备和存储介质
KR20100061457A (ko) 스토리지 컨트롤러와 복제 엔진 사이에서 라이트들을 스플리트하는 기술
JP4755244B2 (ja) 情報生成方法、情報生成プログラム及び情報生成装置
JP5241298B2 (ja) 履歴上のファイル名およびロケーションをインデックス付きにすることによりファイル・サーチおよびファイル操作を支援するためのシステムおよび方法
JP6329778B2 (ja) ストレージシステム、インデクシング方法、インデクシングプログラム
JP3782948B2 (ja) サーバ・システム及びサーバ・システムの制御方法
US10318489B2 (en) Avoiding full file replication using sparse files
JP5556025B2 (ja) ストレージシステム