JP2005267600A5 - - Google Patents

Download PDF

Info

Publication number
JP2005267600A5
JP2005267600A5 JP2004283018A JP2004283018A JP2005267600A5 JP 2005267600 A5 JP2005267600 A5 JP 2005267600A5 JP 2004283018 A JP2004283018 A JP 2004283018A JP 2004283018 A JP2004283018 A JP 2004283018A JP 2005267600 A5 JP2005267600 A5 JP 2005267600A5
Authority
JP
Japan
Prior art keywords
partition
partitions
file
value
predetermined value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004283018A
Other languages
English (en)
Other versions
JP2005267600A (ja
JP4473694B2 (ja
Filing date
Publication date
Priority claimed from US10/801,898 external-priority patent/US7100008B2/en
Application filed filed Critical
Publication of JP2005267600A publication Critical patent/JP2005267600A/ja
Publication of JP2005267600A5 publication Critical patent/JP2005267600A5/ja
Application granted granted Critical
Publication of JP4473694B2 publication Critical patent/JP4473694B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (21)

  1. 一以上のパーティション・データより構成されるファイルを格納するストレージ・システムにアクセスするための方法であって、
    前記ストレージ・システムへ第1のファイルを格納する要求を受信するステップと、
    前記第1のファイルからの第一のパーティション・データを作成するステップと、
    前記第一のパーティション・データと同一であるデータを含む前記ストレージ・システム内の第2のパーティションの個数が第1の所定の値より少ない場合には、第2のパーティションの個数を第2の所定の値まで増加させるのに充分な個数の前記第1のパーティションの複製を作成する作成ステップと、
    含むことを特徴とする方法。
  2. 第2のパーティションの個数が第3の所定の値より多く前記第1のパーティションの1つ又はそれ以上の複製が存在する場合には、前記複製を削除し、第2のパーティションの個数を減少させる削除ステップと、
    前記第1のファイルを構成する他のパーティション・データについて前記作成ステップ及び前記削除ステップを反復するステップとを含むことを特徴とする請求項1記載の方法。
  3. パーティション各々が内容に基づく符号とグループIDとによって識別され、一つのパーティションのデータが別のパーティションのデータと異なり両方のパーティションが同一の内容に基づく符号を有する場合には、各パーティションには異なるグループIDを持たせるようにし、同一データを含むパーティションは同一の内容に基づく符号とグループIDとによって識別されるようにすることを特徴とする請求項1または2に記載の方法。
  4. 前記ストレージ・システム内の各パーティションに対応する内容に基づく符号とグループIDとを含むパーティション識別情報を格納するステップをさらに含み、
    前記第1のパーティションには第1の内容に基づく符号の値と第1のグループIDの値とを関連付け、
    対応する内容に基づいた符号が前記パーティション識別情報に問い合わせて前記第1の内容に基づく符号の値と等しく対応するグループIDが前記第1のグループID値に等しいパーティションの個数をカウントすることにより、第2のパーティションの個数を決定できるようにしてあることを特徴とする請求項3に記載の方法。
  5. 前記内容に基づく符号がパーティションの内容に対してハッシュ・アルゴリズムを提供
    することで作成したハッシュ符号であることを特徴とする請求項1に記載の方法。
  6. 前記ストレージ・システムの各パーティションに対応するハッシュ符号とグループIDとを含むパーティション識別情報を格納するステップをさらに含み、前記第1のパーティションには第1のハッシュ符号値と第1のグループID値とを関連付け、多数の複製を作成する前記ステップは、前記第1のハッシュ符号値と前記第1のグループID値とを含む前記パーティション識別情報へ各複製を識別する情報を追加するステップを含むことを特徴とする請求項4に記載の方法。
  7. 前記第1の所定の値は前記第2の所定の値より少ないことを特徴とする請求項1に記載の方法。
  8. 前記第1の所定の値は前記第2の所定の値と等しいことを特徴とする請求項1に記載の方法。
  9. 1つ又はそれ以上の複製を削除する前記ステップは複製全部が削除されるまでか、又は第2のパーティションの個数が第4の所定の値より少なくなるまで1つ又はそれ以上の複製を削除するステップを含むことを特徴とする請求項2に記載の方法。
  10. 前記第3の所定の値は前記第4の所定の値より大きいことを特徴とする請求項9に記載の方法。
  11. 入力パーティションについて同一パーティションの個数と複製の個数の和が前記第二の所定の値に等しく、前記第1の所定の値が前記第2の所定の値と同一パーティションの個数との差であるようにすることを特徴とする請求項1に記載の方法。
  12. 前記第1の所定の値が1であることを特徴とする請求項1に記載の方法。
  13. 前記第1の所定の値が1より大きい数値であることを特徴とする請求項1に記載の方法。
  14. 各パーティションは他のパーティションと同一のサイズであることを特徴とする請求項1に記載の方法。
  15. 1つ又はそれ以上のパーティションを識別するステップはファイルのパーティションが識別されるパーティション・サイズを決定することを含むことを特徴とする請求項1に記載の方法。
  16. ファイルのパーティションのパーティション・サイズは別のファイルで異なることを特徴とする請求項1に記載の方法。
  17. 読み出し対象ファイルを構成する第1のパーティションにアクセスするステップと、
    候補パーティションが改竄されているか否かの判定するステップと、
    前記第1の読み出しパーティションにある内容が改竄されている場合には、
    前記ストレージ・システムにアクセスし候補パーティションの中
    から改竄されていない置き換えパーティションを検索するステップと、
    前記第1の読み出しパーティションを構成する前記ファイルの内容を前記置き換えパーティションの内容で置き換えるステップと、を含むことを特徴とする請求項1記載の方法。
  18. 読み出し対象の前記第1の読み出しパーティションについて置き換えパーティションが見つからない場合にはエラー情報を出力することを特徴とする請求項17に記載の方法。
  19. 前記第1の読み出しパーティションを含むデータを用いた計算を実行して計算値を作成するステップと、
    前記ストレージ・システム内の各パーティションに対応する内容に基づく符号と前記計算機とを比較するステップと、
    前記計算値が前記符号と一致しない場合には、
    前記ストレージ・システムから第1の候補パーティションを取得するステップと、
    を含む請求項17記載の方法。
  20. ファイルを構成するパーティションデータを格納するストレージシステムであって、
    前記パーティションデータを格納するストレージ・コンポーネントと、
    前記ストレージ・コンポーネントに接続されるデータ処理コンポーネントとを備え、
    前記データ処理コンポーネントは、前記ストレージ・コンポーネントに格納されているファイルへアクセスするため又は前記ストレージ・コンポーネントへファイルを格納するためのアクセス要求を受信し、ファイルを構成するデータの第一の部分を含む第1のパーティションにアクセスし、前記第1のパーティションが前記ストレージ・コンポーネント内に対応する同一パーティションを有していない場合には少なくとも一つの複製を作成することを特徴とするストレージシステム。
  21. 前記データ処理コンポーネントは、各々のアクセスされるパーティションについて前記アクセスされるパーティションが改竄されているか判定し、改竄されていると判定されたパーティションについて、前記アクセスされるパーティションが改竄されていなかった時点での前記アクセスされるパーティションと同一である置き換えパーティションが前記ストレージ・コンポーネントに存在するかどうか判定し、
    存在する場合、前記第1のファイルを変更し、改竄パーティションの各々を置き換えパーティションで置き換えることを特徴とする請求項20記載のストレージシステム。
JP2004283018A 2004-03-15 2004-09-29 長期データ保護システム及び方法 Expired - Fee Related JP4473694B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US10/801,898 US7100008B2 (en) 2004-03-15 2004-03-15 Long term data protection system and method

Publications (3)

Publication Number Publication Date
JP2005267600A JP2005267600A (ja) 2005-09-29
JP2005267600A5 true JP2005267600A5 (ja) 2007-05-17
JP4473694B2 JP4473694B2 (ja) 2010-06-02

Family

ID=34920869

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004283018A Expired - Fee Related JP4473694B2 (ja) 2004-03-15 2004-09-29 長期データ保護システム及び方法

Country Status (2)

Country Link
US (2) US7100008B2 (ja)
JP (1) JP4473694B2 (ja)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080215474A1 (en) * 2000-01-19 2008-09-04 Innovation International Americas, Inc. Systems and methods for management of intangible assets
US7263521B2 (en) * 2002-12-10 2007-08-28 Caringo, Inc. Navigation of the content space of a document set
US7895224B2 (en) * 2002-12-10 2011-02-22 Caringo, Inc. Navigation of the content space of a document set
AU2004214014B2 (en) * 2003-02-21 2009-10-22 Datacore Software Corporation Additional hash functions in content-based addressing
KR100720602B1 (ko) * 2003-09-26 2007-05-21 니뽄 덴신 덴와 가부시키가이샤 태그 프라이버시 보호 방법, 태그 장치, 백엔드 장치, 갱신 장치, 갱신 의뢰 장치, 그들 프로그램 및 이들 프로그램을 격납한 기록 매체
KR100608604B1 (ko) * 2004-09-15 2006-08-03 삼성전자주식회사 객체 식별자를 이용하여 이동형 저장 장치에서 권리객체를 검색하는 방법 및 장치
FR2879312B1 (fr) * 2004-12-10 2007-08-17 Eastman Kodak Co Procede d'ecriture et de restauration de donnees de conservation
WO2006109623A1 (ja) * 2005-04-05 2006-10-19 Matsushita Electric Industrial Co., Ltd. コンピュータシステム、コンフィギュレーション情報を表すデータ構造、並びにマッピング装置および方法
US7770015B1 (en) * 2005-05-20 2010-08-03 Adobe Systems Incorporated Signatures for multiple encodings
DE602006021217D1 (de) * 2005-10-12 2011-05-19 Datacastle Corp Verfahren und system zur datensicherung
US7831793B2 (en) * 2006-03-01 2010-11-09 Quantum Corporation Data storage system including unique block pool manager and applications in tiered storage
DE102006014327A1 (de) * 2006-03-23 2007-09-27 Siemens Ag Verfahren zum Überwachen der Datenintegrität
US8548948B2 (en) * 2006-04-11 2013-10-01 Oracle International Corporation Methods and apparatus for a fine grained file data storage system
JP2007323218A (ja) * 2006-05-31 2007-12-13 Hitachi Ltd バックアップシステム
KR20090031363A (ko) * 2006-06-22 2009-03-25 코닌클리케 필립스 일렉트로닉스 엔.브이. 데이터를 수집하는 방법
US8489702B2 (en) * 2007-06-22 2013-07-16 Apple Inc. Determining playability of media files with minimal downloading
US9081902B2 (en) * 2008-06-20 2015-07-14 Microsoft Technology Licensing, Llc. Generalized architecture to support representation of multi-transport devices
US8117343B2 (en) * 2008-10-28 2012-02-14 Hewlett-Packard Development Company, L.P. Landmark chunking of landmarkless regions
US9077784B2 (en) * 2009-02-06 2015-07-07 Empire Technology Development Llc Media file synchronization
US8001273B2 (en) * 2009-03-16 2011-08-16 Hewlett-Packard Development Company, L.P. Parallel processing of input data to locate landmarks for chunks
JP4592115B1 (ja) * 2009-05-29 2010-12-01 誠 後藤 ファイル格納システム、サーバ装置及びプログラム
JP5254141B2 (ja) * 2009-07-14 2013-08-07 富士通株式会社 アーカイブ装置、データ格納プログラムおよびデータ格納方法
JP4856217B2 (ja) * 2009-07-21 2012-01-18 富士通株式会社 データ格納プログラム、データ格納方法およびデータ格納システム
EP2302536A1 (en) * 2009-09-21 2011-03-30 Thomson Licensing System and method for automatically verifying storage of redundant contents into communication equipments, by data comparison
US8380675B1 (en) 2010-04-22 2013-02-19 Symantec Corporation Mailbox archiving using adaptive patterns
CN102833294B (zh) * 2011-06-17 2015-05-20 阿里巴巴集团控股有限公司 基于云存储的文件处理方法、系统及服务器集群系统
US9128862B2 (en) 2012-02-23 2015-09-08 International Business Machines Corporation Efficient checksums for shared nothing clustered filesystems
JP6327028B2 (ja) * 2014-07-14 2018-05-23 日本電気株式会社 オブジェクトストレージシステムおよびその制御方法およびその制御プログラム
US9645897B2 (en) * 2015-03-11 2017-05-09 International Business Machines Corporation Using duplicated data to enhance data security in RAID environments
US10482076B2 (en) * 2015-08-14 2019-11-19 Sap Se Single level, multi-dimension, hash-based table partitioning
US10140313B2 (en) * 2015-09-27 2018-11-27 International Business Machines Corporation Parallel processing of large data files on distributed file systems with dynamic workload balancing
JP6731783B2 (ja) * 2016-05-19 2020-07-29 株式会社野村総合研究所 改ざん検知システム、及び改ざん検知方法
CN107220002B (zh) * 2017-05-26 2020-08-21 苏州浪潮智能科技有限公司 一种支持内存快照重复数据删除的存储方法和装置
US11579978B2 (en) * 2018-02-14 2023-02-14 Rubrik, Inc. Fileset partitioning for data storage and management
US11620191B2 (en) * 2018-10-01 2023-04-04 Rubrik, Inc. Fileset passthrough using data management and storage node
US11487628B1 (en) * 2019-05-13 2022-11-01 R-Stor Inc. System and method for rapidly transferring and recovering large data sets

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5271018A (en) * 1990-04-27 1993-12-14 Next, Inc. Method and apparatus for media defect management and media addressing
US5440727A (en) 1991-12-18 1995-08-08 International Business Machines Corporation Asynchronous replica management in shared nothing architectures
US5930831A (en) * 1995-02-23 1999-07-27 Powerquest Corporation Partition manipulation architecture supporting multiple file systems
US5815649A (en) 1995-10-20 1998-09-29 Stratus Computer, Inc. Distributed fault tolerant digital data storage subsystem for fault tolerant computer system
US5778395A (en) 1995-10-23 1998-07-07 Stac, Inc. System for backing up files from disk volumes on multiple nodes of a computer network
US6405315B1 (en) 1997-09-11 2002-06-11 International Business Machines Corporation Decentralized remotely encrypted file system
US5991414A (en) 1997-09-12 1999-11-23 International Business Machines Corporation Method and apparatus for the secure distributed storage and retrieval of information
ATE223595T1 (de) 1998-01-23 2002-09-15 Emc Corp Einkapselung, datendarstellung und übertragung von inhaltsaddressierbaren daten
US6367029B1 (en) 1998-11-03 2002-04-02 Sun Microsystems, Inc. File server system tolerant to software and hardware failures
US6574657B1 (en) 1999-05-03 2003-06-03 Symantec Corporation Methods and apparatuses for file synchronization and updating using a signature list
US6654771B1 (en) 1999-07-19 2003-11-25 Microsoft Corporation Method and system for network data replication
US6591376B1 (en) * 2000-03-02 2003-07-08 Hewlett-Packard Development Company, L.P. Method and system for failsafe recovery and upgrade of an embedded operating system
US20020032691A1 (en) 2000-05-26 2002-03-14 Infolibria, Inc. High performance efficient subsystem for data object storage
US7043637B2 (en) 2001-03-21 2006-05-09 Microsoft Corporation On-disk file format for a serverless distributed file system

Similar Documents

Publication Publication Date Title
JP2005267600A5 (ja)
US10579683B2 (en) Memory system including key-value store
US7689574B2 (en) Index and method for extending and querying index
US7228299B1 (en) System and method for performing file lookups based on tags
US7487138B2 (en) System and method for chunk-based indexing of file system content
US9047301B2 (en) Method for optimizing the memory usage and performance of data deduplication storage systems
US8959089B2 (en) Data processing apparatus and method of processing data
US9367448B1 (en) Method and system for determining data integrity for garbage collection of data storage systems
CN103136243B (zh) 基于云存储的文件系统去重方法及装置
US7752226B1 (en) Reverse pathname lookup by inode identifier
US8131726B2 (en) Generic architecture for indexing document groups in an inverted text index
JP2005122702A5 (ja)
CN104160398B (zh) 用于大对象数据内的结构化内容的方法及其系统
US10078648B1 (en) Indexing deduplicated data
CN110888837B (zh) 对象存储小文件归并方法及装置
CN113535670B (zh) 一种虚拟化资源镜像存储系统及其实现方法
JP5646775B2 (ja) key−valueストア方式を有するメモリシステム
CN106874329A (zh) 数据库表索引的实现方法和装置
JP5833212B2 (ja) key−valueストア方式を有するメモリシステム
JP2017021857A (ja) メモリシステムのローカルコントローラ
WO2012081165A1 (ja) データベース管理装置及びデータベース管理方法
Zhang et al. Improved deduplication through parallel binning
JP6034467B2 (ja) システム
JP2010191903A (ja) 分散ファイルシステムのストライピング種別選択方法及びその分散ファイルシステム
CN112131194A (zh) 一种只读文件系统的文件存储控制方法及装置、存储介质