JP2016173826A5 - コンシステントハッシュ法を用いたグローバルネームスペースのための方法およびシステム - Google Patents

コンシステントハッシュ法を用いたグローバルネームスペースのための方法およびシステム Download PDF

Info

Publication number
JP2016173826A5
JP2016173826A5 JP2016080284A JP2016080284A JP2016173826A5 JP 2016173826 A5 JP2016173826 A5 JP 2016173826A5 JP 2016080284 A JP2016080284 A JP 2016080284A JP 2016080284 A JP2016080284 A JP 2016080284A JP 2016173826 A5 JP2016173826 A5 JP 2016173826A5
Authority
JP
Japan
Prior art keywords
storage server
storage
client
server
sequence number
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016080284A
Other languages
English (en)
Other versions
JP6302951B2 (ja
JP2016173826A (ja
Filing date
Publication date
Priority claimed from US13/671,996 external-priority patent/US8589659B1/en
Application filed filed Critical
Publication of JP2016173826A publication Critical patent/JP2016173826A/ja
Publication of JP2016173826A5 publication Critical patent/JP2016173826A5/ja
Application granted granted Critical
Publication of JP6302951B2 publication Critical patent/JP6302951B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (20)

  1. ストレージプールにデータを書き込むための方法であって、
    グローバルネームスペースレイアウト(GL)を作成することを備え、前記GLは、前記ストレージプールにおける第1のストレージサーバーに対する第1のサーバーエントリと、前記ストレージプールにおける第2のストレージサーバーからの第2のサーバーエントリとを備え、前記第1のサーバーエントリは、前記第1のストレージサーバーを識別するノード識別子(ID)を備え、ノードポイントを用いて、どの書き込みリクエストが前記第1のストレージサーバーによって処理されるかを決定し、前記方法はさらに、
    前記GLをクライアントに提供することと、
    前記GLを前記クライアントに提供したあとに、
    前記クライアントから、前記第1のストレージサーバーによるオブジェクトレイアウト(OL)に対するリクエストを受信することと、
    前記クライアントに前記OLを提供することと、
    前記クライアントに前記OLを提供したあとに、
    前記第2のストレージサーバー内においてオブジェクトにデータを書き込むための書き込みリクエストを前記第2のストレージサーバーによって受信することととを備え、前記書き込みリクエストはオブジェクトIDおよびオフセットを備え、前記方法はさらに、
    前記書き込みリクエストに応答して、前記第2のストレージサーバー上において前記オブジェクトに前記データを書き込むことを備える、ストレージプールにデータを書き込むための方法。
  2. 前記ストレージプールは複数のストレージサーバーを備え、前記GLは各GLシーケンス番号に対して前記複数のストレージサーバーのどれが書き込み可能であったかということと、各GLシーケンス番号に対して書き込み可能な前記複数のストレージサーバーにどのように書き込みが分散されたかということとを特定する、請求項1に記載の方法。
  3. 前記OLはOLシーケンス番号を特定し、前記OLシーケンス番号は前記オブジェクトが作成されるときに設定され、前記OLシーケンス番号は前記オブジェクトが作成されたときの前記GLのGLシーケンス番号に対応する、請求項1に記載の方法。
  4. 前記OLに対する前記リクエストは、前記オブジェクトと関連付けられる仮想識別子(ID)を用いて生成される値を備える、請求項1に記載の方法。
  5. 前記OLはOLシーケンス番号と前記仮想IDとストライプ幅とを備える、請求項に記載の方法。
  6. 前記GLは、前記第1のストレージサーバーが前記ストレージプールに追加されたときのGLシーケンス番号に対応する第1のノードシーケンス番号をさらに備える、請求項1に記載の方法。
  7. 前記第2のストレージサーバー内において前記OLを格納するためのリクエストを前記第2のストレージサーバーによって受信することをさらに備え、前記OLを格納するための前記リクエストは仮想IDおよび特別なオフセットを特定し、前記方法はさらに、
    前記第2のストレージサーバーによって、前記第2のストレージサーバーにおいて前記OLを格納すること備える、請求項1に記載の方法。
  8. 前記GLを第2のクライアントに提供することと、
    前記GLを前記第2のクライアントに提供したあとに、
    前記第1のストレージサーバーによって、前記第2のクライアントからの第2のGLを受信することとをさらに備え、前記第2のGLは、前記GLと関連付けられる前記第1のGLシーケンス番号よりも大きい第2のGLシーケンス番号と関連付けられ、前記方法はさらに、
    前記第1のストレージサーバー内に前記第2のGLを格納することを備える、請求項1に記載の方法。
  9. 前記第2のストレージサーバーによって、前記オブジェクトを削除するリクエストを受信することと、
    前記オブジェクトを削除する前記リクエストを受信することに応答して、
    前記第2のストレージサーバーにおける前記オブジェクトに対応するエントリに対して削除フラグをセットすることと、
    前記ストレージプールにおける他のすべてのストレージサーバーにおける前記オブジェクトに対応する他のすべてのエントリを無効にすることと、
    前記ストレージプールにおける他のすべてのストレージサーバーにおける前記オブジェクトに対応する他のすべてのエントリを無効にしたあとで、前記第2のストレージサーバーにおける前記オブジェクトに対応する前記エントリを無効にすることとをさらに備える、請求項1に記載の方法。
  10. プロセッサによって実行されるとある方法を実行する命令を備える、非一時的なコンピュータ読取可能媒体であって、前記方法は、
    グローバルネームスペースレイアウト(GL)を作成することを備え、前記GLは、前記ストレージプールにおける第1のストレージサーバーに対する第1のサーバーエントリと、前記ストレージプールにおける第2のストレージサーバーからの第2のサーバーエントリとを備え、前記第1のサーバーエントリは、前記第1のストレージサーバーを識別するノード識別子(ID)を備え、ノードポイントを用いて、どの書き込みリクエストが前記第1のストレージサーバーによって処理されるかを決定し、前記方法はさらに、
    前記GLをクライアントに提供することと、
    前記GLを前記クライアントに提供したあとに、
    前記クライアントから、前記第1のストレージサーバーによるオブジェクトレイアウト(OL)に対するリクエストを受信することと、
    前記クライアントに前記OLを提供することと、
    前記クライアントに前記OLを提供したあとに、
    前記第2のストレージサーバー内においてオブジェクトにデータを書き込むための書き込みリクエストを前記第2のストレージサーバーによって受信することととを備え、前記書き込みリクエストはオブジェクトIDおよびオフセットを備え、前記方法はさらに、
    前記書き込みリクエストに応答して、前記第2のストレージサーバー上において前記オブジェクトに前記データを書き込むことを備える、非一時的なコンピュータ読取可能媒体。
  11. 前記ストレージプールは複数のストレージサーバーを備え、前記GLは各GLシーケンス番号に対して前記複数のストレージサーバーのどれが書き込み可能であったかということと、各GLシーケンス番号に対して書き込み可能な前記複数のストレージサーバーにどのように書き込みが分散されたかということとを特定する、請求項10に記載の非一時的なコンピュータ読取可能媒体。
  12. 前記OLはOLシーケンス番号を特定し、前記OLシーケンス番号は前記オブジェクトが作成されるときに設定され、前記OLシーケンス番号は前記オブジェクトが作成されたときの前記GLのGLシーケンス番号に対応する、請求項10に記載の非一時的なコンピュータ読取可能媒体。
  13. 前記OLに対する前記リクエストは、前記オブジェクトと関連付けられる仮想識別子(ID)を用いて生成される値を備える、請求項10に記載の非一時的なコンピュータ読取可能媒体。
  14. 前記OLはOLシーケンス番号と前記仮想IDとストライプ幅とを備える、請求項13に記載の非一時的なコンピュータ読取可能媒体。
  15. 前記GLは、前記第1のストレージサーバーが前記ストレージプールに追加されたときのGLシーケンス番号に対応する第1のノードシーケンス番号をさらに備える、請求項10に記載の非一時的なコンピュータ読取可能媒体。
  16. 前記方法はさらに、前記第2のストレージサーバー内において前記OLを格納するためのリクエストを前記第2のストレージサーバーによって受信することを備え、前記OLを格納するための前記リクエストは仮想IDおよび特別なオフセットを特定し、前記方法はさらに、
    前記第2のストレージサーバーによって、前記第2のストレージサーバーにおいて前記OLを格納すること備える、請求項10に記載の非一時的なコンピュータ読取可能媒体。
  17. 前記方法はさらに、
    前記GLを第2のクライアントに提供することと、
    前記GLを前記第2のクライアントに提供したあとに、
    前記第1のストレージサーバーによって、前記第2のクライアントからの第2のGLを受信することとを備え、前記第2のGLは、前記GLと関連付けられる前記第1のGLシーケンス番号よりも大きい第2のGLシーケンス番号と関連付けられ、前記方法はさらに、
    前記第1のストレージサーバー内に前記第2のGLを格納することを備える、請求項10に記載の非一時的なコンピュータ読取可能媒体。
  18. 前記方法はさらに、
    前記第2のストレージサーバーによって、前記オブジェクトを削除するリクエストを受信することと、
    前記オブジェクトを削除する前記リクエストを受信することに応答して、
    前記第2のストレージサーバーにおける前記オブジェクトに対応するエントリに対して削除フラグをセットすることと、
    前記ストレージプールにおける他のすべてのストレージサーバーにおける前記オブジェクトに対応する他のすべてのエントリを無効にすることと、
    前記ストレージプールにおける他のすべてのストレージサーバーにおける前記オブジェクトに対応する他のすべてのエントリを無効にしたあとで、前記第2のストレージサーバーにおける前記オブジェクトに対応する前記エントリを無効にすることとを備える、請求項10に記載の非一時的なコンピュータ読取可能媒体。
  19. 第1の持続的なストレージを備える第1のストレージサーバーと、
    第2の持続的なストレージを備える第2のストレージサーバーとを備え、
    前記第1のストレージサーバーは、
    グローバルネームスペースレイアウト(GL)を作成するようプログラミングされ、前記GLは、前記ストレージプールにおける第1のストレージサーバーに対する第1のサーバーエントリと、前記ストレージプールにおける第2のストレージサーバーからの第2のサーバーエントリとを備え、前記第1のサーバーエントリは、前記第1のストレージサーバーを識別するノード識別子(ID)を備え、ノードポイントを用いて、どの書き込みリクエストが前記第1のストレージサーバーによって処理されるかを決定し、前記第1のストレージサーバーはさらに、
    前記GLをクライアントに提供するようプログラミングされ、
    前記GLを前記クライアントに提供したあとに、
    前記クライアントから、前記第1のストレージサーバーによるオブジェクトレイアウト(OL)に対するリクエストを受信するようプログラミングされ、
    前記クライアントに前記OLを提供するようプログラミングされ、
    前記第2のストレージサーバーは、
    前記クライアントに前記OLを送信したあと、前記第2のストレージサーバー内においてオブジェクトにデータを書き込むための書き込みリクエストを前記第2のストレージサーバーによって受信するようプログラミングされ、前記書き込みリクエストはオブジェクトIDおよびオフセットを備え、前記第2のストレージサーバーはさらに、
    前記書き込みリクエストに応答して、前記第2の永続的なストレージ内の前記オブジェクトに前記データを書き込むようプログラミングされる、システム。
  20. 前記第1のストレージサーバーは、さらに、第2のクライアントに前記GLを提供するようにプログラミングされ、
    前記GLを前記第2のクライアントに提供したあとに、
    前記第2のクライアントから第2のGLを受信するようにプログラミングされ、前記第2のGLは、前記GLと関連付けられる前記第1のGLシーケンス番号よりも大きい第2のGLシーケンス番号と関連付けられ、前記第1のストレージサーバーはさらに、
    前記第2のGLを格納するようにプログラミングされる、請求項19に記載のシステム。
JP2016080284A 2012-11-08 2016-04-13 コンシステントハッシュ法を用いたグローバルネームスペースのための方法およびシステム Active JP6302951B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/671,996 2012-11-08
US13/671,996 US8589659B1 (en) 2012-11-08 2012-11-08 Method and system for global namespace with consistent hashing

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015541796A Division JP5922314B2 (ja) 2012-11-08 2013-10-24 コンシステントハッシュ法を用いたネームスペースのための方法およびシステム

Publications (3)

Publication Number Publication Date
JP2016173826A JP2016173826A (ja) 2016-09-29
JP2016173826A5 true JP2016173826A5 (ja) 2016-12-01
JP6302951B2 JP6302951B2 (ja) 2018-03-28

Family

ID=49551786

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015541796A Active JP5922314B2 (ja) 2012-11-08 2013-10-24 コンシステントハッシュ法を用いたネームスペースのための方法およびシステム
JP2016080284A Active JP6302951B2 (ja) 2012-11-08 2016-04-13 コンシステントハッシュ法を用いたグローバルネームスペースのための方法およびシステム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2015541796A Active JP5922314B2 (ja) 2012-11-08 2013-10-24 コンシステントハッシュ法を用いたネームスペースのための方法およびシステム

Country Status (5)

Country Link
US (3) US8589659B1 (ja)
EP (1) EP2917821B1 (ja)
JP (2) JP5922314B2 (ja)
CN (2) CN107273050B (ja)
WO (1) WO2014074316A1 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9430412B2 (en) * 2013-06-26 2016-08-30 Cnex Labs, Inc. NVM express controller for remote access of memory and I/O over Ethernet-type networks
US10482194B1 (en) * 2013-12-17 2019-11-19 EMC IP Holding Company LLC Simulation mode modification management of embedded objects
US10013370B2 (en) * 2015-12-29 2018-07-03 EMC IP Holding Company LLC Method and system for providing access of a storage system using a shared storage module as a transport mechanism
US9921756B2 (en) 2015-12-29 2018-03-20 EMC IP Holding Company LLC Method and system for synchronizing an index of data blocks stored in a storage system using a shared storage module
US10852955B2 (en) * 2015-12-29 2020-12-01 EMC IP Holding Company LLC Method and system for accessing data objects stored in a storage system using object descriptors allocated by clients
US10791109B2 (en) 2016-02-10 2020-09-29 Red Hat, Inc. Certificate based expiration of file system objects
US10223016B2 (en) * 2016-05-10 2019-03-05 Vmware, Inc Power management for distributed storage systems
CN106372002B (zh) * 2016-08-31 2019-03-19 成都科来软件有限公司 一种数据存储方法及读取还原方法
CN107967117B (zh) * 2016-10-20 2020-10-20 杭州海康威视数字技术股份有限公司 一种数据存储、读取、清理方法、装置及云存储系统
CN106776785B (zh) * 2016-11-24 2021-06-22 腾讯科技(深圳)有限公司 一种数据写入方法及装置和数据处理系统
US10783136B1 (en) * 2017-02-28 2020-09-22 Virtuozzo International Gmbh Management of garbage data in distributed systems
CN117909312A (zh) * 2019-02-01 2024-04-19 伊姆西Ip控股有限责任公司 处理访问请求和更新存储系统的方法、设备和程序产品
CN110504002B (zh) * 2019-08-01 2021-08-17 苏州浪潮智能科技有限公司 一种硬盘数据一致性测试方法与装置
US11934875B2 (en) 2020-12-09 2024-03-19 Dell Products L.P. Method and system for maintaining composed systems
US11435814B2 (en) 2020-12-09 2022-09-06 Dell Produts L.P. System and method for identifying resources of a composed system
US11853782B2 (en) 2020-12-09 2023-12-26 Dell Products L.P. Method and system for composing systems using resource sets
US11704159B2 (en) 2020-12-09 2023-07-18 Dell Products L.P. System and method for unified infrastructure architecture
US11693703B2 (en) 2020-12-09 2023-07-04 Dell Products L.P. Monitoring resource utilization via intercepting bare metal communications between resources
US11928515B2 (en) 2020-12-09 2024-03-12 Dell Products L.P. System and method for managing resource allocations in composed systems
US11675665B2 (en) 2020-12-09 2023-06-13 Dell Products L.P. System and method for backup generation using composed systems
US11604595B2 (en) 2020-12-09 2023-03-14 Dell Products L.P. Data mirroring and data migration between storage volumes using system control processors
US11809912B2 (en) 2020-12-09 2023-11-07 Dell Products L.P. System and method for allocating resources to perform workloads
US11698821B2 (en) 2020-12-09 2023-07-11 Dell Products L.P. Composable information handling systems in an open network using access control managers
US11675625B2 (en) 2020-12-09 2023-06-13 Dell Products L.P. Thin provisioning of resources using SCPS and a bidding system
US11809911B2 (en) 2020-12-09 2023-11-07 Dell Products L.P. Resuming workload execution in composed information handling system
US11768612B2 (en) 2021-01-28 2023-09-26 Dell Products L.P. System and method for distributed deduplication in a composed system
US11797341B2 (en) 2021-01-28 2023-10-24 Dell Products L.P. System and method for performing remediation action during operation analysis
US11675916B2 (en) 2021-01-28 2023-06-13 Dell Products L.P. Method and system for limiting data accessibility in composed systems
US11687280B2 (en) 2021-01-28 2023-06-27 Dell Products L.P. Method and system for efficient servicing of storage access requests
US11947697B2 (en) 2021-07-22 2024-04-02 Dell Products L.P. Method and system to place resources in a known state to be used in a composed information handling system
US12008412B2 (en) 2021-07-28 2024-06-11 Dell Products Resource selection for complex solutions
US11928506B2 (en) 2021-07-28 2024-03-12 Dell Products L.P. Managing composition service entities with complex networks
US11656778B2 (en) * 2021-08-17 2023-05-23 Micron Technology, Inc. Selection of block size for namespace management in non-volatile memory devices
CN113641674B (zh) * 2021-08-18 2024-02-23 中国银行股份有限公司 一种自适应全局序号发生方法和装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW505867B (en) * 1998-01-17 2002-10-11 Accton Technology Corp User's database in Ethernet network
JP4154893B2 (ja) * 2002-01-23 2008-09-24 株式会社日立製作所 ネットワークストレージ仮想化方法
US8589574B1 (en) 2005-12-29 2013-11-19 Amazon Technologies, Inc. Dynamic application instance discovery and state management within a distributed system
US7610383B2 (en) * 2006-08-11 2009-10-27 Hewlett-Packard Development Company, L.P. Data-object-related-request routing in a dynamic, distributed data-storage system
US7949630B1 (en) * 2007-12-31 2011-05-24 Emc Corporation Storage of data addresses with hashes in backup systems
JP2009289089A (ja) * 2008-05-29 2009-12-10 Nippon Telegr & Teleph Corp <Ntt> クラスタ型ストレージシステム、そのノード装置、データ制御方法およびそのプログラム
JP2009295127A (ja) * 2008-06-09 2009-12-17 Nippon Telegr & Teleph Corp <Ntt> アクセス方法、アクセス装置及び分散データ管理システム
US8868844B2 (en) * 2008-06-25 2014-10-21 International Business Machines Corporation System and method for a software managed cache in a multiprocessing environment
US7979671B2 (en) * 2008-07-28 2011-07-12 CacheIQ, Inc. Dual hash indexing system and methodology
SE533007C2 (sv) * 2008-10-24 2010-06-08 Ilt Productions Ab Distribuerad datalagring
CN101504670A (zh) * 2009-03-04 2009-08-12 成都市华为赛门铁克科技有限公司 数据操作方法、系统、客户端和数据服务器
US8285925B1 (en) * 2009-07-31 2012-10-09 Amazon Technologies, Inc. Management of object mapping information corresponding to a distributed storage system
WO2012046585A1 (ja) * 2010-10-04 2012-04-12 日本電気株式会社 分散ストレージシステム、その制御方法、およびプログラム
CN102833294B (zh) * 2011-06-17 2015-05-20 阿里巴巴集团控股有限公司 基于云存储的文件处理方法、系统及服务器集群系统
US8392428B1 (en) * 2012-09-12 2013-03-05 DSSD, Inc. Method and system for hash fragment representation

Similar Documents

Publication Publication Date Title
JP2016173826A5 (ja) コンシステントハッシュ法を用いたグローバルネームスペースのための方法およびシステム
US11093159B2 (en) Storage system with storage volume pre-copy functionality for increased efficiency in asynchronous replication
US9787773B2 (en) Method and system for global namespace with consistent hashing
JP6767115B2 (ja) ボリューム動作のための安全装置
JP2017076417A5 (ja)
JP2019512804A5 (ja)
US10157214B1 (en) Process for data migration between document stores
JP2018022529A5 (ja)
US8719237B2 (en) Method and apparatus for deleting duplicate data
US9251231B2 (en) Merging an out of synchronization indicator and a change recording indicator in response to a failure in consistency group formation
JP2020506461A5 (ja)
WO2016101283A1 (zh) 一种数据处理方法装置及系统
JP2018514028A5 (ja)
GB2550800A (en) Managing data in storage according to a log structure
JP2014096164A5 (ja)
WO2015110062A1 (zh) 一种分布式数据存储方法、装置和系统
JP2016531355A5 (ja)
JP2017519306A5 (ja)
JP2014534532A5 (ja)
WO2016074370A1 (zh) 一种KeyValue数据库的数据表的更新方法与表数据更新装置
JP2011524569A5 (ja)
JP2016508638A5 (ja)
US10503718B2 (en) Parallel transfers of electronic data
JP2016006646A5 (ja)
JP2015057696A5 (ja)