JP2016173826A5 - コンシステントハッシュ法を用いたグローバルネームスペースのための方法およびシステム - Google Patents
コンシステントハッシュ法を用いたグローバルネームスペースのための方法およびシステム Download PDFInfo
- Publication number
- JP2016173826A5 JP2016173826A5 JP2016080284A JP2016080284A JP2016173826A5 JP 2016173826 A5 JP2016173826 A5 JP 2016173826A5 JP 2016080284 A JP2016080284 A JP 2016080284A JP 2016080284 A JP2016080284 A JP 2016080284A JP 2016173826 A5 JP2016173826 A5 JP 2016173826A5
- Authority
- JP
- Japan
- Prior art keywords
- storage server
- storage
- client
- server
- sequence number
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000875 corresponding Effects 0.000 claims 10
- 230000002085 persistent Effects 0.000 claims 3
Claims (20)
- ストレージプールにデータを書き込むための方法であって、
グローバルネームスペースレイアウト(GL)を作成することを備え、前記GLは、前記ストレージプールにおける第1のストレージサーバーに対する第1のサーバーエントリと、前記ストレージプールにおける第2のストレージサーバーからの第2のサーバーエントリとを備え、前記第1のサーバーエントリは、前記第1のストレージサーバーを識別するノード識別子(ID)を備え、ノードポイントを用いて、どの書き込みリクエストが前記第1のストレージサーバーによって処理されるかを決定し、前記方法はさらに、
前記GLをクライアントに提供することと、
前記GLを前記クライアントに提供したあとに、
前記クライアントから、前記第1のストレージサーバーによるオブジェクトレイアウト(OL)に対するリクエストを受信することと、
前記クライアントに前記OLを提供することと、
前記クライアントに前記OLを提供したあとに、
前記第2のストレージサーバー内においてオブジェクトにデータを書き込むための書き込みリクエストを前記第2のストレージサーバーによって受信することととを備え、前記書き込みリクエストはオブジェクトIDおよびオフセットを備え、前記方法はさらに、
前記書き込みリクエストに応答して、前記第2のストレージサーバー上において前記オブジェクトに前記データを書き込むことを備える、ストレージプールにデータを書き込むための方法。 - 前記ストレージプールは複数のストレージサーバーを備え、前記GLは各GLシーケンス番号に対して前記複数のストレージサーバーのどれが書き込み可能であったかということと、各GLシーケンス番号に対して書き込み可能な前記複数のストレージサーバーにどのように書き込みが分散されたかということとを特定する、請求項1に記載の方法。
- 前記OLはOLシーケンス番号を特定し、前記OLシーケンス番号は前記オブジェクトが作成されるときに設定され、前記OLシーケンス番号は前記オブジェクトが作成されたときの前記GLのGLシーケンス番号に対応する、請求項1に記載の方法。
- 前記OLに対する前記リクエストは、前記オブジェクトと関連付けられる仮想識別子(ID)を用いて生成される値を備える、請求項1に記載の方法。
- 前記OLはOLシーケンス番号と前記仮想IDとストライプ幅とを備える、請求項4に記載の方法。
- 前記GLは、前記第1のストレージサーバーが前記ストレージプールに追加されたときのGLシーケンス番号に対応する第1のノードシーケンス番号をさらに備える、請求項1に記載の方法。
- 前記第2のストレージサーバー内において前記OLを格納するためのリクエストを前記第2のストレージサーバーによって受信することをさらに備え、前記OLを格納するための前記リクエストは仮想IDおよび特別なオフセットを特定し、前記方法はさらに、
前記第2のストレージサーバーによって、前記第2のストレージサーバーにおいて前記OLを格納すること備える、請求項1に記載の方法。 - 前記GLを第2のクライアントに提供することと、
前記GLを前記第2のクライアントに提供したあとに、
前記第1のストレージサーバーによって、前記第2のクライアントからの第2のGLを受信することとをさらに備え、前記第2のGLは、前記GLと関連付けられる前記第1のGLシーケンス番号よりも大きい第2のGLシーケンス番号と関連付けられ、前記方法はさらに、
前記第1のストレージサーバー内に前記第2のGLを格納することを備える、請求項1に記載の方法。 - 前記第2のストレージサーバーによって、前記オブジェクトを削除するリクエストを受信することと、
前記オブジェクトを削除する前記リクエストを受信することに応答して、
前記第2のストレージサーバーにおける前記オブジェクトに対応するエントリに対して削除フラグをセットすることと、
前記ストレージプールにおける他のすべてのストレージサーバーにおける前記オブジェクトに対応する他のすべてのエントリを無効にすることと、
前記ストレージプールにおける他のすべてのストレージサーバーにおける前記オブジェクトに対応する他のすべてのエントリを無効にしたあとで、前記第2のストレージサーバーにおける前記オブジェクトに対応する前記エントリを無効にすることとをさらに備える、請求項1に記載の方法。 - プロセッサによって実行されるとある方法を実行する命令を備える、非一時的なコンピュータ読取可能媒体であって、前記方法は、
グローバルネームスペースレイアウト(GL)を作成することを備え、前記GLは、前記ストレージプールにおける第1のストレージサーバーに対する第1のサーバーエントリと、前記ストレージプールにおける第2のストレージサーバーからの第2のサーバーエントリとを備え、前記第1のサーバーエントリは、前記第1のストレージサーバーを識別するノード識別子(ID)を備え、ノードポイントを用いて、どの書き込みリクエストが前記第1のストレージサーバーによって処理されるかを決定し、前記方法はさらに、
前記GLをクライアントに提供することと、
前記GLを前記クライアントに提供したあとに、
前記クライアントから、前記第1のストレージサーバーによるオブジェクトレイアウト(OL)に対するリクエストを受信することと、
前記クライアントに前記OLを提供することと、
前記クライアントに前記OLを提供したあとに、
前記第2のストレージサーバー内においてオブジェクトにデータを書き込むための書き込みリクエストを前記第2のストレージサーバーによって受信することととを備え、前記書き込みリクエストはオブジェクトIDおよびオフセットを備え、前記方法はさらに、
前記書き込みリクエストに応答して、前記第2のストレージサーバー上において前記オブジェクトに前記データを書き込むことを備える、非一時的なコンピュータ読取可能媒体。 - 前記ストレージプールは複数のストレージサーバーを備え、前記GLは各GLシーケンス番号に対して前記複数のストレージサーバーのどれが書き込み可能であったかということと、各GLシーケンス番号に対して書き込み可能な前記複数のストレージサーバーにどのように書き込みが分散されたかということとを特定する、請求項10に記載の非一時的なコンピュータ読取可能媒体。
- 前記OLはOLシーケンス番号を特定し、前記OLシーケンス番号は前記オブジェクトが作成されるときに設定され、前記OLシーケンス番号は前記オブジェクトが作成されたときの前記GLのGLシーケンス番号に対応する、請求項10に記載の非一時的なコンピュータ読取可能媒体。
- 前記OLに対する前記リクエストは、前記オブジェクトと関連付けられる仮想識別子(ID)を用いて生成される値を備える、請求項10に記載の非一時的なコンピュータ読取可能媒体。
- 前記OLはOLシーケンス番号と前記仮想IDとストライプ幅とを備える、請求項13に記載の非一時的なコンピュータ読取可能媒体。
- 前記GLは、前記第1のストレージサーバーが前記ストレージプールに追加されたときのGLシーケンス番号に対応する第1のノードシーケンス番号をさらに備える、請求項10に記載の非一時的なコンピュータ読取可能媒体。
- 前記方法はさらに、前記第2のストレージサーバー内において前記OLを格納するためのリクエストを前記第2のストレージサーバーによって受信することを備え、前記OLを格納するための前記リクエストは仮想IDおよび特別なオフセットを特定し、前記方法はさらに、
前記第2のストレージサーバーによって、前記第2のストレージサーバーにおいて前記OLを格納すること備える、請求項10に記載の非一時的なコンピュータ読取可能媒体。 - 前記方法はさらに、
前記GLを第2のクライアントに提供することと、
前記GLを前記第2のクライアントに提供したあとに、
前記第1のストレージサーバーによって、前記第2のクライアントからの第2のGLを受信することとを備え、前記第2のGLは、前記GLと関連付けられる前記第1のGLシーケンス番号よりも大きい第2のGLシーケンス番号と関連付けられ、前記方法はさらに、
前記第1のストレージサーバー内に前記第2のGLを格納することを備える、請求項10に記載の非一時的なコンピュータ読取可能媒体。 - 前記方法はさらに、
前記第2のストレージサーバーによって、前記オブジェクトを削除するリクエストを受信することと、
前記オブジェクトを削除する前記リクエストを受信することに応答して、
前記第2のストレージサーバーにおける前記オブジェクトに対応するエントリに対して削除フラグをセットすることと、
前記ストレージプールにおける他のすべてのストレージサーバーにおける前記オブジェクトに対応する他のすべてのエントリを無効にすることと、
前記ストレージプールにおける他のすべてのストレージサーバーにおける前記オブジェクトに対応する他のすべてのエントリを無効にしたあとで、前記第2のストレージサーバーにおける前記オブジェクトに対応する前記エントリを無効にすることとを備える、請求項10に記載の非一時的なコンピュータ読取可能媒体。 - 第1の持続的なストレージを備える第1のストレージサーバーと、
第2の持続的なストレージを備える第2のストレージサーバーとを備え、
前記第1のストレージサーバーは、
グローバルネームスペースレイアウト(GL)を作成するようプログラミングされ、前記GLは、前記ストレージプールにおける第1のストレージサーバーに対する第1のサーバーエントリと、前記ストレージプールにおける第2のストレージサーバーからの第2のサーバーエントリとを備え、前記第1のサーバーエントリは、前記第1のストレージサーバーを識別するノード識別子(ID)を備え、ノードポイントを用いて、どの書き込みリクエストが前記第1のストレージサーバーによって処理されるかを決定し、前記第1のストレージサーバーはさらに、
前記GLをクライアントに提供するようプログラミングされ、
前記GLを前記クライアントに提供したあとに、
前記クライアントから、前記第1のストレージサーバーによるオブジェクトレイアウト(OL)に対するリクエストを受信するようプログラミングされ、
前記クライアントに前記OLを提供するようプログラミングされ、
前記第2のストレージサーバーは、
前記クライアントに前記OLを送信したあと、前記第2のストレージサーバー内においてオブジェクトにデータを書き込むための書き込みリクエストを前記第2のストレージサーバーによって受信するようプログラミングされ、前記書き込みリクエストはオブジェクトIDおよびオフセットを備え、前記第2のストレージサーバーはさらに、
前記書き込みリクエストに応答して、前記第2の永続的なストレージ内の前記オブジェクトに前記データを書き込むようプログラミングされる、システム。 - 前記第1のストレージサーバーは、さらに、第2のクライアントに前記GLを提供するようにプログラミングされ、
前記GLを前記第2のクライアントに提供したあとに、
前記第2のクライアントから第2のGLを受信するようにプログラミングされ、前記第2のGLは、前記GLと関連付けられる前記第1のGLシーケンス番号よりも大きい第2のGLシーケンス番号と関連付けられ、前記第1のストレージサーバーはさらに、
前記第2のGLを格納するようにプログラミングされる、請求項19に記載のシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/671,996 | 2012-11-08 | ||
US13/671,996 US8589659B1 (en) | 2012-11-08 | 2012-11-08 | Method and system for global namespace with consistent hashing |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015541796A Division JP5922314B2 (ja) | 2012-11-08 | 2013-10-24 | コンシステントハッシュ法を用いたネームスペースのための方法およびシステム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016173826A JP2016173826A (ja) | 2016-09-29 |
JP2016173826A5 true JP2016173826A5 (ja) | 2016-12-01 |
JP6302951B2 JP6302951B2 (ja) | 2018-03-28 |
Family
ID=49551786
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015541796A Active JP5922314B2 (ja) | 2012-11-08 | 2013-10-24 | コンシステントハッシュ法を用いたネームスペースのための方法およびシステム |
JP2016080284A Active JP6302951B2 (ja) | 2012-11-08 | 2016-04-13 | コンシステントハッシュ法を用いたグローバルネームスペースのための方法およびシステム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015541796A Active JP5922314B2 (ja) | 2012-11-08 | 2013-10-24 | コンシステントハッシュ法を用いたネームスペースのための方法およびシステム |
Country Status (5)
Country | Link |
---|---|
US (3) | US8589659B1 (ja) |
EP (1) | EP2917821B1 (ja) |
JP (2) | JP5922314B2 (ja) |
CN (2) | CN107273050B (ja) |
WO (1) | WO2014074316A1 (ja) |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9430412B2 (en) * | 2013-06-26 | 2016-08-30 | Cnex Labs, Inc. | NVM express controller for remote access of memory and I/O over Ethernet-type networks |
US10482194B1 (en) * | 2013-12-17 | 2019-11-19 | EMC IP Holding Company LLC | Simulation mode modification management of embedded objects |
US10013370B2 (en) * | 2015-12-29 | 2018-07-03 | EMC IP Holding Company LLC | Method and system for providing access of a storage system using a shared storage module as a transport mechanism |
US9921756B2 (en) | 2015-12-29 | 2018-03-20 | EMC IP Holding Company LLC | Method and system for synchronizing an index of data blocks stored in a storage system using a shared storage module |
US10852955B2 (en) * | 2015-12-29 | 2020-12-01 | EMC IP Holding Company LLC | Method and system for accessing data objects stored in a storage system using object descriptors allocated by clients |
US10791109B2 (en) | 2016-02-10 | 2020-09-29 | Red Hat, Inc. | Certificate based expiration of file system objects |
US10223016B2 (en) * | 2016-05-10 | 2019-03-05 | Vmware, Inc | Power management for distributed storage systems |
CN106372002B (zh) * | 2016-08-31 | 2019-03-19 | 成都科来软件有限公司 | 一种数据存储方法及读取还原方法 |
CN107967117B (zh) * | 2016-10-20 | 2020-10-20 | 杭州海康威视数字技术股份有限公司 | 一种数据存储、读取、清理方法、装置及云存储系统 |
CN106776785B (zh) * | 2016-11-24 | 2021-06-22 | 腾讯科技(深圳)有限公司 | 一种数据写入方法及装置和数据处理系统 |
US10783136B1 (en) * | 2017-02-28 | 2020-09-22 | Virtuozzo International Gmbh | Management of garbage data in distributed systems |
CN117909312A (zh) * | 2019-02-01 | 2024-04-19 | 伊姆西Ip控股有限责任公司 | 处理访问请求和更新存储系统的方法、设备和程序产品 |
CN110504002B (zh) * | 2019-08-01 | 2021-08-17 | 苏州浪潮智能科技有限公司 | 一种硬盘数据一致性测试方法与装置 |
US11934875B2 (en) | 2020-12-09 | 2024-03-19 | Dell Products L.P. | Method and system for maintaining composed systems |
US11435814B2 (en) | 2020-12-09 | 2022-09-06 | Dell Produts L.P. | System and method for identifying resources of a composed system |
US11853782B2 (en) | 2020-12-09 | 2023-12-26 | Dell Products L.P. | Method and system for composing systems using resource sets |
US11704159B2 (en) | 2020-12-09 | 2023-07-18 | Dell Products L.P. | System and method for unified infrastructure architecture |
US11693703B2 (en) | 2020-12-09 | 2023-07-04 | Dell Products L.P. | Monitoring resource utilization via intercepting bare metal communications between resources |
US11928515B2 (en) | 2020-12-09 | 2024-03-12 | Dell Products L.P. | System and method for managing resource allocations in composed systems |
US11675665B2 (en) | 2020-12-09 | 2023-06-13 | Dell Products L.P. | System and method for backup generation using composed systems |
US11604595B2 (en) | 2020-12-09 | 2023-03-14 | Dell Products L.P. | Data mirroring and data migration between storage volumes using system control processors |
US11809912B2 (en) | 2020-12-09 | 2023-11-07 | Dell Products L.P. | System and method for allocating resources to perform workloads |
US11698821B2 (en) | 2020-12-09 | 2023-07-11 | Dell Products L.P. | Composable information handling systems in an open network using access control managers |
US11675625B2 (en) | 2020-12-09 | 2023-06-13 | Dell Products L.P. | Thin provisioning of resources using SCPS and a bidding system |
US11809911B2 (en) | 2020-12-09 | 2023-11-07 | Dell Products L.P. | Resuming workload execution in composed information handling system |
US11768612B2 (en) | 2021-01-28 | 2023-09-26 | Dell Products L.P. | System and method for distributed deduplication in a composed system |
US11797341B2 (en) | 2021-01-28 | 2023-10-24 | Dell Products L.P. | System and method for performing remediation action during operation analysis |
US11675916B2 (en) | 2021-01-28 | 2023-06-13 | Dell Products L.P. | Method and system for limiting data accessibility in composed systems |
US11687280B2 (en) | 2021-01-28 | 2023-06-27 | Dell Products L.P. | Method and system for efficient servicing of storage access requests |
US11947697B2 (en) | 2021-07-22 | 2024-04-02 | Dell Products L.P. | Method and system to place resources in a known state to be used in a composed information handling system |
US12008412B2 (en) | 2021-07-28 | 2024-06-11 | Dell Products | Resource selection for complex solutions |
US11928506B2 (en) | 2021-07-28 | 2024-03-12 | Dell Products L.P. | Managing composition service entities with complex networks |
US11656778B2 (en) * | 2021-08-17 | 2023-05-23 | Micron Technology, Inc. | Selection of block size for namespace management in non-volatile memory devices |
CN113641674B (zh) * | 2021-08-18 | 2024-02-23 | 中国银行股份有限公司 | 一种自适应全局序号发生方法和装置 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW505867B (en) * | 1998-01-17 | 2002-10-11 | Accton Technology Corp | User's database in Ethernet network |
JP4154893B2 (ja) * | 2002-01-23 | 2008-09-24 | 株式会社日立製作所 | ネットワークストレージ仮想化方法 |
US8589574B1 (en) | 2005-12-29 | 2013-11-19 | Amazon Technologies, Inc. | Dynamic application instance discovery and state management within a distributed system |
US7610383B2 (en) * | 2006-08-11 | 2009-10-27 | Hewlett-Packard Development Company, L.P. | Data-object-related-request routing in a dynamic, distributed data-storage system |
US7949630B1 (en) * | 2007-12-31 | 2011-05-24 | Emc Corporation | Storage of data addresses with hashes in backup systems |
JP2009289089A (ja) * | 2008-05-29 | 2009-12-10 | Nippon Telegr & Teleph Corp <Ntt> | クラスタ型ストレージシステム、そのノード装置、データ制御方法およびそのプログラム |
JP2009295127A (ja) * | 2008-06-09 | 2009-12-17 | Nippon Telegr & Teleph Corp <Ntt> | アクセス方法、アクセス装置及び分散データ管理システム |
US8868844B2 (en) * | 2008-06-25 | 2014-10-21 | International Business Machines Corporation | System and method for a software managed cache in a multiprocessing environment |
US7979671B2 (en) * | 2008-07-28 | 2011-07-12 | CacheIQ, Inc. | Dual hash indexing system and methodology |
SE533007C2 (sv) * | 2008-10-24 | 2010-06-08 | Ilt Productions Ab | Distribuerad datalagring |
CN101504670A (zh) * | 2009-03-04 | 2009-08-12 | 成都市华为赛门铁克科技有限公司 | 数据操作方法、系统、客户端和数据服务器 |
US8285925B1 (en) * | 2009-07-31 | 2012-10-09 | Amazon Technologies, Inc. | Management of object mapping information corresponding to a distributed storage system |
WO2012046585A1 (ja) * | 2010-10-04 | 2012-04-12 | 日本電気株式会社 | 分散ストレージシステム、その制御方法、およびプログラム |
CN102833294B (zh) * | 2011-06-17 | 2015-05-20 | 阿里巴巴集团控股有限公司 | 基于云存储的文件处理方法、系统及服务器集群系统 |
US8392428B1 (en) * | 2012-09-12 | 2013-03-05 | DSSD, Inc. | Method and system for hash fragment representation |
-
2012
- 2012-11-08 US US13/671,996 patent/US8589659B1/en active Active
-
2013
- 2013-10-24 EP EP13786829.5A patent/EP2917821B1/en active Active
- 2013-10-24 WO PCT/US2013/066491 patent/WO2014074316A1/en active Application Filing
- 2013-10-24 CN CN201710438687.0A patent/CN107273050B/zh active Active
- 2013-10-24 US US14/439,310 patent/US9363317B2/en active Active
- 2013-10-24 JP JP2015541796A patent/JP5922314B2/ja active Active
- 2013-10-24 CN CN201380063506.0A patent/CN104854551B/zh active Active
-
2016
- 2016-04-13 JP JP2016080284A patent/JP6302951B2/ja active Active
- 2016-05-10 US US15/151,219 patent/US9787773B2/en active Active
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2016173826A5 (ja) | コンシステントハッシュ法を用いたグローバルネームスペースのための方法およびシステム | |
US11093159B2 (en) | Storage system with storage volume pre-copy functionality for increased efficiency in asynchronous replication | |
US9787773B2 (en) | Method and system for global namespace with consistent hashing | |
JP6767115B2 (ja) | ボリューム動作のための安全装置 | |
JP2017076417A5 (ja) | ||
JP2019512804A5 (ja) | ||
US10157214B1 (en) | Process for data migration between document stores | |
JP2018022529A5 (ja) | ||
US8719237B2 (en) | Method and apparatus for deleting duplicate data | |
US9251231B2 (en) | Merging an out of synchronization indicator and a change recording indicator in response to a failure in consistency group formation | |
JP2020506461A5 (ja) | ||
WO2016101283A1 (zh) | 一种数据处理方法装置及系统 | |
JP2018514028A5 (ja) | ||
GB2550800A (en) | Managing data in storage according to a log structure | |
JP2014096164A5 (ja) | ||
WO2015110062A1 (zh) | 一种分布式数据存储方法、装置和系统 | |
JP2016531355A5 (ja) | ||
JP2017519306A5 (ja) | ||
JP2014534532A5 (ja) | ||
WO2016074370A1 (zh) | 一种KeyValue数据库的数据表的更新方法与表数据更新装置 | |
JP2011524569A5 (ja) | ||
JP2016508638A5 (ja) | ||
US10503718B2 (en) | Parallel transfers of electronic data | |
JP2016006646A5 (ja) | ||
JP2015057696A5 (ja) |