JP2021144288A - 計算機システム、ファイルストレージ、及び、データ転送方法 - Google Patents
計算機システム、ファイルストレージ、及び、データ転送方法 Download PDFInfo
- Publication number
- JP2021144288A JP2021144288A JP2020040747A JP2020040747A JP2021144288A JP 2021144288 A JP2021144288 A JP 2021144288A JP 2020040747 A JP2020040747 A JP 2020040747A JP 2020040747 A JP2020040747 A JP 2020040747A JP 2021144288 A JP2021144288 A JP 2021144288A
- Authority
- JP
- Japan
- Prior art keywords
- file
- storage
- difference
- file storage
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/178—Techniques for file synchronisation in file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/176—Support for shared access to files; File sharing support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1865—Transactional file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
実施例1の計算機システムは、サイト10−1のファイルストレージ装置の一例であるEdgeファイルストレージ100と、Edgeファイルストレージ100に接続するクライアント600と、ネットワーク30を介してEdgeファイルストレージ100と接続するデータセンタ20のファイルストレージ装置の一例であるCoreファイルストレージ200(単に、Coreを称する場合がある)と、オブジェクトストレージ装置の一例であるオブジェクトストレージ300とを含む。
(1)クライアント600により、ファイルシステム130に対する操作が行われる。この操作の内容は、例えば、操作の対象であるEdgeファイルストレージ100のファイルシステム130のファイルFileAに対する、「データ更新」である。ここで、FileAにデータa0を更新する例を示している。
本計算機システムは、各サイト10−1、10−2とデータセンタ20と、それらを接続するネットワーク30を有する。サイト10−1、10−2には、1つまたは複数のクライアント600と、1つまたは複数のEdgeファイルストレージ100が配置される。データセンタ20には、1つまたは複数のクライアント600と、1つまたは複数のCoreファイルストレージ200と、1つまたは複数のオブジェクトストレージ300を有する。
Edgeファイルストレージ100は、コントローラ101と、記憶装置102とを有する。コントローラ101は、メモリ103、CPU105、ネットワークインタフェース(I/F)106、107及びインタフェース104を有する。これらは、例えばバス等の通信路により相互に接続される。CPU105は、メモリ103に格納されたプログラムを実行する。ネットワークI/F106は、サイト内のネットワークを介してクライアント600と通信するインタフェースである。ネットワークI/F107は、ネットワーク30を介してデータセンタ20と通信するインタフェースである。I/F104は、記憶装置102と相互に通信するために、I/F120に接続されるインタフェースである。
Coreファイルストレージ200は、コントローラ201と、記憶装置202とを有する。コントローラ201は、メモリ203、CPU205、ネットワークインタフェース(I/F)206、207及びインタフェース204を有する。これらは、例えばバス等の通信路により相互に接続される。CPU205は、メモリ203に格納されたプログラムを実行する。ネットワークI/F206は、ネットワーク30を介してEdgeファイルストレージ100と通信するインタフェースである。ネットワークI/F207は、データセンタ20内のネットワークを介してオブジェクトストレージ300と通信するインタフェースである。I/F204は、記憶装置202と相互に通信するために、I/F220に接続されるインタフェースである。
図7は、ファイル/ディレクトリ作成処理1000のフローチャートの一例である。ファイル/ディレクトリ作成処理1000は、各Edgeファイルストレージ100において、コントローラ101のCPU105がファイル共有プログラム110およびIO Hookプログラム111を実行することにより行われる。
IO Hookプログラム111は、S1002で検出した操作がファイル/ディレクトリ作成か否か判定する(S1003)。
一方、S1002で検出した操作がファイル/ディレクトリ作成の場合(S1003:Yes)、IO Hookプログラム111は、ファイルシステムプログラム113にファイル/ディレクトリ作成を要求し、ファイルシステムプログラム113はファイルシステム130にファイル/ディレクトリを作成する。本ステップにおいてIO Hookプログラム111は、S1002で検出した操作の対象ファイルのファイルタイプに応じて、ファイルタイプが通常ファイルであればファイル作成を、ファイルタイプがディレクトリであればディレクトリ作成をファイルシステムプログラム113に要求する。ファイルシステムプログラム113は、要求されたファイル種別に基づいてファイル/ディレクトリを作成する(S1004)。
IO Hookプログラム111は、S1002で検出した操作がファイル更新か否か判定する(S2003)。
一方、S2002で検出した操作がファイル更新の場合(S2003:Yes)、IO Hookプログラム111は、ファイルシステムプログラム113にファイル更新を要求し、ファイルシステムプログラム113はファイルシステム130の当該ファイルを更新する(S2004)。本ステップにおいてIO Hookプログラム111は、S2002で検出したファイル更新のオペレーションに応じて、データ更新ならばWriteオペレーションやTruncateオペレーション、メタデータ更新ならばメタデータ更新オペレーションをファイルシステムプログラム113に要求する。ファイルシステムプログラム113は、要求されたファイルオペレーションに基づいてファイルを更新する。
一方、差分集約オブジェクトが1つ以上ある場合(S7002:Yes)、差分反映プログラム211は、差分集約オブジェクトのすべての反映が完了したか判定する(S7003)。
IO Hookプログラム111は、S8002で検出した操作がファイル参照か否か判定する(S8003)。
一方、S8002で検出した操作がファイル参照の場合(S8003:Yes)、IO Hookプログラム111は、操作範囲の状態がStubbedか否かを判定する(S8004)。
操作範囲の状態がStubbedの場合(S8004:Yes)、S8005に遷移し、一方、操作範囲の状態がStubbedではない場合(S8004:No)、S8009に遷移する。操作範囲のうち、一部でもStubbedであればS8004はYesと判定する。
Data Moverプログラム112は、ファイルシステムプログラム113を介してデータをファイルシステム130に格納する(S8007)。
Data Moverプログラム112は、操作範囲の状態をStubbedからCachedに変更する(S8008)。
IO Hookプログラム111は、ファイルシステムプログラム113を介してファイル参照を実行する(S8009)。
IO Hookプログラム111は、クライアント600に応答を返し(S8010)、ファイル参照処理8000を終了する(S8011)。
一方、差分集約オブジェクトが1つ以上ある場合(S9002:Yes)、差分反映プログラム211は、差分集約オブジェクトのすべての確認が完了したか判定する(S9003)。
Claims (10)
- クライアントに対してファイル共有サービスを提供し、ファイルシステムを有する第1のファイルストレージと、
前記第1のファイルストレージとネットワークを介して接続され、前記第1のファイルストレージからのオブジェクト要求を受け付ける第2のファイルストレージと、
前記第1のファイルストレージから受け付けたオブジェクト要求に基づいて、前記第2のファイルストレージからオブジェクトとして転送されてきたファイルもしくはディレクトリを格納するオブジェクトストレージと、を有する計算機システムにおいて、
前記第1のファイルストレージは、
前記クライアントから前記ファイルシステムのファイル若しくはディレクトリの更新を検出し、
検出されたファイル若しくはディレクトリの差分データと差分データの更新情報を、複数まとめて差分集約オブジェクトに集約し、
前記差分集約オブジェクトを前記第2のファイルストレージに転送し、
前記第2のファイルストレージは、
前記差分集約オブジェクトを受信し、前記差分集約オブジェクトの前記差分データの更新情報に従って、前記差分データの各々を、前記オブジェクトストレージのオブジェクトに反映することを特徴とする計算機システム。 - 請求項1に記載の計算機システムにおいて、
前記第1のファイルストレージは、Edgeファイルストレージであり、
前記第2のファイルストレージが、Coreファイルストレージであることを特徴とする計算機システム。 - 請求項2に記載の計算機システムにおいて、
前記Edgeファイルストレージで集約される前記差分集約オブジェクトは、複数の前記差分データと、複数の前記差分データの更新情報として前記差分データにそれぞれ対応する前記ファイルシステムに対する操作の種別、オブジェクトアドレス、オフセット、レングスとの関係を管理するオペレーションログとを有することを特徴とする計算機システム。 - 請求項1に記載の計算機システムにおいて、
前記第1のファイルストレージは、
前記差分集約オブジェクトの前記差分データが所定値を超える場合、単一ファイル転送処理を実行し、
前記差分集約オブジェクトの前記差分データが所定値以下の場合、複数の差分データと差分データの更新情報を集約して転送する集約ファイル転送処理を実行することを特徴とする計算機システム。 - 請求項4に記載の計算機システムにおいて、
前記第1のファイルストレージによる、前記差分集約オブジェクトを前記第2のファイルストレージに転送と、
前記第2のファイルストレージによる、前記差分データの前記オブジェクトストレージのオブジェクトへの反映とは、非同期に実行されることを特徴とする計算機システム。 - 請求項4に記載の計算機システムにおいて、
前記第1のファイルストレージによる、前記差分集約オブジェクトを前記第2のファイルストレージに転送と、前記第2のファイルストレージによる、前記差分データの前記オブジェクトストレージのオブジェクトへの反映とを、同期して実行することを特徴とする計算機システム。 - 請求項4に記載の計算機システムにおいて、
前記クライアントから前記ファイルシステムへの参照要求時に、前記第2のファイルストレージによる、前記差分データの前記オブジェクトストレージのオブジェクトへの反映を実行することを特徴とする計算機システム。 - クライアントに対してファイル共有サービスを提供し、ファイルシステムを有する第1のファイルストレージと、前記第1のファイルストレージとネットワークを介して接続され、前記第1のファイルストレージからのオブジェクト要求を受け付ける第2のファイルストレージと、前記第1のファイルストレージから受け付けたオブジェクト要求に基づいて、前記第2のファイルストレージからオブジェクトとして転送されてきたファイルもしくはディレクトリを格納するオブジェクトストレージと、を有する計算機システムにおける前記第1のファイルストレージは、
前記クライアントから前記ファイルシステムのファイル若しくはディレクトリの更新を検出する検出部と、
検出されたファイル若しくはディレクトリの差分データと差分データの更新情報を、複数まとめて差分集約オブジェクトに集約し、前記差分集約オブジェクトを前記第2のファイルストレージに転送する転送部とを有することを特徴とするファイルストレージ。 - 請求項8に記載のファイルストレージにおいて、
前記転送部は、
前記差分集約オブジェクトの前記差分データが所定値を超える場合、単一ファイル転送処理を実行し、
前記差分集約オブジェクトの前記差分データが所定値以下の場合、複数の差分データと差分データの更新情報を集約して転送する集約ファイル転送処理を実行することを特徴とするファイルストレージ。 - クライアントに対してファイル共有サービスを提供し、ファイルシステムを有する第1のファイルストレージと、前記第1のファイルストレージとネットワークを介して接続され、前記第1のファイルストレージからのオブジェクト要求を受け付ける第2のファイルストレージと、前記第1のファイルストレージから受け付けたオブジェクト要求に基づいて、前記第2のファイルストレージからオブジェクトとして転送されてきたファイルもしくはディレクトリを格納するオブジェクトストレージと、を有する計算機システムにおけるデータ転送方法において、
前記第1のファイルストレージは、
前記クライアントから前記ファイルシステムのファイル若しくはディレクトリの更新を検出し、検出されたファイル若しくはディレクトリの差分データと差分データの更新情報を、複数まとめて差分集約オブジェクトに集約し、
前記差分集約オブジェクトを前記第2のファイルストレージに転送し、
前記第2のファイルストレージは、
前記差分集約オブジェクトを受信し、前記オブジェクトストレージに転送して、前記差分集約オブジェクトの前記差分データの更新情報に従って、前記差分データの各々を、前記オブジェクトストレージのオブジェクトに反映することを特徴とするデータ転送方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020040747A JP7061635B2 (ja) | 2020-03-10 | 2020-03-10 | 計算機システム、ファイルストレージ、及び、データ転送方法 |
US17/004,909 US20210286765A1 (en) | 2020-03-10 | 2020-08-27 | Computer system, file storage and data transfer method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020040747A JP7061635B2 (ja) | 2020-03-10 | 2020-03-10 | 計算機システム、ファイルストレージ、及び、データ転送方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021144288A true JP2021144288A (ja) | 2021-09-24 |
JP7061635B2 JP7061635B2 (ja) | 2022-04-28 |
Family
ID=77664705
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020040747A Active JP7061635B2 (ja) | 2020-03-10 | 2020-03-10 | 計算機システム、ファイルストレージ、及び、データ転送方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20210286765A1 (ja) |
JP (1) | JP7061635B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11940884B2 (en) * | 2022-02-24 | 2024-03-26 | Dell Products L.P. | Containerized data mover for data protection workloads |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10198607A (ja) * | 1997-01-08 | 1998-07-31 | Hitachi Ltd | データ多重化システム |
JP2015207305A (ja) * | 2015-06-29 | 2015-11-19 | 株式会社インテック | ストレージサービス提供装置、システム、サービス提供方法、及びサービス提供プログラム |
JP2016212902A (ja) * | 2016-07-19 | 2016-12-15 | 株式会社日立製作所 | ファイルサーバ、情報システム、及び情報システムの制御方法 |
JP2018049394A (ja) * | 2016-09-20 | 2018-03-29 | 株式会社東芝 | データベース管理装置、データベース管理方法、およびデータベース管理プログラム |
WO2018154698A1 (ja) * | 2017-02-24 | 2018-08-30 | 株式会社日立製作所 | ファイルストレージ、オブジェクトストレージ、およびストレージシステム |
WO2019026222A1 (ja) * | 2017-08-03 | 2019-02-07 | 株式会社日立製作所 | ストレージシステム及びデータ転送制御方法 |
JP2019046180A (ja) * | 2017-09-01 | 2019-03-22 | 株式会社日立製作所 | 計算機システム、データ管理方法、及びデータ管理プログラム |
-
2020
- 2020-03-10 JP JP2020040747A patent/JP7061635B2/ja active Active
- 2020-08-27 US US17/004,909 patent/US20210286765A1/en not_active Abandoned
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10198607A (ja) * | 1997-01-08 | 1998-07-31 | Hitachi Ltd | データ多重化システム |
JP2015207305A (ja) * | 2015-06-29 | 2015-11-19 | 株式会社インテック | ストレージサービス提供装置、システム、サービス提供方法、及びサービス提供プログラム |
JP2016212902A (ja) * | 2016-07-19 | 2016-12-15 | 株式会社日立製作所 | ファイルサーバ、情報システム、及び情報システムの制御方法 |
JP2018049394A (ja) * | 2016-09-20 | 2018-03-29 | 株式会社東芝 | データベース管理装置、データベース管理方法、およびデータベース管理プログラム |
WO2018154698A1 (ja) * | 2017-02-24 | 2018-08-30 | 株式会社日立製作所 | ファイルストレージ、オブジェクトストレージ、およびストレージシステム |
WO2019026222A1 (ja) * | 2017-08-03 | 2019-02-07 | 株式会社日立製作所 | ストレージシステム及びデータ転送制御方法 |
JP2019046180A (ja) * | 2017-09-01 | 2019-03-22 | 株式会社日立製作所 | 計算機システム、データ管理方法、及びデータ管理プログラム |
Also Published As
Publication number | Publication date |
---|---|
US20210286765A1 (en) | 2021-09-16 |
JP7061635B2 (ja) | 2022-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11016749B1 (en) | Architecture for incremental deployment | |
JP4547264B2 (ja) | プロキシ・キャッシュに関する装置および方法 | |
US9183213B2 (en) | Indirection objects in a cloud storage system | |
JP4547263B2 (ja) | データをネットワーク中で処理する装置および方法 | |
US6922761B2 (en) | Method and system for migrating data | |
US9830231B2 (en) | Processes and methods for client-side fingerprint caching to improve deduplication system backup performance | |
US9705979B2 (en) | Policy-based file management for a storage delivery network | |
US8429360B1 (en) | Method and system for efficient migration of a storage object between storage servers based on an ancestry of the storage object in a network storage system | |
US20070055703A1 (en) | Namespace server using referral protocols | |
US20070088702A1 (en) | Intelligent network client for multi-protocol namespace redirection | |
US9218346B2 (en) | File system and method for delivering contents in file system | |
US7376681B1 (en) | Methods and apparatus for accessing information in a hierarchical file system | |
JP4491269B2 (ja) | ストレージシステム及びファイル管理装置 | |
US7366836B1 (en) | Software system for providing storage system functionality | |
CN104641369B (zh) | 文件服务器、信息系统及其控制方法 | |
TW201734750A (zh) | 包含固態硬碟儲存裝置及類似物的重複資料刪除快取記憶體 | |
CN111273863B (zh) | 高速缓存管理 | |
US7080102B2 (en) | Method and system for migrating data while maintaining hard links | |
JP7061635B2 (ja) | 計算機システム、ファイルストレージ、及び、データ転送方法 | |
US6952699B2 (en) | Method and system for migrating data while maintaining access to data with use of the same pathname | |
US11153385B2 (en) | Leveraging NAS protocol for efficient file transfer | |
JP7241105B2 (ja) | ファイルストレージシステム及びファイルストレージシステムによるファイル管理方法 | |
CN115328857A (zh) | 文件访问方法、装置、客户端及存储介质 | |
US7979665B1 (en) | Method and apparatus for processing access requests in a computer system | |
US11977448B2 (en) | Directory restore from remote object store |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210524 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220323 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220405 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220418 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7061635 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |