JP2018516409A - ファイルストレージにおけるインデックス付け実施方法及びシステム - Google Patents
ファイルストレージにおけるインデックス付け実施方法及びシステム Download PDFInfo
- Publication number
- JP2018516409A JP2018516409A JP2017562725A JP2017562725A JP2018516409A JP 2018516409 A JP2018516409 A JP 2018516409A JP 2017562725 A JP2017562725 A JP 2017562725A JP 2017562725 A JP2017562725 A JP 2017562725A JP 2018516409 A JP2018516409 A JP 2018516409A
- Authority
- JP
- Japan
- Prior art keywords
- metadata
- index
- file
- interval
- incremental
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000004044 response Effects 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000012217 deletion Methods 0.000 claims description 39
- 230000037430 deletion Effects 0.000 claims description 39
- 230000008569 process Effects 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 230000001960 triggered effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 238000000638 solvent extraction Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004883 computer application Methods 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
- G06F16/134—Distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/14—Details of searching files based on file metadata
- G06F16/148—File search processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
上述の技術的問題を解決するために、以下の技術的方式が採用されて良い。
Claims (20)
- ファイルストレージにおけるインデックス付け実施方法であって、
ファイルのインデックス操作要求を得るステップと、
増分区間を検索して、前記増分区間が前記ファイルに対応するメタデータの少なくとも1つのピースを格納するか否かを決定するステップと、
前記増分区間が前記ファイルに対応するメタデータの前記少なくとも1つのピースを格納するとき、前記増分区間の中のメタデータの前記少なくとも1つのピースに従い、前記インデックス操作要求に対する応答を生成するステップと、
前記増分区間が前記ファイルに対応するメタデータの前記少なくとも1つのピースを格納しないとき、前記増分区間に対応する全量区間に従い、前記インデックス操作要求を処理するステップと、
を有し、
メタデータの各々のピースは、前記ファイルに対応するインデックスを有する、方法。 - 前記インデックス操作要求は、インデックス取得要求を有し、前記増分区間の中のメタデータの前記少なくとも1つのピースに従い前記インデックス操作要求に対する応答を生成するステップは、
前記増分区間から見付かる、前記ファイルに対応するメタデータの各ピースの書き込みタイムスタンプに従い、最新の書き込みタイムスタンプを有するメタデータを抽出し、抽出したメタデータを発行するステップ、を有する、
請求項1に記載の方法。 - 前記増分区間に対応する前記全量区間に従い前記インデックス操作要求を処理するステップは、
前記増分区間に対応する前記全量区間を検索して、前記全量区間が前記ファイルに対応するメタデータの前記少なくとも1つのピースを有するか否かを決定するステップと、
前記全量区間が前記ファイルに対応するメタデータの前記少なくとも1つのピースを有するとき、
前記全量区間から見付かる、前記ファイルに対応するメタデータの各ピースの書き込みタイムスタンプに従い、最新の書き込みタイムスタンプを有するメタデータを抽出し、抽出したメタデータを発行するステップと、
を有する、請求項2に記載の方法。 - 前記インデックス操作要求は、インデックス削除要求を有し、
前記増分区間の中のメタデータの前記少なくとも1つのピースに従い前記インデックス操作要求に対する応答を生成するステップは、
前記インデックス削除要求に従い、前記増分区間の中のメタデータの少なくとも1つのピースの中のインデックスを削除でマーク付けするインデックス削除操作を実行し、前記インデックス削除操作に対応する削除タイムスタンプを追加するステップ、
を有する、請求項1に記載の方法。 - 前記インデックス操作要求は、インデックス生成要求を有し、
前記インデックス操作要求を得るステップの後に、前記方法は、
前記インデックス生成要求に従い記憶位置の割り当てをトリガするステップと、
前記割り当てられた記憶位置に従い前記ファイルのインデックスを生成し、前記インデックスを用いて前記ファイルの前記メタデータを生成するステップと、
前記メタデータに書き込みタイムスタンプを追加するステップと、
前記増分区間を位置決めし、新規データ追加モードで、前記メタデータを前記位置決めした増分区間に書き込むステップと、
を更に有する請求項1に記載の方法。 - 前記インデックス生成要求に従い前記記憶位置の前記割り当てをトリガするステップは、
前記インデックス生成要求からファイル識別(ID)を抽出するステップと、
前記ファイルが前記記憶位置に書き込まれるように、前記ファイルの前記記憶位置の割り当ての操作をトリガするステップと、
を有する、請求項5に記載の方法。 - 前記割り当てられた記憶位置を用いて前記ファイルの前記メタデータを生成するステップは、
前記ファイルIDと前記割り当てられた記憶位置との間のマッピング関係を生成し、前記マッピング関係を前記インデックスとして取り入れて前記ファイルの前記メタデータを生成するステップ、
を有する、請求項6に記載の方法。 - マージタスクを開始するステップと、
前記マージタスクにより前記増分区間と全量区間のマージをトリガするステップと、
前記のマージした区間を複数の全量区間に分割するステップと、
前記複数の全量区間にそれぞれ対応する複数の増分区間を生成して、前記ファイルの前記インデックス操作要求に対して書き込みサービスを提供するステップと、
を更に有する請求項1に記載の方法。 - 前記マージタスクにより前記増分区間と全量区間のマージをトリガするステップは、
前記マージタスクにより前記増分区間及び前記対応する全量区間の中のメタデータのエクスポート操作をトリガするステップと、
前記増分区間及び前記対応する全量区間を前記マージした区間にマージするステップと、
所定のマージ方針に従い、前記エクスポートされたメタデータをマージするステップと、
前記マージした区間にマージしたメタデータを書き込むステップと、
を有する、請求項8に記載の方法。 - 前記所定のマージ方針に従い、前記エクスポートしたメタデータをマージするステップは、
前記エクスポートしたメタデータから、インデックスが削除でマーク付けされたメタデータを削除するステップ、
を有する、請求項9に記載の方法。 - ファイルストレージにおけるインデックス付け実施システムであって、ストレージの中でモジュールを実行するプロセッサを有し、前記モジュールは、
ファイルのインデックス操作要求を得る要求取得モジュールと、
増分検索モジュールであって、増分区間を検索し、前記増分区間が前記ファイルに対応するメタデータの少なくとも1つのピースを格納するか否かを決定し、前記増分区間が前記ファイルに対応するメタデータの前記少なくとも1つのピースを格納するとき、増分応答モジュールに通知し、前記増分区間が前記ファイルに対応するメタデータを格納しないとき、全量応答モジュールに通知する、増分検索モジュールと、
を有し、
前記増分応答モジュールは、前記増分区間の中のメタデータの前記少なくとも1つのピースに従い、前記インデックス操作要求に対する応答を生成し、
前記全量応答モジュールは、前記増分区間に対応する全量区間に従い、前記インデックス操作要求を処理し、
メタデータの各ピースは、前記ファイルに対応するインデックスを有する、
システム。 - 前記インデックス操作要求は、インデックス取得要求を有し、
前記増分応答モジュールは、前記増分区間から見付かる、前記ファイルに対応するメタデータの前記少なくとも1つのピースの各々の書き込みタイムスタンプに従い、最新の書き込みタイムスタンプを有するメタデータを抽出し、前記メタデータを発行する、
請求項11に記載のシステム。 - 前記全量応答モジュールは、
検索ユニットであって、前記増分区間に対応する前記全量区間を検索して、前記全量区間が前記ファイルに対応するメタデータの少なくとも1つのピースを有するか否かを決定し、前記全量区間が前記ファイルに対応するメタデータの前記少なくとも1つのピースを有するとき、抽出ユニットに通知する、検索ユニット、
を有し、
前記抽出ユニットは、前記全量区間から見付かる、前記ファイルに対応するメタデータの前記少なくとも1つのピースの各々の書き込みタイムスタンプに従い、最新の書き込みタイムスタンプを有するメタデータを抽出し、前記メタデータを発行する、
請求項12に記載のシステム。 - 前記インデックス操作要求は、インデックス削除要求を有し、
前記増分応答モジュールは、さらに、前記インデックス削除要求に従い、前記増分区間の中のメタデータの少なくとも1つのピースの中のインデックスを削除でマーク付けするインデックス削除操作を実行し、前記インデックス削除操作に対応する削除タイムスタンプを追加する、
請求項11に記載のシステム。 - 前記インデックス操作要求は、インデックス生成要求を有し、
前記システムは、
前記インデックス生成要求に従い記憶位置の割り当てをトリガする位置割り当てモジュールと、
記憶位置に従い前記ファイルのインデックスを生成し、前記インデックスを用いて前記メタデータを生成するメタデータ生成モジュールと、
前記メタデータに書き込みタイムスタンプを追加するタイムスタンプ追加モジュールと、
前記増分区間を位置決めし、新規データ追加モードで、前記メタデータを前記位置決めした増分区間に書き込む書き込みモジュールと、
を更に有する請求項11に記載のシステム。 - 前記位置割り当てモジュールは、
前記インデックス生成要求からファイル識別(ID)を抽出する識別(ID)抽出ユニットと、
前記ファイルが前記記憶位置に書き込まれるように、前記ファイルの前記記憶位置の割り当ての操作をトリガする書き込みユニットと、
を有する、請求項15に記載のシステム。 - 前記メタデータ生成モジュールは、さらに、前記ファイルIDと前記記憶位置との間のマッピング関係を生成し、前記マッピング関係を前記インデックスとして取り入れて前記ファイルの前記メタデータを生成する、
請求項16に記載のシステム。 - マージタスクを開始するタスク開始モジュールと、
前記マージタスクにより前記増分区間と全量区間のマージをトリガするマージモジュールと、
前記のマージした区間を複数の全量区間に分割する分割モジュールと、
前記複数の全量区間にそれぞれ対応する複数の増分区間を生成して、前記ファイルの前記インデックス操作要求に対して書き込みサービスを提供する増分区間生成モジュールと、
を更に有する請求項11に記載のシステム。 - 前記マージモジュールは、
前記マージタスクにより、前記増分区間及び前記対応する全量区間の中のメタデータのエクスポート操作をトリガするデータエクスポートユニットと、
前記増分区間及び前記対応する全量区間を1つのマージ区間にマージする区間マージユニットと、
所定のマージ方針に従い、前記エクスポートされたメタデータをマージするデータマージユニットと、
を有する、請求項18に記載のシステム。 - 前記データマージユニットは、さらに、前記エクスポートされたメタデータから、インデックスが削除でマーク付けされたメタデータを削除する、請求項19に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510741056.7 | 2015-11-04 | ||
CN201510741056.7A CN106649403B (zh) | 2015-11-04 | 2015-11-04 | 文件存储中的索引实现方法和系统 |
PCT/CN2016/103699 WO2017076223A1 (zh) | 2015-11-04 | 2016-10-28 | 文件存储中的索引实现方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018516409A true JP2018516409A (ja) | 2018-06-21 |
JP6501916B2 JP6501916B2 (ja) | 2019-04-17 |
Family
ID=58661660
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017562725A Active JP6501916B2 (ja) | 2015-11-04 | 2016-10-28 | ファイルストレージにおけるインデックス付け実施方法及びシステム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11157445B2 (ja) |
JP (1) | JP6501916B2 (ja) |
KR (1) | KR102031588B1 (ja) |
CN (1) | CN106649403B (ja) |
WO (1) | WO2017076223A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200094619A (ko) * | 2019-01-30 | 2020-08-07 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 정보 백업 방법 및 장치 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108376169A (zh) * | 2018-02-26 | 2018-08-07 | 众安信息技术服务有限公司 | 一种用于联机分析处理的数据处理方法和装置 |
CN110427340B (zh) * | 2018-04-28 | 2023-08-04 | 伊姆西Ip控股有限责任公司 | 用于文件存储的方法、装置和计算机存储介质 |
CN109086307B (zh) * | 2018-06-22 | 2020-04-14 | 阿里巴巴集团控股有限公司 | 文件处理的方法及装置 |
KR102177489B1 (ko) | 2018-08-17 | 2020-11-11 | 주식회사 마크베이스 | 센서 태그 데이터를 위한 색인 검색 방법 및 장치 |
CN111177077B (zh) * | 2018-11-09 | 2023-05-26 | 杭州海康威视数字技术股份有限公司 | 数据存储及数据查询方法、装置、设备、介质 |
CN112748866A (zh) * | 2019-10-31 | 2021-05-04 | 北京沃东天骏信息技术有限公司 | 一种增量索引数据的处理方法和装置 |
US11636110B1 (en) * | 2021-10-29 | 2023-04-25 | Snowflake Inc. | Metadata search via N-Gram index |
CN114036107B (zh) * | 2021-11-08 | 2023-03-14 | 上海柯林布瑞信息技术有限公司 | 基于hudi快照的医疗数据查询方法及装置 |
CN115981875B (zh) * | 2023-03-21 | 2023-08-25 | 人工智能与数字经济广东省实验室(广州) | 内存存储系统的增量更新方法、装置、设备、介质和产品 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0198020A (ja) * | 1987-10-09 | 1989-04-17 | Nec Corp | 索引管理方式 |
JP2012128640A (ja) * | 2010-12-15 | 2012-07-05 | Mitsubishi Electric Corp | データ管理装置及びデータ管理方法 |
CN103177117A (zh) * | 2013-04-08 | 2013-06-26 | 北京奇虎科技有限公司 | 信息索引系统及信息索引的更新方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100456298C (zh) * | 2006-07-12 | 2009-01-28 | 百度在线网络技术(北京)有限公司 | 广告信息检索系统及广告信息检索方法 |
CN101655858B (zh) * | 2009-08-26 | 2011-05-18 | 华中科技大学 | 一种基于分块组织的密文索引结构及其管理方法 |
JP5592747B2 (ja) * | 2010-10-12 | 2014-09-17 | 株式会社日立ソリューションズ | ファイル検索装置およびファイル検索プログラム |
CN102693308B (zh) * | 2012-05-24 | 2014-02-12 | 北京迅奥科技有限公司 | 一种面向实时搜索的缓存方法 |
US9710475B1 (en) * | 2012-07-16 | 2017-07-18 | Tintri Inc. | Synchronization of data |
CN103678520B (zh) * | 2013-11-29 | 2017-03-29 | 中国科学院计算技术研究所 | 一种基于云计算的多维区间查询方法及其系统 |
US10255286B2 (en) * | 2013-12-18 | 2019-04-09 | Software Ag | File metadata handler for storage and parallel processing of files in a distributed file system, and associated systems and methods |
CN103744960A (zh) * | 2014-01-06 | 2014-04-23 | 河海大学 | 一种基于云平台的元数据索引模型及方法 |
-
2015
- 2015-11-04 CN CN201510741056.7A patent/CN106649403B/zh active Active
-
2016
- 2016-10-28 JP JP2017562725A patent/JP6501916B2/ja active Active
- 2016-10-28 WO PCT/CN2016/103699 patent/WO2017076223A1/zh active Application Filing
- 2016-10-28 KR KR1020177036547A patent/KR102031588B1/ko active IP Right Grant
-
2017
- 2017-11-15 US US15/813,603 patent/US11157445B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0198020A (ja) * | 1987-10-09 | 1989-04-17 | Nec Corp | 索引管理方式 |
JP2012128640A (ja) * | 2010-12-15 | 2012-07-05 | Mitsubishi Electric Corp | データ管理装置及びデータ管理方法 |
CN103177117A (zh) * | 2013-04-08 | 2013-06-26 | 北京奇虎科技有限公司 | 信息索引系统及信息索引的更新方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200094619A (ko) * | 2019-01-30 | 2020-08-07 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 정보 백업 방법 및 장치 |
KR102207727B1 (ko) * | 2019-01-30 | 2021-01-25 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 정보 백업 방법 및 장치 |
Also Published As
Publication number | Publication date |
---|---|
KR102031588B1 (ko) | 2019-10-14 |
WO2017076223A1 (zh) | 2017-05-11 |
US20180075050A1 (en) | 2018-03-15 |
CN106649403A (zh) | 2017-05-10 |
JP6501916B2 (ja) | 2019-04-17 |
US11157445B2 (en) | 2021-10-26 |
CN106649403B (zh) | 2020-07-28 |
KR20180008774A (ko) | 2018-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6501916B2 (ja) | ファイルストレージにおけるインデックス付け実施方法及びシステム | |
US11799959B2 (en) | Data processing method, apparatus, and system | |
US10795905B2 (en) | Data stream ingestion and persistence techniques | |
US10691716B2 (en) | Dynamic partitioning techniques for data streams | |
US8751763B1 (en) | Low-overhead deduplication within a block-based data storage | |
Chandrasekar et al. | A novel indexing scheme for efficient handling of small files in hadoop distributed file system | |
US8825652B1 (en) | Small file aggregation in a parallel computing system | |
WO2019062574A1 (zh) | 一种元数据查询方法及装置 | |
US20150134626A1 (en) | Partition-based data stream processing framework | |
US20160364407A1 (en) | Method and Device for Responding to Request, and Distributed File System | |
US9430492B1 (en) | Efficient scavenging of data and metadata file system blocks | |
JP2012174096A (ja) | 計算機システム及びデータ管理方法 | |
US20170262463A1 (en) | Method and system for managing shrinking inode file space consumption using file trim operations | |
Liu et al. | Cfs: A distributed file system for large scale container platforms | |
CN106709014B (zh) | 一种文件系统转换方法及装置 | |
CN113853778B (zh) | 一种文件系统的克隆方法及装置 | |
US10877881B2 (en) | In-place garbage collection of a sharded, replicated distributed state machine based on mergeable operations | |
US11055184B2 (en) | In-place garbage collection of a sharded, replicated distributed state machine based on supersedable operations | |
CN114840488B (zh) | 一种基于超融合结构的分布式存储方法、系统及存储介质 | |
WO2016117007A1 (ja) | データベースシステム及びデータベース管理方法 | |
US10976959B2 (en) | Method and system for accessing virtual machine state while virtual machine restoration is underway | |
CN108376104B (zh) | 节点调度方法及装置、计算机可读存储介质 | |
US11989159B2 (en) | Hybrid snapshot of a global namespace | |
US10936543B1 (en) | Metadata protected sparse block set for SSD cache space management | |
WO2016018447A1 (en) | File creation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171201 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181031 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190131 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190305 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190319 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6501916 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |