CN102364474A - 用于机群文件系统的元数据存储系统和管理方法 - Google Patents
用于机群文件系统的元数据存储系统和管理方法 Download PDFInfo
- Publication number
- CN102364474A CN102364474A CN2011103665592A CN201110366559A CN102364474A CN 102364474 A CN102364474 A CN 102364474A CN 2011103665592 A CN2011103665592 A CN 2011103665592A CN 201110366559 A CN201110366559 A CN 201110366559A CN 102364474 A CN102364474 A CN 102364474A
- Authority
- CN
- China
- Prior art keywords
- metadata
- ssd
- storage unit
- buffer zone
- item
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1847—File system types specifically adapted to static storage, e.g. adapted to flash memory or SSD
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1858—Parallel file systems, i.e. file systems supporting multiple processors
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
Claims (17)
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110366559.2A CN102364474B (zh) | 2011-11-17 | 2011-11-17 | 用于机群文件系统的元数据存储系统和管理方法 |
PCT/CN2012/084759 WO2013071882A1 (zh) | 2011-11-17 | 2012-11-16 | 用于机群文件系统的元数据存储系统和管理方法 |
EP12849116.4A EP2735978B1 (en) | 2011-11-17 | 2012-11-16 | Storage system and management method used for metadata of cluster file system |
US14/278,744 US9449005B2 (en) | 2011-11-17 | 2014-05-15 | Metadata storage system and management method for cluster file system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110366559.2A CN102364474B (zh) | 2011-11-17 | 2011-11-17 | 用于机群文件系统的元数据存储系统和管理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102364474A true CN102364474A (zh) | 2012-02-29 |
CN102364474B CN102364474B (zh) | 2014-08-20 |
Family
ID=45691040
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110366559.2A Active CN102364474B (zh) | 2011-11-17 | 2011-11-17 | 用于机群文件系统的元数据存储系统和管理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9449005B2 (zh) |
EP (1) | EP2735978B1 (zh) |
CN (1) | CN102364474B (zh) |
WO (1) | WO2013071882A1 (zh) |
Cited By (52)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102662992A (zh) * | 2012-03-14 | 2012-09-12 | 北京搜狐新媒体信息技术有限公司 | 一种海量小文件的存储、访问方法及装置 |
CN102722449A (zh) * | 2012-05-24 | 2012-10-10 | 中国科学院计算技术研究所 | 基于SSD的Key-Value型本地存储方法及系统 |
CN102760101A (zh) * | 2012-05-22 | 2012-10-31 | 中国科学院计算技术研究所 | 一种基于ssd 的缓存管理方法及系统 |
CN102831087A (zh) * | 2012-07-27 | 2012-12-19 | 国家超级计算深圳中心(深圳云计算中心) | 基于混合存储器的数据读写处理方法和装置 |
CN102831088A (zh) * | 2012-07-27 | 2012-12-19 | 国家超级计算深圳中心(深圳云计算中心) | 基于混合存储器的数据迁移方法和装置 |
CN103019615A (zh) * | 2012-07-19 | 2013-04-03 | 中国人民解放军国防科学技术大学 | 一种基于负载控制的提高闪存固态硬盘持久性方法 |
WO2013071882A1 (zh) * | 2011-11-17 | 2013-05-23 | 华为技术有限公司 | 用于机群文件系统的元数据存储系统和管理方法 |
CN103902669A (zh) * | 2014-03-17 | 2014-07-02 | 华中科技大学 | 一种基于不同存储介质的分离式文件系统 |
CN104199784A (zh) * | 2014-08-20 | 2014-12-10 | 浪潮(北京)电子信息产业有限公司 | 一种基于分级存储的数据迁移方法及装置 |
CN104216988A (zh) * | 2014-09-04 | 2014-12-17 | 天津大学 | 分布式大数据的ssd磁盘和hdd磁盘混合存储方法 |
CN104375961A (zh) * | 2013-08-16 | 2015-02-25 | 国际商业机器公司 | 用于在数据存储子系统中进行数据访问的方法和装置 |
CN104408163A (zh) * | 2014-12-05 | 2015-03-11 | 浪潮(北京)电子信息产业有限公司 | 一种数据分级存储方法和装置 |
CN104657461A (zh) * | 2015-02-10 | 2015-05-27 | 北京航空航天大学 | 基于内存与ssd协作式的文件系统元数据搜索缓存方法 |
CN104915145A (zh) * | 2014-03-11 | 2015-09-16 | 华为技术有限公司 | 一种降低LSM Tree写放大的方法和装置 |
CN104978362A (zh) * | 2014-04-11 | 2015-10-14 | 中兴通讯股份有限公司 | 分布式文件系统的数据迁移方法、装置及元数据服务器 |
WO2016029865A1 (en) * | 2014-08-28 | 2016-03-03 | Huawei Technologies Co., Ltd. | Metadata index search in file system |
CN106201916A (zh) * | 2016-07-25 | 2016-12-07 | 中国人民解放军国防科学技术大学 | 一种面向ssd的非易失缓存机制 |
CN106231252A (zh) * | 2016-07-29 | 2016-12-14 | 银江股份有限公司 | 一种大规模视频监控存储方法 |
CN106227677A (zh) * | 2016-07-20 | 2016-12-14 | 浪潮电子信息产业股份有限公司 | 一种变长缓存元数据管理的方法 |
CN103336844B (zh) * | 2013-07-22 | 2016-12-28 | 广西师范大学 | 大数据rd分割方法 |
CN103838853B (zh) * | 2014-03-17 | 2017-05-10 | 华中科技大学 | 一种基于不同存储介质的混合文件系统 |
CN106681668A (zh) * | 2017-01-12 | 2017-05-17 | 郑州云海信息技术有限公司 | 一种基于固态盘缓存的混合式存储系统及存储方法 |
CN107193487A (zh) * | 2017-04-26 | 2017-09-22 | 华中科技大学 | 一种随机访问识别方法及系统 |
CN107422994A (zh) * | 2017-08-02 | 2017-12-01 | 郑州云海信息技术有限公司 | 一种提高数据读写性能的方法 |
CN107422992A (zh) * | 2017-07-31 | 2017-12-01 | 郑州云海信息技术有限公司 | 一种SSD运行时Journal保存方法及系统 |
CN107463509A (zh) * | 2016-06-05 | 2017-12-12 | 华为技术有限公司 | 缓存管理方法、缓存控制器以及计算机系统 |
CN107515827A (zh) * | 2017-08-21 | 2017-12-26 | 湖南国科微电子股份有限公司 | Pcie ssd自定义日志的存储方法、装置及ssd |
CN107679193A (zh) * | 2017-10-09 | 2018-02-09 | 郑州云海信息技术有限公司 | 一种用于分布式文件系统的热度统计方法和系统 |
CN107766374A (zh) * | 2016-08-19 | 2018-03-06 | 上海凯翔信息科技有限公司 | 一种海量小文件存储读取的优化方法和系统 |
CN107832236A (zh) * | 2017-10-24 | 2018-03-23 | 记忆科技(深圳)有限公司 | 一种提高固态硬盘写性能的方法 |
CN108141462A (zh) * | 2015-08-18 | 2018-06-08 | 诺基亚通信公司 | 数据库查询的方法和系统 |
CN108170672A (zh) * | 2017-12-22 | 2018-06-15 | 武汉数博科技有限责任公司 | 一种中文机构名称实时分析方法及系统 |
CN109213420A (zh) * | 2017-06-29 | 2019-01-15 | 杭州海康威视数字技术股份有限公司 | 数据存储方法、装置及系统 |
CN109213421A (zh) * | 2017-06-29 | 2019-01-15 | 中兴通讯股份有限公司 | 一种存储记录方法及装置 |
CN109299113A (zh) * | 2015-06-08 | 2019-02-01 | 南京航空航天大学 | 具有存储感知的混合索引的范围查询方法 |
CN109460186A (zh) * | 2018-11-02 | 2019-03-12 | 深圳忆联信息系统有限公司 | 一种提升固态硬盘读性能的方法及其系统 |
CN109739696A (zh) * | 2018-12-13 | 2019-05-10 | 北京计算机技术及应用研究所 | 一种双控存储阵列固态硬盘缓存加速方法 |
CN109857339A (zh) * | 2019-01-10 | 2019-06-07 | 平安科技(深圳)有限公司 | 文件存储方法、装置、计算机设备和存储介质 |
CN110008030A (zh) * | 2019-04-16 | 2019-07-12 | 苏州浪潮智能科技有限公司 | 一种元数据访问的方法、系统及设备 |
CN110018784A (zh) * | 2018-01-09 | 2019-07-16 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置及计算设备 |
CN110597762A (zh) * | 2018-05-25 | 2019-12-20 | 杭州海康威视系统技术有限公司 | 文件处理方法、装置、设备及存储介质 |
CN110703981A (zh) * | 2018-07-10 | 2020-01-17 | 中兴通讯股份有限公司 | 一种数据读写方法、终端及计算机可读存储介质 |
CN111368347A (zh) * | 2020-03-09 | 2020-07-03 | 中航机载系统共性技术有限公司 | 一种基于云平台的安全存储方法 |
CN111506253A (zh) * | 2019-01-31 | 2020-08-07 | 阿里巴巴集团控股有限公司 | 一种分布式存储系统及其存储方法 |
CN112306896A (zh) * | 2019-07-31 | 2021-02-02 | 华为技术有限公司 | 一种垃圾回收方法及装置 |
WO2021018052A1 (zh) * | 2019-07-31 | 2021-02-04 | 华为技术有限公司 | 一种垃圾回收方法及装置 |
CN113760171A (zh) * | 2020-06-01 | 2021-12-07 | 华为技术有限公司 | 一种元数据存储方法及装置 |
CN113836084A (zh) * | 2014-11-10 | 2021-12-24 | 创新先进技术有限公司 | 一种数据存储方法、装置和系统 |
CN114116612A (zh) * | 2021-11-15 | 2022-03-01 | 长沙理工大学 | 一种基于b+树索引归档文件的存取方法 |
CN114579514A (zh) * | 2022-04-25 | 2022-06-03 | 阿里云计算有限公司 | 一种基于多计算节点的文件处理方法、装置及设备 |
CN115878513A (zh) * | 2023-02-21 | 2023-03-31 | 中移动信息技术有限公司 | 数据存储和数据查询方法、装置、设备及存储介质 |
CN117389484A (zh) * | 2023-12-12 | 2024-01-12 | 深圳大普微电子股份有限公司 | 数据存储处理方法、装置、设备及存储介质 |
Families Citing this family (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8671265B2 (en) | 2010-03-05 | 2014-03-11 | Solidfire, Inc. | Distributed data storage system providing de-duplication of data using block identifiers |
US9054992B2 (en) | 2011-12-27 | 2015-06-09 | Solidfire, Inc. | Quality of service policy sets |
US9838269B2 (en) | 2011-12-27 | 2017-12-05 | Netapp, Inc. | Proportional quality of service based on client usage and system metrics |
US9146928B1 (en) * | 2012-12-31 | 2015-09-29 | Emc Corporation | Techniques for storing metadata of a filesystem in persistent memory |
US9547549B2 (en) * | 2013-01-16 | 2017-01-17 | Microsoft Technology Licensing, Llc | Handling file system corruption |
US9268502B2 (en) * | 2013-09-16 | 2016-02-23 | Netapp, Inc. | Dense tree volume metadata organization |
US20150244795A1 (en) | 2014-02-21 | 2015-08-27 | Solidfire, Inc. | Data syncing in a distributed system |
BR112016024412B1 (pt) | 2014-04-22 | 2022-10-18 | Huawei Technologies Co., Ltd | Método de gerenciamento de arquivos e sistema de arquivos |
EP2940950B1 (en) * | 2014-04-29 | 2019-02-20 | Institut Mines-Telecom | Information centric networking (ICN) router |
US9798728B2 (en) | 2014-07-24 | 2017-10-24 | Netapp, Inc. | System performing data deduplication using a dense tree data structure |
US9348517B2 (en) * | 2014-08-28 | 2016-05-24 | International Business Machines Corporation | Using a migration threshold and a candidate list for cache management of sequential write storage |
US9671960B2 (en) | 2014-09-12 | 2017-06-06 | Netapp, Inc. | Rate matching technique for balancing segment cleaning and I/O workload |
US10133511B2 (en) | 2014-09-12 | 2018-11-20 | Netapp, Inc | Optimized segment cleaning technique |
CN104298779A (zh) * | 2014-11-04 | 2015-01-21 | 中国银行股份有限公司 | 海量数据加工的处理方法和系统 |
US9628350B2 (en) * | 2014-11-05 | 2017-04-18 | Amazon Technologies, Inc. | Dynamic scaling of storage volumes for storage client file systems |
US9836229B2 (en) | 2014-11-18 | 2017-12-05 | Netapp, Inc. | N-way merge technique for updating volume metadata in a storage I/O stack |
CN104462240A (zh) * | 2014-11-18 | 2015-03-25 | 浪潮(北京)电子信息产业有限公司 | 云存储中实现分级存储管理的方法和系统 |
US9720601B2 (en) | 2015-02-11 | 2017-08-01 | Netapp, Inc. | Load balancing technique for a storage array |
US9762460B2 (en) | 2015-03-24 | 2017-09-12 | Netapp, Inc. | Providing continuous context for operational information of a storage system |
US9710317B2 (en) | 2015-03-30 | 2017-07-18 | Netapp, Inc. | Methods to identify, handle and recover from suspect SSDS in a clustered flash array |
US20170024140A1 (en) * | 2015-07-20 | 2017-01-26 | Samsung Electronics Co., Ltd. | Storage system and method for metadata management in non-volatile memory |
US9740566B2 (en) | 2015-07-31 | 2017-08-22 | Netapp, Inc. | Snapshot creation workflow |
KR102309841B1 (ko) | 2015-08-24 | 2021-10-12 | 삼성전자주식회사 | 표면 실장 기술의 적용에 따른 메모리 셀의 문턱 전압 산포 변화 복구 기능을 갖는 데이터 스토리지 및 그것의 동작 방법 |
CN105278882A (zh) * | 2015-10-26 | 2016-01-27 | 创新科存储技术有限公司 | 一种分布式文件系统的磁盘管理方法 |
US10929022B2 (en) | 2016-04-25 | 2021-02-23 | Netapp. Inc. | Space savings reporting for storage system supporting snapshot and clones |
US9898208B2 (en) * | 2016-04-27 | 2018-02-20 | Datadirect Networks, Inc. | Storage system with hybrid logical volumes utilizing in-band hinting |
US10642763B2 (en) | 2016-09-20 | 2020-05-05 | Netapp, Inc. | Quality of service policy sets |
US10877997B2 (en) | 2017-06-28 | 2020-12-29 | International Business Machines Corporation | Clustering database data |
US10901907B2 (en) * | 2017-10-19 | 2021-01-26 | Samsung Electronics Co., Ltd. | System and method for identifying hot data and stream in a solid-state drive |
CN107729558B (zh) * | 2017-11-08 | 2021-06-29 | 郑州云海信息技术有限公司 | 文件系统碎片整理的方法、系统、装置及计算机存储介质 |
US11048590B1 (en) | 2018-03-15 | 2021-06-29 | Pure Storage, Inc. | Data consistency during recovery in a cloud-based storage system |
CN109783443A (zh) * | 2018-12-25 | 2019-05-21 | 西安交通大学 | 一种分布式存储系统中海量数据的冷热判断方法 |
US11216388B2 (en) * | 2019-04-30 | 2022-01-04 | EMC IP Holding Company LLC | Tiering between storage media in a content aware storage system |
CN110489425B (zh) * | 2019-08-26 | 2022-04-12 | 上海达梦数据库有限公司 | 一种数据访问方法、装置、设备及存储介质 |
CN113032340B (zh) * | 2019-12-24 | 2024-05-14 | 阿里巴巴集团控股有限公司 | 数据文件的合并方法、装置、存储介质及处理器 |
US11567865B2 (en) * | 2019-12-31 | 2023-01-31 | Samsung Electronics Co., Ltd. | Methods and apparatus for persistent data structures |
CN111309680A (zh) * | 2020-02-17 | 2020-06-19 | 湖南天河国云科技有限公司 | 基于布隆过滤器的对象存储文件检索方法及系统 |
KR20210120240A (ko) * | 2020-03-26 | 2021-10-07 | 에스케이하이닉스 주식회사 | 메모리 컨트롤러 및 그 동작 방법 |
CN113467698A (zh) * | 2020-03-30 | 2021-10-01 | 珠海全志科技股份有限公司 | 基于文件系统的写方法、装置、计算机设备和存储介质 |
CN111880751B (zh) * | 2020-09-28 | 2020-12-25 | 浙江大华技术股份有限公司 | 一种硬盘迁移方法、分布式存储集群系统和存储介质 |
CN112583904B (zh) * | 2020-12-04 | 2023-05-19 | 北京百度网讯科技有限公司 | 文件上传方法、装置、设备以及存储介质 |
CN113448970B (zh) * | 2021-08-31 | 2022-07-12 | 深圳市一号互联科技有限公司 | 一种图数据存储方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1619522A (zh) * | 2003-11-17 | 2005-05-25 | 联想(北京)有限公司 | 机群文件服务系统及其输入输出处理方法 |
US20100011031A1 (en) * | 2006-12-28 | 2010-01-14 | Arcsight, Inc. | Storing log data efficiently while supporting querying |
CN101814045A (zh) * | 2010-04-22 | 2010-08-25 | 华中科技大学 | 一种用于备份服务的数据组织方法 |
CN101866359A (zh) * | 2010-06-24 | 2010-10-20 | 北京航空航天大学 | 一种机群文件系统中的小文件存储和访问方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6725392B1 (en) * | 1999-03-03 | 2004-04-20 | Adaptec, Inc. | Controller fault recovery system for a distributed file system |
US20070094445A1 (en) * | 2005-10-20 | 2007-04-26 | Trika Sanjeev N | Method to enable fast disk caching and efficient operations on solid state disks |
US7831793B2 (en) * | 2006-03-01 | 2010-11-09 | Quantum Corporation | Data storage system including unique block pool manager and applications in tiered storage |
JP2012531674A (ja) * | 2009-06-26 | 2012-12-10 | シンプリヴィティ・コーポレーション | ノンユニフォームアクセスメモリにおけるスケーラブルなインデックス付け |
US20110276744A1 (en) * | 2010-05-05 | 2011-11-10 | Microsoft Corporation | Flash memory cache including for use with persistent key-value store |
CN102364474B (zh) * | 2011-11-17 | 2014-08-20 | 中国科学院计算技术研究所 | 用于机群文件系统的元数据存储系统和管理方法 |
-
2011
- 2011-11-17 CN CN201110366559.2A patent/CN102364474B/zh active Active
-
2012
- 2012-11-16 WO PCT/CN2012/084759 patent/WO2013071882A1/zh active Application Filing
- 2012-11-16 EP EP12849116.4A patent/EP2735978B1/en active Active
-
2014
- 2014-05-15 US US14/278,744 patent/US9449005B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1619522A (zh) * | 2003-11-17 | 2005-05-25 | 联想(北京)有限公司 | 机群文件服务系统及其输入输出处理方法 |
US20100011031A1 (en) * | 2006-12-28 | 2010-01-14 | Arcsight, Inc. | Storing log data efficiently while supporting querying |
CN101814045A (zh) * | 2010-04-22 | 2010-08-25 | 华中科技大学 | 一种用于备份服务的数据组织方法 |
CN101866359A (zh) * | 2010-06-24 | 2010-10-20 | 北京航空航天大学 | 一种机群文件系统中的小文件存储和访问方法 |
Cited By (80)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013071882A1 (zh) * | 2011-11-17 | 2013-05-23 | 华为技术有限公司 | 用于机群文件系统的元数据存储系统和管理方法 |
US9449005B2 (en) | 2011-11-17 | 2016-09-20 | Huawei Technologies Co., Ltd. | Metadata storage system and management method for cluster file system |
CN102662992A (zh) * | 2012-03-14 | 2012-09-12 | 北京搜狐新媒体信息技术有限公司 | 一种海量小文件的存储、访问方法及装置 |
CN102760101A (zh) * | 2012-05-22 | 2012-10-31 | 中国科学院计算技术研究所 | 一种基于ssd 的缓存管理方法及系统 |
CN102760101B (zh) * | 2012-05-22 | 2015-03-18 | 中国科学院计算技术研究所 | 一种基于ssd 的缓存管理方法及系统 |
WO2013174305A1 (zh) * | 2012-05-24 | 2013-11-28 | 华为技术有限公司 | 基于SSD的Key-Value型本地存储方法及系统 |
CN102722449B (zh) * | 2012-05-24 | 2015-01-21 | 中国科学院计算技术研究所 | 基于SSD的Key-Value型本地存储方法及系统 |
CN102722449A (zh) * | 2012-05-24 | 2012-10-10 | 中国科学院计算技术研究所 | 基于SSD的Key-Value型本地存储方法及系统 |
CN103019615A (zh) * | 2012-07-19 | 2013-04-03 | 中国人民解放军国防科学技术大学 | 一种基于负载控制的提高闪存固态硬盘持久性方法 |
CN103019615B (zh) * | 2012-07-19 | 2015-08-26 | 中国人民解放军国防科学技术大学 | 一种基于负载控制的提高闪存固态硬盘持久性方法 |
CN102831087A (zh) * | 2012-07-27 | 2012-12-19 | 国家超级计算深圳中心(深圳云计算中心) | 基于混合存储器的数据读写处理方法和装置 |
CN102831088A (zh) * | 2012-07-27 | 2012-12-19 | 国家超级计算深圳中心(深圳云计算中心) | 基于混合存储器的数据迁移方法和装置 |
CN102831087B (zh) * | 2012-07-27 | 2016-05-11 | 国家超级计算深圳中心(深圳云计算中心) | 基于混合存储器的数据读写处理方法和装置 |
CN103336844B (zh) * | 2013-07-22 | 2016-12-28 | 广西师范大学 | 大数据rd分割方法 |
CN104375961A (zh) * | 2013-08-16 | 2015-02-25 | 国际商业机器公司 | 用于在数据存储子系统中进行数据访问的方法和装置 |
CN104915145A (zh) * | 2014-03-11 | 2015-09-16 | 华为技术有限公司 | 一种降低LSM Tree写放大的方法和装置 |
CN104915145B (zh) * | 2014-03-11 | 2018-05-18 | 华为技术有限公司 | 一种降低LSM Tree写放大的方法和装置 |
CN103838853B (zh) * | 2014-03-17 | 2017-05-10 | 华中科技大学 | 一种基于不同存储介质的混合文件系统 |
CN103902669A (zh) * | 2014-03-17 | 2014-07-02 | 华中科技大学 | 一种基于不同存储介质的分离式文件系统 |
CN104978362A (zh) * | 2014-04-11 | 2015-10-14 | 中兴通讯股份有限公司 | 分布式文件系统的数据迁移方法、装置及元数据服务器 |
WO2015154352A1 (zh) * | 2014-04-11 | 2015-10-15 | 中兴通讯股份有限公司 | 分布式文件系统的数据迁移方法、装置及元数据服务器 |
CN104978362B (zh) * | 2014-04-11 | 2019-11-29 | 南京中兴新软件有限责任公司 | 分布式文件系统的数据迁移方法、装置及元数据服务器 |
CN104199784A (zh) * | 2014-08-20 | 2014-12-10 | 浪潮(北京)电子信息产业有限公司 | 一种基于分级存储的数据迁移方法及装置 |
WO2016029865A1 (en) * | 2014-08-28 | 2016-03-03 | Huawei Technologies Co., Ltd. | Metadata index search in file system |
CN104216988A (zh) * | 2014-09-04 | 2014-12-17 | 天津大学 | 分布式大数据的ssd磁盘和hdd磁盘混合存储方法 |
CN113836084A (zh) * | 2014-11-10 | 2021-12-24 | 创新先进技术有限公司 | 一种数据存储方法、装置和系统 |
CN104408163A (zh) * | 2014-12-05 | 2015-03-11 | 浪潮(北京)电子信息产业有限公司 | 一种数据分级存储方法和装置 |
CN104408163B (zh) * | 2014-12-05 | 2018-09-14 | 浪潮(北京)电子信息产业有限公司 | 一种数据分级存储方法和装置 |
CN104657461A (zh) * | 2015-02-10 | 2015-05-27 | 北京航空航天大学 | 基于内存与ssd协作式的文件系统元数据搜索缓存方法 |
CN109299113B (zh) * | 2015-06-08 | 2021-03-30 | 南京航空航天大学 | 具有存储感知的混合索引的范围查询方法 |
CN109299113A (zh) * | 2015-06-08 | 2019-02-01 | 南京航空航天大学 | 具有存储感知的混合索引的范围查询方法 |
CN108141462A (zh) * | 2015-08-18 | 2018-06-08 | 诺基亚通信公司 | 数据库查询的方法和系统 |
CN107463509A (zh) * | 2016-06-05 | 2017-12-12 | 华为技术有限公司 | 缓存管理方法、缓存控制器以及计算机系统 |
WO2017211247A1 (zh) * | 2016-06-05 | 2017-12-14 | 华为技术有限公司 | 缓存管理方法、缓存控制器以及计算机系统 |
CN107463509B (zh) * | 2016-06-05 | 2020-12-15 | 华为技术有限公司 | 缓存管理方法、缓存控制器以及计算机系统 |
CN106227677A (zh) * | 2016-07-20 | 2016-12-14 | 浪潮电子信息产业股份有限公司 | 一种变长缓存元数据管理的方法 |
CN106227677B (zh) * | 2016-07-20 | 2018-11-20 | 浪潮电子信息产业股份有限公司 | 一种变长缓存元数据管理的方法 |
CN106201916A (zh) * | 2016-07-25 | 2016-12-07 | 中国人民解放军国防科学技术大学 | 一种面向ssd的非易失缓存机制 |
CN106201916B (zh) * | 2016-07-25 | 2019-03-29 | 中国人民解放军国防科学技术大学 | 一种面向ssd的非易失缓存方法 |
CN106231252B (zh) * | 2016-07-29 | 2019-04-05 | 银江股份有限公司 | 一种大规模视频监控存储方法 |
CN106231252A (zh) * | 2016-07-29 | 2016-12-14 | 银江股份有限公司 | 一种大规模视频监控存储方法 |
CN107766374A (zh) * | 2016-08-19 | 2018-03-06 | 上海凯翔信息科技有限公司 | 一种海量小文件存储读取的优化方法和系统 |
CN106681668A (zh) * | 2017-01-12 | 2017-05-17 | 郑州云海信息技术有限公司 | 一种基于固态盘缓存的混合式存储系统及存储方法 |
CN107193487B (zh) * | 2017-04-26 | 2019-11-12 | 华中科技大学 | 一种随机访问识别方法及系统 |
CN107193487A (zh) * | 2017-04-26 | 2017-09-22 | 华中科技大学 | 一种随机访问识别方法及系统 |
CN109213421A (zh) * | 2017-06-29 | 2019-01-15 | 中兴通讯股份有限公司 | 一种存储记录方法及装置 |
CN109213421B (zh) * | 2017-06-29 | 2024-01-09 | 中兴通讯股份有限公司 | 一种存储记录方法及装置 |
CN109213420A (zh) * | 2017-06-29 | 2019-01-15 | 杭州海康威视数字技术股份有限公司 | 数据存储方法、装置及系统 |
CN107422992A (zh) * | 2017-07-31 | 2017-12-01 | 郑州云海信息技术有限公司 | 一种SSD运行时Journal保存方法及系统 |
CN107422994A (zh) * | 2017-08-02 | 2017-12-01 | 郑州云海信息技术有限公司 | 一种提高数据读写性能的方法 |
CN107515827B (zh) * | 2017-08-21 | 2021-07-27 | 湖南国科微电子股份有限公司 | Pcie ssd自定义日志的存储方法、装置及ssd |
CN107515827A (zh) * | 2017-08-21 | 2017-12-26 | 湖南国科微电子股份有限公司 | Pcie ssd自定义日志的存储方法、装置及ssd |
CN107679193A (zh) * | 2017-10-09 | 2018-02-09 | 郑州云海信息技术有限公司 | 一种用于分布式文件系统的热度统计方法和系统 |
CN107832236B (zh) * | 2017-10-24 | 2021-08-03 | 记忆科技(深圳)有限公司 | 一种提高固态硬盘写性能的方法 |
CN107832236A (zh) * | 2017-10-24 | 2018-03-23 | 记忆科技(深圳)有限公司 | 一种提高固态硬盘写性能的方法 |
CN108170672A (zh) * | 2017-12-22 | 2018-06-15 | 武汉数博科技有限责任公司 | 一种中文机构名称实时分析方法及系统 |
US11294592B2 (en) | 2018-01-09 | 2022-04-05 | Alibaba Group Holding Limited | Method and device for data processing, and computer device |
CN110018784A (zh) * | 2018-01-09 | 2019-07-16 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置及计算设备 |
CN110018784B (zh) * | 2018-01-09 | 2023-01-10 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置及计算设备 |
CN110597762A (zh) * | 2018-05-25 | 2019-12-20 | 杭州海康威视系统技术有限公司 | 文件处理方法、装置、设备及存储介质 |
CN110703981A (zh) * | 2018-07-10 | 2020-01-17 | 中兴通讯股份有限公司 | 一种数据读写方法、终端及计算机可读存储介质 |
CN109460186A (zh) * | 2018-11-02 | 2019-03-12 | 深圳忆联信息系统有限公司 | 一种提升固态硬盘读性能的方法及其系统 |
CN109739696A (zh) * | 2018-12-13 | 2019-05-10 | 北京计算机技术及应用研究所 | 一种双控存储阵列固态硬盘缓存加速方法 |
CN109857339A (zh) * | 2019-01-10 | 2019-06-07 | 平安科技(深圳)有限公司 | 文件存储方法、装置、计算机设备和存储介质 |
CN111506253B (zh) * | 2019-01-31 | 2023-06-20 | 阿里巴巴集团控股有限公司 | 一种分布式存储系统及其存储方法 |
CN111506253A (zh) * | 2019-01-31 | 2020-08-07 | 阿里巴巴集团控股有限公司 | 一种分布式存储系统及其存储方法 |
CN110008030A (zh) * | 2019-04-16 | 2019-07-12 | 苏州浪潮智能科技有限公司 | 一种元数据访问的方法、系统及设备 |
CN112306896A (zh) * | 2019-07-31 | 2021-02-02 | 华为技术有限公司 | 一种垃圾回收方法及装置 |
CN112306896B (zh) * | 2019-07-31 | 2022-12-27 | 华为技术有限公司 | 一种垃圾回收方法及装置 |
WO2021018052A1 (zh) * | 2019-07-31 | 2021-02-04 | 华为技术有限公司 | 一种垃圾回收方法及装置 |
CN111368347A (zh) * | 2020-03-09 | 2020-07-03 | 中航机载系统共性技术有限公司 | 一种基于云平台的安全存储方法 |
CN113760171A (zh) * | 2020-06-01 | 2021-12-07 | 华为技术有限公司 | 一种元数据存储方法及装置 |
CN114116612A (zh) * | 2021-11-15 | 2022-03-01 | 长沙理工大学 | 一种基于b+树索引归档文件的存取方法 |
CN114116612B (zh) * | 2021-11-15 | 2024-06-07 | 长沙理工大学 | 一种基于b+树索引归档文件的存取方法 |
CN114579514B (zh) * | 2022-04-25 | 2022-10-04 | 阿里云计算有限公司 | 一种基于多计算节点的文件处理方法、装置及设备 |
CN114579514A (zh) * | 2022-04-25 | 2022-06-03 | 阿里云计算有限公司 | 一种基于多计算节点的文件处理方法、装置及设备 |
CN115878513B (zh) * | 2023-02-21 | 2023-08-15 | 中移动信息技术有限公司 | 数据存储和数据查询方法、装置、设备及存储介质 |
CN115878513A (zh) * | 2023-02-21 | 2023-03-31 | 中移动信息技术有限公司 | 数据存储和数据查询方法、装置、设备及存储介质 |
CN117389484A (zh) * | 2023-12-12 | 2024-01-12 | 深圳大普微电子股份有限公司 | 数据存储处理方法、装置、设备及存储介质 |
CN117389484B (zh) * | 2023-12-12 | 2024-04-26 | 深圳大普微电子股份有限公司 | 数据存储处理方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
EP2735978A4 (en) | 2015-01-28 |
US9449005B2 (en) | 2016-09-20 |
EP2735978A1 (en) | 2014-05-28 |
WO2013071882A1 (zh) | 2013-05-23 |
EP2735978B1 (en) | 2017-03-29 |
CN102364474B (zh) | 2014-08-20 |
US20140250155A1 (en) | 2014-09-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102364474B (zh) | 用于机群文件系统的元数据存储系统和管理方法 | |
CN110825748B (zh) | 利用差异化索引机制的高性能和易扩展的键值存储方法 | |
CN109213772B (zh) | 数据存储方法及NVMe存储系统 | |
Nam et al. | Assuring demanded read performance of data deduplication storage with backup datasets | |
JP5445682B2 (ja) | ストレージシステム | |
CN101187901B (zh) | 一种实现文件访问的高速缓存系统和方法 | |
CN102521269B (zh) | 一种基于索引的计算机连续数据保护方法 | |
Ahn et al. | ForestDB: A fast key-value storage system for variable-length string keys | |
CN115427941A (zh) | 数据管理系统和控制的方法 | |
Lee et al. | An efficient index buffer management scheme for implementing a B-tree on NAND flash memory | |
Menon et al. | CaSSanDra: An SSD boosted key-value store | |
CN102968381A (zh) | 一种利用固态硬盘提高快照性能的方法 | |
CN113553476B (zh) | 一种利用哈希减少写停顿的键值存储方法 | |
Sarwat et al. | Generic and efficient framework for search trees on flash memory storage systems | |
CN113704217A (zh) | 一种分布式持久性内存文件系统中元数据及数据组织架构方法 | |
CN116204130A (zh) | 一种键值存储系统和键值存储系统的管理方法 | |
CN114415966B (zh) | 一种kv ssd存储引擎的构建方法 | |
Ren et al. | TABLEFS: Embedding a NoSQL database inside the local file system | |
He et al. | Read as Needed: Building {WiSER}, a {Flash-Optimized} Search Engine | |
KR100810666B1 (ko) | 플래시 메모리를 저장장치로 사용하는 기기를 위한 데이터색인 방법 | |
Cui et al. | HashTree: a new hybrid index for flash disks | |
US20240070135A1 (en) | Hash engine for conducting point queries | |
CN114691041B (zh) | 键值存储系统、垃圾回收方法 | |
CN118312515B (zh) | 应用于WiscKey的协同无效键值对确认方法及垃圾回收方法 | |
Quan et al. | CMFS: Compressed metadata file system for hybrid storage |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
ASS | Succession or assignment of patent right |
Owner name: HUAWEI TECHNOLOGY CO., LTD. Effective date: 20121219 |
|
C41 | Transfer of patent application or patent right or utility model | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20121219 Address after: 100190 Haidian District, Zhongguancun Academy of Sciences, South Road, No. 6, No. Applicant after: Institute of Computing Technology, Chinese Academy of Sciences Applicant after: Huawei Technologies Co., Ltd. Address before: 100190 Haidian District, Zhongguancun Academy of Sciences, South Road, No. 6, No. Applicant before: Institute of Computing Technology, Chinese Academy of Sciences |
|
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |