CN101866359A - 一种机群文件系统中的小文件存储和访问方法 - Google Patents
一种机群文件系统中的小文件存储和访问方法 Download PDFInfo
- Publication number
- CN101866359A CN101866359A CN 201010208495 CN201010208495A CN101866359A CN 101866359 A CN101866359 A CN 101866359A CN 201010208495 CN201010208495 CN 201010208495 CN 201010208495 A CN201010208495 A CN 201010208495A CN 101866359 A CN101866359 A CN 101866359A
- Authority
- CN
- China
- Prior art keywords
- small documents
- file
- small
- data server
- visit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000012217 deletion Methods 0.000 claims abstract description 21
- 230000037430 deletion Effects 0.000 claims abstract description 21
- 230000003993 interaction Effects 0.000 abstract 2
- 230000000977 initiatory effect Effects 0.000 abstract 1
- 238000011160 research Methods 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000006116 polymerization reaction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- VQLYBLABXAHUDN-UHFFFAOYSA-N bis(4-fluorophenyl)-methyl-(1,2,4-triazol-1-ylmethyl)silane;methyl n-(1h-benzimidazol-2-yl)carbamate Chemical compound C1=CC=C2NC(NC(=O)OC)=NC2=C1.C=1C=C(F)C=CC=1[Si](C=1C=CC(F)=CC=1)(C)CN1C=NC=N1 VQLYBLABXAHUDN-UHFFFAOYSA-N 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
Claims (1)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010102084959A CN101866359B (zh) | 2010-06-24 | 2010-06-24 | 一种机群文件系统中的小文件存储和访问方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010102084959A CN101866359B (zh) | 2010-06-24 | 2010-06-24 | 一种机群文件系统中的小文件存储和访问方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101866359A true CN101866359A (zh) | 2010-10-20 |
CN101866359B CN101866359B (zh) | 2012-05-23 |
Family
ID=42958087
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2010102084959A Expired - Fee Related CN101866359B (zh) | 2010-06-24 | 2010-06-24 | 一种机群文件系统中的小文件存储和访问方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101866359B (zh) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102104617A (zh) * | 2010-11-30 | 2011-06-22 | 厦门雅迅网络股份有限公司 | 一种网站运营系统存储海量图片数据的方法 |
CN102364474A (zh) * | 2011-11-17 | 2012-02-29 | 中国科学院计算技术研究所 | 用于机群文件系统的元数据存储系统和管理方法 |
CN102523258A (zh) * | 2011-11-30 | 2012-06-27 | 广东电子工业研究院有限公司 | 一种面向云操作系统的数据存储架构及其负载均衡方法 |
CN102566942A (zh) * | 2011-12-28 | 2012-07-11 | 华为技术有限公司 | 一种文件条带化写入方法、装置及系统 |
CN103078898A (zh) * | 2012-12-18 | 2013-05-01 | 华为技术有限公司 | 文件系统、接口服务装置和数据存储服务提供方法 |
CN103092927A (zh) * | 2012-12-29 | 2013-05-08 | 华中科技大学 | 一种分布式环境下的文件快速读写方法 |
CN103246700A (zh) * | 2013-04-01 | 2013-08-14 | 厦门市美亚柏科信息股份有限公司 | 基于HBase的海量小文件低延时存储方法 |
CN105302496A (zh) * | 2015-11-23 | 2016-02-03 | 浪潮(北京)电子信息产业有限公司 | 一种集群存储系统的读写性能优化框架及方法 |
CN105516240A (zh) * | 2015-11-23 | 2016-04-20 | 浪潮(北京)电子信息产业有限公司 | 一种集群存储系统的读写性能动态优化框架及方法 |
CN105608193A (zh) * | 2015-12-23 | 2016-05-25 | 深圳市深信服电子科技有限公司 | 分布式文件系统的数据管理方法和装置 |
CN106020720A (zh) * | 2016-05-16 | 2016-10-12 | 浪潮电子信息产业股份有限公司 | 一种Smart Rack节点IO性能优化的方法 |
CN106445403A (zh) * | 2015-08-11 | 2017-02-22 | 张凡 | 针对海量数据成对存储的分布式存储方法和系统 |
CN106446155A (zh) * | 2016-09-22 | 2017-02-22 | 北京百度网讯科技有限公司 | 用于在云存储系统中清理数据的方法和装置 |
CN106528866A (zh) * | 2016-12-02 | 2017-03-22 | 郑州云海信息技术有限公司 | 一种更新元数据的方法、装置和系统 |
CN106775446A (zh) * | 2016-11-11 | 2017-05-31 | 中国人民解放军国防科学技术大学 | 基于固态硬盘加速的分布式文件系统小文件访问方法 |
CN106980693A (zh) * | 2017-04-01 | 2017-07-25 | 广东浪潮大数据研究有限公司 | 一种文件读取的方法以及装置 |
CN107229720A (zh) * | 2017-05-27 | 2017-10-03 | 郑州云海信息技术有限公司 | 一种Lustre文件管理的方法、装置及系统 |
CN114564149A (zh) * | 2022-02-25 | 2022-05-31 | 上海英方软件股份有限公司 | 一种数据存储方法、装置、设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1971562A (zh) * | 2006-11-29 | 2007-05-30 | 华中科技大学 | 面向对象存储系统中的对象分布方法 |
US20070185934A1 (en) * | 2006-02-03 | 2007-08-09 | Cannon David M | Restoring a file to its proper storage tier in an information lifecycle management environment |
CN101510219A (zh) * | 2009-03-31 | 2009-08-19 | 成都市华为赛门铁克科技有限公司 | 文件数据访问方法、装置以及系统 |
-
2010
- 2010-06-24 CN CN2010102084959A patent/CN101866359B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070185934A1 (en) * | 2006-02-03 | 2007-08-09 | Cannon David M | Restoring a file to its proper storage tier in an information lifecycle management environment |
CN1971562A (zh) * | 2006-11-29 | 2007-05-30 | 华中科技大学 | 面向对象存储系统中的对象分布方法 |
CN101510219A (zh) * | 2009-03-31 | 2009-08-19 | 成都市华为赛门铁克科技有限公司 | 文件数据访问方法、装置以及系统 |
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102104617A (zh) * | 2010-11-30 | 2011-06-22 | 厦门雅迅网络股份有限公司 | 一种网站运营系统存储海量图片数据的方法 |
US9449005B2 (en) | 2011-11-17 | 2016-09-20 | Huawei Technologies Co., Ltd. | Metadata storage system and management method for cluster file system |
CN102364474A (zh) * | 2011-11-17 | 2012-02-29 | 中国科学院计算技术研究所 | 用于机群文件系统的元数据存储系统和管理方法 |
CN102364474B (zh) * | 2011-11-17 | 2014-08-20 | 中国科学院计算技术研究所 | 用于机群文件系统的元数据存储系统和管理方法 |
CN102523258A (zh) * | 2011-11-30 | 2012-06-27 | 广东电子工业研究院有限公司 | 一种面向云操作系统的数据存储架构及其负载均衡方法 |
CN102566942A (zh) * | 2011-12-28 | 2012-07-11 | 华为技术有限公司 | 一种文件条带化写入方法、装置及系统 |
CN103078898B (zh) * | 2012-12-18 | 2016-03-02 | 华为技术有限公司 | 文件系统、接口服务装置和数据存储服务提供方法 |
CN103078898A (zh) * | 2012-12-18 | 2013-05-01 | 华为技术有限公司 | 文件系统、接口服务装置和数据存储服务提供方法 |
CN103092927B (zh) * | 2012-12-29 | 2016-01-20 | 华中科技大学 | 一种分布式环境下的文件快速读写方法 |
CN103092927A (zh) * | 2012-12-29 | 2013-05-08 | 华中科技大学 | 一种分布式环境下的文件快速读写方法 |
CN103246700B (zh) * | 2013-04-01 | 2016-08-10 | 厦门市美亚柏科信息股份有限公司 | 基于HBase的海量小文件低延时存储方法 |
CN103246700A (zh) * | 2013-04-01 | 2013-08-14 | 厦门市美亚柏科信息股份有限公司 | 基于HBase的海量小文件低延时存储方法 |
CN106445403A (zh) * | 2015-08-11 | 2017-02-22 | 张凡 | 针对海量数据成对存储的分布式存储方法和系统 |
CN106445403B (zh) * | 2015-08-11 | 2020-11-13 | 张一凡 | 针对海量数据成对存储的分布式存储方法和系统 |
CN105302496A (zh) * | 2015-11-23 | 2016-02-03 | 浪潮(北京)电子信息产业有限公司 | 一种集群存储系统的读写性能优化框架及方法 |
CN105516240A (zh) * | 2015-11-23 | 2016-04-20 | 浪潮(北京)电子信息产业有限公司 | 一种集群存储系统的读写性能动态优化框架及方法 |
CN105608193A (zh) * | 2015-12-23 | 2016-05-25 | 深圳市深信服电子科技有限公司 | 分布式文件系统的数据管理方法和装置 |
CN105608193B (zh) * | 2015-12-23 | 2019-03-26 | 深信服科技股份有限公司 | 分布式文件系统的数据管理方法和装置 |
CN106020720A (zh) * | 2016-05-16 | 2016-10-12 | 浪潮电子信息产业股份有限公司 | 一种Smart Rack节点IO性能优化的方法 |
CN106020720B (zh) * | 2016-05-16 | 2018-12-14 | 浪潮电子信息产业股份有限公司 | 一种Smart Rack节点IO性能优化的方法 |
CN106446155A (zh) * | 2016-09-22 | 2017-02-22 | 北京百度网讯科技有限公司 | 用于在云存储系统中清理数据的方法和装置 |
US10698863B2 (en) | 2016-09-22 | 2020-06-30 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for clearing data in cloud storage system |
CN106775446A (zh) * | 2016-11-11 | 2017-05-31 | 中国人民解放军国防科学技术大学 | 基于固态硬盘加速的分布式文件系统小文件访问方法 |
CN106528866A (zh) * | 2016-12-02 | 2017-03-22 | 郑州云海信息技术有限公司 | 一种更新元数据的方法、装置和系统 |
CN106980693B (zh) * | 2017-04-01 | 2021-03-02 | 广东浪潮大数据研究有限公司 | 一种文件读取的方法以及装置 |
CN106980693A (zh) * | 2017-04-01 | 2017-07-25 | 广东浪潮大数据研究有限公司 | 一种文件读取的方法以及装置 |
CN107229720A (zh) * | 2017-05-27 | 2017-10-03 | 郑州云海信息技术有限公司 | 一种Lustre文件管理的方法、装置及系统 |
CN114564149A (zh) * | 2022-02-25 | 2022-05-31 | 上海英方软件股份有限公司 | 一种数据存储方法、装置、设备及存储介质 |
CN114564149B (zh) * | 2022-02-25 | 2024-03-26 | 上海英方软件股份有限公司 | 一种数据存储方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN101866359B (zh) | 2012-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101866359B (zh) | 一种机群文件系统中的小文件存储和访问方法 | |
US20220057940A1 (en) | Method and Apparatus for SSD Storage Access | |
US9672267B2 (en) | Hybrid data management system and method for managing large, varying datasets | |
CN102222085B (zh) | 一种基于相似性与局部性结合的重复数据删除方法 | |
US9710535B2 (en) | Object storage system with local transaction logs, a distributed namespace, and optimized support for user directories | |
CN110825748A (zh) | 利用差异化索引机制的高性能和易扩展的键值存储方法 | |
US20100281077A1 (en) | Batching requests for accessing differential data stores | |
CN102158546A (zh) | 一种集群文件系统及其文件服务方法 | |
CN103455577A (zh) | 云主机镜像文件的多备份就近存储和读取方法及系统 | |
CN103595797B (zh) | 一种分布式存储系统中的缓存方法 | |
CN103034684A (zh) | 一种基于内容寻址存储的虚拟机镜像存储优化方法 | |
CN103279502B (zh) | 一种具有与并行文件系统结合的重复数据删除文件系统的架构及方法 | |
CN100424699C (zh) | 一种属性可扩展的对象文件系统 | |
CN113626431A (zh) | 一种基于lsm树的延迟垃圾回收的键值分离存储方法及系统 | |
CN104054071A (zh) | 访问存储设备的方法和存储设备 | |
WO2023185111A1 (zh) | 一种数据文件的快速存取方法及装置 | |
Carniel et al. | A generic and efficient framework for flash-aware spatial indexing | |
CN105407044A (zh) | 一种基于nfs的云存储网关系统的实现方法 | |
Cao et al. | Is-hbase: An in-storage computing optimized hbase with i/o offloading and self-adaptive caching in compute-storage disaggregated infrastructure | |
Guan et al. | HDFS optimization strategy based on hierarchical storage of hot and cold data | |
Feng et al. | Review of hadoop performance optimization | |
CN100383721C (zh) | 一种异构双系统总线的对象存储控制器 | |
WO2022121274A1 (zh) | 一种存储系统中元数据管理方法、装置及存储系统 | |
CN104298619A (zh) | 基于Ramdisk和固态硬盘的高速二级存储系统及数据存取方法 | |
CN113051244B (zh) | 数据访问方法和装置、数据获取方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
ASS | Succession or assignment of patent right |
Owner name: SHANGHAI SHICONG INFORMATION TECHNOLOGY CO., LTD. Free format text: FORMER OWNER: BEIHANG UNIVERSITY Effective date: 20150512 |
|
C41 | Transfer of patent application or patent right or utility model | ||
COR | Change of bibliographic data |
Free format text: CORRECT: ADDRESS; FROM: 100191 HAIDIAN, BEIJING TO: 201401 FENGXIAN, SHANGHAI |
|
TR01 | Transfer of patent right |
Effective date of registration: 20150512 Address after: 201401 Shanghai Fengxian District City Ring Road No. 2200 building 2128 room Patentee after: Shanghai Shi Cong network information technology Co., Ltd Address before: 100191 Beijing City, Haidian District Xueyuan Road No. 37 North College of computer Patentee before: Beihang University |
|
C56 | Change in the name or address of the patentee | ||
CP03 | Change of name, title or address |
Address after: 200233 room 202-35, Guiping Road, Shanghai, Xuhui District, 92 Patentee after: SHANGHAI JUNESH INFORMATION TECHNOLOGY CO., LTD. Address before: 201401 Shanghai Fengxian District City Ring Road No. 2200 building 2128 room Patentee before: Shanghai Shi Cong network information technology Co., Ltd |
|
DD01 | Delivery of document by public notice |
Addressee: SHANGHAI JUNESH INFORMATION TECHNOLOGY CO., LTD. Document name: Notification to Pay the Fees |
|
DD01 | Delivery of document by public notice | ||
DD01 | Delivery of document by public notice |
Addressee: SHANGHAI JUNESH INFORMATION TECHNOLOGY CO., LTD. Document name: Notification of Termination of Patent Right |
|
DD01 | Delivery of document by public notice | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120523 Termination date: 20180624 |