CN102521349A - 一种文件预读方法 - Google Patents
一种文件预读方法 Download PDFInfo
- Publication number
- CN102521349A CN102521349A CN2011104121586A CN201110412158A CN102521349A CN 102521349 A CN102521349 A CN 102521349A CN 2011104121586 A CN2011104121586 A CN 2011104121586A CN 201110412158 A CN201110412158 A CN 201110412158A CN 102521349 A CN102521349 A CN 102521349A
- Authority
- CN
- China
- Prior art keywords
- file
- read
- data
- file system
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Memory System Of A Hierarchy Structure (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种文件预读方法，包括如下步骤：A、文件系统判断要执行打开操作的文件的数据大小和预先配置的预读数据大小，如果前者大于或等于后者，则预读文件开始部分的大小等于预先配置的预读数据大小的数据到操作文件系统缓存中；如果前者小于后者，则直接将该文件预读到操作文件系统缓存中；B、文件系统收到文件读操作，判断该读操作的目标数据是否已在缓存中，若是，直接从缓存中获取相应数据，并响应该读操作；否则从磁盘中读取相应数据。
Description
技术领域
本发明涉及计算机文件处理技术，特别涉及一种文件预读方法。
背景技术
目前传统的读写文件操作过程基本上是先对存储在硬盘上的文件做打开(open)文件操作，其实质是将文件在硬盘的存储区域与文件系统内存作一个映射；以后需要对该文件读写时候再做读写操作，即将硬盘上存储的文件读取到映射的内存中或者将内存中的数据写入硬盘。
很多业务存在需要大量并发读写小文件的操作，虽然数据量不大，但是每个文件存放磁盘位置不一样，这会严重影响读操作的性能。如果出现这种情况，可能无法同时执行这些读写操作，而需要将读写操作建立一个序列，并依次执行这些读写操作。多数业务对于读写性能要求具有一定的容忍度，因此并发大量读写操作的后果无非是等待时间长一些。但是在某些情况下，对数据读操作有时候具有较高性能的要求，因为做读操作之后，如果数据不能及时读出来，客户业务很多时候就一直处于阻塞状态，不能继续下去，如果客户业务实时性要求较高，则会对业务造成严重影响。
发明内容
本发明提供了一种文件预读方法，可以提高并发读写大量小文件时的读写性能。
本发明实施例提供一种文件预读方法，包括如下步骤：
A、文件系统判断要执行打开操作的文件的数据大小和预先配置的预读数据大小，如果前者大于或等于后者，则预读文件开始部分的大小等于预先配置的预读数据大小的数据到操作文件系统缓存中；如果前者小于后者，则直接将该文件预读到操作文件系统缓存中；
B、文件系统收到文件读操作，判断该读操作的目标数据是否已在缓存中，若是，直接从缓存中获取相应数据，并响应该读操作；否则从磁盘中读取相应数据。
较佳地，所述步骤A之前进一步包括：
文件系统发现要对文件进行打开操作时，判断是否启动预读机制，如果不启动，按照文件系统正常机制进行打开操作并退出本流程；如果启动则执行所述步骤A。
较佳地，所述步骤A之前进一步包括：
配置预读数据大小，所述预读数据大小为16k字节、32k字节、64k字节或128k字节。
较佳地，步骤B之后进一步包括：
文件系统判断缓存中的预读数据未被访问的时间是否达到预定时限，若是，则回收所述预读数据对应的缓存。
从以上技术方案可以看出，当对文件做打开的时候，就直接先预读文件开始一部分文件内容到文件系统内存中。这样操作后，下次文件系统读取该文件的时候，如果数据在文件系统内存中，就不需要再从磁盘读取数据，直接从文件系统内存中读取该数据，效率会得到较好的提高。
附图说明
图1为本发明实施例提供的文件预读方法流程图。
具体实施方式
本发明方案主要针对并发读写大量小文件的应用场景，当对文件做打开的时候，就直接先预读文件开始一部分文件内容到文件系统内存中。这样操作后，下次文件系统读取该文件的时候，如果数据在文件系统内存中，就不需要再从磁盘读取数据，直接从文件系统内存中读取该数据，效率会得到较好的提高。
本发明实施例提供的文件预读方法流程如图1所示，包括如下步骤：
步骤101：预先配置预读数据大小。预读数据大小可以通过配置文件根据需求配置，例如可以配置为16k字节、32k字节、64k字节、128k字节等等。
步骤102：当文件系统发现要对文件进行打开操作时候，判断是否启动预读机制，如果不启动，按照文件系统正常机制进行打开操作并退出本流程；如果启动，则继续执行步骤102。
文件系统可以提供预读的设置选项，如果用户将该选项设置为开启，则文件系统根据该项设置信息，判断需要启动预读机制。
步骤103：比较要打开的文件的数据大小和预先配置的预读数据大小，如果前者大于或等于后者，则预读文件开始部分的大小等于预先配置的预读数据大小的数据到操作文件系统缓存中；如果前者小于后者，则直接将该文件预读到操作文件系统缓存中。
步骤104：文件系统收到文件读操作，判断该读操作的目标数据是否已在缓存中，若是，直接从缓存中获取相应数据，并响应该读操作；否则从磁盘中读取相应数据。
步骤105：文件系统判断缓存中的预读数据未被访问的时间是否达到预定时限，若是，则回收所述预读数据对应的缓存。该步骤的目的是为了防止长期占用系统内存，为可选步骤。
本发明方案特别适用于并发读写大量小文件的应用场景，可以省去大量对磁盘寻址的时间，直接从内存中读取相应数据；通过设置合适的预读数据大小，可以提高读文件时在内存中的命中率的同时，又避免占用过多的系统缓存。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (4)
1.一种文件预读方法，其特征在于，包括如下步骤：
A、文件系统判断要执行打开操作的文件的数据大小和预先配置的预读数据大小，如果前者大于或等于后者，则预读文件开始部分的大小等于预先配置的预读数据大小的数据到操作文件系统缓存中；如果前者小于后者，则直接将该文件预读到操作文件系统缓存中；
B、文件系统收到文件读操作，判断该读操作的目标数据是否已在缓存中，若是，直接从缓存中获取相应数据，并响应该读操作；否则从磁盘中读取相应数据。
2.根据权利要求1所述的方法，其特征在于，所述步骤A之前进一步包括：
文件系统发现要对文件进行打开操作时，判断是否启动预读机制，如果不启动，按照文件系统正常机制进行打开操作并退出本流程；如果启动则执行所述步骤A。
3.根据权利要求1所述的方法，其特征在于，所述步骤A之前进一步包括：
配置预读数据大小，所述预读数据大小为16k字节、32k字节、64k字节或128k字节。
4.根据权利要求1所述的方法，其特征在于，步骤B之后进一步包括：
文件系统判断缓存中的预读数据未被访问的时间是否达到预定时限，若是，则回收所述预读数据对应的缓存。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011104121586A CN102521349A (zh) | 2011-12-12 | 2011-12-12 | 一种文件预读方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011104121586A CN102521349A (zh) | 2011-12-12 | 2011-12-12 | 一种文件预读方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102521349A true CN102521349A (zh) | 2012-06-27 |
Family
ID=46292263
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2011104121586A Pending CN102521349A (zh) | 2011-12-12 | 2011-12-12 | 一种文件预读方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102521349A (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103608785A (zh) * | 2013-06-21 | 2014-02-26 | 华为技术有限公司 | 一种文件读取方法、存储设备及读取系统 |
| CN105426127A (zh) * | 2015-11-13 | 2016-03-23 | 浪潮(北京)电子信息产业有限公司 | 一种分布式集群系统的文件存储方法及装置 |
| CN105740166A (zh) * | 2014-12-11 | 2016-07-06 | 中兴通讯股份有限公司 | 缓存的读取、读取处理方法及装置 |
| CN105897815A (zh) * | 2015-08-12 | 2016-08-24 | 乐视云计算有限公司 | 一种读取数据的方法及读取数据的网络侧设备 |
| CN105955821A (zh) * | 2016-04-21 | 2016-09-21 | 北京小米移动软件有限公司 | 预读方法及装置 |
| CN103608785B (zh) * | 2013-06-21 | 2016-11-30 | 华为技术有限公司 | 一种文件读取方法、存储设备及读取系统 |
| CN106293513A (zh) * | 2016-07-26 | 2017-01-04 | 惠州市斯坦利科技有限公司 | 移动存储设备文件读取方法和装置 |
| CN106776759A (zh) * | 2016-11-17 | 2017-05-31 | 郑州云海信息技术有限公司 | 分布式文件系统的小文件预读方法及系统 |
| CN107357532A (zh) * | 2017-07-14 | 2017-11-17 | 长沙开雅电子科技有限公司 | 一种新型集群存储新型缓存预读实现方法 |
| CN107590278A (zh) * | 2017-09-28 | 2018-01-16 | 郑州云海信息技术有限公司 | 一种基于ceph的文件预读方法及相关装置 |
| WO2018054200A1 (zh) * | 2016-09-26 | 2018-03-29 | 上海泓智信息科技有限公司 | 文件读取方法和装置 |
| CN108052651A (zh) * | 2017-12-26 | 2018-05-18 | 新华三技术有限公司 | 配置方法、装置、文件预读方法及电子设备 |
| CN109976679A (zh) * | 2019-04-11 | 2019-07-05 | 苏州浪潮智能科技有限公司 | 一种分布式集群卷预读方法、系统、设备及计算机介质 |
| CN110750214A (zh) * | 2019-09-27 | 2020-02-04 | 广州妙存科技有限公司 | 一种兼顾eMMC存储器顺序读和随机读性能的方法 |
| CN111258956A (zh) * | 2019-03-22 | 2020-06-09 | 深圳市远行科技股份有限公司 | 一种面向远端海量数据文件预读的方法及设备 |
| CN111723057A (zh) * | 2020-05-28 | 2020-09-29 | 广东浪潮大数据研究有限公司 | 一种文件预读方法、装置、设备及存储介质 |
| CN111858494A (zh) * | 2020-07-23 | 2020-10-30 | 珠海豹趣科技有限公司 | 文件获取方法、装置、存储介质及电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1924834A (zh) * | 2006-09-08 | 2007-03-07 | 华为技术有限公司 | 一种高速存储器预读方法及装置 |
| CN101315595A (zh) * | 2008-06-30 | 2008-12-03 | 华为技术有限公司 | 一种数据读取方法及装置 |
| CN101382948A (zh) * | 2008-10-14 | 2009-03-11 | 成都市华为赛门铁克科技有限公司 | 一种文件存储方法、装置和系统 |
-
2011
- 2011-12-12 CN CN2011104121586A patent/CN102521349A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1924834A (zh) * | 2006-09-08 | 2007-03-07 | 华为技术有限公司 | 一种高速存储器预读方法及装置 |
| CN101315595A (zh) * | 2008-06-30 | 2008-12-03 | 华为技术有限公司 | 一种数据读取方法及装置 |
| CN101382948A (zh) * | 2008-10-14 | 2009-03-11 | 成都市华为赛门铁克科技有限公司 | 一种文件存储方法、装置和系统 |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014201696A1 (zh) * | 2013-06-21 | 2014-12-24 | 华为技术有限公司 | 一种文件读取方法、存储设备及读取系统 |
| JP2016526718A (ja) * | 2013-06-21 | 2016-09-05 | 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． | ファイル読み取り方法、記憶装置、および読み取りシステム |
| CN103608785A (zh) * | 2013-06-21 | 2014-02-26 | 华为技术有限公司 | 一种文件读取方法、存储设备及读取系统 |
| CN103608785B (zh) * | 2013-06-21 | 2016-11-30 | 华为技术有限公司 | 一种文件读取方法、存储设备及读取系统 |
| US9519587B2 (en) | 2013-06-21 | 2016-12-13 | Huawei Technologies Co., Ltd. | Pre-reading file containers storing unread file segments and segments that do not belong to the file |
| CN105740166B (zh) * | 2014-12-11 | 2020-05-19 | 中兴通讯股份有限公司 | 缓存的读取、读取处理方法及装置 |
| CN105740166A (zh) * | 2014-12-11 | 2016-07-06 | 中兴通讯股份有限公司 | 缓存的读取、读取处理方法及装置 |
| CN105897815A (zh) * | 2015-08-12 | 2016-08-24 | 乐视云计算有限公司 | 一种读取数据的方法及读取数据的网络侧设备 |
| CN105426127A (zh) * | 2015-11-13 | 2016-03-23 | 浪潮(北京)电子信息产业有限公司 | 一种分布式集群系统的文件存储方法及装置 |
| CN105955821A (zh) * | 2016-04-21 | 2016-09-21 | 北京小米移动软件有限公司 | 预读方法及装置 |
| CN105955821B (zh) * | 2016-04-21 | 2020-01-10 | 北京小米移动软件有限公司 | 预读方法及装置 |
| CN106293513A (zh) * | 2016-07-26 | 2017-01-04 | 惠州市斯坦利科技有限公司 | 移动存储设备文件读取方法和装置 |
| WO2018054200A1 (zh) * | 2016-09-26 | 2018-03-29 | 上海泓智信息科技有限公司 | 文件读取方法和装置 |
| CN106776759A (zh) * | 2016-11-17 | 2017-05-31 | 郑州云海信息技术有限公司 | 分布式文件系统的小文件预读方法及系统 |
| CN107357532A (zh) * | 2017-07-14 | 2017-11-17 | 长沙开雅电子科技有限公司 | 一种新型集群存储新型缓存预读实现方法 |
| CN107590278A (zh) * | 2017-09-28 | 2018-01-16 | 郑州云海信息技术有限公司 | 一种基于ceph的文件预读方法及相关装置 |
| CN108052651A (zh) * | 2017-12-26 | 2018-05-18 | 新华三技术有限公司 | 配置方法、装置、文件预读方法及电子设备 |
| CN111258956A (zh) * | 2019-03-22 | 2020-06-09 | 深圳市远行科技股份有限公司 | 一种面向远端海量数据文件预读的方法及设备 |
| CN111258956B (zh) * | 2019-03-22 | 2023-11-24 | 深圳市远行科技股份有限公司 | 一种面向远端海量数据文件预读的方法及设备 |
| CN109976679A (zh) * | 2019-04-11 | 2019-07-05 | 苏州浪潮智能科技有限公司 | 一种分布式集群卷预读方法、系统、设备及计算机介质 |
| CN110750214A (zh) * | 2019-09-27 | 2020-02-04 | 广州妙存科技有限公司 | 一种兼顾eMMC存储器顺序读和随机读性能的方法 |
| CN111723057A (zh) * | 2020-05-28 | 2020-09-29 | 广东浪潮大数据研究有限公司 | 一种文件预读方法、装置、设备及存储介质 |
| CN111858494A (zh) * | 2020-07-23 | 2020-10-30 | 珠海豹趣科技有限公司 | 文件获取方法、装置、存储介质及电子设备 |
| CN111858494B (zh) * | 2020-07-23 | 2024-05-17 | 珠海豹趣科技有限公司 | 文件获取方法、装置、存储介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102521349A (zh) | 一种文件预读方法 | |
| CN101981551B (zh) | 用于高速缓存利用的设备和方法 | |
| US20080025706A1 (en) | Information recording apparatus and control method thereof | |
| US11176035B2 (en) | Data storage devices and data processing methods | |
| CN101702139B (zh) | 一种访问Nand闪存数据的方法和装置 | |
| CN112799595B (zh) | 数据处理方法、设备及存储介质 | |
| US8688942B2 (en) | Method and system controlling page open time for memory device | |
| CN105260139B (zh) | 一种磁盘管理方法以及系统 | |
| SG126863A1 (en) | Recording apparatus | |
| TW201039349A (en) | Data accessing method for flash memory and storage system and controller using the same | |
| CN113835614A (zh) | 一种基于分布式文件存储客户端的ssd智能缓存方法和系统 | |
| CN100580669C (zh) | 在Flash存储介质上的关于文件分配表的缓存实现方法 | |
| US20160070648A1 (en) | Data storage system and operation method thereof | |
| US9928177B2 (en) | Managing method for cache memory of solid state drive | |
| CN104156175B (zh) | 一种虚拟磁盘容量平滑拓展方法 | |
| CN108710507B (zh) | 一种ssd主机休眠优化的方法 | |
| CN114371814A (zh) | 数据处理的方法、装置及固态硬盘 | |
| CN105653466B (zh) | 数据储存装置以及快闪存储器控制方法 | |
| US8776232B2 (en) | Controller capable of preventing spread of computer viruses and storage system and method thereof | |
| US20170269834A1 (en) | Data storage device and data management method thereof | |
| CN116302105B (zh) | 访问指令调度方法、系统、硬盘及控制器、存储介质和程序产品 | |
| CN105138277A (zh) | 一种固态盘阵列的缓存管理方法 | |
| CN105260130B (zh) | 一种希捷硬盘系统文件的读写方法 | |
| CN102362263A (zh) | Ssd控制器与ssd控制器的操作方法 | |
| CN102160038A (zh) | 管理非易失性磁盘高速缓存的方法和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C53 | Correction of patent of invention or patent application | ||
| CB02 | Change of applicant information |
Address after: 518057 Guangdong city of Shenzhen province Nanshan District Hing Road two No. 6 Shenzhen building B403 - III University Wuhan University Applicant after: Shenzhen Anyun Information Technology Co., Ltd. Applicant after: Clouds creators information technology (Tianjin) Co., Ltd. Address before: 518057 Guangdong city of Shenzhen province Nanshan District Hing Road two No. 6 Shenzhen building B403 - III University Wuhan University Applicant before: Shenzhen Chuangxinke Information Technology Co., Ltd. Applicant before: Clouds creators information technology (Tianjin) Co., Ltd. |
|
| COR | Change of bibliographic data |
Free format text: CORRECT: APPLICANT; FROM: SHENZHEN UNITED INFORMATION TECHNOLOGY CO., LTD. TO: SHENZHEN ANYUN INFORMATION TECHNOLOGY CO., LTD. |
|
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20120627 |