CN104715048A - 一种文件系统缓存预读取方法 - Google Patents
一种文件系统缓存预读取方法 Download PDFInfo
- Publication number
- CN104715048A CN104715048A CN201510135295.8A CN201510135295A CN104715048A CN 104715048 A CN104715048 A CN 104715048A CN 201510135295 A CN201510135295 A CN 201510135295A CN 104715048 A CN104715048 A CN 104715048A
- Authority
- CN
- China
- Prior art keywords
- window
- read
- worth
- file system
- reading
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Memory System Of A Hierarchy Structure (AREA)
Abstract
本发明公开一种文件系统缓存预读取方法,涉及磁盘读写操作方法，在用户程序进行磁盘数据读写时，采用预读取策略提高读写效率，预读取的时机随着价值窗口的滑动情况而定，预读取扇区大小也随价值窗口的变化而改变。本发明通过自适应改变预读取扇区的时机和预读取扇区的大小，能够对文件系统缓存的自适应预读取进行管理，可以有效的提高磁盘读取数据的效率。
Description
技术领域
本发明涉及磁盘读写操作方法，具体的说就是一种文件系统缓存预读取方法。
背景技术
在磁盘读写操作过程中，磁盘驱动器存取速度通常要比内存存取慢很多。当用户进行数据操作时，直接对磁盘进行读写的方式很容易由于速度慢而阻塞应用程序，同时效率也很低。文件系统缓存就是为了解决这种情况而设计的。缓存通常由高速存储介质组成，读写速度很快，时延较低。
预读操作即提前预测并读取后续读请求的内容，使得后续读请求能够命中缓存，而不用再次磁盘发起I/O操作。文件系统缓存预读可以减少磁盘I/O的次数，增加单次I/O的数据量，隐藏了后续读请求的读时延，提升了系统的读性能。预读技术的关键在于测准确率，因此，必须对请求进行分析和判断，通过分析缓存中的数据，发现其中的规律，然后利用其中的规律信息采取合适的预读取策略。
发明内容
针对现有技术发展状况，本发明提出了一种在文件读写过程中，对文件系统缓存的预读取方法。
本发明所述一种文件系统缓存预读取方法，解决上述技术问题采用的技术方案如下：该文件系统缓存预读取方法,在用户程序进行磁盘数据读写时，采用预读取策略提高读写效率，预读取的时机随着价值窗口的滑动情况而定，预读取扇区大小也随价值窗口的变化而改变；该方法通过自适应改变预读取扇区的时机和预读取扇区的大小，有效的提高磁盘读取数据的效率。
优选的，在进行磁盘数据读写时，进入读操作入口，若滑动价值窗口到命中的缓存扇区，并判断价值窗口是否滑出缓存窗口。
优选的，当预读取价值窗口滑动在缓存窗口之中时，不进行预读操作，并且重置窗口增长因子α。
优选的，当预读取价值窗口部分滑出缓存窗口时，进行预读取操作，增长因子α加1。
优选的，当预读取价值窗口部分滑出缓存窗口时，进行扇区预读操作，预读取扇区的大小为价值窗口大小乘以2的α次幂。
优选的，当预读取价值窗口完全滑出缓存窗口时，进行预读取操作，同时开启新的价值窗口和缓存窗口。
本发明的一种文件系统缓存预读取方法与现有技术相比具有的有益效果是：本发明在用户程序进行磁盘数据读写时，采用预读取策略提高读写效率，通过自适应改变预读取扇区的时机和预读取扇区的大小，能够对文件系统缓存的自适应预读取进行管理，可以有效的提高磁盘读取数据的效率。
附图说明
附图1为所述文件系统缓存预读取方法的流程图；
附图2为价值窗口在缓存窗口内的示意图；
附图3为价值窗口部分在缓存窗口内的示意图；
附图4为价值窗口滑出缓存窗口内的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参考附图，对本发明所述一种文件系统缓存预读取方法进一步详细说明。
本发明所述一种文件系统缓存预读取方法,在用户程序进行磁盘数据读写时，采用预读取策略提高读写效率，预读取的时机随着价值窗口的滑动情况而定，预读取扇区大小也随价值窗口的变化而改变。所述价值窗口即Value Window；Value Window Size表示预定义的连续扇区数据的长度，可以设为4K、8K和16K等小块大小，考虑到缓存总大小的限制，设置范围应在[4K,256K]。
实施例：
本实施例所述一种文件系统缓存预读取方法, 通过自适应改变预读取扇区的时机和预读取扇区的大小，可以有效的提高磁盘读取数据的效率。如附图1所示，在进行磁盘数据读写时，进入读操作入口，若滑动价值窗口到命中的缓存扇区，并判断价值窗口是否滑出缓存窗口。
当预读取价值窗口滑动在缓存窗口之中时，不进行预读操作，并且重置窗口增长因子α；当预读取价值窗口部分滑出缓存窗口时，进行预读取操作，增长因子α加1；当预读取价值窗口完全滑出缓存窗口时，进行预读取操作，同时开启新的价值窗口和缓存窗口。
当预读取价值窗口部分滑出缓存窗口时，应当进行扇区预读操作，预读取扇区的大小为价值窗口大小乘以2的α次幂。
本实施例所述文件系统缓存预读取方法中，所述缓存窗口即Cache Window，Cache Window Size表示已经缓存的连续扇区数据的长度，即缓存窗口大小，本发明称一段连续扇区的数据在一个缓存窗口Cache Window中。缓存池：即最大缓存空间；缓存池中包含多个缓存窗口，每个缓存窗口内的数据为一段读入缓存中的连续扇区的数据，虽然一个缓存窗口中的数据在扇区id上是连续的，但是并不要求其在缓存池中也连续存放。
使用本实施例所述文件系统缓存预读取方法，第一次读取磁盘数据时，缓存不命中，预读取数据大小为价值窗口大小，缓存窗口大小同样为价值窗口大小，即Cache Window Size = Value Window Size。
当读数据缓存命中时，滑动价值窗口到命中缓存数据的扇区id，然后判断价值窗口是否滑出了缓存窗口。如果价值窗口没有滑出缓存窗口，则不进行缓存预读取操作，并且重置窗口增长因子α如图2所示。当价值窗口部分滑出了缓存窗口，则开启缓存预读取操作。预读取数据大小为价值窗口大小乘以2的α次幂，并且增长因子α加1，如图3所示。当价值窗口完全滑出了缓存窗口，即读数据缓存不命中时，开启新的价值窗口和缓存窗口，如图4所示。
本发明所述文件系统缓存预读取方法，可以根据已读缓存数据的信息，通过价值窗口和缓存窗口的配合，自适应的决定下一次预读取缓存数据的大小，不仅能够通过读入缓存数据提高磁盘读写效率，而且可以避免读入太多无用缓存信息，使缓存效率达到最优。
上述具体实施方式仅是本发明的具体个案，本发明的专利保护范围包括但不限于上述具体实施方式，任何符合本发明的权利要求书的且任何所属技术领域的普通技术人员对其所做的适当变化或替换，皆应落入本发明的专利保护范围。
Claims (6)
1.一种文件系统缓存预读取方法，其特征在于，在用户程序进行磁盘数据读写时，采用预读取策略，预读取的时机随着价值窗口的滑动情况而定，预读取扇区大小也随价值窗口的变化而改变。
2.根据权利要求1所述一种文件系统缓存预读取方法，其特征在于，在进行磁盘数据读写时，进入读操作入口，若滑动价值窗口到命中的缓存扇区，并判断价值窗口是否滑出缓存窗口。
3.根据权利要求2所述一种文件系统缓存预读取方法，其特征在于，当预读取价值窗口滑动在缓存窗口之中时，不进行预读操作，并且重置窗口增长因子α。
4.根据权利要求2所述一种文件系统缓存预读取方法，其特征在于，当预读取价值窗口部分滑出缓存窗口时，进行预读取操作，增长因子α加1。
5.根据权利要求3所述一种文件系统缓存预读取方法，其特征在于，当预读取价值窗口部分滑出缓存窗口时，进行扇区预读操作，预读取扇区的大小为价值窗口大小乘以2的α次幂。
6.根据权利要求2所述一种文件系统缓存预读取方法，其特征在于，当预读取价值窗口完全滑出缓存窗口时，进行预读取操作，同时开启新的价值窗口和缓存窗口。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510135295.8A CN104715048B (zh) | 2015-03-26 | 2015-03-26 | 一种文件系统缓存预读取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510135295.8A CN104715048B (zh) | 2015-03-26 | 2015-03-26 | 一种文件系统缓存预读取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104715048A true CN104715048A (zh) | 2015-06-17 |
| CN104715048B CN104715048B (zh) | 2018-06-05 |
Family
ID=53414374
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510135295.8A Active CN104715048B (zh) | 2015-03-26 | 2015-03-26 | 一种文件系统缓存预读取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104715048B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105094701A (zh) * | 2015-07-20 | 2015-11-25 | 浪潮(北京)电子信息产业有限公司 | 一种自适应预读方法及装置 |
| CN106844740A (zh) * | 2017-02-14 | 2017-06-13 | 华南师范大学 | 基于内存对象缓存系统的数据预读方法 |
| CN111787062A (zh) * | 2020-05-28 | 2020-10-16 | 北京航空航天大学 | 面向广域网络文件系统的自适应快速增量预读方法 |
| WO2021036370A1 (zh) * | 2019-08-27 | 2021-03-04 | 华为技术有限公司 | 预读取文件页的方法、装置和终端设备 |
| CN114327299A (zh) * | 2022-03-01 | 2022-04-12 | 苏州浪潮智能科技有限公司 | 一种顺序读预读的方法、装置、设备及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101231637A (zh) * | 2007-01-22 | 2008-07-30 | 中兴通讯股份有限公司 | 一种基于文件系统缓存的自适应预读取方法 |
| US20120036310A1 (en) * | 2010-08-06 | 2012-02-09 | Renesas Electronics Corporation | Data processing device |
| CN104461943A (zh) * | 2014-12-29 | 2015-03-25 | 成都致云科技有限公司 | 数据读取方法、装置以及系统 |
-
2015
- 2015-03-26 CN CN201510135295.8A patent/CN104715048B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101231637A (zh) * | 2007-01-22 | 2008-07-30 | 中兴通讯股份有限公司 | 一种基于文件系统缓存的自适应预读取方法 |
| US20120036310A1 (en) * | 2010-08-06 | 2012-02-09 | Renesas Electronics Corporation | Data processing device |
| CN104461943A (zh) * | 2014-12-29 | 2015-03-25 | 成都致云科技有限公司 | 数据读取方法、装置以及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 王铃惠: "Squid小文件缓存优化的设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 田玉根: "基于web的缓存与预取一体化技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105094701A (zh) * | 2015-07-20 | 2015-11-25 | 浪潮(北京)电子信息产业有限公司 | 一种自适应预读方法及装置 |
| CN105094701B (zh) * | 2015-07-20 | 2018-02-27 | 浪潮(北京)电子信息产业有限公司 | 一种自适应预读方法及装置 |
| CN106844740A (zh) * | 2017-02-14 | 2017-06-13 | 华南师范大学 | 基于内存对象缓存系统的数据预读方法 |
| WO2021036370A1 (zh) * | 2019-08-27 | 2021-03-04 | 华为技术有限公司 | 预读取文件页的方法、装置和终端设备 |
| CN111787062A (zh) * | 2020-05-28 | 2020-10-16 | 北京航空航天大学 | 面向广域网络文件系统的自适应快速增量预读方法 |
| CN111787062B (zh) * | 2020-05-28 | 2021-11-26 | 北京航空航天大学 | 面向广域网络文件系统的自适应快速增量预读方法 |
| CN114327299A (zh) * | 2022-03-01 | 2022-04-12 | 苏州浪潮智能科技有限公司 | 一种顺序读预读的方法、装置、设备及介质 |
| CN114327299B (zh) * | 2022-03-01 | 2022-06-03 | 苏州浪潮智能科技有限公司 | 一种顺序读预读的方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104715048B (zh) | 2018-06-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104715048A (zh) | 一种文件系统缓存预读取方法 | |
| CN103257935B (zh) | 一种缓存管理方法及其应用 | |
| CN104794064B (zh) | 一种基于区域热度的缓存管理方法 | |
| CN105242871B (zh) | 一种数据写入方法及装置 | |
| WO2015169245A1 (zh) | 数据缓存方法、缓存和计算机系统 | |
| US8681443B2 (en) | Shingle-written magnetic recording (SMR) device with hybrid E-region | |
| CN102156753B (zh) | 面向固态硬盘文件系统的数据页缓存方法 | |
| CN106201916B (zh) | 一种面向ssd的非易失缓存方法 | |
| US8654472B2 (en) | Implementing enhanced fragmented stream handling in a shingled disk drive | |
| CN107391398B (zh) | 一种闪存缓存区的管理方法及系统 | |
| TW200604796A (en) | Mass storage accelerator | |
| EP1280063A3 (en) | Cache control methods and apparatus for hard disk drives | |
| CN106294197B (zh) | 一种面向nand闪存的页面置换方法 | |
| CN102521349A (zh) | 一种文件预读方法 | |
| CN102999428A (zh) | 一种瓦记录磁盘的四级编址方法 | |
| CN107832236B (zh) | 一种提高固态硬盘写性能的方法 | |
| KR101374065B1 (ko) | 칩 레벨 평행 플래시 메모리를 위한 정보 분별 방법 및 장치 | |
| CN106164841A (zh) | 用于数据存储装置的非易失性半导体存储器的寿命延长 | |
| US20090094391A1 (en) | Storage device including write buffer and method for controlling the same | |
| CN102012873B (zh) | Nand闪存的缓存系统及缓存方法 | |
| CN106527987A (zh) | 一种不带dram的ssd主控可靠性提升系统及方法 | |
| CN106557431B (zh) | 一种用于多路顺序流的预读方法及装置 | |
| CN107832007A (zh) | 一种提高ssd综合性能的方法 | |
| JP2015072566A (ja) | ヘッド移動時間を活用したストレージメディア中ファイルの断片化の解消 | |
| CN104834478B (zh) | 一种基于异构混合存储设备的数据写入及读取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20180807 Address after: 250100 S06 tower, 1036, Chao Lu Road, hi tech Zone, Ji'nan, Shandong. Patentee after: Shandong wave cloud Mdt InfoTech Ltd Address before: No. 1036, Shun Ya Road, Ji'nan high tech Zone, Shandong Province Patentee before: Inspur Group Co., Ltd. |
|
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 250100 No. 1036 Tidal Road, Jinan High-tech Zone, Shandong Province, S01 Building, Tidal Science Park Patentee after: Inspur cloud Information Technology Co., Ltd Address before: 250100 Ji'nan science and technology zone, Shandong high tide Road, No. 1036 wave of science and Technology Park, building S06 Patentee before: SHANDONG LANGCHAO YUNTOU INFORMATION TECHNOLOGY Co.,Ltd. |