CN110737388A - 数据预读方法、客户端、服务器以及文件系统 - Google Patents

数据预读方法、客户端、服务器以及文件系统 Download PDF

Info

Publication number
CN110737388A
CN110737388A CN201810789197.XA CN201810789197A CN110737388A CN 110737388 A CN110737388 A CN 110737388A CN 201810789197 A CN201810789197 A CN 201810789197A CN 110737388 A CN110737388 A CN 110737388A
Authority
CN
China
Prior art keywords
reading
pages
read
file access
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810789197.XA
Other languages
English (en)
Inventor
江俊杰
郭斌
韩银俊
丁毅
范建明
林健
胡剑华
杨洪章
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201810789197.XA priority Critical patent/CN110737388A/zh
Publication of CN110737388A publication Critical patent/CN110737388A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects
    • G06F3/0667—Virtualisation aspects at data level, e.g. file, record or object virtualisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种数据预读方法、文件访问客户端、文件访问服务器以及分布式文件系统，该方法包括：接收应用程序发送的文件读取请求，并根据待读取文件的大小计算预读取页的数量值N；向文件访问服务器发送N个预读取页的读请求。本发明通过一次读页请求读取到多个页的数据；减少分布式存储系统的信令交互次数和磁盘IO次数，降低磁盘压力和链路通信压力，提高分布式存储系统的性能。

Description

数据预读方法、客户端、服务器以及文件系统
技术领域
本发明实施例涉及分布式存储技术领域，尤其涉及一种数据预读方法、文件访问客户端、文件访问服务器以及分布式文件系统。
背景技术
在分布式存储系统中，以尽量少的磁盘IO(Input/Output，输入/输出)次数和通信信令交互次数，从磁盘中读取尽量多的数据是提升分布式存储系统性能的一个重要方向。以DFS(Distributed File System，分布式文件系统)为例，DFS分为FAC(File AccessClient，文件访问客户端)、FAS(File Access Server，文件访问服务器)和FLR(FileLocation Register，文件定位寄存器)三个大的功能模块。DFS中，FAC以页(PAGE)的方式缓存用户提交的将要写入FAS的数据，数据内容在FAS被写入磁盘中，并且在FAS是以条带(CHUNK)的形式存储在磁盘上的，CHUNK的大小一般设置为64MB，并且一个CHUNK存储多个副本。APP(Application，应用程序)从DFS读取数据时，需要由FAS将对应CHUNK中的数据读取出来，并将读取的数据缓存在页缓存中，供APP拷贝读取。
在顺序读为主、大小文件混合的场景中，为了平衡大小文件的读写性能，FAC侧的页缓存大小(PAGE_SIZE)通常是取一个居中值，一般在64K～512K之间。当APP调用DFS的读接口读取一页时，首先查找将要读的页是否存在对应的缓存，如果存在则直接命中缓存，否则将该页读请求发往FAC，FAC将请求转发到FAS，FAS再向磁盘发起一次读CHUNK的IO请求，得到CHUNK上的数据后返回给APP；如果是多页读，其余页的读请求同理。
在上述的读请求模型下，不考虑缓存直接命中，如果是连续读N个页，意味着将有N次读页流程。从磁盘IO角度和通信信令角度来看，应该以尽量少的IO次数和通信交互次数读取尽量多的数据。但上述的连续读请求是分N次完成，这实际上增加了DFS的负载，特别是信令负载和磁盘负载，降低了DFS的读性能，具体主要表现在以下两个方面：
一方面，N次读页流程实际上将APP与DFS间的进程间通信信令、FAC与FAS间的通信信令交互次数放大为N次，信令交互带来的时延也会成倍增加，而大多DFS的实际部署主要以多节点(FAS)为主，FAC与大多数FAS将会是跨节点的网络通信，相比单节点的进程/线程间通信，这类跨节点间的网络通信不但会成倍的增加信令负载，信令时延也将成倍增大；
另一方面，N次读页流程直接导致将会发生N次读磁盘CHUNK操作，磁盘IO次数被放大同时也意味着每次读磁盘提交的块大小被缩小，这两方面都不利于发挥磁盘性能，特别是当使用的是HDD(Hard Disk Drive，硬盘驱动器)时，这种性能损耗更加明显。
发明内容
有鉴于此，本发明实施例的目的在于提供一种数据预读方法、文件访问客户端、文件访问服务器以及分布式文件系统，以解决在大小文件混合的顺序读场景下，通信信令和磁盘IO次数被放大的问题。
本发明实施例解决上述技术问题所采用的技术方案如下：
根据本发明实施例的一个方面，提供的一种数据预读方法，所述方法包括：
接收应用程序发送的文件读取请求，并根据待读取文件的大小计算预读取页的数量值N；
向文件访问服务器发送N个预读取页的读请求。
根据本发明实施例的另一个方面，提供的一种文件访问客户端，所述文件访问客户端包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据预读程序，所述数据预读程序被所述处理器执行时实现上述的数据预读方法的步骤。
根据本发明实施例的另一个方面，提供的一种数据预读方法，该方法用于文件访问服务器，所述方法包括：
接收文件访问客户端发送的N个预读取页的读请求；
获取所述N个预读取页的数据，并响应所述读请求。
根据本发明实施例的另一个方面，提供的一种文件访问服务器，所述文件访问服务器包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据预读程序，所述数据预读程序被所述处理器执行时实现上述的数据预读方法的步骤。
根据本发明实施例的另一个方面，提供的一种数据预读方法，所述方法包括：
文件访问客户端接收应用程序发送的文件读取请求，并根据待读取文件的大小计算预读取页的数量值N；向文件访问服务器发送N个预读取页的读请求；
所述文件访问服务器接收所述文件访问客户端发送的N个预读取页的读请求；获取所述N个预读取页的数据，并响应所述读请求。
根据本发明实施例的另一个方面，提供的一种分布式文件系统，所述分布式文件系统包括上述的文件访问客户端和上述的文件访问服务器。
本发明实施例的及数据预读方法、文件访问客户端、文件访问服务器以及分布式文件系统，通过一次读页请求读取到多个页的数据；减少分布式存储系统的信令交互次数和磁盘IO次数，降低磁盘压力和链路通信压力，提高分布式存储系统的性能。
附图说明
图1为本发明第一实施例的数据预读方法流程示意图；
图2为本发明第二实施例的文件访问客户端结构示意图；
图3为本发明第三实施例的数据预读方法流程示意图；
图4为本发明第四实施例的文件访问服务器结构示意图；
图5为本发明第五实施例的数据预读方法流程示意图；
图6为本发明第六实施例的分布式文件系统结构示意图；
图7为本发明实施例的分布式文件系统的数据预读时序结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
第一实施例
如图1所示，本发明第一实施例提供一种数据预读方法，该方法用于文件访问客户端，所述方法包括：
步骤S11：接收应用程序发送的文件读取请求，并根据待读取文件的大小计算预读取页的数量值N。
在本实施例中，FAC为应用程序提供文件读取操作的API(ApplicationProgramming Interface，应用程序编程接口)。应用程序调用FAC的API并传入参数，FAC的API能够区分应用程序传入的参数，判断出访问的是本地文件系统还是分布式文件系统。在应用程序调用之后，将阻塞调用进程直到FAS唤醒应用程序。
在本实施例中，假设文件的大小为File_Size，页的大小为Page_Size，则预读取页的数量值N＝File_Size/Page_Size。
步骤S12：向文件访问服务器发送N个预读取页的读请求。
作为示例地，假设通过步骤S11计算出的预读取页的数量值N＝8，即预读取页1-预读取页8。在读取预读取页1时，可以将含有预读取页2-预读取页8的预读取页1的读请求发送给文件访问服务器。
在一种实施方式中，所述向文件访问服务器发送N个预读取页的读请求之前还包括：
获取所述预读取页的页缓存。
在该实施方式中，FAC根据预读取页的的信息，获取预读取页的页缓存并向FAS发送N个预读取页的读请求。
FAS接收到读请求之后，解析读请求中的信息，包括但不限于CHUNK文件名、偏移量、读取大小、用来存放读取内容的页缓存地址信息、预读取页的数量值N等等，并尝试为N个预读取页获取对应的页缓存。
获取N个预读取页的页缓存成功之后，修改本次读CHUNK大小为N个页的页大小，修改存放读取内容的页缓存地址信息，然后读一次CHUNK。
读取CHUNK成功之后，这N个页缓存上就均含从CHUNK上读取的内容。此时，更新这N个页缓存的标记为updated(updated表示本页缓存上的内容已和CHUNK中对应位置的内容一致，可供命中)。
然后解锁预读取页的页缓存以唤醒正在阻塞并等待读取结果的APP，APP在被释放后，从第一个预读取页开始后的预读取页，DFS中都会有对应的且标记为updated的页缓存可供直接命中，后面的读页请求将不再需要发往FAC、FAS。
本发明实施例的数据预读方法，通过一次读页请求读取到多个页的数据；减少分布式存储系统的信令交互次数和磁盘IO次数，降低磁盘压力和链路通信压力，提高分布式存储系统的性能。
第二实施例
如图2所示，本发明第二实施例提供一种文件访问客户端，所述文件访问客户端包括：存储器21、处理器22及存储在所述存储器21上并可在所述处理器22上运行的数据预读程序，所述数据预读程序被所述处理器22执行时，用于实现以下所述的数据预读方法的步骤：
接收应用程序发送的文件读取请求，并根据待读取文件的大小计算预读取页的数量值N；
向文件访问服务器发送N个预读取页的读请求。
所述数据预读程序被所述处理器22执行时，还用于实现以下所述的数据预读方法的步骤：
获取所述预读取页的页缓存。
本发明实施例的文件访问客户端，通过一次读页请求读取到多个页的数据；减少分布式存储系统的信令交互次数和磁盘IO次数，降低磁盘压力和链路通信压力，提高分布式存储系统的性能。
第三实施例
如图3所示，本发明第三实施例提供一种数据预读方法，该方法用于文件访问服务器，所述方法包括：
步骤S31：接收文件访问客户端发送的N个预读取页的读请求。
在本实施例中，FAC为应用程序提供文件读取操作的API。应用程序调用FAC的API并传入参数，FAC的API能够区分应用程序传入的参数，判断出访问的是本地文件系统还是分布式文件系统。在应用程序调用之后，将阻塞调用进程直到FAS唤醒应用程序。
在本实施例中，假设文件的大小为File_Size，页的大小为Page_Size，则预读取页的数量值N＝File_Size/Page_Size。FAC根据预读取页的的信息，获取预读取页的页缓存并向FAS发送N个预读取页的读请求。
步骤S32：获取所述N个预读取页的数据，并响应所述读请求。
在一种实施方式中，所述获取所述N个预读取页的数据包括：
获取所述N个预读取页的页缓存；
从磁盘中加载所述N个预读取页的数据到所述N个预读取页的页缓存中。
在该实施方式中，所述响应所述读请求包括：
更新所述N个预读取页的页缓存的标记并释放所述应用程序。
具体地，FAS接收到读请求之后，解析读请求中的信息，包括但不限于CHUNK文件名、偏移量、读取大小、用来存放读取内容的页缓存地址信息、预读取页的数量值N等等，并尝试为N个预读取页获取对应的页缓存。
获取N个预读取页的页缓存成功之后，修改本次读CHUNK大小为N个页的页大小，修改存放读取内容的页缓存地址信息，然后读一次CHUNK。
读取CHUNK成功之后，这N个页缓存上就均含从CHUNK上读取的内容。此时，更新这N个页缓存的标记为updated(updated表示本页缓存上的内容已和CHUNK中对应位置的内容一致，可供命中)。
然后解锁预读取页的页缓存以唤醒正在阻塞并等待读取结果的APP，APP在被释放后，从第一个预读取页开始后的预读取页，DFS中都会有对应的且标记为updated的页缓存可供直接命中，后面的读页请求将不再需要发往FAC、FAS。
在该实施方式中，所述获取所述N个预读取页的页缓存包括：
当未获取到N个预读取页的页缓存，则重试获取所述预读取页的页缓存；
若重试次数超过预设次数，则停止获取所述页缓存，并将所述预读取页的数量值N修正为已获取到的预读取页的页缓存的数量值。
在该实施方式中，由于页缓存资源个数是有限的，DFS配置了获取页缓存的重试次数阈值。当为预读的N个预读取页分配页缓存，因页缓存资源不够而需要重试获取页缓存时，假若重试次数超过该重试次数阈值，不再继续获取页缓存，此时实际预读的页数为已获取到的预读取页的页缓存的个数。
在另一种实施方式中，所述接收文件访问客户端发送的N个预读取页的读请求包括：
判断所述预读取页的数量值N是否大于所述预读取页的数量阈值M；
若所述预读取页的数量值N大于所述预读取页的数量阈值M，则将所述预读取页的数量值N修正为所述预读取页的数量阈值M。
在该实施方式中，预读取页的数量阈值M可预先进行设置，若预读取页的数量值N大于预读取页的数量阈值M，则后续步骤中都将以阈值M进行计算。可以想象得到的，若所述预读取页的数量值N不大于预读取页的数量阈值M，则直接执行后续步骤。
本发明实施例的数据预读方法，通过一次读页请求读取到多个页的数据；减少分布式存储系统的信令交互次数和磁盘IO次数，降低磁盘压力和链路通信压力，提高分布式存储系统的性能。
第四实施例
如图4所示，本发明第四实施例提供一种文件访问服务器，所述文件访问服务器包括：存储器41、处理器42及存储在所述存储器41上并可在所述处理器42上运行的数据预读程序，所述数据预读程序被所述处理器42执行时，用于实现以下所述的数据预读方法的步骤：
接收文件访问客户端发送的N个预读取页的读请求；
获取所述N个预读取页的数据，并响应所述读请求。
所述数据预读程序被所述处理器42执行时，还用于实现以下所述的数据预读方法的步骤：
获取所述N个预读取页的页缓存；
从磁盘中加载所述N个预读取页的数据到所述N个预读取页的页缓存中。
所述数据预读程序被所述处理器42执行时，还用于实现以下所述的数据预读方法的步骤：
更新所述N个预读取页的页缓存的标记并释放所述应用程序。
所述数据预读程序被所述处理器42执行时，还用于实现以下所述的数据预读方法的步骤：
当未获取到N个预读取页的页缓存，则重试获取所述预读取页的页缓存；
若重试次数超过预设次数，则停止获取所述页缓存，并将所述预读取页的数量值N修正为已获取到的预读取页的页缓存的数量值。
所述数据预读程序被所述处理器42执行时，还用于实现以下所述的数据预读方法的步骤：
判断所述预读取页的数量值N是否大于所述预读取页的数量阈值M；
若所述预读取页的数量值N大于所述预读取页的数量阈值M，则将所述预读取页的数量值N修正为所述预读取页的数量阈值M。
本发明实施例的文件访问服务器，通过一次读页请求读取到多个页的数据；减少分布式存储系统的信令交互次数和磁盘IO次数，降低磁盘压力和链路通信压力，提高分布式存储系统的性能。
第五实施例
如图5所示，本发明第五实施例提供一种数据预读方法，所述方法包括：
步骤51、文件访问客户端接收应用程序发送的文件读取请求，并根据待读取文件的大小计算预读取页的数量值N；向文件访问服务器发送N个预读取页的读请求。
步骤52、所述文件访问服务器接收所述文件访问客户端发送的N个预读取页的读请求；获取所述N个预读取页的数据，并响应所述读请求。
本发明实施例的数据预读方法，通过一次读页请求读取到多个页的数据；减少分布式存储系统的信令交互次数和磁盘IO次数，降低磁盘压力和链路通信压力，提高分布式存储系统的性能。
第六实施例
如图6所示，本发明第六实施例提供一种分布式文件系统，所述分布式文件系统包括文件访问客户端61和文件访问服务器62。
文件访问客户端可参考第二实施例所述，文件访问服务器可参考第四实施例所述，在此不作赘述。
为了更好地阐述本实施例，以下结合图7对分布式文件系统的数据预读过程进行说明：
如图7所示，APP调用FAC的读接口，并传入参数。
FAC根据待读取文件的大小计算预读取页的数量值N，获取第一个预读取页的页缓存并发送包含预读取页的数量值N-1的预读取页的读页请求到FAS磁盘读写线程。
FAS磁盘读写线程获取该读页请求后，解析读页请求中的信息，为N个预读取页获取对应的页缓存，读取CHUNK上指定位置N个页的内容，即从磁盘中加载N个预读取页的数据到N个预读取页的页缓存。更新N个页缓存的标记并释放APP，即更新所述N个预读取页的页缓存的标记并释放所述应用程序。
APP在被释放后，从第一个预读取页开始后的预读取页，DFS中都会有对应的且标记为updated的页缓存可供直接命中，从页缓存中拷贝数据到用户缓存。
综上可以看出，N次APP与FAC间的进程间通信令交互次数将减少为1次，N次FAC与FAS的跨节点网络通信信令交互次数将减少为1次，N次磁盘IO次数也将减少为1次；APP同步读取的等待时间也将成倍减少，意味着DFS对APP的读响应时间缩短。
本发明实施例的分布式文件系统，通过一次读页请求读取到多个页的数据；减少分布式存储系统的信令交互次数和磁盘IO次数，降低磁盘压力和链路通信压力，提高分布式存储系统的性能。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
以上参照附图说明了本发明的优选实施例，并非因此局限本发明的权利范围。本领域技术人员不脱离本发明的范围和实质内所作的任何修改、等同替换和改进，均应在本发明的权利范围之内。

Claims (11)

1.一种数据预读方法，该方法用于文件访问客户端，所述方法包括：
接收应用程序发送的文件读取请求，并根据待读取文件的大小计算预读取页的数量值N；
向文件访问服务器发送N个预读取页的读请求。
2.根据权利要求1所述的方法，其特征在于，所述向文件访问服务器发送N个预读取页的读请求之前还包括：
获取所述预读取页的页缓存。
3.一种文件访问客户端，其特征在于，所述文件访问客户端包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据预读程序，所述数据预读程序被所述处理器执行时实现如权利要求1-2任一所述的数据预读方法的步骤。
4.一种数据预读方法，该方法用于文件访问服务器，所述方法包括：
接收文件访问客户端发送的N个预读取页的读请求；
获取所述N个预读取页的数据，并响应所述读请求。
5.根据权利要求4所述的方法，其特征在于，所述获取所述N个预读取页的数据包括：
获取所述N个预读取页的页缓存；
从磁盘中加载所述N个预读取页的数据到所述N个预读取页的页缓存中。
6.根据权利要求5所述的方法，其特征在于，所述响应所述读请求包括：
更新所述N个预读取页的页缓存的标记并释放所述应用程序。
7.根据权利要求5所述的方法，其特征在于，所述获取所述N个预读取页的页缓存包括：
当未获取到N个预读取页的页缓存，则重试获取所述预读取页的页缓存；
若重试次数超过预设次数，则停止获取所述页缓存，并将所述预读取页的数量值N修正为已获取到的预读取页的页缓存的数量值。
8.根据权利要求4所述的方法，其特征在于，所述接收文件访问客户端发送的N个预读取页的读请求包括：
判断所述预读取页的数量值N是否大于所述预读取页的数量阈值M；
若所述预读取页的数量值N大于所述预读取页的数量阈值M，则将所述预读取页的数量值N修正为所述预读取页的数量阈值M。
9.一种文件访问服务器，其特征在于，所述文件访问服务器包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据预读程序，所述数据预读程序被所述处理器执行时实现如权利要求4至8中任一项所述的数据预读方法的步骤。
10.一种数据预读方法，其特征在于，所述方法包括：
文件访问客户端接收应用程序发送的文件读取请求，并根据待读取文件的大小计算预读取页的数量值N；向文件访问服务器发送N个预读取页的读请求；
所述文件访问服务器接收所述文件访问客户端发送的N个预读取页的读请求；获取所述N个预读取页的数据，并响应所述读请求。
11.一种分布式文件系统，其特征在于，所述分布式文件系统包括权利要求3所述的文件访问客户端和权利要求9所述的文件访问服务器。
CN201810789197.XA 2018-07-18 2018-07-18 数据预读方法、客户端、服务器以及文件系统 Pending CN110737388A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810789197.XA CN110737388A (zh) 2018-07-18 2018-07-18 数据预读方法、客户端、服务器以及文件系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810789197.XA CN110737388A (zh) 2018-07-18 2018-07-18 数据预读方法、客户端、服务器以及文件系统

Publications (1)

Publication Number Publication Date
CN110737388A true CN110737388A (zh) 2020-01-31

Family

ID=69234342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810789197.XA Pending CN110737388A (zh) 2018-07-18 2018-07-18 数据预读方法、客户端、服务器以及文件系统

Country Status (1)

Country Link
CN (1) CN110737388A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111258967A (zh) * 2020-02-11 2020-06-09 西安奥卡云数据科技有限公司 文件系统中数据读取方法、装置及计算机可读存储介质
CN111708742A (zh) * 2020-05-24 2020-09-25 苏州浪潮智能科技有限公司 一种分布式文件系统的输入输出预读方法和装置
CN111787062A (zh) * 2020-05-28 2020-10-16 北京航空航天大学 面向广域网络文件系统的自适应快速增量预读方法
CN112799589A (zh) * 2021-01-14 2021-05-14 新华三大数据技术有限公司 一种数据读取方法及装置
CN113849125A (zh) * 2021-08-30 2021-12-28 北京东方网信科技股份有限公司 一种cdn服务器磁盘读取的方法、装置及系统
CN114327299A (zh) * 2022-03-01 2022-04-12 苏州浪潮智能科技有限公司 一种顺序读预读的方法、装置、设备及介质
CN114461588A (zh) * 2021-08-20 2022-05-10 荣耀终端有限公司 调节预读窗口的方法及电子设备
CN114489469A (zh) * 2021-07-20 2022-05-13 荣耀终端有限公司 一种数据读取方法、电子设备及存储介质
CN115858421A (zh) * 2023-03-01 2023-03-28 浪潮电子信息产业股份有限公司 一种缓存管理方法、装置、设备、可读存储介质及服务器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1191442A2 (en) * 2000-09-19 2002-03-27 Matsushita Electric Industrial Co., Ltd. Data storage array apparatus and operating method for storing error information without delay in data access
CN105573667A (zh) * 2015-12-10 2016-05-11 华为技术有限公司 一种数据读取方法和存储服务器
CN105653684A (zh) * 2015-12-29 2016-06-08 曙光云计算技术有限公司 分布式文件系统的预读方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1191442A2 (en) * 2000-09-19 2002-03-27 Matsushita Electric Industrial Co., Ltd. Data storage array apparatus and operating method for storing error information without delay in data access
CN105573667A (zh) * 2015-12-10 2016-05-11 华为技术有限公司 一种数据读取方法和存储服务器
CN105653684A (zh) * 2015-12-29 2016-06-08 曙光云计算技术有限公司 分布式文件系统的预读方法和装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111258967A (zh) * 2020-02-11 2020-06-09 西安奥卡云数据科技有限公司 文件系统中数据读取方法、装置及计算机可读存储介质
CN111708742B (zh) * 2020-05-24 2022-11-29 苏州浪潮智能科技有限公司 一种分布式文件系统的输入输出预读方法和装置
CN111708742A (zh) * 2020-05-24 2020-09-25 苏州浪潮智能科技有限公司 一种分布式文件系统的输入输出预读方法和装置
CN111787062A (zh) * 2020-05-28 2020-10-16 北京航空航天大学 面向广域网络文件系统的自适应快速增量预读方法
CN111787062B (zh) * 2020-05-28 2021-11-26 北京航空航天大学 面向广域网络文件系统的自适应快速增量预读方法
CN112799589A (zh) * 2021-01-14 2021-05-14 新华三大数据技术有限公司 一种数据读取方法及装置
CN114489469A (zh) * 2021-07-20 2022-05-13 荣耀终端有限公司 一种数据读取方法、电子设备及存储介质
CN114461588A (zh) * 2021-08-20 2022-05-10 荣耀终端有限公司 调节预读窗口的方法及电子设备
CN114461588B (zh) * 2021-08-20 2023-01-24 荣耀终端有限公司 调节预读窗口的方法及电子设备
CN113849125A (zh) * 2021-08-30 2021-12-28 北京东方网信科技股份有限公司 一种cdn服务器磁盘读取的方法、装置及系统
CN113849125B (zh) * 2021-08-30 2024-01-09 北京东方网信科技股份有限公司 一种cdn服务器磁盘读取的方法、装置及系统
CN114327299A (zh) * 2022-03-01 2022-04-12 苏州浪潮智能科技有限公司 一种顺序读预读的方法、装置、设备及介质
CN115858421A (zh) * 2023-03-01 2023-03-28 浪潮电子信息产业股份有限公司 一种缓存管理方法、装置、设备、可读存储介质及服务器

Similar Documents

Publication Publication Date Title
CN110737388A (zh) 数据预读方法、客户端、服务器以及文件系统
US10133679B2 (en) Read cache management method and apparatus based on solid state drive
US9882975B2 (en) Method and apparatus for buffering and obtaining resources, resource buffering system
CN109614377A (zh) 分布式文件系统的文件删除方法、装置、设备及存储介质
CN107562385B (zh) 分布式存储客户端读取数据的方法、装置和设备
US9519587B2 (en) Pre-reading file containers storing unread file segments and segments that do not belong to the file
US20130097402A1 (en) Data prefetching method for distributed hash table dht storage system, node, and system
US11397668B2 (en) Data read/write method and apparatus, and storage server
US20140258375A1 (en) System and method for large object cache management in a network
CN107430551B (zh) 数据缓存方法、存储控制装置、及存储设备
CN107197359B (zh) 视频文件缓存方法及装置
CN110008041B (zh) 一种消息处理方法及装置
CN103607312A (zh) 用于服务器系统的数据请求处理方法及系统
US20190220443A1 (en) Method, apparatus, and computer program product for indexing a file
CN109582649B (zh) 一种元数据存储方法、装置、设备及可读存储介质
WO2019041670A1 (zh) 一种降低功能页面请求次数的方法、存储介质、设备及系统
EP3384384A1 (en) Methods and devices for acquiring data using virtual machine and host machine
CN113687781A (zh) 一种热数据的上拉方法、装置、设备及介质
KR20210040864A (ko) 파일 디렉터리 순회 방법, 장치, 기기, 매체 및 컴퓨터 프로그램
WO2017032152A1 (zh) 将数据写入存储设备的方法及存储设备
WO2014153931A1 (zh) 文件存储方法、装置、访问客户端及元数据服务器系统
CN113031864B (zh) 一种数据处理方法、装置、电子设备及存储介质
CN107181773A (zh) 分布式存储系统的数据存储及数据管理方法、设备
JPH07239808A (ja) 分散データ管理方式
CN109977074B (zh) 一种基于hdfs的lob数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200131

WD01 Invention patent application deemed withdrawn after publication