CN113626381B - 一种基于分布式文件系统交织读预读的优化方法、装置 - Google Patents

一种基于分布式文件系统交织读预读的优化方法、装置 Download PDF

Info

Publication number
CN113626381B
CN113626381B CN202110738495.8A CN202110738495A CN113626381B CN 113626381 B CN113626381 B CN 113626381B CN 202110738495 A CN202110738495 A CN 202110738495A CN 113626381 B CN113626381 B CN 113626381B
Authority
CN
China
Prior art keywords
read
reading
ahead
length
interleaving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110738495.8A
Other languages
English (en)
Other versions
CN113626381A (zh
Inventor
王帅阳
李文鹏
李旭东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Jinan data Technology Co ltd
Original Assignee
Inspur Jinan data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Jinan data Technology Co ltd filed Critical Inspur Jinan data Technology Co ltd
Priority to CN202110738495.8A priority Critical patent/CN113626381B/zh
Publication of CN113626381A publication Critical patent/CN113626381A/zh
Application granted granted Critical
Publication of CN113626381B publication Critical patent/CN113626381B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于分布式文件系统交织读预读的优化方法、装置，所述方法包括如下步骤：步骤1：接收读请求；步骤2：根据接收到的读请求判断是否是随机读，若是，执行步骤3，否则，执行步骤4；步骤3：根据整对象及对象中的数据块的预读标记进行预读信息恢复；步骤4：发起预读；步骤5：读结束。交织读的识别方法，设计数据块与对象的预读标记，实现预读信息的快速恢复，同时设计完整的交织读预读逻辑，模块嵌入性能较好，完美实现交织读模式下的识别与预读。增加交织读模式下的读性能。提升产品多业务模式性能稳定性，增加友好的用户体验。模块嵌入性好，便于开发与维护。

Description

一种基于分布式文件系统交织读预读的优化方法、装置
技术领域
本发明涉及分布式文件系统读业务技术领域，具体涉及一种基于分布式文件系统交织读预读的优化方法、装置。
背景技术
计算机通过文件系统管理、存储数据，而信息爆炸时代中人们可以获取的数据成指数倍的增长，单纯通过增加硬盘个数来扩展计算机文件系统的存储容量的方式，在容量大小、容量增长速度、数据备份、数据安全等方面的表现都差强人意。分布式文件系统的设计基于客户机/服务器模式。分布式文件系统可以有效解决数据的存储和管理难题:将固定于某个地点的某个文件系统，扩展到任意多个地点/多个文件系统，众多的节点组成一个文件系统网络。分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。
对于分布式文件系统(对象存储)，对于文件的读业务模型有常见的交织读模式，例如多线程交替的从文件的不同位置顺序读，由于在分布式文件系统缓存层，多线程共享文件句柄，对分布式文件系统而言，整个IO的顺序性不断遭受中断，顺序读预读效果差，整体读性能不理想。
发明内容
针对多线程交替的从文件的不同位置顺序读，由于在分布式文件系统缓存层，多线程共享文件句柄，对分布式文件系统而言，整个IO的顺序性不断遭受中断，顺序读预读效果差，整体读性能不理想的问题，本发明提供一种基于分布式文件系统交织读预读的优化方法、装置。
本发明的技术方案是：
第一方面，本发明技术方案提供一种基于分布式文件系统交织读预读的优化方法，包括如下步骤：
步骤1：接收读请求；
步骤2：根据接收到的读请求判断是否是随机读，若是，执行步骤3，否则，执行步骤4；
步骤3：根据整对象及对象中的数据块的预读标记进行预读信息恢复；
步骤4：发起预读；
步骤5：读结束。
进一步的，步骤3中根据整对象及对象中的数据块的预读标记进行预读信息恢复的步骤具体包括：
步骤31：根据整对象的预读标记记录预读长度；
步骤32：若整对象中没有预读标记，根据对象中的数据块的预读标记记录预读长度；
步骤33：根据步骤31和步骤32中记录的预读长度统计预读总长度；
步骤34：根据统计的预读总长度判断是否是交织读，若是，执行步骤35；否则，执行步骤36；
步骤35：恢复预读信息；
步骤36：交织读恢复流程结束。
进一步的，步骤31中根据整对象的预读标记记录预读长度的步骤具体包括：
步骤311：遍历对象检查整对象是否具有预读标记；若是，执行步骤312，否则执行步骤32；
步骤312：记录预读长度并检查下一对象；
步骤313：对象是否遍历完成，若是，执行步骤33，否则，继续执行步骤311。
进一步的，步骤32中，根据对象中的数据块的预读标记记录预读长度的步骤包括：
步骤321a：根据对象数据块的偏移，依次检查对象中的数据块，是否具有预读标记，若是，执行步骤322a，否则，执行步骤33；
步骤322a：记录预读长度，并检查对象中下一数据块；执行步骤313。
进一步的，步骤34中根据统计的预读总长度判断是否是交织读的步骤包括：
判断预读总长度是否为0，若是，判断为非交织读，执行步骤36，否则，执行步骤35。
进一步的，步骤32中，根据对象中的数据块的预读标记记录预读长度的步骤中，对象中的数据块是指对象中offset后连续数据块，具体步骤包括：
步骤321b：检查对象中数据块上是否具有预读标记，若是，执行步骤322b，否则，执行步骤312；
步骤322b：记录预读长度，并检查对象中下一数据块；
步骤323b：对象中的数据块是否遍历完成，若是，执行步骤312，否则，执行步骤321b。
进一步的，步骤35中恢复预读信息的步骤具体包括：
恢复预读位置；其中，设置下次预读位置为本次业务读结束位置+统计的预读长度；预读触发位置为本次读偏移+1/2统计的预读长度位置。
发明交织读的识别方法，设计数据块与对象的预读标记，实现预读信息的快速恢复，同时设计完整的交织读预读逻辑，模块嵌入性能较好，完美实现交织读模式下的识别与预读。
第二方面，本发明技术方案还提供一种基于分布式文件系统交织读预读的优化装置，包括接收模块、读类型判断模块、恢复模块、执行模块；
接收模块，用于接收读请求；
读类型判断模块，用于根据接收到的读请求判断是否是随机读；
恢复模块，用于当读类型判断模块输出是随机读时，根据整对象及对象中的数据块的预读标记进行预读信息恢复；
执行模块，用于当读类型判断模块输出不是随机读或者预读信息恢复完成时，发起预读。
进一步的，恢复模块包括记录单元、统计单元、长度判断单元和恢复单元；
记录单元，用于根据整对象的预读标记记录预读长度；还用于若整对象中没有预读标记，根据对象中的数据块的预读标记记录预读长度；
统计单元，用于根据记录单元记录的预读长度统计预读总长度；
长度判断单元，用于根据统计的预读总长度判断是否是交织读；
恢复单元，用于当长度判断单元判断是交织读时，恢复预读信息。
进一步的，恢复模块还包括检查单元、过程判断单元；
检查单元，用于遍历对象检查整对象是否具有预读标记；
记录单元，还用于检查单元输出整对象具有预读标记时，记录预读长度；
过程判断单元，还用于判断对象是否遍历完成，若为遍历完成，输出信息到检查单元继续遍历对象检查整对象是否具有预读标记，若遍历完成，输出信息到统计单元根据记录单元记录的预读长度统计预读总长度。
进一步的，长度判断单元，具体用于判断预读总长度是否为0，若是0，判断为非交织读，交织读恢复流程结束，若判断不是0，输出信息到恢复单元恢复预读信息。
进一步的，记录单元根据对象中的数据块的预读标记记录预读长度时，对象中的数据块是指对象中offset后连续数据块；
检查单元，还具体用于检查对象中数据块上是否具有预读标记；
过程判断单元，还用于判断对象中的数据块是否遍历完成。
进一步的，恢复单元，具体用于恢复预读位置；其中，设置下次预读位置为本次业务读结束位置+统计的预读长度；预读触发位置为本次读偏移+1/2统计的预读长度位置。
从以上技术方案可以看出，本发明具有以下优点：交织读的识别方法，设计数据块与对象的预读标记，实现预读信息的快速恢复，同时设计完整的交织读预读逻辑，模块嵌入性能较好，完美实现交织读模式下的识别与预读。增加交织读模式下的读性能。提升产品多业务模式性能稳定性，增加友好的用户体验。模块嵌入性好，便于开发与维护。
此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。
由此可见，本发明与现有技术相比，具有突出的实质性特点和显著地进步，其实施的有益效果也是显而易见的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的方法的示意性流程图。
图2是本发明另一个实施例的方法的示意性流程图。
图3是本发明另一个实施例的装置的示意性框图。
其中，11-接收模块，12-读类型判断模块，13-恢复模块，14-执行模块。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
如图1所示，本发明实施例提供一种基于分布式文件系统交织读预读的优化方法，包括如下步骤：
步骤1：接收读请求；
步骤2：根据接收到的读请求判断是否是随机读，若是，执行步骤3，否则，执行步骤4；
步骤3：根据整对象及对象中的数据块的预读标记进行预读信息恢复；
步骤4：发起预读；
步骤5：读结束。
设计数据块与对象的预读标记，实现预读信息的快速恢复。
本发明实施例还提供一种基于分布式文件系统交织读预读的优化方法，包括如下步骤：
步骤1：接收读请求；
步骤2：根据接收到的读请求判断是否是随机读，若是，执行步骤3，否则，执行步骤4；
步骤3：根据整对象及对象中的数据块的预读标记进行预读信息恢复；步骤3中根据整对象及对象中的数据块的预读标记进行预读信息恢复的步骤具体包括：步骤31：根据整对象的预读标记记录预读长度；步骤32：若整对象中没有预读标记，根据对象中的数据块的预读标记记录预读长度；步骤33：根据步骤31和步骤32中记录的预读长度统计预读总长度；步骤34：根据统计的预读总长度判断是否是交织读，若是，执行步骤35；否则，执行步骤36；步骤35：恢复预读信息；步骤36：交织读恢复流程结束。
步骤4：发起预读；
步骤5：读结束。
发明交织读的识别方法，设计数据块与对象的预读标记，实现预读信息的快速恢复，同时设计完整的交织读预读逻辑，模块嵌入性能较好，完美实现交织读模式下的识别与预读。
如图2所示，本发明实施例还提供一种基于分布式文件系统交织读预读的优化方法，包括如下步骤：
步骤1：接收读请求；
步骤2：根据接收到的读请求判断是否是随机读，若是，执行步骤3，否则，执行步骤4；
步骤3：根据整对象及对象中的数据块的预读标记进行预读信息恢复；
需要说明的是，步骤3中根据整对象及对象中的数据块的预读标记进行预读信息恢复的步骤具体包括：
步骤31：根据整对象的预读标记记录预读长度；步骤31中根据整对象的预读标记记录预读长度的步骤具体包括：
步骤311：遍历对象检查整对象是否具有预读标记；若是，执行步骤312，否则执行步骤32；
步骤312：记录预读长度并检查下一对象；
步骤313：对象是否遍历完成，若是，执行步骤33，否则，继续执行步骤311。
步骤32：若整对象中没有预读标记，根据对象中的数据块的预读标记记录预读长度；步骤32中，根据对象中的数据块的预读标记记录预读长度的步骤中，对象中的数据块是指对象中offset后连续数据块，具体步骤包括：
步骤321b：检查对象中数据块上是否具有预读标记，若是，执行步骤322b，否则，执行步骤312；
步骤322b：记录预读长度，并检查对象中下一数据块；
步骤323b：对象中的数据块是否遍历完成，若是，执行步骤312，否则，执行步骤321b；
步骤33：根据步骤31和步骤32中记录的预读长度统计预读总长度；
步骤34：根据统计的预读总长度判断是否是交织读，若是，执行步骤35；否则，执行步骤36；需要说明的是，步骤34中根据统计的预读总长度判断是否是交织读的步骤包括：判断预读总长度是否为0，若是，判断为非交织读，执行步骤36，否则，执行步骤35；
步骤35：恢复预读信息；然后执行步骤4；需要说明的是，步骤35中恢复预读信息的步骤具体包括：恢复预读位置；其中，设置下次预读位置为本次业务读结束位置+统计的预读长度；预读触发位置为本次读偏移+1/2统计的预读长度位置。
步骤36：交织读恢复流程结束；
步骤4：发起预读；
步骤5：读结束。
发明交织读的识别方法，设计数据块与对象的预读标记，实现预读信息的快速恢复，同时设计完整的交织读预读逻辑，模块嵌入性能较好，完美实现交织读模式下的识别与预读。
具体的，本发明提供一种基于分布式文件系统交织读预读的优化方法，具体流程如下：
S1.接收到读请求。
S2.判断是否是随机读，如果是进行步骤S3.否则进行步骤S5；
S3.进行预读信息恢复；
S4.如果是交织读，进行步骤S5，否则结束预读流程。
S5.根据预读信息发起预读。
S6.读结束。
在S3中，预读信息恢复过程如下；
S31.整对象是否具有预读标记，如果有，统计预读长度并检查下一对象，并做步骤S31的循环判断统计，否则进行步骤S32；如果对象遍历完进行步骤S34；
S32.根据对象数据块的偏移(首次是0或和读结束位置之后的数据块)，依次检查对象中的数据块，是否具有预读标记，如果有，统计预读长度，并检查对象中下一数据块。否则进行步骤S34；
S33.判读对象是否遍历完，如果遍历完，进行步骤；否则进行下一对象的检查，如果对象遍历完，进行步骤S34，否则进行步骤S31；
S34.恢复预读信息，如果统计的预读长度等0是非交织读，结束交织读信息恢复过程。否则进行预读信息恢复，下次预读位置为本次业务读结束位置+统计的预读长度。上次预读长度为MIN(1/2统计的预读长度,文件的预读最大长度)。预读触发位置为本次读偏移+1/2统计的预读长度位置；
S35.结束交织读恢复流程。
分布式文件系统(对象存储)存储服务器中，发明交织读的识别方法，设计数据块与对象的预读标记，实现预读信息的快速恢复，同时设计完整的交织读预读逻辑，模块嵌入性能较好，完美实现交织读模式下的识别与预读。
如图3所示，本发明另一个实施例还提供一种基于分布式文件系统交织读预读的优化装置，包括接收模块11、读类型判断模块12、恢复模块13、执行模块14；
接收模块11，用于接收读请求；
读类型判断模块12，用于根据接收到的读请求判断是否是随机读；
恢复模块13，用于当读类型判断模块输出是随机读时，根据整对象及对象中的数据块的预读标记进行预读信息恢复；
执行模块14，用于当读类型判断模块输出不是随机读或者预读信息恢复完成时，发起预读。
本发明另一个实施例还提供一种基于分布式文件系统交织读预读的优化装置，包括接收模块11、读类型判断模块12、恢复模块13、执行模块14；
接收模块11，用于接收读请求；
读类型判断模块12，用于根据接收到的读请求判断是否是随机读；
恢复模块13，用于当读类型判断模块输出是随机读时，根据整对象及对象中的数据块的预读标记进行预读信息恢复；
执行模块14，用于当读类型判断模块输出不是随机读或者预读信息恢复完成时，发起预读。
其中，恢复模块13包括记录单元、统计单元、长度判断单元、检查单元、过程判断单元、恢复单元；
记录单元，用于根据整对象的预读标记记录预读长度；还用于若整对象中没有预读标记，根据对象中的数据块的预读标记记录预读长度；
统计单元，用于根据记录单元记录的预读长度统计预读总长度；
长度判断单元，用于根据统计的预读总长度判断是否是交织读；
恢复单元，用于当长度判断单元判断是交织读时，恢复预读信息。
检查单元，用于遍历对象检查整对象是否具有预读标记；
记录单元，还用于检查单元输出整对象具有预读标记时，记录预读长度；
过程判断单元，还用于判断对象是否遍历完成，若为遍历完成，输出信息到检查单元继续遍历对象检查整对象是否具有预读标记，若遍历完成，输出信息到统计单元根据记录单元记录的预读长度统计预读总长度。
执行模块14，用于当读类型判断模块输出不是随机读或者预读信息恢复完成时，发起预读。
本发明另一个实施例还提供一种基于分布式文件系统交织读预读的优化装置，包括接收模块11、读类型判断模块12、恢复模块13、执行模块14；
接收模块11，用于接收读请求；
读类型判断模块12，用于根据接收到的读请求判断是否是随机读；
恢复模块13，用于当读类型判断模块输出是随机读时，根据整对象及对象中的数据块的预读标记进行预读信息恢复；
其中，恢复模块包括记录单元、统计单元、长度判断单元、检查单元、过程判断单元、恢复单元；
记录单元，用于根据整对象的预读标记记录预读长度；还用于若整对象中没有预读标记，根据对象中的数据块的预读标记记录预读长度；
统计单元，用于根据记录单元记录的预读长度统计预读总长度；
长度判断单元，用于根据统计的预读总长度判断是否是交织读；具体用于判断预读总长度是否为0，若是0，判断为非交织读，交织读恢复流程结束，若判断不是0，输出信息到恢复单元恢复预读信息。
恢复单元，用于当长度判断单元判断是交织读时，恢复预读信息。
检查单元，用于遍历对象检查整对象是否具有预读标记；还具体用于检查对象中数据块上是否具有预读标记；
记录单元，还用于检查单元输出整对象具有预读标记时，记录预读长度；记录单元根据对象中的数据块的预读标记记录预读长度时，对象中的数据块是指对象中offset后连续数据块；
过程判断单元，还用于判断对象是否遍历完成，若为遍历完成，输出信息到检查单元继续遍历对象检查整对象是否具有预读标记，若遍历完成，输出信息到统计单元根据记录单元记录的预读长度统计预读总长度。还用于判断对象中的数据块是否遍历完成；
执行模块14，用于当读类型判断模块输出不是随机读或者预读信息恢复完成时，发起预读。
恢复单元，具体用于恢复预读位置；其中，设置下次预读位置为本次业务读结束位置+统计的预读长度；预读触发位置为本次读偏移+1/2统计的预读长度位置。
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (6)

1.一种基于分布式文件系统交织读预读的优化方法，其特征在于，包括如下步骤：
步骤1：接收读请求；
步骤2：根据接收到的读请求判断是否是随机读，若是，执行步骤3，否则，执行步骤4；
步骤3：根据整对象及对象中的数据块的预读标记进行预读信息恢复；
步骤4：发起预读；
步骤5：读结束；
步骤3中根据整对象及对象中的数据块的预读标记进行预读信息恢复的步骤具体包括：
步骤31：根据整对象的预读标记记录预读长度；
步骤32：若整对象中没有预读标记，根据对象中的数据块的预读标记记录预读长度；
步骤33：根据步骤31和步骤32中记录的预读长度统计预读总长度；
步骤34：根据统计的预读总长度判断是否是交织读，若是，执行步骤35；否则，执行步骤36；
步骤35：恢复预读信息；
步骤36：交织读恢复流程结束；
步骤31中根据整对象的预读标记记录预读长度的步骤具体包括：
步骤311：遍历对象检查整对象是否具有预读标记；若是，执行步骤312，否则执行步骤32；
步骤312：记录预读长度并检查下一对象；
步骤313：对象是否遍历完成，若是，执行步骤33，否则，继续执行步骤311。
2.根据权利要求1所述的基于分布式文件系统交织读预读的优化方法，其特征在于，步骤32中，根据对象中的数据块的预读标记记录预读长度的步骤包括：
步骤321a：根据对象数据块的偏移，依次检查对象中的数据块，是否具有预读标记，若是，执行步骤322a，否则，执行步骤33；
步骤322a：记录预读长度，并检查对象中下一数据块；执行步骤313。
3.根据权利要求2所述的基于分布式文件系统交织读预读的优化方法，其特征在于，步骤34中根据统计的预读总长度判断是否是交织读的步骤包括：
判断预读总长度是否为0，若是，判断为非交织读，执行步骤36，否则，执行步骤35。
4.根据权利要求3所述的基于分布式文件系统交织读预读的优化方法，其特征在于，步骤32中，根据对象中的数据块的预读标记记录预读长度的步骤中，对象中的数据块是指对象中offset后连续数据块，具体步骤包括：
步骤321b：检查对象中数据块上是否具有预读标记，若是，执行步骤322b，否则，执行步骤312；
步骤322b：记录预读长度，并检查对象中下一数据块；
步骤323b：对象中的数据块是否遍历完成，若是，执行步骤312，否则，执行步骤321b。
5.根据权利要求2所述的基于分布式文件系统交织读预读的优化方法，其特征在于，步骤35中恢复预读信息的步骤具体包括：
恢复预读位置；其中，设置下次预读位置为本次业务读结束位置+统计的预读长度；预读触发位置为本次读偏移+1/2统计的预读长度位置。
6.一种基于分布式文件系统交织读预读的优化装置，其特征在于，包括接收模块、读类型判断模块、恢复模块、执行模块；
接收模块，用于接收读请求；
读类型判断模块，用于根据接收到的读请求判断是否是随机读；
恢复模块，用于当读类型判断模块输出是随机读时，根据整对象及对象中的数据块的预读标记进行预读信息恢复；
执行模块，用于当读类型判断模块输出不是随机读或者预读信息恢复完成时，发起预读；
恢复模块包括记录单元、统计单元、长度判断单元和恢复单元；
记录单元，用于根据整对象的预读标记记录预读长度；还用于若整对象中没有预读标记，根据对象中的数据块的预读标记记录预读长度；
统计单元，用于根据记录单元记录的预读长度统计预读总长度；
长度判断单元，用于根据统计的预读总长度判断是否是交织读；
恢复单元，用于当长度判断单元判断是交织读时，恢复预读信息；
恢复模块还包括检查单元、过程判断单元；
检查单元，用于遍历对象检查整对象是否具有预读标记；
记录单元，还用于检查单元输出整对象具有预读标记时，记录预读长度；
过程判断单元，还用于判断对象是否遍历完成，若为遍历完成，输出信息到检查单元继续遍历对象检查整对象是否具有预读标记，若遍历完成，输出信息到统计单元根据记录单元记录的预读长度统计预读总长度。
CN202110738495.8A 2021-06-30 2021-06-30 一种基于分布式文件系统交织读预读的优化方法、装置 Active CN113626381B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110738495.8A CN113626381B (zh) 2021-06-30 2021-06-30 一种基于分布式文件系统交织读预读的优化方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110738495.8A CN113626381B (zh) 2021-06-30 2021-06-30 一种基于分布式文件系统交织读预读的优化方法、装置

Publications (2)

Publication Number Publication Date
CN113626381A CN113626381A (zh) 2021-11-09
CN113626381B true CN113626381B (zh) 2023-12-22

Family

ID=78378799

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110738495.8A Active CN113626381B (zh) 2021-06-30 2021-06-30 一种基于分布式文件系统交织读预读的优化方法、装置

Country Status (1)

Country Link
CN (1) CN113626381B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114327284B (zh) * 2021-12-30 2023-02-03 河北建筑工程学院 一种数据处理的方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7809883B1 (en) * 2007-10-16 2010-10-05 Netapp, Inc. Cached reads for a storage system
CN106503051A (zh) * 2016-09-23 2017-03-15 暨南大学 一种基于元数据分类的贪婪预取型数据恢复系统及恢复方法
CN111625503A (zh) * 2020-05-29 2020-09-04 苏州浪潮智能科技有限公司 一种分布式文件系统文件局部随机预读的方法和设备
CN111723057A (zh) * 2020-05-28 2020-09-29 广东浪潮大数据研究有限公司 一种文件预读方法、装置、设备及存储介质
CN112162956A (zh) * 2020-09-11 2021-01-01 北京浪潮数据技术有限公司 一种跳读预读方法、装置、设备及存储介质
CN112540935A (zh) * 2019-09-20 2021-03-23 三星电子株式会社 调整预取操作的方法和用于管理预取操作的系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3931100B2 (ja) * 2002-03-12 2007-06-13 株式会社日立コミュニケーションテクノロジー ターボ復号器並びにターボ符号器及びターボ符号器、復号器を含む無線基地局
US9672102B2 (en) * 2014-06-25 2017-06-06 Intel Corporation NAND memory devices systems, and methods using pre-read error recovery protocols of upper and lower pages

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7809883B1 (en) * 2007-10-16 2010-10-05 Netapp, Inc. Cached reads for a storage system
CN106503051A (zh) * 2016-09-23 2017-03-15 暨南大学 一种基于元数据分类的贪婪预取型数据恢复系统及恢复方法
CN112540935A (zh) * 2019-09-20 2021-03-23 三星电子株式会社 调整预取操作的方法和用于管理预取操作的系统
CN111723057A (zh) * 2020-05-28 2020-09-29 广东浪潮大数据研究有限公司 一种文件预读方法、装置、设备及存储介质
CN111625503A (zh) * 2020-05-29 2020-09-04 苏州浪潮智能科技有限公司 一种分布式文件系统文件局部随机预读的方法和设备
CN112162956A (zh) * 2020-09-11 2021-01-01 北京浪潮数据技术有限公司 一种跳读预读方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种支持并发访问流的文件预取算法;吴峰光;奚宏生;徐陈锋;;软件学报(第08期);全文 *
去重环境下基于元数据分类的贪婪预取型数据恢复;杨儒;邓玉辉;魏文国;;小型微型计算机系统(第05期);全文 *

Also Published As

Publication number Publication date
CN113626381A (zh) 2021-11-09

Similar Documents

Publication Publication Date Title
US10649838B2 (en) Automatic correlation of dynamic system events within computing devices
WO2021115021A1 (zh) 数据处理方法、装置、终端设备及计算机可读存储介质
CN101488104B (zh) 一种实现高效安全存储的系统和方法
CN106980699B (zh) 一种数据处理平台和系统
CN103955530B (zh) 一种在线重复数据删除系统的数据重建优化方法
CN113626381B (zh) 一种基于分布式文件系统交织读预读的优化方法、装置
CN103916483A (zh) 一种针对编码冗余存储系统的自适应数据存储与重构方法
CN109460994A (zh) 一种交易流水数据检测方法、装置、设备及可读存储介质
CN109656929B (zh) 一种雕复关系型数据库文件的方法及装置
KR101667756B1 (ko) 아카이브 파일 중복 제거 장치 및 방법
CN113885789A (zh) 元数据修复后校验数据一致性的方法、系统、设备及介质
CN112181790B (zh) 一种存储设备的容量统计方法、系统及相关组件
CN114706871B (zh) 一种基于综合监控管理的数据监控方法及系统
CN105138278B (zh) 一种智能变电站网络报文的裸盘存储方法
CN112235254A (zh) 一种高速主干网中Tor网桥的快速识别方法
CN106998436B (zh) 录像备份方法及装置
CN112799872B (zh) 一种基于键值对存储系统的纠删码编码方法及装置
CN111736778B (zh) 数据更新方法、装置、系统和电子设备
CN112487065A (zh) 一种数据检索方法和装置
CN117056133B (zh) 一种基于分布式物联网架构的数据备份方法、装置及介质
CN112532700A (zh) 一种传输数据的方法及相关设备
CN118138483B (zh) 数据流处理方法、装置、计算机设备及可读存储介质
CN116466883B (zh) 一种分布式多源信息采集存储系统及其储存方法
CN109960683B (zh) 基于大数据库的信息数据存储整合系统
CN117176550B (zh) 基于故障辨识的集成运行维护方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant