CN114138687A - 一种数据预取方法、装置、电子设备及存储介质 - Google Patents

一种数据预取方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114138687A
CN114138687A CN202111473813.9A CN202111473813A CN114138687A CN 114138687 A CN114138687 A CN 114138687A CN 202111473813 A CN202111473813 A CN 202111473813A CN 114138687 A CN114138687 A CN 114138687A
Authority
CN
China
Prior art keywords
access
target
data
logical block
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111473813.9A
Other languages
English (en)
Inventor
毛宏华
汪少杰
侯超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New H3C Big Data Technologies Co Ltd
Original Assignee
New H3C Big Data Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New H3C Big Data Technologies Co Ltd filed Critical New H3C Big Data Technologies Co Ltd
Priority to CN202111473813.9A priority Critical patent/CN114138687A/zh
Publication of CN114138687A publication Critical patent/CN114138687A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0862—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches with prefetch

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本申请公开了一种数据预取方法、装置、电子设备及存储介质。方法包括：获取数据预取指令，数据预取指令用于从目标磁盘中预取访问次数大于预设次数的被访问数据；根据数据预取指令，调用被访问数据对应的访问地址序列；将访问条件概率满足预取条件的序列单元确定为目标序列单元，并确定目标序列单元的目标序列标识对应的目标逻辑块地址；从目标磁盘中获取与目标逻辑块地址相匹配的目标逻辑块，并将目标逻辑块中的目标数据写入目标存储介质。本申请通过根据逻辑块地址的访问条件概率从目标磁盘中满足预取条件的逻辑块，并将该逻辑块中存储的数据写入目标存储介质，相比现有技术不再需要去磁盘中读取数据，缩短了访问路径，提高了数据读取效率。

Description

一种数据预取方法、装置、电子设备及存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种数据预取方法、装置、电子设备及存储介质。
背景技术
分布式存储系统一般都会通过缓存来缩短前台IO路径，从而达到降低时延提升系统性能的目的。如图2所示，读IO如果要从disk读取数据，IO路径将很长，需要经过接口层、加速层、存储层里面各个模块，而且需要通过多次网络，由于访问路径太长导致时延增加，目前可见的方案是通过加大read cache的物理空间，比如使用更大的内存，或通过SCM/NVME SSD来缓存数据，read cache空间的增加，能提升随机读命中率，但是效果甚微。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种数据预取方法、装置、电子设备及存储介质。
根据本申请实施例的一个方面，提供了一种数据预取方法，包括：
获取数据预取指令，其中，所述数据预取指令用于从目标磁盘中预取访问次数大于预设次数的被访问数据，所述目标磁盘部署在所述分布式存储系统的存储层；
根据所述数据预取指令，调用所述被访问数据对应的访问地址序列，其中，所述访问地址序列包括多个序列单元，每个序列单元包括与所述被访问数据关联的序列标识以及访问条件概率；
将所述访问条件概率满足预取条件的序列单元确定为目标序列单元，并确定所述目标序列单元的目标序列标识对应的目标逻辑块地址；
从目标磁盘中获取与所述目标逻辑块地址相匹配的目标逻辑块，并将所述目标逻辑块中的目标数据写入目标存储介质，其中，所述目标存储介质部署在所述分布式系统中的加速层。
进一步的，在根据所述数据预取指令，调用所述被访问数据对应的访问地址序列之前，所述方法还包括：
获取历史访问记录，其中，所述历史访问记录包括：多个被访问的逻辑块地址，以及每个所述逻辑块地址对应的被访问时间和访问参数；
基于所述访问参数计算所述逻辑块地址对应的访问条件概率；
根据每个所述逻辑块地址对应的访问参数以及访问条件概率，生成所述逻辑块地址对应的序列单元；
按照所述序列单元标识对所述逻辑块地址对应的序列单元进行排序，生成所述访问地址序列。
进一步的，所述访问参数包括：所述逻辑地址块对应的访问次数；
所述基于所述访问参数计算所述逻辑块地址对应的访问条件概率，包括：
根据所述历史访问记录中全部逻辑块地址对应的访问次数求和，得到访问总次数；
基于所述逻辑块地址对应的访问次数以及所述访问总次数，计算所述逻辑块地址对应的第一访问概率；
获取所述逻辑块地址对应的第二访问概率，其中，所述第二访问概率是逻辑块地址在随机条件下被访问的概率；
基于所述第一访问概率和所述第二访问概率，计算所述访问条件概率。
进一步的，所述根据每个所述逻辑块地址、所述访问参数以及所述访问条件概率生成序列单元，包括：
按照预设大小对所述逻辑块地址进行切分，得到地址码；
基于地址码进行计算，得到序列单元标识；
基于所述序列单元标识、所述访问参数以及所述访问条件概率生成所述序列单元。
进一步的，所述将所述访问条件概率满足预取条件的序列单元确定为目标序列单元，包括：
将所述访问条件概率大于或等于预设概率的序列单元，确定为所述候选序列单元；
按照所述候选序列单元对应的候选访问条件概率；
按照所述候选访问条件概率对所述候选序列单元进行排序，得到目标序列单元。
进一步的，在将所述目标逻辑块中的目标数据写入目标存储介质之后，所述方法还包括：
接收数据读取请求，其中，所述数据读取请求中携带读取条件；
根据所述数据读取请求，从所述目标存储介质中读取满足所述读取条件的目标数据；
将满足所述读取条件的目标数据发送至所述数据读取请求对应的请求方。
进一步的，在将所述目标逻辑块中的目标数据写入目标存储介质之后，所述方法还包括：
检测所述目标存储介质中各个目标数据对应的访问频率；
将所述访问频率小于预设访问频率的目标数据删除。
根据本申请实施例的另一个方面，还提供了一种数据预取装置，包括：
获取模块，用于获取数据预取指令，其中，所述数据预取指令用于从目标磁盘中预取访问次数大于预设次数的被访问数据，所述目标磁盘部署在所述分布式存储系统的存储层；
响应模块，用于根据所述数据预取指令，调用所述被访问数据对应的访问地址序列，其中，所述访问地址序列包括多个序列单元，每个序列单元包括与所述被访问数据关联的序列标识以及访问条件概率；
确定模块，用于将所述访问条件概率满足预取条件的序列单元确定为目标序列单元，并确定所述目标序列单元的目标序列标识对应的目标逻辑块地址；
处理模块，用于从目标磁盘中获取与所述目标逻辑块地址相匹配的目标逻辑块，并将所述目标逻辑块中的目标数据写入目标存储介质，其中，所述目标存储介质部署在所述分布式系统中的加速层。
在本申请实施例中，数据预取装置还包括：生成模块，用于获取历史访问记录，其中，历史访问记录包括：多个被访问的逻辑块地址，以及每个逻辑块地址对应的被访问时间和访问参数；基于访问参数计算逻辑块地址对应的访问条件概率；根据每个逻辑块地址对应的访问参数以及访问条件概率，生成逻辑块地址对应的序列单元；按照序列单元标识对逻辑块地址对应的序列单元进行排序，生成访问地址序列。
在本申请实施例中，访问参数包括：逻辑地址块对应的访问次数；
响应模块，用于根据所述历史访问记录中全部逻辑块地址对应的访问次数求和，得到访问总次数，基于逻辑块地址对应的访问次数以及访问总次数，计算逻辑块地址对应的第一访问概率；获取所述逻辑块地址对应的第二访问概率，其中，所述第二访问概率是逻辑块地址在随机条件下被访问的概率；基于第一访问概率和第二访问概率，计算访问条件概率。
在本申请实施例中，响应模块，用于按照预设大小对逻辑块地址进行切分，得到地址码；基于地址码进行计算，得到序列单元标识；基于序列单元标识、访问参数以及访问条件概率生成序列单元。
在本申请实施例中，确定模块，用于将访问条件概率大于或等于预设概率的序列单元，确定为候选序列单元；按照候选序列单元对应的候选访问条件概率；按照候选访问条件概率对候选序列单元进行排序，得到目标序列单元。
在本申请实施例中，数据预取装置还包括：处理模块，用于接收数据读取请求，其中，数据读取请求中携带读取条件；根据数据读取请求，从目标存储介质中读取满足读取条件的目标数据；将满足读取条件的目标数据发送至数据读取请求对应的请求方。
在本申请实施例中，数据预取装置还包括：删除模块，用于检测目标存储介质中各个目标数据对应的访问频率；将访问频率小于预设访问频率的目标数据删除。
根据本申请实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，程序运行时执行上述的步骤。
根据本申请实施例的另一方面，还提供了一种电子装置，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：存储器，用于存放计算机程序；处理器，用于通过运行存储器上所存放的程序来执行上述方法中的步骤。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述方法中的步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：本申请实施例提供的方法通过根据逻辑块地址的访问条件概率从目标磁盘中满足预取条件的逻辑块，并将该逻辑块中存储的数据写入目标存储介质，不再需要去磁盘中读取数据，缩短了访问路径，降低数据读取时延，提高了数据读取效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的分布式存储系统的示意图；
图2为本申请实施例提供的一种数据预取方法的流程图；
图3为本申请实施例提供的逻辑块地址对应访问顺序的示意图；
图4为本申请实施例提供的访问地址序列的示意图；
图5为本申请另一实施例提供的一种数据预取方法的流程图；
图6为本申请另一实施例提供的一种数据预取方法的流程图；
图7为本申请实施例提供的一种数据预取装置的框图；
图8为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个类似的实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本申请实施例提供了一种数据预取方法、装置、电子设备及存储介质。本发明实施例所提供的方法可以应用于任意需要的电子设备，例如，可以为服务器、终端等电子设备，在此不做具体限定，为描述方便，后续简称为电子设备。
根据本申请实施例的一方面，提供了一种数据预取方法的方法实施例。图2为本申请实施例提供的一种数据预取方法的流程图，如图2所示，该方法包括：
步骤S11，获取数据预取指令，其中，数据预取指令用于从目标磁盘中预取访问次数大于预设次数的被访问数据，所述目标磁盘部署在所述分布式存储系统的存储层。
本申请实施例提供的方法应用于分布式存储系统，如图2所示，分布式存储系统包括：接口层、加速层以及存储层。现有技术中，当请求方需要从部署在存储层中的磁盘中读取数据时，一般将数据读取请求发送至接口层，再由接口层通过加速层转发至存储层中的磁盘，从而实现数据读取。此种方式的访问路径太长，导致数据读取效率较低。
基于此，本申请实施例通过在分布式存储系统内部署定时器，利用定时器周期性触发数据预取指令，将目标磁盘中访问次数大于预设次数的被访问数据预先提取出来，后续可以对预先提取出的被访问数据进行筛选，并将筛选后的被访问数据存储到加速层中的目标存储介质(Read Cache)，以此实现了访问路径的缩短，同时提高了数据访问效率。其中，目标存储介质可以是内存或其他高性能介质。
步骤S12，根据数据预取指令，调用被访问数据对应的访问地址序列，其中，访问地址序列包括多个序列单元，每个序列单元包括与被访问数据关联的序列标识以及访问条件概率。
在本申请实施例中，访问地址序列的生成过程，包括以下步骤A1-A4：
步骤A1，获取历史访问记录，其中，历史访问记录包括：多个被访问的逻辑块地址，以及每个逻辑块地址对应的被访问时间和访问参数。
在申请实施例中，请求方从磁盘中读取数据时，分布式存储系统会记录数据被访问的时间，数据所处逻辑块的逻辑块地址等信息。然后基于上述信息生成历史访问记录。
步骤A2，基于访问参数计算逻辑块地址对应的访问条件概率。
在本申请实施例中，访问参数包括：逻辑地址块对应的访问次数；
在本申请实施例中，步骤A2，基于访问参数计算逻辑块地址对应的访问条件概率，包括以下步骤A201-A204：
步骤A201，根据所述历史访问记录中全部逻辑块地址对应的访问次数求和，得到访问总次数。
步骤A202，基于逻辑块地址对应的访问次数以及访问总次数，计算逻辑块地址对应的第一访问概率。
步骤A203，获取逻辑块地址被随机访问的第二访问概率。
步骤A204，基于第一访问概率和第二访问概率，计算访问条件概率。
作为一个示例，如图3所示，可以用序列的方式表示逻辑块地址的访问顺序，该序列中字母从A到Z用于表示逻辑块地址，箭头方向用于表示访问的时间顺序，然后基于该序列统计每个逻辑块地址的访问次数，以及基于该序列确定访问总次数。然后根据每个逻辑块地址的访问次数以及访问总次数，计算每个逻辑块地址对应的第一访问概率。然后再获取每个逻辑块地址被随机访问的第二访问概率。通过贝叶斯算法计算出每个逻辑块地址被随机访问的访问条件概率。
步骤A3，根据每个逻辑块地址对应的访问参数以及访问条件概率，生成逻辑块地址对应的序列单元。
在本申请实施例中，步骤A3，根据每个逻辑块地址、访问参数以及访问条件概率生成序列单元，包括以下步骤A301-A303：
步骤A301，按照预设大小对逻辑块地址进行切分，得到地址码。
步骤A302，基于地址码进行计算，得到序列单元标识。
步骤A303，基于序列单元标识、访问参数以及访问条件概率生成序列单元。
在本申请实施例中，按照64K大小对逻辑块地址进行切分得到地址码，计算过程即为：m＝LBA/64，其中，m为地址码，LBA为逻辑块地址。然后基于地址码计算出读序列单元的标识(即序列单元的ID)，计算过程为：ID＝m/1024。然后基于序列单元标识、访问参数以及访问条件概率生成序列单元。
步骤A4，按照序列单元标识对逻辑块地址对应的序列单元进行排序，生成访问地址序列。
在本申请实施例中，在确定序列单元标识后，按照序列单元标识对序列单元进行排序，从而得到最终的访问地址序列，如图4所示，每个访问单元序列中包括：序列单元标识、访问次数、访问频率以及访问条件概率。
步骤S13，将访问条件概率满足预取条件的序列单元确定为目标序列单元，并确定目标序列单元的目标序列标识对应的目标逻辑块地址。
在本申请实施例中，步骤S13，将访问条件概率满足预取条件的序列单元确定为目标序列单元，包括以下步骤B1-B3：
步骤B1，将访问条件概率大于或等于预设概率的序列单元，确定为候选序列单元。
步骤B2，按照候选序列单元对应的候选访问条件概率。
步骤B3，按照候选访问条件概率对候选序列单元进行排序，得到目标序列单元。
在本申请实施例中，为了提高访问效率，将访问条件概率大于或等于预设概率的序列单元，确定为候选序列单元，此时将候选序列单元按照访问条件概率的大小排序，例如，如图4所示，按照访问条件概率由大到小的顺序，选取预设数量的候选序列单元作为目标序列单元。
步骤S14，从目标磁盘中获取与目标逻辑块地址相匹配的目标逻辑块，并将目标逻辑块中的目标数据写入目标存储介质，其中，目标存储介质部署在分布式系统中的加速层。
在本申请实施例中，在确定目标序列单元后，由于目标序列单元的目标序列标识是根据逻辑块地址计算得到的，因此可以根据目标序列标识确定目标逻辑块地址，然后按照目标逻辑块地址从目标磁盘中查找目标逻辑块，并将目标逻辑块中存储的数据写入目标存储介质。
本申请实施例提供的方法通过根据逻辑块地址的访问条件概率从目标磁盘中满足预取条件的逻辑块，并将该逻辑块中存储的数据写入目标存储介质，不再需要去磁盘中读取数据，缩短了访问路径，降低数据读取时延，提高了数据读取效率。
在本申请实施例中，图5为本申请实施例提供的一种数据预取方法的流程图，如图5所示，在将目标逻辑块中的目标数据写入目标存储介质之后，方法还包括：
步骤S21，接收数据读取请求，其中，数据读取请求中携带读取条件。
步骤S22，根据数据读取请求，从目标存储介质中读取满足读取条件的目标数据。
步骤S23，将满足读取条件的目标数据发送至数据读取请求对应的请求方。
在本申请实施例中，分布式存储系统在接收数据读取请求之后，首先检测加速层中的目标存储介质是否已经将目标数据写入完成，如果写入完成后，分布式存储介质会响应该数据读取请求，并从目标存储介质中读取满足读取条件的目标数据，如果目标存储介质中存在满足读取条件的目标数据时，则将满足读取条件的目标数据发送至数据读取请求对应的请求方。
在本申请实施例中，如果目标存储介质中不存在满足读取条件的目标数据时，分布式存储系统再从存储层中的磁盘中读取满足读取条件的数据，并将该数据反馈给数据读取请求对应的请求方。
在本申请实施例中，图6为本申请实施例提供的一种数据预取方法的流程图，如图6所示，在将目标逻辑块中的目标数据写入目标存储介质之后，方法还包括：
步骤S31，检测目标存储介质中各个目标数据对应的访问频率。
步骤S32，将访问频率小于预设访问频率的目标数据删除。
在本申请实施例中，分布式存储系统会周期性检测目标存储介质中各个目标数据的访问频率，或者在目标存储介质的剩余存储空间小于预设存储空间的情况下，分布式存储系统会检测目标存储介质中各个目标数据对应的访问频率。
在本申请实施例中，通过将访问频率小于预设频率的目标数据删除，能够将及时清空目标存储介质中利用率较低的目标数据，释放存储空间，同时为后续从磁盘中预取数据提供存储空间。
图7为本申请实施例提供的一种数据预取装置的框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图7所示，该装置包括：
获取模块41，用于获取数据预取指令，其中，数据预取指令用于从目标磁盘中预取访问次数大于预设次数的被访问数据，目标磁盘部署在分布式存储系统的存储层；
响应模块42，用于根据数据预取指令，调用被访问数据对应的访问地址序列，其中，访问地址序列包括多个序列单元，每个序列单元包括与被访问数据关联的序列标识以及访问条件概率；
确定模块43，用于将访问条件概率满足预取条件的序列单元确定为目标序列单元，并确定目标序列单元的目标序列标识对应的目标逻辑块地址；
处理模块44，用于从目标磁盘中获取与所述目标逻辑块地址相匹配的目标逻辑块，并将所述目标逻辑块中的目标数据写入目标存储介质，其中，所述目标存储介质部署在所述分布式系统中的加速层。
在本申请实施例中，数据预取装置还包括：生成模块，用于获取历史访问记录，其中，历史访问记录包括：多个被访问的逻辑块地址，以及每个逻辑块地址对应的被访问时间和访问参数；基于访问参数计算逻辑块地址对应的访问条件概率；根据每个逻辑块地址对应的访问参数以及访问条件概率，生成逻辑块地址对应的序列单元；按照序列单元标识对逻辑块地址对应的序列单元进行排序，生成访问地址序列。
在本申请实施例中，访问参数包括：逻辑地址块对应的访问次数；
响应模块42，用于根据所述历史访问记录中全部逻辑块地址对应的访问次数求和，得到访问总次数，基于逻辑块地址对应的访问次数以及访问总次数，计算逻辑块地址对应的第一访问概率；获取所述逻辑块地址对应的第二访问概率，其中，所述第二访问概率是逻辑块地址在随机条件下被访问的概率；基于第一访问概率和第二访问概率，计算访问条件概率。
在本申请实施例中，响应模块42，用于按照预设大小对逻辑块地址进行切分，得到地址码；基于地址码进行计算，得到序列单元标识；基于序列单元标识、访问参数以及访问条件概率生成序列单元。
在本申请实施例中，确定模块43，用于将访问条件概率大于或等于预设概率的序列单元，确定为候选序列单元；按照候选序列单元对应的候选访问条件概率；按照候选访问条件概率对候选序列单元进行排序，得到目标序列单元。
在本申请实施例中，数据预取装置还包括：处理模块，用于接收数据读取请求，其中，数据读取请求中携带读取条件；根据数据读取请求，从目标存储介质中读取满足读取条件的目标数据；将满足读取条件的目标数据发送至数据读取请求对应的请求方。
在本申请实施例中，数据预取装置还包括：删除模块，用于检测目标存储介质中各个目标数据对应的访问频率；将访问频率小于预设访问频率的目标数据删除。
本申请实施例还提供一种电子设备，如图8所示，电子设备可以包括：处理器1501、通信接口1502、存储器1503和通信总线1504，其中，处理器1501，通信接口1502，存储器1503通过通信总线1504完成相互间的通信。
存储器1503，用于存放计算机程序；
处理器1501，用于执行存储器1503上所存放的计算机程序时，实现上述实施例的步骤。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的数据预取方法。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的数据预取方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk)等。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据预取方法，其特征在于，应用于分布式存储系统，所述方法包括：
获取数据预取指令，其中，所述数据预取指令用于从目标磁盘中预取访问次数大于预设次数的被访问数据，所述目标磁盘部署在所述分布式存储系统的存储层；
根据所述数据预取指令，调用所述被访问数据对应的访问地址序列，其中，所述访问地址序列包括多个序列单元，每个序列单元包括与所述被访问数据关联的序列标识以及访问条件概率；
将所述访问条件概率满足预取条件的序列单元确定为目标序列单元，并确定所述目标序列单元的目标序列标识对应的目标逻辑块地址；
从目标磁盘中获取与所述目标逻辑块地址相匹配的目标逻辑块，并将所述目标逻辑块中的目标数据写入目标存储介质，其中，所述目标存储介质部署在所述分布式系统中的加速层。
2.根据权利要求1所述的方法，其特征在于，在根据所述数据预取指令，调用所述被访问数据对应的访问地址序列之前，所述方法还包括：
获取历史访问记录，其中，所述历史访问记录包括：多个被访问的逻辑块地址，以及每个所述逻辑块地址对应的被访问时间和访问参数；
基于所述访问参数计算所述逻辑块地址对应的访问条件概率；
根据每个所述逻辑块地址对应的访问参数以及访问条件概率，生成所述逻辑块地址对应的序列单元；
按照所述序列单元标识对所述逻辑块地址对应的序列单元进行排序，生成所述访问地址序列。
3.根据权利要求2所述的方法，其特征在于，所述访问参数包括：所述逻辑地址块对应的访问次数；
所述基于所述访问参数计算所述逻辑块地址对应的访问条件概率，包括：
根据所述历史访问记录中全部逻辑块地址对应的访问次数求和，得到访问总次数；
基于所述逻辑块地址对应的访问次数以及所述访问总次数，计算所述逻辑块地址对应的第一访问概率；
获取所述逻辑块地址对应的第二访问概率，其中，所述第二访问概率是逻辑块地址在随机条件下被访问的概率；
基于所述第一访问概率和所述第二访问概率，计算所述访问条件概率。
4.根据权利要求2所述的方法，其特征在于，所述根据每个所述逻辑块地址、所述访问参数以及所述访问条件概率生成序列单元，包括：
按照预设大小对所述逻辑块地址进行切分，得到地址码；
基于地址码进行计算，得到序列单元标识；
基于所述序列单元标识、所述访问参数以及所述访问条件概率生成所述序列单元。
5.根据权利要求1所述的方法，其特征在于，所述将所述访问条件概率满足预取条件的序列单元确定为目标序列单元，包括：
将所述访问条件概率大于或等于预设概率的序列单元，确定为所述候选序列单元；
按照所述候选序列单元对应的候选访问条件概率；
按照所述候选访问条件概率对所述候选序列单元进行排序，得到目标序列单元。
6.根据权利要求1所述的方法，其特征在于，在将所述目标逻辑块中的目标数据写入目标存储介质之后，所述方法还包括：
接收数据读取请求，其中，所述数据读取请求中携带读取条件；
根据所述数据读取请求，从所述目标存储介质中读取满足所述读取条件的目标数据；
将满足所述读取条件的目标数据发送至所述数据读取请求对应的请求方。
7.根据权利要求1所述的方法，其特征在于，在将所述目标逻辑块中的目标数据写入目标存储介质之后，所述方法还包括：
检测所述目标存储介质中各个目标数据对应的访问频率；
将所述访问频率小于预设访问频率的目标数据删除。
8.一种数据预取装置，其特征在于，包括：
获取模块，用于获取数据预取指令，其中，所述数据预取指令用于从目标磁盘中预取访问次数大于预设次数的被访问数据，所述目标磁盘部署在所述分布式存储系统的存储层；
响应模块，用于根据所述数据预取指令，调用所述被访问数据对应的访问地址序列，其中，所述访问地址序列包括多个序列单元，每个序列单元包括与所述被访问数据关联的序列标识以及访问条件概率；
确定模块，用于将所述访问条件概率满足预取条件的序列单元确定为目标序列单元，并确定所述目标序列单元的目标序列标识对应的目标逻辑块地址；
处理模块，用于从目标磁盘中获取与所述目标逻辑块地址相匹配的目标逻辑块，并将所述目标逻辑块中的目标数据写入目标存储介质，其中，所述目标存储介质部署在所述分布式系统中的加速层。
9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至7中任一项所述的方法步骤。
10.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：
存储器，用于存放计算机程序；
处理器，用于通过运行存储器上所存放的程序来执行权利要求1-7中任一项所述的方法步骤。
CN202111473813.9A 2021-11-30 2021-11-30 一种数据预取方法、装置、电子设备及存储介质 Pending CN114138687A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111473813.9A CN114138687A (zh) 2021-11-30 2021-11-30 一种数据预取方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111473813.9A CN114138687A (zh) 2021-11-30 2021-11-30 一种数据预取方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114138687A true CN114138687A (zh) 2022-03-04

Family

ID=80383839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111473813.9A Pending CN114138687A (zh) 2021-11-30 2021-11-30 一种数据预取方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114138687A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114924798A (zh) * 2022-07-19 2022-08-19 北京卡普拉科技有限公司 针对异步i/o技术的数据预取方法、系统、电子设备及介质
CN116708579A (zh) * 2023-08-04 2023-09-05 浪潮电子信息产业股份有限公司 数据访问方法、装置、电子设备及计算机可读存储介质
CN116955223A (zh) * 2023-09-18 2023-10-27 浪潮电子信息产业股份有限公司 一种数据预取方法、系统、电子设备及计算机存储介质
CN117076337A (zh) * 2023-10-17 2023-11-17 北京开源芯片研究院 一种数据传输方法、装置、电子设备及可读存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114924798A (zh) * 2022-07-19 2022-08-19 北京卡普拉科技有限公司 针对异步i/o技术的数据预取方法、系统、电子设备及介质
CN116708579A (zh) * 2023-08-04 2023-09-05 浪潮电子信息产业股份有限公司 数据访问方法、装置、电子设备及计算机可读存储介质
CN116708579B (zh) * 2023-08-04 2024-01-12 浪潮电子信息产业股份有限公司 数据访问方法、装置、电子设备及计算机可读存储介质
CN116955223A (zh) * 2023-09-18 2023-10-27 浪潮电子信息产业股份有限公司 一种数据预取方法、系统、电子设备及计算机存储介质
CN116955223B (zh) * 2023-09-18 2024-01-23 浪潮电子信息产业股份有限公司 一种数据预取方法、系统、电子设备及计算机存储介质
CN117076337A (zh) * 2023-10-17 2023-11-17 北京开源芯片研究院 一种数据传输方法、装置、电子设备及可读存储介质
CN117076337B (zh) * 2023-10-17 2024-02-02 北京开源芯片研究院 一种数据传输方法、装置、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN114138687A (zh) 一种数据预取方法、装置、电子设备及存储介质
CN112799584B (zh) 一种数据存储方法及装置
CN111324303B (zh) Ssd垃圾回收方法、装置、计算机设备及存储介质
CN109918382A (zh) 数据处理方法、装置、终端及存储介质
CN110737399A (zh) 用于管理存储系统的方法、设备和计算机程序产品
CN111324556A (zh) 高速缓存预取
CN112199304B (zh) 数据预取方法及装置
CN110069217B (zh) 一种数据存储方法及装置
US10742668B2 (en) Network attack pattern determination apparatus, determination method, and non-transitory computer readable storage medium thereof
CN117573574B (zh) 一种预取方法、装置、电子设备及可读存储介质
CN111562884A (zh) 一种数据存储方法、装置及电子设备
CN109144431B (zh) 数据块的缓存方法、装置、设备及存储介质
CN107357649B (zh) 系统资源部署策略的确定方法、装置及电子设备
CN110910249B (zh) 一种数据处理方法、装置、节点设备及存储介质
CN110427394B (zh) 数据操作方法及装置
CN112379841A (zh) 数据处理方法、装置和电子设备
CN110362769B (zh) 一种数据处理方法及装置
CN113704200A (zh) 数据存储方法、装置、设备及存储介质
CN111639340B (zh) 恶意应用程序检测方法、装置、电子设备及可读存储介质
CN115794366A (zh) 一种内存预取方法及装置
CN110580227B (zh) 自适应nvm命令生成方法与装置
CN113297107A (zh) 一种数据处理方法、装置以及电子设备
CN110658994A (zh) 一种基于hdd和ssd混合磁盘阵列的数据处理方法及装置
CN114265797B (zh) 存储访问控制装置、硬盘设备及方法
CN112543213B (zh) 一种数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination