CN110019086A - 基于分布式文件系统的多副本读取方法、设备及存储介质 - Google Patents

基于分布式文件系统的多副本读取方法、设备及存储介质 Download PDF

Info

Publication number
CN110019086A
CN110019086A CN201711076732.9A CN201711076732A CN110019086A CN 110019086 A CN110019086 A CN 110019086A CN 201711076732 A CN201711076732 A CN 201711076732A CN 110019086 A CN110019086 A CN 110019086A
Authority
CN
China
Prior art keywords
handle
read
physical block
source file
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711076732.9A
Other languages
English (en)
Other versions
CN110019086B (zh
Inventor
欧阳伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201711076732.9A priority Critical patent/CN110019086B/zh
Publication of CN110019086A publication Critical patent/CN110019086A/zh
Application granted granted Critical
Publication of CN110019086B publication Critical patent/CN110019086B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1415—Saving, restoring, recovering or retrying at system level
    • G06F11/142—Reconfiguring to eliminate the error
    • G06F11/1423—Reconfiguring to eliminate the error by reconfiguration of paths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1415—Saving, restoring, recovering or retrying at system level
    • G06F11/1435—Saving, restoring, recovering or retrying at system level using file system or storage system metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于分布式文件系统的多副本读取方法、设备及存储介质。该方法包括：调用sendfile接口在本地存储节点读取副本数据；当调用sendfile接口在本地存储节点读取副本数据失败时，通过writev接口从其他副本存储节点获取副本数据。基于此，本发明有效提高了使用sendfile的容错性，即保证了读性能的高效，又能兼顾云存储的安全，提升了整体性能和用户体验。

Description

基于分布式文件系统的多副本读取方法、设备及存储介质
技术领域
本发明涉及数据存储技术领域，特别是涉及一种基于分布式文件系统的多副本读取方法、设备及存储介质。
背景技术
目前，分布式文件系统在原来的系统read接口下，由于受应用态到内核态频繁切换和磁盘本身最大ops(每秒操作次数)影响，不改变业务架构或更换硬件的前提下，磁盘的读性能很难提高。因此，提供一种高性能的读取方式是很有必要的。
发明内容
本发明提供一种基于分布式文件系统的多副本读取方法、设备及存储介质，用以解决现有分布式文件系统中读取效率低的问题。
为实现上述发明目的，本发明采用下述的技术方案：
依据本发明的一个方面，提供一种基于分布式文件系统的多副本读取方法，其特征在于，包括：
调用sendfile接口在本地存储节点读取副本数据；
当调用sendfile接口在本地存储节点读取副本数据失败时，通过writev接口从其他副本存储节点获取所述副本数据。
可选的，所述调用sendfile接口在本地存储节点读取副本数据，包括：
获取源文件句柄；
根据所述源文件句柄确定所要读取的副本数据的物理块句柄；
通过调用sendfile接口读取所述物理块句柄中的副本数据。
可选的，所述根据所述源文件句柄确定所要读取的副本数据的物理块句柄，包括：
判断所述源文件句柄是本地句柄还是云存储句柄；
当判断所述源文件句柄为云存储句柄时，根据所述源文件句柄确定所要读取的副本数据的物理块句柄。
可选的，所述判断源文件句柄是本地句柄还是云存储句柄，包括：
当所述源文件句柄数量大于预设阈值时，则判定所述源文件句柄为云存储句柄；
当所述源文件句柄数量小于或等于预设阈值时，则判定所述源文件句柄为本地句柄。
可选的，所述根据所述源文件句柄确定所要读取的副本数据的物理块句柄，包括：
根据预先存储于元数据服务器中文件句柄与物理块句柄的映射关系获取所述源文件句柄所对应的物理块句柄。
可选的，在获取源文件句柄之后，所述方法还包括：
根据偏移位置和副本数据的字节数计算所述物理块的索引，以根据所述索引确定所述物理块的位置；
所述通过调用sendfile接口读取所述物理块句柄中的副本数据，包括：
根据所述物理块句柄，从所述物理块的位置读取所述副本数据。
可选的，所述通过writev接口从其他副本存储节点获取所述副本数据，包括：
调用read接口从所述其他副本存储节点读取所述副本数据，通过writev接口将所述副本数据存储至writev数组中；
当所述writev数组达到预设个数后，将所述writev数组中的数据一次写入目标文件的缓存中。
依据本发明的另一个方面，提供一种基于分布式文件系统的多副本读取设备，包括存储器和处理器；其中，所述存储器中存储有计算机指令；当所述计算机指令被所述处理器执行时，以实现上述的基于分布式文件系统的多副本读取方法。
依据本发明的另一个方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，当所述一个或者多个程序被一个或者多个处理器执行时，以实现上述的基于分布式文件系统的多副本读取方法。
本发明有益效果如下：
本发明所提供的分布式文件系统的多副本读取方法，通过sendfile接口来读取本地副本数据，而当本地副本数据异常时，通过writev接口获取其他存储节点的副本数据。基于此，本发明可以有效提高了使用sendfile的容错性，即保证了读性能的高效，又能兼顾云存储的安全，提升了整体性能和用户体验。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本发明实施例或现有中的方案，下面将对实施例或现有描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例中基于分布式文件系统的多副本读取方法的流程图；
图2为本发明一具体实施例中多副本读取方法的流程图；
图3为本发明一具体实施例中分布式文件系统的多副本读取设备的原理框图。
具体实施方式
以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。
方法实施例
为了解决现有的分布式文件系统中读取效率低的问题，本发明实施例提供了一种基于分布式文件系统的多副本读取方法，如图1所示，该方法包括如下步骤：
步骤101，调用sendfile接口在本地存储节点读取副本数据；
步骤102，当调用sendfile接口在本地存储节点读取副本数据失败时，通过writev接口从其他副本存储节点获取副本数据。
本发明所提供的基于分布式文件系统的多副本读取方法，通过sendfile接口来读取本地副本数据，有效提到副本数据在本地的读取性能；而当本地副本数据异常时，通过writev接口获取其他存储节点的副本数据。基于此，本发明可以有效提高了使用sendfile的容错性，即保证了读性能的高效，又能兼顾云存储的安全，提升了整体性能和用户体验。
其中，本发明一可选实施例中，调用sendfile接口在本地存储节点读取副本数据，包括：
获取源文件句柄；
根据源文件句柄确定所要读取的副本数据的物理块句柄；
通过调用sendfile接口读取物理块句柄中的副本数据。
这里，在获取源文件句柄时，通过系统中的open接口来进行获取处理。于此同时获取的还包括目标文件句柄。
由于本发明中主要是针对云存储中的副本数据进行处理，因此，根据源文件句柄确定所要读取的副本数据的物理块句柄时，需要通过句柄大小进一步判断该句柄为本地句柄还是云存储句柄：当为云存储句柄时，则根据源文件句柄确定所要读取的副本数据的物理块句柄，根据物理块句柄进一步获取副本数据；当为本地句柄时，则结束处理。其中，具体地，在判断该句柄为本地句柄还是云存储句柄时，包括：当源文件句柄数量大于预设阈值时，则判定源文件句柄为云存储句柄；当源文件句柄数量小于或等于预设阈值时，则判定源文件句柄为本地句柄。
其中，本发明一可选实施例中，在根据源文件句柄确定所要读取的副本数据的物理块句柄时，根据预先存储于元数据服务器中文件句柄与物理块句柄的映射关系获取源文件句柄所对应的物理块句柄。
这里，物理块句柄为物理块的唯一标识。元数据服务器记录了文件句柄与物理块句柄的映射关系。当获取到源文件句柄时，向元数据服务器发送查询请求；根据映射关系获取与源文件句柄向对应的物理块句柄。
其中，本发明一可选实施例中，在获取源文件句柄之后，该方法还包括：
根据偏移位置和副本数据的字节数计算物理块的索引，以根据索引确定物理块的位置；
通过调用sendfile接口读取物理块句柄中的副本数据，包括：
根据物理块句柄，从物理块的位置读取副本数据。
其中，在需要读取数据时，由用户输入偏移位置和所要读取的字节数。在进行读取时，获取用户输入的偏移位置和所要读取的字节数，根据两个参数确定物理块的索引。索引用于指示物理块的位置信息，因此，根据该索引可以获取数据所在的物理块位置。当确定物理块的所在位置之后，通过物理块句柄，读取相应位置的数据即可。
其中，本发明一可选实施例中，通过writev接口从其他副本存储节点获取副本数据，包括：
调用read接口从其他副本存储节点读取副本数据，通过writev接口将副本数据存储至writev数组中；
当writev数组达到预设个数后，将writev数组中的数据一次写入目标文件的缓存中。
具体地，当通过sendfile接口读取数据失败时，则说明本地的副本数据异常，无法读取。当检测到读取数据失败后，系统自动通过调用内部的read接口与分布式文件系统中的其他存储节点进行通信，跨网络循环读取其他节点中的数据。这里在通过read接口读取时，可以读取多个页的数据，将数据存储于writev数组中。当writev数组达到20个以后，可以直接将writev数组中的数据一次拷贝至目标文件句柄所对应的缓存中，实现了副本的跨网络读取。基于此，通过采用read接口和writev接口相结合的方式，有效减少了写次数，提高了拷贝性能。
下面结合附图和具体实施例对本发明的技术内容进行详细说明。具体地，如图2所示，图2为本发明一具体实施例中数据读取方法，包括如下步骤：
步骤201，通过云存储内部sendfile接口获取文件句柄；包括源文件句柄和目标文件句柄。
步骤202，根据句柄大小判断源文件句柄是本地句柄还是云存储句柄：当为云存储句柄时，则执行步骤203；当为本地句柄时，则直接结束处理。这里，句柄数据的预设阈值为10000；当然还可以根据需求设置该阈值，因此，这里的预设阈值仅用于解释和说明，不用于对本发明的限定。
步骤203，根据偏移位置和要读的字节数,计算物理块起始和结束的索引位置，根据源文件句柄，通过发送消息给元数据服务器获取物理块的句柄；
步骤204，调用标准sendfile接口，传入物理块的句柄，根据偏移位置和要写的字节数读取物理块句柄中的数据：当读取成功时，则执行步骤205；处理结束；当读取失败时，则执行步骤206；
步骤205，将数据写入到目标文件句柄的缓存中；
步骤206，通过内部read接口通过网络获取其他存储节点的多个页的数据；
步骤207，将数据通过writev接口并发写入到目标文件句柄的缓存中。
基于上述方案，本发明将原本只适合在单机文件系统中使用的sendfile机制迁移到云存储中，并通过内部的read接口结合并发接口writev解决了单机系统中本地副本异常时可能读取失败的问题，使用分布式文件系统也能充分利用到sendfile的性能优势，提高了单盘读性能。
设备实施例
根据本发明的实施例，提供了一种基于分布式文件系统的多副本读取设备，用于实现上述方法实施例所提供的方法。如图3所示。该设备括处理器32以及存储有处理器32可执行指令的存储器31。其中，处理器32可以是通用处理器，例如中央处理器(centralprocessing unit，CPU)，还可以是数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)，或者是被配置成实施本发明实施例的一个或多个集成电路。存储器31，用于存储程序代码，并将该程序代码传输给CPU。存储器31可以包括易失性存储器(volatile memory)，例如随机存取存储器(randomaccess memory，RAM)；存储器31也可以包括非易失性存储器(non-volatile memory)，例如只读存储器(read-only memory，ROM)、快闪存储器(flash memory)、硬盘(hard diskdrive，HDD)或固态硬盘(solid-state drive，SSD)；存储器31还可以包括上述种类的存储器的组合。
具体地，该基于分布式文件系统的多副本读取设备，包括处理器32和存储器31；存储器31用于存储计算机指令，处理器32用于运行存储器31存储的计算机指令，以实现如下步骤：
调用sendfile接口在本地存储节点读取副本数据；
当调用sendfile接口在本地存储节点读取副本数据失败时，通过writev接口从其他副本存储节点获取副本数据。
可选的，处理器32用于运行存储器31存储的计算机指令，以实现如下步骤：
获取源文件句柄；
根据源文件句柄确定所要读取的副本数据的物理块句柄；
通过调用sendfile接口读取物理块句柄中的副本数据。
可选的，处理器32用于运行存储器31存储的计算机指令，以实现如下步骤：
判断源文件句柄是本地句柄还是云存储句柄；
当判断源文件句柄为云存储句柄时，根据源文件句柄确定所要读取的副本数据的物理块句柄；
当判断源文件句柄为本地句柄时，则直接结束处理。
可选的，处理器32用于运行存储器31存储的计算机指令，以实现如下步骤：
当源文件句柄数量大于预设阈值时，则判定源文件句柄为云存储句柄；
当源文件句柄数量小于或等于预设阈值时，则判定源文件句柄为本地句柄。
可选的，处理器32用于运行存储器31存储的计算机指令，以实现如下步骤：
根据预先存储于元数据服务器中文件句柄与物理块句柄的映射关系获取源文件句柄所对应的物理块句柄。
可选的，在获取源文件句柄的步骤之后，处理器32用于运行存储器31存储的计算机指令，以实现如下步骤：
根据偏移位置和副本数据的字节数计算物理块的索引，以根据索引确定物理块的位置；
通过调用sendfile接口读取物理块句柄中的副本数据，包括：
根据物理块句柄，从物理块的位置读取副本数据。
可选的，调用read接口从其他副本存储节点读取副本数据，通过writev接口将副本数据存储至writev数组中；
当writev数组达到预设个数后，将writev数组中的数据一次写入目标文件的缓存中。
需要说明的是，在该实施例中，对于各个步骤仅做了简要的说明。具体可以参见方法实施例中的详细描述，这里不再介绍，因此也能实现相应的有益技术效果，此处也不再赘述。
存储介质实施例
本发明实施例还提供了一种计算机可读存储介质。这里的计算机可读存储介质存储有一个或者多个程序。其中，计算机可读存储介质可以包括易失性存储器，例如随机存取存储器；存储器也可以包括非易失性存储器，例如只读存储器、快闪存储器、硬盘或固态硬盘；存储器还可以包括上述种类的存储器的组合。当计算机可读存储介质中一个或者多个程序可被一个或者多个处理器执行，以实现方法实施例的方法，因此也能实现相应的有益技术效果，前文已经进行了详细的说明，此处不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。
虽然通过实施例描述了本申请，本领域的技术人员知道，本申请有许多变形和变化而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种基于分布式文件系统的多副本读取方法，其特征在于，包括：
调用sendfile接口在本地存储节点读取副本数据；
当调用sendfile接口在本地存储节点读取副本数据失败时，通过writev接口从其他副本存储节点获取所述副本数据。
2.根据权利要求1所述的方法，其特征在于，所述调用sendfile接口在本地存储节点读取副本数据，包括：
获取源文件句柄；
根据所述源文件句柄确定所要读取的副本数据的物理块句柄；
通过调用sendfile接口读取所述物理块句柄中的副本数据。
3.根据权利要求2所述的方法，其特征在于，所述根据所述源文件句柄确定所要读取的副本数据的物理块句柄，包括：
判断所述源文件句柄是本地句柄还是云存储句柄；
当判断所述源文件句柄为云存储句柄时，根据所述源文件句柄确定所要读取的副本数据的物理块句柄。
4.根据权利要求3所述的方法，其特征在于，所述判断源文件句柄是本地句柄还是云存储句柄，包括：
当所述源文件句柄数量大于预设阈值时，则判定所述源文件句柄为云存储句柄；
当所述源文件句柄数量小于或等于预设阈值时，则判定所述源文件句柄为本地句柄。
5.根据权利要求2所述的方法，其特征在于，所述根据所述源文件句柄确定所要读取的副本数据的物理块句柄，包括：
根据预先存储于元数据服务器中文件句柄与物理块句柄的映射关系获取所述源文件句柄所对应的物理块句柄。
6.根据权利要求2～5任一项所述的方法，其特征在于，在获取源文件句柄之后，所述方法还包括：
根据偏移位置和副本数据的字节数计算所述物理块的索引，以根据所述索引确定所述物理块的位置；
所述通过调用sendfile接口读取所述物理块句柄中的副本数据，包括：
根据所述物理块句柄，从所述物理块的位置读取所述副本数据。
7.根据权利要求1所述的方法，其特征在于，所述通过writev接口从其他副本存储节点获取所述副本数据，包括：
调用read接口从所述其他副本存储节点读取所述副本数据，通过writev接口将所述副本数据存储至writev数组中；
当所述writev数组达到预设个数后，将所述writev数组中的数据一次写入目标文件的缓存中。
8.一种基于分布式文件系统的多副本读取设备，其特征在于，包括存储器和处理器；其中，所述存储器中存储有计算机指令；当所述计算机指令被所述处理器执行时，用以实现权利要求1～7任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，当所述一个或者多个程序被一个或者多个处理器执行时，以实现权利要求1～7任一项所述的方法。
CN201711076732.9A 2017-11-06 2017-11-06 基于分布式文件系统的多副本读取方法、设备及存储介质 Active CN110019086B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711076732.9A CN110019086B (zh) 2017-11-06 2017-11-06 基于分布式文件系统的多副本读取方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711076732.9A CN110019086B (zh) 2017-11-06 2017-11-06 基于分布式文件系统的多副本读取方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110019086A true CN110019086A (zh) 2019-07-16
CN110019086B CN110019086B (zh) 2024-02-13

Family

ID=67186759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711076732.9A Active CN110019086B (zh) 2017-11-06 2017-11-06 基于分布式文件系统的多副本读取方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110019086B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046004A (zh) * 2019-12-24 2020-04-21 上海达梦数据库有限公司 一种数据文件存储方法、装置、设备及存储介质
CN111291003A (zh) * 2020-01-21 2020-06-16 浙江工商大学 数据读取方法、装置和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101556608A (zh) * 2009-02-27 2009-10-14 浙大网新科技股份有限公司 一种基于事件监控机制的文件系统操作拦截方法
CN102508638A (zh) * 2011-09-27 2012-06-20 华为技术有限公司 用于非一致性内存访问的数据预取方法和装置
CN105550306A (zh) * 2015-12-14 2016-05-04 北京奇虎科技有限公司 多副本数据的读写方法及系统
US20160342361A1 (en) * 2015-05-21 2016-11-24 Dell Products L.P. System and method for protecting contents of shared layer resources

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101556608A (zh) * 2009-02-27 2009-10-14 浙大网新科技股份有限公司 一种基于事件监控机制的文件系统操作拦截方法
CN102508638A (zh) * 2011-09-27 2012-06-20 华为技术有限公司 用于非一致性内存访问的数据预取方法和装置
US20160342361A1 (en) * 2015-05-21 2016-11-24 Dell Products L.P. System and method for protecting contents of shared layer resources
CN105550306A (zh) * 2015-12-14 2016-05-04 北京奇虎科技有限公司 多副本数据的读写方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046004A (zh) * 2019-12-24 2020-04-21 上海达梦数据库有限公司 一种数据文件存储方法、装置、设备及存储介质
CN111046004B (zh) * 2019-12-24 2020-07-31 上海达梦数据库有限公司 一种数据文件存储方法、装置、设备及存储介质
CN111291003A (zh) * 2020-01-21 2020-06-16 浙江工商大学 数据读取方法、装置和电子设备
CN111291003B (zh) * 2020-01-21 2021-01-05 浙江工商大学 数据读取方法、装置和电子设备

Also Published As

Publication number Publication date
CN110019086B (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
CN106055431B (zh) 基于快照在线回滚的数据备份与恢复的方法及装置
CN103136243B (zh) 基于云存储的文件系统去重方法及装置
US10120795B2 (en) Wear-leveling nandflash memory reading/writing method
US8924353B1 (en) Systems and methods for copying database files
US8984027B1 (en) Systems and methods for migrating files to tiered storage systems
CN109522154B (zh) 数据恢复方法及相关设备与系统
CN107643880A (zh) 基于分布式文件系统的文件数据迁移的方法及装置
CN110673789B (zh) 固态硬盘的元数据存储管理方法、装置、设备及存储介质
CN110888837B (zh) 对象存储小文件归并方法及装置
US10572335B2 (en) Metadata recovery method and apparatus
CN104978148A (zh) 数据写入方法及装置、数据读取方法及装置
CN109471843A (zh) 一种元数据缓存方法、系统及相关装置
KR20170010810A (ko) 플래시 메모리 내에 데이터를 판독/기록하기 위한 방법, 장치 및 사용자 장비
CN104965835B (zh) 一种分布式文件系统的文件读写方法及装置
CN110147203A (zh) 一种文件管理方法、装置、电子设备及存储介质
WO2021169163A1 (zh) 一种文件数据存取方法、装置和计算机可读存储介质
CN108205482B (zh) 文件挂载恢复方法
CN111143113A (zh) 复制元数据的方法、电子设备和计算机程序产品
CN110019086A (zh) 基于分布式文件系统的多副本读取方法、设备及存储介质
US10437784B2 (en) Method and system for endurance enhancing, deferred deduplication with hardware-hash-enabled storage device
CN110352410A (zh) 跟踪索引节点的访问模式以及预提取索引节点
US20170235781A1 (en) Method, server and computer program stored in computer readable medium for managing log data in database
CN103761156B (zh) 一种针对文件系统的在线修复方法
CN109542860B (zh) 基于hdfs的业务数据管理方法、终端设备
US10725877B2 (en) System, method and computer program product for performing a data protection operation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant