CN111782588A - 一种文件读取方法、装置、设备和介质 - Google Patents

一种文件读取方法、装置、设备和介质 Download PDF

Info

Publication number
CN111782588A
CN111782588A CN201911158096.3A CN201911158096A CN111782588A CN 111782588 A CN111782588 A CN 111782588A CN 201911158096 A CN201911158096 A CN 201911158096A CN 111782588 A CN111782588 A CN 111782588A
Authority
CN
China
Prior art keywords
file
target
time information
block
written
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911158096.3A
Other languages
English (en)
Inventor
张波波
史革
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Yu Vision Mdt Infotech Ltd
Original Assignee
Xi'an Yu Vision Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Yu Vision Mdt Infotech Ltd filed Critical Xi'an Yu Vision Mdt Infotech Ltd
Priority to CN201911158096.3A priority Critical patent/CN111782588A/zh
Publication of CN111782588A publication Critical patent/CN111782588A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种文件读取方法、装置、设备和介质。其中，所述方法包括：获取待读取的目标文件的目标时间信息，以及目标文件在云存储系统中的目标存储目录；根据所述目标时间信息和所述目标存储目录，以及加载的云存储系统中文件块的时间信息，确定目标文件所属的目标文件块；其中所述文件块的时间信息包括文件块的磁盘位置和时间区间；根据所述目标文件块的磁盘位置，从云存储系统中读取目标文件的数据信息。本发明实施例的技术方案，通过利用文件的时间信息在云存储系统中进行文件的读取，提高了文件查找和读取的效率。

Description

一种文件读取方法、装置、设备和介质
技术领域
本发明实施例涉及云存储技术，尤其涉及一种文件读取方法、装置、设备和介质。
背景技术
随着云计算、大数据以及工业信息化技术的进步，数据分析，交通抓拍，人脸信息采集等技术在生活中的应用越发广泛，而伴随着技术的不断革新与进步将会产生越来越多的数据，这就需要高性能的云存储系统来进行数据存储。
通常情况下，携带文件名称读查文件时，需要先从存储节点中对应资源的目录下遍历所有文件元数据信息，找到对应文件的元数据，元数据中一般至少记录文件数据的存储地址，文件长度，检验信息等，再根据元数据信息读取数据片段上的原始数据。
但是由于业务层数据量不断加大，均摊到单个节点上的文件量就会越来越大，查找文件元数据信息需要读取磁盘次数就会不断增多，造成文件的读取速度过慢的问题。
发明内容
本发明提供一种文件读取方法、装置、设备和介质，以提高云存储系统中文件的查找和读取的效率。
第一方面，本发明实施例提供了一种文件读取方法，该方法包括：
获取待读取的目标文件的目标时间信息，以及目标文件在云存储系统中的目标存储目录；
根据所述目标时间信息和所述目标存储目录，以及加载的云存储系统中文件块的时间信息，确定目标文件所属的目标文件块；其中所述文件块的时间信息包括文件块的磁盘位置和时间区间；
根据所述目标文件块的磁盘位置，从云存储系统中读取目标文件的数据信息。
第二方面，本发明实施例还提供了文件读取装置，该装置包括：
信息获取模块，用于获取待读取的目标文件的目标时间信息，以及目标文件在云存储系统中的目标存储目录；
目标文件块确定模块，用于根据所述目标时间信息和所述目标存储目录，以及加载的云存储系统中文件块的时间信息，确定目标文件所属的目标文件块；其中所述文件块的时间信息包括文件块的磁盘位置和时间区间；
数据信息获取模块，用于根据所述目标文件块的磁盘位置，从云存储系统中读取目标文件的数据信息。
第三方面，本发明实施例还提供了一种设备，该设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例中任一所述的一种文件读取方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本发明实施例中任一所述的一种文件读取方法。
本发明通过获取待读取的目标文件的目标时间信息，以及目标文件在云存系统中的目标存储目录，进而根据目标时间信息和目标存储目录，以及加载的云存储系统中文件块的时间信息，确定目标文件所属的目标文件块，根据目标文件块的磁盘位置，从云存储系统中读取目标文件的数据信息。本实施例的技术方案，利用加载的云存储系统中的文件块的时间信息，确定目标文件所属的文件块，在确定目标文件所属的文件块之后再进行磁盘的读取，减少了磁盘的读取次数，提高了文件查找和读取的效率。
附图说明
图1为本发明实施例提供的一种文件读取方法的流程图；
图2为本发明实施例提供的一种云存储系统的示意图；
图3是本发明实施例提供的单个资源上文件系统的组成格式示意图；
图4是本发明实施例提供的一种文件块时间信息的结构示意图；
图5为优化前提供的一种文件读取的流程图；
图6为本发明实施例提供的另一文件读取方法的流程图；
图7为本发明实施例提供的又一文件读取方法的流程图；
图8为本发明实施例提供的一种文件读取装置的结构示意图；
图9为本发明实施例提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
图1为本发明实施例提供的一种文件读取方法的流程图，本实施例可适用于对云存储系统中存储的文件进行读取的情况，典型的，该方法可应用于安防行业时序性文件在云存储系统中的读取。该方法可以由文件读取装置来执行，该装置可由软件和/或硬件的方式来实现。参见图1，该方法具体包括如下步骤：
步骤110、获取待读取的目标文件的目标时间信息，以及目标文件在云存储系统中的目标存储目录。
其中，云存储由元数据管理服务器(Cloud Data Management，CDM)以及若干虚拟存储节点(Cloud Data Storage Virtual Service Software，CDV)组成。具体参见图2，多个虚拟存储节点组成一个存储集群管理单位(Cloud Data Cluster Management Unit，CLU)，CDM主要用来管理集群中的虚拟存储节点，负责存储设备的增删。当数据写入时，CLU分组中的主节点根据负载均衡策略选择负载最小的虚拟存储节点进行存储。本实施例中，云储存系统存储的数据为具有时序特征的数据，例如安防行业的卡口图片、门禁系统中抓拍的人脸图片和分段存储的视频流等。
进一步的，在单个虚拟存储节点上，云存储系统中的数据以文件系统方式存在于资源上，资源指的是经过格式化处理后的存储空间，该存储空间可以是虚拟存储节点的本地磁盘，也可以是通过iscsi协议挂载的标准存储资源，通常情况下，一个虚拟存储节点上对应有多个存储资源。进一步的参照图3，云存储系统中存储的数据最终都是以文件系统来管理的，资源上文件系统主要包括两个部分，Slice数据区和文件名称索引区。其中，Slice数据区被划分为固定大小的数据片段，一般为64M，用来存储原始数据；文件名称索引区，提供文件名称索引功能，即记录文件的名称与原始数据信息，相当于一级元数据。文件名称索引区中主要包含了目录块DirBlock和文件块FileBlock，一个目录块中包含有限个目录信息DirInfo，其中记录了目录名称，创建修改时间，文件块起始地址、结束地址和文件块数量等信息，文件块中包含有限个文件信息，其中记录了文件名FileInfo，创建修改时间，校验值，在Slice数据区的地址，文件长度等。
本实施例中，当需要读取目标文件数据时，用户通过应用层传入待读取的目标文件的文件路径和文件名，根据目标文件的文件路径确定目标文件在云存储系统中的目标存储目录，并将文件名中包含的时间信息转换为unix时间戳，以获取目标文件的时间信息。其中unix时间戳为1970年1月1日(UTC/GMT的午夜)开始所经过的秒数，不考虑闰秒。
步骤120、根据所述目标时间信息和所述目标存储目录，以及加载的云存储系统中文件块的时间信息，确定目标文件所属的目标文件块；其中所述文件块的时间信息包括文件块的磁盘位置和时间区间。
本实施例中，通过根据文件数据流的时序特征，在内存中对文件系统磁盘中的文件块做映射，建立文件块的时间信息结构，从而提取文件块的时间范围，利用目标文件的时间信息，在内存中建立的文件块的时间信息中查找对应的目标文件块。
具体的，文件系统资源加载时，读取文件存储的目录信息，将所有目录信息经过处理后加载进B+树结构以供查询。在加载完目录信息后需要加载所有文件信息，但是直接加载所有文件信息显然会导致内存占用过多，所以文件信息的加载以文件块为单位。
进一步的，在根据所述目标时间信息和所述目标存储目录，以及加载的云存储系统中文件块的时间信息，确定目标文件所属的目标文件块之前，还包括：
依据云存储系统中文件块存放文件的时间信息和磁盘位置，在内存中建立云存储系统中文件块的时间信息，以供目标文件依据目标时间信息在内存中查找所属的目标文件块。
具体的，在内存中开辟一段数组空间，数组元素个数N与文件块个数对应。具体的数组结构参照图4，其每个数组元素Array[i]存储三个基本信息：文件块位置Pos以及以unix时间戳形式存放的文件最老时间T1和最新时间T2，可选的，一个数组元素最少占用12B内存空间。示例性的，若一个资源规格为13万个文件块，每个文件块中包含1920个文件信息，则单个资源总文件量在2.5亿个时仅占用约1.2MB内存空间。加载完成后内存中就会有一份文件块的时间信息表，该时间信息表包括文件块的磁盘位置和时间区间。
本实施例中，依据加载的云存储系统中文件块的时间信息可以得到云存储系统中文件块对应的时间区间信息，通过目标存储目录可以得到目标存储目录下存储的文件块的时间区间信息，通过目标文件的时间信息，依次在目标存储目录下文件块的时间区间内进行查找，以确定目标文件所属的目标文件块。
示例性，若目标文件的时间信息为t0，当某一待查找的文件块的时间区间[t1,t2]满足t1≤t0≤t2时，则确定该文件块为目标文件所属的目标文件块。
步骤130、根据所述目标文件块的磁盘位置，从云存储系统中读取目标文件的数据信息。
本实施例中，在确定目标文件所属的目标文件块之后，根据目标文件块的磁盘位置，只需一次磁盘的读取就可以从云存储系统中读取目标文件的数据信息。
进一步参照图5和图6，图5为优化前文件读取的流程图，图6为本发明实施例提供的优化后的一种文件读取的流程图。在优化前流程中，读取一个文件需要多次读取磁盘以获取存储目录下的文件块，再从文件块中查询文件信息，多次读取磁盘耗时长，降低了文件读取的效率。在本发明实施例中，在进行文件的读取时，先将待读取文件名称中的时间信息转换为unix时间戳T，通过将时间戳T和在内存中记录的每个文件块中的文件最老时间T1和文件最新时间T2进行比较，只要T在时间T1到T2的范围内就可以确定文件信息在此文件块中，只需要一次磁盘读取即可获取到文件块数据，并且查找出文件信息，从云存储系统中读取目标文件的数据信息。
本实施例的技术方案，通过获取待读取的目标文件的目标时间信息，以及目标文件在云存系统中的目标存储目录，进而根据目标时间信息和目标存储目录，以及加载的云存储系统中文件块的时间信息，确定目标文件所属的目标文件块，根据目标文件块的磁盘位置，从云存储系统中读取目标文件的数据信息，在确定目标文件所属的文件块之后再进行磁盘的读取，减少了磁盘的读取次数，提高了文件查找和读取的效率。
图7为本发明实施例提供的又一文件读取方法的流程图。本发明实施例是在上述实施例的基础上，对步骤120进行进一步的细化。参见图7，该方法具体可以包括：
步骤210、获取待读取的目标文件的目标时间信息，以及目标文件在云存储系统中的目标存储目录。
步骤220、根据所述目标存储目录，从加载的云存储系统中文件块的时间信息中确定目标存储目录中文件块的时间信息。
本实施例中，云存储系统包括若干个CDV，每个CDV下包含若干个存储目录，存储目录下包含多个文件块。根据目标存储目录，可以对应的确定目标文件在云存储系统中的存储目录，以及存储目录下存储的文件块以及文件块的时间信息。
步骤230、将所述目标时间信息与加载的目标存储目录中文件块的时间信息进行匹配，得到目标文件所属的目标文件块。
根据目标文件的时间信息，在内存中对存储目录中文件块的时间区间中查找目标文件所属的目标文件块。具体的，若目标文件的时间信息大于或等于所述存储目录下文件块的时间区间的最小值并且小于或者等于所述时间区间的最大值，则确定该文件块为目标文件所属的目标文件块。
步骤240、根据所述目标文件块的磁盘位置，从云存储系统中读取目标文件的数据信息。
本实施例的技术方法，通过确定目标文件的存储目录，将目标文件的时间信息与存储目录中文件块的时间区间进行对比，进而确定目标文件所属的目标文件块，依据目标文件块的磁盘位置信息进行一次读取，来从云存储系统中获取目标文件的数据信息。该方法适用于单个节点存储文件量较大的情况，提高了单个存储节点的存储能力，从而间接的提升了整个存储系统的性能。
在上述实施例的基础上，该文件读取方法还包括：获取待写入文件的时间信息，以及待写入文件所属文件块的时间区间；
根据所述待写入文件的时间信息，对待写入文件所属文件块的时间区间进行更新。
具体的，文件的写入过程需要查找到空闲文件块位置作为待写入文件的所属的文件块，进而将文件元数据信息保存到磁盘中，对于待写入文件的文件块的时间区间来说，若待写入文件的时间信息不在其时间区间内，则需要根据待写入文件的时间信息，对待写入文件所属文件块的时间区间进行更新。
进一步的，根据所述待写入文件的时间信息，对待写入文件所属文件块的时间区间进行更新，包括：
若待写入文件的时间信息小于所述待写入文件所属文件块的时间区间最小值，则将所述待写入文件所属文件块的时间区间最小值更新为待写入文件的时间信息；
若待写入文件的时间信息大于所述待写入文件所属文件块的时间区间最大值，则将所述待写入文件所属文件块的时间区间最大值更新为待写入文件的时间信息。
示例性的，若待写入文件所属文件块的时间区间为[T1,T2]，若待写入文件的时间信息T满足T≤T1，则需要将时间信息中的最老时间T1赋值为T，同样的如果满足T2≤T则需要将T2赋值为T。通过在文件写入的时候对待写入文件所述文件块的时间区间进行更新，确保了文件块时间区间的准确性和实时性，能进一步保障文件读取的正确性。
图8为本发明实施例提供的一种文件读取装置的结构示意图，参照图8，该装置具体包括：信息获取模块310、目标文件块确定模块320以及数据信息获取模块330。
其中，信息获取模块310，用于获取待读取的目标文件的目标时间信息，以及目标文件在云存储系统中的目标存储目录。
目标文件块确定模块320，用于根据所述目标时间信息和所述目标存储目录，以及加载的云存储系统中文件块的时间信息，确定目标文件所属的目标文件块；其中所述文件块的时间信息包括文件块的磁盘位置和时间区间。
数据信息获取模块330，用于根据所述目标文件块的磁盘位置，从云存储系统中读取目标文件的数据信息。
进一步的，目标文件块确定模块330具体用于：根据所述目标存储目录，从加载的云存储系统中文件块的时间信息中确定目标存储目录中文件块的时间信息；
将所述目标时间信息与加载的目标存储目录中文件块的时间信息进行匹配，得到目标文件所属的目标文件块。
进一步的，所述装置还包括更新模块，更新模块具体用于：获取待写入文件的时间信息，以及待写入文件所属文件块的时间区间；
根据所述待写入文件的时间信息，对待写入文件所属文件块的时间区间进行更新。
进一步的，更新模块还具体用于：若待写入文件的时间信息小于所述待写入文件所属文件块的时间区间最小值，则将所述待写入文件所属文件块的时间区间最小值更新为待写入文件的时间信息；
若待写入文件的时间信息大于所述待写入文件所属文件块的时间区间最大值，则将所述待写入文件所属文件块的时间区间最大值更新为待写入文件的时间信息。
进一步的，该装置还包括时间信息建立模块，用于依据云存储系统中文件块存放文件的时间信息和磁盘位置，在内存中建立云存储系统中文件块的时间信息，以供目标文件依据目标时间信息在内存中查找所属的目标文件块。
本发明实施例所提供的一种文件读取装置可执行本发明任意实施例所提供的一种文件读取方法，具备执行方法相应的功能模块和有益效果，不再进行赘述。
图9为本发明实施例提供的一种设备的结构示意图。图9示出了适于用来实现本发明实施方式的示例性设备12的框图。图9显示的设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示，设备12以通用计算设备的形式表现。设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图9未显示，通常称为“硬盘驱动器”)。尽管图9中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该设备12交互的设备通信，和/或与使得该设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与设备12的其它模块通信。处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的一种文件读取方法。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的一种文件读取方法。
其中，所述方法包括：
获取待读取的目标文件的目标时间信息，以及目标文件在云存储系统中的目标存储目录；
根据所述目标时间信息和所述目标存储目录，以及加载的云存储系统中文件块的时间信息，确定目标文件所属的目标文件块；其中所述文件块的时间信息包括文件块的磁盘位置和时间区间；
根据所述目标文件块的磁盘位置，从云存储系统中读取目标文件的数据信息。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种文件读取方法，其特征在于，所述方法包括：
获取待读取的目标文件的目标时间信息，以及目标文件在云存储系统中的目标存储目录；
根据所述目标时间信息和所述目标存储目录，以及加载的云存储系统中文件块的时间信息，确定目标文件所属的目标文件块；其中所述文件块的时间信息包括文件块的磁盘位置和时间区间；
根据所述目标文件块的磁盘位置，从云存储系统中读取目标文件的数据信息。
2.根据权利要求1所述的方法，其特征在于，根据所述目标时间信息和所述目标存储目录，以及加载的云存储系统中文件块的时间信息，确定目标文件所属的目标文件块，包括：
根据所述目标存储目录，从加载的云存储系统中文件块的时间信息中确定目标存储目录中文件块的时间信息；
将所述目标时间信息与目标存储目录中文件块的时间信息进行匹配，得到目标文件所属的目标文件块。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取待写入文件的时间信息，以及待写入文件所属文件块的时间区间；
根据所述待写入文件的时间信息，对待写入文件所属文件块的时间区间进行更新。
4.根据权利要求3所述的方法，其特征在于，根据所述待写入文件的时间信息，对待写入文件所属文件块的时间区间进行更新，包括：
若待写入文件的时间信息小于所述待写入文件所属文件块的时间区间最小值，则将所述待写入文件所属文件块的时间区间最小值更新为待写入文件的时间信息；
若待写入文件的时间信息大于所述待写入文件所属文件块的时间区间最大值，则将所述待写入文件所属文件块的时间区间最大值更新为待写入文件的时间信息。
5.根据权利要求1所述的方法，其特征在于，在根据所述目标时间信息和所述目标存储目录，以及加载的云存储系统中文件块的时间信息，确定目标文件所属的目标文件块之前，还包括：
依据云存储系统中文件块存放文件的时间信息和磁盘位置，在内存中建立云存储系统中文件块的时间信息，以供目标文件依据目标时间信息在内存中查找所属的目标文件块。
6.一种文件读取装置，其特征在于，所述装置包括：
信息获取模块，用于获取待读取的目标文件的目标时间信息，以及目标文件在云存储系统中的目标存储目录；
目标文件块确定模块，用于根据所述目标时间信息和所述目标存储目录，以及加载的云存储系统中文件块的时间信息，确定目标文件所属的目标文件块；其中所述文件块的时间信息包括文件块的磁盘位置和时间区间；
数据信息获取模块，用于根据所述目标文件块的磁盘位置，从云存储系统中读取目标文件的数据信息。
7.根据权利要求6所述的装置，其特征在于，所述目标文件块确定模块具体用于：
根据所述目标存储目录，从加载的云存储系统中文件块的时间信息中确定目标存储目录中文件块的时间信息；
将所述目标时间信息与加载的目标存储目录中文件块的时间信息进行匹配，得到目标文件所属的目标文件块。
8.根据权利要求6所述的装置，其特征在于，所述装置还包括更新模块，所述更新模块用于：
获取待写入文件的时间信息，以及待写入文件所属文件块的时间区间；
根据所述待写入文件的时间信息，对待写入文件所属文件块的时间区间进行更新。
9.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的一种文件读取方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的一种文件读取方法。
CN201911158096.3A 2019-11-22 2019-11-22 一种文件读取方法、装置、设备和介质 Pending CN111782588A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911158096.3A CN111782588A (zh) 2019-11-22 2019-11-22 一种文件读取方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911158096.3A CN111782588A (zh) 2019-11-22 2019-11-22 一种文件读取方法、装置、设备和介质

Publications (1)

Publication Number Publication Date
CN111782588A true CN111782588A (zh) 2020-10-16

Family

ID=72755776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911158096.3A Pending CN111782588A (zh) 2019-11-22 2019-11-22 一种文件读取方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN111782588A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112615918A (zh) * 2020-12-16 2021-04-06 杭州迪普科技股份有限公司 网络管理系统及其信息同步方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102194011A (zh) * 2011-06-17 2011-09-21 北京互信互通信息技术股份有限公司 一种多路视频数据读写方法
CN104268146A (zh) * 2014-08-21 2015-01-07 南京邮电大学 一种适合分析型应用的静态b+树索引方法
CN104731779A (zh) * 2013-12-18 2015-06-24 中国电子信息产业集团有限公司第六研究所 一种面向实时数据库的实时文件系统数据组织管理方法
CN108287668A (zh) * 2018-01-25 2018-07-17 深圳市智物联网络有限公司 设备数据的处理方法及装置、计算机装置及可读存储介质
CN109597566A (zh) * 2017-09-30 2019-04-09 杭州海康威视系统技术有限公司 一种数据读取、存储方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102194011A (zh) * 2011-06-17 2011-09-21 北京互信互通信息技术股份有限公司 一种多路视频数据读写方法
CN104731779A (zh) * 2013-12-18 2015-06-24 中国电子信息产业集团有限公司第六研究所 一种面向实时数据库的实时文件系统数据组织管理方法
CN104268146A (zh) * 2014-08-21 2015-01-07 南京邮电大学 一种适合分析型应用的静态b+树索引方法
CN109597566A (zh) * 2017-09-30 2019-04-09 杭州海康威视系统技术有限公司 一种数据读取、存储方法及装置
CN108287668A (zh) * 2018-01-25 2018-07-17 深圳市智物联网络有限公司 设备数据的处理方法及装置、计算机装置及可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112615918A (zh) * 2020-12-16 2021-04-06 杭州迪普科技股份有限公司 网络管理系统及其信息同步方法
CN112615918B (zh) * 2020-12-16 2023-04-21 杭州迪普科技股份有限公司 网络管理系统及其信息同步方法

Similar Documents

Publication Publication Date Title
US11645183B1 (en) User interface for correlation of virtual machine information and storage information
US11816083B2 (en) Method and system for indexing of time-series data
CN107533551B (zh) 数据块级别的大数据统计
CN110019004B (zh) 一种数据处理方法、装置及系统
CN111258978B (zh) 一种数据存储的方法
CN105303456A (zh) 电力传输设备监控数据处理方法
US11625412B2 (en) Storing data items and identifying stored data items
US9280551B2 (en) De-duplication deployment planning
US10642530B2 (en) Global occupancy aggregator for global garbage collection scheduling
CN114168540A (zh) 文件索引信息处理方法、装置、电子设备及存储介质
CN114138558A (zh) 一种对象存储方法、装置、电子设备和存储介质
CN109189724B (zh) 提高视频监控系统音视频数据存储效率的方法及装置
CN112306957A (zh) 获取索引节点号的方法、装置、计算设备和存储介质
Zhang et al. Recovering SQLite data from fragmented flash pages
CN113779426B (zh) 数据存储方法、装置、终端设备及存储介质
CN112711564B (zh) 合并处理方法以及相关设备
CN111782588A (zh) 一种文件读取方法、装置、设备和介质
CN113297245A (zh) 获取执行信息的方法及装置
CN111427920A (zh) 数据采集方法、装置、系统、计算机设备及存储介质
CN112765170B (zh) 一种嵌入式时间序列数据管理方法及设备
CN113760950B (zh) 指标数据查询方法、装置、电子设备以及存储介质
CN115576947A (zh) 一种数据管理方法、装置、组合库、电子设备及存储介质
CN108984720B (zh) 基于列存储的数据查询方法、装置、服务器及存储介质
CN113051244A (zh) 数据访问方法和装置、数据获取方法和装置
CN111782834A (zh) 图像检索的方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination