CN110716899A - 一种文件、图片快速读取方法、系统、介质及电子终端 - Google Patents

一种文件、图片快速读取方法、系统、介质及电子终端 Download PDF

Info

Publication number
CN110716899A
CN110716899A CN201910910985.4A CN201910910985A CN110716899A CN 110716899 A CN110716899 A CN 110716899A CN 201910910985 A CN201910910985 A CN 201910910985A CN 110716899 A CN110716899 A CN 110716899A
Authority
CN
China
Prior art keywords
data
nodes
information
database
reading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910910985.4A
Other languages
English (en)
Inventor
刘保林
代洪跃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Unisinsight Technology Co Ltd
Original Assignee
Chongqing Unisinsight Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Unisinsight Technology Co Ltd filed Critical Chongqing Unisinsight Technology Co Ltd
Priority to CN201910910985.4A priority Critical patent/CN110716899A/zh
Publication of CN110716899A publication Critical patent/CN110716899A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162—Delete operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种文件、图片快速读取方法，包括：设置一个或多个集群节点，根据不同的集群节点创建与所述集群节点对应的不同的数据库；将存储于所述数据节点的数据信息，保存至于所述数据节点对应的数据库中，并根据不同的数据节点创建与所述数据节点对应的不同的数据信息表；根据所述数据信息表获取对应数据所在的数据库信息；本发明通过将文件(图片)记录到外部存储空间，一方面避免了文件系统损坏导致无法加载系统，读取数据失败，进而增加了系统的健壮性，另一方面减少了对文件系统的频繁访问，提升了文件(图片)的读取速度，本发明根据集群及DN节点设计的分库分表策略，进一步的提升了查询速度，进而提升了文件(图片)的读取速度。

Description

一种文件、图片快速读取方法、系统、介质及电子终端
技术领域
本发明涉及计算机应用领域，尤其涉及一种文件、图片快速读取方法、系统、介质及电子终端。
背景技术
分布式文件系统是一个开源的高性能分布式文件系统，主要功能包括：文件存储，文件同步和文件访问，以及高容量和负载平衡。其中，分布式视频监控文件系统是专门针对监控视频文件的文件系统，当系统资源节点较多时，面对海量的文件、图片，快速的访问，是决定系统性能好坏的一个关键因素。
目前，针对海量的文件、图片的快速的访问的问题，学术界研究普遍较少且相关学术文献或者资料也同样较少，现有技术中的常用的方式都存在着缺点，例如，基于NoSQL的海量航空物流小文件分布式多级存储方法，但是该方法忽略了当NoSQL工作失败时，系统将无法正常工作，并且读取性能还有待进一步提升。又例如，基于内存的文件系统，能显著提升文件访问速度，但是需要将整个文件系统存入内存，对服务器性能提出了较高的要求。而基于快速小文件存取优化算法，需要依赖小文件访问日志，文件命中率需要进一步提升。而一些基于快速访问查询图片的方法，但此类方法只记录了图片的MD5值，依然会遍历部分图片，影响图片读取速度。因此，在现有的分布式视频监控系统中，文件、图片的快速访问依然是一个亟待解决的问题。
发明内容
鉴于以上所述现有技术的缺点，本发明提供一种文件、图片快速读取方法、系统、介质及电子终端，以解决上述技术问题。
本发明提供的文件、图片快速读取方法，包括：
设置一个或多个集群节点，每个集群节点包括多个数据节点；
根据不同的集群节点创建与所述集群节点对应的不同的数据库；
将存储于所述数据节点的数据信息，保存至于所述数据节点对应的数据库中，并根据不同的数据节点创建与所述数据节点对应的不同的数据信息表；所述数据信息包括数据的位置信息；
根据所述数据信息表获取对应数据所在的数据库信息，完成数据的写入和读取。
可选的，所述数据包括文件信息和/或图片信息，当进行数据存储时，中央存储管理模块根据预先制定的存储策略将所述数据写入一集群节点中的一数据节点，并将所述数据保存至数据库中，当数据库写入成功时，将数据信息同步到缓存中间件，以及中央存储管理模块进程的内存表中。
可选的，当进行数据读取时，查询数据所在的集群节点和数据节点，根据所述集群节点和数据节点获取对应的数据信息表，进而获取对应的数据路径，根据所述数据路径，读取所述数据。
可选的，预先设置数据查询的优先级，当获取数据路径时，根据所述优先级进行查询，当前优先级查询失败时，再按下一优先级进行查询，任何一步查询成功后，则终止查询。
可选的，预先设置数据删除或更新的优先级，当进行数据删除或数据更新时，根据所述优先级执行数据删除或数据更新。
可选的，所述数据查询的优先级包括内存表、中间件、数据库和数据节点的先后顺序，所述数据删除或更新的优先级包括数据库、中间件、内存表的先后顺序。
可选的，所述数据查询的优先级从高到低依次为内存表、中间件、数据库、数据节点。
可选的，所述数据删除或更新的优先级从高到低依次为数据库、中间件、内存表。
可选的，当进行数据读取时，直接查询数据信息所在数据库，获取待查询的数据信息，进而获取对应的数据路径，根据所述数据路径，读取所述数据。
可选的，当进行数据读取时，按内存表、数据库的优先级，获取待查询的数据信息，进而获取对应的数据路径，根据所述数据路径，读取所述数据。
可选的，将数据信息同步至中间件中，当进行数据读取时，按中间件、数据库的优先级，获取待查询的数据信息，进而获取对应的数据路径，根据所述数据路径，读取所述数据。
本发明还提供一种文件、图片快速读取方法，包括：
设置一个或多个集群节点，每个集群节点包括多个数据节点；
将存储于所述数据节点的数据信息，保存至于所述数据节点对应的数据库中，所述数据信息包括数据的位置信息；
通过查询所述数据库，获取所述数据信息，完成数据的读取。
本发明还提供一种文件、图片快速读取方法，包括：
设置一个或多个集群节点，每个集群节点包括多个数据节点；
将存储于所述数据节点的数据信息，保存至于所述数据节点对应的数据库中，并将所述数据信息同步至缓存设备中，所述数据信息包括数据的位置信息；
当进行数据读取时，按内存表、数据库的优先级，获取待查询的数据信息，进而获取对应的数据路径，根据所述数据路径，读取所述数据。
本发明还提供一种文件、图片快速读取方法，包括：
设置一个或多个集群节点，每个集群节点包括多个数据节点；
根据不同的集群节点创建与所述集群节点对应的不同的数据库；
将存储于所述数据节点的数据信息，保存至于所述数据节点对应的数据库中，并根据不同的数据节点创建与所述数据节点对应的不同的数据信息表；所述数据信息包括数据的位置信息；
当进行数据读取时，按中间件、数据库的优先级，获取待查询的数据信息，进而获取对应的数据路径，根据所述数据路径，读取所述数据
本发明还提供一种文件、图片快速读取系统，包括：
集群节点，所述集群节点为一个或多个，每个集群节点包括多个数据节点；
数据库单元，所述数据库单元用于根据不同的集群节点创建与所述集群节点对应的不同的数据库；
数据信息表单元，用于将存储于所述数据节点的数据信息，保存至于所述数据节点对应的数据库中，并根据不同的数据节点创建与所述数据节点对应的不同的数据信息表；所述数据信息包括数据的位置信息；
写入读取单元，用于根据所述数据信息表获取对应数据所在的数据库信息，完成数据的写入和读取。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述中任一项所述方法。
本发明还提供一种电子终端，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如上述中任一项所述方法。
本发明的有益效果：本发明中的文件、图片快速读取方法、系统、介质及电子终端，通过将文件(图片)记录到外部存储空间，而不依赖自身的文件系统，一方面避免了文件系统损坏导致无法加载系统，读取数据失败，进而增加了系统的健壮性，另一方面减少了对文件系统的频繁访问，提升了文件(图片)的读取速度，本发明根据集群及DN节点设计的分库分表策略，进一步的提升了查询速度，进而提升了文件(图片)的读取速度。
附图说明
图1是本发明实施例中文件、图片快速读取方法的数据存储的示意图。
图2是本发明实施例中文件、图片快速读取方法的数据库分库分表创建原则示意图。
图3是本发明实施例中文件、图片快速读取方法中的文件信息表的示意图。
图4是本发明实施例中文件、图片快速读取方法中的图片信息表的示意图。
图5是本发明实施例中文件、图片快速读取方法的流程示意图。
图6是本发明实施例中文件、图片快速读取方法的流程示意图。
图7是本发明实施例中文件、图片快速读取方法的流程示意图。
图8是本发明实施例中文件、图片快速读取方法的流程示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。
如图8所示，本实施例中的文件、图片快速读取方法，包括：
设置一个或多个集群节点，每个集群节点包括多个数据节点；
根据不同的集群节点创建与所述集群节点对应的不同的数据库；
将存储于所述数据节点的数据信息，保存至于所述数据节点对应的数据库中，并根据不同的数据节点创建与所述数据节点对应的不同的数据信息表；所述数据信息包括数据的位置信息；
根据所述数据信息表获取对应数据所在的数据库信息，完成数据的写入和读取。
通过本实施例中的方法，可以针对分布式视频监控系统中海量数据进行快速读取，通过将数据信息，例如文件slices和图片offset，记录到外部存储空间(内存、中间件、数据库)，而不依赖自身的文件系统，一方面避免了文件系统损坏导致无法加载系统，读取数据失败，进而增加了系统的健壮性，另一方面减少了对文件系统的频繁访问，提升了文件(图片)的读取速度。
在本实施例中，数据包括文件信息和/或图片信息，当进行数据存储时，中央存储管理模块根据预先制定的存储策略将所述数据写入一集群节点中的一数据节点，并将所述数据保存至数据库中，当数据库写入成功时，将数据信息同步到缓存中间件，以及中央存储管理模块进程的内存表中。
在本实施例中，当进行数据读取时，查询数据所在的集群节点和数据节点，根据所述集群节点和数据节点获取对应的数据信息表，进而获取对应的数据路径，根据所述数据路径，读取所述数据。，预先设置数据查询的优先级，当获取数据路径时，根据所述优先级进行查询，当前优先级查询失败时，再按下一优先级进行查询，任何一步查询成功后，则终止查询。预先设置数据删除或更新的优先级，当进行数据删除或数据更新时，根据所述优先级执行数据删除或数据更新。
下面以一个具体流程为例：
S11、当数据下发，中央存储管理模块(Central Management，CM)可以根据预先设定的负载均衡策略，将文件(图片)写入某个集群节点下的指定DN(Data Node)上，然后将文件(图片)信息保存到数据库中，如图1所示。
S12、数据库根据分库分表原则，对不同的集群节点创建不同的数据库，不同的DN节点创建不同的文件(图片)信息表，创建原则如图2，文件(图片)信息表的字段信息如图3(如图4)所示，其中文件slices(图片偏移)信息是指根据该信息能完整导出该文件(图片)的位置信息。
S13、当数据库写入成功，同步该文件(图片)的信息到缓存中间件(如memcache等)中，缓存系统按条件可以部署在CM或数据库服务器上，也可单独部署在独立的服务器上。
S14、同样将该文件(图片)信息同步到CM进程的内存表中。
通过上述步骤S11-S14完成文件的文件(图片)的信息存储。
当进行文件(图片)的读取时：
S21、当进行文件(图片)的读取时，CM根据预先设定的负载均衡策略确定文件(图片)所在集群节点(cluster id)和DN节点，进而确定文件(图片)对应的待查询信息表，再根据查询到的文件slices(图片偏移offset)，读取对应数据。
S22、获取文件slices信息(图片偏移offset)时，按照内存表->中间件->数据库->DN的先后顺序，在前一步查询失败时，再按下一步方式查询。任何一步查询成功则终止查询，并将查询信息依次同步到查询失败的上层存储结构中，便于下次查询，客户端可以根据文件slices信息(图片偏移offset)直接读取底层数据。
S23、当删除或更新文件(图片)时，按数据库->中间件->内存表顺序删除或更新该文件(图片)信息。
在本实施例中，在外部条件限制时，比如单机版、不支持中间件技术等，本实施例给出所提供的方案组合。
方案1：
S31、文件(图片)信息记录到数据库(参考流程S11)
S32、文件(图片)信息读取：客户端直接查询数据库，然后根据文件slices(图片offset)信息读取数据信息。
方案2：
S41、文件(图片)信息记录到数据库(参考流程S11)
S42、将文件(图片)信息同步到内存表中(参考流程S13)
S43、文件(图片)读取：客户端按照内存表->数据库的顺序查找文件(图片)信息，然后根据文件slices(图片offset)信息读取数据信息。
方案3：
S51、文件(图片)信息记录到数据库(参考流程S11)
S52、将文件(图片)信息同步到中间件中(参考流程S12)
S53、文件(图片)读取：客户端按照中间件->数据库的顺序查找文件(图片)信息，然后根据文件slices(图片offset)信息读取相关信息。
全流程方案可以参考S11-S14和S21，具体简要流程如图5和图6所示。
相应的，本实施例还提供一种文件、图片快速读取系统，包括：
集群节点，所述集群节点为一个或多个，每个集群节点包括多个数据节点；
数据库单元，所述数据库单元用于根据不同的集群节点创建与所述集群节点对应的不同的数据库；
数据信息表单元，用于将存储于所述数据节点的数据信息，保存至于所述数据节点对应的数据库中，并根据不同的数据节点创建与所述数据节点对应的不同的数据信息表；所述数据信息包括数据的位置信息；
写入读取单元，用于根据所述数据信息表获取对应数据所在的数据库信息，完成数据的写入和读取。
如图7所示，为一个典型的分布式视频监控系统，通过如图所示的摄像头采集视频及图片数据，然后经计算机处理下发到对应集群节点下对应数据节点(Data Node，DN)上进行存储。
在本实施例中，视频数据以文件形式存储，此时:
检查数据库中是否有该集群节点下该DN节点文件(图片)信息表，无则创建，创建原则按照图2所示；
将文件(图片)信息按照图3(4)给出的字段信息存储到文件(图片)信息表中。其中，文件slices信息包括文件所占块的个数及每个块的偏移、大小等信息；图片offset为该图片头起始位置该DN资源上的位置信息。在数据写完资源之后，将上述信息存入数据库。
而后将该文件(图片)信息依次存入中间件和进程内存中，供快速查询使用。
其中，集群节点号根据摄像机所在节点来定，DN节点根据中央存储管理设备(Central Management，CM)根据其数据分流策略来确定。
当客户端读取视频文件(图片)时：
根据集群ID及节点ID确定待查询文件(图片)信息表；
通过带全路径的文件(图片)名，找到其文件slices(图片偏移)信息；
然后直接从资源上读取文件(图片)信息。其中查询顺序内存->中间件->数据库->DN，任何一级查询成功则返回查询的文件slices或图片偏移结果，并将查询信息依次同步到查询失败的存储结构中。
当对文件(图片)删除时：
依次删除数据库->缓存系统->内存表中该文件(图片)信息。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本实施例中的任一项方法。
本实施例还提供一种电子终端，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行本实施例中任一项方法。
本实施例中的计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例提供的电子终端，包括处理器、存储器、收发器和通信接口，存储器和通信接口与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于进行通信，处理器和收发器用于运行计算机程序，使电子终端执行如上方法的各个步骤。
在本实施例中，存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在上述实施例中，说明书对“本实施例”、“一实施例”、“另一实施例”、或“其他实施例”的提及表示结合实施例说明的特定特征、结构或特性包括在至少一些实施例中，但不必是全部实施例。“本实施例”、“一实施例”、“另一实施例”的多次出现不一定全部都指代相同的实施例。如果说明书描述了部件、特征、结构或特性“可以”、“或许”或“能够”被包括，则该特定部件、特征、结构或特性“可以”、“或许”或“能够”被包括，则该特定部件、特征、结构或特性不是必须被包括的。如果说明书或权利要求提及“一”元件，并非表示仅有一个元件。如果说明书或权利要求提及“一另外的”元件，并不排除存在多于一个的另外的元件。
在上述实施例中，尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变形对本领域普通技术人员来说将是显而易见的。例如，其他存储结构(例如，动态RAM(DRAM))可以使用所讨论的实施例。本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。
本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (17)

1.一种文件、图片快速读取方法，其特征在于，包括：
设置一个或多个集群节点，每个集群节点包括多个数据节点；
根据不同的集群节点创建与所述集群节点对应的不同的数据库；
将存储于所述数据节点的数据信息，保存至于所述数据节点对应的数据库中，并根据不同的数据节点创建与所述数据节点对应的不同的数据信息表；所述数据信息包括数据的位置信息；
根据所述数据信息表获取对应数据所在的数据库信息，完成数据的写入和读取。
2.根据权利要求1所述的文件、图片快速读取方法，其特征在于，所述数据包括文件信息和/或图片信息，当进行数据存储时，中央存储管理模块根据预先制定的存储策略将所述数据写入一集群节点中的一数据节点，并将所述数据保存至数据库中，当数据库写入成功时，将数据信息同步到缓存中间件，以及中央存储管理模块进程的内存表中。
3.根据权利要求1所述的文件、图片快速读取方法，其特征在于，当进行数据读取时，查询数据所在的集群节点和数据节点，根据所述集群节点和数据节点获取对应的数据信息表，进而获取对应的数据路径，根据所述数据路径，读取所述数据。
4.根据权利要求3所述的文件、图片快速读取方法，其特征在于，预先设置数据查询的优先级，当获取数据路径时，根据所述优先级进行查询，当前优先级查询失败时，再按下一优先级进行查询，任何一步查询成功后，则终止查询。
5.根据权利要求3所述的文件、图片快速读取方法，其特征在于，预先设置数据删除或更新的优先级，当进行数据删除或数据更新时，根据所述优先级执行数据删除或数据更新。
6.根据权利要求5所述的文件、图片快速读取方法，其特征在于，所述数据查询的优先级包括内存表、中间件、数据库和数据节点的先后顺序，所述数据删除或更新的优先级包括数据库、中间件、内存表的先后顺序。
7.根据权利要求6所述的文件、图片快速读取方法，其特征在于，所述数据查询的优先级从高到低依次为内存表、中间件、数据库、数据节点。
8.根据权利要求6所述的文件、图片快速读取方法，其特征在于，所述数据删除或更新的优先级从高到低依次为数据库、中间件、内存表。
9.根据权利要求1所述的文件、图片快速读取方法，其特征在于，当进行数据读取时，直接查询数据信息所在数据库，获取待查询的数据信息，进而获取对应的数据路径，根据所述数据路径，读取所述数据。
10.根据权利要求1所述的文件、图片快速读取方法，其特征在于，当进行数据读取时，按内存表、数据库的优先级，获取待查询的数据信息，进而获取对应的数据路径，根据所述数据路径，读取所述数据。
11.根据权利要求1所述的文件、图片快速读取方法，其特征在于，将数据信息同步至中间件中，当进行数据读取时，按中间件、数据库的优先级，获取待查询的数据信息，进而获取对应的数据路径，根据所述数据路径，读取所述数据。
12.一种文件、图片快速读取方法，其特征在于，包括：
设置一个或多个集群节点，每个集群节点包括多个数据节点；
将存储于所述数据节点的数据信息，保存至于所述数据节点对应的数据库中，所述数据信息包括数据的位置信息；
通过查询所述数据库，获取所述数据信息，完成数据的读取。
13.一种文件、图片快速读取方法，其特征在于，包括：
设置一个或多个集群节点，每个集群节点包括多个数据节点；
将存储于所述数据节点的数据信息，保存至于所述数据节点对应的数据库中，并将所述数据信息同步至缓存设备中，所述数据信息包括数据的位置信息；
当进行数据读取时，按内存表、数据库的优先级，获取待查询的数据信息，进而获取对应的数据路径，根据所述数据路径，读取所述数据。
14.一种文件、图片快速读取方法，其特征在于，包括：
设置一个或多个集群节点，每个集群节点包括多个数据节点；
根据不同的集群节点创建与所述集群节点对应的不同的数据库；
将存储于所述数据节点的数据信息，保存至于所述数据节点对应的数据库中，并根据不同的数据节点创建与所述数据节点对应的不同的数据信息表；所述数据信息包括数据的位置信息；
当进行数据读取时，按中间件、数据库的优先级，获取待查询的数据信息，进而获取对应的数据路径，根据所述数据路径，读取所述数据。
15.一种文件、图片快速读取系统，其特征在于，包括：
集群节点，所述集群节点为一个或多个，每个集群节点包括多个数据节点；
数据库单元，所述数据库单元用于根据不同的集群节点创建与所述集群节点对应的不同的数据库；
数据信息表单元，用于将存储于所述数据节点的数据信息，保存至于所述数据节点对应的数据库中，并根据不同的数据节点创建与所述数据节点对应的不同的数据信息表；所述数据信息包括数据的位置信息；
写入读取单元，用于根据所述数据信息表获取对应数据所在的数据库信息，完成数据的写入和读取。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现权利要求1至14中任一项所述方法。
17.一种电子终端，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求1至14中任一项所述方法。
CN201910910985.4A 2019-09-25 2019-09-25 一种文件、图片快速读取方法、系统、介质及电子终端 Pending CN110716899A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910910985.4A CN110716899A (zh) 2019-09-25 2019-09-25 一种文件、图片快速读取方法、系统、介质及电子终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910910985.4A CN110716899A (zh) 2019-09-25 2019-09-25 一种文件、图片快速读取方法、系统、介质及电子终端

Publications (1)

Publication Number Publication Date
CN110716899A true CN110716899A (zh) 2020-01-21

Family

ID=69210844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910910985.4A Pending CN110716899A (zh) 2019-09-25 2019-09-25 一种文件、图片快速读取方法、系统、介质及电子终端

Country Status (1)

Country Link
CN (1) CN110716899A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104317800A (zh) * 2014-09-19 2015-01-28 山东大学 一种海量智能用电数据混合存储系统及方法
CN107622064A (zh) * 2016-07-14 2018-01-23 中国移动通信集团重庆有限公司 一种数据读取方法及系统
CN108628897A (zh) * 2017-03-22 2018-10-09 上海恒容企业管理有限公司 基于快数据和大数据技术架构的运维管理方法
CN109831540A (zh) * 2019-04-12 2019-05-31 成都四方伟业软件股份有限公司 分布式存储方法、装置、电子设备及存储介质
US20190272280A1 (en) * 2016-10-17 2019-09-05 Huawei Technologies Co., Ltd. Method for Elastic Geographical Database Replication

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104317800A (zh) * 2014-09-19 2015-01-28 山东大学 一种海量智能用电数据混合存储系统及方法
CN107622064A (zh) * 2016-07-14 2018-01-23 中国移动通信集团重庆有限公司 一种数据读取方法及系统
US20190272280A1 (en) * 2016-10-17 2019-09-05 Huawei Technologies Co., Ltd. Method for Elastic Geographical Database Replication
CN108628897A (zh) * 2017-03-22 2018-10-09 上海恒容企业管理有限公司 基于快数据和大数据技术架构的运维管理方法
CN109831540A (zh) * 2019-04-12 2019-05-31 成都四方伟业软件股份有限公司 分布式存储方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US10496627B2 (en) Consistent ring namespaces facilitating data storage and organization in network infrastructures
US9262458B2 (en) Method and system for dynamically partitioning very large database indices on write-once tables
KR102564170B1 (ko) 데이터 객체 저장 방법, 장치, 및 이를 이용한 컴퓨터 프로그램이 저장되는 컴퓨터 판독가능한 저장 매체
JP5722962B2 (ja) ストレージ性能の最適化
CN111538724B (zh) 管理索引的方法
CN105138571B (zh) 分布式文件系统及其存储海量小文件的方法
US10678817B2 (en) Systems and methods of scalable distributed databases
CN109407977B (zh) 一种大数据分布式存储管理方法及系统
US9165022B2 (en) Maintaining a data structure with data set names and pointers to a plurality of catalogs
US11151081B1 (en) Data tiering service with cold tier indexing
CN103501319A (zh) 一种低延迟的面向小文件的分布式存储系统
US20150169623A1 (en) Distributed File System, File Access Method and Client Device
Challa et al. DD-Rtree: A dynamic distributed data structure for efficient data distribution among cluster nodes for spatial data mining algorithms
CN114610680A (zh) 分布式文件系统元数据管理方法、装置、设备及存储介质
US8612717B2 (en) Storage system
CN104516945A (zh) 一种基于关系数据库的hdfs元数据存储方法
CN107133334B (zh) 基于高带宽存储系统的数据同步方法
CN110716899A (zh) 一种文件、图片快速读取方法、系统、介质及电子终端
US11580128B2 (en) Preventing DBMS deadlock by eliminating shared locking
JP6110354B2 (ja) 異種記憶サーバおよびそのファイル記憶方法
KR101368441B1 (ko) 데이터베이스의 공간 재사용 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
CN116450591B (zh) 一种数据处理方法、装置、计算机设备及存储介质
KR20200136858A (ko) 인덱스 관리 방법
CN117215477A (zh) 数据对象存储方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200121