CN110555000A - 一种卡口图片元数据并发写入、读取方法 - Google Patents

一种卡口图片元数据并发写入、读取方法 Download PDF

Info

Publication number
CN110555000A
CN110555000A CN201910837651.9A CN201910837651A CN110555000A CN 110555000 A CN110555000 A CN 110555000A CN 201910837651 A CN201910837651 A CN 201910837651A CN 110555000 A CN110555000 A CN 110555000A
Authority
CN
China
Prior art keywords
small file
file
information
nodes
small
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910837651.9A
Other languages
English (en)
Inventor
彭茂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Unisinsight Technology Co Ltd
Original Assignee
Chongqing Unisinsight Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Unisinsight Technology Co Ltd filed Critical Chongqing Unisinsight Technology Co Ltd
Priority to CN201910837651.9A priority Critical patent/CN110555000A/zh
Publication of CN110555000A publication Critical patent/CN110555000A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1847—File system types specifically adapted to static storage, e.g. adapted to flash memory or SSD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种卡口图片元数据并发写入、读取方法，其中写入方法包括：当接收到图片索引信息的写入请求时，在内存或数据库中获取未写满的小文件分片节点；其中，所述小文件分片节点由大文件经分片处理得到；将所述图片索引信息写入到所述未写满的小文件分片节点的缓存中；将存储有图片索引信息的小文件分片节点的缓存信息写入磁盘。本发明将大文件分成小文件分片节点的形式组织和管理，能够有效的提升元数据文件的并发读写性能，并且能够减少底层文件系统文件树的个数，增加查找效率。

Description

一种卡口图片元数据并发写入、读取方法
技术领域
本发明涉及数据存储技术领域，具体涉及一种卡口图片元数据并发写入、读取方法。
背景技术
随着卡口抓拍技术的高速发展，卡口抓拍的海量图片数据需要高可用、高可靠且高性能的存储系统来保证其数据的安全性和可用性。
传统的文件系统应用程序在使用时，读写性能较差，用户检索速度缓慢，所以需要一种简单易行的文件并发读写方法，并且专门针对卡口图片元数据做优化。
发明内容
鉴于以上所述现有技术的缺点，本发明提供一种卡口图片元数据并发写入、读取方法，以解决现有技术中的问题。
为实现上述目的及其他相关目的，本发明提供一种卡口图片元数据并发写入方法，所述写入方法包括：
当接收到图片索引信息的写入请求时，在内存或数据库中获取未写满的小文件分片节点；其中，所述小文件分片节点由大文件经分片处理得到；
将所述图片索引信息写入到所述未写满的小文件分片节点的缓存中；
将存储有图片索引信息的小文件分片节点的缓存信息写入磁盘。
可选地，若内存与数据库中均不存在未写满的小文件分片节点，则在内存或数据库中获取未写满的大文件，对所述未写满的大文件未写入数据的部分进行分片处理，得到若干小文件分片节点。
可选地，若内存与数据库中均不存在未写满的大文件，则新创建大文件，并对新创建的所述大文件进行分片处理，得到若干小文件分片节点。
可选地，在小文件分片节点的缓存存储的数据超过设定值或距离上一次操作此小文件分片节点的时间超过设定值时，将缓存信息写入磁盘。
可选地，所述大文件和所述小文件分片节点存储于redis数据库中。
可选地，所述大文件的属性值和所述小文件分片节点的属性值相同。
为实现上述目的及其他相关目的，本发明提供一种卡口图片元数据并发读取方法，该读取方法包括：
当接收到访问图片目录的请求时，获取当前目录下的所有小文件分片节点信息；其中，所述小文件分片节点由大文件经分片处理得到；
将所述小文件分片节点信息加入到处理队列中；
依次读取所述处理队列中的小文件分片节点信息；
解析小文件分片节点信息；
根据解析小文件分片节点信息的结果向磁盘读取数据；
解析向磁盘读取的数据，得到索引的键值对；
返回索引的键值对信息。
可选地，解析小文件分片节点信息的结果包括小文件分片节点所属的大文件的文件名以及小文件分片节点在该大文件中的偏移和小文件分片节点实际写入的大小。
可选地，将所有的索引的键值对信息加载到数据库缓存中，并在设定时间段后对数据库的缓存进行释放。
可选地，所述大文件和所述小文件分片节点存储于redis数据库中。
如上所述，本发明的一种卡口图片元数据并发写入、读取方法，具有以下有益效果：
将大文件分成小文件分片节点的形式组织和管理，能够有效的提升元数据文件的并发读写性能，并且能够减少底层文件系统文件树的个数，增加查找效率。
将大文件和小文件分片节点存放在redis数据库，能够有效的保证数据的持久化，系统断电重启后能够快速的定位到未满的大文件信息和小文件分片节点信息。
附图说明
图1为卡口图片元数据存储的示意图；
图2为本发明一实施例一种卡口图片元数据并发写入方法的流程图；
图3为大文件和小文件分片节点的示意图；
图4为数据库中的存储方式示意图；
图5为内存中的存放方式示意图；
图6为本发明一实施例一种卡口图片元数据并发写入装置的示意图；
图7为本发明一实施例一种卡口图片元数据并发读取方法的流程图；
图8为本发明一实施例一种卡口图片元数据并发读取装置的示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
卡口相机抓拍的图片数据通过分布式文件系统存储到后端存储设备上，为了快速定位和下载图片数据信息，需要把每一张图片的名称和存放的位置当成元数据信息存放到分布式文件系统上。如图1所示，卡口相机抓拍的图片发送给中心管理服务器，中心管理服务器通过标准的ftp协议将图片数据发送给ftp服务器，ftp服务器通过分布式文件系统的中心管理节点CM分布式的存储图片数据和元数据信息，并把目录和索引文件的组织结构存放到redis数据库。
为了提高读写图片元数据信息的性能，本发明提供了一种卡口图片元数据并发读写的方法，使得读写海量的图片元数据信息性能得到显著的提升。
如图2所示，本发明提供一种卡口图片元数据并发写入方法，该写入方法包括：
步骤S110当接收到图片索引信息的写入请求时，在内存或数据库中获取未写满的小文件分片节点；其中，所述小文件分片节点由大文件经分片处理得到；
步骤S111将所述图片索引信息写入到所述未写满的小文件分片节点的缓存中；
步骤S112将存储有图片索引信息的小文件分片节点的缓存信息写入磁盘。
在本发明中，将大文件分成小文件分片节点的形式组织和管理，能够有效的提升元数据文件的并发读写性能，并且能够减少底层文件系统文件树的个数，增加查找效率。
在一实施例中，所述的大文件的大小为1G，大文件经过分片处理得到1024个小文件分片节点，则每个小文件分片节点的大小为1M。
单台服务器所有用户目录共享同一个大文件，不同的用户目录获取大文件的一个小文件分片节点用于存储元数据信息。大文件命名规则ftpserverID_time_random，例如：node21_20190704080821_cO42，1M小文件分片节点的命令规则BigFileName_offset，例如：node21_20190704080821_cO42_0、node21_20190704080821_cO42_1048576，offset是1M分片在大文件中的起始位置，1G大文件分片如图3所示。
于一实施例中，大文件以及小文件分片节点的信息都存储在redis数据中，这样可以保证数据的持久化。图4为数据库中的存储方式示意图，大文件的属性值为“T 2；C Time；M Time；S Size”，其中，T后的数值代表类型，目录为1，文件为2，C后的数值为大文件的创建时间，M后的数值为大文件最后的修改时间，满覆盖可根据此修改时间判断大文件是否需要删除，S后的数值为大文件已被分配的大小，每分配一次大小加1M，如果此数值满1G则不能再到此大文件分配1M的空闲空间，需要重新创建大文件。
于一实施例中，1M小文件分片节点的属性值和1G大文件的属性值一样，1M小文件分片节点对应的数据每刷一次磁盘都需要更新数据库中1M小文件分片节点的修改时间以及大小，同时需要更新1M小文件分片节点对应1G大文件的修改时间，每1M小文件分片节点最大浪费104个字节的空间，这是根据单条元数据信息的占用空间计算得到的，当1M小文件分片节点的剩余的空间不够存储一条索引记录时，则需要重新获取一个新的1M小文件分片节点。
图5为在内存中的存放形式示意图，如图所示。ftp服务器启动之时，初始化一个双向链表用于存储大文件的信息，初始化一张hash表用于存储小文件分片节点信息。小文件分片节点记录当前1M小文件分片节点的实际大小、大文件的句柄、大文件节点的互斥锁、大文件名等关键信息，为了保证数据写入的原子性，同一大文件句柄同一时刻写入数据时需要加互斥锁。
当某一个用户有图片索引数据的写请求到来时，则在内存中根据请求的目录路径通过hash算法寻找未写满1M的小文件分片节点信息，若内存中不存在未写满1M的小文件分片节点，则再在数据库中获取未写满1M的小文件分片节点，若数据库中存在未写满1M的小文件分片节点，则加载到内存中；若数据库中存在未写满1M的小文件分片节点，则在内存中获取1G大文件的信息，若内存中不存在1G大文件，则去数据库中查找未写满1G的大文件信息，若数据库中存在未写满1G的大文件，则加载到内存中，并对所述未写满的大文件未写入数据的部分进行分片处理，得到若干1M小文件分片节点；若数据库中不存在未写满1G的大文件，则新创建1G的大文件，并添加到数据库和内存中，对新创建的1G大文件进行分片处理，从而得到1024个1M的小文件分片节点，图片索引信息可以被写入到未写满的1M的小文件分片节点的缓存中。
在一具体实施例中，若在内存中获取到未写满1M的小文件分片节点，则同时需要获取该小文件分片节点所对应的大文件的句柄及大文件的互斥锁。
在一实施例中，在小文件分片节点的缓存存储的数据超过设定值或距离上一次操作此小文件分片节点的时间超过设定值时，将缓存信息写入磁盘。
具体地，由于1M的小文件分片节点的缓存可以存储64条元数据，则可以定义小文件分片节点的缓存超过64元数据时，将缓存信息写入磁盘中。
同时也可以定义在距离上一次操作该小文件分片节点的时间超过设置时间时，把缓存信息写信到磁盘中。具体地，设置时间可以定义为1S。
在本发明中，由于每一个节点具有全局唯一的小文件分片节点信息，对不同的卡口相机可以共用同一个大文件，由于内存有多条元数据的缓存，所以对于同一个大文件能够做到并发写。
如图6所示，一种卡口图片元数据并发写入装置，该写入装置包括：
接收模块，用于接收图片索引信息的写入请求；
小文件查找模块，用于在内存或数据库中获取未写满的小文件分片节点；其中，所述小文件分片节点由大文件经分片处理得到；
第一写入模块，用于将所述图片索引信息写入到所述未写满的小文件分片节点的缓存中；
第二写入模块，用于将存储有图片索引信息的小文件分片节点的缓存信息写入磁盘。
在一实施例中，该写入装置还包括：
大文件查找模块，用于在内存与数据库中均不存在未写满的小文件分片节点的情况下，在内存或数据库中获取未写满的大文件；
分片模块，用于对所述未写满的大文件未写入数据的部分进行分片处理，得到若干小文件分片节点。
在一实施例中，该写入装置还包括：
大文件创建模块，用于在内存与数据库中均不存在未写满的大文件的情况下，新创建大文件，
所述分片模块还用于对新创建的所述大文件进行分片处理，得到若干小文件分片节点。
在一实施例中，所述第二写入模块用于在小文件分片节点的缓存存储的数据超过设定值或距离上一次操作此小文件分片节点的时间超过设定值时，将缓存信息写入磁盘。
于一实施例中，所述大文件和所述小文件分片节点存储于redis数据库中。
于一实施例中，所述大文件的属性值和所述小文件分片节点的属性值相同。
需要说明的是，由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例的内容请参见方法部分的实施例的描述，这里暂不赘述。
如图7所示，一种卡口图片元数据并发读取方法，该读取方法包括：
S210当接收到访问图片目录的请求时，获取当前目录下的所有小文件分片节点信息；其中，所述小文件分片节点由大文件经分片处理得到；
S211将所述小文件分片节点信息加入到处理队列中；由后台处理线程处理。
在一实施例中，后台设置16个处理线程。
S212依次读取所述处理队列中的小文件分片节点信息；
S213解析小文件分片节点信息；其中，解析小文件分片节点信息的结果包括小文件分片节点所属的大文件的文件名以及小文件分片节点在该大文件中的偏移和小文件分片节点实际写入的大小。
S214根据解析小文件分片节点信息的结果向磁盘读取数据；
S215解析向磁盘读取的数据，得到索引的键值对；
在一实施例中，将所有的索引的键值对信息加载到数据库缓存中，并在设定时间段后对数据库的缓存进行释放。
S216返回索引的键值对信息。
于一实施例中，所述大文件和所述小文件分片节点存储于redis数据库中。
在本发明中，访问某一用户目录时，为了增加访问性能，采用类似于mapreduce的并发读取方式，获取数据库中待加载用户目录下所有的1M小文件分片节点信息，加入处理队列，由多线程并发读取图片元数据信息，最长的读取时间即为读取最慢的那一个分片的时间。
如图8所示，一种卡口图片元数据并发读取装置，该读取装置包括：
接收模块，用于接收到访问图片目录的请求；
小文件获取模块，用于获取当前目录下的所有小文件分片节点信息；其中，所述小文件分片节点由大文件经分片处理得到；
插入模块，用于将所述小文件分片节点信息加入到处理队列中；其中，处理队列中的信息由后台处理线程处理。
在一实施例中，后台设置16个处理线程。
第一读取模块，用于依次读取所述处理队列中的小文件分片节点信息；
第一解析模块，用于解析小文件分片节点信息；其中，解析小文件分片节点信息的结果包括小文件分片节点所属的大文件的文件名以及小文件分片节点在该大文件中的偏移和小文件分片节点实际写入的大小。
第二读取模块，用于根据解析小文件分片节点信息的结果向磁盘读取数据；
第二解析模块，用于解析向磁盘读取的数据，得到索引的键值对；
在一实施例中，将所有的索引的键值对信息加载到数据库缓存中，并在设定时间段后对数据库的缓存进行释放。
输出模块，用于返回索引的键值对信息。
在一实施例中，将所有的索引的键值对信息加载到数据库缓存中，并在设定时间段后对数据库的缓存进行释放；所述大文件和所述小文件分片节点存储于redis数据库中。
需要说明的是，由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例的内容请参见方法部分的实施例的描述，这里暂不赘述。
一种存储介质，存储计算机程序，所述计算机程序被处理器运行时执行前述的方法。
一种电子终端，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器存储的计算机程序，以使所述设备执行前述的方法。
所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器((RAM,Random AccessMemory)、电载波信号、电信信号以及软件分发介质等。
所述处理器可以是中央处理单元(Central Processing Unit,CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(FieldProgrammable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器可以是内部存储单元或外部存储设备，例如插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字卡(Secure Digital,SD)，闪存卡(Flash Card)等。进一步地，所述存储器还可以既包括内部存储单元，也包括外部存储设备。所述存储器用于存储所述计算机程序以及其他程序和数据。所述存储器还可以用于暂时地存储己经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种卡口图片元数据并发写入方法，其特征在于，所述写入方法包括：
当接收到图片索引信息的写入请求时，在内存或数据库中获取未写满的小文件分片节点；其中，所述小文件分片节点由大文件经分片处理得到；
将所述图片索引信息写入到所述未写满的小文件分片节点的缓存中；
将存储有图片索引信息的小文件分片节点的缓存信息写入磁盘。
2.根据权利要求1所述的卡口图片元数据并发写入方法，其特征在于，若内存与数据库中均不存在未写满的小文件分片节点，则在内存或数据库中获取未写满的大文件，对所述未写满的大文件未写入数据的部分进行分片处理，得到若干小文件分片节点。
3.根据权利要求2所述的卡口图片元数据并发写入方法，其特征在于，若内存与数据库中均不存在未写满的大文件，则新创建大文件，并对新创建的所述大文件进行分片处理，得到若干小文件分片节点。
4.根据权利要求1所述的卡口图片元数据并发写入方法，其特征在于，在小文件分片节点的缓存存储的数据超过设定值或距离上一次操作此小文件分片节点的时间超过设定值时，将缓存信息写入磁盘。
5.根据权利要求1所述的卡口图片元数据并发写入方法，其特征在于，所述大文件和所述小文件分片节点存储于redis数据库中。
6.根据权利要求1所述的卡口图片元数据并发写入方法，其特征在于，所述大文件的属性值和所述小文件分片节点的属性值相同。
7.一种卡口图片元数据并发读取方法，其特征在于，该读取方法包括：
当接收到访问图片目录的请求时，获取当前目录下的所有小文件分片节点信息；其中，所述小文件分片节点由大文件经分片处理得到；
将所述小文件分片节点信息加入到处理队列中；
依次读取所述处理队列中的小文件分片节点信息；
解析小文件分片节点信息；
根据解析小文件分片节点信息的结果向磁盘读取数据；
解析向磁盘读取的数据，得到索引的键值对；
返回索引的键值对信息。
8.根据权利要求7所述的卡口图片元数据并发读取方法，其特征在于，解析小文件分片节点信息的结果包括小文件分片节点所属的大文件的文件名以及小文件分片节点在该大文件中的偏移和小文件分片节点实际写入的大小。
9.根据权利要求8所述的卡口图片元数据并发读取方法，其特征在于，将所有的索引的键值对信息加载到数据库缓存中，并在设定时间段后对数据库的缓存进行释放。
10.根据权利要求7所述的卡口图片元数据并发读取方法，其特征在于，所述大文件和所述小文件分片节点存储于redis数据库中。
CN201910837651.9A 2019-09-05 2019-09-05 一种卡口图片元数据并发写入、读取方法 Pending CN110555000A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910837651.9A CN110555000A (zh) 2019-09-05 2019-09-05 一种卡口图片元数据并发写入、读取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910837651.9A CN110555000A (zh) 2019-09-05 2019-09-05 一种卡口图片元数据并发写入、读取方法

Publications (1)

Publication Number Publication Date
CN110555000A true CN110555000A (zh) 2019-12-10

Family

ID=68739297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910837651.9A Pending CN110555000A (zh) 2019-09-05 2019-09-05 一种卡口图片元数据并发写入、读取方法

Country Status (1)

Country Link
CN (1) CN110555000A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104462563A (zh) * 2014-12-26 2015-03-25 浙江宇视科技有限公司 一种文件存储方法和系统
CN105069048A (zh) * 2015-07-23 2015-11-18 东方网力科技股份有限公司 一种小文件存储方法、查询方法和装置
CN105975638A (zh) * 2016-06-23 2016-09-28 中国民航大学 一种基于NoSQL的海量航空物流小文件存储结构及其存取方法
CN107066503A (zh) * 2017-01-05 2017-08-18 郑州云海信息技术有限公司 海量元数据分片分布的方法及装置
US10162836B1 (en) * 2014-06-30 2018-12-25 EMC IP Holding Company LLC Parallel file system with striped metadata
CN109299100A (zh) * 2018-10-12 2019-02-01 第四范式（北京）技术有限公司 管理内存数据及在内存中维护数据的方法和系统
CN109994131A (zh) * 2019-04-10 2019-07-09 广西电网有限责任公司玉林供电局 一种基于索引的工频录波文件压缩存储方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10162836B1 (en) * 2014-06-30 2018-12-25 EMC IP Holding Company LLC Parallel file system with striped metadata
CN104462563A (zh) * 2014-12-26 2015-03-25 浙江宇视科技有限公司 一种文件存储方法和系统
CN105069048A (zh) * 2015-07-23 2015-11-18 东方网力科技股份有限公司 一种小文件存储方法、查询方法和装置
CN105975638A (zh) * 2016-06-23 2016-09-28 中国民航大学 一种基于NoSQL的海量航空物流小文件存储结构及其存取方法
CN107066503A (zh) * 2017-01-05 2017-08-18 郑州云海信息技术有限公司 海量元数据分片分布的方法及装置
CN109299100A (zh) * 2018-10-12 2019-02-01 第四范式（北京）技术有限公司 管理内存数据及在内存中维护数据的方法和系统
CN109994131A (zh) * 2019-04-10 2019-07-09 广西电网有限责任公司玉林供电局 一种基于索引的工频录波文件压缩存储方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵晓永: "《面向云计算的数据存储关键技术研究》", 31 December 2014 *

Similar Documents

Publication Publication Date Title
US10824673B2 (en) Column store main fragments in non-volatile RAM and the column store main fragments are merged with delta fragments, wherein the column store main fragments are not allocated to volatile random access memory and initialized from disk
US11269832B2 (en) Application-centric object configuration
GB2439578A (en) Virtual file system with links between data streams
CN108140040A (zh) 存储器中数据库的选择性数据压缩
CN110555001B (zh) 数据处理方法、装置、终端及介质
CN109804359A (zh) 用于将数据回写到存储设备的系统和方法
US11250888B1 (en) Flash memory and method for storing and retrieving embedded audio video data
WO2008001094A1 (en) Data processing
Nath Energy efficient sensor data logging with amnesic flash storage
US11669402B2 (en) Highly efficient native application data protection for office 365
CN116414304B (zh) 基于日志结构化合并树的数据存储装置和存储控制方法
Kvet et al. Relational pre-indexing layer supervised by the DB_index_consolidator Background Process
CN110555000A (zh) 一种卡口图片元数据并发写入、读取方法
US8886656B2 (en) Data processing
US10970221B2 (en) Optimizing space utilization by retaining metadata in cache
CN112860628A (zh) 一种文件系统规模管理方法及系统
CN111782588A (zh) 一种文件读取方法、装置、设备和介质
CN116048396B (zh) 基于日志结构化合并树的数据存储装置和存储控制方法
CN114297196B (zh) 元数据存储方法、装置、电子设备及存储介质
CN115878563B (zh) 一种分布式文件系统目录级快照的实现方法及电子设备
US8290993B2 (en) Data processing
WO2017007511A1 (en) Data management using index change events
CN113220211A (zh) 数据存储系统、数据访问方法及相关装置
CN114297196A (zh) 元数据存储方法、装置、电子设备及存储介质
CN115934669A (zh) 一种三维瓦片存储与分发方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191210

RJ01 Rejection of invention patent application after publication