CN109656899B - 非结构化数据存储方法、装置、设备和计算机可读存储介质 - Google Patents

非结构化数据存储方法、装置、设备和计算机可读存储介质 Download PDF

Info

Publication number
CN109656899B
CN109656899B CN201811573992.1A CN201811573992A CN109656899B CN 109656899 B CN109656899 B CN 109656899B CN 201811573992 A CN201811573992 A CN 201811573992A CN 109656899 B CN109656899 B CN 109656899B
Authority
CN
China
Prior art keywords
value
file
kvd
key
length
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811573992.1A
Other languages
English (en)
Other versions
CN109656899A (zh
Inventor
火一莽
刘子豪
石志中
张俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ruian Technology Co Ltd
Original Assignee
Beijing Ruian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ruian Technology Co Ltd filed Critical Beijing Ruian Technology Co Ltd
Priority to CN201811573992.1A priority Critical patent/CN109656899B/zh
Publication of CN109656899A publication Critical patent/CN109656899A/zh
Application granted granted Critical
Publication of CN109656899B publication Critical patent/CN109656899B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638Organizing or formatting or addressing of data
    • G06F3/0643Management of files

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种非结构化数据存储方法、装置、设备和计算机可读存储介质,一种非结构化数据存储方法包括:将多个非结构化数据整合为kvd文件,所述kvd文件包括头部和多个kv对,所述头部包括存储地址信息,每个kv对包括一个键存储区和一个值存储区,读取所述kvd文件头部,确定所述kvd文件的存储地址,依次读取所述kvd文件中的每个kv对并进行验证,若所述kvd文件中的每个kv对均通过验证,则将所述kvd文件存储于所述存储地址中。本发明公开的非结构化数据存储方法、装置、设备和计算机可读存储介质,用于提高非结构化数据的存储效率。

Description

非结构化数据存储方法、装置、设备和计算机可读存储介质
技术领域
本发明实施例涉及计算机技术,尤其涉及一种非结构化数据存储方法、装置、设备和计算机可读存储介质。
背景技术
在大数据存储领域,具有海量的非结构化数据需要进行存储,而这些数据的大小不一,直接存储会占用过多的系统资源,增加系统的复杂度。对于大数据存储中常用的分布式文件系统(Hadoop Distributed File System,HDFS)而言,也并不适合大量小文件的存储。
另外,在存储大量非结构化数据的过程中,对数据的验证也存在困难,传统的验证方式采用流式处理的方式进行处理,存在着占用系统资源过多,时间开销过大的问题,很有可能造成数据挤压,从而引发一系列的巨大风险。
发明内容
本发明提供一种非结构化数据存储方法、装置、设备和计算机可读存储介质,以提高非结构化数据的存储效率。
第一方面,本发明实施例提供一种非结构化数据存储方法,包括:
将多个非结构化数据整合为kvd文件,所述kvd文件包括头部和多个kv对,所述头部包括存储地址信息,每个kv对包括一个键存储区和一个值存储区;
读取所述kvd文件头部,确定所述kvd文件的存储地址;
依次读取所述kvd文件中的每个kv对并进行验证;
若所述kvd文件中的每个kv对均通过验证,则将所述kvd文件存储于所述存储地址中。
在第一方面一种可能的实现方式中,所述kvd文件中的每个kv对还包括键大小字节和值大小字节;
所述依次读取所述kvd文件中的每个kv对并进行验证,包括:
依次读取每个kv对;
对于每个kv对,读取键大小字节,确定键的长度;
根据键的长度从键存储区读取键数据;
读取值大小字节,确定值的长度;
根据值的长度从值存储区读取值数据;
若所述键数据和所述值数据读取成功,则确定kv对通过验证。
在第一方面一种可能的实现方式中,所述依次读取所述kvd文件中的每个kv对并进行验证,还包括:
在确定键的长度和值的长度后,判断所述键的长度值和所述值的长度值是否在预设长度区间内;
若所述键的长度值和所述值的长度值不在预设长度区间内,则抛弃所述kvd文件。
在第一方面一种可能的实现方式中所述依次读取所述kvd文件中的每个kv对并进行验证,包括:
若根据键的长度从键存储区读取键数据或根据值的长度从值存储区读取值数据不成功,则抛弃所述kvd文件。
第二方面,本发明实施例还提供了一种非结构化数据存储装置,包括:
文件整合模块,用于将多个非结构化数据整合为kvd文件,所述kvd文件包括头部和多个kv对,所述头部包括存储地址信息,每个kv对包括一个键存储区和一个值存储区;
文件头部读取模块,用于读取所述kvd文件头部,确定所述kvd文件的存储地址;
文件验证模块,用于依次读取所述kvd文件中的每个kv对并进行验证;
文件存储模块,用于若所述kvd文件中的每个kv对均通过验证,则将所述kvd文件存储于所述存储地址中。
在第二方面一种可能的实现方式中,所述kvd文件中的每个kv对还包括键大小字节和值大小字节;
所述文件验证模块,具体用于依次读取每个kv对;对于每个kv对,读取键大小字节,确定键的长度;根据键的长度从键存储区读取键数据;读取值大小字节,确定值的长度;根据值的长度从值存储区读取值数据;若所述键数据和所述值数据读取成功,则确定kv对通过验证。
在第二方面一种可能的实现方式中,所述文件验证模块,具体用于在确定键的长度和值的长度后,判断所述键的长度值和所述值的长度值是否在预设长度区间内;若所述键的长度值和所述值的长度值不在预设长度区间内,则抛弃所述kvd文件。
在第二方面一种可能的实现方式中,所述文件验证模块,具体用于若根据键的长度从键存储区读取键数据或根据值的长度从值存储区读取值数据不成功,则抛弃所述kvd文件。
第三方面,本发明实施例还提供了一种非结构化数据存储设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现第一方面任一种可能的实现方式的非结构化数据存储方法
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如第一方面任一种可能的实现方式的非结构化数据存储方法。
本发明实施例提供的非结构化数据存储方法、装置、设备和计算机可读存储介质,通过将多个非结构化数据整合为kvd文件,所述kvd文件包括头部和多个kv对,所述头部包括存储地址信息,每个kv对包括一个键存储区和一个值存储区,首先读取所述kvd文件头部,确定所述kvd文件的存储地址,再依次读取所述kvd文件中的每个kv对并进行验证,当所述kvd文件中的每个kv对均通过验证时,将所述kvd文件存储于所述存储地址中,避免了存储多个非结构化数据时所产生的系统开销,节约了系统资源,提高了存储效率。
附图说明
图1为本发明实施例提供的非结构化数据存储方法实施例一的流程图;
图2为kv对的存储结构示意图;
图3为kvd文件kv的存储结构示意图;
图4为本发明实施例提供的非结构化数据存储方法实施例二的流程图;
图5为本发明实施例提供的非结构化数据存储装置实施例一的结构示意图;
图6为本发明实施例提供的非结构化数据存储设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
图1为本发明实施例提供的非结构化数据存储方法实施例一的流程图,如图1所示,本实施例提供的非结构化数据存储方法包括:
步骤S101,将多个非结构化数据整合为kvd文件,所述kvd文件包括头部和多个kv对,所述头部包括存储地址信息,每个kv对包括一个键存储区和一个值存储区。
由于非结构化数据大小不一,且在大数据存储系统中,具有海量的非结构化数据需要进行存储,目前的大数据存储主要采用hdfs进行存储,对于海量的非结构化数据存储,整个文件存储系统的压力过大,可能对整个大数据平台造成威胁。
为了解决海量非结构化数据在大数据存储系统中的存储问题,本实施例提出一种新的非结构化数据存储方法,采用键-值(key-value)存储方式,将多个非结构化数据整合为一个kvd文件,并在存储kvd文件的过程中,通过验证流程对kvd文件进行验证,从而将多个非结构化数据合成为一个kvd数据进行存储,这样就减小了将海量非结构化数据存储在大数据系统中所带来的压力。
为了实现本实施例提供的非结构化数据的存储,首先需要将多个非结构化数据整合为一个kvd文件。一个kvd文件中所包括的非结构化数据的数量可以根据大数据存储系统的性能确定,例如若大数据存储系统对存储文件的大小有要求,则可以根据大数据存储系统的存储文件大小要求确定一个kvd文件的大小,也就是一个kvd文件中所包括的非结构化数据的总大小不能超过该要求的大小。或者还可以是对一个kvd文件中包括的非结构化数据的数量进行限定,例如一个kvd文件中只能包括N个或N个以内的非结构化数据,这是由于在存储kvd文件的过程中,需要对kvd文件进行验证,若一个kvd文件中包括的非结构化数据的数量较多,则验证的过程可能耗费较多时间,容易造成系统处理瓶颈。或者还可以同时结合上述两种要求,确定kvd文件所包括的非结构化数据的数量。
在每个kvd文件中,包括一个文件头部和多个kv对。其中文件头部包括存储地址,存储地址标识该kvd文件所要存储的目标地址,即存储路径,kvd文件头部占用固定大小,例如8个字节。而每个kv对与一个非结构化数据所对应,每个kv对包括一个键存储区和一个值存储区。其中值存储区中存储实际的数据文件,与一个非结构化数据所对应,键存储区中包括关键字,与一个非结构化数据所对应,一个键和一个值一一对应,这是key-value存储系统的特点,键存储区中所存储的关键字用于对值存储区中存储的数据进行快速的检索和查询。在kvd文件中,各个kv对依次顺序排列,再加上文件头部,共同组成一个kvd文件。
步骤S102,读取所述kvd文件头部,确定所述kvd文件的存储地址。
在将多个非结构化数据整合为一个kvd文件后,在存储该kvd文件时,首先会读取到kvd文件的头部,由于kvd文件头部存储有kvd文件的存储地址,因此将确定该kvd文件的存储目标地址。kvd文件的头部是具有固定长度的,例如8个字节,那么在读取kvd文件时,首先就读取固定长度的字节,从而先确定kvd文件的存储地址。
步骤S103,依次读取所述kvd文件中的每个kv对并进行验证。
在读取完成kvd文件的头部确定存储地址之后,就需要依次读取kvd文件中所存储的各个kv对。在大数据存储系统对数据进行存储的过程中,为了确保数据的正确存储,需要对存储的数据进行验证,而在本实施例中,对kvd文件的存储也需要进行验证的过程。进行kv对读取的过程中,每读取一个kv对,就需要对其进行验证,由于一个kv对于一个非结构化数据所对应,因此对一个kv对进行验证就相当于对一个非结构化数据进行验证。对每个kv对进行验证的可以采用多种方式进行,例如验证kv对中数据的完整性,或者验证数据的长度等。总之,需要对kvd文件中的每个kv对均进行验证。
进一步地,由于对每个kv对进行验证时,采用不同的验证方法所需的系统资源和时间资源均不同,为了提高对kv对进行验证的速度,减少系统资源的消耗,可以采用数据长度的方式对kv对进行验证。具体地,在每个kv对中,除了键存储区和值存储区外,还包括键大小字节和值大小字节两个存储区域。每个kv对的存储结构如图2所示,图2为kv对的存储结构示意图,其中,键大小字节中存储键存储区的长度值,值大小字节中存储值存储区的长度值。
那么依次读取所述kvd文件中的每个kv对并进行验证,包括:依次读取每个kv对,对于每个kv对,首先读取键大小字节,确定键的长度,然后根据键的长度从键存储区读取键数据。接着读取值大小字节,确定值的长度,然后根据值的长度从值存储区读取值数据。若所述键数据和所述值数据均读取成功,则确定该kv对通过验证。其中,由于读取了键长度和值长度,可以根据该键长度和值长度从键存储区和值存储中分别读取键数据和值数据,例如键长度为n个字节,值长度为m个字节,则从键数据中读取n个字节,从值数据读取m个字节,若在读取的过程中,读取不到足够的内容了,则说明键存储区或值存储区中存储错误,无法读取成功,文件验证失败。若对kv对验证成功,则继续验证后续kv对,直至kvd文件中的所有kv对均验证成功。若kv对验证失败,则可以抛弃该kvd文件。
进一步地,由于在确定键长度和值长度后,还需要对键存储区和值存储区中存储的数据进行读取后,才能确定是否验证成功,为了进一步地提高对kv对进行验证的速度,还可以首先对键大小字节和值大小字节进行验证。在读取每个kv对时,首先根据键大小字节确定键的长度,然后判断键的长度值是否在预设长度区间内,其中该预设长度区间是在0-X的一个区间,也就是判断键的长度值是否小于一定数据,并且是否非负。若在预设长度区间内,则再读取键存储区中的键数据。然后根据值大小字节确定值的长度,然后判断值的长度值是否在预设长度区间内,其中该预设长度区间是在0-Y的一个区间,也就是判断值的长度值是否小于一定数据,并且是否非负。若在预设长度区间内,则再读取值存储区中的值数据。
图3为kvd文件kv的存储结构示意图,即依次包括头部文件、键大小字节(keysize)、键存储区(key)、值大小字节(valuesize)、值存储区(value)、键大小字节(keysize)、键存储区(key)…。
步骤S104,若所述kvd文件中的每个kv对均通过验证,则将所述kvd文件存储于所述存储地址中。
若对kvd文件中的每个kv对均进行验证后,确定每个kv对均通过验证,则意味着kvd文件中所包括的多个非结构化数据均完整,此时即可将kvd文件按照文件头部包括存储地址进行存储,从而实现了多个非结构化数据的存储。由于在本实施例提供的非结构化数据存储方法对非结构化数据进行存储的过程中,将多个非结构化数据整合为一个kvd文件,对于文件存储系统而言,减少了对存储系统的访问次数,避免了存储多个非结构化数据时所产生的系统开销,节约了系统资源,提高了存储效率。
本实施例提供的非结构化数据存储方法,通过将多个非结构化数据整合为kvd文件,所述kvd文件包括头部和多个kv对,所述头部包括存储地址信息,每个kv对包括一个键存储区和一个值存储区,首先读取所述kvd文件头部,确定所述kvd文件的存储地址,再依次读取所述kvd文件中的每个kv对并进行验证,当所述kvd文件中的每个kv对均通过验证时,将所述kvd文件存储于所述存储地址中,避免了存储多个非结构化数据时所产生的系统开销,节约了系统资源,提高了存储效率。
图4为本发明实施例提供的非结构化数据存储方法实施例二的流程图,本实施例为对kvd文件进行存储的完整处理逻辑图。
首先在接收到kvd文件后,解析kvd文件的头部,然后读取第一个keysize,接着判断keysize是否正确,若正确则读取key并进行验证,若keysize或key的验证失败,则均报错并抛弃该文件,重新接收新的kvd文件进行处理。若keysize和key的验证成功,则读取valuesize和value,并进行验证,若valuesize或value的验证失败,则均报错并抛弃该文件,重新接收新的kvd文件进行处理。若valuesize和value的验证成功,则判断是否到达文件尾部,若未到达则继续读取下一个keysize和key,直至达到文件尾部,最终完成kvd文件的存储。
图5为本发明实施例提供的非结构化数据存储装置实施例一的结构示意图,如图5所示,本实施例提供的非结构化数据存储装置包括:
文件整合模块51,用于将多个非结构化数据整合为kvd文件,所述kvd文件包括头部和多个kv对,所述头部包括存储地址信息,每个kv对包括一个键存储区和一个值存储区。
文件头部读取模块52,用于读取所述kvd文件头部,确定所述kvd文件的存储地址。
文件验证模块53,用于依次读取所述kvd文件中的每个kv对并进行验证。
文件存储模块54,用于若所述kvd文件中的每个kv对均通过验证,则将所述kvd文件存储于所述存储地址中。
本实施例提供的非结构化数据存储装置用于实现图1所示非结构化数据存储方法的技术方案,其实现原理和技术效果类似,此处不再赘述。
进一步地,在图5所示实施例的基础上,所述kvd文件中的每个kv对还包括键大小字节和值大小字节;所述文件验证模块53,具体用于依次读取每个kv对;对于每个kv对,读取键大小字节,确定键的长度;根据键的长度从键存储区读取键数据;读取值大小字节,确定值的长度;根据值的长度从值存储区读取值数据;若所述键数据和所述值数据读取成功,则确定kv对通过验证。
进一步地,在图5所示实施例的基础上,所述文件验证模块53,具体用于在确定键的长度和值的长度后,判断所述键的长度值和所述值的长度值是否在预设长度区间内;若所述键的长度值和所述值的长度值不在预设长度区间内,则抛弃所述kvd文件。
进一步地,在图5所示实施例的基础上,所述文件验证模块53,具体用于若根据键的长度从键存储区读取键数据或根据值的长度从值存储区读取值数据不成功,则抛弃所述kvd文件。
图6为本发明实施例提供的非结构化数据存储设备的结构示意图,如图6所示,该非结构化数据存储设备包括处理器61和存储器62;非结构化数据存储设备中处理器61的数量可以是一个或多个,图6中以一个处理器61为例;非结构化数据存储设备中的处理器61和存储器62可以通过总线或其他方式连接,图6中以通过总线连接为例。
存储器62作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本申请图1实施例中的非结构化数据存储方法对应的程序指令/模块(例如,非结构化数据存储装置中的文件整合模块51、文件头部读取模块52、文件验证模块53、文件存储模块54)。处理器61通过运行存储在存储器62中的软件程序、指令以及模块,从而非结构化数据存储设备的各种功能应用以及数据处理,即实现上述的非结构化数据存储方法。
存储器62可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据非结构化数据存储设备的使用所创建的数据等。此外,存储器62可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。
本申请实施例还提供一种包含计算机可执行指令的存储介质,计算机可执行指令在由计算机处理器执行时用于执行一种非结构化数据存储方法,该方法包括:
将多个非结构化数据整合为kvd文件,所述kvd文件包括头部和多个kv对,所述头部包括存储地址信息,每个kv对包括一个键存储区和一个值存储区;
读取所述kvd文件头部,确定所述kvd文件的存储地址;
依次读取所述kvd文件中的每个kv对并进行验证;
若所述kvd文件中的每个kv对均通过验证,则将所述kvd文件存储于所述存储地址中。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是,上述非结构化数据存储装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (8)

1.一种非结构化数据存储方法,其特征在于,包括:
将多个非结构化数据整合为kvd文件,所述kvd文件包括头部和多个kv对,所述头部包括存储地址信息,每个kv对包括一个键存储区和一个值存储区,所述kvd文件中的每个kv对还包括键大小字节和值大小字节;
读取所述kvd文件头部,确定所述kvd文件的存储地址;
依次读取每个kv对;
对于每个kv对,读取键大小字节,确定键的长度;
根据键的长度从键存储区读取键数据;
读取值大小字节,确定值的长度;
根据值的长度从值存储区读取值数据;
若所述键数据和所述值数据读取成功,则确定kv对通过验证;
若所述kvd文件中的每个kv对均通过验证,则将所述kvd文件存储于所述存储地址中。
2.根据权利要求1所述的方法,其特征在于,所述依次读取所述kvd文件中的每个kv对并进行验证,还包括:
在确定键的长度和值的长度后,判断所述键的长度值和所述值的长度值是否在预设长度区间内;
若所述键的长度值和所述值的长度值不在预设长度区间内,则抛弃所述kvd文件。
3.根据权利要求1或2所述的方法,其特征在于,所述依次读取所述kvd文件中的每个kv对并进行验证,包括:
若根据键的长度从键存储区读取键数据或根据值的长度从值存储区读取值数据不成功,则抛弃所述kvd文件。
4.一种非结构化数据存储装置,其特征在于,包括:
文件整合模块,用于将多个非结构化数据整合为kvd文件,所述kvd文件包括头部和多个kv对,所述头部包括存储地址信息,每个kv对包括一个键存储区和一个值存储区,所述kvd文件中的每个kv对还包括键大小字节和值大小字节;
文件头部读取模块,用于读取所述kvd文件头部,确定所述kvd文件的存储地址;
文件验证模块,用于依次读取每个kv对;对于每个kv对,读取键大小字节,确定键的长度;根据键的长度从键存储区读取键数据;读取值大小字节,确定值的长度;根据值的长度从值存储区读取值数据;若所述键数据和所述值数据读取成功,则确定kv对通过验证;
文件存储模块,用于若所述kvd文件中的每个kv对均通过验证,则将所述kvd文件存储于所述存储地址中。
5.根据权利要求4所述的装置,其特征在于,所述文件验证模块,具体用于在确定键的长度和值的长度后,判断所述键的长度值和所述值的长度值是否在预设长度区间内;若所述键的长度值和所述值的长度值不在预设长度区间内,则抛弃所述kvd文件。
6.根据权利要求4或5所述的装置,其特征在于,所述文件验证模块,具体用于若根据键的长度从键存储区读取键数据或根据值的长度从值存储区读取值数据不成功,则抛弃所述kvd文件。
7.一种非结构化数据存储设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1~3中任一所述的非结构化数据存储方法。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1~3中任一所述的非结构化数据存储方法。
CN201811573992.1A 2018-12-21 2018-12-21 非结构化数据存储方法、装置、设备和计算机可读存储介质 Active CN109656899B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811573992.1A CN109656899B (zh) 2018-12-21 2018-12-21 非结构化数据存储方法、装置、设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811573992.1A CN109656899B (zh) 2018-12-21 2018-12-21 非结构化数据存储方法、装置、设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN109656899A CN109656899A (zh) 2019-04-19
CN109656899B true CN109656899B (zh) 2021-02-02

Family

ID=66115869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811573992.1A Active CN109656899B (zh) 2018-12-21 2018-12-21 非结构化数据存储方法、装置、设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN109656899B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103023982A (zh) * 2012-11-22 2013-04-03 中国人民解放军国防科学技术大学 一种云存储客户端的低延迟元数据访问方法
CN108388569A (zh) * 2018-01-09 2018-08-10 杭州电子科技大学 一种快速的键值数据库的系统及建立方法
CN108664597A (zh) * 2018-05-08 2018-10-16 深圳市创梦天地科技有限公司 一种移动操作系统上的数据缓存装置、方法及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10235374B2 (en) * 2016-03-08 2019-03-19 International Business Machines Corporation Key-value store for managing user files based on pairs of key-value pairs

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103023982A (zh) * 2012-11-22 2013-04-03 中国人民解放军国防科学技术大学 一种云存储客户端的低延迟元数据访问方法
CN108388569A (zh) * 2018-01-09 2018-08-10 杭州电子科技大学 一种快速的键值数据库的系统及建立方法
CN108664597A (zh) * 2018-05-08 2018-10-16 深圳市创梦天地科技有限公司 一种移动操作系统上的数据缓存装置、方法及存储介质

Also Published As

Publication number Publication date
CN109656899A (zh) 2019-04-19

Similar Documents

Publication Publication Date Title
EP3678346B1 (en) Blockchain smart contract verification method and apparatus, and storage medium
US10897522B2 (en) Method, apparatus, and electronic device for processing consensus requests in a blockchain consensus network
CN108108127B (zh) 一种文件读取方法及系统
US9876696B2 (en) Method and system for processing browser crash information
EP3934163A1 (en) Methods and consensus nodes for block generation
WO2021258831A1 (zh) 数据处理方法及系统
CN111262868B (zh) 一种基于智能网卡的消息发送方法以及接收方法
CN110659151A (zh) 数据校验方法及装置,存储介质
US11210003B2 (en) Method, device and computer program product for restoring data based on replacing child node identifiers with parent node identifier
WO2020048054A1 (zh) 一种数据存储方法、计算机可读存储介质、服务器及装置
CN110442298B (zh) 存储设备异常检测方法及装置、分布式存储系统
CN114706816A (zh) 数据迁移方法、装置及存储介质
CN111061690A (zh) 一种基于rac的数据库日志文件读取方法和装置
CN109656899B (zh) 非结构化数据存储方法、装置、设备和计算机可读存储介质
CN111522648B (zh) 一种区块链的交易处理方法、装置及电子设备
US10761940B2 (en) Method, device and program product for reducing data recovery time of storage system
KR20210126773A (ko) 파티셔닝 방법 및 그 장치
CN114936187A (zh) 数据文件的处理方法、装置、设备及存储介质
CN111522873B (zh) 区块生成方法、装置、计算机设备和存储介质
CN109413506B (zh) 一种弹幕数据的校验方法、装置、终端及存储介质
CN114172894A (zh) 数据传输方法、装置、服务器和计算机设备
CN112181974B (zh) 标识信息分配方法、系统及存储设备
CN109325496B (zh) 基于字符去除的弹幕校验方法、装置、终端及存储介质
CN113076178B (zh) 报文存储方法、装置及设备
CN114153647B (zh) 云存储系统的快速数据校验方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20190419

Assignee: Beijing Yuanjian Information Technology Co.,Ltd.

Assignor: RUN TECHNOLOGIES Co.,Ltd. BEIJING

Contract record no.: X2022990000530

Denomination of invention: Unstructured data storage method, apparatus, device, and computer-readable storage medium

Granted publication date: 20210202

License type: Common License

Record date: 20220819