CN114077609A - 数据存储及检索方法,装置,计算机可读存储介质及电子设备 - Google Patents
数据存储及检索方法,装置,计算机可读存储介质及电子设备 Download PDFInfo
- Publication number
- CN114077609A CN114077609A CN202210057603.XA CN202210057603A CN114077609A CN 114077609 A CN114077609 A CN 114077609A CN 202210057603 A CN202210057603 A CN 202210057603A CN 114077609 A CN114077609 A CN 114077609A
- Authority
- CN
- China
- Prior art keywords
- value
- stream
- key
- record
- mxkv
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据存储及检索方法,装置,计算机可读存储介质及电子设备,属于计算机数据技术领域。该数据存储方法包括以下步骤:获取json文本,json文本为json对象格式;json文本经处理后输出为mxkv记录;mxkv记录经过数据压缩后被写入存储器。该数据检索方法包括以下步骤:获取指定的目标key值;在该数据存储方法的mxkv记录中,根据指定的目标key值,找到与指定的目标key值对应的value。该计算机可读存储介质能够用于实现该数据存储方法和/或该数据检索方法的步骤。应用该数据方法对key‑value数据进行存储,能够使其同时具备高压缩性能、高加载性能和高查询性能。
Description
技术领域
本发明涉及计算机数据技术领域,特别是涉及一种数据存储及检索方法,装置,计算机可读存储介质及电子设备。
背景技术
在关系型数据库存储非关系型的key-value数据可以极大提升关系型数据库的使用灵活性,但是现有的key-value存储技术在压缩比与查询性能总是存在各种各样的不足。因此,需要对key-value数据的存储及检索方法进行改进。
发明内容
有鉴于此,本发明提供了一种数据存储及检索方法,装置,计算机可读存储介质及电子设备,应用该数据方法对key-value数据进行存储,能够使其同时具备高压缩性能、高加载性能和高查询性能,从而更加适于实用。
为了达到上述第一个目的,本发明提供的数据存储方法的技术方案如下:
本发明提供的数据存储方法包括以下步骤:
获取json文本,所述json文本为json对象格式;
所述json文本经处理后输出为mxkv记录;
所述mxkv记录经过数据压缩后被写入存储器。
本发明提供的数据存储方法还可采用以下技术措施进一步实现。
作为优选,所述json文本经mxkv编码器处理后输出为mxkv记录的步骤具体包括以下步骤:
对所述json文本进行解析处理,得到key-value记录对;
将文本形式的keyname转换为keyid,输出为keyid-value记录对;
针对所述keyid-value记录对按照keyid进行排序,得到经过排序的记录对;
将所述经过排序的记录对拆分为至少一个记录组,并且,针对key、value分离成key流、value流;
根据所述分组信息流的特征,生成索引信息流;
将所述key流、value流、索引信息流整合成一个数据流,即得所述mxkv记录。
为了达到上述第二个目的,本发明提供的数据检索方法的技术方案如下:
本发明提供的数据检索方法包括以下步骤:
获取指定的目标key值;
在本发明提供的数据存储方法中所述的mxkv记录中,根据所述指定的目标key值,找到与所述指定的目标key值对应的value。
本发明提供的数据检索方法还可采用以下技术措施进一步实现。
作为优选,所述在本发明提供的数据存储方法中所述的mxkv记录中,根据所述指定的目标key值,找到与所述指定的目标key值对应的value的步骤具体包括以下步骤:
获取所述mxkv记录;
将所述mxkv记录分解成分组索引信息流;
将所述指定目标key值与所述分组索引信息流进行匹配,若能够匹配,则输出匹配组的数据流,若不存在匹配,则报告无命中。
作为优选,所述将所述mxkv记录分解成分组索引信息流的步骤具体包括以下步骤:
将所述mxkv记录分解成编码key流和编码value流;
将编码key流还原为原始keyid流;
将编码value流还原为原始value流。
为了达到上述第三个目的,本发明提供的数据存储装置的技术方案如下:
本发明提供的数据存储装置包括:
文本获取单元,用于获取json文本,所述json文本为json对象格式;
mxkv记录输出单元,用于所述json文本经处理后输出为mxkv记录;
数据存储单元,用于将所述mxkv记录经过数据压缩后被写入存储器。
本发明提供的数据存储装置还可以采用以下技术措施进一步实现:
作为优选,所述mxkv记录输出单元具体包括:
解析器,用于对所述json文本进行解析处理,得到key-value记录对;
转换器,用于将文本形式的keyname转换为keyid,输出为keyid-value记录对;
排序器,用于针对所述keyid-value记录对按照keyid进行排序,得到经过排序的记录对;
分组器,将所述经过排序的记录对拆分为至少一个记录组,并且,针对key、value分离成key流、value流;
分组索引器,用于根据所述分组信息流的特征,生成索引信息流;
串流器,用于将所述key流、value流、索引信息流整合成一个数据流,即得所述mxkv记录。
为了达到上述第四个目的,本发明提供的数据检索装置的技术方案如下:
本发明提供的数据检索装置包括:
目标key值获取单元,用于获取指定的目标key值;
检索单元,用于在本发明提供的数据存储方法中所述的mxkv记录中,根据所述指定的目标key值,找到与所述指定的目标key值对应的value。
本发明提供的数据检索装置还可以采用以下技术措施进一步实现。
作为优选,
分流器,用于将所述mxkv记录分解成分组索引信息流;
分组检索器,将所述指定目标key值与所述分组索引信息流进行匹配,若能够匹配,则输出匹配组的数据流,若不存在匹配,则报告无命中。
作为优选,所述分流器用于将所述mxkv记录分解成编码key流和编码value流,其具体包括:
key解码器,用于将编码key流还原为原始keyid流;
value解码器,用于将编码value流还原为原始value流。
作为优选,所述分组检索器具体包括:
key检索器,用于检索指定目标key值;
value提取器,用于原始 value 流与生成的记录编码,提取出目标key对应的value并输出。
为了达到上述第五个目的,本发明提供的计算机可读存储介质的技术方案如下:
本发明提供的计算机可读存储介质上存储有数据存储和/或数据检索方法的程序,所述数据存储和/或数据检索方法的程序被处理器执行时,实现本发明提供的数据存储方法和/或本发明提供的数据检索方法的步骤。
为了达到上述第六个目的,本发明提供的电子设备的技术方案如下:
本发明提供的电子设备包括存储器和处理器,所述存储器上存储有数据存储和/或数据检索方法的程序,所述数据存储和/或数据检索方法的程序被处理器执行时,实现本发明提供的数据存储方法和/或本发明提供的数据检索方法的步骤。
本发明提供的数据存储及检索方法,装置,计算机可读存储介质及电子设备对key与value进行分组编码,利用编码本发明有效降低了存储空间,而且编码后的数据更易于压缩,编码+压缩后的体积远小于直接压缩后的体积,从而达到了极高的压缩比与极好的压缩性能。高压缩比带来的好处是更小的存储空间占用与I/O带宽占用,因此本发明也有着极好的加载性能。另一方面,利用分组技术,本发明可以高效地实现key遍历与检索,这也带来了极好的查询性能。因此最终实现了本发明同时实现高压缩性能,高加载性能,高查询性能的目标,实测中三方面均优于现有的json,jsonb,hstore,zson等技术。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
附图1为本发明实施例提供的mxkv编码器及其数据之间的关系示意图;
附图2为本发明实施例提供的mxkv检索器及其数据之间的关系示意图。
具体实施方式
有鉴于此,本发明提供了一种通数据存储及检索方法,装置,计算机可读存储介质及电子设备,应用该数据方法对key-value数据进行存储,能够使其同时具备高压缩性能、高加载性能和高查询性能,从而更加适于实用。
对数据的解释:
以PostgreSQL为例,其存在多种内置或第三方key-value存储格式:
json:以json格式描述key-value数据,如{"product": "postgres", "version":12.3},加载数据时会直接保存如上的json文本,每次读取时进行完整的语法解析,并根据查询需要输出部分或全部内容。
jsonb:同样以json格式描述key-value数据,加载数据时会进行语法解析,并转换成一种二进制格式后保存至磁盘,二进制格式不需要完整的语法解析即可对key进行遍历。
hstore:较早期进行key-value数据存储的尝试,原理上与jsonb类似,加载数据时会进行语法解析,并转换成一种二进制格式后保存至磁盘,此二进制格式同样允许不完整解析的情况下进行key遍历。
zson:第三方提供的key-value数据格式,本质上是jsonb,但是通过外部字典方式对jsonb中的key,value等进行编码,从而达到减少存储空间的目的,字典需要事先通过样本数据进行训练得到。
对于key-value存储,有3个用来衡量其性能的指标:
加载性能,以SQL方式把key-value数据转换成相应的key-value格式并保存至磁盘上,把同样的原始数据量以少的时间完成加载则加载性能越好
查询性能,对已经以相应的key-value格式保存至磁盘上的数据查询其中某个key所对应的value,用时越少则查询性能越好。
压缩性能(压缩比),同样的原始数据量转换至相应的key-value格式用同样的压缩算法进行压缩,压缩后的体积越小则压缩比越高,可压缩性越好,简称压缩性能。
发明人经过艰苦卓绝的努力,发现,现有key-value实现的性能指标分析如下:
json:由于直接存储原始json文本,在现有key-value方案中占用的存储空间相对小,而通用压缩算法一般对文本的压缩效果较好,故json格式经压缩后体积也相对较小,压缩性能中等;每次读取时需要完整进行解析,即便查询仅需要访问指定key时也是如此,相比其它现有方案会多消耗几十甚至上百倍时间,因此查询性能极差;加载时会直接保存原始文本,虽然会先进行一次完整解析保证格式的正确性,但相比其它现有的方案其开销并不高,且由于压缩比较高,综合来看其加载性能达到中等水平。
jsonb:原始json文本经解析后以二进制格式存储,为提升查询性能会同时保存一些辅助信息,如每个key/value的类型与长度等,因此二进制数据的大小往往大于原始文本,而且数值内容如123,4.56等会以计算机二进制格式存储,这类数据用通用压缩算法往往仅能得到较低的压缩比,所以同样的内容配合同样的压缩算法,jsonb的体积往往比json大,因此压缩性能较差;借助于二进制格式中的辅助信息,其可以达到较好的查询性能;加载过程需要将原始json解析并转换至其二进制格式,开销大于json,因此加载速度慢于json,并且由于压缩后体积大于json,综合来看加载性能较差。
hstore:原理上与jsonb类似,但采用了不同的二进制格式,实测中压缩后大小甚至比jsonb大一倍,压缩性能极差;查询性能较好,但实测中不如jsonb,因此查询性能中等;加载速度与jsonb相当,因此加载性能较差。
zson:同样在原理上类似于jsonb,但借助于外部字典对key与value进行编码,理论上其存储空间小于jsonb,但实测中取决于数值特征其压缩后大小甚至可能大于jsonb,因此压缩性能较差;借助于key&value编码其可以实现更高效的key遍历与查找,但实测效果甚微,因此查询性能中等;加载速度略好于jsonb,但是尚不及json,因此加载性能较差。
综合来看,现有的key-value存储方案可以分成两种路线,存储原始文本数据与存储预处理过的二进制格式:前者的压缩与加载性能较好,但极大地牺牲了查询性能,适合较小量数据;后者的压缩与加载性能均不理想,但确实提升了查询性能。
为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种数据存储及检索方法,装置,计算机可读存储介质及电子设备,其具体实施方式、结构、特征及其功效,详细说明如后。在下述说明中,不同的“一实施例”或“实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,具体的理解为:可以同时包含有A与B,可以单独存在A,也可以单独存在B,能够具备上述三种任一种情况。
为了达到上述第一个目的,本发明提供的数据存储方法的技术方案如下:
本发明提供的数据存储方法包括以下步骤:
获取json文本,所述json文本为json对象格式;
所述json文本经处理后输出为mxkv记录;
所述mxkv记录经过数据压缩后被写入存储器。
本发明提供的数据存储方法还可采用以下技术措施进一步实现。
作为优选,所述json文本经mxkv编码器处理后输出为mxkv记录的步骤具体包括以下步骤:
对所述json文本进行解析处理,得到key-value记录对;
将文本形式的keyname转换为keyid,输出为keyid-value记录对;
针对所述keyid-value记录对按照keyid进行排序,得到经过排序的记录对;
将所述经过排序的记录对拆分为至少一个记录组,并且,针对key、value分离成key流、value流;
根据所述分组信息流的特征,生成索引信息流;
将所述key流、value流、索引信息流整合成一个数据流,即得所述mxkv记录。
编码流程实施例
参见附图1,编码流程输入为数据库从用户或其它数据源得到的json文本,在本发明中其必须为json的对象格式,如{"product": "postgres", "version": 12.3},经mxkv编码器处理后其输出为mxkv记录,其可被数据库压缩后写入磁盘,或直接传递给检索流程做后续处理。
[E.IN] 把数据库系统提供的json文本传递给mxkv编码器。
[E0] json解析器是mxkv编码器内部的第一步,其对json文本进行解析处理,得到key-value记录对,如(product, postgres), (version, 12.3)。
[E1] key转换器把文本形式的key name转换为整数形式的key id,输出为keyid-value记录对,如(3, postgres), (1, 12.3)。
[E2] key排序器把keyid-value记录对按照key id进行排序,输出如(1, 12.3),(3, postgres)。
[E3] 分组器把 [E2] 生成的记录对拆分成若干较小的记录组,每个包含N个记录对,本例中仅包含一个分组,[E3] 同时把key与value分离成各自独立的流,因此 [E3] 的输出为三个流,分组信息流,key流(1, 3),value流(12.3, postgres)。
[E4] 分组索引器接收 [E3] 产生的分组信息流,根据每个分组的特征生成索引信息流,这些信息在检索流程中可用来根据目标key快速匹配目标分组。
[E5] key编码器接收 [E3] 产生的key流,利用key的特征进行编码以减少key流的存储空间,其输出为编码key流。
[E6] value编码器接收 [E3] 产生的value流,利用value的特征进行编码以减少value的存储空间,其输出为编码value流。
[E7] 串流器接收 [E4] 索引信息流,[E5] 编码key流,[E6] 编码value流,并将它们整合成一个数据流,即为mxkv记录。
[E.OUT] 把 [E7] 生成的mxkv记录传递给数据库系统。
检索流程实施例
参见附图2,检索流程用于在一个mxkv记录中根据指定的目标key值找到其对应的value。
[L.IN] 把数据库系统提供的mxkv记录传递给mxkv检索器,mxkv记录的格式与mxkv编码流程中的 [E.OUT] 相同。
[L0] 分流器把mxkv记录分解成分组索引信息流。
[L1] 分组检索器接收 [L0] 生成的索引信息流,利用这些信息 [L1] 可以高效定位匹配组,输出为匹配组的数据流;若不存在匹配则其可以立即进入 [L.MISMATCH] 报告无命中。
[L2] 组分离器接收 [L1] 生成的组数据流,将其分解为编码key流与编码value流。
[L3] key解码器接收 [L2] 生成的编码key流,把其还原为原始key id流
[L4] key检索器接收 [L3] 生成的原始key id流,其可以高效判断目标key是否命中,输出为命中记录的编号;若不存在命中则其可以立即进入 [L.MISMATCH] 报告无命中。
[L5] value解码器接收 [L2] 生成的编码value流,把其还原为原始value流,这仅在 [L4] 判断存在命中的情况才发生。
[L6] value提取器接收 [L5] 生成的原始 value 流与 [L4] 生成的记录编码,提取出目标key对应的value并输出。
[L.OUT] 接收 [L6] 生成的value并传递回数据库系统。
[L.MISMATCH] 向数据库报告无命中。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (13)
1.一种数据存储方法,其特征在于,包括以下步骤:
获取json文本,所述json文本为json对象格式;
所述json文本经处理后输出为mxkv记录;
所述mxkv记录经过数据压缩后被写入存储器。
2.根据权利要求1所述的数据存储方法,其特征在于,所述json文本经mxkv编码器处理后输出为mxkv记录的步骤具体包括以下步骤:
对所述json文本进行解析处理,得到key-value记录对;
将文本形式的keyname转换为keyid,输出为keyid-value记录对;
针对所述keyid-value记录对按照keyid进行排序,得到经过排序的记录对;
将所述经过排序的记录对拆分为至少一个记录分组信息流,并且,针对key、value分离成key流、value流;
根据所述分组信息流的特征,生成索引信息流;
将所述key流、value流、索引信息流整合成一个数据流,即得所述mxkv记录。
3.一种数据检索方法,其特征在于,包括以下步骤:
获取指定的目标key值;
在权利要求1或2所述的mxkv记录中,根据所述指定的目标key值,找到与所述指定的目标key值对应的value。
4.根据权利要求3所述的数据检索方法,其特征在于,所述在权利要求1或2所述的mxkv记录中,根据所述指定的目标key值,找到与所述指定的目标key值对应的value的步骤具体包括以下步骤:
获取所述mxkv记录;
将所述mxkv记录分解成分组索引信息流;
将所述指定目标key值与所述分组索引信息流进行匹配,若能够匹配,则输出匹配组的数据流,若不存在匹配,则报告无命中。
5.根据权利要求4所述的数据检索方法,其特征在于,所述将所述mxkv记录分解成分组索引信息流的步骤具体包括以下步骤:
将所述mxkv记录分解成编码key流和编码value流;
将编码key流还原为原始keyid流;
将编码value流还原为原始value流。
6.一种数据存储装置,其特征在于,包括:
文本获取单元,用于获取json文本,所述json文本为json对象格式;
mxkv记录输出单元,用于所述json文本经处理后输出为mxkv记录;
数据存储单元,用于将所述mxkv记录经过数据压缩后被写入存储器。
7.根据权利要求6所述的数据存储装置,其特征在于,所述mxkv记录输出单元具体包括:
解析器,用于对所述json文本进行解析处理,得到key-value记录对;
转换器,用于将文本形式的keyname转换为keyid,输出为keyid-value记录对;
排序器,用于针对所述keyid-value记录对按照keyid进行排序,得到经过排序的记录对;
分组器,将所述经过排序的记录对拆分为至少一个记录分组信息流,并且,针对key、value分离成key流、value流;
分组索引器,用于根据所述分组信息流的特征,生成索引信息流;
串流器,用于将所述key流、value流、索引信息流整合成一个数据流,即得所述mxkv记录。
8.一种数据检索装置,其特征在于,包括:
目标key值获取单元,用于获取指定的目标key值;
检索单元,用于在权利要求1或2所述的mxkv记录中,根据所述指定的目标key值,找到与所述指定的目标key值对应的value。
9.根据权利要求8所述的数据检索装置,其特征在于,所述检索单元具体包括:
分流器,用于将所述mxkv记录分解成分组索引信息流;
分组检索器,将所述指定目标key值与所述分组索引信息流进行匹配,若能够匹配,则输出匹配组的数据流,若不存在匹配,则报告无命中。
10.根据权利要求9所述的数据检索装置,其特征在于,所述分流器用于将所述mxkv记录分解成编码key流和编码value流,其具体包括:
key解码器,用于将编码key流还原为原始keyid流;
value解码器,用于将编码value流还原为原始value流。
11.根据权利要求9所述的数据检索装置,其特征在于,所述分组检索器具体包括:
key检索器,用于检索指定目标key值;
value提取器,用于原始 value 流与生成的记录编码,提取出目标key对应的value并输出。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有数据存储和/或数据检索方法的程序,所述数据存储和/或数据检索方法的程序被处理器执行时,实现权利要求1-2中任一所述的数据存储方法;和/或,
所述计算机可读存储介质上存储有数据检索方法的程序,所述数据检索方法的程序被处理器执行时,实现权利要求3-5中任一所述的数据检索方法的步骤。
13.一种电子设备,其特征在于,包括存储器和处理器,所述存储器上存储有数据存储和/或数据检索方法的程序,所述数据存储和/或数据检索方法的程序被处理器执行时,实现权利要求1-2中任一所述的数据存储方法;和/或,
所述存储器上存储有数据检索方法的程序,所述数据检索方法的程序被处理器执行时,实现权利要求3-5中任一所述的数据检索方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210057603.XA CN114077609B (zh) | 2022-01-19 | 2022-01-19 | 数据存储及检索方法,装置,计算机可读存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210057603.XA CN114077609B (zh) | 2022-01-19 | 2022-01-19 | 数据存储及检索方法,装置,计算机可读存储介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114077609A true CN114077609A (zh) | 2022-02-22 |
CN114077609B CN114077609B (zh) | 2022-04-22 |
Family
ID=80284581
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210057603.XA Active CN114077609B (zh) | 2022-01-19 | 2022-01-19 | 数据存储及检索方法,装置,计算机可读存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114077609B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114665887A (zh) * | 2022-05-24 | 2022-06-24 | 成都索贝视频云计算有限公司 | 一种基于整体压缩的json字符串数据压缩方法 |
CN115002234A (zh) * | 2022-05-25 | 2022-09-02 | 阿维塔科技(重庆)有限公司 | 一种数据报文转换方法、装置、设备及计算机可读存储介质 |
CN116955363A (zh) * | 2023-09-21 | 2023-10-27 | 北京四维纵横数据技术有限公司 | 无模式数据创建索引方法、装置、计算机设备及介质 |
CN116955403A (zh) * | 2023-09-21 | 2023-10-27 | 北京四维纵横数据技术有限公司 | 无模式数据运算加速方法、装置、计算机设备及介质 |
Citations (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102915365A (zh) * | 2012-10-24 | 2013-02-06 | 苏州两江科技有限公司 | 基于Hadoop的分布式搜索引擎构建方法 |
CN103177027A (zh) * | 2011-12-23 | 2013-06-26 | 北京新媒传信科技有限公司 | 获取动态Feed索引的方法和系统 |
TW201351196A (zh) * | 2012-06-04 | 2013-12-16 | Chunghwa Telecom Co Ltd | 具子系統暨認證之網頁架構系統 |
CN103559027A (zh) * | 2013-10-22 | 2014-02-05 | 北京航空航天大学 | 一种key与value分开存储的key-value存储系统设计方法 |
CN103699442A (zh) * | 2013-12-12 | 2014-04-02 | 深圳先进技术研究院 | MapReduce计算框架下的可迭代式数据处理方法 |
CN103870492A (zh) * | 2012-12-14 | 2014-06-18 | 腾讯科技(深圳)有限公司 | 一种基于键排序的数据存储方法和装置 |
CN105740274A (zh) * | 2014-12-10 | 2016-07-06 | 阿里巴巴集团控股有限公司 | 基于无向图的用户账号查找方法及装置 |
CN106909641A (zh) * | 2017-02-16 | 2017-06-30 | 青岛高校信息产业股份有限公司 | 一种实时数据存储器 |
CN108319654A (zh) * | 2017-12-29 | 2018-07-24 | 中国银联股份有限公司 | 计算系统、冷热数据分离方法及装置、计算机可读存储介质 |
CN108388423A (zh) * | 2018-02-26 | 2018-08-10 | 中车青岛四方机车车辆股份有限公司 | 一种ios数据对象转换方法及装置 |
US20180359342A1 (en) * | 2016-02-26 | 2018-12-13 | Mitsubishi Electric Corporation | Method of processing data stream, computer program product and classifier for processing data stream |
CN110162408A (zh) * | 2018-02-11 | 2019-08-23 | 阿里巴巴集团控股有限公司 | 一种数据处理方法、装置、设备和机器可读介质 |
CN110505218A (zh) * | 2019-08-07 | 2019-11-26 | 中国电子科技集团公司第二十八研究所 | 基于json的栅格数据自适应压缩传输方法及计算机存储介质 |
CN110597929A (zh) * | 2019-09-18 | 2019-12-20 | 广东省智能机器人研究院 | 一种基于MapReduce的并行数据立方构建方法 |
CN110825748A (zh) * | 2019-11-05 | 2020-02-21 | 北京平凯星辰科技发展有限公司 | 利用差异化索引机制的高性能和易扩展的键值存储方法 |
CN111400323A (zh) * | 2020-04-13 | 2020-07-10 | 上海东普信息科技有限公司 | 数据检索方法、系统、设备及存储介质 |
CN111753016A (zh) * | 2020-06-28 | 2020-10-09 | 深圳前海微众银行股份有限公司 | 数据处理方法、装置、系统及计算机可读存储介质 |
US20200394256A1 (en) * | 2019-06-12 | 2020-12-17 | Hitachi, Ltd. | Storage system and storage control method |
CN112131140A (zh) * | 2020-09-24 | 2020-12-25 | 北京计算机技术及应用研究所 | 基于ssd的支持高效存储空间管理的键值分离存储方法 |
CN112714181A (zh) * | 2020-12-25 | 2021-04-27 | 北京四维纵横数据技术有限公司 | 一种数据传输方法及装置 |
CN112765270A (zh) * | 2020-12-31 | 2021-05-07 | 杭州趣链科技有限公司 | 区块链数据处理方法、装置、计算机设备及介质 |
CN113094372A (zh) * | 2021-04-16 | 2021-07-09 | 三星(中国)半导体有限公司 | 数据存取方法、数据存取控制装置及数据存取系统 |
CN113468395A (zh) * | 2021-07-14 | 2021-10-01 | 山东林天信息科技有限责任公司 | 一种基于倒排索引的互联网资产指纹识别方法与系统 |
CN113779349A (zh) * | 2021-08-11 | 2021-12-10 | 中央广播电视总台 | 数据检索系统、装置、电子设备和可读存储介质 |
CN114138792A (zh) * | 2021-12-02 | 2022-03-04 | 浪潮云信息技术股份公司 | 一种Key-value分离存储方法及系统 |
-
2022
- 2022-01-19 CN CN202210057603.XA patent/CN114077609B/zh active Active
Patent Citations (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103177027A (zh) * | 2011-12-23 | 2013-06-26 | 北京新媒传信科技有限公司 | 获取动态Feed索引的方法和系统 |
TW201351196A (zh) * | 2012-06-04 | 2013-12-16 | Chunghwa Telecom Co Ltd | 具子系統暨認證之網頁架構系統 |
CN102915365A (zh) * | 2012-10-24 | 2013-02-06 | 苏州两江科技有限公司 | 基于Hadoop的分布式搜索引擎构建方法 |
CN103870492A (zh) * | 2012-12-14 | 2014-06-18 | 腾讯科技(深圳)有限公司 | 一种基于键排序的数据存储方法和装置 |
CN103559027A (zh) * | 2013-10-22 | 2014-02-05 | 北京航空航天大学 | 一种key与value分开存储的key-value存储系统设计方法 |
CN103699442A (zh) * | 2013-12-12 | 2014-04-02 | 深圳先进技术研究院 | MapReduce计算框架下的可迭代式数据处理方法 |
CN105740274A (zh) * | 2014-12-10 | 2016-07-06 | 阿里巴巴集团控股有限公司 | 基于无向图的用户账号查找方法及装置 |
US20180359342A1 (en) * | 2016-02-26 | 2018-12-13 | Mitsubishi Electric Corporation | Method of processing data stream, computer program product and classifier for processing data stream |
CN106909641A (zh) * | 2017-02-16 | 2017-06-30 | 青岛高校信息产业股份有限公司 | 一种实时数据存储器 |
CN108319654A (zh) * | 2017-12-29 | 2018-07-24 | 中国银联股份有限公司 | 计算系统、冷热数据分离方法及装置、计算机可读存储介质 |
CN110162408A (zh) * | 2018-02-11 | 2019-08-23 | 阿里巴巴集团控股有限公司 | 一种数据处理方法、装置、设备和机器可读介质 |
CN108388423A (zh) * | 2018-02-26 | 2018-08-10 | 中车青岛四方机车车辆股份有限公司 | 一种ios数据对象转换方法及装置 |
US20200394256A1 (en) * | 2019-06-12 | 2020-12-17 | Hitachi, Ltd. | Storage system and storage control method |
CN110505218A (zh) * | 2019-08-07 | 2019-11-26 | 中国电子科技集团公司第二十八研究所 | 基于json的栅格数据自适应压缩传输方法及计算机存储介质 |
CN110597929A (zh) * | 2019-09-18 | 2019-12-20 | 广东省智能机器人研究院 | 一种基于MapReduce的并行数据立方构建方法 |
CN110825748A (zh) * | 2019-11-05 | 2020-02-21 | 北京平凯星辰科技发展有限公司 | 利用差异化索引机制的高性能和易扩展的键值存储方法 |
CN111400323A (zh) * | 2020-04-13 | 2020-07-10 | 上海东普信息科技有限公司 | 数据检索方法、系统、设备及存储介质 |
CN111753016A (zh) * | 2020-06-28 | 2020-10-09 | 深圳前海微众银行股份有限公司 | 数据处理方法、装置、系统及计算机可读存储介质 |
CN112131140A (zh) * | 2020-09-24 | 2020-12-25 | 北京计算机技术及应用研究所 | 基于ssd的支持高效存储空间管理的键值分离存储方法 |
CN112714181A (zh) * | 2020-12-25 | 2021-04-27 | 北京四维纵横数据技术有限公司 | 一种数据传输方法及装置 |
CN112765270A (zh) * | 2020-12-31 | 2021-05-07 | 杭州趣链科技有限公司 | 区块链数据处理方法、装置、计算机设备及介质 |
CN113094372A (zh) * | 2021-04-16 | 2021-07-09 | 三星(中国)半导体有限公司 | 数据存取方法、数据存取控制装置及数据存取系统 |
CN113468395A (zh) * | 2021-07-14 | 2021-10-01 | 山东林天信息科技有限责任公司 | 一种基于倒排索引的互联网资产指纹识别方法与系统 |
CN113779349A (zh) * | 2021-08-11 | 2021-12-10 | 中央广播电视总台 | 数据检索系统、装置、电子设备和可读存储介质 |
CN114138792A (zh) * | 2021-12-02 | 2022-03-04 | 浪潮云信息技术股份公司 | 一种Key-value分离存储方法及系统 |
Non-Patent Citations (1)
Title |
---|
刘峪竹等: "基于SSD的Key-Value系统优化设计与实现", 《计算机研究与发展》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114665887A (zh) * | 2022-05-24 | 2022-06-24 | 成都索贝视频云计算有限公司 | 一种基于整体压缩的json字符串数据压缩方法 |
CN115002234A (zh) * | 2022-05-25 | 2022-09-02 | 阿维塔科技(重庆)有限公司 | 一种数据报文转换方法、装置、设备及计算机可读存储介质 |
CN116955363A (zh) * | 2023-09-21 | 2023-10-27 | 北京四维纵横数据技术有限公司 | 无模式数据创建索引方法、装置、计算机设备及介质 |
CN116955403A (zh) * | 2023-09-21 | 2023-10-27 | 北京四维纵横数据技术有限公司 | 无模式数据运算加速方法、装置、计算机设备及介质 |
CN116955363B (zh) * | 2023-09-21 | 2023-12-26 | 北京四维纵横数据技术有限公司 | 无模式数据创建索引方法、装置、计算机设备及介质 |
CN116955403B (zh) * | 2023-09-21 | 2023-12-26 | 北京四维纵横数据技术有限公司 | 无模式数据运算加速方法、装置、计算机设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114077609B (zh) | 2022-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114077609B (zh) | 数据存储及检索方法,装置,计算机可读存储介质及电子设备 | |
US11263215B2 (en) | Methods for enhancing rapid data analysis | |
CN102436465B (zh) | 一种在轨航天器遥测数据存储与快速查询方法 | |
CN105915226B (zh) | 一种录波数据的处理方法及系统 | |
CN102073663B (zh) | 一种快速处理xml压缩数据的方法及其装置 | |
US11157463B2 (en) | Understanding data in data sets | |
US8688621B2 (en) | Systems and methods for information compression | |
CN101783788A (zh) | 文件压缩、解压缩方法、装置及压缩文件搜索方法、装置 | |
CN113312325B (zh) | 轨迹数据传输方法、装置、设备及存储介质 | |
KR20120137235A (ko) | 유전자 데이터를 압축하는 방법 및 장치 | |
CN111930751A (zh) | 一种时序数据的存储方法及装置 | |
CN115208414B (zh) | 数据压缩方法、数据压缩装置、计算机设备及存储介质 | |
CN100349160C (zh) | 一种对数据进行有限穷举优化的压缩方法 | |
CN110995273A (zh) | 电力数据库的数据压缩方法、装置、设备及介质 | |
CN116170027A (zh) | 一种毒检设备数据管理系统及处理方法 | |
CN102063416B (zh) | 向pdf文件内嵌双字节字体的方法及其系统 | |
Leighton et al. | TREECHOP: A Tree-based Query-able Compressor for XML | |
WO2019018030A1 (en) | COMPRESSION AND RECOVERY OF STRUCTURED RECORDINGS | |
CN112306421B (zh) | 一种用于存储分析测量数据格式mdf文件的方法和系统 | |
Mukhopadhyay et al. | An ECG data compression method via standard deviation and ASCII character encoding | |
CN105955998A (zh) | 基于缓冲技术的无线电监测数据查询方法 | |
Zahir et al. | A fast lossless compression scheme for digital map images using color separation | |
CN118523780B (zh) | 一种对sas数据集进行解压以及压缩的方法及应用 | |
Böttcher et al. | Compressing XML data streams with DAG+ BSBC | |
Dai et al. | Gqcomp: A query-supported compression technique for gml |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |