CN113806374A - 一种面向大数据的数据流式缓存方法及系统 - Google Patents

一种面向大数据的数据流式缓存方法及系统 Download PDF

Info

Publication number
CN113806374A
CN113806374A CN202111159888.XA CN202111159888A CN113806374A CN 113806374 A CN113806374 A CN 113806374A CN 202111159888 A CN202111159888 A CN 202111159888A CN 113806374 A CN113806374 A CN 113806374A
Authority
CN
China
Prior art keywords
data
cache
data stream
streaming
data streaming
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111159888.XA
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jianjiao Technology Service Co ltd
Original Assignee
Shanghai Jianjiao Technology Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jianjiao Technology Service Co ltd filed Critical Shanghai Jianjiao Technology Service Co ltd
Priority to CN202111159888.XA priority Critical patent/CN113806374A/zh
Publication of CN113806374A publication Critical patent/CN113806374A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/221—Column-oriented storage; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24568—Data stream processing; Continuous queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种面向大数据的数据流式缓存方法及系统。方法包括：完成对到达系统的数据流中每项记录信息的时间戳标记，形成时间序列索引；选择在预先配置好的基础数据量限定下的最小时间，并基于所述时间序列索引进行切片完成数据流时间区段的自动分片处理，得到多个分片的子数据流；对每个分片的子数据流中的数据信息按预先配置好的可缓存数据列进行列式转换，完成对同一数据列的实时压缩，形成缓存数据块；在预先配置好的数据流缓存资源池中按所述缓存数据块的大小分配空闲的数据流缓存资源，并将所述缓存数据块写入所述数据流缓存资源。本发明能够在确保原有的流序列不变的情况下，提供高性能的数据存取访问的缓存机制。

Description

一种面向大数据的数据流式缓存方法及系统
技术领域
本发明涉及大数据处理技术领域，特别是涉及一种面向大数据的数据流式缓存方法及系统。
背景技术
现有的大数据缓存方式通常是基于键值对的KV形式，主要解决在已知关键Key的情况下快速读取或更新数值的需求。这种方式仅仅能够解决点状的数据存取缓存的需求，对于大数据中更为常见的基于时间序列所形成的流式数据则缺乏简单有效的缓存方案。
发明内容
本发明所要解决的技术问题是提供一种面向大数据的数据流式缓存方法及系统，能够在确保原有的流序列不变的情况下，提供高性能的数据存取访问的缓存机制。
本发明解决其技术问题所采用的技术方案是：提供一种面向大数据的数据流式缓存方法，包括以下步骤：
(1)完成对到达系统的数据流中每项记录信息的时间戳标记，形成时间序列索引；
(2)选择在预先配置好的基础数据量限定下的最小时间，并基于所述时间序列索引进行切片完成数据流时间区段的自动分片处理，得到多个分片的子数据流；
(3)对每个分片的子数据流中的数据信息按预先配置好的可缓存数据列进行列式转换，完成对同一数据列的实时压缩，形成缓存数据块；
(4)在预先配置好的数据流缓存资源池中按所述缓存数据块的大小分配空闲的数据流缓存资源，并将所述缓存数据块写入所述数据流缓存资源。
所述步骤(4)中还将所述缓存数据块所对应的数据流时间区段与所述可缓存数据列的元信息写入所述数据流缓存资源的索引中。
当需要对数据流缓存读取访问时，通过对所述数据流缓存资源的索引按所述数据流时间区段与所述可缓存数据列的元信息进行查询，找到分配并写入的数据流缓存资源，通过读取数据流缓存资源中保存的缓存数据块并进行解压缩后，获得缓存的数据列数据内容。
当需要对数据流缓存写入访问时，通过对所述数据流缓存资源的索引按所述数据流时间区段与所述可缓存数据列的元信息进行查询，找到分配并写入的数据流缓存资源，通过读取数据流缓存资源中保存的缓存数据块并进行解压缩后，获得缓存的数据列数据内容，之后对需要修改的数据信息进行更新替换，并重新压缩为需要更换的缓存数据块，重新写入数据流缓存资源。
在重新写入数据流缓存资源时，在所述数据流缓存资源的元信息上增加数据流存储待更新的标记，并在系统闲时以延迟写出的方式对数据流存储执行相应的更新操作。
当需要对数据流缓存进行清除操作时，通过对所述数据流缓存资源的元信息索引进行查询，找到需要释放的数据流缓存资源，如果数据流缓存资源的元信息上存在数据流存储待更新的标记，则即时对数据流存储执行相应的更新操作，在数据流存储的更新操作执行完成后，所述数据流缓存资源会清零重置，同时数据流缓存资源的元信息索引进行同步更新，所述数据流缓存资源被归还到数据流缓存资源池中待后续使用分配。
本发明解决其技术问题所采用的技术方案是：还提供一种面向大数据的数据流式缓存系统，包括：时间序列索引形成模块，用于完成对到达系统的数据流中每项记录信息的时间戳标记，形成时间序列索引；分片形成模块，用于选择时间切片，并基于所述时间序列索引完成数据流时间区段的自动分片处理，得到多个分片的子数据流；缓存数据块形成模块，用于对每个分片的子数据流中的数据信息按预先配置好的可缓存数据列进行列式转换，完成对同一数据列的实时压缩，形成缓存数据块；数据缓存模块，用于在预先配置好的数据流缓存资源池中按所述缓存数据块的大小分配空闲的数据流缓存资源，并将所述缓存数据块写入所述数据流缓存资源。
所述的面向大数据的数据流式缓存系统还包括索引写入模块，用于将所述缓存数据块所对应的数据流时间区段与所述可缓存数据列的元信息写入所述数据流缓存资源的索引中。
所述的面向大数据的数据流式缓存系统还包括读取访问模块，用于通过对所述数据流缓存资源的索引按所述数据流时间区段与所述可缓存数据列的元信息进行查询，找到分配并写入的数据流缓存资源，通过读取数据流缓存资源中保存的缓存数据块并进行解压缩后，获得缓存的数据列数据内容。
所述的面向大数据的数据流式缓存系统还包括写入访问模块，用于通过对所述数据流缓存资源的索引按所述数据流时间区段与所述可缓存数据列的元信息进行查询，找到分配并写入的数据流缓存资源，通过读取数据流缓存资源中保存的缓存数据块并进行解压缩后，获得缓存的数据列数据内容，之后对需要修改的数据信息进行更新替换，并重新压缩为需要更换的缓存数据块，重新写入数据流缓存资源。
有益效果
由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明中数据流基于流式数据到达系统的时间戳实时自动分片处理，能够适应动态的数据流速提高对数据流缓存的颗粒精细度；本发明的将数据流时间区段内的子数据流进行列式转换并压缩，从而提高了数据缓存资源的利用率；本发明中数据流缓存资源与元信息索引的低耦合处理更适应在分布式系统架构下的部署实现，同时采用延迟写出的策略有效提高对于数据流存储的操作效率和可靠性。
附图说明
图1是本发明第一实施方式的流程图；
图2是本发明第二实施方式的结构方框图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明的第一实施方式涉及一种面向大数据的数据流式缓存方法，如图1所示，包括以下步骤：
步骤(1)，在数据流到达系统时，实时完成对数据流中每项记录信息的时间戳标记，以形成时间序列的索引。
步骤(2)，通过对数据流到达系统的流速分析，选择在预先配置好的基础数据量限定下的最小时间切片完成数据流时间区段的自动分片处理，得到多个分片的子数据流。由于数据流到达系统的流速并非恒定，因此该时间区段的选择也需要在预先配置好的时间长度上进行周期性的动态调整，例如，数据量大时，时间区段较短，数据量较小时，时间区段较长。本实施方式中数据流基于流式数据到达系统的时间戳实时自动分片处理，能够适应动态的数据流速提高对数据流缓存的颗粒精细度。
步骤(3)，在完成步骤(2)的数据流时间区段自动分片后，对于每个分片中的子数据流的数据信息按预先配置好的可缓存数据列进行列式转换，并进一步完成对同一数据列的实时压缩后形成缓存数据块。本实施方式将数据流时间区段内的子数据流进行列式转换并压缩，提高了数据缓存资源的利用率。
步骤(4)，在预先配置好的数据流缓存资源池中按步骤(3)所形成的缓存数据块的大小分配适合的空闲数据流缓存资源，并将步骤(3)形成的缓存数据块写入所分配的数据流缓存资源，同时将该缓存数据块所对应的数据流时间区段与可缓存数据列的元信息写入数据流缓存资源分配索引中备查。本实施方式中数据流缓存资源与元信息索引的低耦合处理更适应在分布式系统架构下的部署实现。
步骤(5)，当需要对数据流缓存读取访问时，通过对数据流缓存资源的索引按数据流时间区段与可缓存数据列的元信息进行查询，可以找到此前分配并写入的数据流缓存资源。通过读取数据流缓存资源中保存的缓存数据块并进行解压缩后，即可获得缓存的数据列数据内容。
步骤(6)，当需要对数据流缓存写入访问时，通过对数据流缓存资源的索引按数据流时间区段与可缓存数据列的元信息进行查询，可以找到此前分配并写入的数据流缓存资源。通过读取数据流缓存资源中保存的缓存数据块并进行解压缩后，即可获得缓存的数据列数据内容。之后可以对需要修改的数据信息进行更新替换，并重新压缩为需要更换的缓存数据块，再重新写入数据流缓存资源。同时在数据流缓存资源的元信息上会增加数据流存储待更新的标记，并通过步骤(6a)在系统闲时以延迟写出的方式对数据流存储执行相应的更新操作。在数据流存储的更新操作执行完成后数据流缓存资源的元信息上数据流存储待更新的标记会被清除。本实施方式采用延迟写出的策略有效提高对于数据流存储的操作效率和可靠性。
步骤(7)，当不再需要数据流缓存资源或由于数据流缓存资源池耗尽需要淘汰已分配的数据流缓存资源时，通过对数据流缓存资源的元信息索引进行查询，可以找到需要释放的数据流缓存资源。此时如果数据流缓存资源的元信息上存在数据流存储待更新的标记，则会通过步骤(7a)即时对数据流存储执行相应的更新操作。在数据流存储的更新操作执行完成后，数据流缓存资源会清零重置同时数据流缓存资源的元信息索引也会同步更新。相应的数据流缓存资源被归还到数据流缓存资源池中待后续使用分配。
本发明的第一实施方式涉及一种面向大数据的数据流式缓存系统，如图2所示，包括：时间序列索引形成模块，用于完成对到达系统的数据流中每项记录信息的时间戳标记，形成时间序列索引；分片形成模块，用于选择时间切片，并基于所述时间序列索引完成数据流时间区段的自动分片处理，得到多个分片的子数据流；缓存数据块形成模块，用于对每个分片的子数据流中的数据信息按预先配置好的可缓存数据列进行列式转换，完成对同一数据列的实时压缩，形成缓存数据块；数据缓存模块，用于在预先配置好的数据流缓存资源池中按所述缓存数据块的大小分配空闲的数据流缓存资源，并将所述缓存数据块写入所述数据流缓存资源。
所述的面向大数据的数据流式缓存系统还包括索引写入模块，用于将所述缓存数据块所对应的数据流时间区段与所述可缓存数据列的元信息写入所述数据流缓存资源的索引中。
所述的面向大数据的数据流式缓存系统还包括读取访问模块，用于通过对所述数据流缓存资源的索引按所述数据流时间区段与所述可缓存数据列的元信息进行查询，找到分配并写入的数据流缓存资源，通过读取数据流缓存资源中保存的缓存数据块并进行解压缩后，获得缓存的数据列数据内容。
所述的面向大数据的数据流式缓存系统还包括写入访问模块，用于通过对所述数据流缓存资源的索引按所述数据流时间区段与所述可缓存数据列的元信息进行查询，找到分配并写入的数据流缓存资源，通过读取数据流缓存资源中保存的缓存数据块并进行解压缩后，获得缓存的数据列数据内容，之后对需要修改的数据信息进行更新替换，并重新压缩为需要更换的缓存数据块，重新写入数据流缓存资源。在重新写入数据流缓存资源时，在所述数据流缓存资源的元信息上增加数据流存储待更新的标记，并在系统闲时以延迟写出的方式对数据流存储执行相应的更新操作。
所述的面向大数据的数据流式缓存系统还包括清除模块，用于通过对所述数据流缓存资源的元信息索引进行查询，找到需要释放的数据流缓存资源，如果数据流缓存资源的元信息上存在数据流存储待更新的标记，则即时对数据流存储执行相应的更新操作，在数据流存储的更新操作执行完成后，所述数据流缓存资源会清零重置，同时数据流缓存资源的元信息索引进行同步更新，所述数据流缓存资源被归还到数据流缓存资源池中待后续使用分配。
不难发现，本发明中数据流基于流式数据到达系统的时间戳实时自动分片处理，能够适应动态的数据流速提高对数据流缓存的颗粒精细度；本发明的将数据流时间区段内的子数据流进行列式转换并压缩，从而提高了数据缓存资源的利用率；本发明中数据流缓存资源与元信息索引的低耦合处理更适应在分布式系统架构下的部署实现，同时采用延迟写出的策略有效提高对于数据流存储的操作效率和可靠性。

Claims (10)

1.一种面向大数据的数据流式缓存方法，其特征在于，包括以下步骤：
(1)完成对到达系统的数据流中每项记录信息的时间戳标记，形成时间序列索引；
(2)选择在预先配置好的基础数据量限定下的最小时间，并基于所述时间序列索引进行切片完成数据流时间区段的自动分片处理，得到多个分片的子数据流；
(3)对每个分片的子数据流中的数据信息按预先配置好的可缓存数据列进行列式转换，完成对同一数据列的实时压缩，形成缓存数据块；
(4)在预先配置好的数据流缓存资源池中按所述缓存数据块的大小分配空闲的数据流缓存资源，并将所述缓存数据块写入所述数据流缓存资源。
2.根据权利要求1所述的面向大数据的数据流式缓存方法，其特征在于，所述步骤(4)中还将所述缓存数据块所对应的数据流时间区段与所述可缓存数据列的元信息写入所述数据流缓存资源的索引中。
3.根据权利要求2所述的面向大数据的数据流式缓存方法，其特征在于，当需要对数据流缓存读取访问时，通过对所述数据流缓存资源的索引按所述数据流时间区段与所述可缓存数据列的元信息进行查询，找到分配并写入的数据流缓存资源，通过读取数据流缓存资源中保存的缓存数据块并进行解压缩后，获得缓存的数据列数据内容。
4.根据权利要求2所述的面向大数据的数据流式缓存方法，其特征在于，当需要对数据流缓存写入访问时，通过对所述数据流缓存资源的索引按所述数据流时间区段与所述可缓存数据列的元信息进行查询，找到分配并写入的数据流缓存资源，通过读取数据流缓存资源中保存的缓存数据块并进行解压缩后，获得缓存的数据列数据内容，之后对需要修改的数据信息进行更新替换，并重新压缩为需要更换的缓存数据块，重新写入数据流缓存资源。
5.根据权利要求4所述的面向大数据的数据流式缓存方法，其特征在于，在重新写入数据流缓存资源时，在所述数据流缓存资源的元信息上增加数据流存储待更新的标记，并在系统闲时以延迟写出的方式对数据流存储执行相应的更新操作。
6.根据权利要求2所述的面向大数据的数据流式缓存方法，其特征在于，当需要对数据流缓存进行清除操作时，通过对所述数据流缓存资源的元信息索引进行查询，找到需要释放的数据流缓存资源，如果数据流缓存资源的元信息上存在数据流存储待更新的标记，则即时对数据流存储执行相应的更新操作，在数据流存储的更新操作执行完成后，所述数据流缓存资源会清零重置，同时数据流缓存资源的元信息索引进行同步更新，所述数据流缓存资源被归还到数据流缓存资源池中待后续使用分配。
7.一种面向大数据的数据流式缓存系统，其特征在于，包括：
时间序列索引形成模块，用于完成对到达系统的数据流中每项记录信息的时间戳标记，形成时间序列索引；
分片形成模块，用于选择时间切片，并基于所述时间序列索引完成数据流时间区段的自动分片处理，得到多个分片的子数据流；
缓存数据块形成模块，用于对每个分片的子数据流中的数据信息按预先配置好的可缓存数据列进行列式转换，完成对同一数据列的实时压缩，形成缓存数据块；
数据缓存模块，用于在预先配置好的数据流缓存资源池中按所述缓存数据块的大小分配空闲的数据流缓存资源，并将所述缓存数据块写入所述数据流缓存资源。
8.根据权利要求7所述的面向大数据的数据流式缓存系统，其特征在于，还包括索引写入模块，用于将所述缓存数据块所对应的数据流时间区段与所述可缓存数据列的元信息写入所述数据流缓存资源的索引中。
9.根据权利要求7所述的面向大数据的数据流式缓存系统，其特征在于，还包括读取访问模块，用于通过对所述数据流缓存资源的索引按所述数据流时间区段与所述可缓存数据列的元信息进行查询，找到分配并写入的数据流缓存资源，通过读取数据流缓存资源中保存的缓存数据块并进行解压缩后，获得缓存的数据列数据内容。
10.根据权利要求7所述的面向大数据的数据流式缓存系统，其特征在于，还包括写入访问模块，用于通过对所述数据流缓存资源的索引按所述数据流时间区段与所述可缓存数据列的元信息进行查询，找到分配并写入的数据流缓存资源，通过读取数据流缓存资源中保存的缓存数据块并进行解压缩后，获得缓存的数据列数据内容，之后对需要修改的数据信息进行更新替换，并重新压缩为需要更换的缓存数据块，重新写入数据流缓存资源。
CN202111159888.XA 2021-09-30 2021-09-30 一种面向大数据的数据流式缓存方法及系统 Pending CN113806374A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111159888.XA CN113806374A (zh) 2021-09-30 2021-09-30 一种面向大数据的数据流式缓存方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111159888.XA CN113806374A (zh) 2021-09-30 2021-09-30 一种面向大数据的数据流式缓存方法及系统

Publications (1)

Publication Number Publication Date
CN113806374A true CN113806374A (zh) 2021-12-17

Family

ID=78897201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111159888.XA Pending CN113806374A (zh) 2021-09-30 2021-09-30 一种面向大数据的数据流式缓存方法及系统

Country Status (1)

Country Link
CN (1) CN113806374A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115454353A (zh) * 2022-10-17 2022-12-09 中国科学院空间应用工程与技术中心 一种面向空间应用数据的高速写入及查询方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020205A (zh) * 2012-12-05 2013-04-03 北京普泽天玑数据技术有限公司 一种分布式文件系统上基于硬件加速卡的压缩解压缩方法
CN105357061A (zh) * 2015-12-11 2016-02-24 普华基础软件股份有限公司 一种基于大数据流处理技术的运维监控分析系统
CN106970937A (zh) * 2017-02-08 2017-07-21 焦点科技股份有限公司 一种基于本地缓存快速建立索引的方法及系统
CN112380196A (zh) * 2020-10-28 2021-02-19 安擎(天津)计算机有限公司 一种用于数据压缩传输的服务器
CN112636763A (zh) * 2020-12-24 2021-04-09 武汉大学 一种面向多数据流的分布式实时压缩方法
CN113434546A (zh) * 2021-06-24 2021-09-24 江苏通付盾科技有限公司 基于动态时间片缓存数据流计算的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020205A (zh) * 2012-12-05 2013-04-03 北京普泽天玑数据技术有限公司 一种分布式文件系统上基于硬件加速卡的压缩解压缩方法
CN105357061A (zh) * 2015-12-11 2016-02-24 普华基础软件股份有限公司 一种基于大数据流处理技术的运维监控分析系统
CN106970937A (zh) * 2017-02-08 2017-07-21 焦点科技股份有限公司 一种基于本地缓存快速建立索引的方法及系统
CN112380196A (zh) * 2020-10-28 2021-02-19 安擎(天津)计算机有限公司 一种用于数据压缩传输的服务器
CN112636763A (zh) * 2020-12-24 2021-04-09 武汉大学 一种面向多数据流的分布式实时压缩方法
CN113434546A (zh) * 2021-06-24 2021-09-24 江苏通付盾科技有限公司 基于动态时间片缓存数据流计算的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115454353A (zh) * 2022-10-17 2022-12-09 中国科学院空间应用工程与技术中心 一种面向空间应用数据的高速写入及查询方法

Similar Documents

Publication Publication Date Title
US10303596B2 (en) Read-write control method for memory, and corresponding memory and server
US11307769B2 (en) Data storage method, apparatus and storage medium
US10466932B2 (en) Cache data placement for compression in data storage systems
CN101656094B (zh) 数据存储方法和存储设备
US20170293450A1 (en) Integrated Flash Management and Deduplication with Marker Based Reference Set Handling
TW201913416A (zh) 索引鍵值結構樹資料庫
CN109947363B (zh) 一种分布式存储系统的数据缓存方法
EP2735978A1 (en) Storage system and management method used for metadata of cluster file system
CN107577436B (zh) 一种数据存储方法及装置
CN107526550B (zh) 一种基于日志结构合并树的两阶段合并方法
CN103226965B (zh) 基于时间位图的音视频数据存取方法
US9262511B2 (en) System and method for indexing streams containing unstructured text data
US20140025899A1 (en) Efficiently Updating and Deleting Data in a Data Storage System
CN111813813B (zh) 一种数据管理方法、装置、设备及存储介质
KR20180046377A (ko) 압축된 포워드 맵을 가지는 저장소 티어
CN102880615A (zh) 一种数据存储方法和装置
CN110727406A (zh) 一种数据存储调度方法及装置
CN112148736B (zh) 缓存数据的方法、设备及存储介质
CN112346659B (zh) 一种分布式对象存储元数据的存储方法、设备及存储介质
CN111159176A (zh) 一种海量流数据的存储和读取的方法和系统
CN112262379A (zh) 存储数据项并且标识存储的数据项
CN100472526C (zh) 一种数据存储方法、数据读取方法以及数据检索方法
CN113806374A (zh) 一种面向大数据的数据流式缓存方法及系统
CN102332284A (zh) 适用于数字媒体播出的多媒体数据处理方法及其处理系统
CN107122140A (zh) 一种基于元数据信息的文件智能存储方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination