CN108446399B - 一种结构化海量实时数据的动态存储优化方法 - Google Patents

一种结构化海量实时数据的动态存储优化方法 Download PDF

Info

Publication number
CN108446399B
CN108446399B CN201810270412.5A CN201810270412A CN108446399B CN 108446399 B CN108446399 B CN 108446399B CN 201810270412 A CN201810270412 A CN 201810270412A CN 108446399 B CN108446399 B CN 108446399B
Authority
CN
China
Prior art keywords
data
time
real
index
dynamic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810270412.5A
Other languages
English (en)
Other versions
CN108446399A (zh
Inventor
张可
柴毅
黄若山
朱燕
朱博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN201810270412.5A priority Critical patent/CN108446399B/zh
Publication of CN108446399A publication Critical patent/CN108446399A/zh
Application granted granted Critical
Publication of CN108446399B publication Critical patent/CN108446399B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G06F16/24534—Query rewriting; Transformation
    • G06F16/24539—Query rewriting; Transformation using cached or materialised query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/221—Column-oriented storage; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2272—Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种结构化海量实时数据的动态存储优化方法，它包括：设定数据甄别规范和时间阈值；读取数据；筛选并标记数据；建立动态双缓存区；对动态缓冲区中的数据建立混合索引；将动态缓存区中小于时间阈值的数据存入到动态实时数据库中；若动态缓存区中的数据超过时间阈值，将超过时间阈值的数据存入到关系型历史数据库中；将实时数据库中超过时间阈值的内存索引与硬盘索引合并；索引合并后，将实时数据库中的数据存入到关系型历史数据库中。本发明取得的有益效果是：能够在接收数据时，采用双缓冲区交替接收实时数据，或对实时数据进行处理后可以不间断的接收实时数据，使内存效率达到最大，降低了接收数据的延迟性。

Description

一种结构化海量实时数据的动态存储优化方法
技术领域
本发明涉及计算机信息技术领域，特别是一种结构化海量实时数据的动态存储优化方法。
背景技术
随着科技的发展，云计算领域提出的大数据中一类重要的应用就是针对海量结构化数据的存储与检索。
在对数据的实时性要求高的场合，不仅需要实时的接收和发送海量数据，还要把数据实时存储到内存数据库，对超过时间阈值的数据还要存到磁盘历史数据库，如此复杂的工作单缓冲区很难胜任，保持高速数据存储的实时性是一个比较棘手的问题。
随后在内存数据库的概念提出以后，出现了各种不同的基于内存的实时数据库以及缓存实时数据的产品，基于内存的实时数据库需要将常用的或马上使用的数据缓存到内存中，在访问时可以直接从内存中取出数据，可以减少对磁盘等外部存储器的访问，从而提高数据的访问效率，但是数据存储位置和空间大小分配不能进行动态分配，降低了内存的空间利用率；同时，在对数据建立索引时一般只使用一个内存索引和一个数据库索引，在内存索引与历史数据库索引合并时，不能再添加新的索引，使得数据的实时存储出现了一定的延迟。
发明内容
有鉴于现有技术的上述缺陷，本发明的目的就是提供一种结构化海量实时数据的动态存储优化方法，能够在接收数据时，采用双缓冲区交替接收实时数据，或对实时数据进行处理后可以不间断的接收实时数据，使内存效率达到最大，降低了接收数据的延迟性。
本发明的目的是通过这样的技术方案实现的，一种结构化海量实时数据的动态存储优化方法，它包括有：
S1：设定数据甄别规范和时间阈值；
S2：读取结构化实时数据；
S3：筛选并标记出与甄别规范相对应的实时数据；
S4：建立动态双缓存区，用于接收筛选并标记的实时数据；
S5：对动态缓冲区中的标记数据与非标记数据分别建立混合索引；
S6：将动态缓存区中小于时间阈值的标记数据和非标记数据分别存入到动态实时数据库的不同区域中，并使用内存池技术对内存进行管理；
S7：若动态缓存区中的标记数据或非标记数据超过时间阈值，则将该动态缓存区超过时间阈值的数据存入到关系型历史数据库中；
S8：将实时数据库中超过时间阈值的内存索引与硬盘索引合并；
S9：在索引合并完成后，将实时数据库中的实时数据存入到关系型历史数据库中。
进一步，所述步骤S4还包括有：
S41：统计当前标记数据量占总数据量的比例；
S42：在内存中分别设置有容量相同的第一缓存区和第二缓存区；
S43：根据统计比例动态划分两个缓冲区中标记数据和非标记数据所占缓冲区空间的大小；
S44：将采集到的数据筛选并标记后，根据标记写入第一缓存区中，并开始存储数据；
S45：当第一缓存区被写满后，将采集到的数据筛选并标记后根据标记写入第二缓存区中；
S46：当第二缓存区被写满后，回到第一缓存区起始处，用覆盖的方式把新采集的数据筛选并标记后写入第一缓存区；
S47：返回步骤S44。
进一步，所述步骤S5还包括有：
S51：对结构化数据采用列存储结构，将字段值按照数据字典排序存储；
S52：将某长度的数据按照时间顺序作为一个数据块进行保存；
S53：将标记数据与非标记数据分开存入至不同数据块中；
S54：在每个数据块中建立块内索引；
S55：根据数据块的时间属性建立时间索引，用于管理数据块。
进一步，所述步骤S6还包括有：
S61：将内存数据库存储区域划分为非标记数据区和标记数据区；
S62：根据统计得到的当前标记数据量占总数据量的比例，动态设定标记区和非标记区；
S63：设置标记数据区和非标记数据区的访问优先级，当检索数据时优先检索标记数据区；
S64：根据数据标记将数据存入指定区域。
进一步，所述步骤S7还包括有：
S71：将动态缓冲区数据进行分类，主要分为时间标签，质量码和数值三类；
S72：对时间标签，质量码和数值三种数据类型分类压缩；
S73：将压缩后的数据存入关系型历史数据库。
进一步，所述步骤S8还包括有：
S81：建立两个内存索引，索引A和索引B，系统最开始启动时，索引A处于工作状态，索引B处于休眠状态；
S82：当实时数据库中数据超过时间阈值需要存入关系型历史数据库时，此时索引A不再向其中添加数据；系统中索引B开始工作，为新存入实时数据库的数据建立索引；
S83：当索引A中的数据完全合并到历史数据库中时，索引A进入休眠状态；
S84：索引A和索引B交替工作。
进一步，所述步骤S9还包括有：
S91：实时数据库中实时索引与历史数据库中的索引进行合并；
S92：对待存储数据进行分类，主要分为时间标签，质量码和数值三类；；
S93：根据数据类型不同进行数据分类压缩；
S94：将压缩后的数据存入历史数据库。
由于采用了上述技术方案，本发明具有如下的优点：具有快速、实时、高效的特点，在大量实时数据采集存储的过程中，双缓冲区更容易满足数据的高速率采集存储要求，又可以减少内存空间的占用，同时对缓冲区空间进行动态划分，提高对缓冲区中数据处理速度；使用内存池技术管理内存空间可以极大的提高数据传输的实时性，同时能有效减少内存碎片数量，提高空间利用率；对实时奇异数据和正常数据分区存储通过优先检索奇异值存储区的方式可以有效提高数据检索效率，对数据存储区空间根据数据比例进行动态分配有效提高数据空间的利用率；同时根据数据关联度将一段时间内产生的数据存入一个数据块提高数据检索效率；考虑到实时数据具有时效性，采用基于内存的实时数据库存储实时数据减少了对磁盘的访问，提高了数据的存储和读取速度，更加满足实时性要求。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书和权利要求书来实现和获得。
附图说明
本发明的附图说明如下：
图1为结构化海量实时数据的动态存储优化方法的流程示意图。
图2为动态双缓冲区的工作流程示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
实施例：如图1和图2所示；一种结构化海量实时数据的动态存储优化方法，它包括有：
S1：设定数据甄别规范和时间阈值；
S2：读取结构化实时数据；
S3：筛选并标记出与甄别规范相对应的实时数据；
S4：建立动态双缓存区，用于接收筛选并标记的实时数据；
所述步骤S4还包括有：
S41：统计当前标记数据量占总数据量的比例；
S42：在内存中分别设置有容量相同的第一缓存区和第二缓存区；
S43：根据统计比例动态划分两个缓冲区中标记数据和非标记数据所占缓冲区空间的大小；
S44：将采集到的数据筛选并标记后，根据标记写入第一缓存区中，并开始存储数据；
S45：当第一缓存区被写满后，将采集到的数据筛选并标记后根据标记写入第二缓存区中；
S46：当第二缓存区被写满后，回到第一缓存区起始处，用覆盖的方式把新采集的数据筛选并标记后写入第一缓存区；
S47：返回步骤S44。
S5：对动态缓冲区中的标记数据与非标记数据分别建立混合索引；内存的混合索引包括有：对数据分块处理再建立块内索引和数据块的索引。
所述步骤S5还包括有：
S51：对结构化数据采用列存储结构，将字段值按照数据字典排序存储；
S52：将某长度的数据按照时间顺序作为一个数据块进行保存；
S53：将标记数据与非标记数据分开存入至不同数据块中；
S54：在每个数据块中建立块内索引；
S55：根据数据块的时间属性建立时间索引，用于管理数据块。
S6：将动态缓存区中小于时间阈值的标记数据和非标记数据分别存入到动态实时数据库的不同区域中，并使用内存池技术对内存进行管理；内存池管理内存可减少内存碎片的数量。
所述步骤S6还包括有：
S61：将内存数据库存储区域划分为非标记数据区和标记数据区；
S62：根据统计得到的当前标记数据量占总数据量的比例，动态设定标记区和非标记区；
S63：设置标记数据区和非标记数据区的访问优先级，当检索数据时优先检索标记数据区；
S64：根据数据标记将数据存入指定区域。
S7：若动态缓存区中的标记数据或非标记数据超过时间阈值，则将该动态缓存区超过时间阈值的数据存入到关系型历史数据库中；
所述步骤S7还包括有：
S71：将动态缓冲区数据进行分类，主要分为时间标签，质量码和数值三类；
S72：对时间标签，质量码和数值三种数据类型分类压缩；
S73：将压缩后的数据存入关系型历史数据库。
S8：将实时数据库中超过时间阈值的内存索引与硬盘索引合并；
所述步骤S8还包括有：
S81：建立两个内存索引，索引A和索引B，系统最开始启动时，索引A处于工作状态，索引B处于休眠状态；
S82：当实时数据库中数据超过时间阈值需要存入关系型历史数据库时，此时索引A不再向其中添加数据；系统中索引B开始工作，为新存入实时数据库的数据建立索引；
S83：当索引A中的数据完全合并到历史数据库中时，索引A进入休眠状态；
S84：索引A和索引B交替工作。
S9：在索引合并完成后，将实时数据库中的实时数据存入到关系型历史数据库中。
所述步骤S9还包括有：
S91：实时数据库中实时索引与历史数据库中的索引进行合并；
S92：对待存储数据进行分类，主要分为时间标签，质量码和数值三类；；
S93：根据数据类型不同进行数据分类压缩；
S94：将压缩后的数据存入历史数据库。
本发明在接收数据时，采用双缓冲区交替接收实时数据或对实时数据进行处理可以不间断的接收实时数据，使内存效率达到最大，降低了接收数据的延迟性；对实时奇异数据和正常数据动态分区存储通过优先检索奇异值存储区的方式可以有效提高数据检索效率；同时根据数据关联度将一段时间内产生的数据存入一个数据块提高数据检索效率；并且，本发明会同时建立两个内存索引，两个索引交替工作，降低了内存实时数据库与磁盘历史数据库索引合并时无法再对历史数据添加索引导致的延迟问题。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种结构化海量实时数据的动态存储优化方法，其特征在于，所述方法步骤如下：
S1：设定数据甄别规范和时间阈值；
S2：读取结构化实时数据；
S3：筛选并标记出与甄别规范相对应的实时数据；
S4：建立动态双缓存区，用于接收筛选并标记的实时数据；
S5：对动态缓冲区中的标记数据与非标记数据分别建立混合索引；
S6：将动态缓存区中小于时间阈值的标记数据和非标记数据分别存入到动态实时数据库的不同区域中，并使用内存池技术对内存进行管理；
S7：若动态缓存区中的标记数据或非标记数据超过时间阈值，则将该动态缓存区超过时间阈值的数据存入到关系型历史数据库中；
S8：将实时数据库中超过时间阈值的内存索引与硬盘索引合并；
S9：在索引合并完成后，将实时数据库中的实时数据存入到关系型历史数据库中；
所述步骤S4还包括有：
S41：统计当前标记数据量占总数据量的比例；
S42：在内存中分别设置有容量相同的第一缓存区和第二缓存区；
S43：根据统计比例动态划分两个缓冲区中标记数据和非标记数据所占缓冲区空间的大小；
S44：将采集到的数据筛选并标记后，根据标记写入第一缓存区中，并开始存储数据；
S45：当第一缓存区被写满后，将采集到的数据筛选并标记后根据标记写入第二缓存区中；
S46：当第二缓存区被写满后，回到第一缓存区起始处，用覆盖的方式把新采集的数据筛选并标记后写入第一缓存区；
S47：返回步骤S44。
2.如权利要求1所述的结构化海量实时数据的动态存储优化方法，其特征在于，所述步骤S5还包括有：
S51：对结构化数据采用列存储结构，将字段值按照数据字典排序存储；
S52：将某长度的数据按照时间顺序作为一个数据块进行保存；
S53：将标记数据与非标记数据分开存入至不同数据块中；
S54：在每个数据块中建立块内索引；
S55：根据数据块的时间属性建立时间索引，用于管理数据块。
3.如权利要求1所述的结构化海量实时数据的动态存储优化方法，其特征在于，所述步骤S6还包括有：
S61：将内存数据库存储区域划分为非标记数据区和标记数据区；
S62：根据统计得到的当前标记数据量占总数据量的比例，动态设定标记区和非标记区；
S63：设置标记数据区和非标记数据区的访问优先级，当检索数据时优先检索标记数据区；
S64：根据数据标记将数据存入指定区域。
4.如权利要求1所述的结构化海量实时数据的动态存储优化方法，其特征在于，所述步骤S7还包括有：
S71：将动态缓冲区数据进行分类，分为时间标签，质量码和数值三类；
S72：对时间标签，质量码和数值三种数据类型分类压缩；
S73：将压缩后的数据存入关系型历史数据库。
5.如权利要求1所述的结构化海量实时数据的动态存储优化方法，其特征在于，所述步骤S8还包括有：
S81：建立两个内存索引，索引A和索引B，系统最开始启动时，索引A处于工作状态，索引B处于休眠状态；
S82：当实时数据库中数据超过时间阈值需要存入关系型历史数据库时，此时索引A不再向其中添加数据；系统中索引B开始工作，为新存入实时数据库的数据建立索引；
S83：当索引A中的数据完全合并到历史数据库中时，索引A进入休眠状态；
S84：索引A和索引B交替工作。
6.如权利要求1所述的结构化海量实时数据的动态存储优化方法，其特征在于，所述步骤S9还包括有：
S91：实时数据库中实时索引与历史数据库中的索引进行合并；
S92：对待存储数据进行分类，分为时间标签，质量码和数值三类；
S93：根据数据类型不同进行数据分类压缩；
S94：将压缩后的数据存入历史数据库。
CN201810270412.5A 2018-03-29 2018-03-29 一种结构化海量实时数据的动态存储优化方法 Active CN108446399B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810270412.5A CN108446399B (zh) 2018-03-29 2018-03-29 一种结构化海量实时数据的动态存储优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810270412.5A CN108446399B (zh) 2018-03-29 2018-03-29 一种结构化海量实时数据的动态存储优化方法

Publications (2)

Publication Number Publication Date
CN108446399A CN108446399A (zh) 2018-08-24
CN108446399B true CN108446399B (zh) 2021-07-30

Family

ID=63197692

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810270412.5A Active CN108446399B (zh) 2018-03-29 2018-03-29 一种结构化海量实时数据的动态存储优化方法

Country Status (1)

Country Link
CN (1) CN108446399B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110362577B (zh) * 2019-07-10 2020-06-09 星环信息科技（上海）有限公司 一种数据插入方法、装置、设备和储存介质
CN110955704A (zh) * 2019-12-03 2020-04-03 北京锐安科技有限公司 一种数据管理方法、装置、设备及存储介质
CN113407550A (zh) * 2021-08-19 2021-09-17 支付宝(杭州)信息技术有限公司 数据存储及查询方法、装置及数据库系统
CN114238538A (zh) * 2021-12-22 2022-03-25 国汽大有时空科技(安庆)有限公司 一种基于高精地图的数据存储系统及方法

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1038169A (zh) * 1988-05-30 1989-12-20 亚瑞亚·勃朗·勃威力有限公司 检测叠片铁心片间短路的方法和设备
CN101000558A (zh) * 2006-01-13 2007-07-18 英业达股份有限公司 动态更新资源配置状态的方法
CN101202758A (zh) * 2006-12-14 2008-06-18 英业达股份有限公司 多客户端的网络虚拟存储方法
CN102663086A (zh) * 2012-04-09 2012-09-12 华中科技大学 一种数据块索引的检索方法
CN103092775A (zh) * 2013-01-31 2013-05-08 武汉大学 一种基于键值结构的空间数据双缓存方法及机制
CN103902474A (zh) * 2014-04-11 2014-07-02 华中科技大学 一种支持固态盘缓存动态分配的混合存储系统和方法
CN103970902A (zh) * 2014-05-27 2014-08-06 重庆大学 一种大量数据情况下的可靠即时检索方法及系统
CN104504105A (zh) * 2014-12-30 2015-04-08 青岛海信网络科技股份有限公司 一种实时数据库的存储方法
CN104731921A (zh) * 2015-03-26 2015-06-24 江苏物联网研究发展中心 Hadoop分布式文件系统针对日志型小文件的存储和处理方法
CN104731864A (zh) * 2015-02-26 2015-06-24 国家计算机网络与信息安全管理中心 一种海量非结构化数据的数据存储方法
CN105022587A (zh) * 2014-04-24 2015-11-04 中国移动通信集团设计院有限公司 一种设计磁盘阵列的方法和存储装置
CN105095421A (zh) * 2015-07-14 2015-11-25 南京国电南自美卓控制系统有限公司 一种实时数据库的分布式的存储方法
CN106033324A (zh) * 2015-03-09 2016-10-19 杭州海康威视数字技术股份有限公司 一种数据存储的方法和装置
CN104133661B (zh) * 2014-07-30 2017-01-18 西安电子科技大学 基于列存储的多核并行哈希分区优化方法
CN106407028A (zh) * 2016-08-26 2017-02-15 佛山智能装备技术研究院 一种双缓冲式的机器人软件日志存储方法
CN106561017A (zh) * 2016-05-27 2017-04-12 柏建民 一种具有动态适应能力的新型数据传输系统
CN107229639A (zh) * 2016-03-24 2017-10-03 上海宝信软件股份有限公司 分布式实时数据库的存储系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11086850B2 (en) * 2011-04-13 2021-08-10 International Business Machines Corporation Persisting of a low latency in-memory database

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1038169A (zh) * 1988-05-30 1989-12-20 亚瑞亚·勃朗·勃威力有限公司 检测叠片铁心片间短路的方法和设备
CN101000558A (zh) * 2006-01-13 2007-07-18 英业达股份有限公司 动态更新资源配置状态的方法
CN101202758A (zh) * 2006-12-14 2008-06-18 英业达股份有限公司 多客户端的网络虚拟存储方法
CN102663086A (zh) * 2012-04-09 2012-09-12 华中科技大学 一种数据块索引的检索方法
CN103092775A (zh) * 2013-01-31 2013-05-08 武汉大学 一种基于键值结构的空间数据双缓存方法及机制
CN103902474A (zh) * 2014-04-11 2014-07-02 华中科技大学 一种支持固态盘缓存动态分配的混合存储系统和方法
CN105022587A (zh) * 2014-04-24 2015-11-04 中国移动通信集团设计院有限公司 一种设计磁盘阵列的方法和存储装置
CN103970902A (zh) * 2014-05-27 2014-08-06 重庆大学 一种大量数据情况下的可靠即时检索方法及系统
CN104133661B (zh) * 2014-07-30 2017-01-18 西安电子科技大学 基于列存储的多核并行哈希分区优化方法
CN104504105A (zh) * 2014-12-30 2015-04-08 青岛海信网络科技股份有限公司 一种实时数据库的存储方法
CN104731864A (zh) * 2015-02-26 2015-06-24 国家计算机网络与信息安全管理中心 一种海量非结构化数据的数据存储方法
CN106033324A (zh) * 2015-03-09 2016-10-19 杭州海康威视数字技术股份有限公司 一种数据存储的方法和装置
CN104731921A (zh) * 2015-03-26 2015-06-24 江苏物联网研究发展中心 Hadoop分布式文件系统针对日志型小文件的存储和处理方法
CN105095421A (zh) * 2015-07-14 2015-11-25 南京国电南自美卓控制系统有限公司 一种实时数据库的分布式的存储方法
CN107229639A (zh) * 2016-03-24 2017-10-03 上海宝信软件股份有限公司 分布式实时数据库的存储系统
CN106561017A (zh) * 2016-05-27 2017-04-12 柏建民 一种具有动态适应能力的新型数据传输系统
CN106407028A (zh) * 2016-08-26 2017-02-15 佛山智能装备技术研究院 一种双缓冲式的机器人软件日志存储方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于分布式内存数据库的移动对象全时态索引;周翔宇等;《计算机科学》;20160715;203-237，216 *

Also Published As

Publication number Publication date
CN108446399A (zh) 2018-08-24

Similar Documents

Publication Publication Date Title
CN108446399B (zh) 一种结构化海量实时数据的动态存储优化方法
US20180285167A1 (en) Database management system providing local balancing within individual cluster node
CN102419752B (zh) 一种工业数据库报文存储方法
CN111026329B (zh) 基于主机管理瓦记录磁盘的键值存储系统及数据处理方法
CN102880854B (zh) 基于分布式和哈希映射的室外海量物体识别方法和系统
CN103345518A (zh) 基于数据块的自适应数据存储管理方法及系统
CN110968269A (zh) 基于scm与ssd的键值存储系统及读写请求处理方法
US11734313B2 (en) Systems and methods for intelligently grouping financial product users into cohesive cohorts
CN114546295B (zh) 一种基于zns固态硬盘的智能写分配方法和装置
CN107577436A (zh) 一种数据存储方法及装置
CN110413624A (zh) 一种基于列存的多列联合存储的方法
CN113901279A (zh) 一种图数据库的检索方法和装置
CN104778271A (zh) 一种视频数据的缓存方法及装置
CN109165096B (zh) web集群的缓存利用系统及方法
CN111475507A (zh) 一种工作负载自适应单层lsmt的键值数据索引方法
CN101650718A (zh) 字符串匹配方法和装置
CN116126864A (zh) 索引构建方法、数据查询方法及相关设备
CN111581247B (zh) 数据管理器、时序数据库及信息处理系统
CN108932738A (zh) 一种基于字典的位片索引压缩方法
CN114610944B (zh) 基于三维引擎的关键字智能匹配资源材质的优化方法
CN110321349B (zh) 一种面向数据起源系统的自适应数据合并存储方法
CN112380256B (zh) 能源系统数据存取的方法、数据库、计算机可读存储介质
CN108509585A (zh) 一种异构数据实时交互优化处理方法
CN112214493A (zh) 一种历史记录存储方法、装置、电子设备以及存储介质
CN111695685B (zh) 一种面向图神经网络应用的片上存储系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant