CN117971905A - 一种工业生产过程历史数据即时统计的缓存及索引方法 - Google Patents
一种工业生产过程历史数据即时统计的缓存及索引方法 Download PDFInfo
- Publication number
- CN117971905A CN117971905A CN202410381963.4A CN202410381963A CN117971905A CN 117971905 A CN117971905 A CN 117971905A CN 202410381963 A CN202410381963 A CN 202410381963A CN 117971905 A CN117971905 A CN 117971905A
- Authority
- CN
- China
- Prior art keywords
- data
- identification
- storage unit
- identification bit
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000009776 industrial production Methods 0.000 title claims abstract description 12
- 238000003860 storage Methods 0.000 claims abstract description 141
- 238000013507 mapping Methods 0.000 claims abstract description 35
- 238000012545 processing Methods 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 8
- 238000012544 monitoring process Methods 0.000 claims description 8
- 238000013500 data storage Methods 0.000 claims description 6
- 238000013508 migration Methods 0.000 claims description 3
- 230000005012 migration Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 abstract description 3
- 238000000638 solvent extraction Methods 0.000 abstract description 2
- 238000004519 manufacturing process Methods 0.000 description 12
- 238000001816 cooling Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种工业生产过程历史数据即时统计的缓存及索引方法，属于实时数据库存储优化领域，包括：获取第一数据的同时设置时钟周期；设置第一标识位、第二标识位和第三标识位，并将存储器划分为不同的存储区域；分别存储第一数据和不同的映射表；当第一标识值大于第一阈值，将对应逻辑地址的第一数据迁移至第二存储单元；更新第一映射表和第二映射表，当第二标识值大于第二阈值，且第三标识位标识为第二存储单元时，将对应数据迁移至第一存储单元，初始化其第一标识位和第二标识位，并更新第三标识位。本发明通过存储单元的分区和划分，以及不同映射方式设置，相比于现有技术单一化存储，降低成本，减少时延，提高了存储和索引效率。
Description
技术领域
本发明涉及实时数据库优化技术领域,具体涉及一种工业生产过程历史数据即时统计的缓存及索引方法。
背景技术
智能化技术在现代工业领域所起到的作用日益突出。作为工业智能化载体的各类工业软件在传统的制造业中起到了越来越重要的作用。而随着制造业智能化程度的加深，在工业生产各个环节中，无论是智能调度、故障告警、实时监控或者自动化操作等环节，每个环节都离不开各类工业软件的深度参与，这其中会产生海量的数据需要被及时存储，以及对各环节产生数据的即时检索、分析等操作。而这种海量数据的需求使得传统的关系型数据库无论在结构设计或算法优化上都面临着严峻的性能挑战。
为解决工业智能化场景下传统的关系型数据库难以胜任海量、高频数据产生下的即是处理和分析的需求，现有技术中通常采用以关系型数据库或者非关系型数据库结合实时处理技术构建时间序列数据库进行转储和查询实现对数据的即时处理。但随着对数据采集和处理的效率及精度要求越来越高的情况下，在面对大量实时或历史数据的统计分析时，现有技术中PI-RTDB、IP21-RTDB等传统实时数据库对复杂匹配的大规模工业生产下的实时和历史数据的存储和索引仍然以其相对较高的时延和功耗，难以高效经济的满足该工业应用场景下的实时性和数据处理效率的需求。
发明内容
有鉴于此，本发明提出了涉及一种工业生产过程历史数据即时统计的缓存及索引方法，以解决现有技术中所存在的上述技术问题。
本发明第一方面提供一种工业生产过程历史数据即时统计的缓存及索引方法，包括：
获取第一数据，在获取第一数据的同时设置时钟周期；所述第一数据为当前时钟周期待存储的实时数据，所述第一数据包括第一标识位、第二标识位和第三标识位，所述第一标识位包括第一标识值，用以标识时钟周期数，所述第二标识位包括第二标识值，用于标识当前数据访存频次，所述第三标识位，用以标识所述第一数据当前的存储位置；
将所述第一数据存储至第一存储单元，所述第一存储单元被划分为第一存储区域、第二存储区域和第三存储区域；将所述第一数据存储至所述第一存储区域；所述第二存储区域用于存储第一数据存储位置对应逻辑地址段到第一标识值的第一映射表；所述第三存储区域用于存储第一数据对应第一标识值到第二标识值的第二映射表；
当所述第一标识值大于第一阈值，查找第一映射表，获取对应逻辑地址段，将对应逻辑地址的第一数据迁移至第二存储单元，更新其第三标识位，并初始化所述第一数据的第一标识位和第二标识位；
根据每一时钟周期，更新第一映射表和第二映射表，当第二标识值大于第二阈值，且所述第三标识位标识为第二存储单元时，将对应数据迁移至第一存储单元，初始化其第一标识位和第二标识位，并更新第三标识位。
优选地，所述第一阈值和第二阈值根据历史读写记录预先配置，其中所述第二阈值为至少N个第一阈值周期内的平均访存频次，其中N>1；
所述第一存储单元读写性能优于所述第二存储单元；所述第二存储单元存储空间大于所述第一存储单元。
优选地，当进行数据索引时，先对第一储存单元进行索引，当命中所述数据时，则返回相应数据，更新第一、第二标识值；当未命中时则对第二存储单元进行索引，若在第二存储单元中命中该数据，则返回相应数据，并更新第一、第二标识值；若在第二存储单元中未命中该数据则返回为空。
本发明第二方面还提供一种工业生产过程历史数据即时统计的缓存及索引装置，包括：处理模块、存储模块、数据通信模块、监测模块，所述存储模块包括第一存储单元、第二存储单元，第一存储单元和第二存储单元用于第一数据的存储，所述处理模块用于数据的处理，所述数据通信模块用于各模块间数据通信；所述监测模块用于周期性监测第一标识值及第二标识值；以及
数据获取模块，用于获取第一数据，在获取第一数据的同时设置时钟周期；所述第一数据为当前时钟周期待存储的实时数据；所述第一数据包括第一标识位、第二标识位和第三标识位，所述第一标识位包括第一标识值，用以标识时钟周期数，所述第二标识位包括第二标识值，用于标识当前数据访存频次，所述第三标识位，用以标识所述第一数据当前的存储位置；将所述第一数据存储至第一存储单元；
数据迁移模块，用于将数据在第一存储单元和第二存储单元见迁移。具体包括：获取第一标识值，当所述第一标识值大于第一阈值，将第一数据迁移至第二存储单元，更新其第三标识位，并初始化所述第一数据的第一标识位和第二标识位。
所述第一存储单元被划分为第一存储区域、第二存储区域和第三存储区域；
将所述第一数据存储至所述第一存储区域；所述第二存储区域用于存储第一数据存储位置对应逻辑地址段到第一标识值的所述第一映射表；所述第三存储区域用于存储第一数据对应第一标识值到第二标识值的所述第二映射表。
所述当所述第一标识值大于第一阈值，将第一数据迁移至第二存储单元，具体包括：
当所述第一标识值大于第一阈值，查找第一映射表，获取对应逻辑地址段，将对应逻辑地址的第一数据迁移至第二存储单元，更新其第三标识位，并初始化所述第一数据的第一标识位和第二标识位。
所述将第一数据迁移至第二存储单元后，还包括：
根据每一时钟周期，更新第一映射表和第二映射表，当所述第二标识值大于第二阈值，且所述第三标识位标识为第二存储单元时，将对应数据迁移至第一存储单元，初始化其第一标识位和第二标识位，并更新第三标识位。
优选地，当进行数据索引时，先对第一储存单元进行索引，当命中所述数据时，则返回相应数据，更新第一、第二标识值；当未命中时则对第二存储单元进行索引，若在第二存储单元中命中该数据，则返回相应数据，并更新第一、第二标识值；若在第二存储单元中未命中该数据则返回为空。
本发明第三方面还提供一种电子设备，包括：至少一个处理器；以及非暂时性计算机可读可存储介质，包括可执行程序指令，所述可执行程序指令用于控制执行实现上述的工业生产过程历史数据即时统计的缓存及索引方法的步骤。
本发明第四方面还提供一种非暂时性计算机可读可存储介质，存储有可执行程序指令，所述可执行程序指令被处理器执行时实现上述的工业生产过程历史数据即时统计的缓存及索引方法的步骤。
本发明所提供的工业生产过程历史数据即时统计的缓存及索引方法及装置的更多技术效果将在具体实施例中进一步阐述。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。附图大体上通过举例而不是限制的方式示出各种实施例，并且与说明书以及权利要求书一起用于对所公开的实施例进行说明。在不一定按比例绘制的附图中，相同的附图标记可以在不同的视图中描述相似的部件。在适当的时候，在所有附图中使用相同的附图标记指代同一或相似的部分。这样的实施例是例证性的，而并非旨在作为本装置或方法的穷尽或排他实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例工业生产过程历史数据即时统计的缓存及索引方法的第一流程图；
图2为本申请实施例第一存储单元示意图；
图3为本申请实施例将第一数据迁移至第二存储单元的示意流程；
图4为本申请实施例工业生产过程历史数据即时统计的缓存及索引设置的结构示意图。
具体实施方式
下面将结合本发明公开实施例中的附图，对本发明公开实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本公开一部分的实施例，而不是全部的实施例。基于本发明公开中的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明公开保护的范围。
此外，如本发明公开和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。本发明公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
图1所示为本发明一种实施例中工业生产过程历史数据即时统计的缓存及索引方法的流程示意图。在本发明实施例中，获取第一数据，在获取第一数据的同时设置时钟周期；
所述第一数据为当前时钟周期待存储的实时数据；值得说明的是，在实施例中，数据的产生是实时生成的，当经过一定时钟周期后实时数据则转化为历史数据。
所述第一数据包括第一标识位、第二标识位和第三标识位，所述第一标识位包括第一标识值，用以标识时钟周期数，所述第二标识位包括第二标识值，用于标识当前数据访存频次，所述第三标识位，用以标识所述第一数据当前的存储位置；
将所述第一数据存储至第一存储单元；
获取第一标识值，当所述第一标识值大于第一阈值，将第一数据迁移至第二存储单元，更新其第三标识位，并初始化所述第一数据的第一标识位和第二标识位。
图2示出了在一种实施方式下，第一存储单元被划分为第一存储区域、第二存储区域和第三存储区域；将所述第一数据存储至所述第一存储区域；所述第二存储区域用于存储第一数据存储位置对应逻辑地址段到第一标识值的第一映射表；所述第三存储区域用于存储第一数据对应第一标识值到第二标识值的第二映射表。
图3示出了一种实施方式下将第一数据迁移至第二存储单元的示意流程。如图3所示，通过周期性监测第一标识值，当所述第一标识值大于第一阈值时，查找第一映射表，获取对应逻辑地址段，将对应逻辑地址的第一数据迁移至第二存储单元，更新其第三标识位，并初始化所述第一数据的第一标识位和第二标识位。
其中第一存储单元读写性能优于所述第二存储单元；所述第二存储单元存储空间大于所述第一存储单元。在一种优选的实施方式下，第一存储单元为NAND Flash存储器，第二存储单元为HDD磁盘阵列。
由于目前大规模工业生产下的实时和历史数据的存储和索引存在较高的时延和功耗问题，一个理想的解决方案是采用读写性能更高存储设备进行更高效的读写，但由于大规模工业生产所产生的数据是海量的，这样一来将带来极高的硬件成本。
而且在缺乏更高效的索引机制下，面对海量数据的及时索引也会带来很大的挑战。事实上，在工业生产场景中，并非所有数据都会被频繁调用，数据的调取频率往往跟对应的时钟周期有关，当下时钟周期或者临近时钟周期内的数据被频繁调取的可能性更大。
因此附图1-4所示出的实施例中，将待处理数据设置不同的标识位，通过设置第一存储单元作为缓冲存储空间，根据不同业务需求，分析日志或历史读写记录设置时钟周期阈值，时钟周期阈值的设定可根据实际应用场景而设定。优选的，可通过对业务生成数据进行分类以及权重计算，以历史数据作为数据，进行神经网络模型训练，得到对应的时钟周期阈值。在这一时钟阈值周期内所产生的数据会被经常访问，而阈值周期外的数据是相对较少访问的数据，通常这份部分历史数据是海量的，需要极大占用硬件成本的。本发明通过上述设置，使得只需要将阈值周期内的数据存储于第一存储单元，而无需将大量的历史数据全部存储于第一存储单元。
因此，相比于现有技术将历史数据统一进行单一化存储而言，本发明无需花费较大的硬件成本即可以更快的速度处理和存储数据。同时，为实现高效的索引，通过将第一存储单元进行分区，设置不同的映射表，使得数据能够更高效的被索引。
在另一种实施例中，由于不同工业场景下的多样性需求，对某些特定数据会存在冷却期的现象，当冷却期结束该数据可能又会被频繁调用，针对这种情况，本申请在设置第一阈值的同时，又根据此类业务数据的一般属性，设置第二阈值，第二阈值的设定也是根据历史读写记录预先配置，这里对第二阈值的设置不做限制性限定，一种优选的实施例下，根据对历史数据的分类和权重配比作为参数输入进行神经网络模型训练得出第二阈值。
另一种优选的实施例下，第二阈值设置为至少N个第一阈值周期内的平均访存频次，其中N>1。即在至少2个第一阈值周期内，如果该数据的访存频次高于了相应周期内的平均访存频次，则认为对应历史数据冷却周期结束。
通过周期性监测第二标识位，并根据每一时钟周期，更新第一映射表和第二映射表，当所述第二标识值大于第二阈值，且所述第三标识位标识为第二存储单元时，则将对应数据迁移至第一存储单元，初始化其第一标识位和第二标识位，并更新第三标识位。通过对数据第二标识位和第三标识位的监测，识别冷却期结束数据，将对应数据重新调取到第一存储单元，从而减少了在低性能下的频繁读写，提高了数据处理效率和实时性。
当进行数据索引时，先对第一储存单元进行索引，当命中所述数据时，则返回相应数据，更新第一、第二标识值；当未命中时则对第二存储单元进行索引，若在第二存储单元中命中该数据，则返回相应数据，并更新第一、第二标识值；若在第二存储单元中未命中该数据则返回为空。
图4示出了本申请实施例工业生产过程历史数据即时统计的缓存及索引设置的结构示意图。如图4所示，包括：处理模块、存储模块、数据通信模块和检测模块，所述第一存储单元和第二存储单元用于第一数据的存储，所述处理模块用于数据的处理，所述通信模块用于各模块见数据通信，以及
数据获取模块，用于获取第一数据，在获取第一数据的同时设置时钟周期；所述第一数据为当前时钟周期待存储的实时数据；所述第一数据包括第一标识位、第二标识位和第三标识位，所述第一标识位包括第一标识值，用以标识时钟周期数，所述第二标识位包括第二标识值，用于标识当前数据访存频次，所述第三标识位，用以标识所述第一数据当前的存储位置；将所述第一数据存储至第一存储单元；
数据迁移模块，用于将数据在第一存储单元和第二存储单元见迁移。具体包括：获取第一标识值，当所述第一标识值大于第一阈值，将第一数据迁移至第二存储单元，更新其第三标识位，并初始化所述第一数据的第一标识位和第二标识位。
所述第一存储单元被划分为第一存储区域、第二存储区域和第三存储区域。
将所述第一数据存储至所述第一存储区域；所述第二存储区域用于存储第一数据存储位置对应逻辑地址段到第一标识值的所述第一映射表；所述第三存储区域用于存储第一数据对应第一标识值到第二标识值的所述第二映射表。
所述当所述第一标识值大于第一阈值，将第一数据迁移至第二存储单元，具体包括：
当所述第一标识值大于第一阈值，查找第一映射表，获取对应逻辑地址段，将对应逻辑地址的第一数据迁移至第二存储单元，更新其第三标识位，并初始化所述第一数据的第一标识位和第二标识位。
所述将第一数据迁移至第二存储单元后，还包括：
根据每一时钟周期，更新第一映射表和第二映射表，当所述第二标识值大于第二阈值，且所述第三标识位标识为第二存储单元时，将对应数据迁移至第一存储单元，初始化其第一标识位和第二标识位，并更新第三标识位。
本发明实施例第三方面还提供一种电子设备，包括：至少一个处理器；以及非暂时性计算机可读可存储介质，包括可执行程序指令，所述可执行程序指令用于控制执行实现上述的工业生产过程历史数据即时统计的缓存及索引方法的步骤。
本发明实施例第四方面还提供一种非暂时性计算机可读可存储介质，存储有可执行程序指令，所述可执行程序指令被处理器执行时实现上述的工业生产过程历史数据即时统计的缓存及索引方法的步骤。
本领域技术人员能够理解，本发明公开所披露的内容可以出现多种变型和改进。例如，以上所描述的各种设备或组件可以通过硬件实现，也可以通过软件、固件、或者三者中的一些或全部的组合实现。
此外，虽然本发明公开对根据本发明公开的实施例的系统中的某些单元做出了各种引用，然而，任何数量的不同单元可以被使用并运行在客户端和/或服务器上。单元仅是说明性的，并且系统和方法的不同方面可以使用不同单元。
本发明公开中使用了流程图用来说明根据本发明公开的实施例的方法的步骤。应当理解的是，前面或后面的步骤不一定按照顺序来精确的进行。相反，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中。
Claims (10)
1.一种工业生产过程历史数据即时统计的缓存及索引方法，其特征在于，包括：
获取第一数据，在获取第一数据的同时设置时钟周期；所述第一数据为当前时钟周期待存储的实时数据；
所述第一数据包括第一标识位、第二标识位和第三标识位，所述第一标识位包括第一标识值，用以标识时钟周期数，所述第二标识位包括第二标识值，用于标识当前数据访存频次，所述第三标识位，用以标识所述第一数据当前的存储位置；
将所述第一数据存储至第一存储单元；
所述第一存储单元被划分为第一存储区域、第二存储区域和第三存储区域；
将所述第一数据存储至所述第一存储区域；所述第二存储区域用于存储第一数据存储位置对应逻辑地址段到第一标识值的第一映射表；所述第三存储区域用于存储第一数据对应第一标识值到第二标识值的第二映射表；
获取第一标识值，当所述第一标识值大于第一阈值，查找第一映射表，获取对应逻辑地址段，将对应逻辑地址的第一数据迁移至第二存储单元；更新其第三标识位，并初始化所述第一数据的第一标识位和第二标识位。
2.根据权利要求1所述的方法，其特征在于，将第一数据迁移至第二存储单元后，还包括：
根据每一时钟周期，更新第一映射表和第二映射表，当所述第二标识值大于第二阈值，且所述第三标识位标识为第二存储单元时，将对应数据迁移至第一存储单元，初始化其第一标识位和第二标识位，并更新第三标识位。
3.根据权利要求1-2任一项所述的方法，其特征在于，所述第一阈值和第二阈值根据历史读写记录预先配置，其中所述第二阈值为至少N个第一阈值周期内的平均访存频次，其中N>1。
4.根据权利要求3所述的方法，其特征在于，所述第一存储单元读写性能优于所述第二存储单元；所述第二存储单元存储空间大于所述第一存储单元。
5.根据权利要求4所述的方法，其特征在于，当进行数据索引时，先对第一储存单元进行索引，当命中所述数据时，则返回相应数据，更新第一、第二标识值；
当未命中时则对第二存储单元进行索引，若在第二存储单元中命中该数据，则返回相应数据，并更新第一、第二标识值；若在第二存储单元中未命中该数据则返回为空。
6.一种工业生产过程历史数据即时统计的缓存及索引装置，其特征在于，包括：处理模块、存储模块、数据通信模块，监测模块，所述存储模块包括第一存储单元、第二存储单元，第一存储单元和第二存储单元用于第一数据的存储，所述处理模块用于数据的处理，所述数据通信模块用于各模块见数据通信；所述监测模块用于周期性监测第一标识值及第二标识值；以及
数据获取模块，用于获取第一数据，在获取第一数据的同时设置时钟周期；所述第一数据为当前时钟周期待存储的实时数据；所述第一数据包括第一标识位、第二标识位和第三标识位，所述第一标识位包括第一标识值，用以标识时钟周期数，所述第二标识位包括第二标识值，用于标识当前数据访存频次，所述第三标识位，用以标识所述第一数据当前的存储位置；
将所述第一数据存储至所述第一存储单元；所述第一存储单元被划分为第一存储区域、第二存储区域和第三存储区域；
将所述第一数据存储至所述第一存储区域；所述第二存储区域用于存储第一数据存储位置对应逻辑地址段到第一标识值的第一映射表；所述第三存储区域用于存储第一数据对应第一标识值到第二标识值的第二映射表；
数据迁移模块，用于获取第一标识值，当所述第一标识值大于第一阈值，查找第一映射表，获取对应逻辑地址段，将对应逻辑地址的第一数据迁移至所述第二存储单元；更新其第三标识位，并初始化所述第一数据的第一标识位和第二标识位。
7.根据权利要求6所述的装置，其特征在于，将第一数据迁移至第二存储单元后，还包括：
根据每一时钟周期，更新第一映射表和第二映射表，当所述第二标识值大于第二阈值，且所述第三标识位标识为第二存储单元时，将对应数据迁移至第一存储单元，初始化其第一标识位和第二标识位，并更新第三标识位。
8. 根据权利要求6-7任一项所述的装置，其特征在于，所述第一阈值和第二阈值根据历史读写记录预先配置，其中所述第二阈值为至少N个第一阈值周期内的平均访存频次，其中N>1。
9.一种电子设备，包括：至少一个处理器；以及
非暂时性计算机可读可存储介质，包括可执行程序指令，所述可执行程序指令用于控制所述至少一个处理器执行权利要求1-5任一项所述的方法。
10.一种非暂时性计算机可读可存储介质，所述存储介质存储有可执行程序指令，所述可执行程序指令用于控制至少一个处理器执行权利要求1-5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410381963.4A CN117971905B (zh) | 2024-04-01 | 一种工业生产过程历史数据即时统计的缓存及索引方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410381963.4A CN117971905B (zh) | 2024-04-01 | 一种工业生产过程历史数据即时统计的缓存及索引方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117971905A true CN117971905A (zh) | 2024-05-03 |
| CN117971905B CN117971905B (zh) | 2024-06-11 |
Family
ID=
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130036271A1 (en) * | 2011-08-02 | 2013-02-07 | International Business Machines Corporation | Dynamic index selection in a hardware cache |
| CN106775476A (zh) * | 2016-12-19 | 2017-05-31 | 中国人民解放军理工大学 | 混合内存系统及其管理方法 |
| US20200026665A1 (en) * | 2017-09-08 | 2020-01-23 | The Trustees Of Columbia University In The City Of | Systems and methods for memory safety with random embedded secret tokens |
| CN112685384A (zh) * | 2020-12-30 | 2021-04-20 | 平安普惠企业管理有限公司 | 数据迁移方法、装置、电子设备及存储介质 |
| CN115729439A (zh) * | 2021-08-31 | 2023-03-03 | 联芸科技(杭州)股份有限公司 | 数据管理方法、装置及固态硬盘 |
| CN117076523A (zh) * | 2023-10-13 | 2023-11-17 | 北京云成金融信息服务有限公司 | 一种用于本地的数据时序存储方法 |
| CN117312260A (zh) * | 2023-11-29 | 2023-12-29 | 苏州元脑智能科技有限公司 | 文件的压缩存储方法、装置、存储介质和电子设备 |
| CN117312261A (zh) * | 2023-11-29 | 2023-12-29 | 苏州元脑智能科技有限公司 | 文件的压缩编码方法、装置存储介质及电子设备 |
| CN117349326A (zh) * | 2023-09-19 | 2024-01-05 | 北京柏睿数据技术股份有限公司 | 一种静态数据查询方法和系统 |
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130036271A1 (en) * | 2011-08-02 | 2013-02-07 | International Business Machines Corporation | Dynamic index selection in a hardware cache |
| CN106775476A (zh) * | 2016-12-19 | 2017-05-31 | 中国人民解放军理工大学 | 混合内存系统及其管理方法 |
| US20200026665A1 (en) * | 2017-09-08 | 2020-01-23 | The Trustees Of Columbia University In The City Of | Systems and methods for memory safety with random embedded secret tokens |
| CN112685384A (zh) * | 2020-12-30 | 2021-04-20 | 平安普惠企业管理有限公司 | 数据迁移方法、装置、电子设备及存储介质 |
| CN115729439A (zh) * | 2021-08-31 | 2023-03-03 | 联芸科技(杭州)股份有限公司 | 数据管理方法、装置及固态硬盘 |
| CN117349326A (zh) * | 2023-09-19 | 2024-01-05 | 北京柏睿数据技术股份有限公司 | 一种静态数据查询方法和系统 |
| CN117076523A (zh) * | 2023-10-13 | 2023-11-17 | 北京云成金融信息服务有限公司 | 一种用于本地的数据时序存储方法 |
| CN117312260A (zh) * | 2023-11-29 | 2023-12-29 | 苏州元脑智能科技有限公司 | 文件的压缩存储方法、装置、存储介质和电子设备 |
| CN117312261A (zh) * | 2023-11-29 | 2023-12-29 | 苏州元脑智能科技有限公司 | 文件的压缩编码方法、装置存储介质及电子设备 |
Non-Patent Citations (3)
| Title |
|---|
| CONG LI: "CLOCK-pro+: improving CLOCK-pro cache replacement with utility-driven adaptation", SYSTOR \'19: PROCEEDINGS OF THE 12TH ACM INTERNATIONAL CONFERENCE ON SYSTEMS AND STORAGE, 22 May 2019 (2019-05-22) * |
| 张惠臻;周炎;王成;: "基于NAND Flash的嵌入式大规模数据存储机制", 华中科技大学学报(自然科学版), no. 01, 23 January 2017 (2017-01-23) * |
| 沈秀红;赵朝君;孟建熠;项晓燕;: "基于基地址寄存器映射的数据缓存研究", 计算机工程, no. 05, 15 May 2013 (2013-05-15) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102521405B (zh) | 支持高速加载的海量结构化数据存储、查询方法和系统 | |
| CN102521406B (zh) | 海量结构化数据复杂查询任务的分布式查询方法和系统 | |
| EP3345101B1 (en) | Selective data compression for in-memory databases | |
| CN109164980B (zh) | 一种时序数据的聚合优化处理方法 | |
| CN103345518B (zh) | 基于数据块的自适应数据存储管理方法及系统 | |
| CN111427844B (zh) | 一种面向文件分级存储的数据迁移系统及方法 | |
| US9135280B2 (en) | Grouping interdependent fields | |
| CN111061758B (zh) | 数据存储方法、装置及存储介质 | |
| CN109783441A (zh) | 基于Bloom Filter的海量数据查询方法 | |
| CN110727406A (zh) | 一种数据存储调度方法及装置 | |
| CN113901279A (zh) | 一种图数据库的检索方法和装置 | |
| CN111914013B (zh) | 基于pandas库与InfluxDB数据库的数据管理方法、系统、终端及介质 | |
| CN114328468A (zh) | 时序实时数据库数据存储和处理的方法、系统及电子设备 | |
| CN106407226B (zh) | 一种数据处理方法、备份服务器及存储系统 | |
| CN108829343B (zh) | 一种基于人工智能的缓存优化方法 | |
| CN114185885A (zh) | 一种基于列存数据库的流式数据处理方法及系统 | |
| CN117971905B (zh) | 一种工业生产过程历史数据即时统计的缓存及索引方法 | |
| CN105528274B (zh) | 一种优化加速的磁盘监控方法及系统 | |
| CN114490763A (zh) | 一种单机高性能批流一体数据处理系统 | |
| CN107038260B (zh) | 一种可保持titan实时数据一致性的高效并行加载方法 | |
| CN113268457A (zh) | 一种支持高效写的自适应学习索引方法和系统 | |
| CN117971905A (zh) | 一种工业生产过程历史数据即时统计的缓存及索引方法 | |
| CN110888861A (zh) | 一种新型大数据存储方法 | |
| CN110990340A (zh) | 一种大数据多层次存储架构 | |
| CN115543195A (zh) | 一种适用于时序存储的block落盘方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |