CN112398481B - 反馈式匹配预测多级实时压缩系统及方法 - Google Patents
反馈式匹配预测多级实时压缩系统及方法 Download PDFInfo
- Publication number
- CN112398481B CN112398481B CN202011307813.7A CN202011307813A CN112398481B CN 112398481 B CN112398481 B CN 112398481B CN 202011307813 A CN202011307813 A CN 202011307813A CN 112398481 B CN112398481 B CN 112398481B
- Authority
- CN
- China
- Prior art keywords
- model
- data
- module
- information
- compression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007906 compression Methods 0.000 title claims abstract description 77
- 230000006835 compression Effects 0.000 title claims abstract description 77
- 238000000034 method Methods 0.000 title claims abstract description 13
- 238000013144 data compression Methods 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 48
- 230000008520 organization Effects 0.000 claims abstract description 12
- 238000013500 data storage Methods 0.000 claims abstract description 9
- 230000002688 persistence Effects 0.000 claims description 11
- 238000007667 floating Methods 0.000 claims description 10
- 230000010365 information processing Effects 0.000 claims description 5
- 238000012856 packing Methods 0.000 claims 1
- 238000012544 monitoring process Methods 0.000 abstract description 11
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000000605 extraction Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005662 electromechanics Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
Abstract
本发明公开了一种反馈式匹配预测多级实时压缩系统及方法，包括：全局模型和概率信息模块、局部模型模块、数据初级处理模块、匹配预测模块、模型更新模块、数据压缩模块、数据组织模块及数据存储模块；本发明在满足系统实时性要求的基础上，提高了数据的压缩率，减少了数据占用空间；并针对系统数据特点，采用专有的数据压缩处理技术，解决了系统数据压缩的实时性和压缩率之间的矛盾，解决了轨道交通综合监控系统面临的大规模历史数据存储问题。
Description
技术领域
本发明属于城市轨道交通系统的监控领域，具体指代一种反馈式匹配预测多级实时压缩系统及方法。
背景技术
城市轨道交通综合监控系统集成或互联了轨道交通的机电、通信、信号、电力等子专业，提供了轨道交通全线设备监控、报警、事件、联动、趋势分析、统计报表等功能，综合监控系统采集数据量大，冗余信息多，存取要求高，数据压缩技术需要在满足系统实时性要求的基础上，尽量提高数据的压缩率，减少数据占用空间；而通用数据压缩处理方式没考虑系统数据特点，也没有充分考虑数据压缩的实时性；需要针对系统数据特点，研究专有的数据压缩处理技术，以解决系统数据压缩的实时性和压缩率之间的矛盾。
传统综合监控系统中设备模型和点模型都是通过字符串命名，具有大量冗余信息，占用大量存储空间，降低了系统的存储速度；通用数据压缩方式只考虑压缩率，没有充分考虑数据压缩的实时性；传统综合监控系统数据占用大量存储空间。
发明内容
针对于上述现有技术的不足，本发明的目的在于提供一种反馈式匹配预测多级实时压缩系统及方法，本发明的方法针对城市轨道交通综合监控系统数据特点进行设计，充分考虑数据存储的实时性高和数据占用空间小的要求，解决了系统数据压缩的实时性和压缩率之间的矛盾。
为达到上述目的，本发明采用的技术方案如下：
本发明的一种反馈式匹配预测多级实时压缩系统，包括：全局模型和概率信息模块、局部模型模块、数据初级处理模块、匹配预测模块、模型更新模块、数据压缩模块、数据组织模块及数据存储模块；
所述全局模型和概率信息模块，用于存储全局性的模型和概率信息；
所述数据初级处理模块，用于接收外部输入数据，并根据全局性的模型和概率信息进行初步格式化处理；
所述局部模型模块，用于存储多个局部模型，供匹配预测模块使用；
所述匹配预测模块，根据数据初级处理、局部模型、全局模型和概率信息，对数据进行匹配预测，选择相应的局部模型和数据压缩模型；
所述模型更新模块，用于接收匹配预测模块处理的结果，更新或构建数据压缩模型，并将构建或更新的数据压缩模型反向更新到局部模型模块、全局模型和概率信息模块中，优化模型信息；
所述数据压缩模块，用于数据的压缩处理，其根据数据类型、概率统计信息、数据压缩模式、压缩效率，对数据进行压缩处理，并把各压缩模式的压缩效率、压缩时间、数据概率统计信息更新反馈到局部模型模块、全局模型和概率信息模块，为下一次的数据压缩提供指导信息；
所述数据组织模块，用于排序、合并、组织压缩处理后的数据，为经各种压缩模式处理后的压缩数据添加头部和尾部信息，并将压缩后的数据基于时间顺序按结构化合并树方式进行组织处理；
所述数据存储模块，用于持久化处理，与外部存储系统或存储设备进行交互，将压缩数据持久化存储。
进一步地，所述全局性的模型和概率信息包括：全局数字模型、全局字符串模型、全局二进制块模型，以及各模型的概率统计信息和压缩模式信息；全局数字模型包括布尔型、八位整型、十六位整型、三十二位整型、六十四位整型、超大整型、单精度浮点型、双精度浮点型，以及各模型的概率统计信息和压缩模式信息；全局字符串模型包括字符串字典、各字符串出现最后时间、各字符串概率统计信息以及字符串压缩模式信息；全局二进制块模型包括二进制块大小、最后时间、概率统计、压缩模式信息；全局模型和概率信息模块为数据压缩提供全局性的支撑信息，全局模型和概率信息为持久化信息，可通过学习来优化全局模型和概率信息模型。
进一步地，所述数据初级处理模块，根据数据类型、死区设置、数据处理策略和时间间隔进行初级处理。
进一步地，所述数据组织模块用于数据排序、数据合并、数据组包，其将压缩后的数据基于时间顺序按结构化合并树（LSM）方式进行组织。
进一步地，所述局部模型模块根据最近更新、最频繁使用、压缩效率高的策略，从全局模型和概率信息模块提取类型模型信息和压缩模型信息，供匹配预测模块使用，并接收模型更新模块的反馈信息，用来更新局部模型信息。
进一步地，所述数据压缩模块采用ZigZag、Simple8b、RLE、算术编码、字典模型多种压缩模式对数据进行压缩处理。
本发明的一种反馈式匹配预测多级实时压缩方法，基于上述系统，步骤如下：
1）建立基于全局的配置库信息的模型信息和概率信息；
2）根据设备死区、数据处理策略、时间间隔以及所建立的模型信息，对数据进行合并压缩；
3）根据设备、时间间隔的时间信息进行数据冗余处理；
4）对多个局部模型进行匹配预测，成功则使用局部模型，否则抽取全局模块构建新的局部模型；
5）根据反馈信息更新全局模型和局部模型，并根据相应策略淘汰旧的局部模型；
6）根据局部模型对数据进行类型分析，根据不同的数据类型进行数据压缩；
7）对压缩处理后数据基于时间顺序按结构化合并树方式进行组织；
8）按顺序将上述组织处理后的数据写入存储设备或传给外部存储系统，进行存储。
进一步地，所述步骤6）中采用ZigZag、Simple8b、RLE、算术编码、字典模型的算法进行数据压缩。
进一步地，所述步骤5）中的相应策略具体包括：初步处理策略、全局模型和概率信息处理策略、局部模型策略。
进一步地，所述初步处理策略包括：根据设备死区对数据进行初步处理；根据时间间隔对数据进行初步处理；根据配置的保存和丢弃策略对数据进行初步处理。进一步地，所述全局模型和概率信息处理策略包括：根据数据类型的模型分类策略，根据数据类型把模型分为全局数字模型、全局字符串模型、全局二进制块模型，以及各模型的概率统计信息和压缩模式信息。
进一步地，所述全局数字模型包括布尔型、八位整型、十六位整型、三十二位整型、六十四位整型、超大整型、单精度浮点型、双精度浮点型，以及各模型的概率统计信息和压缩模式信息；全局字符串模型包括字符串字典、各字符串出现最后时间、各字符串概率统计信息以及字符串压缩模式信息；全局二进制块模型包括二进制块大小、最后时间、概率统计、压缩模式信息。
进一步地，所述步骤5）具体包括：全局模型和概率信息模块为数据压缩提供全局性的支撑信息，全局模型和概率信息为持久化信息，并且可以通过学习来自模型更新模块、数据压缩模块的反馈信息来优化全局模型和概率信息模型。
进一步地，所述局部模型策略包括模型分类策略、模型类型细分策略、模型信息反馈策略、局部模型抽取策略；模型分类策略、模型类型细分策略、模型信息反馈策略与全局模型和概率信息的相应策略类似；局部模型抽取策略是根据全局模型和概率信息模块的各种概率统计信息和压缩模式信息来抽取全局信息从而形成局部模型的压缩模式和基础信息，为匹配预测和数据压缩模块提供支撑。
本发明的反馈式匹配预测多级实时压缩技术对轨道交通的综合监控系统采用机器学习、反馈控制、多级压缩、分类型压缩等多种方式对轨道交通的综合监控系统的数据进行实时数据压缩，在满足系统实时性要求的基础上，提高了数据的压缩率，减少了数据占用空间；并针对轨道交通的综合监控系统数据的特点，采用多级、分类型的数据压缩处理技术，解决了系统数据压缩的实时性和压缩率之间的矛盾。
本发明的有益效果：
（1）本发明适用于对城市轨道交通的综合监控，能够极大地提高数据压缩效率；
（2）本发明特别适用于城市轨道交通的综合监控数据的实时数据压缩；
（3）本发明特别适用于城市轨道交通的时序数据的压缩；
（4）本发明在满足系统实时性要求的基础上，提高了数据的压缩率，减少了数据占用空间。
附图说明
图1为本发明系统的原理框图。
具体实施方式
为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。
参照图1所示，本发明的一种反馈式匹配预测多级实时压缩系统，包括：全局模型和概率信息模块、局部模型模块、数据初级处理模块、匹配预测模块、模型更新模块、数据压缩模块、数据组织模块及数据存储模块；
所述全局模型和概率信息模块，用于存储全局性的模型和概率信息；
所述全局性的模型和概率信息包括：全局数字模型、全局字符串模型、全局二进制块模型，以及各模型的概率统计信息和压缩模式信息；全局数字模型包括布尔型、八位整型、十六位整型、三十二位整型、六十四位整型、超大整型、单精度浮点型、双精度浮点型，以及各模型的概率统计信息和压缩模式信息；全局字符串模型包括字符串字典、各字符串出现最后时间、各字符串概率统计信息以及字符串压缩模式信息；全局二进制块模型包括二进制块大小、最后时间、概率统计、压缩模式信息；全局模型和概率信息模块为数据压缩提供全局性的支撑信息，全局模型和概率信息为持久化信息，可通过学习来优化全局模型和概率信息模型。
所述数据初级处理模块，用于接收外部输入数据，并根据全局性的模型和概率信息进行初步格式化处理；其根据数据类型、死区设置、数据处理策略和时间间隔进行初级处理。
所述局部模型模块，用于存储多个局部模型，供匹配预测模块使用；
局部模型模块根据最近更新、最频繁使用、压缩效率高的策略，从全局模型和概率信息模块提取类型模型信息和压缩模型信息，供匹配预测模块使用，并接收模型更新模块的反馈信息，用来更新局部模型信息。
所述匹配预测模块，根据局部模型、全局模型和概率信息，对数据初级处理后的数据进行类型匹配、模式匹配、压缩效率预测，并根据匹配预测结果选择相应的局部模型和数据压缩模型；
所述模型更新模块，用于接收匹配预测模块处理的结果，更新或构建数据压缩模型，并将构建或更新的数据压缩模型反向更新到局部模型模块、全局模型和概率信息模块中，优化模型信息；
所述数据压缩模块，用于数据的压缩处理，其根据数据类型、概率统计信息、数据压缩模式、压缩效率，采用ZigZag、Simple8b、RLE、算术编码、字典模型多种压缩模式对数据进行压缩处理，并把各压缩模式的压缩效率、压缩时间、数据概率统计信息更新反馈到局部模型模块、全局模型和概率信息模块，为下一次的数据压缩提供指导信息；
所述数据组织模块，用于排序、合并、组织压缩处理后的数据，为经各种压缩模式处理后的压缩数据添加头部和尾部信息，并将压缩后的数据基于时间顺序按结构化合并树（LSM）方式进行组织处理；
所述数据存储模块，用于数据的持久化处理，与外部存储系统或存储设备进行交互，将压缩数据持久化存储。
本发明的一种反馈式匹配预测多级实时压缩方法，基于上述系统，步骤如下：
1）建立基于全局的配置库信息的模型信息和概率信息；
2）根据设备死区、数据处理策略、时间间隔以及所建立的模型信息，对数据进行合并压缩；
3）根据设备、时间间隔的时间信息进行数据冗余处理；
4）对多个局部模型进行匹配预测，成功则使用局部模型，否则抽取全局模块构建新的局部模型；
5）根据反馈信息更新全局模型和局部模型，并根据相应策略淘汰旧的局部模型；
相应策略具体包括：初步处理策略、全局模型和概率信息处理策略、局部模型策略；
初步处理策略包括：根据设备死区对数据进行初步处理；根据时间间隔对数据进行初步处理；根据配置的保存和丢弃策略对数据进行初步处理；
全局模型和概率信息处理策略包括：根据数据类型的模型分类策略，根据数据类型把模型分为全局数字模型、全局字符串模型、全局二进制块模型，以及各模型的概率统计信息和压缩模式信息；
全局数字模型包括布尔型、八位整型、十六位整型、三十二位整型、六十四位整型、超大整型、单精度浮点型、双精度浮点型，以及各模型的概率统计信息和压缩模式信息；全局字符串模型包括字符串字典、各字符串出现最后时间、各字符串概率统计信息以及字符串压缩模式信息；全局二进制块模型包括二进制块大小、最后时间、概率统计、压缩模式信息；
所述局部模型策略包括模型分类策略、模型类型细分策略、模型信息反馈策略、局部模型抽取策略；模型分类策略、模型类型细分策略、模型信息反馈策略与全局模型和概率信息的相应策略类似；局部模型抽取策略是根据全局模型和概率信息模块的各种概率统计信息和压缩模式信息来抽取全局信息从而形成局部模型的压缩模式和基础信息，为匹配预测和数据压缩模块提供支撑；
6）根据局部模型对数据进行类型分析，根据不同的数据类型采用ZigZag、Simple8b、RLE、算术编码、字典模型多种算法进行数据压缩；
7）对压缩处理后数据基于时间顺序按结构化合并树（LSM）方式进行组织；
8）按顺序把组织处理后的数据写入存储设备或传给外部存储系统，进行存储。
本发明具体应用途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。
Claims (8)
1.一种反馈式匹配预测多级实时压缩系统，其特征在于，包括：全局模型和概率信息模块、局部模型模块、数据初级处理模块、匹配预测模块、模型更新模块、数据压缩模块、数据组织模块及数据存储模块；
所述全局模型和概率信息模块，用于存储全局性的模型和概率信息；
所述数据初级处理模块，用于接收外部输入数据，并根据全局性的模型和概率信息进行格式化处理；
所述局部模型模块，用于存储多个局部模型，供匹配预测模块使用；
所述匹配预测模块，根据数据初级处理、局部模型、全局模型和概率信息，对数据进行匹配预测，选择相应的局部模型和数据压缩模型；
所述模型更新模块，用于接收匹配预测模块处理的结果，更新或构建数据压缩模型，并将构建或更新的数据压缩模型反向更新到局部模型模块、全局模型和概率信息模块中，优化模型信息；
所述数据压缩模块，用于数据的压缩处理，其根据数据类型、概率统计信息、数据压缩模式、压缩效率，对数据进行压缩处理，并把各压缩模式的压缩效率、压缩时间、数据概率统计信息更新反馈到局部模型模块、全局模型和概率信息模块；
所述数据组织模块，用于排序、合并、组织压缩处理后的数据，为经各种压缩模式处理后的压缩数据添加头部和尾部信息，并将压缩后的数据基于时间顺序按结构化合并树方式进行组织处理；
所述数据存储模块，用于持久化处理，与外部存储系统或存储设备进行交互，将压缩数据持久化存储；
全局模型和概率信息模块为数据压缩提供全局性的支撑信息，全局模型和概率信息为持久化信息，通过学习来优化全局模型和概率信息模型；
所述数据组织模块用于数据排序、数据合并、数据组包，其将压缩后的数据基于时间顺序按结构化合并树方式进行组织。
2.根据权利要求1所述的反馈式匹配预测多级实时压缩系统，其特征在于，所述全局性的模型和概率信息包括：全局数字模型、全局字符串模型、全局二进制块模型，以及各模型的概率统计信息和压缩模式信息；全局数字模型包括布尔型、八位整型、十六位整型、三十二位整型、六十四位整型、超大整型、单精度浮点型、双精度浮点型，以及各模型的概率统计信息和压缩模式信息；全局字符串模型包括字符串字典、各字符串出现最后时间、各字符串概率统计信息以及字符串压缩模式信息；全局二进制块模型包括二进制块大小、最后时间、概率统计、压缩模式信息。
3.根据权利要求1所述的反馈式匹配预测多级实时压缩系统，其特征在于，所述数据初级处理模块，根据数据类型、死区设置、数据处理策略和时间间隔进行初级处理。
4.根据权利要求1所述的反馈式匹配预测多级实时压缩系统，其特征在于，所述数据压缩模块采用ZigZag、Simple8b、RLE、算术编码、字典模型多种压缩模式对数据进行压缩处理。
5.一种反馈式匹配预测多级实时压缩方法，基于权利要求1-4中任意一项所述系统，其特征在于，步骤如下：
1)建立基于全局的配置库信息的模型信息和概率信息；
2)根据设备死区、数据处理策略、时间间隔以及所建立的模型信息，对数据进行合并压缩；
3)根据设备、时间间隔的时间信息进行数据冗余处理；
4)对多个局部模型进行匹配预测，成功则使用局部模型，否则抽取全局模块构建新的局部模型；
5)根据反馈信息更新全局模型和局部模型，并根据相应策略淘汰旧的局部模型；
6)根据局部模型对数据进行类型分析，根据不同的数据类型进行数据压缩；
7)对压缩处理后数据基于时间顺序按结构化合并树方式进行组织；
8)按顺序将上述组织处理后的数据写入存储设备或传给外部存储系统，进行存储。
6.根据权利要求5所述的反馈式匹配预测多级实时压缩方法，其特征在于，所述步骤6)中采用ZigZag、Simple8b、RLE、算术编码、字典模型的算法进行数据压缩。
7.根据权利要求5所述的反馈式匹配预测多级实时压缩方法，其特征在于，所述步骤5)中的相应策略具体包括：初步处理策略、全局模型和概率信息处理策略、局部模型策略。
8.根据权利要求5所述的反馈式匹配预测多级实时压缩方法，其特征在于，所述步骤5)具体包括：全局模型和概率信息模块为数据压缩提供全局性的支撑信息，全局模型和概率信息为持久化信息，且通过学习来自模型更新模块、数据压缩模块的反馈信息来优化全局模型和概率信息模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011307813.7A CN112398481B (zh) | 2020-11-20 | 2020-11-20 | 反馈式匹配预测多级实时压缩系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011307813.7A CN112398481B (zh) | 2020-11-20 | 2020-11-20 | 反馈式匹配预测多级实时压缩系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112398481A CN112398481A (zh) | 2021-02-23 |
| CN112398481B true CN112398481B (zh) | 2024-03-19 |
Family
ID=74606689
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011307813.7A Active CN112398481B (zh) | 2020-11-20 | 2020-11-20 | 反馈式匹配预测多级实时压缩系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112398481B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115086301B (zh) * | 2022-06-17 | 2022-12-27 | 嘉兴云切供应链管理有限公司 | 用于压缩上传均衡的数据分析系统及方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5274805A (en) * | 1990-01-19 | 1993-12-28 | Amalgamated Software Of North America, Inc. | Method of sorting and compressing data |
| US5668897A (en) * | 1994-03-15 | 1997-09-16 | Stolfo; Salvatore J. | Method and apparatus for imaging, image processing and data compression merge/purge techniques for document image databases |
| WO2019194653A1 (ko) * | 2018-04-06 | 2019-10-10 | 가온미디어 주식회사 | 움직임 정보의 복합적 머지 모드 처리를 제공하는 영상 처리 방법, 그를 이용한 영상 복호화, 부호화 방법 및 그 장치 |
| WO2019228573A2 (en) * | 2019-09-12 | 2019-12-05 | Alibaba Group Holding Limited | Log-structured storage systems |
| US10789215B1 (en) * | 2019-09-12 | 2020-09-29 | Alibaba Group Holding Limited | Log-structured storage systems |
| CN111886582A (zh) * | 2019-09-12 | 2020-11-03 | 创新先进技术有限公司 | 日志结构存储系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9323695B2 (en) * | 2012-11-12 | 2016-04-26 | Facebook, Inc. | Predictive cache replacement |
| US20170068675A1 (en) * | 2015-09-03 | 2017-03-09 | Deep Information Sciences, Inc. | Method and system for adapting a database kernel using machine learning |
| US10496283B2 (en) * | 2016-01-22 | 2019-12-03 | Suraj Prabhakar WAGHULDE | Adaptive prefix tree based order partitioned data storage system |
| US11144616B2 (en) * | 2017-02-22 | 2021-10-12 | Cisco Technology, Inc. | Training distributed machine learning with selective data transfers |
| US11372823B2 (en) * | 2019-02-06 | 2022-06-28 | President And Fellows Of Harvard College | File management with log-structured merge bush |
-
2020
- 2020-11-20 CN CN202011307813.7A patent/CN112398481B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5274805A (en) * | 1990-01-19 | 1993-12-28 | Amalgamated Software Of North America, Inc. | Method of sorting and compressing data |
| US5668897A (en) * | 1994-03-15 | 1997-09-16 | Stolfo; Salvatore J. | Method and apparatus for imaging, image processing and data compression merge/purge techniques for document image databases |
| WO2019194653A1 (ko) * | 2018-04-06 | 2019-10-10 | 가온미디어 주식회사 | 움직임 정보의 복합적 머지 모드 처리를 제공하는 영상 처리 방법, 그를 이용한 영상 복호화, 부호화 방법 및 그 장치 |
| WO2019228573A2 (en) * | 2019-09-12 | 2019-12-05 | Alibaba Group Holding Limited | Log-structured storage systems |
| US10789215B1 (en) * | 2019-09-12 | 2020-09-29 | Alibaba Group Holding Limited | Log-structured storage systems |
| CN111886582A (zh) * | 2019-09-12 | 2020-11-03 | 创新先进技术有限公司 | 日志结构存储系统 |
Non-Patent Citations (3)
| Title |
|---|
| 大规模数据并发环境下视频监控系统的研究与实现;赵军锋，庄怀东，赵亮，杜庆伟;都市快轨交通;20161231;第29卷(第6期);11-15 * |
| 屈志坚 ; 洪应迪 ; 王子潇.配电网调度监测数据的多线程集群共享内存折叠压缩方法.中国电机工程学报.2020,1-12. * |
| 轨道交通自动化综合监控系统的集成模式;王开满，王军，张慎明;城市轨道交通研究;20071231(第3期);57-62 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112398481A (zh) | 2021-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2724269B1 (en) | System, method and data structure for fast loading, storing and access to huge data sets in real time | |
| CN104283567B (zh) | 一种名称数据的压缩、解压缩方法及设备 | |
| CN102112986B (zh) | 对基于列的数据编码的结构的高效的大规模处理 | |
| US9665572B2 (en) | Optimal data representation and auxiliary structures for in-memory database query processing | |
| CN102687404A (zh) | 用于数据压缩的数据值出现信息 | |
| CN102112962A (zh) | 用于大规模数据存储的高效的基于列的数据编码 | |
| CN112398481B (zh) | 反馈式匹配预测多级实时压缩系统及方法 | |
| CN105978573A (zh) | 建构并使用动态初期霍夫曼编码表的硬件数据压缩器 | |
| CN112953550A (zh) | 数据压缩的方法、电子设备及存储介质 | |
| CN103929642A (zh) | 一种hevc变换系数的熵编码上下文模型偏移值快速计算方法 | |
| CN110413624A (zh) | 一种基于列存的多列联合存储的方法 | |
| CN114281864A (zh) | 一种面向电力网络告警信息的关联分析方法 | |
| CN112527948A (zh) | 基于句子级索引的数据实时去重方法及系统 | |
| CN107590225A (zh) | 一种基于分布式数据挖掘算法的可视化管理系统 | |
| CN104133883A (zh) | 电话号码归属地数据压缩算法 | |
| CN113612483A (zh) | 一种工业实时数据无损编码压缩方法 | |
| CN115865099B (zh) | 基于霍夫曼编码的多类型数据分段压缩方法及系统 | |
| CN106790550A (zh) | 一种适用于配电网监测数据压缩的系统 | |
| CN115567058A (zh) | 一种结合预测与编码的时序数据有损压缩方法 | |
| CN114328784A (zh) | 一种基于时空数据库的轨迹多维度分布式压缩方法 | |
| CN103631927A (zh) | 一种基于话单数据的压缩和存储方法 | |
| CN106844450A (zh) | 一种基于流计算实现快速提取号码热度的方法 | |
| JP2000259646A (ja) | 情報索引装置 | |
| CN114598329B (zh) | 一种面向快速解压应用的轻量级无损压缩方法 | |
| CN111130558A (zh) | 一种基于统计概率的编码表压缩方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |