CN116346140B - 一种高频时序数据自适应压缩方法及系统 - Google Patents
一种高频时序数据自适应压缩方法及系统 Download PDFInfo
- Publication number
- CN116346140B CN116346140B CN202310343122.XA CN202310343122A CN116346140B CN 116346140 B CN116346140 B CN 116346140B CN 202310343122 A CN202310343122 A CN 202310343122A CN 116346140 B CN116346140 B CN 116346140B
- Authority
- CN
- China
- Prior art keywords
- data
- compression
- compression algorithm
- compressed
- urban rail
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007906 compression Methods 0.000 title claims abstract description 207
- 230000006835 compression Effects 0.000 title claims abstract description 207
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 255
- 238000013144 data compression Methods 0.000 claims abstract description 191
- 230000000737 periodic effect Effects 0.000 claims abstract description 52
- 238000012216 screening Methods 0.000 claims abstract description 41
- 230000014759 maintenance of location Effects 0.000 claims description 22
- 230000003044 adaptive effect Effects 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 8
- 238000005259 measurement Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000006837 decompression Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Train Traffic Observation, Control, And Security (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请属于数据处理的技术领域，公开了一种高频时序数据自适应压缩方法及系统，所述方法包括：获取多个不同的数据压缩算法，以及每个数据压缩算法对应的单位压缩速率和数据丢失预测量；获取目标城轨运行时数据的周期性特征，基于周期性特征和每个单位压缩速率，预测得到每个数据压缩算法对应的压缩数据量；基于每个数据压缩算法对应的压缩数据量和数据丢失预测量，筛选得到最优压缩算法组合；基于最优压缩算法组合，利用对应的数据压缩算法对目标城轨运行时产生的高频时序数据进行压缩。本申请相较于现有技术，减少了目标城轨的高频时序数据压缩处理后的数据丢失量。
Description
技术领域
本申请属于数据处理技术领域，尤其是涉及一种高频时序数据自适应压缩方法及系统。
背景技术
时间序列数据是物联网领域的应用研究热点，在轨道交通领域中，时序数据高频特性是其最显著的特点，这主要由轨道交通行业的高安全性特点决定的，以城市轨道交通领域为例，综合监控系统(ISCS，Integrated Supervisory Control System)和电力监控系统(PSCADA，Power monitoring System)的采样频率都是毫秒级，采集并发量极大，受存储介质容量限制，如何对这些数据进行存储是目前城市轨道佳通行业亟需解决的首要问题，因此高频时序数据的压缩技术也就自然成为了城市轨道交通领域的应用研究重点和热点。
现有的压缩算法难以适用于不同地区城轨的高频时序数据特质，导致在实际应用时，高频时序数据压缩处理后存在数据丢失量较大的情况，造成再次将压缩数据复原时，复原数据与原数据相比有较大的偏差。
因此，针对上述相关技术，现有的城轨的高频时序数据处理方法存在数据压缩后数据丢失量较大的问题。
发明内容
本申请提供一种高频时序数据自适应压缩方法、系统、计算机设备及存储介质，用以降低城轨的高频时序数据压缩后的数据丢失量。
本申请的发明目的一采用如下技术方案实现：
一种高频时序数据自适应压缩方法，包括：
获取多个不同的数据压缩算法，以及每个所述数据压缩算法对应的单位压缩速率和数据丢失预测量；
获取目标城轨运行时数据的周期性特征，基于所述周期性特征和每个所述单位压缩速率，预测得到每个所述数据压缩算法对应的压缩数据量；
基于每个所述数据压缩算法对应的所述压缩数据量和所述数据丢失预测量，筛选得到最优压缩算法组合；
基于所述最优压缩算法组合，利用对应的数据压缩算法对所述目标城轨运行时产生的高频时序数据进行压缩。
通过上述技术方案，先获取多个数据压缩算法以及每个数据压缩算法对应的单位压缩速率和数据丢失预测量，再获取目标城轨运行时数据的周期性特征，根据目标城轨运行时数据的周期性特征和每个数据压缩算法对应的单位压缩速率，从而预测出每个数据压缩算法在周期性特征内对应的压缩数据量，根据每个数据压缩算法在周期性特征内对应的压缩数据量和每个数据压缩算法对应的数据丢失预测量，筛选得到最优压缩算法组合，以最优的压缩算法组合对目标城轨运行时产生的高频时序数据进行压缩；相较于现有技术，本申请压缩方法使目标城轨运行时产生的高频时序数据的压缩方式不再采用单一的数据压缩算法进行压缩，而是结合多个数据压缩算法进行压缩，除此之外还结合城轨运行时自身的周期性特征，以得出最优压缩算法组合，能够根据不同地区城轨的周期性特征对实际数据压缩算法进行自适应调整，从而降低了目标城轨的高频时序数据压缩后的数据丢失量。
本申请进一步设置为：获取多个不同的数据压缩算法，以及每个所述数据压缩算法对应的单位压缩速率和数据丢失预测量，包括：
基于预设的数据允许丢失阈值，获取数据丢失预测量小于所述数据允许丢失阈值的多个不同的数据压缩算法，以及每个所述数据压缩算法对应的单位压缩速率和数据丢失预测量。
通过上述技术方案，城轨工作人员可以根据实际情况设置数据允许丢失阈值，以作为数据压缩算法的限定条件，根据每个数据压缩算法的数据丢失预测量，将大于数据允许丢失阈值的数据压缩算法剔除，以实现数据压缩算法的初步筛选，从而降低不符合实际需求的数据压缩算法作为高频时序数据压缩算法的情况，进一步降低了高频时序数据压缩后的数据丢失量。
本申请进一步设置为：所述压缩数据量包括第一压缩数据量和第二压缩数据量；
所述获取目标城轨运行时数据的周期性特征，基于所述周期性特征和每个所述单位压缩速率，预测得到每个所述数据压缩算法对应的压缩数据量，包括：
获取目标城轨运行时数据的周期性特征；
基于所述周期性特征，提取所述目标城轨运行到达目标站台的预测时间和到站停靠时间；
基于每个所述单位压缩速率和所述目标城轨运行到达目标站台的预测时间，预测得到每个所述数据压缩算法对应的第一压缩数据量；
基于每个所述单位压缩速率和所述目标城轨的到站停靠时间，预测得到每个所述数据压缩算法对应的第二压缩数据量。
通过上述技术方案，从目标城轨的周期性特征中分别提取目标城轨运行到达目标站台的预测时间和到站停靠时间，作为计算第一压缩数据量和第二压缩数据量的参数；相较于现有技术，不同的目标城轨运行到达目标站台的预测时间和到站停靠时间均不同，为了适应于各地区目标城轨的时间序列数据进行压缩，本申请的压缩方法考虑到了目标城轨运行到达目标站台的预测时间和到站停靠时间这两个目标城轨的周期性特征，将两个目标城轨的周期性特征融入到筛选步骤之中，与实际情况充分结合，具有更好的普适性和应用性。
本申请进一步设置为：基于每个所述数据压缩算法对应的所述压缩数据量和所述数据丢失预测量，筛选得到最优压缩算法组合，包括：
基于每个所述数据压缩算法对应的所述压缩数据量、所述数据丢失预测量和预设的多个压缩算法组合，计算得到每个所述压缩算法组合的组合压缩数据量和组合数据丢失预测量；
基于每个所述组合压缩数据量，筛选得到多个待选压缩算法组合；
基于每个所述待选压缩算法组合和每个所述待选压缩算法组合对应的组合数据丢失预测量，筛选得到组合数据丢失预测量最小的待选压缩算法组合作为最优压缩算法组合。
通过上述技术方案，压缩算法组合是指经过初步筛选后的多个数据压缩算法的组合；根据每个数据压缩算法对应的压缩数据量和数据丢失预测量，计算得到每一个压缩算法组合的组合压缩数据量和组合数据丢失预测量，根据每一个压缩算法组合的组合压缩数据量筛选得到多个待选压缩算法组合，再从各个待选压缩算法组合中筛选得到组合数据丢失预测量最小的待选压缩算法组合作为最优压缩算法组合，以最优压缩算法组合作为目标城轨的高频时序数据的压缩方法，降低了目标城轨的高频时序数据压缩后的数据丢失量。
本申请进一步设置为：基于所述最优压缩算法组合，利用对应的数据压缩算法对所述目标城轨运行时产生的高频时序数据进行压缩，包括：
基于所述最优压缩算法组合和所述目标城轨运行时产生的高频时序数据的数据接收频率，利用对应的数据压缩算法分段压缩所述高频时序数据，得到多个数据压缩文件。
通过上述技术方案，高频时序数据的数据收发频率一般在100ms左右，由于各地的城轨维护需求或维护成本预算不同，各地的城轨的数据接收频率会有所差异，根据高频时序数据的数据接收频率，对高频时序数据进行分段压缩，以配合高频时序数据自身的高频特性，并且生成多个压缩文件存储至本地存储介质中。
本申请进一步设置为：在所述基于所述最优压缩算法组合和所述目标城轨运行时产生的高频时序数据的数据接收频率，利用对应的数据压缩算法分段压缩所述高频时序数据，得到多个数据压缩文件之后，所述方法还包括：
基于多个所述数据压缩文件，按时间顺序对多个所述数据压缩文件进行排序；
基于预设的数据留存时间，将超出所述数据留存时间的数据压缩文件上传至云端并删除。
通过上述技术方案，将多个压缩文件按时间顺序进行排序，以便于对压缩文件的管理，城轨工作人员需要根据实际情况设置数据留存时间，定时对超出数据留存时间的压缩文件进行自动删除，以降低存储介质的存储空间不足而无法继续存储数据的情况，被自动删除后的压缩文件会上传至云端留存，以便于后续解压缩调用。
本申请进一步设置为：基于预设的数据留存时间，将超出所述数据留存时间的数据压缩文件上传至云端并删除，包括：
基于预设的数据留存时间，将超出所述数据留存时间的数据压缩文件上传至云端并删除；在压缩文件上传至云端的数据压缩文件删除后，记录对应的删除时间点。
通过上述技术方案，城轨本地的存储介质内的压缩文件被自动删除后，记录删除时间点，以便于城轨工作人员得知目标压缩文件上传至云端的时间点，提高城轨工作人员在云端查找目标压缩文件的效率。
本申请的发明目的二采用如下技术方案实现：
一种高频时序数据自适应压缩系统，包括：
第一获取模块，用于获取多个不同的数据压缩算法，以及每个所述数据压缩算法对应的单位压缩速率和数据丢失预测量；
第二获取模块，用于获取目标城轨运行时数据的周期性特征；
预测模块，用于基于所述周期性特征和每个所述单位压缩速率，预测得到每个所述数据压缩算法对应的压缩数据量；
筛选模块，用于基于每个所述数据压缩算法对应的所述压缩数据量和所述数据丢失预测量，筛选得到最优压缩算法组合；
数据压缩模块，用于基于所述最优压缩算法组合，利用对应的数据压缩算法对所述目标城轨运行时产生的高频时序数据进行压缩。
本申请的发明目的三采用如下技术方案实现：
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序是实现上述一种高频时序数据自适应压缩方法。
本申请的发明目的四采用如下技术方案实现：
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述一种高频时序数据自适应压缩方法。
综上所述，本申请包括以下至少一种有益技术效果：
1.相较于现有技术，本申请压缩方法使目标城轨运行时产生的高频时序数据的压缩方式不再采用单一的数据压缩算法进行压缩，而是结合多个数据压缩算法进行压缩，除此之外还结合城轨运行时自身的周期性特征，以得出最优压缩算法组合，能够根据不同地区城轨的周期性特征对实际数据压缩算法进行自适应调整，从而降低了高频时序数据压缩后的数据丢失量。
2.城轨工作人员可以根据实际情况设置数据允许丢失阈值，以作为数据压缩算法的限定条件，根据每个数据压缩算法的数据丢失预测量，将大于数据允许丢失阈值的数据压缩算法剔除，以实现数据压缩算法的初步筛选，从而降低不符合实际需求的数据压缩算法作为高频时序数据压缩算法的情况，进一步降低了高频时序数据压缩后的数据丢失量。
3.相较于现有技术，本申请的压缩方法考虑到了目标城轨运行到达目标站台的预测时间和到站停靠时间这两个目标城轨的周期性特征，将两个目标城轨的周期性特征融入到筛选步骤之中，与实际情况充分结合，具有更好的普适性和应用性。
附图说明
图1是本申请实施例一中高频时序数据自适应压缩方法的一流程图；
图2是本申请实施例一中高频时序数据自适应压缩方法中步骤S20的流程图；
图3是本申请实施例一中高频时序数据自适应压缩方法中步骤S30的流程图；
图4是本申请实施例一中高频时序数据自适应压缩方法中步骤S40的流程图；
图5是本申请实施例二中高频时序数据自适应压缩系统的一原理框图；
图6是本申请实施例三中的计算机设备示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例，基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供一种高频时序数据自适应压缩方法、系统、计算机设备及存储介质，用以降低城轨的高频时序数据压缩后的数据丢失量
实施例一
如图1所示，本申请实施例的一种高频时序数据自适应压缩方法，包括：
S10：获取多个不同的数据压缩算法，以及每个数据压缩算法对应的单位压缩速率和数据丢失预测量。
在本实施例中，多个不同的数据压缩算法包括基于霍夫曼编码、基于差分数据、基于算术编码等无损数据压缩算法，还包括处理速度较快且占用存储空间较小的多个有损数据压缩算法以及待测验压缩算法；单位压缩速率和数据丢失预测量基于数据压缩算法自身的性能(即压缩比和吞吐量得到)获取得到；数据丢失预测量越小则其对应的数据压缩算法越优，相对地，其对应的单位压缩速率越小；单位压缩速率和数据丢失预测量均为对应数据压缩算法的理论值，无需在目标城轨的处理设备内进行运算。
具体地，通过获取数据压缩算法，以及每个数据压缩算法对应的单位压缩速率和数据丢失预测量，将多个不同的数据压缩算法作为本申请压缩方法的待筛选压缩算法，将数据丢失预测量和单位压缩速率作为本申请压缩方法的指标，使本申请压缩方法充分结合多种不同的数据压缩算法，并自动获取多种不同的数据压缩算法的性能融入到后续的步骤当中，以适应不同目标城轨的高频时序数据的特性，从而提高本申请压缩方法的普适性。
S20：获取目标城轨运行时数据的周期性特征，基于周期性特征和每个所述单位压缩速率，预测得到每个数据压缩算法对应的压缩数据量。
在本实施例中，目标城轨运行时数据的周期性特征是指不同区域的城轨的重复性时间数据，例如目标城轨到达目标站台的耗时和到达目标站台的停靠时间。
具体地，通过目标城轨运行时数据的周期性特征和每个数据压缩算法对应的单位压缩速率，计算每个数据压缩算法对应的单位压缩速率和目标城轨运行时数据的周期性特征加权乘积，从而得到每个数据压缩算法在周期性特征内的压缩数据量，作为后续步骤数据筛选的指标。
S30:基于每个数据压缩算法对应的压缩数据量和数据丢失预测量，筛选得到最优压缩算法组合。
在本实施例中，最优压缩算法组合需要满足在限定时间内能够压缩完成目标城轨产生的高频时序数据的前提下，又能够使数据丢失量达到最小。
具体地，将每个数据压缩算法对应的压缩数据量和数据丢失预测量作为数据压缩算法筛选的指标，筛选得到最优压缩算法组合，用于作为目标城轨运行时产生的高频时序数据的压缩算法。
S40：基于最优压缩算法组合，利用对应的数据压缩算法对目标城轨运行时产生的高频时序数据进行压缩。
在本实施例中，高频时序数据压缩后储存于目标城轨本地的存储介质内。
具体地，采用最优压缩算法组合，将目标城轨运行时产生的高频时序数据进行压缩，并将压缩数据存储入目标城轨的存储介质内；相较于现有技术，本申请的压缩方法，先获取多种不同的数据压缩算法，对多个不同的数据压缩算法进行了初步筛选后，结合目标城轨自身的周期性特征，再一次筛选得到最优压缩算法组合作为目标城轨运行时产生的高频时序数据的实际压缩方法，充分考虑到多种不同算法之间的优劣性和目标城轨自身的周期性特征，能够根据实际情况进行压缩算法的自适应调整，得到数据丢失量最小的压缩算法组合(即最优压缩算法组合)来压缩目标城轨运行时的高频时序数据，从而降低了目标城轨的高频时序数据压缩后的数据丢失量。
其中，步骤S10包括：
S11：基于预设的数据允许丢失阈值，获取数据丢失预测量小于数据允许丢失阈值的多个不同的数据压缩算法，以及每个数据压缩算法对应的单位压缩速率和数据丢失预测量。
在本实施例中，数据允许丢失阈值越大，压缩后允许丢失的高频时序数据量越大，初次筛选得到的数据压缩算法个数越多；城轨人员根据城轨实际运行的客流、班次适应性调整数据允许丢失阈值，以降低城轨运行时数据处理设备的负荷；多个不同的数据压缩算法基于预设的云端算法信息库获取得到。
具体地，城轨工作人员根据实际情况设置数据允许丢失阈值，根据每个数据压缩算法的数据丢失预测量，将大于数据允许丢失阈值的数据压缩算法剔除，以初步筛选得到符合实际需求的数据压缩算法作为目标城轨的高频时序数据压缩算法。
基于步骤S11，以下举例说明，如下表所示：
表一
如表一所示，在本实施例中，多个不同的数据压缩算法基于预设的云端算法信息库获取得到，在本实施例中，数据压缩算法包括但不限于表一中所举例的算法，其中k1为比例系数，各不同的数据压缩算法压缩比和k1的乘积为数据丢失预测量，其中，在本实施例中，数据压缩算法F为基于snappy和霍夫曼编码的一种无损数据压缩算法。
表二
如表二所示，不同区域的目标城轨人员根据城轨实际运行的客流量设置数据允许丢失阈值，以降低城轨运行时数据处理设备的负荷。
表三
如表三所示，步骤S11将获取到的多个不同的数据压缩算法经过初次筛选后得到小于数据允许丢失阈值的多个不同的数据压缩算法。
其中，压缩数据量包括第一压缩数据量和第二压缩数据量，如图2所示，步骤S20包括：
S21：获取目标城轨运行时数据的周期性特征；
S22：基于周期性特征，提取目标城轨运行到达目标站台的预测时间和到站停靠时间；
S23：基于每个单位压缩速率和所述目标城轨运行到达目标站台的预测时间，预测得到每个数据压缩算法对应的第一压缩数据量；
S24：基于每个单位压缩速率和目标城轨的到站停靠时间，预测得到每个数据压缩算法对应的第二压缩数据量。
在本实施例中，到达目标站台的预测时间基于城轨自身的综合监控系统获取得到；到站停靠时间为预设的城轨停靠时间，除特殊情况外到站停靠时间一般为固定值；不同的目标城轨的周期性特征有所差异；每个数据压缩算法对应的第一压缩数据量为在城轨行驶时间段内每个数据压缩算法能够压缩的理论压缩数据量；每个数据压缩算法对应的第二压缩数据量为在城轨停靠时间段内每个数据压缩算法能够压缩的理论压缩数据量；在获取目标城轨到达目标站台的预测时间和到站停靠时间的同时，基于高频时序数据的生成平均速率，预测出对应时段的待压缩高频时序数据量。
具体地，从目标城轨的周期性特征中分别提取目标城轨运行到达目标站台的预测时间和到站停靠时间，分别作为计算第一压缩数据量和第二压缩数据量的参数；相较于现有技术，本申请的压缩方法考虑到了目标城轨运行的周期性特征，即到达目标站台的预测时间和到站停靠时间，将这两个周期性特征结合到本申请的压缩方法中，从而实现本申请的压缩方法与实际情况的结合，实现在多个不同的目标城轨中，本申请的压缩方法能够自动预测得到各种数据算法对应的第一压缩数据量和第二压缩数据量的效果，从而提高了本申请压缩方法的普适性和应用性。
基于步骤S21-S24，以下举例说明，如下表所示：
表四
如表四所示，基于每个目标城轨运行到达目标站台的预测时间预计出对应的待压缩高频时序数据量。
表五
如表五所示，基于每个目标城轨的到站停靠时间，预计出对应的待压缩高频时序数据量。
表六
如表六所示，通过步骤S23-S24，计算得到每个数据压缩算法的第一压缩数据量和第二压缩数据量。
其中，如图3所示，步骤S30包括：
S31：基于每个数据压缩算法对应的压缩数据量、数据丢失预测量和预设的多个压缩算法组合，计算得到每个压缩算法组合的组合压缩数据量和组合数据丢失预测量；
S32：基于每个组合压缩数据量，筛选得到多个待选压缩算法组合；
S33：基于每个待选压缩算法组合和每个待选压缩算法组合对应的组合数据丢失预测量，筛选得到组合数据丢失预测量最小的待选压缩算法组合作为最优压缩算法组合。
在本实施例中，压缩算法组合是指经过初步筛选后的多个数据压缩算法的组合；每个组合压缩数据量需要和目标城轨(周期性特征内)的待存储数据量进行比对，只有组合压缩数据量大于预计待压缩高频时序数据量，才能作为待选压缩算法组合；最优压缩算法组合为数据丢失预测量最小且满足目标城轨在周期性特征的待选压缩算法组合。
具体地，根据每个数据压缩算法对应的压缩数据量和数据丢失预测量，通过加权求和得到每一个压缩算法组合的组合压缩数据量和组合数据丢失预测量，再根据每个组合压缩数据量，将目标城轨(周期性特征内)的待存储数据量和每个组合压缩数据量进行比对，将组合压缩数据量大于待存储数据量对应的压缩算法组合作为待选压缩算法组合，再从各个待选压缩算法组合中筛选得到组合数据丢失预测量最小的待选压缩算法组合作为最优压缩算法组合，以最优压缩算法组合作为目标城轨的高频时序数据压缩算法，从而降低了目标城轨的高频时序数据压缩后的数据丢失量。
基于步骤S31-S33，以下举例说明，如下表所示：
表七
如表7所示，是基于目标城轨a到达目标站台的预测时间的各压缩算法组合对应的组合压缩数据量的筛选示意表。
表8
如表8所示，基于步骤S32得到待选压缩算法组合，再根据从各待选压缩算法组合筛选出组合数据丢失预测量最小的待选压缩算法组合作为最优压缩算法组合。
其中，如图4所示，步骤S40包括：
S41：基于最优压缩算法组合和目标城轨运行时产生的高频时序数据的数据接收频率，利用对应的数据压缩算法分段压缩高频时序数据，得到多个数据压缩文件。
在本实施例中，高频时序数据的数据收发频率根据各地的城轨实际情况而定。
具体地，根据高频时序数据的数据接收频率，对高频时序数据进行分段压缩，以配合高频时序数据自身的高频特性，并且生成多个压缩文件存储至本地存储介质中。
S42：基于多个数据压缩文件，按时间顺序对多个数据压缩文件进行排序；
S43：基于预设的数据留存时间，将超出数据留存时间的数据压缩文件上传至云端并删除。
在本实施例中，时间顺序具体到秒。
具体地，将多个压缩文件按时间顺序进行排序，以便于对压缩文件的管理，受时序数据高频特性的影响，一段时间内生成的压缩文件如果不及时清理会很快占满存储介质的存储空间，城轨工作人员需要根据实际情况设置数据留存时间，以定时清理本地存储介质内超出定时对超出数据留存时间的数据压缩文件，从而降低本地存储介质的存储空间不足而无法继续存储数据的情况，被自动删除后的压缩文件会上传至云端留存，以便于后续解压缩调用。
S44：在压缩文件上传至云端的数据压缩文件删除后，记录对应的删除时间点。
具体地，城轨本地的存储介质内的数据压缩文件被自动删除后，记录删除时间点，以便于城轨工作人员在云端查询目标数据压缩文件时通过删除时间点实现快速查询，从而提高数据压缩文件查询的效率。
实施例二
如图5所示，本申请实施例公开了一种高频时序数据自适应压缩系统，用于执行上述一种高频时序数据自适应压缩方法，一种高频时序数据自适应压缩系统与上述实施例中一种高频时序数据自适应压缩方法相对应。
本申请实施例一种高频时序数据自适应压缩系统，包括：
第一获取模块10，用于获取多个不同的数据压缩算法，以及每个数据压缩算法对应的单位压缩速率和数据丢失预测量；
第二获取模块20，用于获取目标城轨运行时数据的周期性特征；
预测模块30，用于基于周期性特征和每个单位压缩速率，预测得到每个数据压缩算法对应的压缩数据量；
筛选模块40，用于基于每个数据压缩算法对应的压缩数据量和数据丢失预测量，筛选得到最优压缩算法组合；
数据压缩模块50，用于基于最优压缩算法组合，利用对应的数据压缩算法对目标城轨运行时产生的高频时序数据进行压缩。
其中，第一获取模块包括：
第一获取子模块：用于基于预设的数据允许丢失阈值，获取数据丢失预测量小于数据允许丢失阈值的多个不同的数据压缩算法，以及每个数据压缩算法对应的单位压缩速率和数据丢失预测量。
其中，第二获取模块包括：
第二获取子模块，用于获取目标城轨运行时数据的周期性特征，基于周期性特征，提取目标城轨运行到达目标站台的预测时间和到站停靠时间；
其中，预测模块包括：
第一预测子模块，用于基于每个单位压缩速率和目标城轨运行到达目标站台的预测时间，预测得到每个数据压缩算法对应的第一压缩数据量；
第二预测子模块，用于基于每个单位压缩速率和目标城轨的到站停靠时间，预测得到每个数据压缩算法对应的第二压缩数据量。
其中，筛选模块包括：
预处理子模块，用于基于每个数据压缩算法对应的压缩数据量、数据丢失预测量和预设的多个压缩算法组合，计算得到每个压缩算法组合的组合压缩数据量和组合数据丢失预测量；
第一筛选子模块，用于基于每个组合压缩数据量，筛选得到多个待选压缩算法组合；
第二筛选子模块，用于基于每个待选压缩算法组合和每个待选压缩算法组合对应的组合数据丢失预测量，筛选得到组合数据丢失预测量最小的待选压缩算法组合作为最优压缩算法组合。
其中，数据压缩模块包括：
压缩子模块，用于基于最优压缩算法组合和所述目标城轨运行时产生的高频时序数据的数据接收频率，利用对应的数据压缩算法分段压缩高频时序数据，得到多个数据压缩文件；
排序子模块，基于多个数据压缩文件，按时间顺序对多个数据压缩文件进行排序；
数据删除子模块，用于基于预设的数据留存时间，将超出数据留存时间的数据压缩文件上传至云端并删除；
删除记录子模块，用于在上传至云端的数据压缩文件删除后，记录对应的删除时间点。
本实施例提供的一种高频时序数据自适应压缩系统，由于其每个模块本身的功能及彼此之间的逻辑连接，能实现前述实施例的每个步骤，因此能够达到与前述实施例相同的技术效果，原理分析可参见前述一种高频时序数据自适应压缩方法的步骤的相关描述，在此不再赘述。
关于一种高频时序数据自适应压缩系统具体限定可以参见上文中一种高频时序数据自适应压缩方法的限定，在此不再赘述；上述一种高频时序数据自适应压缩系统中的每个模块可全部或部分通过软件、硬件及其组合来实现；上述每个模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以是以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上每个模块对应的操作。
实施例三
如图6所示，在本实施例中，一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
获取多个不同的数据压缩算法，以及每个数据压缩算法对应的单位压缩速率和数据丢失预测量。
获取目标城轨运行时数据的周期性特征，基于所述周期性特征和每个所述单位压缩速率，预测得到每个所述数据压缩算法对应的压缩数据量。
基于每个数据压缩算法对应的压缩数据量和数据丢失预测量，筛选得到最优压缩算法组合。
基于最优压缩算法组合，利用对应的数据压缩算法对目标城轨运行时产生的高频时序数据进行压缩。
在本实施例中，提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序执行时实现以下步骤：
获取多个不同的数据压缩算法，以及每个数据压缩算法对应的单位压缩速率和数据丢失预测量。
获取目标城轨运行时数据的周期性特征，基于所述周期性特征和每个所述单位压缩速率，预测得到每个所述数据压缩算法对应的压缩数据量。
基于每个数据压缩算法对应的压缩数据量和数据丢失预测量，筛选得到最优压缩算法组合。
基于最优压缩算法组合，利用对应的数据压缩算法对目标城轨运行时产生的高频时序数据进行压缩。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述每个方法的实施例的流程。其中，本申请所提供的每个实施例中所使用的对存储器、存储、数据库或其他介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多个形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)、DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述每个功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结果划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域普通技术人员应当理解；其依然可以对前述每个实施例所记载的技术方案进行修改，或者对其中部分特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请每个实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (9)
1.一种高频时序数据自适应压缩方法，其特征在于，包括：
获取多个不同的数据压缩算法，以及每个所述数据压缩算法对应的单位压缩速率和数据丢失预测量；
获取目标城轨运行时数据的周期性特征，基于所述周期性特征和每个所述单位压缩速率，预测得到每个所述数据压缩算法对应的压缩数据量；
基于每个所述数据压缩算法对应的所述压缩数据量和所述数据丢失预测量，筛选得到最优压缩算法组合；
基于所述最优压缩算法组合，利用对应的数据压缩算法对所述目标城轨运行时产生的高频时序数据进行压缩；
其中，所述基于每个所述数据压缩算法对应的所述压缩数据量和所述数据丢失预测量，筛选得到最优压缩算法组合，包括：
基于每个所述数据压缩算法对应的所述压缩数据量、所述数据丢失预测量和预设的多个压缩算法组合，计算得到每个所述压缩算法组合的组合压缩数据量和组合数据丢失预测量；
基于每个所述组合压缩数据量，筛选得到多个待选压缩算法组合；
基于每个所述待选压缩算法组合和每个所述待选压缩算法组合对应的组合数据丢失预测量，筛选得到组合数据丢失预测量最小的待选压缩算法组合作为最优压缩算法组合。
2.根据权利要求1所述的一种高频时序数据自适应压缩方法，其特征在于，所述获取多个不同的数据压缩算法，以及每个所述数据压缩算法对应的单位压缩速率和数据丢失预测量，包括：
基于预设的数据允许丢失阈值，获取数据丢失预测量小于所述数据允许丢失阈值的多个不同的数据压缩算法，以及每个所述数据压缩算法对应的单位压缩速率和数据丢失预测量。
3.根据权利要求1所述的一种高频时序数据自适应压缩方法，其特征在于，所述压缩数据量包括第一压缩数据量和第二压缩数据量；
所述获取目标城轨运行时数据的周期性特征，基于所述周期性特征和每个所述单位压缩速率，预测得到每个所述数据压缩算法对应的压缩数据量，包括：
获取目标城轨运行时数据的周期性特征；
基于所述周期性特征，提取所述目标城轨运行到达目标站台的预测时间和到站停靠时间；
基于每个所述单位压缩速率和所述目标城轨运行到达目标站台的预测时间，预测得到每个所述数据压缩算法对应的第一压缩数据量；
基于每个所述单位压缩速率和所述目标城轨的到站停靠时间，预测得到每个所述数据压缩算法对应的第二压缩数据量。
4.根据权利要求1所述的一种高频时序数据自适应压缩方法，其特征在于，所述基于所述最优压缩算法组合，利用对应的数据压缩算法对所述目标城轨运行时产生的高频时序数据进行压缩，包括：
基于所述最优压缩算法组合和所述目标城轨运行时产生的高频时序数据的数据接收频率，利用对应的数据压缩算法分段压缩所述高频时序数据，得到多个数据压缩文件。
5.根据权利要求4所述的一种高频时序数据自适应压缩方法，其特征在于，在所述基于所述最优压缩算法组合和所述目标城轨运行时产生的高频时序数据的数据接收频率，利用对应的数据压缩算法分段压缩所述高频时序数据，得到多个数据压缩文件之后，所述方法还包括：
基于多个所述数据压缩文件，按时间顺序对多个所述数据压缩文件进行排序；
基于预设的数据留存时间，将超出所述数据留存时间的数据压缩文件上传至云端并删除。
6.根据权利要求5所述的一种高频时序数据自适应压缩方法，其特征在于，所述基于预设的数据留存时间，将超出所述数据留存时间的数据压缩文件上传至云端并删除，包括：
基于预设的数据留存时间，将超出所述数据留存时间的数据压缩文件上传至云端并删除；
在压缩文件上传至云端的数据压缩文件删除后，记录对应的删除时间点。
7.一种高频时序数据自适应压缩系统，其特征在于，包括：
第一获取模块，用于获取多个不同的数据压缩算法，以及每个所述数据压缩算法对应的单位压缩速率和数据丢失预测量；
第二获取模块，用于获取目标城轨运行时数据的周期性特征；
预测模块，用于基于所述周期性特征和每个所述单位压缩速率，预测得到每个所述数据压缩算法对应的压缩数据量；
筛选模块，用于基于每个所述数据压缩算法对应的所述压缩数据量和所述数据丢失预测量，筛选得到最优压缩算法组合，筛选模块包括：
预处理子模块，用于基于每个数据压缩算法对应的压缩数据量、数据丢失预测量和预设的多个压缩算法组合，计算得到每个压缩算法组合的组合压缩数据量和组合数据丢失预测量；
第一筛选子模块，用于基于每个组合压缩数据量，筛选得到多个待选压缩算法组合；
第二筛选子模块，用于基于每个待选压缩算法组合和每个待选压缩算法组合对应的组合数据丢失预测量，筛选得到组合数据丢失预测量最小的待选压缩算法组合作为最优压缩算法组合；
数据压缩模块，用于基于所述最优压缩算法组合，利用对应的数据压缩算法对所述目标城轨运行时产生的高频时序数据进行压缩。
8.一种计算机设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的一种高频时序数据自适应压缩方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的一种高频时序数据自适应压缩方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310343122.XA CN116346140B (zh) | 2023-04-01 | 2023-04-01 | 一种高频时序数据自适应压缩方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310343122.XA CN116346140B (zh) | 2023-04-01 | 2023-04-01 | 一种高频时序数据自适应压缩方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116346140A CN116346140A (zh) | 2023-06-27 |
| CN116346140B true CN116346140B (zh) | 2024-03-01 |
Family
ID=86892887
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310343122.XA Active CN116346140B (zh) | 2023-04-01 | 2023-04-01 | 一种高频时序数据自适应压缩方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116346140B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10133551B1 (en) * | 2016-03-25 | 2018-11-20 | EMC IP Holding Company LLC | Content-aware compression of data using multiple parallel prediction functions |
| CN109962710A (zh) * | 2017-12-14 | 2019-07-02 | 阿里巴巴集团控股有限公司 | 数据压缩方法、电子设备及计算机可读存储介质 |
| US10827039B1 (en) * | 2015-10-19 | 2020-11-03 | Quest Software Inc. | Systems and methods for dynamic compression of time-series data |
| CN112948532A (zh) * | 2021-04-08 | 2021-06-11 | 河南高通物联网有限公司 | 基于工业大数据分析的链表数据压缩策略选择方法及系统 |
| CN115167760A (zh) * | 2022-06-14 | 2022-10-11 | 通号城市轨道交通技术有限公司 | 用于信号智能运维的时序信息压缩方法和装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11593632B2 (en) * | 2016-12-15 | 2023-02-28 | WaveOne Inc. | Deep learning based on image encoding and decoding |
| US11996868B2 (en) * | 2019-10-18 | 2024-05-28 | Quasardb Sas | Adaptive delta compression for timeseries data |
-
2023
- 2023-04-01 CN CN202310343122.XA patent/CN116346140B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10827039B1 (en) * | 2015-10-19 | 2020-11-03 | Quest Software Inc. | Systems and methods for dynamic compression of time-series data |
| US10133551B1 (en) * | 2016-03-25 | 2018-11-20 | EMC IP Holding Company LLC | Content-aware compression of data using multiple parallel prediction functions |
| CN109962710A (zh) * | 2017-12-14 | 2019-07-02 | 阿里巴巴集团控股有限公司 | 数据压缩方法、电子设备及计算机可读存储介质 |
| CN112948532A (zh) * | 2021-04-08 | 2021-06-11 | 河南高通物联网有限公司 | 基于工业大数据分析的链表数据压缩策略选择方法及系统 |
| CN115167760A (zh) * | 2022-06-14 | 2022-10-11 | 通号城市轨道交通技术有限公司 | 用于信号智能运维的时序信息压缩方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116346140A (zh) | 2023-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111356148B (zh) | 一种实现网络优化的方法及相关设备 | |
| CN109074808B (zh) | 语音控制方法、中控设备和存储介质 | |
| KR102131838B1 (ko) | 향상된 인트라 예측 모드 시그날링 | |
| KR100657797B1 (ko) | 이미지 압축 복원 장치 및 방법 | |
| KR100714903B1 (ko) | 이미지 압축 복원 장치 및 방법 | |
| CN110036637A (zh) | 结合多个去噪声化技术及并行分组图像补块的非局部适应性环路滤波器 | |
| CN112565777B (zh) | 基于深度学习模型视频数据传输方法、系统、介质及设备 | |
| CN116208172B (zh) | 一种建筑工程项目的数据管理系统 | |
| CN117271987B (zh) | 一种配电设备环境状态数据智能采集处理方法 | |
| Liu et al. | Dynamic quality metric oriented error bounded lossy compression for scientific datasets | |
| CN116346140B (zh) | 一种高频时序数据自适应压缩方法及系统 | |
| US9986239B2 (en) | Image encoding apparatus, image encoding method, and recording medium | |
| US20220245096A1 (en) | Method and device for facilitating storage of data from an industrial automation control system or power system | |
| CN116915259A (zh) | 基于物联网的仓配数据优化储存方法及系统 | |
| RU2641466C1 (ru) | Способ и устройство обработки сигналов | |
| Ho et al. | An adaptive information-theoretic approach for identifying temporal correlations in big data sets | |
| US20210021831A1 (en) | Method and apparatus for adaptive context modeling in video encoding and decoding | |
| US7269341B2 (en) | Adaptive digital video recorder and method of controlling the same | |
| CN116089209A (zh) | 数据库容量的管理方法和装置 | |
| CN104462422A (zh) | 对象的处理方法及装置 | |
| Silveira et al. | Systematic Approaches for PI System™ Data Compression Tuning | |
| EP2953266A1 (en) | Data compression device, data compression method, and program | |
| CN102377582A (zh) | 数据上传方法和设备 | |
| CN111556316A (zh) | 一种基于深度神经网络加速的快速块分割编码方法和装置 | |
| JP3597750B2 (ja) | グループ化方法及びグループ化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240122 Address after: Room 1227-1, 12th floor, Haitai building, No. 229, Middle North Fourth Ring Road, Haidian District, Beijing 100089 Applicant after: Beijing maglev Co.,Ltd. Country or region after: China Address before: Room 408, 1-14, 4 / F, Hengxiang building, No.15 Tuanjie hunanli, Chaoyang District, Beijing 100020 Applicant before: Beijing thinking Shichuang Technology Co.,Ltd. Country or region before: China |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |