CN114726379B - 基于时序数据库样本存储特征的自适应压缩方法及系统 - Google Patents

Abstract

本发明公开了一种基于时序数据库样本存储特征的自适应压缩方法及系统，首先通过不压缩存储进行样本数据的存储特征分析，确定样本数据的密度和波动特征值，根据样本数据的密度和波动特征值确定该未压缩数据标签是否进行存储压缩，从而提供各数据标签最适合的压缩存储策略，最后对时序数据库各数据标签定期遍历更新，形成时序数据库的数据标签压缩自适应机制。本发明能有效利用时序数据库各数据标签的样本数据存储特征，通过智能化分析及时确定和更新数据标签的压缩存储策略，为时序数据库的高效组织管理提供准确智能的压缩存储策略。

Description

基于时序数据库样本存储特征的自适应压缩方法及系统

技术领域

本发明涉及能源行业工艺流程监控的时序数据库技术领域，特别涉及基于时序数据库样本存储特征的自适应压缩方法及系统。

背景技术

时序数据库是流程工业数据实时监控系统中最重要的核心软件之一，特别是在能源领域和发电行业的信息监控领域，能够起到数据安全存储、高效组织和便捷管理的作用。

随着工业过程自动化水平和数字化程度的飞速发展，需要存储到时序数据库里的数据量也在快速增长。这对时序数据库的存储容量、硬盘存储空间、数据的读写性能都造成了新的问题。目前时序数据库内的数据标签通过设置压缩参数来控制各标签的压缩模式，通过对数据存储量的有效压缩，降低时序数据库容量管理和硬盘空间存储的压力，但仍存在以下问题，首先数据标签的压缩率需要人工设置导致效率较低；其次，压缩率参数设置缺少客观依据，无法适应各数据标签多样的变化特征；另外，没有兼顾数据压缩后的失真问题与压缩效果不足的问题。

发明内容

针对现有技术中存在的问题，本发明提供一种基于时序数据库样本存储特征的自适应压缩方法，通过对时序数据库存储的样本数据的存储特征进行分析，并根据用户的期望数据存储密度，自动计算得到数据标签的自适应压缩偏差参数，从而确定数据标签在时序数据库内的压缩存储策略，能够自动智能地实现数据标签的自适应存储压缩，解决了时序数据库用户对数据标签压缩设置低效、模糊、更新慢的问题，为时序数据库的高效组织管理提供准确智能的压缩存储策略。

本发明是通过以下技术方案来实现：

一种基于时序数据库样本存储特征的自适应压缩方法，包括如下步骤：

步骤1、根据数据标签中样本数据的分布特征，计算相邻样本数据的变化偏差；

步骤2、对步骤1得到的变化偏差按照偏差值的大小进行排序，得到该数据标签中样本数据的变化偏差排序序列；

步骤3、根据期望数据存储密度和实际数据存储密度确定变化偏差排序序列的分位数，根据分位数对应的变化偏差确定该数据标签的自适应压缩偏差参数，根据自适应压缩偏差参数从当前时刻开始对该数据标签的存储压缩。

优选的，步骤1中所述样本数据的分布特征为，样本数据是按照时间戳排序得到的样本数据序列。

优选的，步骤2中对变化偏差按照偏差值的大小进行排序时，当出现相同的变化偏差，则对相同的变化偏差按照对应的时间戳进行排序。

优选的，步骤3中所述变化偏差排序序列的分位数的确定方法如下：

其中，t为分位数，[]为取整函数，λ ₀为期望数据存储密度，λ为实际数据存储密度，N为样本数据的数量。

优选的，步骤3中根据分位数找到变化偏差排序序列中对应的变化偏差Δv _st 和变化偏差Δv _s(t+1) ，进而得到数据标签的自适应压缩偏差参数。

优选的，所述自适应压缩偏差参数的表达式如下：

其中，δ为自适应压缩偏差参数。

优选的，执行步骤1前，遍历时序数据库内未压缩的数据标签，并根据未压缩数据标签中样本数据的存储特征确定该未压缩数据标签是否进行存储压缩。

优选的，所述样本数据的存储特征包括样本数据的密度及样本数据的波动特征值。

优选的，当样本数据的密度大于设定密度范围的最大值，则对该未压缩数据标签进行存储压缩；

当样本数据的密度位于设定密度范围内，且样本数据的波动特征值小于设定波动特征值，则对该未压缩数据标签进行存储压缩。

一种基于时序数据库样本存储特征的自适应压缩方法的系统，包括，

变化偏差模块，用于根据数据标签中样本数据的分布特征，计算相邻样本数据的变化偏差；

排序模块，用于对变化偏差模块输出的变化偏差按照偏差值的大小进行排序，得到该数据标签中样本数据的变化偏差排序序列；

压缩模块，用于根据期望数据存储密度和实际数据存储密度确定变化偏差排序序列的分位数，根据分位数对应的变化偏差确定数据标签的自适应压缩偏差参数，根据自适应压缩偏差参数从当前时刻开始对该数据标签的存储压缩。

与现有技术相比，本发明具有以下有益的技术效果：

本发明公开了一种基于时序数据库样本存储特征的自适应压缩方法，首先计算数据标签中相邻样本数据的变化偏差，然后对变化偏差进行排序，根据期望数据存储密度和实际数据存储密度确定变化偏差排序序列的分位数，根据分位数对应的变化偏差得到该数据标签的自适应压缩偏差参数，根据自适应压缩偏差参数从当前时刻开始对该数据标签的存储压缩，形成时序数据库的数据标签压缩自适应机制。本发明能有效利用时序数据库各数据标签中历史时间段的样本数据的存储特征，通过智能分析及时确定和更新数据标签的压缩存储策略，为时序数据库的高效组织管理提供准确智能的压缩存储策略。

进一步，在数据标签压缩前，通过对未压缩的样本数据的存储特征分析，确定样本数据的密度和波动特征值，根据样本数据的密度和波动特征值确定该数据标签是否进行存储压缩，从而提供各数据标签最适合的压缩存储策略，最后对时序数据库各数据标签定期遍历更新，形成时序数据库的数据标签压缩自适应机制。

附图说明

图1为本发明基于时序数据库样本存储特征的自适应压缩方法的流程图。

具体实施方式

下面结合附图对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。

参阅图1，一种基于时序数据库样本存储特征的自适应压缩方法，包括如下步骤：

步骤1、压缩模式初始化，对时序数据库所有数据标签按照不压缩模式，将数据标签的样本数据持续存储一定时长；

不压缩存储模式下持续的时长为后续分析的所对应的历史周期，该历史周期时长一般建议在5分钟~12小时范围内。

步骤2、遍历时序数据库内的数据标签，分析未压缩数据标签的样本数据的存储特征，根据存储特征确定该数据标签是否需要压缩，具体方法如下：

上述样本数据的存储特征包括样本数据的密度及样本数据的波动特征值。

统计历史周期内的时长L，单位分钟，样本数据的数量N，计算得到该数据标签的样本数据的密度λ，单位个/分钟，计算公式如下，

同时计算样本数据的波动特征值ζ，计算公式如下，

其中，S_max为最大样本值；S_min为最小样本值；S_avg为样本均值；

如果λ<6个/分钟，则该数据标签不用压缩。

如果20个/分钟>λ>6个/分钟，且ζ>0.1，说明数据标签变化幅度较大，且存储密度合理，该数据标签也不用压缩。

不满足上述条件的数据标签进行压缩自适应优化，则执行步骤3。

根据样本数据的密度以及样本数据的波动特征值，判定该数据标签自适应压缩的必要性，二者的具体数值可以调整，不局限于该步骤给出的特定值。同时，每次执行时，时序数据库中数据标签量可自由选定，可以包含所有数据标签，也可以选择若干数据标签。

步骤3、若该数据标签需要压缩优化，则统计该数据标签的样本数据分布特征，即按时间戳对历史周期内各样本数据排序{s ₁,s ₂,…,s _i,…,s _N}，然后计算相邻两个样本数据的变化偏差Δv _i ，计算如下：

其中i=1~N-1。

步骤4、将步骤3得到的所有变化偏差{Δv _i ，i=1~N-1}按照偏差值的大小从小到大进行排序，得到该数据标签中样本数据的变化偏差排序序列{Δv _sj ，j=1~N-1}。

当出现两个相同的变化偏差，则对两个相同的变化偏差按照对应的时间戳进行排序，所述变化偏差对应的时间戳为计算该变化偏差时，相邻两个样本数据的任意一个样本数据的时间戳，具体如下：

当存在以下情况：

其中，sm,sn分别为两个变化偏差对应的时间戳。

则按时间戳的先后进行排序，即如果sm<sn，那么按下式顺序排列：

最终得到满足Δv _s1 ≤Δv _s2 ≤…≤Δv _sj ≤…≤Δv _s(N-1) 的变化偏差排序序列。

步骤5、设定该数据标签压缩后的期望数据存储密度λ ₀，单位个/分钟，根据期望数据存储密度和实际数据存储密度计算得到该数据标签的自适应压缩偏差参数，计算方法如下：

根据期望数据存储密度和实际数据存储密度确定变化偏差排序序列的分位数，分位数为时序数据库中相邻样本数据变化偏差大小的分位数，代表了未压缩存储时所有样本数据以设置的偏差参数执行压缩时的实际存储百分比，直接影响时序数据库中样本数据的存储密度。

分位数的计算表达式如下：

其中，t为分位数，[]是取整函数，表示取该小数的整数部分，λ ₀为期望数据存储密度，λ为实际数据存储密度，N为样本数据的数量。

根据分位数找到变化偏差排序序列{Δv _sj ，j=1~N-1}的第t个变化偏差Δv _st 和第t +1个变化偏差Δv _s(t+1) ，进而得到数据标签的自适应压缩偏差参数，如下式：

其中，δ为自适应压缩偏差参数。

步骤6、按照步骤5得到的自适应压缩偏差参数自动更新当前数据标签的压缩属性参数，并从当前时刻开始对该数据标签的存储压缩。

步骤7、重复步骤2到步骤6，直至完成每个数据标签的存储压缩。

本发明还提供一种基于时序数据库样本存储特征的自适应压缩系统，包括变化偏差模块、排序模块和压缩模块。

变化偏差模块，用于根据数据标签中样本数据的分布特征，计算相邻样本数据的变化偏差；

排序模块，用于对变化偏差模块输出的变化偏差按照偏差值的大小进行排序，得到该数据标签中样本数据的变化偏差排序序列；

压缩模块，用于根据期望数据存储密度和实际数据存储密度确定变化偏差排序序列的分位数，根据分位数对应的变化偏差得到数据标签的自适应压缩偏差参数，根据自适应压缩偏差参数从当前时刻开始对该数据标签的存储压缩。

本发明提供的一种基于时序数据库样本存储特征的自适应压缩方法，能够借助时序数据库自身工作特点进行自动分析和压缩决策，适用于定期计算模式，计算周期支持自由配置；也适用于手动触发式计算模式；该方法能有效利用时序数据库各数据标签中样本数据的存储特征，通过智能化分析及时确定和更新数据标签的压缩存储策略，为时序数据库的高效组织管理提供准确智能的压缩存储策略，解决时序数据库海量数据标签压缩率标准不一、设置依据缺乏、压缩策略更新低效的问题。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (8)

1.一种基于时序数据库样本存储特征的自适应压缩方法，其特征在于，包括如下步骤：

步骤1、根据数据标签中样本数据的分布特征，计算相邻样本数据的变化偏差；

步骤2、对步骤1得到的变化偏差按照偏差值的大小进行排序，得到该数据标签中样本数据的变化偏差排序序列；

步骤3、根据期望数据存储密度和实际数据存储密度确定变化偏差排序序列的分位数，根据分位数找到变化偏差排序序列中对应的变化偏差Δv _st 和变化偏差Δv _s(t+1) ，进而得到数据标签的自适应压缩偏差参数，根据自适应压缩偏差参数从当前时刻开始对该数据标签的存储压缩；

所述变化偏差排序序列的分位数的确定方法如下：

其中，t为分位数，[]为取整函数，λ ₀为期望数据存储密度，λ为实际数据存储密度，N为样本数据的数量。

2.根据权利要求1所述的一种基于时序数据库样本存储特征的自适应压缩方法，其特征在于，步骤1中所述样本数据的分布特征为，样本数据是按照时间戳排序得到的样本数据序列。

3.根据权利要求1所述的一种基于时序数据库样本存储特征的自适应压缩方法，其特征在于，步骤2中对变化偏差按照偏差值的大小进行排序时，当出现相同的变化偏差，则对相同的变化偏差按照对应的时间戳进行排序。

4.根据权利要求1所述的一种基于时序数据库样本存储特征的自适应压缩方法，其特征在于，所述自适应压缩偏差参数的表达式如下：

其中，δ为自适应压缩偏差参数。

5.根据权利要求1所述的一种基于时序数据库样本存储特征的自适应压缩方法，其特征在于，执行步骤1前，遍历时序数据库内未压缩的数据标签，并根据未压缩数据标签中样本数据的存储特征确定该未压缩数据标签是否进行存储压缩。

6.根据权利要求5所述的一种基于时序数据库样本存储特征的自适应压缩方法，其特征在于，所述样本数据的存储特征包括样本数据的密度及样本数据的波动特征值。

7.根据权利要求6所述的一种基于时序数据库样本存储特征的自适应压缩方法，其特征在于，当样本数据的密度大于设定密度范围的最大值，则对该未压缩数据标签进行存储压缩；

当样本数据的密度位于设定密度范围内，且样本数据的波动特征值小于设定波动特征值，则对该未压缩数据标签进行存储压缩。

8.一种采用权利要求1-7任一项所述的一种基于时序数据库样本存储特征的自适应压缩方法的系统，其特征在于，包括，

变化偏差模块，用于根据数据标签中样本数据的分布特征，计算相邻样本数据的变化偏差；

排序模块，用于对变化偏差模块输出的变化偏差按照偏差值的大小进行排序，得到该数据标签中样本数据的变化偏差排序序列；

压缩模块，用于根据期望数据存储密度和实际数据存储密度确定变化偏差排序序列的分位数，根据分位数对应的变化偏差确定数据标签的自适应压缩偏差参数，根据自适应压缩偏差参数从当前时刻开始对该数据标签的存储压缩。

Images