CN110995275A - 一种对于旋转门压缩算法的改进算法 - Google Patents

Abstract

本发明公开了一种对于旋转门压缩算法的改进算法，该算法具体步骤为，预先设定指定点的压缩偏差，指定点为用户预设的点，压缩偏差为用户预先设定值；系统优先使用用户指定的压缩偏差；本发明在旋转门压缩算法的基础上，引入阈值自动调整算法，实现阈值可根据实际数值的变化和压缩率而自动调整。本发明可在不指定量程和压缩偏差等参数的情况下，获得与手动指定这些参数相当或相近的压缩效果，大幅降低了用户的使用强度，提高了自动化程度；同时压缩精度参数能根据数据的变化而自动调整，从而在整体上对压缩率和拟合精度做到相对可控。

Description

一种对于旋转门压缩算法的改进算法

技术领域

本发明属于数据压缩领域，涉及旋转门压缩算法，具体是一种对于旋转门压缩算法的改进算法。

背景技术

旋转门算法是一种快速拟合算法，常用于实时数据库中对模拟数据进行有损压缩，使数据存储量大为减少；其基本原理如图1所示；

设△E压缩精度参数，X轴表示时间，Y轴表示数据的值；起点t0为上一个存储的点，以距离t0为△E的上下两点作为支点，建立两扇虚拟的门，只有一个数据时门闭合；随着数据点的增加，门会旋转着打开，门的宽度可延伸，一旦打开就不能再闭合；只要两扇门的内角和小于180°(两扇门未平行)，旋转操作就可继续；当两扇门的内角和大于等于180°，就停止操作，存储前一个数据点，并由该点开始新一段压缩。在图中，经过旋转门压缩后，压缩段1由 t0到t4的直线代替了该区段的数据点；压缩段2由t4到t7的直线代替了该区段的数据点，即t0、t4、t7将被保存，其余的点则被压缩掉。

由其原理可知，压缩精度参数△E对结果影响非常大，同时影响压缩率和拟合精度。在目前的实时数据库实现中，厂商会要求用户为每个模拟量设置量程，如果不设置则使用默认量程，如0到100，再指定压缩偏差，或者指定相对偏差如1％，或者指定绝对偏差如1，如果不指定，则仍使用默认值。

旋转门压缩算法是一种快速拟合算法，因其速度快、资源占用率低，而被实时数据库广泛采用。但该算法及装置的压缩精度参数的确定困难、效率低，压缩率和拟合精度难以控制，压缩精度参数如果逐个指定，效率低下，对于某些模拟量，也难以确定其准确的量程，如累积量等，从而难以确定该参数。如果使用默认值，则很可能与实际量程有较大差距，会严重影响压缩率和拟合精度。

压缩精度参数固定，拟合精度会随模拟量的绝对值减小而下降，压缩率随模拟量的绝对值增大而降低，压缩率和拟合精度不可控。

为了解决上述缺陷，现提供一种解决方案。

发明内容

本发明的目的在于提供一种对于旋转门压缩算法的改进算法。

本发明的目的可以通过以下技术方案实现：

一种对于旋转门压缩算法的改进算法，该算法具体步骤如下：

步骤一：预先设定指定点的压缩偏差，指定点为用户预设的点，压缩偏差为用户预先设定值；系统优先使用用户指定的压缩偏差；

步骤二：预先设置好压缩参数θ，该参数设定为一个范围，满足X1≤θ≤ X2；X1、X2均为预设值，且X1<X2≤1；此参数默认对所有模拟量测点有效；

步骤三：获取到参数动态调整表T，参数动态调整表包括压缩比和对应的调整参数α；

步骤四：进入压缩步骤，压缩方法包括实时压缩和批量压缩两种方法；具体的压缩过程为：

S1：每个测点对应一个处理队列和一个输出队列；数据将在处理队列中依次处理，需要保存的点将送至输出队列中缓存；

S2：读取待压缩数据，逐个进入处理队列；

S3：对于首个测点值，送至输出队列，处理队列中保留其副本；

S4：自主选择是否设置存储的最大间隔时间；具体为：

在设置最大间隔时间时，最大间隔时间内如有数据，则最少保存一个；若还没有保存数据，则选取该间隔时间段内的最后一个数据保存；

在不进行最大间隔时间设置时则进入下一步；

S5：对于其他测点值，根据用户是否设置了压缩偏差，选择不同方式计算出压缩精度参数△E，具体表现方式为：

SS1：设前一个保存值为V_pre；

SS2：将该测点与指定点进行比对：

在用户为该测点设置了压缩偏差时，将该压缩偏差标记为d，则△ E＝abs(V_pre)*d；

在用户没有设置压缩偏差时，则△E＝sqrt(abs(V_pre))*θ，初始阶段θ取范围的中值即(θ_lower+θ_upper)/2，以后θ的值在压缩过程中动态调整；当△E＝0 时，将其设置为一个默认的最小值minValue，minValue设置为一固定值0.01；

式中，abs为求绝对值，sqrt为求平方根；

SS3：根据基本的旋转门算法，判断应该保存的数据点；并记录保存点的个数Csave和已处理的数据点的个数Cproc；Csave是任意时间段内存档计数，而 Cproc是任意时间段内处理计数。

进一步地，X1、X2可分别取值为2％和5％。

进一步地，所述实时压缩指代压缩的数据按时间顺序逐个到来，批量压缩指代压缩的数据已经全部存在。

进一步地，所述θ的值在压缩过程中动态调整具体方法为：

当已处理的数据点的个数和保存点的个数达到一定量时，计算它们的比值 R’＝C_save/C_proc；

在参数动态调整表T查找R’对应的调整参数α，则新的压缩参数取min(θ*α,θ_upper)或max(θ*α,θ_lower)。

进一步地，步骤SS1中前一个保存值的确定方式为：待压缩数据逐个进入处理队列，经过算法处理，有一部分会送到输出队列，最近一个送到输出队列的值，成为新的前一个保存值。

本发明的有益效果：

本发明在旋转门压缩算法的基础上，引入阈值自动调整算法，实现阈值可根据实际数值的变化和压缩率而自动调整。本发明可在不指定量程和压缩偏差等参数的情况下，获得与手动指定这些参数相当或相近的压缩效果，大幅降低了用户的使用强度，提高了自动化程度；

同时压缩精度参数能根据数据的变化而自动调整，从而在整体上对压缩率和拟合精度做到相对可控。

附图说明

为了便于本领域技术人员理解，下面结合附图对本发明作进一步的说明。

图1为本发明旋转门算法的原理图；

图2为本发明实施系统的系统框图。

具体实施方式

一种对于旋转门压缩算法的改进算法，该算法具体步骤如下：

步骤一：用户预先设定指定点的压缩偏差，指定点为用户预设的点，压缩偏差为用户预先设定值；系统优先使用用户指定的压缩偏差；

步骤二：预先设置好压缩参数θ，该参数设定为一个范围，满足X1≤θ≤ X2；X1、X2均为预设值，且X1<X2≤1；此参数默认对所有模拟量测点有效；例如X1、X2的具体值可设定为2％和5％；

步骤三：获取到参数动态调整表T，参数动态调整表包括压缩比和对应的调整参数α；

步骤四：进入压缩步骤，压缩方法包括实时压缩和批量压缩两种方法，实时压缩指代压缩的数据按时间顺序逐个到来，批量压缩指代压缩的数据已经全部存在；具体的压缩过程为：

S1：每个测点对应一个处理队列和一个输出队列；数据将在处理队列中依次处理，需要保存的点将送至输出队列中缓存；

S2：读取待压缩数据，逐个进入处理队列；

S3：对于首个测点值，送至输出队列，处理队列中保留其副本；

S4：自主选择是否设置存储的最大间隔时间；具体为：

在设置最大间隔时间时，最大间隔时间内如有数据，则最少保存一个；若还没有保存数据，则选取该间隔时间段内的最后一个数据保存；

在不进行最大间隔时间设置时则进入下一步；

S5：对于其他测点值，根据用户是否设置了压缩偏差，选择不同方式计算出压缩精度参数△E，具体表现方式为：

SS1：设前一个保存值为V_pre；此处的前一个保存值不一定是“首个保存值”；“首个保存值”是第1个进入处理队列的值，肯定会被存档。待压缩数据逐个进入处理队列，经过算法处理，有一部分会送到输出队列，待存档，则将最近一个送到输出队列的值，成为新的“前一个保存值”。

SS2：将该测点与指定点进行比对：

在用户为该测点设置了压缩偏差时，将该压缩偏差标记为d，则△ E＝abs(V_pre)*d；

在用户没有设置压缩偏差时，则△E＝sqrt(abs(V_pre))*θ，初始阶段θ取范围的中值即(θ_lower+θ_upper)/2，以后θ的值在压缩过程中动态调整；当△E＝0 时，将其设置为一个默认的最小值minValue，minValue可以设置为一固定值，如0.01；

式中，abs为求绝对值，sqrt为求平方根；

θ的值在压缩过程中动态调整具体方法为：

当已处理的数据点的个数和保存点的个数达到一定量时，计算它们的比值 R’＝C_save/C_proc；

在参数动态调整表T查找R’对应的调整参数α，则新的压缩参数取值为：

min(θ*α,θ_upper)或max(θ*α,θ_lower)。

SS3：根据基本的旋转门算法，判断应该保存的数据点；并记录保存点的个数Csave和已处理的数据点的个数Cproc；其中，C是Count的首字母，代表计数值；Csave是某段时间内存档计数，而Cproc是某段时间内处理计数；它们的比值是某段时间的压缩率；当某段时间的压缩率过高或过低时，会通过调整阈值进而调整后续的压缩率；当Csave和Cproc达到一定值时，清0，再重新计数。

如图2所示，本发明在具体应用时，借助实施系统实现，该实施系统包括数据采集单元、压缩单元和存储单元；

其中，数据采集单元从各类数据源获取数据；数据源包括各类传感器、数据采集器、数据采集网关、第三方数据子系统，各类传感器具体为温度传感器、湿度传感器、压力传感器、各种智能水表、智能电表、智能燃气表等；数据采集单元同时用于根据用户需要，向压缩单元提供原始的时序数据，从数据源采集到的数据按时间顺序依次进入压缩单元的处理队列；即为将原始时序数据传输到压缩单元；

所述压缩单元由处理队列、压缩引擎和输出队列组成；处理队列内部按测点分组，测点即为标签点；压缩引擎使用本文描述的旋转门压缩算法的改进算法对数据进行压缩处理；输出队列缓存经处理后待保存的数据，数据达到一定量时，批量发送至存储单元进行持久化存储。

存储单元负责压缩数据的持久化存储，物理上是各种工业数据库、时序数据库、关系型数据库。

一种对于旋转门压缩算法的改进算法，本发明的工作原理是在旋转门压缩算法的基础上，引入阈值自动调整算法，实现阈值可根据实际数值的变化和压缩率而自动调整。本发明可在不指定量程和压缩偏差等参数的情况下，获得与手动指定这些参数相当或相近的压缩效果，大幅降低了用户的使用强度，提高了自动化程度；

同时压缩精度参数能根据数据的变化而自动调整，从而在整体上对压缩率和拟合精度做到相对可控。

以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (5)

1.一种对于旋转门压缩算法的改进算法，其特征在于，该算法具体步骤如下：

步骤一：预先设定指定点的压缩偏差，指定点为用户预设的点，压缩偏差为用户预先设定值；系统优先使用用户指定的压缩偏差；

步骤二：预先设置好压缩参数θ，该参数设定为一个范围，满足X1≤θ≤X2；X1、X2均为预设值，且X1<X2≤1；此参数默认对所有模拟量测点有效；

步骤三：获取到参数动态调整表T，参数动态调整表包括压缩比和对应的调整参数α；

步骤四：进入压缩步骤，压缩方法包括实时压缩和批量压缩两种方法；具体的压缩过程为：

S1：每个测点对应一个处理队列和一个输出队列；数据将在处理队列中依次处理，需要保存的点将送至输出队列中缓存；

S2：读取待压缩数据，逐个进入处理队列；

S3：对于首个测点值，送至输出队列，处理队列中保留其副本；

S4：自主选择是否设置存储的最大间隔时间；具体为：

在设置最大间隔时间时，最大间隔时间内如有数据，则最少保存一个；若还没有保存数据，则选取该间隔时间段内的最后一个数据保存；

在不进行最大间隔时间设置时则进入下一步；

S5：对于其他测点值，根据用户是否设置了压缩偏差，选择不同方式计算出压缩精度参数△E，具体表现方式为：

SS1：设前一个保存值为V_pre；

SS2：将该测点与指定点进行比对：

在用户为该测点设置了压缩偏差时，将该压缩偏差标记为d，则△E＝abs(V_pre)*d；

在用户没有设置压缩偏差时，则△E＝sqrt(abs(V_pre))*θ，初始阶段θ取范围的中值即(θ_lower+θ_upper)/2，以后θ的值在压缩过程中动态调整；当△E＝0时，将其设置为一个默认的最小值minValue，minValue设置为一固定值0.01；

式中，abs为求绝对值，sqrt为求平方根；

SS3：根据基本的旋转门算法，判断应该保存的数据点；并记录保存点的个数Csave与已处理的数据点的个数Cproc；Csave是任意时间段内存档计数，而Cproc是任意时间段内处理计数。

2.根据权利要求1所述的一种对于旋转门压缩算法的改进算法，其特征在于，X1、X2可分别取值为2％和5％。

3.根据权利要求1所述的一种对于旋转门压缩算法的改进算法，其特征在于，所述实时压缩指代压缩的数据按时间顺序逐个到来，批量压缩指代压缩的数据已经全部存在。

4.根据权利要求1所述的一种对于旋转门压缩算法的改进算法，其特征在于，所述θ的值在压缩过程中动态调整具体方法为：

当已处理的数据点的个数和保存点的个数达到一定量时，计算它们的比值R’＝C_save/C_proc；

在参数动态调整表T查找R’对应的调整参数α，则新的压缩参数取min(θ*α,θ_upper)或max(θ*α,θ_lower)。

5.根据权利要求1所述的一种对于旋转门压缩算法的改进算法，其特征在于，步骤SS1中前一个保存值的确定方式为：待压缩数据逐个进入处理队列，经过算法处理，有一部分会送到输出队列，最近一个送到输出队列的值，成为新的前一个保存值。

Images