CN113258933B - 多区间自适应旋转门算法 - Google Patents

Abstract

本发明属于压缩数据处理方法技术领域，具体技术方案为：多区间自适应旋转门算法，一、采用有限状态机将采样输入值变换为压缩精度输出，初始化有限状态机、转换判定条件和精度哈希表；二、采样值输入至状态转换函数，输出采样值对应的状态；三、通过压缩精度计算函数计算并输出状态对应的压缩精度；四、通过压缩算法计算队列中P∈[P_n+1…P_n+(m‑1)]之间的采样值；五、未超出精度范围的采样值P做压缩处理，超出精度范围的采样值P做归档存储；六、计算采样值压缩精度区间的命中率，判断命中率阙值，反馈给状态机动态调整压缩精度；本发明实现了采样数据在多个区间的可变精度压缩，并且对各压缩精度采用自反馈的方式动态调整。

Description

多区间自适应旋转门算法

技术领域

本发明属于压缩数据处理方法技术领域，具体涉及一种基于旋转门算法的改进算法。

背景技术

普遍的SDT算法用在非线性系统中对连续的模拟量采样数据作数据压缩处理，其用于固定值域内周期性及变化分量相对固定的数据有很好的压缩比，压缩数据还原的拟合曲线相对较好。但是，在实际应用中，大多数采集系统都并非单独采集连续的模拟量信号，往往还包含二值化开关量信号，连续采集的模拟量采样数据普遍为非周期性，变化分量带有随机性并存在瞬间突变，同时，存在幅值范围内的非均匀分布，严重影响压缩比及数据还原的精度。

目前的SDT算法存在以下缺陷：

1、压缩比：普遍的SDT算法压缩精度固定，对于敏感区间与非敏感区间压缩比不变，这样会导致敏感区间关键数据被压缩而非敏感区间大量数据被归档。

2、开关量二值化信号：二值化的开关量信号并不需要通过精度控制压缩比，而是判断信号值变动。

3、随机突变信号：SDT算法对随机及突变的值没有过滤，也无法压缩；但在实际应用中，由于设备采集信号被干扰而产生的瞬时突变是需要被过滤和压缩的，所以需要设计一种可以压缩和过滤突变信号的算法。

4、临界值抖动：实际应用中，由于划分了压缩精度的变动阈值就存在信号在阈值零界点频繁变化而造成的抖动，应用中需要通过抖动幅度来判断是否需要归档或者压缩数据。

5、压缩精度调整：在不同时域内设备存在信号变动幅值的不同，固定压缩精度无法适应在不同时域内变动压缩比的需求。

发明内容

为解决传统SDT算法在模拟量采样中出现的随机突变、临界抖动、固定压缩精度无法适应幅值范围内采样值非均匀分布、幅值范围内二值化开关量采样数据的压缩问题，本发明提供了一种基于旋转门算法的改进算法，采用有限状态机作为SDT算法中压缩精度值的输入端，并改进SDT算法加入命中率阈值参数作为反馈输入动态调整压缩精度参数，加入抖动修正值参数减少临界值抖动提高压缩比例。

为实现上述目的，本发明所采用的技术方案为：多区间自适应旋转门算法，具体如下：

一、采用有限状态机将采样输入值变换为压缩精度输出，初始化有限状态机，初始化转换函数的转换判定条件，初始化压缩精度计算函数的精度哈希表；

二、采样值输入至状态转换函数，输出采样值对应的状态；

三、通过压缩精度计算函数计算并输出状态对应的压缩精度；

四、通过压缩算法计算队列中的P∈[P_n+1…P_n+(m-1)]之间的采样值；

五、压缩算法通过输入的压缩精度计算采样值P是否超出精度范围，未超出精度范围的采样值P做压缩处理，超出精度范围的采样值P做归档存储；

六、若采样值P超出精度范围，移除P之前的所有采样值，采样值输入至缓存队列，通过压缩算法再次计算队列中[P_n+1…P_n+(m-1)]之间的采样值；

七、计算最近两次采样差的绝对值累计次数、样本标准差、概率密度函数标准差，判断命中率阈值，反馈给状态机动态调整压缩精度。

其中，有限状态机定义为：M＝(Q,∑,δ,q0,F)。

Q为状态非空有穷集合，任意状态q归属于Q，即

∑输入为闭合区间内任意实数[a,b]，{a≤x≤b,x∈R}，x属于实数，R表示实数；δ为状态转换函数δ(x,e)→q，e为状态转换条件；q0为初始状态；F为终止状态

F属于Q的子集；

(任意的归属于F)，q为M的终止态。

其中，压缩算法具体如下：

一、设压缩精度为ΔE，压缩区间为采样值P_n±ΔE与P_n+m±ΔE为边形成的平行四边形区域；

二、计算P_n+1…P_n+(m-1)采样值是否在平行四边形区域内，采用面积法

判定，A＝P_n+ΔE，B＝P_n+m+ΔE，C＝P_n-ΔE，D＝P_n+m-ΔE；其中A、B、C、D为P_n±与P_n+m两个采样点在y轴上±ΔE围成的平行四边形。

点P∈[P_n+1…P_n+(m-1)]，P归属于区间内，

(

为点A、点B、点C和点D所围成的四边形区域面积；S_△PAB为点P、点A和点B所围成的三角形区域面积；S_△PBC为点P、点B和点C所围成的三角形区域面积；S_△PCD为点P、点C和点D所围成的三角形区域面积；S_△PDA为点P、点D和点A所围成的三角形区域面积)

若四个三角形之和不等于平行四边形面积，则点P不在平行四边形区域内，超出精度范围；若四个三角形之和等于平行四边形面积，则点P处于平行四边形区域内，未超出精度范围。

其中，作为优选的，一种反馈给状态机动态调整压缩精度的方法为：计算最近两次采样差值x＝|P_n+1-P_n|，大于采样精度ΔE则未命中，记录每次差值x并统计相同差值累计次数，对差值统计表做降序排序。

计算命中率百分比Per＝命中次数累计/采样次数累计，命中率百分比超过阈值后，调整压缩精度并反馈给状态机，更新精度哈希表。

其中，作为优选的，一种反馈给状态机动态调整压缩精度的方法为：计算采样值样本的标准差

通过标准差变化判断采样值变化幅度，调整压缩精度；

标准差与压缩精度差值达到阈值后，调整压缩精度并反馈给状态机，更新精度哈希表。

其中，S为样本标准差，x_i为每个采样值，其中

为样本平均值，

采样值样本标准差的具体计算步骤如下：

a)、计算所有采样值的平均值x_i；

b)、分别计算每个样本与平均值差的平方，并对所有结果求和：

c)、用总和值除以样本数量n-1并取平方根；

d)、贝塞尔无偏估计校正系数为

e)、无偏估计；

f)、计算采样值样本的标准差s。

其中，作为优选的，一种反馈给状态机动态调整压缩精度的方法为：选取一定数量的采样值样本，并对样本做核密度估计

其中h＞0，采用采样精度为平滑参数带宽，x_i为间距点，间距点数量为采样值域除以采样精度评分点数量，采用epanechnikov核函数估算概率密度；

计算采样值样本概率密度函数的标准差的值作为压缩精度输出并反馈给状态机，更新精度哈希表。

本发明与现有技术相比，具体有益效果体现在：

一、本发明实现了采样数据在多个区间的可变精度压缩，并且对各压缩精度采用自反馈的方式动态调整。

二、多区间可以将采样值域分成多个压缩区间，这样非敏感区间(正常区间)，敏感区间(报警区间)可以分别采用不同的压缩精度，提高非敏感数据的压缩比，更大程度地压缩非关键数据，节省存储空间；对于敏感数据减小压缩比能通过区间分界点保存关键点数据，有助于后期更好地还原数据。

三、压缩精度随着区间和采用数据的变化动态调整、自动适应，有效减少了人为干预因素，采用了样本特征提取的算法，为后期扩展AI(人工智能)压缩提供条件。

附图说明

图1为本算法的流程图。

图2为压缩算法的示意图。

图3为值域[0～1]随机采样，随机样本的数据图。

图4为值域[0～1]随机采样，概率密度函数概率密度的分布函数图。

图5为值域[0～4]随机采样，随机样本的数据图。

图6为值域[0～4]随机采样，概率密度函数概率密度的分布函数图。

图7为值域[0～100]随机采样，随机样本的数据图。

图8为值域[0～100]随机采样，概率密度函数概率密度的分布函数图。

图9为核函数估算概率密度的示意图。

图10为A、B、C、D在y轴上±ΔE围成的平行四边形示意图。

图11为本算法具体实施例的流程示意图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，多区间自适应旋转门算法，具体如下：

一、采用有限状态机将采样输入值变换为压缩精度输出，初始化有限状态机，初始化转换函数的转换判定条件，初始化压缩精度计算函数的精度哈希表；

二、采样值输入至状态转换函数，输出采样值对应的状态；

三、通过压缩精度计算函数计算并输出状态对应的压缩精度；

四、通过压缩算法计算队列中的P∈[P_n+1…P_n+(m-1)]之间的采样值；

五、压缩算法通过输入的压缩精度计算采样值P是否超出精度范围，未超出精度范围的采样值P做压缩处理，超出精度范围的采样值P做归档存储；

如图2所示的压缩算法：

a)、采样值序列[0.32,0.38,0.34,0.75,0.85,1.30,1.02,0.26,0.56,0.65]

b)、采样值域：[0.00～4.00]

c)、压缩精度：ΔE＝±0.20

d)、归档采样值：[0.32,0.34,1.3,0.26]

e)、压缩采样值：[0.38,0.75,0.85,1.02,0.56]

六、若采样值P超出精度范围，移除P之前的所有采样值，采样值输入至存储队列，通过压缩算法再次计算队列中[P_n+1…P_n+(m-1)]之间的采样值；

七、计算最近两次采样差的绝对值累计次数、样本标准差、概率密度函数标准差，判断命中率阈值，反馈给状态机动态调整压缩精度。

有限状态机定义：M＝(Q,∑,δ,q0,F)。

其中，Q为状态非空有穷集合，任意状态q归属于Q，即

∑输入为闭合区间内任意实数[a,b]，{a≤x≤b,x∈R}，x属于实数，R表示实数；δ为状态转换函数δ(x,e)→q，e为状态转换条件；q0为初始状态；F为终止状态

F属于Q的子集；

(任意的归属于F)，q为M的终止态。

其中，压缩算法具体如下：

一、设压缩精度为ΔE，压缩区间为采样值P_n±ΔE与P_n+m±ΔE为边形成的平行四边形区域；

二、如图10所示，计算P_n+1…P_n+(m-1)采样值是否在平行四边形区域内，采用面积法

判定，A＝P_n+ΔE，B＝P_n+m+ΔE，C＝P_n-ΔE，D＝P_n+m-ΔE；其中A、B、C、D为P_n±与P_n+m两个采样点在y轴上±ΔE围成的平行四边形。

点P∈(P_n+1…P_n+(m-1)，P归属于区间内，

(

为点A、点B、点C和点D所围成的四边形区域面积；S_△PAB为点P、点A和点B所围成的三角形区域面积；S_△PBC为点P、点B和点C所围成的三角形区域面积；S_△PCD为点P、点C和点D所围成的三角形区域面积；S_△PDA为点P、点D和点A所围成的三角形区域面积)

若四个三角形之和不等于平行四边形面积，则点P不在平行四边形区域内，超出精度范围；若四个三角形之等于平行四边形面积，则点P处于平行四边形区域内，未超出精度范围。

其中，作为优选的，一种反馈给状态机动态调整压缩精度的方法为：计算最近两次采样差值x＝|P_n+1-P_n|，大于采样精度ΔE则未命中，记录每次差值x并统计相同差值累计次数，对差值统计表做降序排序。

计算命中率百分比Per＝命中次数累计/采样次数累计，命中率百分比超过阈值后，调整压缩精度并反馈给状态机，更新精度哈希表。

其中，作为优选的，另一种反馈给状态机动态调整压缩精度的方法为：计算采样值样本的标准差

通过标准差变化判断采样值变化幅度，调整压缩精度；

标准差与压缩精度差值达到阈值后，调整压缩精度并反馈给状态机，更新精度哈希表。

其中，S为样本标准差，x_i为每个采样值，其中

为样本平均值，

a)、计算所有采样值的平均值x_i；

b)、分别计算每个样本与平均值差的平方，并对所有结果求和

c)、用总和值除以样本数量n-1并取平方根，由于是样本标准差，所以采用贝塞尔无偏估计校正系数；

d)、贝塞尔无偏估计校正系数，通常

称为贝塞尔校正系数；

e)、无偏估计；无偏估计是用样本统计量来估计总体参数时的一种无偏推断，估计量的数学期望等于被估计参数的真实值，则称此估计量为被估计参数的无偏估计，即具有无偏性，是一种用于评价估计量优良性的准则。无偏估计的意义是：在多次重复下，它们的平均数接近所估计的参数真值；

f)、假设样本总量为100则这100个样本的标准差为

其中，作为优选的，另一种反馈给状态机动态调整压缩精度的方法为：选取一定数量的采样值样本，并对样本做核密度估计

核密度估计(Kerneldensity estimation)，是一种用于估计概率密度函数的非参数方法，设(x₁，x₂，…，x_n)是独立同分布的n个样本点，它的概率密度函数是f。非参数方法是不利用数据分布先验知识，对数据分布不附加任何假定，是一种数据样本本身出发研究数据分布特征的方法。

a)、K(x)为核函数(非负数、积分为1，符合概率密度性质，均值为0)；

b)、h>0为一个平滑参数，称作带宽(bandwidth)或者窗口，这里称为平滑参数带宽，这个参数值是人为选定的，这里h采用采样精度值作为参数值计算；

c)、x_i为间距点，间距点数量为采样值域除以采样精度，假设采样值域0～4，采样精度0.01，间距点个数为4/0.01＝400；

d)、

如图9所示，Epanechnikov核是核密度估计中核函数的一种，它在均方误差意义下是最优的，效率损失也很小；

计算采样值样本概率密度函数的标准差的值作为压缩精度输出并反馈给状态机，更新精度哈希表。

具体图例如图3-8所示。

下面列举一个具体实施例：

如图11所示，一、采用有限状态机将采样输入值变换为压缩精度输出，初始化有限状态机，例如采样值域为[0.00,4.00],采样精度为0.01，其中[0.00,1.00]区间为正常区间输出状态A，[1.00,2.000]为报警区间输出状态B，[2.00,4.00]为断电区间输出状态C。采样值输入经过状态转换函数(事件)输出为最终状态，最终状态通过查找对应精度表输出精度参数，精度默认初始参数人为设定初值。

二、采样值队列达到规定样本数量后分别计算各区间内样本的样本标准差，采用样本标准差作为压缩精度并反馈输入给状态机更新压缩精度表。

三、采用核密度估算，概率密度函数标准差法自适应精度。

四、对采样值队列运用SDT算法压缩并归档数据。

五、实际应用中存在采样值在相邻的两个区间边界反复波动的情况称为临界值抖动。算法内加入临界值抖动的修正参数，默认情况下无需指定修正参数，边界抖动的值会在压缩精度范围内被算法压缩，如果人为设置参数，则会形成为左闭合区间下界值加参数值的死区，所有死区范围内的样本值将被压缩，所以不建议人为设置修正参数除非有特殊需求。

例如:区间[1.00,1.50),区间压缩精度计算后为0.05，那么样本值在区间下界值附近抖动如果样本值x，1.00≤x≤1.05范围内x将被压缩处理。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包在本发明范围内。

Claims (6)

1.多区间自适应旋转门算法，其特征在于，具体如下：

一、采用有限状态机将采样输入值变换为压缩精度输出，初始化有限状态机，初始化转换函数的转换判定条件，初始化压缩精度计算函数的精度哈希表；

二、采样值输入至状态转换函数，输出采样值对应的状态；

三、通过压缩精度计算函数计算并输出状态对应的压缩精度；

四、通过压缩算法计算队列中P∈[P_n+1…P_n+(m-1)]之间的采样值；

五、压缩算法通过输入的压缩精度计算采样值P是否超出精度范围，未超出精度范围的采样值P做压缩处理，超出精度范围的采样值P做归档存储；

压缩算法具体如下：

1)、设压缩精度为ΔE，压缩区间为采样值P_n±ΔE与P_n+m±ΔE为边形成的平行四边形区域；

2)、计算P_n+1…P_n+(m-1)采样值是否在平行四边形区域内，采用面积法

判定，A＝P_n+ΔE，B＝P_n+m+ΔE，C＝P_n-ΔE，D＝P_n+m-ΔE；

点P∈[P_n+1…P_n+(m-1)]，

P归属于区间内，

为点A、点B、点C和点D所围成的四边形区域面积；S_△PAB为点P、点A和点B所围成的三角形区域面积；S_△PBC为点P、点B和点C所围成的三角形区域面积；S_△PCD为点P、点C和点D所围成的三角形区域面积；S_△PDA为点P、点D和点A所围成的三角形区域面积；

若四个三角形之和不等于平行四边形面积，则点P不在平行四边形区域内，超出精度范围；若四个三角形之等于平行四边形面积，则点P处于平行四边形区域内，未超出精度范围；

六、若采样值P超出精度范围，移除P之前的所有采样值，采样值输入至存储队列，通过压缩算法再次计算队列中[P_n+1…P_n+(m-1)]之间的采样值；

七、计算最近两次采样差的绝对值累计次数、样本标准差、概率密度函数标准差，判断命中率阈值，反馈给状态机动态调整压缩精度。

2.根据权利要求1所述的多区间自适应旋转门算法，其特征在于，有限状态机定义为：M＝(Q,∑,δ,q0,F)；

Q为状态非空有穷集合，任意状态q归属于Q，

∑输入为闭合区间内任意实数[a,b]，{a≤x≤b,x∈R}；

δ为状态转换函数δ(x,e)→q，e为状态转换条件；

q0为初始状态；

F为终止状态

q为M的终止态。

3.根据权利要求2所述的多区间自适应旋转门算法，其特征在于，反馈给状态机动态调整压缩精度的方法为：计算最近两次采样差值x＝|P_n+1-P_n|，大于采样精度ΔE则未命中，记录每次差值x并统计相同差值累计次数，对差值统计表做降序排序；

计算命中率百分比Per＝命中次数累计/采样次数累计，命中率百分比超过阈值后，调整压缩精度并反馈给状态机，更新精度哈希表。

4.根据权利要求3所述的多区间自适应旋转门算法，其特征在于，反馈给状态机动态调整压缩精度的方法为：计算采样值样本的标准差

通过标准差变化判断采样值变化幅度，调整压缩精度；

标准差与压缩精度差值达到阈值后，调整压缩精度并反馈给状态机，更新精度哈希表；

其中，S为样本标准差，x_i为每个采样值，其中

为样本平均值，

5.根据权利要求4所述的多区间自适应旋转门算法，其特征在于，采样值样本标准差的具体计算步骤如下：

a)、计算所有采样值的平均值x_i；

b)、分别计算每个样本与平均值差的平方，并对所有结果求和：

c)、用总和值除以样本数量n-1并取平方根；

d)、贝塞尔无偏估计校正系数为

e)、无偏估计；

f)、计算采样值样本的标准差s。

6.根据权利要求5所述的多区间自适应旋转门算法，其特征在于，反馈给状态机动态调整压缩精度的方法为：选取一定数量的采样值样本，并对样本做核密度估计

设(x₁，x₂，…，x_n)是独立同分布的n个样本点，概率密度函数是f，x_i为间距点，间距点数量为采样值域除以采样精度等分点数量，采用核函数估算概率密度；

其中，K(x)为核函数；

h>0为一个平滑参数，h采用采样精度值作为参数值计算；

x_i为间距点，间距点数量为采样值域除以采样精度；

计算采样值样本概率密度函数的标准差的值作为压缩精度输出并反馈给状态机，更新精度哈希表。

Images