CN105808708A - 一种快速数据压缩方法 - Google Patents

Abstract

本发明公开了一种快速数据压缩方法，所述方法包括：对接收的检测数据进行预处理，包括对数据信息粗大误差的剔除，及对所述检测数据的滤波；通过传感器对滤波后的检测数据进行测量，并对测量后的数据进行融合；对融合后的数据，通过最小二乘拟合多项式方法进行压缩。本发明提供的方法通过数据预处理、数据融合和数据压缩，大大压缩了数据存储空间，同时提高了数据可靠性，保留了数据的曲线特征，具有良好的使用价值。

Description

一种快速数据压缩方法

技术领域

本发明涉及工业领域中实时多传感检测信息压缩。

背景技术

数据压缩算法在图像、音视频处理等方面得到了广泛的应用，技术日趋成熟并形成了国际化的标准。而在工业测控领域，随着物联网技术的发展与应用，现代检测系统往往会产生海量的实时数据，需要通过数据压缩减少数据存储空间，降低传感节点间通信数据量。

目前比较有效且应用较多的实时快速数据压缩算法主要有：稳态阈值算法(死区算法)、旋转门算法、线性外插算法等。由于工业应用中，检测数据往往呈现不同的特点，所以往往需要在已有算法基础上进行改进。如专利CN201410661112.1在死区压缩算法的基础上利用三次样条插值拟合压缩，实现对工业实时数据库进行数据处理；专利CN200610052068.X则先对工业现场的实时数据进行预处理，然后对预处理后保存在缓冲区中的数据用最小二乘方法拟合直线，通过设置压缩偏差来进行数据压缩，该方法在压缩数据的同时，可保留数据曲线特性；专利CN201110344281.9公布了一种高压缩比的工业实时数据压缩方法，该方法直接用最小二乘拟合直线的方法进行工业数据压缩。上式专利均未考虑工业实时检测数据粗大误差的剔除问题，多传感检测时的数据融合问题，检测数据的非线性特征问题。本专利将针对上式问题开展。

发明内容

为解决上述技术问题，本发明的目的是提供一种工业实时检测数据高速高可靠性的数据压缩方法。

本发明的目的通过以下的技术方案来实现：

一种快速数据压缩方法，包括：

A对接收的检测数据进行预处理，包括对数据信息粗大误差的剔除，及对所述检测数据的滤波；

B对滤波后的多个同类传感器检测数据进行融合；

C对融合后的数据，通过最小二乘拟合多项式方法进行压缩。

与现有技术相比，本发明的一个或多个实施例可以具有如下优点：

本发明先对检测数据利用数字低通滤波器剔除检测数据奇异点，后用惯性滤波方法减少噪声对后续压缩的影响；然后对多传感检测数据采用方差可靠性方法进行加权融合，最后对检测融合数据用最小二乘方法拟合二次多项式进行数据压缩。该方法通过数据预处理、数据融合和数据压缩，大大压缩了数据存储空间，同时提高了数据可靠性，保留了数据的曲线特征，具有良好的使用价值。可用于实现工业实时检测数据高速高可靠性的数据压缩。

附图说明

图1是本发明提供的一种快速数据压缩方法实施流程图；

图2是本发明提供的最小二乘拟合多项式压缩流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合实施例及附图对本发明作进一步详细的描述。

本发明提供了一种工业实时检测数据的快速压缩方法，该方法针对工业检测数据可能存在粗大误差、噪声干扰、多传感检测和数据的非线性特征问题，先对检测数据利用数字低通滤波器剔除检测数据奇异点，后用惯性滤波方法减少噪声对后续压缩的影响；然后对多传感检测数据采用方差可靠性方法进行加权融合，最后对检测融合数据用最小二乘方法拟合二次多项式进行数据压缩。

如图1所示，为本实施例提供的一种快速数据压缩方法实施流程，包括：

步骤10对接收的检测数据进行预处理，包括对数据信息粗大误差的剔除，及对所述检测数据的滤波；

检查k+1时刻的检测数据点y(k+1)，如果：

$\stackrel{\&OverBar;}{y}\left(k\right)-n\mathrm{\&sigma;}\left(k\right)<y(k+1)<\stackrel{\&OverBar;}{y}\left(k\right)+n\mathrm{\&sigma;}\left(k\right)---\left(1\right)$

${\mathrm{\&sigma;}}^2\left(k\right)=\stackrel{\&OverBar;}{y^2\left(k\right)}-{\&lsqb;\stackrel{\&OverBar;}{y}\left(k\right)\&rsqb;}^2---\left(2\right)$

则认为y(k+1)是可以接受的。式中，其中是先对数据作平滑后再平方得到的值，是先对数据取平方后再作平滑而得到的值；n是根据情况设定的适当数值，且3＜n＜9，初值建议取6。如果y(k+1)被认为是奇异点，则可以用来代替，即

$\hat{y}(k+1)=2y\left(k\right)-\hat{y}(k-1)---\left(3\right)$

为了减少噪声对检测数据压缩的影响，继续对检测数据y(k+1)进行滤波：

z_(k+1)＝az_k+(1-a)y(k+1)(4)

式中y(k+1)为检测数据，z_(k+1)为y(k+1)的滤波值，z_k为上次检测值得滤波值，为了体现检测值的最近变化，取a为0.15。

步骤20对滤波后的多个同类传感器检测数据进行融合；

l个同类传感器滤波后的融合值为：

$\hat{x}=\underset{i=1}{\overset{l}{\mathrm{\&Sigma;}}}{w}_i{z}_i/\underset{i=1}{\overset{l}{\mathrm{\&Sigma;}}}{w}_i=\underset{i=1}{\overset{l}{\mathrm{\&Sigma;}}}{W}_i{z}_i---\left(5\right)$

$w_i=\frac{1}{{\mathrm{\&sigma;}}_i^2},W_i=w_i/\underset{i=1}{\overset{l}{\mathrm{\&Sigma;}}}{w}_i,i=1,2,...,l---\left(6\right)$

式中，为融合值，z_i为传感检测值的滤波值，为传感器i的检测方差，用(6)式计算。

步骤30对融合后的数据，通过最小二乘拟合多项式方法进行压缩；具体流程如下(如图2所示)：

(1)先读入n个检测融合值t_i为检测时间戳，为t_i时的检测融合值，n≥4。

采用最小二乘法，对这n个数据进行多项式拟合，拟合方程为：

$\hat{x}=c+bt+{\mathrm{at}}^2---\left(7\right)$

式中a,b,c为拟合二次多项式系数。

(2)读入下一个检测融合值将t_i+1代入拟合方程，得到拟合值判断是否满足δ为压缩限值。

①如果成立，则该数据舍弃，并继续读入下一个检测融合值；

②如果不成立，则保存该数据和该数据前一个数据点的拟合值，并以该数据前一个数据点的拟合值为起点，继续读入两个检测融合值，返回步骤(1)。

由上述实施例技术方案可以看出，本实施例针对工业检测数据可能存在粗大误差、噪声干扰、多传感检测和数据的非线性特征问题，先对检测数据利用数字低通滤波器剔除检测数据奇异点，后用惯性滤波方法减少噪声对后续压缩的影响；然后对多传感检测数据采用方差可靠性方法进行加权融合，最后对检测融合数据用最小二乘方法拟合二次多项式进行数据压缩。该方法通过数据预处理、数据融合和数据压缩，大大压缩了数据存储空间，同时提高了数据可靠性，保留了数据的曲线特征，具有良好的使用价值。

虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (5)

1.一种快速数据压缩方法，其特征在于，所述方法包括：

A对接收的检测数据进行预处理，包括对数据信息粗大误差的剔除，及对所述检测数据的滤波；

B对滤波后的多个同类传感器检测数据进行融合；

C对融合后的数据，通过最小二乘拟合多项式方法进行压缩。

2.如权利要求1所述的快速数据压缩方法，其特征在于，所述对数据信息粗大误差剔除包括：

检查k+1时刻的检测数据点y(k+1)，如果：

$\stackrel{\&OverBar;}{y}\left(k\right)-n\mathrm{\&sigma;}\left(k\right)<y(k+1)<\stackrel{\&OverBar;}{y}\left(k\right)+n\mathrm{\&sigma;}\left(k\right)$

${\mathrm{\&sigma;}}^2\left(k\right)=\stackrel{\&OverBar;}{y^2\left(k\right)}-{\&lsqb;\stackrel{\&OverBar;}{y}\left(k\right)\&rsqb;}^2$

则认为y(k+1)是可以接受的，其中，是先对数据作平滑后再平方得到的值，是先对数据取平方后再作平滑而得到的值；n是根据情况设定的适当数值，且3＜n＜9；如果y(k+1)被认为是奇异点，则可以用来代替，即

$\hat{y}(k+1)=2y\left(k\right)-\hat{y}(k-1).$

3.如权利要求1所述的快速数据压缩方法，其特征在于，为减少噪声对检测数据压缩的影响，对所述检测数据的滤波包括：

z_(k+1)＝az_k+(1-a)y(k+1)

式中y(k+1)为检测数据，z_(k+1)为y(k+1)的滤波值，z_k为上次检测值得滤波值，为了体现检测值的最近变化，取a为0.15。

4.如权利要求1所述的快速数据压缩方法，其特征在于，所述步骤B具体包括：l个同类传感器滤波后的检测数据进行融合，其融合值为：

$\hat{x}=\underset{i=1}{\overset{l}{\&Sigma;}}{w}_i{z}_i/\underset{i=1}{\overset{l}{\&Sigma;}}{w}_i=\underset{i=1}{\overset{l}{\&Sigma;}}{W}_i{z}_i$

$w_i=\frac{1}{{\mathrm{\&sigma;}}_i^2},W_i=w_i/\underset{i=1}{\overset{l}{\&Sigma;}}{w}_i,i=1,2,...,l$

式中，为融合值，z_i为传感检测值的滤波值，为传感器i的检测方差。

5.如权利要求1所述的快速数据压缩方法，其特征在于，所述步骤C具体包括：

(1)读入n个检测融合值t_i为检测时间戳，为t_i时的检测融合值，n≥4；采用最小二乘法，对这n个数据进行多项式拟合，拟合方程为：

$\hat{x}=c+bt+{\mathrm{at}}^2$

式中a,b,c为拟合二次多项式系数；

(2)读入下一个检测融合值将t_i+1代入拟合方程，得到拟合值判断是否满足δ为压缩限值；

如果成立，则该数据舍弃，并继续读入下一个检测融合值；

如果不成立，则保存该数据和该数据前一个数据点的拟合值，并以该数据前一个数据点的拟合值为起点，继续读入两个检测融合值，返回步骤(1)。