CN101902226A - 数据压缩方法 - Google Patents

Abstract

本发明涉及一种数据压缩方法，包括：获取初始测量数据及所述初始测量数据的初始采集时间点，设定经过所述初始测量数据的拟合曲线的类型；根据所述拟合曲线获取所述初始测量数据的初始可行域；获取所述初始采集时间点后的设定时间间隔的第一测量数据，根据所述拟合曲线获取所述第一测量数据的第一可行域；判断所述初始可行域与所述第一可行域是否存在交集。本发明提供的数据压缩方法，通过在设定偏差约束下形成的拟合曲线形成可行域，保存初始测量数据和相应的可行域内的坐标值获取被丢弃的测量数据，非线性的拟合曲线在保证被压缩数据具有较高精度的前提下减少了需要存储的数据量。

Description

数据压缩方法

技术领域

本发明涉及信息处理技术，尤其是一种数据压缩方法。

背景技术

随着工业生产的迅速发展，工业生产现场需要连续地采集和存储大量的测量数据。在采集数据的过程中，测量数据总是不断地变化，因此需要将测量数据存储起来。如果要连续不断地将每一个采集到的测量数据都进行存储，就需要占用相当大的存储空间，这使得为存储前述的测量数据，而需要花费很高的成本。另一方面，由于存储的数据量太大，以致于此后对存储下来的测量数据再次使用而所需的检索、定位的处理也相应地比较繁琐、复杂；这对于工业自动化中测量数据的实时处理和利用来说是极大的障碍。

为了解决上述的问题，业界比较成熟的做法是对测量数据进行适当的有损压缩，在满足数据压缩精度的条件下降低所需的存储空间，这种压缩主要是基于测量数据的变化往往具有一定规律的特点实现的。例如：美国专利US4669097公开了一种直线趋势化压缩方法，业界称之为：旋转门(Swing Door Trending，简称：SDT)数据压缩方法。

图9为SDT数据压缩方法的示意图，其中，t表示测量数据所对应的采集时间，Y表示t时刻采集到的测量数据值，SDT方法的特点在于，给定开始测量数据P0，从测量数据P1开始，一直到测量数据Pn，判断是否存在这样的直线所需要的计算量和点数n成正比。具体的，如图9所示，找一个经过当前行程第一个测量数据P0和行程结束的测量数据Pn的直线，使中间测量数据位于直线的给定偏差之内。如果到某个测量数据Pn时存在这样的直线，而到Pn+1时不存在这样的直线，则当前行程结束。存储第一个测量数据P0，并将行程结束的测量数据Pn作为第一个测量数据P0开始下一个行程。

上述SDT数据压缩方法，仅仅是一种基于测量数据之间假设为线性关系的数据压缩方法，在测量数据之间更多体现为线性关系的情形下，会获得较好的数据压缩效率，同时保证误差较小，从而大大降低存储数据对存储空间的需求；但是，在工业生产中，上述连续采集的多个测量数据所构成的几何图形更多表现为非线性关系，例如：二次曲线或者三次曲线关系。如果将前述SDT数据压缩的方法应用于测量数据之间更多体现为非线性关系的情形时，会造成误差精度和压缩效率不能兼顾的情况；即：如果需要较高的压缩比时，就必须使压缩精度降低；反之，要保证压缩的测量数据具有较高的精度，就只能使压缩效率降低；因此，在测量数据之间更多体现为非线性关系的情形下，现有的SDT技术并不能较好地兼顾数据压缩效率与精度的关系。

发明内容

本发明的目的在于提供一种数据压缩方法，使压缩数据具有较高精度并且减少需要存储的测量数据。

本发明提供了一种数据压缩方法，包括：

步骤1、获取初始测量数据及所述初始测量数据的初始采集时间点，设定经过所述初始测量数据的拟合曲线的类型；

步骤2、根据所述拟合曲线获取所述初始测量数据的初始可行域；

步骤3、获取所述初始采集时间点后的设定时间间隔的第一测量数据，根据所述拟合曲线获取所述第一测量数据的第一可行域；

步骤4、判断所述初始可行域与所述第一可行域是否存在交集，若是，则将所述交集作为初始可行域，将所述第一测量数据作为初始测量数据，执行步骤3；若否，获取所述初始可行域内的坐标值，所述坐标值作为拟合曲线的系数，存储所述坐标值和所述步骤1中初始时间点获取的初始测量数据，并将所述第一测量数据作为初始测量数据，执行步骤1。

上述数据压缩方法，通过获取初始测量数据及初始测量数据的初始采集时间点，设定经过初始测量数据的拟合曲线的类型，通过在设定偏差约束下形成的拟合曲线形成可行域，保存初始测量数据和相应的可行域内的坐标值获取被丢弃的测量数据，非线性的拟合曲线在保证被压缩数据具有较高精度的前提下减少了需要存储的数据量。

附图说明

图1为本发明数据压缩方法一个实施例的流程示意图；

图2为本发明数据压缩方法又一个实施例的流程示意图；

图3为图2所示实施例中测量数据与拟合曲线的关系示意图；

图4为图2所示实施例中第一分界与第二分界的位置关系示意图；

图5为图2所示实施例中交叠区域的顶角坐标位置示意图；

图6为图2所示实施例中消除交叠区域的顶角的示意图；

图7为适用于现有技术中旋转门方法的测量数据所呈现的示意图；

图8为适用于本发明实施例中的测量数据所呈现的示意图；

图9为SDT数据压缩方法的示意图。

具体实施方式

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

本发明实施例中的拟合曲线，是指导数存在的高次曲线，拟合曲线具体可以为抛物线、三次曲线、圆弧、椭圆弧、双曲线；本发明实施例中的可行域，是指在设定偏差的约束下，由拟合曲线的各阶导数所形成的几何图形所形成的几何区域，通过判断设定时间内的测量数据的几何区域之间是否存在交集，确定初始测量数据是存储还是丢弃。

图1为本发明数据压缩方法一个实施例的流程示意图，如图1所示，本实施例包括以下步骤：

步骤101、获取初始测量数据及初始测量数据的初始采集时间点，设定经过初始测量数据的拟合曲线的类型；

步骤102、根据拟合曲线获取初始测量数据的初始可行域；

步骤103、获取初始采集时间点后的设定时间间隔的第一测量数据，根据拟合曲线获取第一测量数据的第一可行域；

步骤104、判断初始可行域与第一可行域是否存在交集，若是，执行步骤105，若否，执行步骤106；

步骤105、将交集作为初始可行域，将第一测量数据作为初始测量数据，执行步骤103；

步骤106、获取初始可行域内的坐标值，坐标值作为拟合曲线的系数，存储坐标值和步骤101中初始时间点获取的初始测量数据，并将第一测量数据作为初始测量数据，执行步骤101。

本实施例提供的数据压缩方法，通过获取初始测量数据及初始测量数据的初始采集时间点，设定经过初始测量数据的拟合曲线的类型，通过在设定偏差约束下的拟合曲线形成可行域，存储初始测量数据和相应的可行域内的坐标值，通过存储初始测量数据和相应的可行域内的坐标值获取被丢弃的测量数据，非线性的拟合曲线在保证被压缩数据具有较高精度的前提下减少了需要存储的数据量。

图2为本发明数据压缩方法又一个实施例的流程示意图，图3为图2所示实施例中测量数据与拟合曲线的关系示意图，图4为图2所示实施例中第一分界与第二分界的位置关系示意图，图5为图2所示实施例中交叠区域的顶角坐标位置示意图，图6为图2所示实施例中消除交叠区域的顶角的示意图。

如图2所示，本实施例包括以下步骤：

步骤201、获取初始测量数据及初始测量数据的初始采集时间点，设定经过初始测量数据的拟合曲线的类型；

步骤2021、获取拟合曲线在初始采集时间点的各阶导数；

步骤2022、各阶导数对应的几何图形为初始可行域；

步骤2031、获取与初始采集时间点相隔设定时间间隔的第一采集时间点的第一测量数据；

步骤2032、以设定偏差为约束使与第一测量数据相对应的第一拟合曲线在初始采集时间点的各阶导数形成几何图形；

步骤2033、获取几何图形所围成的几何区域，几何区域形成第一可行域；

步骤2041、若初始可行域存在顶角，则获取初始可行域的顶角坐标；

步骤2042、对顶角坐标进行排序，形成角序列；

步骤2043、获取第一可行域的第一分界和第二分界；

步骤2044、根据第一分界与角序列的关系、第二分界与角序列的关系判断初始可行域与第一可行域的交集是否存在，若是，执行步骤205，若否，执行步骤206；

步骤205、将交集作为初始可行域，并将第一测量数据作为初始测量数据，执行步骤2031；

步骤206、获取初始可行域内的坐标值，其中，坐标值作为拟合曲线系数，存储坐标值和步骤201中在初始时间点获取的初始测量数据，并将第一测量数据作为初始测量数据，执行步骤201。

如图3所示，以拟合曲线的类型为抛物线为例，对本实施例进行详细说明。

上述步骤201中，初始采集时间点设为t₀，初始测量数据为P(t₀，Y₀)，Y₀为初始测量数据的测量值，拟合曲线的类型为抛物线，设抛物线的方程为：y＝a₂t²+a₁t+a₀，其中t为时间，y为t时刻获取的采集测量数据的幅值。

设两相邻测量数据之间的距离为时间间隔T，设定偏差为ε，测量数据的时间行程为N，在抛物线以及设定偏差ε所限定的区域内，从第一个测量数据到第N个测量数据均位于该区域内，当第N+1个测量数据P_N+1(t₀，Y₀)位于设定偏差ε以外时，则从第N+1个测量数据重新开始计算新的抛物线所对应的参数(a₂，a₁，a₀)。

上述步骤2021和步骤2022中，对抛物线y＝a₂t²+a₁t+a₀求取一阶导数和二阶导数，则有

其中，y′₀表示过初始测量数据P(t₀，Y₀)的抛物线的一阶导数，y″₀表示过初始测量数据P(t₀，Y₀)的抛物线的二阶导数，则y′₀、y″₀所形成的二维平面形成初始可行域。初始采集时间点t₀＝0，可进一步计算得到

上述步骤2031中，仅将步骤201中的t₀替换为(t₀+T)即可。

上述步骤2032中，以设定偏差为约束使与第一测量数据相对应的第一拟合曲线在初始采集时间点的各阶导数形成几何图形，具体地，由于y′₀、y″₀在步骤2021中已经计算得到，将y′₀、y″₀代入抛物线方程y＝a₂t²+a₁t+a₀可以得到

因此y₀、y′₀、y″₀唯一确定一条抛物线。

对于已知的y′₀、y″₀以及设定偏差ε，第一测量数据的第一可行域D_y1需满足以下条件：

D_y1： $y-\mathrm{\ϵ}\≤\frac{y_0^{\′\′}}{2}{t}^2+y_0^{\′}t+y_0\≤y+\mathrm{\ϵ}$

即上述第一可行域D_y1是位于一阶导数和二阶导数(y′₀、y″₀)所形成的平面上的几何图形为两条平行直线

且该两条平行直线之间所形成的几何区域形成初始可行域，如图4所示。对于P(t₀，Y₀)后采集到的每一测量数据P(t_i，Y_i)，均存在一个(y′₀、y″₀)的可行域D_yi。

上述步骤2041中，通过采集与第一测量数据相隔N个时间间隔T的后续的测量数据，第一测量数据所确定的第一可行域D_y1和第一测量数据之后的测量数据所确定的可行域重合形成交集，该交集即为交叠区域，该交叠区域可以为多边形，如图5所示，为第一测量数据的第一可行域与第一测量数据之后的相邻测量数据形成的可行域经过重叠后形成的交叠区域，该交叠区域为平行四边形。

上述步骤2042中，若初始可行域为多边形，则对多边形的顶角坐标进行排序，具体可以将顶角坐标的纵坐标值按大小顺序排序，形成角序列(Angle Series，简称：AS)。若该多边形存在m个顶角(m为大于或等于4的整数)，记该m个顶角为{A₁，A₂，A₃，...，A_m}，并记录该m个顶角的相邻关系，如图5所示，平行四边形4个顶角的AS为{A，B，C，D}，则AS的相邻关系为{A，B，D，C，A}。

上述步骤2043中，若经过前述步骤201～步骤2042后，交叠区域已经为多边形，当有新的测量数据时，根据上述步骤2022中获取该新的测量数据的第一分界

和第二分界

第一分界和第二分界为相互平行的两个平面。

上述步骤2044中，若第一分界

与交叠区域存在交点，则AS中纵坐标值较大的顶角位于第一分界的上方，同样地，第二分界

与交叠区域存在交点，则AS中纵坐标值较小的顶角位于第二平行线第二分界的下方，如图6所示，第一分界将顶角A消除，第二分界将顶角D消除。将第一分界与角序列、第二分界与角序列的关系确定后，即可判断第一分界和第二分界所形成的可行域与交叠区域是否存在交集，若存在，则说明通过该交集内的坐标值以及初始测量数据可计算得到该初始测量数据之后的测量数据，因此将初始测量数据之后的测量数据丢弃，执行步骤205，即，将交集作为初始可行域，并将第一测量数据作为初始测量数据，重复执行步骤2031；若不存在，执行步骤206，即，获取初始可行域内的坐标值，其中，坐标值作为拟合曲线系数，存储坐标值和步骤201中初始时间点获取的初始测量数据，并将第一测量数据作为初始测量数据，执行步骤201。

上述过程，由于不同时间点所形成的可行域经过多次交叠后形成一个多边形，该多边形的顶角按二阶导数从小到大排序形成AS。当计算新的测量数据所对应的可行域与多边形形成的可行域的交叠区域时，由大到小顺次查找AS中位于第一分界上方的第一顶角坐标，其中第一顶角坐标为位于第一分界上方的顶角坐标，可包含多个多边形的顶角坐标。在实际计算中，多边形的顶角只要存在一个位于第一分界下方的待消除的顶角，则停止查找第一顶角坐标的判断。由小到大顺次查找AS中位于第二分界下方的第二顶角坐标，其中第二顶角坐标为位于第人平行线下方的顶角坐标，可包含多个多边形的顶角坐标，在实际计算中，多边形的顶角只要存在一个位于第二分界上方的待消除的顶角，则停止查找第一顶角坐标的判断。当查找完毕需要消除的多边形的顶角后，根据已保存的AS顶角的邻接关系，从被删除的顶角中找出与未删除顶角间有邻接关系的顶角，并获取由于消除顶角而出现的新的顶角坐标。把待删除的顶角从AS中删除，把新的顶角按二阶导数坐标的大小排序并加入到AS中，该过程即实现一次可行域的叠加并获取交集。由于可行域的叠加过程和叠加次数与测量数据的个数成线性关系，因此该方法的计算量为C×N，其中C、N均为整数。

本实施例提供的数据压缩方法，通过获取初始测量数据及初始测量数据的初始采集时间点，设定经过初始测量数据的拟合曲线为抛物线，通过在设定偏差约束下的拟合曲线所形成的可行域，保存初始测量数据和相应的可行域形成的交叠区域内的坐标值获取被丢弃的测量数据，非线性的拟合曲线在保证被压缩数据具有较高精度的前提下减少了需要存储的数据量。

在图2所示实施例中，拟合曲线也可以为三次曲线。

上述步骤201中，设三次曲线y＝a₃t³+a₂t²+a₁t+a₀，其中t为时间，y为t时刻获取的采集测量数据的幅值。将本实施例中的第一时间点设为t₀，初始测量数据为P(t₀，Y₀)，Y₀为初始测量数据的测量值，时间间隔设为T，设定偏差为ε。

上述步骤2021中，对三次曲线y＝a₃t³+a₂t²+a₁t+a₀求取一阶导数、二阶导数，以及三阶导数，则有

其中，y′₀表示过初始测量数据P(t₀，Y₀)的抛物线的一阶导数，y″₀表示过初始测量数据P(t₀，Y₀)的抛物线的二阶导数，y″′₀表示过初始测量数据P(t₀，Y₀)的抛物线的三阶导数，则y′₀、y″₀、y″′₀所形成的三维立体空间形成初始可行域。初始采集时间点t₀＝0，可进一步计算得到

上述步骤2022和步骤2023中，由于y′₀、y″₀、y″′₀在步骤2021中已经计算得到，将y′₀、y″₀、y″′₀代入三次曲线方程y＝a₃t³+a₂t²+a₁t+a₀，可以得到

因此y₀、y′₀、y″₀唯一确定一条三次曲线。

对于已知的y′₀、y″₀、y″₀以及设定偏差ε，第一测量数据的第一可行域D_y1需满足以下条件：

D_y1： $y-\mathrm{\ϵ}\≤\frac{t^3}{6}{y}_0^{\′\′\′}+\frac{t^2}{2}{y}_0^{\′\′}+y_0^{\′}t+y_0\≤y+\mathrm{\ϵ}$

即上述第一可行域D_y1是位于一阶导数、二阶导数、三阶导数(y′₀、y″₀、y″′₀)所形成的三维空间中的两个平面

且该两个平面之间所形成的几何区域形成第一可行域。

上述步骤2031中，仅将步骤201中的t₀替换为(t₀+T)即可。

上述步骤2041中，通过采集与第一测量数据相隔N个时间间隔T的后续的测量数据，初始测量数据所确定的初始可行域和后续的测量数据所确定的第一可行域重合后形成交集，则重合部分即形成交叠区域，该交叠区域为多面体。

上述步骤2042中，若初始可行域为多面体，则对多面体的顶角坐标进行排序，具体可以将顶角坐标的纵坐标值按大小顺序排序，形成AS。若该多面体存在n个顶角(n为大于或等于8的整数)，记该n个顶角为{A₁，A₂，A₃，...，A_n}，并记录该n个顶角的相邻关系，AS的相邻关系表示方式同抛物线，在此不再赘述。

上述步骤2043中，若经过前述步骤201～步骤2042后，交叠区域已经为多面体，当有新的测量数据时，则新的测量数据所形成的可行域与该多面体是否存在交集，根据上述步骤2022中所述的方法获取该相邻测量数据的第一分界

和第二分界

第一分界和第二分界为相互平行的两个平行面。

上述步骤2044中，若第一分界与交叠区域存在交点，则AS中纵坐标值较大的顶角位于第一分界的上方，同样地，第二分界与交叠区域存在交点，则AS中纵坐标值较小的顶角位于第二分界的下方。将第一分界与角序列、第二分界与角序列的关系确定后，即可判断出第一分界和第二分界所形成的相邻可行域与交叠区域是否存在交集，若存在，执行步骤205，即，将交集作为初始可行域，并将第一测量数据作为初始测量数据，重复执行步骤2031；若不存在，执行步骤206，即，获取初始可行域内的坐标值，其中，坐标值作为拟合曲线系数，存储坐标值和步骤201中初始时间点获取的初始测量数据，并将第一测量数据作为初始测量数据，执行步骤201。

上述过程，由于不同时间点所形成的可行域经过多次交叠后形成一个多面体，该多面体的角按三阶导数从小到大排序形成AS。当计算新的测量数据所对应的可行域与多面体形成的可行域的交叠区域时，由大到小顺次查找AS中位于第一分界上方的第一顶角坐标，其中第一顶角坐标为位于第一分界上方的顶角坐标，可包含多面体的顶角坐标。在实际计算中，多面体的顶角只要存在一个位于第一分界下方的待消除的顶角，则停止查找第一顶角坐标的判断。由小到大顺次查找AS中位于第二分界下方的第二顶角坐标，其中第二顶角坐标为位于二平行面下方的顶角坐标，可包含多个多面体的顶角坐标，在实际计算中，多面体的顶角只要存在一个位于第二分界上方的待消除的顶角，则停止查找第一顶角坐标的判断。当查找完毕需要消除的多面体的顶角后，根据保存的AS顶角的邻接关系，从被删除的顶角中找出与未删除顶角间有邻接关系的顶角，并获取由于消除顶角而出现的新的顶角。把已待删除的顶角从AS中删除，将新的顶角按三阶导数坐标的大小排序并加入到AS中，该过程即实现一次可行域的叠加并获取交集。由于可行域的叠加过程和叠加次数与测量数据的个数成线性关系，因此该方法的计算量为T×N，其中T、N均为整数。

本实施例提供的数据压缩方法，通过获取初始测量数据及初始测量数据的初始采集时间点，设定经过初始测量数据的拟合曲线为三次曲线，当测量数据呈非线性变化时，通过在设定偏差约束下的拟合曲线所形成可行域，保存初始测量数据和相应的可行域内的坐标值获取被丢弃的测量数据，非线性的拟合曲线在保证被压缩数据具有较高精度的前提下减少了需要存储的数据量。

图7为适用于现有技术中旋转门方法的测量数据所呈现的示意图，图8为适用于本发明实施例中的测量数据所呈现的示意图，如图7、图8所示，现有技术中的旋转门方法仅适用与当工业现场采集的测量数据成线性时对测量数据进行压缩，而本发明实施例中的数据压缩方法当测量数据呈现非线性变化时有较好的数据压缩效果，当测量数据之间呈现非线性关系时，通过保存初始测量数据和相应的拟合曲线的参数获取被丢弃的测量数据，非线性的拟合曲线在保证被压缩数据具有较高精度的前提下减少了需要存储的数据量。

本领域普通技术人员可以理解：实现上述实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种数据压缩方法，其特征在于，包括：

步骤1、获取初始测量数据及所述初始测量数据的初始采集时间点，设定经过所述初始测量数据的拟合曲线的类型；

步骤2、根据所述拟合曲线获取所述初始测量数据的初始可行域；

步骤3、获取所述初始采集时间点后的设定时间间隔的第一测量数据，根据所述拟合曲线获取所述第一测量数据的第一可行域；

步骤4、判断所述初始可行域与所述第一可行域是否存在交集，若是，则将所述交集作为初始可行域，将所述第一测量数据作为初始测量数据，执行步骤3；若否，获取所述初始可行域内的坐标值，所述坐标值作为拟合曲线的系数，存储所述坐标值和所述步骤1中初始时间点获取的初始测量数据，并将所述第一测量数据作为初始测量数据，执行步骤1。

2.根据权利要求1所述的方法，其特征在于，所述步骤2包括：

步骤21、获取所述拟合曲线在所述初始采集时间点的各阶导数；

步骤22、所述各阶导数对应的几何图形为初始可行域。

3.根据权利要求1所述的方法，其特征在于，所述步骤3包括：

步骤31、获取与所述初始采集时间点相隔设定时间间隔的第一采集时间点的第一测量数据；

步骤32、以设定偏差为约束使与所述第一测量数据相对应的第一拟合曲线在所述初始采集时间点的各阶导数形成几何图形；

步骤33、获取所述几何图形所围成的几何区域，所述几何区域形成第一可行域。

4.根据权利要求1所述的方法，其特征在于，所述步骤4中判断所述初始可行域与所述第一可行域是否存在交集包括：

步骤41、若所述初始可行域存在顶角，则获取所述初始可行域的顶角坐标；

步骤42、对所述顶角坐标进行排序，形成角序列；

步骤43、获取所述第一可行域的第一分界和第二分界；

步骤44、根据所述第一分界与所述角序列的关系、所述第二分界与所述角序列的关系判断所述初始可行域与第一可行域的交集是否存在。

5.根据权利要求4所述的方法，其特征在于，所述步骤42包括：

将所述顶角坐标的纵坐标值按大小顺序排序，形成角序列。

6.根据权利要求4所述的方法，其特征在于，所述步骤44包括：

步骤441、由大到小顺次查找所述角序列中位于所述第一分界上方的第一顶角坐标；判断所述第一顶角坐标是否存在，若是，则将所述第一顶角坐标消除，所述第一分界与所述初始可行域相交形成新的顶角，若否，停止执行；

步骤442、由小到大顺次查找所述角序列中位于所述第二分界下方的第二顶角坐标；判断所述第二顶角坐标是否存在，若是，则将所述第二顶角坐标消除，所述第二分界与所述初始可行域相交形成新的顶角，若否，停止执行。

Images