CN102692459A - 数据压缩的方法及设备 - Google Patents

Abstract

本发明涉及数据压缩的方法及设备。一种数据压缩的方法，其包括：将顺序接收-生成的数据系数的流分为多个数据系数集，每个数据系数集代表一时间段并且对于每个集选择具有最大量值的N个数据系数，并且根据该N个数据系数的量值排序该N个数据系数；对于每N个排序的数据系数，选择具有大于阈值的量值的数据系数的子集；将来自每个子集的具有最大量值的数据系数互相比较并且选择最大的Q个数据系数；除先前选择的Q个数据系数外重复先前的比较步骤直到已经选择总共P个数据系数，其中N＞P＞Q。

Description

数据压缩的方法及设备

发明背景

例如气体管道等流体输送管道易受应力腐蚀裂纹影响，其可以导致在服务中发生失效。需要在早期在裂纹发展成为深裂纹(其可能随后导致完全失效)之前探测这样的裂纹的存在，这样的需要因此对于管道操作者是重要的。进行这样的探测的一个方法是使用复杂的智能检测工具，其在管内部移动同时管仍在服务中运行。这样的工具的示例是由当前申请者所拥有和操作的弹性波裂纹探测工具。该工具使用超声非破坏性测试管道以在管道内定位应力腐蚀裂纹。该工具包括许多超声换能器，其设置成以使得超声波在管道周围周向移动这样的角度将超声波注入管壁。当超声波遇到轴向裂纹或管壁内的其他缺陷时，波反射并且回声由换能器探测。这些超声换能器采用交错阵列设置并且该工具可以多达6.7mph的速度沿管道向下移动。因此生成大容量的数据用于随后的分析。该非常大容量的数据本身可能在进行数据分析方面呈现困难。

发明内容

根据本发明的第一方面，提供有数据压缩的方法，其包括：

将按顺序接收-生成的数据系数的流分为多个数据系数集，每个数据系数集代表一时间段并且对于每个集选择具有最大量值的N个数据系数，并且根据该N个数据系数的量值排序该N个数据系数；

对于每N个排序的数据系数，选择具有大于阈值的量值的数据系数的子集；

将来自每个子集的具有最大量值的数据系数互相比较并且选择最大的Q个数据系数；

除先前选择的Q个数据系数外重复先前的比较步骤直到已经选择总共P个数据系数，其中N＞P＞Q。

阈值可以是预定值或可以是数据系数的均方根值的百分比。

代表顺序时间段的数据系数集中的任意两个可具有多个共同的数据系数，每个集中的这些共同的系数代表该时间段的重叠部分。

数据系数可包括小波系数。在该情况下小波系数可通过对数字数据流进行离散小波变换而生成。数字数据流可从一个或多个电磁传感器的输出导出。这些电磁传感器可包括超声或磁传感器。数字数据流可由具有所述传感器中的一个或多个的管道检测工具生成。

根据本发明的第二方面，提供有计算机程序，其包括当由计算机执行时使计算机进行本发明的第一方面的方法的计算机可执行指令。

根据本发明的第三方面，提供有用于进行数据压缩的设备，其包括设置成进行本发明的第一方面的方法的数据处理器。

根据本发明的第四方面，提供有管道检测工具，其包括设置成生成数字数据流的至少一个电磁传感器组件、设置成接收该数字数据流并且输出数据系数流的系数模块，以及设置成进行本发明的第一方面的数据压缩方法的数据处理器。

附图说明

现在将只通过非限制性示例参照附图描述本发明的实施例，其中：

图1示意地图示离散小波变换的实现；

图2a和2b示意地图示用于选择由图1的变换生成的N个最高小波系数的实现；以及

图3a-3d示意地图示根据本发明的小波系数选择方案。

具体实施方式

如上文指出的，已知使用移动通过管道内部的装置(统称为“清管器”)来检测管道，其中具有起到收集大容量数据的作用的多个超声或磁换能器。典型地，来自这些换能器的每个的模拟输出被传送到一个或多个预处理电子模块以将来自这些换能器的模拟信号转换成可以提供用于进一步处理和数据分析的单个数字数据流，这些预处理电子模块典型地包括一个或多个模数转换器、数字滤波器和数字信号处理器。数字数据流典型地例如使用一个或多个硬盘驱动器在本地存储在检测装置上，并且随后在已经由该装置检测感兴趣的管道段后被检索用于随后的数据处理和分析。

因为要存储的潜在的大容量数字数据，在存储之前对数字数据应用某形式的数据压缩是可取的。如将由本领域内技术人员理解的，各种数据压缩方案适于压缩要存储的数据。一个这样的压缩方案是小波压缩，其将数字数据流变换为许多小波系数。图1示意地图示用于进行小波变换的可能的实现方法。在图1中图示的实现方法中，使用N级离散小波变换来进行该小波变换。然而，将意识到可以使用其他的小波变换。参照图1，N层级中的每个包括高通数字滤波器2和低通数字滤波器4。到第一层级的两个滤波器的输入是原始数字化传感器信号(由先前提到的预处理模块输出的数字数据流)。每层级的高通数字滤波器的输出通过对应的降采样器6降采样为1/2并且随后作为独立输入提供给复用器10。来自每层级的低通数字滤波器4的每个输出在作为输入提供给下一层级的高通数字滤波器和低通数字滤波器两者之前也通过对应的降采样器8降采样为成1/2。第N层级最后的低通数字滤波器的输出作为附加输入提供给复用器10。高通滤波器的输出称为细节系数，而低通滤波器的输出称为逼近系数。复用器10的输出时序由计数器组控制，其中每个计数器与一个分解层级关联。对于三级离散小波变换，复用器10的输出将是如下的时分复用小波系数序列：

...A3，D1，D2，D1，D3，D1，D2，D1，A3，D1，D2，D1，D3，D1，D2，D1，A3...

来自复用器的小波系数输出具有量值和关联的时间位置两者，该时间位置与超声扫描过程的时间点有关并且因此能够用于识别小波系数与之关联的管道内的位置。由超声检测工具在单个检测事件期间采集的数据典型地细分为许多顺序扫描以便于随后的分析步骤。

为了在每个扫描期间进一步降低要存储的数据的量，可对来自离散小波变换模块的复用器10的小波系数输出进行小波系数选择过程。该小波系数选择过程可包括选择N个最高小波系数。图2a和2b示意地图示可以在任何给定的扫描期间如何选择来自复用器10的16个最高小波系数输出以及如何将其按递减量值排序。参照图2a，提供十六个个体寄存器12或存储器位点(memory location)以各存储小波系数量值的值和关联的时间位置。寄存器被分成多个带，在图2a中图示的示例具有四个这样的带，其中每个带具有四个寄存器。在第一级中(在图2a中表示的)，配置四个个体比较器14使得每个比较器对于每个相应的带接收存储在最低寄存器中的系数值作为输入。来自复用器10的每个小波系数输出作为第二输入提供给这四个比较器14中的每个。如果来自复用器的小波系数输出的值大于已经存储的作为第二输入提供给相应的比较器的小波系数，则输出小波系数必须落入与该特定比较器关联的寄存器带内。例如，参照图2a，如果来自复用器10并且作为第二输入提供给比较器14的每个的小波系数输出具有小于存储在寄存器4或8中的系数的量值但大于存储在寄存器12中的系数的量值的量值，则可以确定来自复用器的小波系数输出属于由寄存器9-12形成的第三带。图2b示意地图示随后的级，其中所选系数的精确的插入点通过将它的量值与先前在合适的带内的寄存器的每个中所选系数的量值比较而确定。也就是说，重新配置比较器14以便接收存储在所选带中的寄存器(在图2b中示出的示例中的寄存器9-12)中的系数中的相应一个作为输入，同时来自复用器的小波系数输出作为第二输入再次提供给比较器的每个。新选择的小波系数将插入寄存器，对于该寄存器的新的系数具有比先前存储在该寄存器中的系数更大的量值。在图2b中，这是寄存器10。先前存储在较低寄存器(即寄存器10-16)中的小波系数重新分配给下一个较低的寄存器，其中具有最低量值的系数(即先前存储在寄存器16中的系数)被舍弃。采用该方式，当每个小波系数是来自离散小波变换模块的复用器的输出时，其与先前存储的N个最高系数比较并且仅在如果其大于当前存储的N个最高系数的话才最终被选择。

尽管在图2a和2b中图示的示例只示出16个寄存器，可选择任何数量的系数来代表n个最高系数，这对于本领域内技术人员当然将是明显的。典型的值是最高30和最高50个系数，在每个情况下其中N个最高系数被分为五个独立的带。采用该方式，最终选择的小波系数的数量被进一步降低。

然而，当前申请者已经发现，在使用上文描述的N个最高小波系数选择方案中，因为只选择具有最大量值的小波系数，所得的分析和裂纹确定的准确性可能受到限制。在某些情况下，代表特别强的超声反射的这样的小波系数可以与正被检测的管道中的不是裂纹的异常引起的假阳性关联。另外，选择太少的系数，即具有太低的N值，可导致具有较低量值的系数的总损失，该具有较低量值的系数代表来自管道然而却是潜在感兴趣的特征的弱信号。也就是说，对于N所选的值是低的N值(其代表强数据压缩但可能失去代表“弱”特征的数据)和高的N值(其代表弱压缩但保持“弱”特征的数据)之间的折中。

本申请者因此已经试图通过提供新的小波系数选择方案来减少这些困难。根据本发明的实施例，每个超声扫描分为M个顺序时窗。对于每个时窗生成的小波系数根据它们的量值分类并且存储对于每个时窗的N个最高系数。这产生M个分类的系数列表。例如，以先前在图2a和2b中图示的选择16个最高系数并且对于M＝6为例，对于与图2a和2b中表示的相同的扫描持续期间，将生成十六个独立的排序的系数列表(其每个包括十六个小波系数)，而不是根据由图2a和2b图示的先前的方案的单个十六个系数列表。然而，对于对应于M个窗口中的一个的每个列表的小波系数代表在总扫描时间段的六分之一内生成的小波系数。

在该点处，在根据本发明的实施例的方法中，与上文描述的小波系数方案相比，(暂时)存储MxN个小波系数。因此随后进行另外的小波系数选择过程。为了从M个系数列表选择总共P个系数，单个阈值首先应用于这些系数列表的每个。舍弃具有低于阈值的量值的任何系数。阈值可以依赖数据类型和应用设置为预定值，或在其他实施例中可以设置为数据集的均方根值的百分比(即，与信号的功率水平有关)。然后通过从M个分类的系数列表重复选择最高的Q个(Q＜P)未选系数来选择期望的P个最终系数。图3a-3d图示对于P＝8和Q＝2的P个系数选择操作。参照图3a，图示六个系数列表，其代表记录的扫描的六个时窗。每个系数列表包括在已经完成初始阈值步骤后对于该特定时窗的十六个最高小波系数。为了选择期望的P个系数的前两个(Q)，比较来自每个窗口的最高未选择系数来确定这两个最高的未选择系数。图3b示出作为现在正被选择的这两个最高未选择系数以及下一个比较过程(如由带箭头的线指示的)正通过再次比较来自M个窗口的每个的最高未选择系数而进行。图3c和3d图示该过程的随后的迭代使得在图3d处已经选择六个另外的系数并且进行最终比较过程来确定最终两个系数。

尽管上文描述的示例具有对于M、P&Q的值M＝6、P＝8&Q＝2，将意识到这些值在实际实现中可能不适合。对于具有1024个样本的超声数据扫描的可能的值可以是M＝8、P＝128并且Q＝4，其中存储并且对于每个窗口分类的系数的数量相应地增加至例如每窗口64个。

该系数选择过程的净效益是具有低绝对值的小波系数(即由弱的缺陷信号引起的那些)更有可能被包括在最终的小波系数选择中，从而确保那些弱的缺陷没有有利于较强特征信号而被不可取地忽略。这部分是由于将每个扫描分为多个窗口的结果，因为在整个扫描中将反而被看作弱特征的对象可在单个窗口的背景内变得更显著。

存在定位感兴趣的特征使得当扫描被分为M个窗口时特征位于相邻窗口之间的边界上的可能性。也就是说，生成的代表感兴趣特征的小波系数在独立的窗口之间拆分。取决于相对于相同窗口中的其他系数的值的与特征关联的系数的值，这可导致与特征的关联的系数没有被选择(在选择它们可能是可取时)。在本发明的一些另外的实施例中，这通过对于窗口设置成具有时间重叠使得由位于该重叠期间内的特征生成的那些系数将分配给两个在时间上相邻的窗口(即相同的系数在独立的窗口将出现两次)而解决。这增加了所有与特定特征关联的系数将被包括在窗口中的至少一个中的可能性。

本发明的时窗小波系数选择可以使用如参照图2a和2b描述的M+1个最高N个小波系数选择模块来实现，其中一个模块用于将对于每个时窗的系数分类并且另外的模块用于在每个迭代处选择最高的Q个系数。本发明的时窗小波系数选择程序所需要的资源因此是同等的最高N个小波系数选择方案的M+1倍，但所得的所选小波系数构成对于强和弱缺陷/特征的更好的系数分配平衡。

Claims (12)

1.一种数据压缩的方法，其包括：

将顺序接收-生成的数据系数的流分为多个数据系数集，每个数据系数集代表一时间段，并且对于每个集，选择具有最大量值的N个数据系数，并且根据所述N个数据系数的量值排序所述N个数据系数；

对于每N个排序的数据系数，选择具有大于阈值的量值的数据系数的子集；

将来自每个子集的具有最大量值的数据系数互相比较并且选择最大的Q个数据系数；

除先前选择的Q个数据系数外重复先前的比较步骤直到已经选择总共P个数据系数，其中N＞P＞Q。

2.如权利要求1所述的数据压缩的方法，其中所述阈值是预定值。

3.如权利要求1所述的数据压缩的方法，其中所述阈值是所述数据系数的均方根值的百分比。

4.如权利要求1-3中任一项所述的数据压缩的方法，其中代表顺序时间段的任意两个数据系数集能具有多个共同的数据系数，每个集中的共同的系数代表所述时间段的重叠部分。

5.如权利要求1-4中任一项所述的数据压缩的方法，其中所述数据系数包括小波系数。

6.如权利要求5所述的数据压缩的方法，其中所述小波系数通过对数字数据流进行离散小波变换而生成。

7.如权利要求6所述的数据压缩的方法，其中所述数字数据流从一个或多个电磁传感器的输出导出。

8.如权利要求7所述的数据压缩的方法，其中所述电磁传感器包括超声或磁传感器。

9.如权利要求7或8所述的数据压缩的方法，其中所述数字数据流由具有所述传感器中的一个或多个的管道检测工具生成。

10.一种计算机程序，其包括当由计算机执行时使所述计算机进行如权利要求1-8中任一项的方法的计算机可执行指令。

11.一种用于进行数据压缩的设备，其包括设置成进行如权利要求1-9中任一项的方法的数据处理器。

12.一种管道检测工具，其包括设置成生成数字数据流的至少一个电磁传感器组件、设置成接收所述数字数据流并且输出数据系数流的系数模块，以及设置成进行如权利要求1-9中任一项的数据压缩方法的数据处理器。

Images