CN103343885A - 管道漏磁检测在线数据压缩方法 - Google Patents

Abstract

一种管道漏磁检测在线数据压缩方法，主要用于管道漏磁在线检测中海量数据的压缩，属于信号处理领域。包括如下基本步骤：（1）将检测到的漏磁信号数据分割成大小相同的数据段；（2）利用平均绝对偏差统计量判断每一数据段中是否含有管道缺陷信息，只存储含有缺陷信息的数据段；（3）如果多个数据段中包含有大量冗余信号数据，就对其进行主成分分析，只存储少数前几个主成分；（4）对经过前两个阶段压缩后的每一个数据段中的每一路检测信号进行整数提升小波分解，并对分解后产生的小波系数进行阀值化处理，再对处理后的小波系数进行自适应编码，最后只存储相应编码后的比特流数据。因此该发明方法的应用能够实现对管道漏磁检测在线数据的高效压缩。

Description

管道漏磁检测在线数据压缩方法

技术领域

本发明涉及一种管道漏磁检测在线数据压缩方法，采用多种技术分三阶段实现对管道漏磁检测海量数据进行有效压缩，以降低对管道检测器数据存储容量的要求，属于信号处理领域。

背景技术

管道作为能源运输的主要方式，随着对能源需求的不断扩大，长距离油气管道的建设仍在加速发展。我国目前在用管道中的70%以上已经运行接近或超过了20年，这些管道在多年的使用中，由于腐蚀、磨损、机械损伤等原因会形成各种缺陷。由于管道长时间工作在高压下，这些缺陷如不及时发现修理，将最终导致管道泄漏事故，造成重大的经济损失甚至人员伤亡，因此管道安全已经成为关系国计民生的重大问题。

在管道安全工程中，管道检测是保证管道安全的基本方法，只有通过管道检测，准确了解管道状况，才能及早采取有效措施，避免管道事故的发生，并延长管道的使用寿命。

目前管道检测的技术主要有射线检测法、涡流检测法、超声检测法和漏磁检测法，其中前两种检测方法属于管道外检测技术，无法对地下埋设管道进行在线检测。由于超声检测技术对检测环境及运行条件具有严格的要求，通常在原油输送管道的检测中其精度受到较大的影响，很少应用于这类检测中，相比而言，漏磁检测技术对检测环境具有良好的适应性，特别是对于管道腐蚀等常见的管道缺陷具有良好的检测效果，是目前应用广泛和成熟的铁磁管道缺陷的在线检测技术。

目前我国自主研发的管道漏磁检测器如中国石油天然气管道局管道技术公司研制的一款Φ660mm的高分辨率的管道检测器，有200个传感器，采样距离为3.5mm，数据采样率为90kB/s，每百公里的检测数据量为8.52GB。国外同类产品，可配置300个传感器，最大检测距离为800公里，采样距离为2mm，一次检测中将采集的数据量高达120GB。然而成功检测出管道缺陷信息的关键在于能够获得高质量的漏磁信号数据，但高质量的信号数据对应需要检测器具有更高分辨率和采样率，这样同时就成倍增加了采集的数据量，然而在实际应用中，管道检测器所携带的存储设备的容量是有限度的。因此为了满足管道检测对高精度和海量检测数据存储的要求，设计一种有效的管道漏磁检测在线数据压缩方法具有重要的工程实际意义。

发明内容

本发明的目的在于提供一种管道漏磁检测在线数据压缩方法。

1.本发明的技术方案如下：一种管道漏磁检测在线数据压缩方法，其特征在于该方法包括如下步骤：

（1）采用固定宽度的窗口将漏磁信号分割成相同大小的数据段；

（2）对分割后的每一段数据首先进行统计分析，确定该数据段中是否含有缺陷信息，若有，则保留（存储）该数据段，否则不存储该数据段，从而实现第一阶段信号压缩的目的；

（3）若保留的数据段中含有大量的缺陷信息，则对这些数据段进行主成分分析，只保留反映原始数据98%以上信息的前几个主成分数据，以此实现第二阶段信号压缩的目的；

（4）对每一个数据段中的每一路信号进行整数提升小波分解，采用硬阀值法对分解后的小波系数进行阀值化处理，并对经阀值化处理后的小波系数采用自适应算术编码，只存储编码后的比特流数据，从而实现第三阶段信号的压缩目的，最终实现对在线检测漏磁信号的三阶段压缩，有效降低漏磁检测过程中对信息存储容量的要求。

2.根据权利要求1所述的管道漏磁检测在线数据压缩方法，其特征在于：所述的固定宽度窗口主要是将在线检测的漏磁信号进行分割，以便进行后续三阶段压缩算法的实施，其窗口宽度值主要根据管线检测器的参数来设定。

3.根据权利要求1所述的管道漏磁检测在线数据压缩方法，其特征在于：首先对每一数据段中的信号数据进行平均绝对偏差统计分析，并根据实验数据分析指定合适的阀值，当该数据段的统计平均绝对偏差值大于该指定阀值时，表明该数据段中包含有管道缺陷信息，则应存储该数据段的信号数据，用于后续的缺陷分析所用，否则将不保留该数据段的信号数据。当多个数据段中的大部分传感器都检测到缺陷信号时，则表明该处可能出现连续性的异常情况（焊缝、阀门、大面积腐蚀等），这些信息中往往存在严重的冗余现象，故可以通过主成分分析方法（PCA）对这些数据段进行分析，并提取出能够反映原始数据98%以上信息量的少数前几个主成分，存储这几个主成分和相应的载荷矩阵（变换系数矩阵—用于重构出原始信号的矩阵），从而有效的减少了冗余数据的存储量。最后对每一个经过上述处理后的数据段中的每一路漏磁检测信号进行整数提升小波分解，并通过计算预设合适的压缩阀值，当该路信号经过整数提升小波分解后，将大于该阀值的小波系数存储，否则将相关的小波系数置为0，再对这些经过量化后的小波系数进行自适应算术编码，故最后只需保留这些编码后输出的比特流数据，实现了进一步对该段漏磁信号进行压缩的目的。通过该方法对检测漏磁信号实施三阶段压缩后，能够实现较大的数据压缩率，从而降低了对管道检测器存储容量的需求。本发明建立的管道漏磁检测在线数据压缩方法，经过试验表明具有计算复杂度低、压缩率高、有效漏磁信号重构误差小的特点。

附图说明

图1是管道漏磁检测在线数据压缩方法流程图。

具体实施方式

下面结合附图对管道漏磁检测在线数据压缩方法的具体实施方式进行详细介绍：

本发明中的管道漏磁检测在线数据压缩方法，主要涉及对采集到的漏磁信号分三阶段进行数据压缩，其实施过程的流程如图1所示。

第一阶段：漏磁信号缺陷特征识别

通常在实际应用中所采集到的漏磁信号都包含有一定程度的噪声水平，为了区分采集到的漏磁信号中的噪声信息和缺陷对应的有用信息，采用平均绝对偏差（Mean AbsoluteDeviation）统计量对采集到的漏磁信号进行评价，其步骤如下：

（1）采用固定宽度的窗口将漏磁信号分割成等长度的数据段（集），并计算每一数据段的平均绝对偏差统计量的值；

（2）如果计算得到的平均绝对偏差值小于预先设定的阀值，则不存储该数据段；

（3）否则将该数据段及其相应的位置信息一起存储下来，便于后续进一步进行数据压缩。

其中对于漏磁信号进行分段的大小（固定窗口的宽度）也即表示每一个分段中信号的采样数，一般需要根据所采用的特定管道检测器的参数不同而需通过相关的试验来确定，下面给出选择该数据段大小的原则。

由于漏磁信号缺陷特征识别算法的有效性依赖于每一数据段中特征采样数据量与该数据段中包含的总采样数据量的比值。对于相同缺陷特征，当该比值减小时，（即数据段的大小增大时），该数据段中所包含的特征量被识别的概率就会减小，因为随着该数据段中数据的增加，则其中所含的噪声信息就相应的增多，从而这些大量存在的噪声将会淹没掉该数据段中的缺陷信息特征量，即对该数据段进行平均绝对偏差统计量计算时，其值可能小于系统预设的阀值，从而误判为该数据段中不含有缺陷信息而将该数据段丢弃，从而造成对管道缺陷的漏检情况，这在应用中应尽量避免。但较大的数据段可以为处理器在压缩当前数据段与获取下一采样数据段之间提供充足的时间间隔，因而能够保证有效的实现在线数据压缩处理。为了确定该方法中分割数据段的大小，可以考虑相应的特殊情况，即最小的数据段大小应以能够检测出最小的缺陷特征为标准。但越小的数据段，相应的就增加了管道检测器中处理器的处理数据量，有可能导致不能完成在线数据压缩处理。因此该方法中分割数据段的大小确定需要在上述的矛盾中寻找一个平衡点，通过实验数据统计分析发现，分割数据段的大小可以取为覆盖最小缺陷特征所需的采样数的2-3倍大小。

该方法中预先设定的阀值是作为噪声数据段和缺陷有效信息数据段之间的区分标准，由于在应用中所检测的管道材料、所使用的检测器型号差异等，故不能通过相关理论计算出该阀值的大小，一般也只能通过具体应用情况下的试验数据分析得到。主要是通过对具体检测应用中的噪声数据段和缺陷有效信息数据段的平均绝对偏差值进行统计计算，从而确定一个能够区分该噪声数据段和缺陷有效信息数据段的平均绝对偏差值作为该方法中的预设阀值。

第二阶段：采用主成分分析法进行多变量压缩

一般管道缺陷相对于管道整个表面而言较小，因而能够检测到这些缺陷的传感器数量也较少，其相应的缺陷特征数据在分割数据段中所占的比例较小，其信息的冗余度较低。只有检测到大面积的缺陷或者是焊缝等特征时，则会有大部分或者是全部的传感器都会输出相应的特征信号数据，这些相同的特征可能同时存在于连续的多个数据段中，从而造成了这些信息的冗余度增大，故可以采用主成分分析方法，对这些含有相同特征的数据段（集）进行主成分提取，只保留代表原始信息98%以上的少数前几个主成分，从而实现了对含大量相同特征的信息进行压缩的目的。其步骤如下：

（1）对多个传感器检测量x₁，x₂，…，x_n进行中心化处理；

（2）由上述经中心化处理后的多个变量组成样本协方差矩阵；

（3）对上述组成的协方差矩阵进行特征值分解计算，得到相应的主成分；

（4）保留前几个主成分及其对应的载荷矩阵。

通过实验数据分析，一般选择前五个主成分就能代表原始数据98%的信息量，故当较大特征被检测到时，就能通过对这些冗余度较高的数据段进行主成分分析，只保留前五个主成分分量及其对应的载荷矩阵，从而实现了对这些数据段（集）进行较大压缩率的目的。但当特征数据量较小时，则不必对这些数据段进行主成分分析，因为并不能达到对数据进行有效压缩的目的，反而会增加处理器的计算时间。故可根据具体应用下的实验数据统计分析，确定是否进行主成分分析的相应阀值。

第三阶段：利用整数提升小波变换和编码技术进行单变量压缩

小波变换作为一种有效的数据压缩方法，而整数提升小波变换作为第二代小波变换，其特点是所有的运算都在空间域进行，从而摆脱了对频域的依赖。由于变换过程中不依赖傅立叶分析，故容易实现快速计算，同时可实现原位运算，整个过程无需辅助存储单元，从而也能节约存储空间。对于每一路含有噪声的漏磁信号，主要通过对该路信号进行整数提升小波分解后的小波系数进行阀值化处理，即将分解后产生的小于压缩阀值的小波系数置为0，只保留大于压缩阀值的小波系数，并对保留的这些小波系数进行自适应算术编码，只存储编码后的比特流数据，从而既达到了信号去噪的目的，同时也实现了对信号进行压缩的目的。其压缩阀值t采用硬阀值法，其计算公式为：

$t\≈\frac{\mathrm{median}\left|\right|d_i\left|\right|}{0.6745}\sqrt{2\ln \left(N\right)}$

其中d_i表示第一层的细节分解系数；N表示分解信号的长度。

其实施步骤如下：

（1）计算经前两个压缩阶段后保留下来的数据段的相应压缩阀值；

（2）对该数据段中每一路信号采用Daubechies小波进行四层提升小波分解，并采用硬阀值法对小波系数进行阀值化处理，即将小于压缩阀值的小波系数置为0；

（3）对经阀值量化处理后的提升小波分解系数进行自适应算术编码，存储相应编码后的比特流数据。

通过对在线检测到的漏磁信号进行上述三阶段压缩后，可以实现较高的数据压缩率，从而能够有效满足管道检测器在应用中对于海量数据存储的要求，同时可以进一步提高管道检测器的检测数据质量和增加管线检测的长度。

Claims (3)

1.一种管道漏磁检测在线数据压缩方法，其特征在于该方法包括如下步骤：

（1）采用固定宽度的窗口将漏磁信号分割成相同大小的数据段；

（2）对分割后的每一数据段首先进行统计分析，确定该数据段中是否含有缺陷信息，若有，则保留（存储）该数据段，否则不存储该数据段，从而实现第一阶段信号压缩的目的；

（3）若保留的数据段中含有大量的缺陷信息时，则对这些数据段进行主成分分析，只保留反映原始数据98%以上信息的前几个主成分数据，从而实现第二阶段信号压缩的目的；

（4）对前两个阶段压缩后保留的每一个数据段中的每一路检测信号进行整数提升小波分解，采用硬阀值法对分解后的小波系数进行阀值化处理，并对经阀值化处理后的小波系数采用自适应算术编码，只存储编码后的比特流数据，实现第三阶段信号压缩的目的，最终完成对漏磁信号的三阶段压缩，从而有效减小了漏磁检测过程中对数据存储容量的需求。

2.根据权利要求1所述的管道漏磁检测在线数据压缩方法，其特征在于：所述的固定宽度窗口主要是将在线检测的漏磁信号进行分割，以便进行后续三阶段压缩算法的实施，其窗口宽度值的大小主要根据管线检测器的参数来设定。

3.根据权利要求1所述的管道漏磁检测在线数据压缩方法，其特征在于：首先对每一数据段中的信号数据进行平均绝对偏差统计量计算，并根据实验数据分析结果指定合适的阀值，当该数据段的统计平均绝对偏差值大于该指定阀值时，表明该数据段中包含有管道缺陷信息，则应存储该数据段的信号数据，用于后续的缺陷分析所用，否则将不保留该数据段的信号数据；当多个数据段中的大部分传感器都检测到缺陷信号时，则表明该处可能出现连续性的异常情况（焊缝、阀门、大面积腐蚀等），这些信息中往往存在严重的冗余现象，故可以通过主成分分析方法（PCA）对这些数据段进行分析，并提取出能够反映原始数据98%以上信息量的少数前几个主成分，存储这几个主成分和相应的载荷矩阵（变换系数矩阵—用于重构出原始信号），从而有效减少对冗余数据的存储量；最后对每一个经过前两个压缩阶段处理后的数据段中的每一路检测信号再进行整数提升小波分解，并通过计算预设合适的压缩阀值，当该路信号经整数提升小波分解后，将大于该压缩阀值的小波系数存储，否则将相关的小波系数置为0，并对经过阀值量化处理后的小波系数进行自适应算术编码，最后只保留经过编码后输出的比特流数据，则进一步压缩了检测漏磁信号，从而实现了对管道漏磁检测在线数据的三阶段压缩。

Images