CN109212018B - 一种基于压缩感知的管道漏磁数据分级压缩方法 - Google Patents

一种基于压缩感知的管道漏磁数据分级压缩方法 Download PDF

Info

Publication number
CN109212018B
CN109212018B CN201811092531.2A CN201811092531A CN109212018B CN 109212018 B CN109212018 B CN 109212018B CN 201811092531 A CN201811092531 A CN 201811092531A CN 109212018 B CN109212018 B CN 109212018B
Authority
CN
China
Prior art keywords
data
leakage
magnetic
compressed
pipeline
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811092531.2A
Other languages
English (en)
Other versions
CN109212018A (zh
Inventor
冯健
张永政
刘金海
张化光
汪刚
马大中
卢森骧
黄方佑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN201811092531.2A priority Critical patent/CN109212018B/zh
Publication of CN109212018A publication Critical patent/CN109212018A/zh
Application granted granted Critical
Publication of CN109212018B publication Critical patent/CN109212018B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N27/00Investigating or analysing materials by the use of electric, electrochemical, or magnetic means
    • G01N27/72Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating magnetic variables
    • G01N27/82Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating magnetic variables for investigating the presence of flaws
    • G01N27/83Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating magnetic variables for investigating the presence of flaws by investigating stray magnetic fields
    • G01N27/85Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating magnetic variables for investigating the presence of flaws by investigating stray magnetic fields using magnetographic methods
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F17STORING OR DISTRIBUTING GASES OR LIQUIDS
    • F17DPIPE-LINE SYSTEMS; PIPE-LINES
    • F17D5/00Protection or supervision of installations
    • F17D5/02Preventing, monitoring, or locating loss

Abstract

本发明提供一种基于压缩感知的管道漏磁数据分级压缩方法,涉及管道无损检测和信号处理领域。本发明所述方法包括下述步骤:步骤1.对管道漏磁数据进行滤波等预处理;步骤2.依据基础分级阈值的不同对待分级管段的漏磁数据进行分级;步骤3.对不同级别的漏磁数据构造相对应的稀疏变换基;步骤4.对不同级别和大小的漏磁数据构造相对应的观测矩阵,对漏磁数据进行稀疏采集,得到观测值;步骤5.利用正交匹配追踪算法对观测值进行重构,得到重构的管道漏磁数据。本发明解决了现有技术中压缩时间长、压缩比例低以及压缩后数据缺陷信息容易有较多缺失的技术问题,保证了对管道漏磁数据最大化压缩的同时,完整地保留漏磁数据中的各种缺陷信息。

Description

一种基于压缩感知的管道漏磁数据分级压缩方法
技术领域
本发明涉及管道无损检测和信号处理领域,特别是涉及一种基于压缩感知的管道漏磁数据压缩方法。
背景技术
海底管道工作在十分恶劣的海底环境中,容易受到腐蚀等复杂因素的侵蚀,一旦发生泄漏,将造成十分严重的后果。
在海底管道的缺陷检测,一次检测的距离往往特别长,记录的数据量特别大,并且为了获得更高的检测精度,布置的传感器数量也越来越多,不再只检测单一的轴向或径向数据,而是对管道进行全方位的三维漏磁信号检测。特别是一些大口径管道,数据量成倍增长。而管道内的空间是有限的,管道内检测器的存储部分获得的空间更是有限。采集的数据若完整的存储下来,一是对内检测器的硬件配置的存储容量要求特别高,二是后期检测处理时,数据量大,数据预处理及缺陷检测的速度下降,三是显示管道漏磁数据时,显示速度慢,影响操作的流畅性。
实际采集到的管道漏磁检测数据具有以下特点:大部分区域都是没有缺陷的,除了管段连接处的焊缝外,其他部分漏磁信号十分平缓且幅值较小,将这部分称为非重要区域,可以进行较大比例的压缩;一些有缺陷的部分以及包含较多组件如阀门、弯头、法兰、三通等的部分,漏磁信号的幅值增大且变化较快,包含一些重要的缺陷数据特征,如峰-峰值、峰-谷值等,将这部分称为重要区域,需要减小压缩的比例,尽可能地保留缺陷漏磁数据的所有信息。综上,将管道漏磁检测数据依据重要程度的不同来划分等级,再将对应的不同等级数据采取不同的压缩比例进行压缩,实现对管道漏磁数据的分级压缩,既能解决管道漏磁数据压缩的问题,同时又不会影响管道缺陷部分的检测。
压缩感知理论,利用信号数据的稀疏特性,在远小于Nyquist采样率的条件下,用随机采样获取信号的离散样本,接着非线性重建信号数据,实现了用较少的数据最大限度的还原了信息,实现了数据量的减少而数据信息的完整。将压缩感知理论应用于管道漏磁检测的数据压缩中来,结合管道漏磁数据的特点,对部分管道漏磁检测的数据进行低频率的采样,实现数据量的压缩,同时保证不改变原始漏磁信号的重要特征值,不影响管道缺陷的检测。
发明内容
针对上述现有的压缩方法中存在的耗费时间长、压缩比例低以及压缩后的数据缺陷信息容易有较多缺失的技术问题,本发明提供一种基于压缩感知的管道漏磁数据分级压缩方法,实现管道漏磁数据的自适应压缩,通过对管道漏磁数据的合理压缩来提高管道漏磁缺陷检测系统的数据采集存储速度、缺陷检测速度以及漏磁数据显示速度,保证了在完成对漏磁数据最大化压缩的同时,完整地保留漏磁数据中的各种缺陷信息。
本发明的技术方案为:
一种基于压缩感知的管道漏磁数据分级压缩方法,其特征在于,包括下述步骤:
步骤1:漏磁数据的预处理:实时采集管道原始漏磁数据H0;设计低通滤波器,去除原始漏磁数据H0中的高频干扰;去除原始漏磁数据H0中的异常数据,对缺失数据进行插补;对原始漏磁数据H0进行归一化处理,得到预处理后的漏磁数据H;
步骤2:漏磁数据的分级处理:实时采集预处理后的漏磁数据H,根据两个焊缝之间管段的长度确定每次分级计算时读取的漏磁数据长度,得到固定长度的待分级的漏磁数据f;对待分级的漏磁数据f进行基础分级阈值的计算,依据基础分级阈值的不同对待分级的漏磁数据f进行分级;对各管段内的漏磁数据均进行级别评定,得到分级后的漏磁数据HF
步骤3:稀疏变换基的构造:实时采集分级后的漏磁数据HF,按照管道里程顺序,每次读取连着的同一级别的漏磁数据构成待压缩数据Hr;依据待压缩数据Hr的等级的不同,构造与等级相对应的稀疏变换基ψ,使待压缩数据Hr具有相应等级的稀疏性;
步骤4:漏磁数据的稀疏采集:构造与待压缩数据Hr的级别和大小相对应的观测矩阵φ,对待压缩数据Hr进行稀疏采集,得到观测值Yr;依次对所述漏磁数据H中与所述待压缩数据Hr临近的下一级别的一段数据进行稀疏采集,最终得到所述漏磁数据H的观测值Y;
步骤5:漏磁数据的重构:利用正交匹配追踪算法,对漏磁数据H的观测值Y进行重构,最终得到重构的管道漏磁数据。
所述步骤2包括下述步骤:
步骤2.1:读取待分级数据:实时采集预处理后的漏磁数据H,确定每次分级计算时读取的漏磁数据长度为两个焊缝之间管段长度的γ倍,得到l段固定长度的待分级的漏磁数据
Figure GDA0003613698660000031
所述待分级的漏磁数据f的每一行对应一个传感器通道的n个数据,环绕管道一周有m个传感器;其中,γ取1.3~1.8,H=[H1,...,Hl],f=Hk,k=1,2,…,l;
步骤2.2:计算基础分级阈值:所述待分级的漏磁数据f的第i行的平均值为
Figure GDA0003613698660000032
中位数为
Figure GDA0003613698660000033
基础分级阈值为
Figure GDA0003613698660000034
其中,i=1,2,…,m,α为偏差系数,取0.2~0.4;
步骤2.3:评定待分级数据每一个元素的级别:依据管道漏磁数据的特点将待分级的漏磁数据f分为d个等级,其中,d=5;依据所述待分级的漏磁数据f的第i行的基础分级阈值
Figure GDA0003613698660000035
的大小来评定待分级的漏磁数据f的第i行第j列元素的级别Fij
Figure GDA0003613698660000036
时,漏磁数据最为平缓,评定为一级,Fij=1;
Figure GDA0003613698660000037
时,漏磁数据有轻微抖动,评定为二级,Fij=2;
Figure GDA0003613698660000038
时,漏磁数据对应微小缺陷和大缺陷的谷部区域,评定为三级,Fij=3;
Figure GDA0003613698660000041
时,漏磁数据对应为较大缺陷的峰部区域和焊缝,评定为四级,Fij=4;
Figure GDA0003613698660000042
时,漏磁数据对应为金属增加和金属缺失的异常情况,评定为五级,Fij=5;
步骤2.4:评定待分级数据每一列的级别:依据所述待分级的漏磁数据f的第j列的级别数据[F1j,...,Fmj]T来评定所述待分级的漏磁数据f的第j列的级别:该列级别数据对应一个管道圆环,选取该列最高的级别作为该管道圆环的级别,也即待分级的漏磁数据f的第j列的级别Fj=max{F1j,...,Fmj};重复上述步骤,继续评定其他列的级别,最终得到第k段管道分级后的漏磁数据
Figure GDA0003613698660000043
其中,HkF的第一行的每个元素对应每列漏磁数据的级别;
步骤2.5:重复上述步骤2.2、2.3和2.4,继续评定下一个待分级管段内漏磁数据的级别,直到数据读取结束,最终得到整个管道分级后的漏磁数据HF=[H1F,...,HkF,...,HlF]。
所述步骤3包括下述步骤:
步骤3.1:读取待压缩数据:实时采集分级后的漏磁数据HF,按照管道里程顺序,从起始端开始,每次读取连着的同一级别的漏磁数据
Figure GDA0003613698660000044
所述同一级别的漏磁数据HrF中的
Figure GDA0003613698660000045
即为待压缩数据,所述待压缩数据Hr的每一列数据的级别相同且为F;按照上述规则,所述漏磁数据H被分为R段,所述待压缩数据Hr为所述漏磁数据H的第r段数据;其中,N为该段待压缩数据Hr的列数,也即该段待压缩数据Hr的大小;
步骤3.2:确定稀疏性:确定待压缩数据Hr经过变换后的稀疏性K=N*F*β;其中,β为基础压缩系数,取0.04~0.06;
步骤3.3:确定稀疏变换基:构造与待压缩数据Hr的级别F相对应的稀疏变换基ψ,使得级别高的数据少量压缩,级别低的数据大量压缩:
当F=1或2时,采用离散余弦变换(DCT),其变换公式为
Figure GDA0003613698660000051
Figure GDA0003613698660000052
其中,k=1,2,...,N-1,
写为矩阵形式为
Figure GDA0003613698660000053
当F=3或4或5时,采用离散傅里叶变换(DFT),其变换公式为
Figure GDA0003613698660000054
其中,n,k=0,1,...,N-1,WN=e-j2π/N
写为矩阵形式为
Figure GDA0003613698660000061
所述步骤4包括下述步骤:
步骤4.1:确定观测值的个数M=cKlog(N/K),其中,c=0.16;
步骤4.2:构造与待压缩数据Hr的级别和大小相对应的观测矩阵φ,所述观测矩阵φ为M×N大小的随机高斯测量矩阵,即
Figure GDA0003613698660000062
其中的每个元素都服从均值为0、方差为1/M的高斯分布;
步骤4.3:对待压缩数据Hr的第i行数据hi=[xi1,xi2,...,xiN]进行稀疏采集,得到M个观测值,记为yi,其中,yi T=φhi T,i=1,2,...,m;
步骤4.4:重复上述步骤4.3,依次对所述待压缩数据Hr其他各行的数据进行稀疏采集,得到所述待压缩数据Hr的观测值Yr=[y1;y2;...;yi;...;ym];
步骤4.5:重复上述步骤4.1、4.2、4.3和4.4,对所述漏磁数据H中与所述待压缩数据Hr临近的下一级别的一段漏磁数据进行稀疏采集,直到所述步骤3中的数据读取结束,最终得到所述漏磁数据H的观测值Y=[Y1,...,Yr,...,YR],再对Y进行传输与存储。
所述步骤5包括下述步骤:
步骤5.1:从数据起始端开始,实时读取所述漏磁数据H的观测值Y=[Y1,...,Yr,...,YR]中的Yr
步骤5.2:利用所述步骤3.3得到的稀疏变换基ψ和所述步骤4.2得到的观测矩阵φ,由yiT=φhi T=φψθi=Aθi,利用正交匹配追踪算法,依次对所述Yr的每一行数据yi进行重构;其中,A为传感矩阵,θi
Figure GDA0003613698660000063
在稀疏变换基ψ下的稀疏表示系数,θi是K稀疏的;
步骤5.3:重复上述步骤5.1和5.2,对所述观测值Y中与所述Yr临近的下一级别的一段观测值进行重构,直到r=R,最终得到重构的管道漏磁数据。
本发明的有益效果为:
第一,本发明采用自适应分级方法,根据实时管道漏磁数据的信息特征自动更新漏磁数据的划分等级,提高了分级的准确性,最终提高了压缩比例;
第二,本发明针对不同等级的数据采用不同的压缩方式,使得管道漏磁数据中的特征信息得到了较好的保留;
第三,本发明不涉及复杂的运算过程,运行速度快,减少了压缩时间。
附图说明
图1为本发明的基于压缩感知的管道漏磁数据分级压缩方法的流程图;
图2为本发明的管道漏磁数据分级流程图;
图3为本发明的管道漏磁数据压缩感知流程图;
图4为本发明的一个实施例的管道漏磁数据压缩前后效果对比图。
具体实施方式
下面将结合附图和实施例,对本发明作进一步描述。
本发明的目的是提供一种基于压缩感知的管道漏磁数据分级压缩方法,实现管道漏磁数据的自适应压缩,通过对管道漏磁数据的合理压缩来提高管道漏磁缺陷检测系统的数据采集存储速度、缺陷检测速度以及漏磁数据显示速度,保证了在完成对漏磁数据最大化压缩的同时,完整地保留漏磁数据中的各种缺陷信息。
如图1所示,为本发明的基于压缩感知的管道漏磁数据分级压缩方法的流程图。本发明首先对原始漏磁数据进行滤波降噪等预处理,然后对漏磁数据进行评定分级,接着对相应级别数据进行稀疏采样,对数据进行传输存储后,对相应级别数据进行重构,最终得到压缩后的数据。
本发明的基于压缩感知的管道漏磁数据分级压缩方法,具体如下:
步骤1:漏磁数据的预处理
实时采集的原始管道漏磁数据需要进行滤波等预处理,以去掉多余的噪声及异常数据,使得预处理后的漏磁数据仍保持原始漏磁数据的信息特征,防止异常数据对漏磁数据的后续分级处理造成干扰。
预处理的具体步骤如下:
步骤1.1:实时采集管道原始漏磁数据H0
步骤1.2:设计低通滤波器,首先使用FFT滤波,去除原始漏磁数据H0中的高频干扰;然后使用平滑均值滤波,使原始漏磁数据H0更加平滑;
步骤1.3:去除原始漏磁数据H0中达到传感器极值的异常数据;对数据缺失的部分以及数据异常的部分,参考临近通道的数值,采用三次样条法进行数据的插补处理;
步骤1.4:对原始漏磁数据H0进行归一化处理,消除不同传感器通道之间的差异对漏磁数据的后续分级处理的影响,得到预处理后的漏磁数据H。
步骤2:漏磁数据的分级处理
管道漏磁数据经过预处理后,需要对其进行级别的评定。如果采用固定阈值的方法进行分级,会导致等级分布过于集中、范围覆盖不够全面等问题。而本发明采用自适应分级方法,根据实时管道漏磁数据的信息特征自动更新漏磁数据的划分等级。
如图2所示,为本发明的管道漏磁数据分级流程图。分级处理的具体步骤如下:
步骤2.1:读取待分级数据:实时采集预处理后的漏磁数据H,确定每次分级计算时读取的漏磁数据长度为两个焊缝之间管段长度的γ倍,得到l段固定长度的待分级的漏磁数据
Figure GDA0003613698660000081
所述待分级的漏磁数据f的每一行对应一个传感器通道的n个数据,环绕管道一周有m个传感器;其中,γ一般为1.3~1.8,这里取1.5,H=[H1,…,Hl],f=Hk,k=1,2,…,l;
步骤2.2:计算基础分级阈值:所述待分级的漏磁数据f的第i行的平均值为
Figure GDA0003613698660000082
中位数为
Figure GDA0003613698660000083
基础分级阈值为
Figure GDA0003613698660000091
其中,i=1,2,…,m,α为偏差系数,一般为0.2~0.4,这里取0.3;
步骤2.3:评定待分级数据每一个元素的级别:依据管道漏磁数据的特点将待分级的漏磁数据f分为d个等级,其中,d=5;依据所述待分级的漏磁数据f的第i行的基础分级阈值
Figure GDA0003613698660000092
的大小来评定待分级的漏磁数据f的第i行第j列元素的级别Fij
Figure GDA0003613698660000093
时,漏磁数据最为平缓,评定为一级,Fij=1;
Figure GDA0003613698660000094
时,漏磁数据有轻微抖动,评定为二级,Fij=2;
Figure GDA0003613698660000095
时,漏磁数据对应微小缺陷和大缺陷的谷部区域,评定为三级,Fij=3;
Figure GDA0003613698660000096
时,漏磁数据对应为较大缺陷的峰部区域和焊缝,评定为四级,Fij=4;
Figure GDA0003613698660000097
时,漏磁数据对应为金属增加和金属缺失的异常情况,评定为五级,Fij=5;
步骤2.4:评定待分级数据每一列的级别:依据所述待分级的漏磁数据f的第j列的级别数据[F1j,…,Fmj]T来评定所述待分级的漏磁数据f的第j列的级别:该列级别数据对应一个管道圆环,选取该列最高的级别作为该管道圆环的级别,也即待分级的漏磁数据f的第j列的级别Fj=max{F1j,...,Fmj};重复上述步骤,继续评定其他列的级别,最终得到该第k段管道分级后的漏磁数据
Figure GDA0003613698660000098
其中,HkF的第一行的每个元素对应每列漏磁数据的级别;
步骤2.5:重复上述步骤2.2、2.3和2.4,继续评定下一个待分级管段内漏磁数据的级别,直到数据读取结束,最终得到整个管道分级后的漏磁数据HF=[H1F,…,HkF,...,HlF]。
分级后的管道漏磁数据中,不同等级的漏磁数据长短大小不一,主要由管道漏磁数据自身的特征决定,缺陷、组件多的重要部分相应高级别的数据就多,管道平缓的部分则大多是较低级别的数据。
管道漏磁数据通常经过采集、压缩、传输、解压缩等过程,其中,在采集完数据之后要压缩掉其中无用的冗余数据,莫不如在采集的过程中直接只采集非冗余的数据。本发明通过对管道漏磁数据的上述分析,判断了管道漏磁数据的重要程度,并对不同重要程度的不同部位的管道进行了相应的分级标记;之后,再采用压缩感知的方法,对不同重要程度的漏磁数据采用相应级别的稀疏变换基进行动态压缩,对漏磁数据进行最大限度的压缩,同时又不减少管道缺陷和组件的信息,不影响后续缺陷和组件的识别检测工作。
如图3所示,为本发明的管道漏磁数据压缩感知流程图。
基于压缩感知的漏磁数据压缩的具体步骤如下:
步骤3:稀疏变换基的构造
步骤3.1:读取待压缩数据
实时采集分级后的漏磁数据HF,按照管道里程顺序,从起始端开始,每次读取连着的同一级别的漏磁数据
Figure GDA0003613698660000101
所述同一级别的漏磁数据HrF中的
Figure GDA0003613698660000102
即为待压缩数据,所述待压缩数据Hr的每一列数据的级别相同且为F;按照上述规则,所述漏磁数据H被分为R段,所述待压缩数据Hr为所述漏磁数据H的第r段数据;其中,N为该段待压缩数据Hr的列数,也即该段待压缩数据Hr的大小;
步骤3.2:确定稀疏性
压缩感知方法要求数据本身是稀疏的或者能够稀疏分解,如果N维离散信号是K稀疏(N个元素值只有K个是非零的)的,那么只需要采样M个观测值,而且K≤M<N。实际的漏磁数据不是稀疏的,但经过一个变换后,在一组基上面是稀疏的,这就是漏磁数据的稀疏表示。
对管道漏磁数据进行变换,使得变换后的漏磁数据具有与其等级相对应的稀疏性,漏磁数据等级越高,则相应的数据稀疏性越低。根据数据量N和漏磁数据所在的级别F,来确定待压缩数据Hr经过变换后的稀疏性K=N*F*β;其中,β为基础压缩系数,一般为0.04~0.06,这里取0.05。
步骤3.3:确定稀疏变换基
依据待压缩数据Hr的等级F的不同,构造与等级F相对应的稀疏变换基ψ,使待压缩数据Hr经过变换后具有相应等级的稀疏性K,从而使得级别高的数据少量压缩,级别低的数据大量压缩。
稀疏变换基ψ,一般可以为离散余弦稀疏基、离散小波稀疏基、离散傅里叶变换基、Curvelet基和Gabor基等,这里构造与待压缩数据Hr的级别F相对应的稀疏变换基ψ:
当F=1或2时,数据较为平缓,采用离散余弦变换(DCT),其变换公式为
Figure GDA0003613698660000111
Figure GDA0003613698660000112
其中,k=1,2,...,N-1,
写为矩阵形式为
Figure GDA0003613698660000113
当F=3或4或5时,数据信息特征较多,采用离散傅里叶变换(DFT),其变换公式为
Figure GDA0003613698660000121
其中,n,k=0,1,...,N-1,WN=e-j2π/N
写为矩阵形式为
Figure GDA0003613698660000122
步骤4:漏磁数据的稀疏采集
步骤4.1:确定观测值的个数M=cKlog(N/K),其中,c为一个很小的常数,这里取c=0.16;
步骤4.2:构造与待压缩数据Hr的级别和大小相对应的观测矩阵φ,所述观测矩阵φ为M×N大小的随机高斯测量矩阵,即
Figure GDA0003613698660000123
其中的每个元素都服从均值为0、方差为1/M的高斯分布;
步骤4.3:对待压缩数据Hr的第i行数据hi=[xi1,xi2,...,xiN]进行稀疏采集,得到M个观测值,记为yi,其中,yi T=φhi T,i=1,2,...,m;
步骤4.4:重复上述步骤4.3,依次对所述待压缩数据Hr其他各行的数据进行稀疏采集,得到所述待压缩数据Hr的观测值Yr=[y1;y2;...;yi;...;ym];
步骤4.5:重复上述步骤4.1、4.2、4.3和4.4,对所述漏磁数据H中与所述待压缩数据Hr临近的下一级别的一段漏磁数据进行稀疏采集,直到所述步骤3中的数据读取结束,最终得到所述漏磁数据H的观测值Y=[Y1,...,Yr,...,YR],再对Y进行传输与存储。
经过上述步骤,所述漏磁数据H就被编码成了观测值Y。显然,观测值Y比漏磁数据H所占空间更小,实现了对漏磁数据H的初步压缩。
步骤5:漏磁数据的重构
在完成对漏磁数据的稀疏采集并对观测值进行传输与存储后,由于已经知道观测值yi对应级别的观测矩阵φ和稀疏变换基ψ,便可从观测值yi中重构出漏磁数据。
漏磁数据重构的具体步骤如下:
步骤5.1:从数据起始端开始,实时读取所述漏磁数据H的观测值Y=[Y1,...,Yr,...,YR]中的Yr
步骤5.2:利用所述步骤3.3得到的稀疏变换基ψ和所述步骤4.2得到的观测矩阵φ,由yi T=φhi T=φψθi=Aθi,利用正交匹配追踪算法,依次对所述Yr的每一行数据yi进行重构;其中,A为传感矩阵,θi
Figure GDA0003613698660000131
在稀疏变换基ψ下的稀疏表示系数,θi是K稀疏的;
在正交匹配追踪算法(OMP)中,记矩阵A的第j列为aj,迭代次数为t,第t次迭代的索引(即列序号)为λt,第t次迭代的索引集合为Λt,第t次迭代的残差为
Figure GDA0003613698660000132
其中,y=yi T,At表示按索引集合Λt选出的矩阵A的列集合(大小为M×t);
Figure GDA0003613698660000133
为t×1的列向量,是第t次迭代的漏磁数据稀疏表示系数估计。
具体的重构过程如下:
1)首先初始化r0=y,
Figure GDA0003613698660000134
t=1。找到索引λt,使
Figure GDA0003613698660000135
2)令Λt=Λt-1∪{λt},
Figure GDA0003613698660000136
求y=Atθt的最小二乘解:
Figure GDA0003613698660000137
3)更新残差
Figure GDA0003613698660000138
4)令t=t+1,如果t≤K则返回到2),否则就停止循环进入5);
5)重构得到的θi在Λt处有非零项,其值为最后一次循环得到的
Figure GDA0003613698660000141
6)得到θi后,利用稀疏变换基ψ可以得到重构信号
Figure GDA0003613698660000142
步骤5.3:重复上述步骤5.1和5.2,对所述观测值Y中与所述Yr临近的下一级别的一段观测值进行重构,直到r=R,最终得到重构的管道漏磁数据。
缩感知理论不同于传统的奈奎斯特采样定理,只要数据是稀疏的或者在某种变换域下是稀疏的,就可以用观测矩阵将高维数据投影到低维空间上,再通过优化求解重构出原始的数据。将此方法应用到管道漏磁检测领域,保证了漏磁数据特征信息的准确完整,节省了数据采集存储的时间,为后续漏磁数据的检测处理等环节带来了便利,同时也为管道漏磁检测技术的进一步发展奠定了实践基础。
如图4所示,为本发明的上述实施例的管道漏磁数据压缩前后效果对比图。其中,压缩后的数据仅有原始数据的五分之一大小。从图4可以看出,通过本发明的基于压缩感知的管道漏磁数据分级压缩方法对原始漏磁数据进行处理后,清晰地保留了原始漏磁数据的几乎全部特征,尤其完整保护了缺陷等重要部分的特征信息。
上述对本发明的一个实施例进行了详细说明。显然,上述实施例仅仅是本发明的一部分实施例,而不是全部的实施例;上述实施例仅用于解释本发明,并不构成对本发明保护范围的限定。基于上述实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,也即凡在本申请的精神和原理之内所作的所有修改、等同替换和改进等,均落在本发明要求的保护范围内。

Claims (4)

1.一种基于压缩感知的管道漏磁数据分级压缩方法,其特征在于,包括下述步骤:
步骤1:漏磁数据的预处理:实时采集管道原始漏磁数据H0;设计低通滤波器,去除原始漏磁数据H0中的高频干扰;去除原始漏磁数据H0中的异常数据,对缺失数据进行插补;对原始漏磁数据H0进行归一化处理,得到预处理后的漏磁数据H;
步骤2:漏磁数据的分级处理:实时采集预处理后的漏磁数据H,根据两个焊缝之间管段的长度确定每次分级计算时读取的漏磁数据长度,得到固定长度的待分级的漏磁数据f;对待分级的漏磁数据f进行基础分级阈值的计算,依据基础分级阈值的不同对待分级的漏磁数据f进行分级;对各管段内的漏磁数据均进行级别评定,得到分级后的漏磁数据HF
步骤3:稀疏变换基的构造:实时采集分级后的漏磁数据HF,按照管道里程顺序,每次读取连着的同一级别的漏磁数据构成待压缩数据Hr;依据待压缩数据Hr的等级的不同,构造与等级相对应的稀疏变换基ψ,使待压缩数据Hr具有相应等级的稀疏性;
步骤4:漏磁数据的稀疏采集:构造与待压缩数据Hr的级别和大小相对应的观测矩阵φ,对待压缩数据Hr进行稀疏采集,得到观测值Yr;依次对所述漏磁数据H中与所述待压缩数据Hr临近的下一级别的一段数据进行稀疏采集,最终得到所述漏磁数据H的观测值Y;
步骤5:漏磁数据的重构:利用正交匹配追踪算法,对漏磁数据H的观测值Y进行重构,最终得到重构的管道漏磁数据;
所述步骤2包括下述步骤:
步骤2.1:读取待分级数据:实时采集预处理后的漏磁数据H,确定每次分级计算时读取的漏磁数据长度为两个焊缝之间管段长度的γ倍,得到l段固定长度的待分级的漏磁数据
Figure FDA0003613698650000021
所述待分级的漏磁数据f的每一行对应一个传感器通道的n个数据,环绕管道一周有m个传感器;其中,γ取1.3~1.8,H=[H1,...,Hl],f=Hk,k=1,2,…,l;
步骤2.2:计算基础分级阈值:所述待分级的漏磁数据f的第i行的平均值为
Figure FDA0003613698650000022
中位数为
Figure FDA0003613698650000023
基础分级阈值为
Figure FDA0003613698650000024
其中,i=1,2,…,m,α为偏差系数,取0.2~0.4;
步骤2.3:评定待分级数据每一个元素的级别:依据管道漏磁数据的特点将待分级的漏磁数据f分为d个等级,其中,d=5;依据所述待分级的漏磁数据f的第i行的基础分级阈值
Figure FDA0003613698650000025
的大小来评定待分级的漏磁数据f的第i行第j列元素的级别Fij
Figure FDA0003613698650000026
时,漏磁数据最为平缓,评定为一级,Fij=1;
Figure FDA0003613698650000027
时,漏磁数据有轻微抖动,评定为二级,Fij=2;
Figure FDA0003613698650000028
时,漏磁数据对应微小缺陷和大缺陷的谷部区域,评定为三级,Fij=3;
Figure FDA0003613698650000029
时,漏磁数据对应为较大缺陷的峰部区域和焊缝,评定为四级,Fij=4;
Figure FDA00036136986500000210
时,漏磁数据对应为金属增加和金属缺失的异常情况,评定为五级,Fij=5;
步骤2.4:评定待分级数据每一列的级别:依据所述待分级的漏磁数据f的第j列的级别数据[F1j,...,Fmj]T来评定所述待分级的漏磁数据f的第j列的级别:该列级别数据对应一个管道圆环,选取该列最高的级别作为该管道圆环的级别,也即待分级的漏磁数据f的第j列的级别Fj=max{F1j,...,Fmj};重复上述步骤,继续评定其他列的级别,最终得到第k段管道分级后的漏磁数据
Figure FDA0003613698650000031
其中,HkF的第一行的每个元素对应每列漏磁数据的级别;
步骤2.5:重复上述步骤2.2、2.3和2.4,继续评定下一个待分级管段内漏磁数据的级别,直到数据读取结束,最终得到整个管道分级后的漏磁数据HF=[H1F,...,HkF,...,HlF]。
2.根据权利要求1所述的基于压缩感知的管道漏磁数据分级压缩方法,其特征在于,所述步骤3包括下述步骤:
步骤3.1:读取待压缩数据:实时采集分级后的漏磁数据HF,按照管道里程顺序,从起始端开始,每次读取连着的同一级别的漏磁数据
Figure FDA0003613698650000032
所述同一级别的漏磁数据HrF中的
Figure FDA0003613698650000033
即为待压缩数据,所述待压缩数据Hr的每一列数据的级别相同且为F;按照上述规则,所述漏磁数据H被分为R段,所述待压缩数据Hr为所述漏磁数据H的第r段数据;其中,N为该段待压缩数据Hr的列数,也即该段待压缩数据Hr的大小;
步骤3.2:确定稀疏性:确定待压缩数据Hr经过变换后的稀疏性K=N*F*β;其中,β为基础压缩系数,取0.04~0.06;
步骤3.3:确定稀疏变换基:构造与待压缩数据Hr的级别F相对应的稀疏变换基ψ,使得级别高的数据少量压缩,级别低的数据大量压缩:
当F=1或2时,采用离散余弦变换(DCT),其变换公式为
Figure FDA0003613698650000041
Figure FDA0003613698650000042
其中,k=1,2,...,N-1,
写为矩阵形式为
Figure FDA0003613698650000043
当F=3或4或5时,采用离散傅里叶变换(DFT),其变换公式为
Figure FDA0003613698650000044
其中,n,k=0,1,...,N-1,WN=e-j2π/N
写为矩阵形式为
Figure FDA0003613698650000045
3.根据权利要求2所述的基于压缩感知的管道漏磁数据分级压缩方法,其特征在于,所述步骤4包括下述步骤:
步骤4.1:确定观测值的个数M=cKlog(N/K),其中,c=0.16;
步骤4.2:构造与待压缩数据Hr的级别和大小相对应的观测矩阵φ,所述观测矩阵φ为M×N大小的随机高斯测量矩阵,即
Figure FDA0003613698650000046
其中的每个元素都服从均值为0、方差为1/M的高斯分布;
步骤4.3:对待压缩数据Hr的第i行数据hi=[xi1,xi2,...,xiN]进行稀疏采集,得到M个观测值,记为yi,其中,yi T=φhi T,i=1,2,...,m;
步骤4.4:重复上述步骤4.3,依次对所述待压缩数据Hr其他各行的数据进行稀疏采集,得到所述待压缩数据Hr的观测值Yr=[y1;y2;...;yi;...;ym];
步骤4.5:重复上述步骤4.1、4.2、4.3和4.4,对所述漏磁数据H中与所述待压缩数据Hr临近的下一级别的一段漏磁数据进行稀疏采集,直到所述步骤3中的数据读取结束,最终得到所述漏磁数据H的观测值Y=[Y1,...,Yr,...,YR],再对Y进行传输与存储。
4.根据权利要求3所述的基于压缩感知的管道漏磁数据分级压缩方法,其特征在于,所述步骤5包括下述步骤:
步骤5.1:从数据起始端开始,实时读取所述漏磁数据H的观测值Y=[Y1,...,Yr,...,YR]中的Yr
步骤5.2:利用所述步骤3.3得到的稀疏变换基ψ和所述步骤4.2得到的观测矩阵φ,由yi T=φhi T=φψθi=Aθi,利用正交匹配追踪算法,依次对所述Yr的每一行数据yi进行重构;其中,A为传感矩阵,θi为hi T在稀疏变换基ψ下的稀疏表示系数,θi是K稀疏的;
步骤5.3:重复上述步骤5.1和5.2,对所述观测值Y中与所述Yr临近的下一级别的一段观测值进行重构,直到r=R,最终得到重构的管道漏磁数据。
CN201811092531.2A 2018-09-19 2018-09-19 一种基于压缩感知的管道漏磁数据分级压缩方法 Active CN109212018B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811092531.2A CN109212018B (zh) 2018-09-19 2018-09-19 一种基于压缩感知的管道漏磁数据分级压缩方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811092531.2A CN109212018B (zh) 2018-09-19 2018-09-19 一种基于压缩感知的管道漏磁数据分级压缩方法

Publications (2)

Publication Number Publication Date
CN109212018A CN109212018A (zh) 2019-01-15
CN109212018B true CN109212018B (zh) 2022-06-03

Family

ID=64984134

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811092531.2A Active CN109212018B (zh) 2018-09-19 2018-09-19 一种基于压缩感知的管道漏磁数据分级压缩方法

Country Status (1)

Country Link
CN (1) CN109212018B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110082424B (zh) * 2019-05-10 2023-04-14 东北大学 一种快速管道漏磁数据多尺度异常区域推荐系统及方法
CN110119853B (zh) * 2019-05-29 2020-12-25 浙江大学 基于时间序列监测数据分析的供水管网漏损报警阈值选取方法
CN110907532A (zh) * 2019-11-19 2020-03-24 电子科技大学 一种基于压缩感知的漏磁检测方法
CN111459895B (zh) * 2020-03-31 2023-09-29 杭州云象网络技术有限公司 一种区块链数据分级压缩与存储方法及系统
CN112345387B (zh) * 2020-09-27 2023-04-07 中煤科工集团重庆研究院有限公司 基于图像分析的测量煤样坚固性的方法及系统
CN113063843A (zh) * 2021-02-22 2021-07-02 广州杰赛科技股份有限公司 一种管道缺陷识别方法、装置及存储介质
CN112987616B (zh) * 2021-03-15 2022-03-25 沈阳智谷科技有限公司 一种基于磁变量信号的超高速电子包采集系统与方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69428979T2 (de) * 1993-08-30 2002-08-08 Sony Corp Einrichtung und verfahren zur kodierung von bilddaten
CN103343885B (zh) * 2013-06-20 2015-10-14 西南石油大学 管道漏磁检测在线数据压缩方法
CN104034795A (zh) * 2014-06-12 2014-09-10 东北大学 基于区域遗传四叉树算法的油气管道缺陷检测方法及系统
CN105281779B (zh) * 2015-11-04 2018-12-14 哈尔滨工业大学 多观测值向量稀疏度自适应压缩采样匹配追踪方法
CN107666322B (zh) * 2017-09-08 2020-11-10 山东科技大学 一种基于字典学习的自适应微震数据压缩感知方法

Also Published As

Publication number Publication date
CN109212018A (zh) 2019-01-15

Similar Documents

Publication Publication Date Title
CN109212018B (zh) 一种基于压缩感知的管道漏磁数据分级压缩方法
CN106645384B (zh) 一种管道漏磁内检测器数据的自适应滤波方法
CN109712077B (zh) 一种基于深度字典学习的hardi压缩感知超分辨率重建方法
CN106897957B (zh) 一种基于pca和pso-elm的自动气象站实时数据质量控制方法
CN115824519A (zh) 基于多传感器信息融合的阀门泄露故障综合诊断方法
CN112013285A (zh) 管道泄漏点的检测方法及装置、存储介质、终端
CN108459920B (zh) 一种试验数据野值的辨识与修正方法
CN110569966B (zh) 一种数据处理方法、装置及电子设备
CN109632942B (zh) 一种基于集成学习的管道缺陷尺寸的反演方法
CN107123097A (zh) 一种基于优化的测量矩阵的成像方法
CN109163894B (zh) 一种基于摩擦温度信号的磨合状态识别方法
CN116979970A (zh) 一种漏磁数据的压缩和重构方法、系统、电子设备及介质
CN115146673A (zh) 一种用于滚动轴承故障诊断的多维数据压缩方法
CN111010193B (zh) 基于压电导纳的数据压缩重构及结构损伤识别方法、设备
CN104684083A (zh) 一种基于分簇思想的ap选择方法
CN114925330A (zh) 一种不依赖重构参数的自适应跨尺度因果分析方法
CN115236206A (zh) 基于多路径匹配追踪算法改进的高频超声去噪方法及系统
CN110082424B (zh) 一种快速管道漏磁数据多尺度异常区域推荐系统及方法
CN102230904A (zh) 一种纤维上油率检测方法
CN117574305B (zh) 一种设备运行状态实时监测方法及系统
CN115546498B (zh) 一种基于深度学习的流场时变数据的压缩存储方法
CN116757102B (zh) 基于固有光学特性的表观光学特性剖面分布估算方法
CN111223044B (zh) 基于密集连接网络的全色图像与多光谱图像融合的方法
CN115576721B (zh) 基于不确定性量化的多源数据融合评估试验方法及设备
CN117434153B (zh) 基于超声波技术的道路无损检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant