CN116979970A - 一种漏磁数据的压缩和重构方法、系统、电子设备及介质 - Google Patents
一种漏磁数据的压缩和重构方法、系统、电子设备及介质 Download PDFInfo
- Publication number
- CN116979970A CN116979970A CN202310916987.0A CN202310916987A CN116979970A CN 116979970 A CN116979970 A CN 116979970A CN 202310916987 A CN202310916987 A CN 202310916987A CN 116979970 A CN116979970 A CN 116979970A
- Authority
- CN
- China
- Prior art keywords
- data
- magnetic flux
- flux leakage
- data set
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004907 flux Effects 0.000 title claims abstract description 153
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000013144 data compression Methods 0.000 title abstract description 13
- 238000005070 sampling Methods 0.000 claims abstract description 45
- 239000011159 matrix material Substances 0.000 claims abstract description 8
- 238000007906 compression Methods 0.000 claims description 45
- 230000006835 compression Effects 0.000 claims description 45
- 238000012549 training Methods 0.000 claims description 22
- 238000007781 pre-processing Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 12
- 230000007547 defect Effects 0.000 claims description 10
- 230000008439 repair process Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 7
- 108010076504 Protein Sorting Signals Proteins 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000036541 health Effects 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 abstract description 17
- 230000002159 abnormal effect Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000006837 decompression Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000003466 welding Methods 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/15—Correlation function computation including computation of convolution operations
- G06F17/153—Multidimensional correlation or convolution
Abstract
本发明涉及一种漏磁数据的压缩和重构方法、系统、电子设备及介质，方法包括获取漏磁数据集，漏磁数据集为L×C的矩阵，其中，C表示传感器的个数，L表示单个传感器采集的每个采样点的漏磁数据，漏磁数据集中每一行为一个漏磁数据序列；将漏磁数据集输入一维全卷积自编码模型确定压缩数据集和重构数据集。解决了现有技术实现数据压缩重构算法复杂的问题。
Description
技术领域
本发明涉及油气管道漏磁无损检测数据压缩技术领域，尤其涉及一种漏磁数据的压缩和重构方法、系统、电子设备及介质。
背景技术
漏磁内检测(Magnetic Flux Leakage，MFL)是长距离油气管道检测缺陷的最常用方法之一。随着传感电子技术的发展，MFL检测技术得到了极大的发展，内检测器能够实现超高速采集和大容量存储。然而，随着周向传感器数量和轴向采样频率的增加，内检测数据量会急剧增加，一次检测的数据量高达几TB，给内检测数据的分析和存储带来了极大的挑战。为了提高数据分析效率、减少数据占用空间并方便数据管理，需要对MFL数据进行压缩处理。因此，开发一种无损压缩方法对于长距离油气管道MFL数据分析具有重要意义。
常见的数据压缩算法包括有小波变换编码、LZW(Lempel Ziv welch)算法和Huffman算法等。近年来，学者们针对漏磁数据压缩方法进行了深入研究，王书怡等针对管道超高清漏磁内检测海量数据不宜于存储和分析的问题，提出了一种基于组合滤波的超高清漏磁内检测数据特征无损压缩方法，张兰勇等将压缩感知与重要段筛选方法结合，提出了漏磁检测数据在线CS压缩方法。宋志强等研究了基于小波包-Haar小波算法的漏磁检测信号降噪压缩算法，保留了高频部分信号特征，可以在解压缩中避免信号失真畸变现象。
综上，现有的漏磁数据压缩方法，大多是在漏磁数据特性的基础上，通过一定的手段对漏磁数据进行去冗余处理以实现数据压缩，这样的压缩往往需要设计复杂的压缩编码算法，这在嵌入式环境下实现困难且十分耗时。
发明内容
为了克服现有技术实现数据压缩重构算法复杂的问题，本发明提供了一种漏磁数据的压缩和重构方法、系统、电子设备及介质。
第一方面，为了解决上述技术问题，本发明提供了一种漏磁数据的压缩和重构方法，包括：
获取漏磁数据集，漏磁数据集为L×C的矩阵，其中，C表示传感器的个数，L表示单个传感器采集的每个采样点的漏磁数据，漏磁数据集中每一行为一个漏磁数据序列；
将漏磁数据集输入一维全卷积自编码模型确定压缩数据集和重构数据集，其中，一维全卷积自编码模型通过如下步骤确定压缩数据集和重构数据集，如下步骤包括：
对于每个漏磁数据序列，将漏磁数据序列输入编码器进行卷积操作确定目标压缩数据序列，其中，编码器通过将步长为1的卷积层和步长为2的卷积层进行堆叠后实现对漏磁数据序列的卷积操作；
对于每个目标压缩数据序列，将目标压缩数据序列输入解码器依次进行上采样操作和反卷积操作确定目标重构数据序列，其中，解码器通过将步长为1的上采样层和反卷积层进行堆积后实现对压缩数据序列的上采样操作和反卷积操作；
各个目标压缩数据序列作为压缩数据集，各个目标重构数据序列作为重构数据集。
第二方面，本发明提供了一种漏磁数据的压缩和重构系统，包括：
漏磁数据获取模块，用于获取漏磁数据集，漏磁数据集为L×C的矩阵，其中，C表示传感器的个数，L表示单个传感器采集的每个采样点的漏磁数据，漏磁数据集中每一行为一个漏磁数据序列；
压缩重构确定模块，用于将漏磁数据集输入一维全卷积自编码模型确定压缩数据集和重构数据集，其中，一维全卷积自编码模型通过第一单元确定压缩数据集和重构数据集，第一单元具体用于：
对于每个漏磁数据序列，将漏磁数据序列输入编码器进行卷积操作确定目标压缩数据序列，其中，编码器通过将步长为1的卷积层和步长为2的卷积层进行堆叠后实现对漏磁数据序列的卷积操作；
对于每个目标压缩数据序列，将目标压缩数据序列输入解码器依次进行上采样操作和反卷积操作确定目标重构数据序列，其中，解码器通过将步长为1的上采样层和反卷积层进行堆积后实现对压缩数据序列的上采样操作和反卷积操作；
各个压缩数据序列作为压缩数据集，各个重构数据序列作为重构数据集。
第三方面，本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并在处理器上运行的程序，处理器执行程序时实现如上述的一种漏磁数据的压缩和重构方法的步骤。
第四方面，本发明还提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当指令在终端设备上运行时，使得终端设备执行一种漏磁数据的压缩和重构方法的步骤。
本发明的有益效果是：将漏磁数据集输入一维全卷积自编码模型中，先进行编码操作(编码器)得到目标压缩数据集，再进行解码操作(解码器)得到目标重构数据集，即可实现漏磁数据的压缩和重构，在编码器中，将步长为1和步长为2的卷积层进行堆叠，减小了原本单独使用两个卷积层的参数量，降低了算法的复杂度，在解码器中，同样将上采样层和反卷积层进行堆叠，减小了原本单独使用采样层和反卷积层的参数量，同样降低了算法的复杂度，解决了现有技术实现漏磁数据压缩重构算法复杂的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面结合附图和实施例对本发明作进一步说明。
图1为本发明实施例的一种漏磁数据的压缩和重构方法的流程示意图；
图2为解码器和编码器的结构示意图；
图3为数据分类预处理的流程图；
图4为本发明实施例的一种漏磁数据的压缩和重构方法的整体流程示意图；
图5为法兰类型、焊缝类型和缺陷类型的信号波形图；
图6为本发明实施例的一种漏磁数据的压缩和重构系统的结构示意图。
具体实施方式
下列实施例是对本发明的进一步解释和补充，对本发明不构成任何限制。
以下结合附图描述本发明实施例的一种漏磁数据的压缩和重构方法、系统、电子设备及介质。
如图1所示，本发明实施例的一种漏磁数据的压缩和重构方法，包括如下步骤：
S1、获取漏磁数据集，漏磁数据集为L×C的矩阵，其中，C表示传感器的个数，L表示单个传感器采集的每个采样点的漏磁数据，漏磁数据集中每一行为一个漏磁数据序列。
对于任意一段管道，会设置多个传感器对该段管道进行漏磁无损检测，举例说明，对于50m管道获取漏磁数据集S，其中，每个传感器的采样频率为2mm一个采样点，则每个传感器需采样25000个采样点的漏磁数据，若传感器共312个，则S为25000×312的矩阵。
S2、将漏磁数据集输入一维全卷积自编码模型确定压缩数据集和重构数据集，其中，一维全卷积自编码模型通过如下步骤确定压缩数据集和重构数据集，如下步骤包括：
对于每个漏磁数据序列，将漏磁数据序列输入编码器进行卷积操作确定目标压缩数据序列，其中，编码器通过将步长为1的卷积层和步长为2的卷积层进行堆叠后实现对漏磁数据序列的卷积操作。
对于每个目标压缩数据序列，将目标压缩数据序列输入解码器依次进行上采样操作和反卷积操作确定目标重构数据序列，其中，解码器通过将步长为1的上采样层和反卷积层进行堆积后实现对压缩数据序列的上采样操作和反卷积操作。
各个压缩数据序列作为压缩数据集，各个重构数据序列作为重构数据集。
本实施例中将漏磁数据集输入一维全卷积自编码模型中，先进行编码操作(编码器)得到目标压缩数据集，再进行解码操作(解码器)得到目标重构数据集，即可实现漏磁数据的压缩和重构，在编码器中，将步长为1和步长为2的卷积层进行堆叠，减小了原本单独使用两个卷积层的参数量，降低了算法的复杂度，在解码器中，同样将上采样层和反卷积层进行堆叠，减小了原本单独使用采样层和反卷积层的参数量，同样降低了算法的复杂度，解决了现有技术实现漏磁数据压缩重构算法复杂的问题。
可选地，如图2所示，对于每个漏磁数据序列，将漏磁数据序列输入编码器进行卷积操作确定目标压缩数据序列，包括：
S21、将漏磁数据序列输入步长为1的卷积层确定特征序列，公式如下：
Hi＝σf(Ws＝1*X′i+bs＝1)；
其中，Hi表示第i个漏磁数据序列对应的特征序列，X′i∈R1×N为第i个漏磁数据序列，R表示自然数，N表示漏磁数据序列的长度，*表示一维卷积运算；Ws＝1和bs＝1分别表示编码过程中的步长为1的卷积层的一维卷积核权重和偏置；σf为编码器的激活函数，激活函数为Leakyrelu激活函数。
S22、将特征序列输入步长为2的卷积层确定压缩数据序列，公式如下：
Zi＝σf(Ws＝2*Hi+bs＝2)；
其中，Zi表示第i个特征序列对应的压缩数据序列，*表示一维卷积运算，Ws＝2和bs＝2分别表示编码过程中的步长为2的卷积层的一维卷积核权重和偏置。
S23、将压缩数据序列作为新的漏磁数据序列重复执行S21-S22第一预设次数，将最后一次输出得到的压缩数据序列作为卷积特征向量。
S24、将卷积特征向量输入步长为1的卷积层确定目标压缩序列。
如图2所示，本实施例中编码器(Encoder)共设置了九层结构，其中，采用步长为1的卷积层(CL(S＝1))和步长为2的卷积层(CL(S＝2))堆叠形成一组堆叠结构，重复设置4组堆叠结构构成前八层(即第一预设次数为3)，最后第九层设置一个步长为1的卷积层作为输出层，输出目标压缩序列，使用两个卷积层堆叠结构，能够减少单独使用两个卷积层的参数量，降低算法的复杂度。
可选地，对于每个目标压缩数据序列，将目标压缩数据序列输入解码器依次进行上采样操作和反卷积操作确定目标重构数据序列，包括：
S31、将目标压缩数据序列输入步长为1的上采样层确定上采样特征向量，公式如下：
H′i＝S(Zi)；
其中，H′i表示第i个压缩数据序列对应的上采样特征向量，S表示上采样层，Zi表示第i个压缩数据序列。
S32、将上采样特征向量输入反卷积层确定重构数据序列，公式如下：
X″i＝σe(U*H′i+b2)；
其中，X″i表示第i个上采样特征向量对应的重构数据序列，U和b2分别表示解码过程中反卷积层的一维卷积核和偏置，*表示一维卷积运算，σe是解码器中的激活函数，激活函数为Leakyrelu函数。
S33、将重构数据序列作为新的目标压缩数据序列重复执行S31-S32第二预设次数，将最后一次输出得到的重构数据序列作为还原信号序列。
S34、将还原信号序列输入步长为1的上采样层确定目标重构数据。
如图2所示，本实施例中解码器(Decoder)共设置了九层结构，其中，采用步长为1的上采样层(CL(S＝1))和反卷积层(Upsampling)堆叠形成一组堆叠结构，重复设置4组堆叠结构构成前八层(第二预设次数为3)，最后第九层设置一个步长为1的上采样层作为输出层，输出目标重构数据，使用上采样层和反卷积层堆叠结构，能够减少单独使用上采样层和反卷积层的参数量，降低算法的复杂度。
可选地，该方法还包括对初始模型进行训练得到一维全卷积自编码模型，其中，通过如下步骤对初始模型进行训练，如下步骤包括：
获取训练集，数据集中包括多个训练数据；将训练集输入初始模型中对初始模型进行训练；初始模型向前传播时，对于每个训练数据，根据初始模型的初始权重参数确定重构信号；初始模型反向传播时，对于每个重构信号，计算重构信号与重构信号对应的训练数据之间的均方误差，公式如下；
其中，MSE表示均方误差，m表示重构信号的总数，X′i、Xi分别表示第i个重构信号和第i个重构信号对应的训练数据；
根据均方误差设置优化器优化初始模型每层的初始权重参数，得到优化权重参数；设置初始模型的批次大小为16，学习率为0.001，迭代轮数为200，通过不断迭代更新初始模型，对初始模型各层的优化权重参数进行调整，直至各层的优化权重参数达到预设值，得到一维全卷积自编码模型。
本实施例中，最终形成的编码器参数如下表1所示：
表1
表1中，编码器中各个参数channel、kernel_size、strides、Param、Output shape分别表示通道数、卷积核大小、卷积步长、卷积核长度、神经元数量和卷积核个数。
可选地，该方法还包括：对漏磁数据集进行数据异常预处理，得到第一预处理数据集；对第一预处理数据集进行数据分类预处理，得到第二预处理数据集；将第二预处理数据集输入一维全卷积自编码模型确定压缩数据集和重构数据集。
通过对漏磁数据集进行数据异常预处理，可以去除异常数据，使得采集的漏磁数据更准确，同时对漏磁数据进行数据分类预处理，从而将漏磁数据集中的漏磁数据的故障类型进行划分，确定漏磁数据的故障类型。
可选地，对漏磁数据集进行数据异常预处理，得到第一预处理数据集，包括：
S41、对于每个传感器，确定传感器采集的各个漏磁数据的中值，公式如下：
Mi＝median(Si)
其中，Si为第i个传感器采集的全部漏磁数据，median为按列计算中值操作，其中i∈[1,C]，C表示传感器的个数。
S42、根据各个中值，确定中值平均值，公式如下：
其中，表示中值平均值。
S43、对于每个传感器，根据中值平均值修正传感器采集的每个漏磁数据，得到修正漏磁数据集，公式如下：
其中，S′i表示第i个漏磁数据对应的修正漏磁数据，将各个修正漏磁数据作为修正漏磁数据集。
S44、对修正漏磁数据集中每个修正漏磁数据进行异常值去除和缺失数据插补，得到修复漏磁数据集，公式如下：
S″＝Θ(Δ(S′))；
其中，S″表示修复漏磁数据集，S′表示修正漏磁数据集，Δ代表异常值判别操作，Θ指对异常区域数据进行三次样条插补操作，其中，异常值判别主要针对漏磁数据中的平滑及尖峰异常区域进行分割，并记录该区域坐标，以进行后续插补处理，漏磁数据的插补操作针对异常值判别中记录的异常区域坐标进行插补，以修复缺陷信号。
S45、对修复漏磁数据集中每个修复漏磁数据进行高斯滤波，得到滤波漏磁数据集，公式如下：
S*＝S″*Gσ
其中，S*表示滤波漏磁数据集，Gσ为标准差为σ的二维高斯核。
S46、将所述滤波漏磁数据集作为第一预处理数据集。
可选地，如图3所示，对第一预处理数据集进行数据分类预处理，得到第二预处理数据集，包括：
S51、设置一个滑动窗口，滑动窗口的窗长为第一预设值，窗宽为第二预设值，将滑动窗口在第一预处理数据集上向前移动，移动步长为第三预设值，得到多个数据块。
本实施例中，第一预设值为400，第二预设值为312，第三预设之为400，因此，滑动窗口以400×312的滑窗向前移动，移动步长为400。
S52、对于每个数据块，将数据块进行一阶差分处理，得到差分数据块，公式如下：
B′i(j)＝Bi(j+1)-Bi(j)；
其中，B′i(j)表示差分数据块，Bi(j)表示数据块中第j个滤波漏磁数据。
S53、对于每个差分数据块，计算差分数据块的信号峰值和信号能量，公式如下：
其中，P(B′)表示信号峰值，En(B′)表示信号能量，max(B′i)、min(B′i)表示差分数据块中最大值和最小值，L表示差分数据块中滤波漏磁数据的总数。
S54、对于每个差分数据块，确定差分数据块的数据类型，其中，若信号峰值大于或等于第四预设值，或信号峰值小于第四预设值且信号能量大于或等于第五预设值，则数据类型为缺陷类型或焊缝类型或法兰类型；若信号峰值小于第四预设值且信号能量小于第五预设值，则数据类型为健康类型。
第四预设值λP和地五预设值λE可根据实际情况进行调整。
S55、将确定数据类型的各个差分数据块作为第二预处理数据集。
可选地，本实施例可为如图4所示的流程，获取漏磁数据集，对漏磁数据集先进行数据异常处理(包括基值校正(修正漏磁数据)、异常值判断、数据插补(修复漏磁数据)和滤波(滤波漏磁数据))，得到第一预处理数据集，再对第一预处理数据集进行数据分类预处理(一阶差分(差分数据块)、分块(焊缝类型、法兰类型和健康类型)、计算能量(信号能量)和计算峰值(信号峰值))，得到第二预处理数据集，最后将第二预处理数据集输入一维全卷积自编码模型得到压缩数据集和重构数据集。
可选地，为了证明一种漏磁数据的压缩和重构方法的可行性，进行如下仿真实验。
本实施例中选取了某段试验场管道实测漏磁信号进行实验验证，该段管道长度约为50m，传感器采样频率为2mm一个采样点，则每路信号包含约25000个采样点。考虑到轴向信号能有效体现管道缺陷与附件处信号变化，因此本发明以轴向信号进行压缩实验，同时该段漏磁信号共包含法兰、焊缝、缺陷等特征信号，易于进行算法全面验证与分析。本实施例中的软件实验环境：基于TensorFlow的Keras框架；硬件实验环境：GPU为一张NVIDIAGeForce RTX 3070(8GB)，CPU为12th Gen Intel(R)Core(TM)i7-12700KF。
设置压缩评估指标包括压缩方面与误差方面。
压缩方面引入压缩比、压缩率与压缩时间等指标进行算法的压缩性能评估，其中：
(1)数据压缩比(Compression Ratio，CR)是评价数据压缩技术的一个重要性能指标，其计算公式如下：
其中，Lin为输入数据流的比特数，Lout为输出数据流的比特数，CR＞l时，数据被压缩且CR越大表示算法压缩效果越好。
(2)压缩率(Compression Rate)与压缩比含义相同，是压缩比的倒数，其值越小越好。
(3)压缩时间指数据压缩算法执行时间，时间越短代表算法执行效率越高。
误差方面是指解压缩后重构信号与原始信号之间的误差，误差越小证明压缩算法的精度越高，即能最大程度保留原始信号的重要特征信息，本实施例中利用MAE与RMSE进行所提方法误差评估，具体计算如下：
(1)平均绝对误差(Mean Absolute Error，MAE)
其中，m为漏磁曲线总路数，xi为原始信号，x′为重构信号。
(2)均方根误差(Root Mean Square Error，RMSE)
ID-FCAE重构效果分析，本实施例中根据数据块分类结果，进行针对性一维全卷积自编码模型的训练与测试，考虑到管道特征物与缺陷处信号幅值变化大，且复杂性较高，不易于实现精确信号重构，因此本实施例中对法兰类型(图5中的a)、焊缝类型(图5中的b)和缺陷类型(图5中的c)三种较为复杂的信号进行一维全卷积自编码模型的训练与测试，其原始信号、特征和重构信号如图5所示。
由图5可以看出，原始信号经过编码器降维压缩后，可以提取到不同信号的深层特征，且根据重构信号可以看出，解码器能够较为精准地还原原始信号的关键细节，实现信号地精细化重构，有效保留了原始信号的重要特征信息，验证了一维全卷积自编码模型具有较强的压缩与重构能力。
进一步，本实施例中选取了经典的无监督降维方法PCA进行对比实验分析，如表2所示，表2中，以法兰信号为例，所提的重构信号与原始信号的MAE减少约21％，RMSE减少约28％，由此可以推断出本实施例中所提方法较传统方法有一定优势，能够学习到复杂漏磁信号的内在深层表征，且能够较为精细地还原原始信号的重要细节。
表2PCA与1D-FCAE对比实验
本实施例一种漏磁数据的压缩和重构方法压缩效果分析，为了比较算法的压缩性能，本实施例中选取了两种经典的传统方法哈夫曼算法与LZW字典编码进行对比实验，实验结果如表3。
由表3可以看出，本实施例一种漏磁数据的压缩和重构方法在压缩比方法较LZW编码提升约33％，且压缩时间减少约48％，解压缩时间减少约53％，因此ID-FCAE压缩方法不仅具有较大的压缩比，也有较高的压缩效率，为工程中在线漏磁数据压缩提供了思路。
表3传统方法与ID-FCAE压缩实验对比分析
如图6所示，本发明提供了一种漏磁数据的压缩和重构系统，包括：
漏磁数据获取模块101，用于获取漏磁数据集，漏磁数据集为L×C的矩阵，其中，C表示传感器的个数，L表示单个传感器采集的每个采样点的漏磁数据，漏磁数据集中每一行为一个漏磁数据序列；
压缩重构确定模块102，用于将漏磁数据集输入一维全卷积自编码模型确定压缩数据集和重构数据集，其中，通过一维全卷积自编码模型通过第一单元确定压缩数据集和重构数据集，第一单元具体用于：
对于每个漏磁数据序列，将漏磁数据序列输入编码器依次进行两次卷积操作确定压缩数据序列，其中，编码器为将步长为1和步长为2的卷积层进行堆叠后形成的编码器；
对于每个压缩数据序列，将压缩数据序列输入解码器依次进行上采样操作和反卷积操作确定重构数据序列，其中，解码器为上采样层和反卷积层进行堆积后形成的解码器；
各个压缩数据序列作为压缩数据集，各个重构数据序列作为重构数据集。
可选地，第一单元具体用于：
将漏磁数据序列输入步长为1的卷积层确定特征序列，公式如下：
Hi＝σf(Ws＝1*X′i+bs＝1)；
其中，Hi表示第i个漏磁数据序列对应的特征序列，X′i∈R1×N为第i个漏磁数据序列，R为自然数，N表示漏磁数据序列的长度，*表示一维卷积运算；Ws＝1和bs＝1分别表示编码过程中的步长为1的卷积层的一维卷积核权重和偏置；σf为编码器的激活函数，激活函数为Leakyrelu激活函数；
将特征序列输入步长为2的卷积层确定压缩数据序列，公式如下：
Zi＝σf(Ws＝2*Hi+bs＝2)；
其中，Zi表示第i个特征序列对应的压缩数据序列，*表示一维卷积运算，Ws＝2和bs＝2分别表示编码过程中的步长为2的卷积层的一维卷积核权重和偏置；
将压缩数据序列作为新的漏磁数据序列重复执行上述方法第一预设次数，将最后一次输出得到的压缩数据序列作为卷积特征向量；
将卷积特征向量输入步长为1的卷积层确定目标压缩序列。
可选地，第一单元具体用于：
将目标压缩数据序列输入步长为1的上采样层确定上采样特征向量，公式如下：
H′i＝S(Zi)；
其中，H′i表示第i个压缩数据序列对应的上采样特征向量，S表示上采样层，Zi表示第i个压缩数据序列；
将上采样特征向量输入反卷积层确定重构数据序列，公式如下：
X″i＝σe(U*H′i+b2)；
其中，X″i表示第i个上采样特征向量对应的重构数据序列，U和b2分别表示解码过程中反卷积层的一维卷积核和偏置，*表示一维卷积运算，σe是解码器中的激活函数，激活函数为Leakyrelu函数；
将重构数据序列作为新的目标压缩数据序列重复执行上述方法第二预设次数，将最后一次输出得到的重构数据序列作为还原信号序列；
将还原信号序列输入步长为1的上采样层确定目标重构数据。
可选地，该系统还包括训练模块，具体用于：
获取训练集，数据集中包括多个训练数据；
将训练集输入初始模型中对初始模型进行训练；
初始模型向前传播时，对于每个训练数据，根据初始模型的初始权重参数确定重构信号；
初始模型反向传播时，对于每个重构信号，计算重构信号与重构信号对应的训练数据之间的均方误差，公式如下；
其中，MSE表示均方误差，m表示重构信号的总数，X′i、Xi分别表示第i个重构信号和第i个重构信号对应的训练数据；
根据均方误差设置优化器优化初始模型每层的初始权重参数，得到优化权重参数；
设置初始模型的批次大小为第一预设值，学习率为第二预设值，迭代轮数为第三预设值，通过不断迭代更新初始模型，对初始模型各层的优化权重参数进行调整，直至各层的优化权重参数达到预设值，得到一维全卷积自编码模型。
可选地，该系统还包括预处理模块，具体用于：
对漏磁数据集进行数据异常预处理，得到第一预处理数据集；
对第一预处理数据集进行数据分类预处理，得到第二预处理数据集；
将第二预处理数据集输入一维全卷积自编码模型确定压缩数据集和重构数据集。
可选地，预处理模块，具体用于：
对于每个传感器，确定传感器采集的各个漏磁数据的中值；
根据各个中值，确定中值平均值；
对于每个传感器，根据中值平均值修正传感器采集的每个漏磁数据，得到修正漏磁数据集；
对修正漏磁数据集中每个修正漏磁数据进行异常值去除和缺失数据插补，得到修复漏磁数据；
对修复漏磁数据集中每个修复漏磁数据进行高斯滤波，得到滤波漏磁数据；
将滤波漏磁数据集作为第一预处理数据集。
可选地，预处理模块，具体用于：
设置一个滑动窗口，滑动窗口的窗长为第一预设值，窗宽为第二预设值，将滑动窗口在第一预处理数据集上向前移动，移动步长为第三预设值，得到多个数据块；
对于每个数据块，将数据块进行一阶差分处理，得到差分数据块；
对于每个差分数据块，计算差分数据块的信号峰值和信号能量；
对于每个差分数据块，确定差分数据块的数据类型，其中，若信号峰值大于或等于第四预设值，或信号峰值小于第四预设值且信号能量大于或等于第五预设值，则数据类型为缺陷类型或焊缝类型或法兰类型；若信号峰值小于第四预设值且信号能量小于第五预设值，则数据类型为健康类型；
将确定数据类型的各个差分数据块作为第二预处理数据集。
本发明实施例的一种电子设备，包括存储器、处理器及存储在存储器上并在处理器上运行的程序，处理器执行程序时实现上述一种漏磁数据的压缩和重构方法的部分或全部步骤。
其中，电子设备可以选用电脑，相对应地，其程序为电脑软件，且上述关于本发明的一种电子设备中的各参数和步骤，可参考上文中一种漏磁数据的压缩和重构方法的实施例中的各参数和步骤，在此不做赘述。
所属技术领域的技术人员知道，本发明可以实现为系统、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。计算机可读存储介质例如可以是但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种漏磁数据的压缩和重构方法，其特征在于，包括：
通过多个传感器获取任意一段管道的漏磁数据集，所述漏磁数据集为L×C的矩阵，其中，C表示传感器的个数，L表示单个传感器采集的多个采样点的漏磁数据，所述漏磁数据集中每一行为一个漏磁数据序列；
将所述漏磁数据集输入一维全卷积自编码模型确定压缩数据集和重构数据集，其中，一维全卷积自编码模型通过如下步骤确定压缩数据集和重构数据集，如下步骤包括：
对于每个所述漏磁数据序列，将所述漏磁数据序列输入编码器进行卷积操作确定目标压缩数据序列，其中，所述编码器通过将步长为1的卷积层和步长为2的卷积层进行堆叠后实现对所述漏磁数据序列的卷积操作；
对于每个所述目标压缩数据序列，将所述目标压缩数据序列输入解码器依次进行上采样操作和反卷积操作确定目标重构数据序列，其中，所述解码器通过将步长为1的上采样层和反卷积层进行堆积后实现对所述压缩数据序列的上采样操作和反卷积操作；
各个所述目标压缩数据序列作为压缩数据集，各个所述目标重构数据序列作为重构数据集。
2.根据权利要求1所述的方法，其特征在于，所述对于每个所述漏磁数据序列，将所述漏磁数据序列输入编码器进行卷积操作确定目标压缩数据序列，包括：
S21、将所述漏磁数据序列输入步长为1的卷积层确定特征序列，公式如下：
Hi＝σf(Ws＝1*Xi′+bs＝1)；
其中，Hi表示第i个漏磁数据序列对应的特征序列，Xi′∈R1×N为第i个漏磁数据序列，R为自然数，N表示漏磁数据序列的长度，*表示一维卷积运算；Ws＝1和bs＝1分别表示编码过程中的步长为1的卷积层的一维卷积核权重和偏置；σf为编码器的激活函数，激活函数为Leakyrelu激活函数；
S22、将所述特征序列输入步长为2的卷积层确定压缩数据序列，公式如下：
Zi＝σf(Ws＝2*Hi+bs＝2)；
其中，Zi表示第i个特征序列对应的压缩数据序列，*表示一维卷积运算，Ws＝2和bs＝2分别表示编码过程中的步长为2的卷积层的一维卷积核权重和偏置；
S23、将所述压缩数据序列作为新的所述漏磁数据序列重复执行S21-S22第一预设次数，将最后一次输出得到的所述压缩数据序列作为卷积特征向量；
S24、将所述卷积特征向量输入步长为1的卷积层确定目标压缩序列。
3.根据权利要求2所述的方法，其特征在于，所述对于每个所述目标压缩数据序列，将所述目标压缩数据序列输入解码器依次进行上采样操作和反卷积操作确定目标重构数据序列，包括：
S31、将所述目标压缩数据序列输入步长为1的上采样层确定上采样特征向量，公式如下：
Hi′＝S(Zi)；
其中，Hi′表示第i个压缩数据序列对应的上采样特征向量，S表示上采样层，Zi表示第i个压缩数据序列；
S32、将所述上采样特征向量输入反卷积层确定重构数据序列，公式如下：
Xi″＝σe(U*Hi′+b2)；
其中，Xi″表示第i个上采样特征向量对应的重构数据序列，U和b2分别表示解码过程中反卷积层的一维卷积核和偏置，*表示一维卷积运算，
σe是解码器中的激活函数，激活函数为Leakyrelu函数；
S33、将所述重构数据序列作为新的所述目标压缩数据序列重复执行S31-S32第二预设次数，将最后一次输出得到的所述重构数据序列作为还原信号序列；
S34、将所述还原信号序列输入步长为1的上采样层确定目标重构数据。
4.根据权利要求1-3任一项所述的方法，其特征在于，还包括对初始模型进行训练得到一维全卷积自编码模型，其中，通过如下步骤对初始模型进行训练，如下步骤包括：
获取训练集，所述数据集中包括多个训练数据；
将所述训练集输入初始模型中对所述初始模型进行训练；
所述初始模型向前传播时，对于每个所述训练数据，根据所述初始模型的初始权重参数确定重构信号；
所述初始模型反向传播时，对于每个所述重构信号，计算所述重构信号与所述重构信号对应的训练数据之间的均方误差，公式如下；
其中，MSE表示均方误差，m表示重构信号的总数，Xi′、Xi分别表示第i个重构信号和第i个重构信号对应的训练数据；
根据所述均方误差设置优化器优化所述初始模型每层的初始权重参数，得到优化权重参数；
设置初始模型的批次大小为第一预设值，学习率为第二预设值，迭代轮数为第三预设值，通过不断迭代更新所述初始模型，对所述初始模型各层的所述优化权重参数进行调整，直至各层的所述优化权重参数达到预设值，得到一维全卷积自编码模型。
5.根据权利要求1-3任一项所述的方法，其特征在于，还包括：
对所述漏磁数据集进行数据异常预处理，得到第一预处理数据集；
对所述第一预处理数据集进行数据分类预处理，得到第二预处理数据集；
将所述第二预处理数据集输入一维全卷积自编码模型确定压缩数据集和重构数据集。
6.根据权利要求5所述的方法，其特征在于，对所述漏磁数据集进行数据异常预处理，得到第一预处理数据集，包括：
对于每个所述传感器，确定所述传感器采集的各个漏磁数据的中值；
根据各个所述中值，确定中值平均值；
对于每个所述传感器，根据中值平均值修正所述传感器采集的每个所述漏磁数据，得到修正漏磁数据集；
对所述修正漏磁数据集中每个修正漏磁数据进行异常值去除和缺失数据插补，得到修复漏磁数据集；
对所述修复漏磁数据集中每个修复漏磁数据进行高斯滤波，得到滤波漏磁数据集；
将所述滤波漏磁数据集作为第一预处理数据集。
7.根据权利要求6所述的方法，其特征在于，对所述第一预处理数据集进行数据分类预处理，得到第二预处理数据集，包括：
设置一个滑动窗口，所述滑动窗口的窗长为第一预设值，窗宽为第二预设值，将所述滑动窗口在所述第一预处理数据集上向前移动，移动步长为第三预设值，得到多个数据块；
对于每个所述数据块，将所述数据块进行一阶差分处理，得到差分数据块；
对于每个所述差分数据块，计算所述差分数据块的信号峰值和信号能量；
对于每个所述差分数据块，确定所述差分数据块的数据类型，其中，若所述信号峰值大于或等于第四预设值，或所述信号峰值小于所述第四预设值且所述信号能量大于或等于第五预设值，则所述数据类型为缺陷类型或焊缝类型或法兰类型；若所述信号峰值小于所述第四预设值且所述信号能量小于第五预设值，则所述数据类型为健康类型；
将确定所述数据类型的各个所述差分数据块作为第二预处理数据集。
8.一种漏磁数据的压缩和重构系统，其特征在于，包括：
漏磁数据获取模块，用于获取漏磁数据集，所述漏磁数据集为L×C的矩阵，其中，C表示传感器的个数，L表示单个传感器采集的每个采样点的漏磁数据，所述漏磁数据集中每一行为一个漏磁数据序列；
压缩重构确定模块，用于将所述漏磁数据集输入一维全卷积自编码模型确定压缩数据集和重构数据集，其中，通过一维全卷积自编码模型通过第一单元确定压缩数据集和重构数据集，第一单元具体用于：
对于每个所述漏磁数据序列，将所述漏磁数据序列输入编码器依次进行两次卷积操作确定压缩数据序列，其中，所述编码器为将步长为1和步长为2的卷积层进行堆叠后形成的编码器；
对于每个所述压缩数据序列，将所述压缩数据序列输入解码器依次进行上采样操作和反卷积操作确定重构数据序列，其中，所述解码器为上采样层和反卷积层进行堆积后形成的解码器；
各个所述压缩数据序列作为压缩数据集，各个所述重构数据序列作为重构数据集。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的一种漏磁数据的压缩和重构方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如权利要求1至7任一项所述的一种漏磁数据的压缩和重构方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310916987.0A CN116979970A (zh) | 2023-07-25 | 2023-07-25 | 一种漏磁数据的压缩和重构方法、系统、电子设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310916987.0A CN116979970A (zh) | 2023-07-25 | 2023-07-25 | 一种漏磁数据的压缩和重构方法、系统、电子设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116979970A true CN116979970A (zh) | 2023-10-31 |
Family
ID=88470732
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310916987.0A Pending CN116979970A (zh) | 2023-07-25 | 2023-07-25 | 一种漏磁数据的压缩和重构方法、系统、电子设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116979970A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117650790A (zh) * | 2024-01-30 | 2024-03-05 | 苏芯物联技术(南京)有限公司 | 基于工况智能识别的焊接保护气测量数据压缩存储方法 |
-
2023
- 2023-07-25 CN CN202310916987.0A patent/CN116979970A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117650790A (zh) * | 2024-01-30 | 2024-03-05 | 苏芯物联技术(南京)有限公司 | 基于工况智能识别的焊接保护气测量数据压缩存储方法 |
| CN117650790B (zh) * | 2024-01-30 | 2024-04-05 | 苏芯物联技术(南京)有限公司 | 基于工况智能识别的焊接保护气测量数据压缩存储方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110361778B (zh) | 一种基于生成对抗网络的地震数据重建方法 | |
| CN113658115A (zh) | 一种基于深度卷积生成对抗网络的图像异常检测方法 | |
| CN116979970A (zh) | 一种漏磁数据的压缩和重构方法、系统、电子设备及介质 | |
| CN116226646B (zh) | 轴承健康状态及剩余寿命的预测方法、系统、设备及介质 | |
| Liu et al. | A super resolution algorithm based on attention mechanism and srgan network | |
| CN113837959B (zh) | 图像去噪模型训练方法、图像去噪方法及系统 | |
| CN113627375A (zh) | 一种行星齿轮故障诊断方法、系统、存储介质及计算设备 | |
| CN113392732A (zh) | 一种局部放电超声信号抗干扰方法及系统 | |
| Huai et al. | Zerobn: Learning compact neural networks for latency-critical edge systems | |
| Song et al. | An improved reconstruction method based on auto-adjustable step size sparsity adaptive matching pursuit and adaptive modular dictionary update for acoustic emission signals of rails | |
| CN102163338B (zh) | 一种压缩感知系统中的高效重建方法 | |
| Wu et al. | Compiler-aware neural architecture search for on-mobile real-time super-resolution | |
| CN116399588A (zh) | 一种小样本下基于WPD和AFRB-LWUNet的滚动轴承故障诊断方法 | |
| CN113343402B (zh) | 基于多层卷积稀疏编码的管道腐蚀等级评估方法 | |
| CN115151942B (zh) | 基于卷积神经网络模型训练的带钢表面缺陷检测方法 | |
| Zhou et al. | A hybrid denoising model using deep learning and sparse representation with application in bearing weak fault diagnosis | |
| KR101370018B1 (ko) | 제한된 벡터 양자화 | |
| Su et al. | High-Similarity-Pass Attention for Single Image Super-Resolution | |
| US20230341354A1 (en) | Intelligent inversion method for pipeline defects based on heterogeneous field signals | |
| Chen et al. | Unsupervised Fault Detection Driven by Multivariate Time Series for Aeroengines | |
| CN116310644A (zh) | 一种基于归一化流网络和编码器的异常检测方法及设备 | |
| CN115409126A (zh) | 基于t-cnn模型的时间序列分类改进方法 | |
| CN116304587A (zh) | 一种基于cae和agru的滚动轴承退化趋势预测方法 | |
| CN114359102A (zh) | 一种基于注意力机制与边缘引导的图像深度修复取证方法 | |
| KR102184655B1 (ko) | 비대칭 tanh 활성 함수를 이용한 예측 성능의 개선 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |