CN109492708A - 一种基于ls-knn的管道漏磁内检测缺失数据插补方法 - Google Patents
一种基于ls-knn的管道漏磁内检测缺失数据插补方法 Download PDFInfo
- Publication number
- CN109492708A CN109492708A CN201811451849.5A CN201811451849A CN109492708A CN 109492708 A CN109492708 A CN 109492708A CN 201811451849 A CN201811451849 A CN 201811451849A CN 109492708 A CN109492708 A CN 109492708A
- Authority
- CN
- China
- Prior art keywords
- data
- sample
- knn
- test
- valley
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000012360 testing method Methods 0.000 claims description 59
- 238000010606 normalization Methods 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 27
- 238000001514 detection method Methods 0.000 claims description 26
- 230000004907 flux Effects 0.000 claims description 19
- 230000007547 defect Effects 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 10
- 230000002159 abnormal effect Effects 0.000 claims description 9
- 238000003466 welding Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 230000000630 rising effect Effects 0.000 claims description 2
- 238000013480 data collection Methods 0.000 claims 1
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000003745 diagnosis Methods 0.000 abstract description 2
- 238000004088 simulation Methods 0.000 abstract 1
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 230000002950 deficient Effects 0.000 description 2
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000012271 agricultural production Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003345 natural gas Substances 0.000 description 1
- 239000003209 petroleum derivative Substances 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Investigating Or Analyzing Materials By The Use Of Magnetic Means (AREA)
Abstract
本发明提供一种基于LS‑KNN的管道漏磁内检测缺失数据插补方法，涉及故障诊断和人工智能技术领域。包括：对原始数据预处理后作为数据样本；提取样本数据特征；设定K值对模型进行训练，得到满足条件的KNN模型；归一化处理分到每类中的特征样本及其对应的数据集，再用最小二乘法对处理后的数据进行拟合建模；计算拟合结果的损失函数，设定误差阈值，令所有样本的长度相同，得到满足条件的LS拟合模型；将含缺失的数据输入到LS‑KNN回归器中，实现对缺失数据的插补；对插补结果进行反归一化得到最终的插补数据。本方法克服了实际数据的缺失随机性，并克服了训练样本与待插补样本维度不同的问题，同时提高了数据插补精度，对信号噪声具有很强的鲁棒性。
Description
技术领域
本发明涉及故障诊断和人工智能技术领域，具体涉及一种基于最小二乘-K-最近邻(LS-KNN)的管道漏磁内检测缺失数据插补方法。
背景技术
随着国家经济的不断发展，对能源的需求越来越多，其中石油、天然气是重要的能源和化工原料，对人民生活、工农业生产和国防建设都具有至关重要的作用。然而输油管道长期处于恶劣的工作环境中，管道表面的腐蚀现象越来越严重，可能导致管网泄露，容易引起燃烧爆炸等危害，会引起环境污染甚至造成人员伤亡等重大事故。
漏磁内检测技术是实际中最常用的管道无损检测方法之一，该方法具有易于实现自动化、检测速度快、效率高、成本低、无污染等优点。海底管道漏磁内检测仪把检测到的大量数据保存并记录下来，由于受传感器和环境等影响可能会产生一些异常和缺失，提高漏磁内检测信号的准确性和有效性的关键技术是对漏磁检测仪直接导出的漏磁信号进行预处理技术，其中重要的一部分是对缺失数据进行插补，数据插补保证了数据完整性，为后续拥有准确的数据处理和数据分析结果奠定基础，为输油管道的安全保驾护航。
漏磁内检测缺失数据插补，是通过对缺失数据周围信号的分析来预测未知值。数据插补的算法有很多，常用的数据插补算法有多项式插补法、回归插补法和多重插补法等，各插补法都具有一定的局限性，具体如下：
多项式插补法：(1)对周围数据特征不明显的情况无法确定准确的多项式模型，很难实现准确的插补；(2)在插补数据的边缘可能会产生振铃现象；(3)若数据缺失较多，插补结果可能会产生很大的误差。
回归插补法：(1)该方法的假设前提是无回答变量与所选取的辅助变量存在一定的线性关系，但是这种线性关系并不是在所有情形下都是成立的；(2)该方法在使用时容易忽略对随机误差项的处理，即使回归插补的参数估计是无偏的，但由于忽略误差项的处理方式也会导致各种可能的测量值。
多重插补法：(1)多重插补法随着待插补的数据量的增量，可能陷入局部最优；(2)多重插补法的算法复杂度相对较高，运算速率可能受到很大影响。
发明内容
针对现有技术存在的问题，本发明提供一种基于LS-KNN的管道漏磁内检测缺失数据插补方法，在漏磁数据中，对于无缺陷数据的数据特征，用最小二乘法(LS)对其进行线性拟合建模，对于缺陷数据，则用最小二乘法进行非线性拟合建模，再用最小二乘算法对训练样本与待插补数据建立线性拟合模型，最后将K-最近邻(KNN)算法的每个类别中加入两个最小二乘线性回归模型，实现对漏磁缺失数据的插补，解决了数据样本维度不同，漏磁缺陷处数据缺失、数据缺失量较大等问题。
为了实现上述目的，一种基于LS-KNN的管道漏磁内检测缺失数据插补方法，包括以下步骤：
步骤1：从海底管道漏磁检测仪中直接采集原始漏磁检测数据，并且对数据进行预处理，包括二次基线校正和异常数据剔除，具体步骤如下：
步骤1.1：对采集到的原始漏磁检测数据进行基线校正；
步骤1.2：根据管道的焊缝位置对管道进行分段，具体步骤如下：
步骤1.2.1：令通道数量m＝1；
步骤1.2.2：求取管道漏磁内检测数据单通道的均方差；
步骤1.2.3：判断管道的均方差是否小于3s准则的最大阈值，若是，则令m＝m+1，返回步骤1.2.2，若否，则认定当前通道为管道的焊缝位置并在此处对管道进行分段；
步骤1.2.4：分别将每段管道的异常值进行剔除；
步骤1.3：对剔除异常值后的数据进行二次基线校正；
步骤2：分析漏磁数据不同数据的特征，对样本数据进行特征提取，得到法兰数据特征样本T1、焊缝数据特征样本T2、缺陷数据特征样本T3和正常数据特征样本T4，特征样本Ti对应的数据集为Di，其中，i＝1，...，4，具体步骤如下：
步骤2.1：人工提取训练样本的特征样本Ti＝(Xi1，Xi2，…，Xi7，Xi8)，共提取8个特征，分别是数据的左谷值、右谷值、谷宽度、峰值、左峰谷差、右峰谷差、微分左峰值和微分右峰值；
所述左谷值、右谷值和谷宽度用于反映数据缺陷的宽度；
所述峰值、左峰谷差和右峰谷差用于反映数据缺陷的高度；
所述微分左峰值和微分右峰值用于反映缺陷数据上升和下降的斜率最值；
步骤2.2：人工提取测试样本的特征样本Ti′＝(X′i1，X′i2，…，X′i7，X′i8)，同样提取8个特征，分别是数据的左谷值、右谷值、谷宽度、峰值、左峰谷差、右峰谷差、微分左峰值和微分右峰值；
步骤2.3：人工提取待插补数据的特征样本Ti″＝(X″i1，X″i2，…，X″i7，X″i8)，同样提取8个特征，分别是数据的左谷值、右谷值、谷宽度、峰值、左峰谷差、右峰谷差、微分左峰值和微分右峰值；
步骤3：将特征样本Ti分为两部分，一部分特征样本TTrain用于训练KNN模型，另一部分特征样本TTest用于测试KNN模型，得到训练完成的KNN模型，具体步骤如下：
步骤3.1：将特征样本Ti分为两部分，一部分特征样本TTrain用于训练KNN模型，另一部分特征样本TTest用于测试KNN模型；
步骤3.2：随机选取KNN模型中K值的初始值；
步骤3.3：将特征样本TTrain输入到KNN模型中，训练KNN模型；
步骤3.4：将特征样本TTest输入到训练完成的KNN模型中，计算模型的判别错误率；
步骤3.5：判断模型的判别错误率是否小于误差阈值，若是，则输出训练完成的KNN模型，若否，则调整KNN模型中的K值，返回步骤3.3；
步骤4：对于分到每类中的特征样本Ti，其中，i＝1，...，4，其对应的数据集为Di，对数据集Di进行归一化处理得到D′i，再用最小二乘法对归一化处理后的数据集D′i进行拟合建模得到D″i，具体步骤如下：
步骤4.1：将特征样本Ti进行归一化处理，得到归一化处理后的特征样本Ti′；
步骤4.2：对特征样本Ti对应的数据集Di进行归一化处理，使所有样本数据都在0-1之间，得到归一化处理后的数据集D′i；
步骤4.3：根据归一化处理后的数据集D′i中的样本数据长度，将样本数据按照从小到大的顺序排序l1，l2，...，ln，取最小样本数据长度l1为第i组样本数据的标准长度；
步骤4.4：利用最小二乘法对归一化处理后的数据集D′i中的每个样本数据以l1为样本数据长度进行拟合建模，得到拟合建模后的数据集D″i；
步骤5：计算步骤4中对测试数据的拟合结果的损失函数，设定误差阈值P，调整设定的横坐标长度，令所有样本的长度相同，确定最终LS拟合模型，具体步骤如下：
步骤5.1：将测试特征样本数据TTest进行归一化处理，得到归一化处理后的试特特征样本T′Test；
步骤5.2：对测试特征样本数据TTest对应的数据集DTest进行归一化处理，使所有样本数据都在0-1之间，得到归一化处理后的数据集D′Test；
步骤5.3：根据归一化处理后的特征样本Ti′与测试特征样本T′Test之间的最小二乘拟合系数以及预测D′Test，得到缺失数据的预测结果A′；
步骤5.4：建立测试数据拟合结果的损失函数L(A′)；
所述损失函数L(A′)的公式如下；
步骤5.5：计算预测结果的损失函数；
步骤5.6：判断预测结果的损失函数值是否大于设定误差阈值P，若是，则将样本标准长度l1调整为l2，返回步骤4.4，若否，则输出建立完成的LS拟合模型；
步骤6：将含缺失的数据输入到LS-KNN回归器中，实现对缺失数据的插补；
步骤7：对步骤6中插补后的数据进行反归一化处理，实现对缺失数据的插补。
本发明的有益效果：
本发明提出一种基于LS-KNN的管道漏磁内检测缺失数据插补方法，通过KNN分类算法，判别缺失数据缺失位置。调整训练样本横坐标，采用最小二乘算法，实现两次建模，克服了实际数据的缺失随机性，并克服了训练样本与待插补样本维度不同的问题，同时提高了数据插补精度，对信号噪声具有很强的鲁棒性。
附图说明
图1为本发明实施例中基于LS-KNN的管道漏磁内检测缺失数据插补方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优势更加清晰，下面结合附图和具体实施例对本发明做进一步详细说明。此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
一种基于LS-KNN的管道漏磁内检测缺失数据插补方法，流程如图1所示，包括以下步骤：
步骤1：从海底管道漏磁检测仪中直接采集原始漏磁检测数据，并且对数据进行预处理，包括二次基线校正和异常数据剔除，具体步骤如下：
步骤1.1：对采集到的原始漏磁检测数据进行基线校正。
本实施例中，所述基线校正的公式如公式(1)所示：
其中，m为通道数量，k为里程计数点数量，xpq为第q通道在第p里程计数点位置的原始值，其中q＝1，2，...，m，x′pq为第q通道在第p里程计数点位置的校正后的值，s为所有通道的中值。
本实施例中，取通道数量m为72。
步骤1.2：根据管道的焊缝位置对管道进行分段，具体步骤如下：
步骤1.2.1：令通道数量m＝1。
步骤1.2.2：求取管道漏磁内检测数据单通道的均方差。
本实施例中，求取均方差的公式如公式(2)所示：
其中，STD为管道漏磁内检测数据单通道的均方差，μ为在第p里程计数点位置的所有通道数据均值。
步骤1.2.3：判断管道的均方差是否小于3s准则的最大阈值，若是，则令m＝m+1，返回步骤1.2.2，若否，则认定当前通道为管道的焊缝位置并在此处对管道进行分段。
本实施例中，3s准则的最大阈值设为整段管道的均值。
步骤1.2.4：分别将每段管道的异常值进行剔除。
步骤1.3：采用公式(1)对剔除异常值后的数据进行二次校正。
步骤2：分析漏磁数据不同数据的特征，对样本数据进行特征提取，得到法兰数据特征样本T1、焊缝数据特征样本T2、缺陷数据特征样本T3和正常数据特征样本T4，特征样本Ti对应的数据集为Di，其中，i＝1，...，4，具体步骤如下：
步骤2.1：人工提取训练样本的特征样本Ti＝(Xi1，Xi2，…，Xi7，Xi8)，共提取8个特征，分别是数据的左谷值、右谷值、谷宽度、峰值、左峰谷差、右峰谷差、微分左峰值和微分右峰值。
所述左谷值、右谷值和谷宽度用于反映数据缺陷的宽度。
所述峰值、左峰谷差和右峰谷差用于反映数据缺陷的高度。
所述微分左峰值和微分右峰值用于反映缺陷数据上升和下降的斜率最值。
步骤2.2：人工提取测试样本的特征样本Ti′＝(X′i1，X′i2，…，X′i7，X′i8)，同样提取8个特征，分别是数据的左谷值、右谷值、谷宽度、峰值、左峰谷差、右峰谷差、微分左峰值和微分右峰值。
步骤2.3：人工提取待插补数据的特征样本Ti″＝(X″i1，X″i2，…，X″i7，X″i8)，同样提取8个特征，分别是数据的左谷值、右谷值、谷宽度、峰值、左峰谷差、右峰谷差、微分左峰值和微分右峰值。
步骤3：将特征样本Ti分为两部分，一部分特征样本TTrain用于训练KNN模型，另一部分特征样本TTest用于测试KNN模型，得到训练完成的KNN模型，具体步骤如下：
步骤3.1：将特征样本Ti分为两部分，一部分特征样本TTrain用于训练KNN模型，另一部分特征样本TTest用于测试KNN模型。
本实施例中，取特征样本TTrain＝80％*Ti用于训练KNN模型，则其余的特征样本TTest＝Ti-TTrain用于测试KNN模型。
步骤3.2：随机选取KNN模型中K值的初始值。
本实施例中，取K＝5作为KNN模型中K值的初始值。
步骤3.3：将特征样本TTrain输入到KNN模型中，训练KNN模型。
步骤3.4：将特征样本TTest输入到训练完成的KNN模型中，计算模型的判别错误率。
步骤3.5：判断模型的判别错误率是否小于误差阈值，若是，则输出训练完成的KNN模型，若否，则调整KNN模型中的K值，返回步骤3.3。
本实施例中，取误差阈值δ＝10％，对KNN模型的训练采用5折交叉验证法。
步骤4：对于分到每类中的特征样本Ti，其中，i＝1，...，4，其对应的数据集为Di，对数据集Di进行归一化处理得到D′i，再用最小二乘法对归一化处理后的数据集D′i进行拟合建模得到D″i，具体步骤如下：
步骤4.1：将特征样本Ti进行归一化处理，得到归一化处理后的特征样本Ti′。
本实施例中，归一化处理的公式如公式(3)所示：
其中，为特征样本Ti的平均值，max(Ti)为特征样本Ti的最大值，min(Ti)为特征样本Ti的最小值。
步骤4.2：对特征样本Ti对应的数据集Di进行归一化处理，使所有样本数据都在0-1之间，得到归一化处理后的数据集D′i。
本实施例中，归一化处理的公式如公式(4)所示：
其中，为数据集Di的平均值，max(Di)为数据集Di的最大值，min(Di)为数据集Di的最小值。
步骤4.3：根据归一化处理后的数据集D′i中的样本数据长度，将样本数据按照从小到大的顺序排序l1，l2，...，ln，取最小样本数据长度l1为第i组样本数据的标准长度。
步骤4.4：利用最小二乘法对归一化处理后的数据集D′i中的每个样本数据以l1为样本数据长度进行拟合建模，得到拟合建模后的数据集D″i。
本实施例中，最小二乘法的原则如下：令D′i＝[f(1)，f(2)，...，f(li)]，则其中，映射函数f根据不同类型数据特征而确定。
步骤5：计算步骤4中对测试数据的拟合结果的损失函数，设定误差阈值P，调整设定的横坐标长度，令所有样本的长度相同，确定最终LS拟合模型，具体步骤如下：
步骤5.1：将测试特征样本数据TTest采用类似公式(3)所示的方式进行归一化处理，得到归一化处理后的试特特征样本T′Test。
步骤5.2：对测试特征样本数据TTest对应的数据集DTest采用类似公式(4)所示的方式进行归一化处理，使所有样本数据都在0-1之间，得到归一化处理后的数据集D′Test。
步骤5.3：根据归一化处理后的特征样本Ti′与测试特征样本T′Test之间的最小二乘拟合系数以及预测D′Test，得到缺失数据的预测结果A′。
本实施例中，计算缺失数据的预测结果A′的公式如公式(5)所示：
A′＝C·Di′ (5)
其中，C为特征转移矩阵，其计算公式如公式(6)-公式(7)所示：
步骤5.4：建立测试数据拟合结果的损失函数L(A′)。
所述损失函数L(A′)的公式如公式(9)所示；
步骤5.5：计算预测结果的损失函数。
步骤5.6：判断预测结果的损失函数值是否大于设定误差阈值P，若是，则将样本标准长度l1调整为l2，返回步骤4.4，若否，则输出建立完成的LS拟合模型。
本实施例中，取误差阈值P为。
步骤6：将含缺失的数据输入到LS-KNN回归器中，实现对缺失数据的插补。
步骤7：对步骤6中插补后的数据进行反归一化处理，实现对缺失数据的插补。
本实施例中，反归一化的公式如公式(10)所示：
其中，A的最大值，最小值和均值分别取未缺失的数据的最大值、最小值和均值。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；因而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。
Claims (5)
1.一种基于LS-KNN的管道漏磁内检测缺失数据插补方法，其特征在于，包括以下步骤：
步骤1：从海底管道漏磁检测仪中直接采集原始漏磁检测数据，并且对数据进行预处理，包括二次基线校正和异常数据剔除；
步骤2：分析漏磁数据不同数据的特征，对样本数据进行特征提取，得到法兰数据特征样本T1、焊缝数据特征样本T2、缺陷数据特征样本T3和正常数据特征样本T4，特征样本Ti对应的数据集为Di，其中，i＝1，...，4；
步骤3：将特征样本Ti分为两部分，一部分特征样本TTrain用于训练KNN模型，另一部分特征样本TTest用于测试KNN模型，得到训练完成的KNN模型；
步骤4：对于分到每类中的特征样本Ti，其中，i＝1，...，4，其对应的数据集为Di，对数据集Di进行归一化处理得到D′i，再用最小二乘法对归一化处理后的数据集D′i进行拟合建模得到D″i，具体步骤如下：
步骤4.1：将特征样本Ti进行归一化处理，得到归一化处理后的特征样本Ti′；
步骤4.2：对特征样本Ti对应的数据集Di进行归一化处理，使所有样本数据都在0-1之间，得到归一化处理后的数据集D′i；
步骤4.3：根据归一化处理后的数据集D′i中的样本数据长度，将样本数据按照从小到大的顺序排序l1，l2，...，ln，取最小样本数据长度l1为第i组样本数据的标准长度；
步骤4.4：利用最小二乘法对归一化处理后的数据集D′i中的每个样本数据以l1为样本数据长度进行拟合建模，得到拟合建模后的数据集D″i；
步骤5：计算步骤4中对测试数据的拟合结果的损失函数，设定误差阈值P，调整设定的横坐标长度，令所有样本的长度相同，确定最终LS拟合模型，具体步骤如下：
步骤5.1：将测试特征样本数据TTest进行归一化处理，得到归一化处理后的试特特征样本T′Test；
步骤5.2：对测试特征样本数据TTest对应的数据集DTest进行归一化处理，使所有样本数据都在0-1之间，得到归一化处理后的数据集D′Test；
步骤5.3：根据归一化处理后的特征样本Ti′与测试特征样本T′Test之间的最小二乘拟合系数以及预测D′Test，得到缺失数据的预测结果A′；
步骤5.4：建立测试数据拟合结果的损失函数L(A′)；
所述损失函数L(A′)的公式如下；
步骤5.5：计算预测结果的损失函数；
步骤5.6：判断预测结果的损失函数值是否大于设定误差阈值P，若是，则将样本标准长度l1调整为lx，返回步骤4.4，若否，则输出建立完成的LS拟合模型；
步骤6：将含缺失的数据输入到LS-KNN回归器中，实现对缺失数据的插补；
步骤7：对步骤6中插补后的数据进行反归一化处理，实现对缺失数据的插补。
2.根据权利要求1所述的基于LS-KNN的管道漏磁内检测缺失数据插补方法，其特征在于，所述步骤1包括以下步骤：
步骤1.1：对采集到的原始漏磁检测数据进行基线校正；
步骤1.2：根据管道的焊缝位置对管道进行分段；
步骤1.3：对剔除异常值后的数据进行二次基线校正。
3.根据权利要求2所述的基于LS-KNN的管道漏磁内检测缺失数据插补方法，其特征在于，所述步骤1.2包括以下步骤：
步骤1.2.1：令通道数量m＝1；
步骤1.2.2：求取管道漏磁内检测数据单通道的均方差；
步骤1.2.3：判断管道的均方差是否小于3s准则的最大阈值，若是，则令m＝m+1，返回步骤1.2.2，若否，则认定当前通道为管道的焊缝位置并在此处对管道进行分段；
步骤1.2.4：分别将每段管道的异常值进行剔除。
4.根据权利要求1所述的基于LS-KNN的管道漏磁内检测缺失数据插补方法，其特征在于，所述步骤2包括以下步骤：
步骤2.1：人工提取训练样本的特征样本Ti＝(Xi1，Xi2，…，Xi7，Xi8)，共提取8个特征，分别是数据的左谷值、右谷值、谷宽度、峰值、左峰谷差、右峰谷差、微分左峰值和微分右峰值；
所述左谷值、右谷值和谷宽度用于反映数据缺陷的宽度；
所述峰值、左峰谷差和右峰谷差用于反映数据缺陷的高度；
所述微分左峰值和微分右峰值用于反映缺陷数据上升和下降的斜率最值；
步骤2.2：人工提取测试样本的特征样本Ti′＝(X′i1，X′i2，…，X′i7，X′i8)，同样提取8个特征，分别是数据的左谷值、右谷值、谷宽度、峰值、左峰谷差、右峰谷差、微分左峰值和微分右峰值；
步骤2.3：人工提取待插补数据的特征样本Ti″＝(X″i1，X″i2，…，X″i7，X″i8)，同样提取8个特征，分别是数据的左谷值、右谷值、谷宽度、峰值、左峰谷差、右峰谷差、微分左峰值和微分右峰值。
5.根据权利要求1所述的基于LS-KNN的管道漏磁内检测缺失数据插补方法，其特征在于，所述步骤3包括以下步骤：
步骤3.1：将特征样本Ti分为两部分，一部分特征样本TTrain用于训练KNN模型，另一部分特征样本TTest用于测试KNN模型；
步骤3.2：随机选取KNN模型中K值的初始值；
步骤3.3：将特征样本TTrain输入到KNN模型中，训练KNN模型；
步骤3.4：将特征样本TTest输入到训练完成的KNN模型中，计算模型的判别错误率；
步骤3.5：判断模型的判别错误率是否小于误差阈值，若是，则输出训练完成的KNN模型，若否，则调整KNN模型中的K值，返回步骤3.3。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811451849.5A CN109492708B (zh) | 2018-11-30 | 2018-11-30 | 一种基于ls-knn的管道漏磁内检测缺失数据插补方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811451849.5A CN109492708B (zh) | 2018-11-30 | 2018-11-30 | 一种基于ls-knn的管道漏磁内检测缺失数据插补方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109492708A true CN109492708A (zh) | 2019-03-19 |
| CN109492708B CN109492708B (zh) | 2021-04-02 |
Family
ID=65698726
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811451849.5A Active CN109492708B (zh) | 2018-11-30 | 2018-11-30 | 一种基于ls-knn的管道漏磁内检测缺失数据插补方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109492708B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110929376A (zh) * | 2019-10-22 | 2020-03-27 | 东北大学 | 一种基于gan的管道漏磁检测数据缺失的重构方法 |
| CN110991566A (zh) * | 2019-12-26 | 2020-04-10 | 东北石油大学 | 通过信息融合方式进行风力发电机故障诊断的方法和装置 |
| CN112818495A (zh) * | 2021-02-22 | 2021-05-18 | 成都四为电子信息股份有限公司 | 一种新型管道压降测算算法参数的动态修正方法 |
| CN114169500A (zh) * | 2021-11-30 | 2022-03-11 | 电子科技大学 | 一种基于小规模电磁数据的神经网络模型处理方法 |
| CN114613491A (zh) * | 2022-03-09 | 2022-06-10 | 曜立科技(北京)有限公司 | 一种用于超声心动图测量结果的诊断决策系统 |
| CN115081485A (zh) * | 2022-07-04 | 2022-09-20 | 中特检深燃安全技术服务(深圳)有限公司 | 一种基于ai的漏磁内检测数据自动分析方法 |
| KR20230099345A (ko) * | 2021-12-27 | 2023-07-04 | 군산대학교산학협력단 | 손실 데이터 추정 기능을 구비한 풍력 터빈 블레이드 디본딩 손상 분석 방법 |
| CN117609706A (zh) * | 2023-10-20 | 2024-02-27 | 北京师范大学 | 一种碳水通量数据插补的方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1458442A (zh) * | 2003-05-14 | 2003-11-26 | 天津大学 | 管道缺陷漏磁检测数据的分析方法 |
| US20060076951A1 (en) * | 2004-10-07 | 2006-04-13 | Battelle Memorial Institute | Pipeline inspection apparatus and method |
| CN104516879A (zh) * | 2013-09-26 | 2015-04-15 | Sap欧洲公司 | 用于管理含有具有缺失值的记录的数据库的方法和系统 |
| CN106645384A (zh) * | 2016-09-23 | 2017-05-10 | 东北大学 | 一种管道漏磁内检测器数据的自适应滤波方法 |
| CN108710121A (zh) * | 2018-05-30 | 2018-10-26 | 佛山市顺德区中山大学研究院 | 一种基于相位差的kNN指纹定位算法 |
-
2018
- 2018-11-30 CN CN201811451849.5A patent/CN109492708B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1458442A (zh) * | 2003-05-14 | 2003-11-26 | 天津大学 | 管道缺陷漏磁检测数据的分析方法 |
| US20060076951A1 (en) * | 2004-10-07 | 2006-04-13 | Battelle Memorial Institute | Pipeline inspection apparatus and method |
| CN104516879A (zh) * | 2013-09-26 | 2015-04-15 | Sap欧洲公司 | 用于管理含有具有缺失值的记录的数据库的方法和系统 |
| CN106645384A (zh) * | 2016-09-23 | 2017-05-10 | 东北大学 | 一种管道漏磁内检测器数据的自适应滤波方法 |
| CN108710121A (zh) * | 2018-05-30 | 2018-10-26 | 佛山市顺德区中山大学研究院 | 一种基于相位差的kNN指纹定位算法 |
Non-Patent Citations (3)
| Title |
|---|
| BIN LIU ET.AL.: ""The axial crack testing model for long distance oil-gas pipeline based on magnetic flux leakage internal inspection method"", 《MEASUREMENT》 * |
| GANG CHANG，YI ZHANG ET.AL.: ""Missing Data Imputation for Traffic Flow Based on Improved Local Least Squares"", 《TSINGHUA SCIENCE AND TECHNOLOGY》 * |
| 张晓琴等: ""基于主成分分析的成分数据缺失值插补法"", 《应用概率统计》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110929376B (zh) * | 2019-10-22 | 2023-10-20 | 东北大学 | 一种基于gan的管道漏磁检测数据缺失的重构方法 |
| CN110929376A (zh) * | 2019-10-22 | 2020-03-27 | 东北大学 | 一种基于gan的管道漏磁检测数据缺失的重构方法 |
| CN110991566B (zh) * | 2019-12-26 | 2022-09-27 | 东北石油大学 | 通过信息融合方式进行风力发电机故障诊断的方法和装置 |
| CN110991566A (zh) * | 2019-12-26 | 2020-04-10 | 东北石油大学 | 通过信息融合方式进行风力发电机故障诊断的方法和装置 |
| CN112818495A (zh) * | 2021-02-22 | 2021-05-18 | 成都四为电子信息股份有限公司 | 一种新型管道压降测算算法参数的动态修正方法 |
| CN114169500A (zh) * | 2021-11-30 | 2022-03-11 | 电子科技大学 | 一种基于小规模电磁数据的神经网络模型处理方法 |
| CN114169500B (zh) * | 2021-11-30 | 2023-04-18 | 电子科技大学 | 一种基于小规模电磁数据的神经网络模型处理方法 |
| KR20230099345A (ko) * | 2021-12-27 | 2023-07-04 | 군산대학교산학협력단 | 손실 데이터 추정 기능을 구비한 풍력 터빈 블레이드 디본딩 손상 분석 방법 |
| KR102663166B1 (ko) | 2021-12-27 | 2024-05-03 | 국립군산대학교산학협력단 | 손실 데이터 추정 기능을 구비한 풍력 터빈 블레이드 디본딩 손상 분석 방법 |
| CN114613491B (zh) * | 2022-03-09 | 2022-09-06 | 曜立科技(北京)有限公司 | 一种用于超声心动图测量结果的诊断决策系统 |
| CN114613491A (zh) * | 2022-03-09 | 2022-06-10 | 曜立科技(北京)有限公司 | 一种用于超声心动图测量结果的诊断决策系统 |
| CN115081485A (zh) * | 2022-07-04 | 2022-09-20 | 中特检深燃安全技术服务(深圳)有限公司 | 一种基于ai的漏磁内检测数据自动分析方法 |
| CN117609706A (zh) * | 2023-10-20 | 2024-02-27 | 北京师范大学 | 一种碳水通量数据插补的方法 |
| CN117609706B (zh) * | 2023-10-20 | 2024-06-04 | 北京师范大学 | 一种碳水通量数据插补的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109492708B (zh) | 2021-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109492708B (zh) | 一种基于ls-knn的管道漏磁内检测缺失数据插补方法 | |
| CN109783906B (zh) | 一种管道内检测漏磁数据智能分析系统及方法 | |
| CN104063588B (zh) | 基于多源数据融合的管道腐蚀缺陷尺寸的预测方法 | |
| Romano et al. | Automated detection of pipe bursts and other events in water distribution systems | |
| Laucelli et al. | Detecting anomalies in water distribution networks using EPR modelling paradigm | |
| CN107301617B (zh) | 一种评估废气监测数据质量的方法及设备 | |
| Branisavljević et al. | Improved real-time data anomaly detection using context classification | |
| CN101246645A (zh) | 一种识别离群交通数据的方法 | |
| CN106090626B (zh) | 一种供水管网异常侦测方法 | |
| CN111367959B (zh) | 一种零时滞非线性扩展Granger因果分析方法 | |
| CN115824519B (zh) | 基于多传感器信息融合的阀门泄露故障综合诊断方法 | |
| CN112097125B (zh) | 一种基于自适应校核的供水管网爆管侦测及定位方法 | |
| CN115935241B (zh) | 一种多参数相互融合的清管器实时定位方法及装置 | |
| CN114091320B (zh) | 一种天然气管道腐蚀失效时间预测方法及装置 | |
| CN110619691B (zh) | 一种板坯表面裂纹的预测方法及装置 | |
| CN109632942B (zh) | 一种基于集成学习的管道缺陷尺寸的反演方法 | |
| CN111365624A (zh) | 一种输卤管道泄漏检测的智能终端与方法 | |
| CN114778684A (zh) | 一种基于服役场景的钢管性能评估方法及系统 | |
| CN115063337A (zh) | 埋地管道智能维修决策方法及装置 | |
| CN114330120A (zh) | 一种基于深度神经网络预测24小时pm2.5浓度的方法 | |
| CN116975763A (zh) | 一种基于双谱和卷积神经网络的供水管网异常诊断方法 | |
| CN116452574A (zh) | 一种基于改进YOLOv7的缝隙检测方法、系统和存储介质 | |
| CN113836813B (zh) | 一种基于数据分析的高炉风口漏水检测方法 | |
| CN110082424B (zh) | 一种快速管道漏磁数据多尺度异常区域推荐系统及方法 | |
| CN114199992A (zh) | 一种储油罐罐壁腐蚀检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |