CN109492708A - 一种基于ls-knn的管道漏磁内检测缺失数据插补方法 - Google Patents

Abstract

本发明提供一种基于LS‑KNN的管道漏磁内检测缺失数据插补方法，涉及故障诊断和人工智能技术领域。包括：对原始数据预处理后作为数据样本；提取样本数据特征；设定K值对模型进行训练，得到满足条件的KNN模型；归一化处理分到每类中的特征样本及其对应的数据集，再用最小二乘法对处理后的数据进行拟合建模；计算拟合结果的损失函数，设定误差阈值，令所有样本的长度相同，得到满足条件的LS拟合模型；将含缺失的数据输入到LS‑KNN回归器中，实现对缺失数据的插补；对插补结果进行反归一化得到最终的插补数据。本方法克服了实际数据的缺失随机性，并克服了训练样本与待插补样本维度不同的问题，同时提高了数据插补精度，对信号噪声具有很强的鲁棒性。

Description

一种基于LS-KNN的管道漏磁内检测缺失数据插补方法

技术领域

本发明涉及故障诊断和人工智能技术领域，具体涉及一种基于最小二乘-K-最近邻(LS-KNN)的管道漏磁内检测缺失数据插补方法。

背景技术

随着国家经济的不断发展，对能源的需求越来越多，其中石油、天然气是重要的能源和化工原料，对人民生活、工农业生产和国防建设都具有至关重要的作用。然而输油管道长期处于恶劣的工作环境中，管道表面的腐蚀现象越来越严重，可能导致管网泄露，容易引起燃烧爆炸等危害，会引起环境污染甚至造成人员伤亡等重大事故。

漏磁内检测技术是实际中最常用的管道无损检测方法之一，该方法具有易于实现自动化、检测速度快、效率高、成本低、无污染等优点。海底管道漏磁内检测仪把检测到的大量数据保存并记录下来，由于受传感器和环境等影响可能会产生一些异常和缺失，提高漏磁内检测信号的准确性和有效性的关键技术是对漏磁检测仪直接导出的漏磁信号进行预处理技术，其中重要的一部分是对缺失数据进行插补，数据插补保证了数据完整性，为后续拥有准确的数据处理和数据分析结果奠定基础，为输油管道的安全保驾护航。

漏磁内检测缺失数据插补，是通过对缺失数据周围信号的分析来预测未知值。数据插补的算法有很多，常用的数据插补算法有多项式插补法、回归插补法和多重插补法等，各插补法都具有一定的局限性，具体如下：

多项式插补法：(1)对周围数据特征不明显的情况无法确定准确的多项式模型，很难实现准确的插补；(2)在插补数据的边缘可能会产生振铃现象；(3)若数据缺失较多，插补结果可能会产生很大的误差。

回归插补法：(1)该方法的假设前提是无回答变量与所选取的辅助变量存在一定的线性关系，但是这种线性关系并不是在所有情形下都是成立的；(2)该方法在使用时容易忽略对随机误差项的处理，即使回归插补的参数估计是无偏的，但由于忽略误差项的处理方式也会导致各种可能的测量值。

多重插补法：(1)多重插补法随着待插补的数据量的增量，可能陷入局部最优；(2)多重插补法的算法复杂度相对较高，运算速率可能受到很大影响。

发明内容

针对现有技术存在的问题，本发明提供一种基于LS-KNN的管道漏磁内检测缺失数据插补方法，在漏磁数据中，对于无缺陷数据的数据特征，用最小二乘法(LS)对其进行线性拟合建模，对于缺陷数据，则用最小二乘法进行非线性拟合建模，再用最小二乘算法对训练样本与待插补数据建立线性拟合模型，最后将K-最近邻(KNN)算法的每个类别中加入两个最小二乘线性回归模型，实现对漏磁缺失数据的插补，解决了数据样本维度不同，漏磁缺陷处数据缺失、数据缺失量较大等问题。

为了实现上述目的，一种基于LS-KNN的管道漏磁内检测缺失数据插补方法，包括以下步骤：

步骤1：从海底管道漏磁检测仪中直接采集原始漏磁检测数据，并且对数据进行预处理，包括二次基线校正和异常数据剔除，具体步骤如下：

步骤1.1：对采集到的原始漏磁检测数据进行基线校正；

步骤1.2：根据管道的焊缝位置对管道进行分段，具体步骤如下：

步骤1.2.1：令通道数量m＝1；

步骤1.2.2：求取管道漏磁内检测数据单通道的均方差；

步骤1.2.3：判断管道的均方差是否小于3s准则的最大阈值，若是，则令m＝m+1，返回步骤1.2.2，若否，则认定当前通道为管道的焊缝位置并在此处对管道进行分段；

步骤1.2.4：分别将每段管道的异常值进行剔除；

步骤1.3：对剔除异常值后的数据进行二次基线校正；

步骤2：分析漏磁数据不同数据的特征，对样本数据进行特征提取，得到法兰数据特征样本T₁、焊缝数据特征样本T₂、缺陷数据特征样本T₃和正常数据特征样本T₄，特征样本T_i对应的数据集为D_i，其中，i＝1，...，4，具体步骤如下：

步骤2.1：人工提取训练样本的特征样本T_i＝(X_i1，X_i2，…，X_i7，X_i8)，共提取8个特征，分别是数据的左谷值、右谷值、谷宽度、峰值、左峰谷差、右峰谷差、微分左峰值和微分右峰值；

所述左谷值、右谷值和谷宽度用于反映数据缺陷的宽度；

所述峰值、左峰谷差和右峰谷差用于反映数据缺陷的高度；

所述微分左峰值和微分右峰值用于反映缺陷数据上升和下降的斜率最值；

步骤2.2：人工提取测试样本的特征样本T_i′＝(X′_i1，X′_i2，…，X′_i7，X′_i8)，同样提取8个特征，分别是数据的左谷值、右谷值、谷宽度、峰值、左峰谷差、右峰谷差、微分左峰值和微分右峰值；

步骤2.3：人工提取待插补数据的特征样本T_i″＝(X″_i1，X″_i2，…，X″_i7，X″_i8)，同样提取8个特征，分别是数据的左谷值、右谷值、谷宽度、峰值、左峰谷差、右峰谷差、微分左峰值和微分右峰值；

步骤3：将特征样本T_i分为两部分，一部分特征样本T_Train用于训练KNN模型，另一部分特征样本T_Test用于测试KNN模型，得到训练完成的KNN模型，具体步骤如下：

步骤3.1：将特征样本T_i分为两部分，一部分特征样本T_Train用于训练KNN模型，另一部分特征样本T_Test用于测试KNN模型；

步骤3.2：随机选取KNN模型中K值的初始值；

步骤3.3：将特征样本T_Train输入到KNN模型中，训练KNN模型；

步骤3.4：将特征样本T_Test输入到训练完成的KNN模型中，计算模型的判别错误率；

步骤3.5：判断模型的判别错误率是否小于误差阈值，若是，则输出训练完成的KNN模型，若否，则调整KNN模型中的K值，返回步骤3.3；

步骤4：对于分到每类中的特征样本T_i，其中，i＝1，...，4，其对应的数据集为D_i，对数据集D_i进行归一化处理得到D′_i，再用最小二乘法对归一化处理后的数据集D′_i进行拟合建模得到D″_i，具体步骤如下：

步骤4.1：将特征样本T_i进行归一化处理，得到归一化处理后的特征样本T_i′；

步骤4.2：对特征样本T_i对应的数据集D_i进行归一化处理，使所有样本数据都在0-1之间，得到归一化处理后的数据集D′_i；

步骤4.3：根据归一化处理后的数据集D′_i中的样本数据长度，将样本数据按照从小到大的顺序排序l₁，l₂，...，l_n，取最小样本数据长度l₁为第i组样本数据的标准长度；

步骤4.4：利用最小二乘法对归一化处理后的数据集D′_i中的每个样本数据以l₁为样本数据长度进行拟合建模，得到拟合建模后的数据集D″_i；

步骤5：计算步骤4中对测试数据的拟合结果的损失函数，设定误差阈值P，调整设定的横坐标长度，令所有样本的长度相同，确定最终LS拟合模型，具体步骤如下：

步骤5.1：将测试特征样本数据T_Test进行归一化处理，得到归一化处理后的试特特征样本T′_Test；

步骤5.2：对测试特征样本数据T_Test对应的数据集D_Test进行归一化处理，使所有样本数据都在0-1之间，得到归一化处理后的数据集D′_Test；

步骤5.3：根据归一化处理后的特征样本T_i′与测试特征样本T′_Test之间的最小二乘拟合系数以及预测D′_Test，得到缺失数据的预测结果A′；

步骤5.4：建立测试数据拟合结果的损失函数L(A′)；

所述损失函数L(A′)的公式如下；

步骤5.5：计算预测结果的损失函数；

步骤5.6：判断预测结果的损失函数值是否大于设定误差阈值P，若是，则将样本标准长度l₁调整为l₂，返回步骤4.4，若否，则输出建立完成的LS拟合模型；

步骤6：将含缺失的数据输入到LS-KNN回归器中，实现对缺失数据的插补；

步骤7：对步骤6中插补后的数据进行反归一化处理，实现对缺失数据的插补。

本发明的有益效果：

本发明提出一种基于LS-KNN的管道漏磁内检测缺失数据插补方法，通过KNN分类算法，判别缺失数据缺失位置。调整训练样本横坐标，采用最小二乘算法，实现两次建模，克服了实际数据的缺失随机性，并克服了训练样本与待插补样本维度不同的问题，同时提高了数据插补精度，对信号噪声具有很强的鲁棒性。

附图说明

图1为本发明实施例中基于LS-KNN的管道漏磁内检测缺失数据插补方法的流程图。

具体实施方式

为了使本发明的目的、技术方案及优势更加清晰，下面结合附图和具体实施例对本发明做进一步详细说明。此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

一种基于LS-KNN的管道漏磁内检测缺失数据插补方法，流程如图1所示，包括以下步骤：

步骤1：从海底管道漏磁检测仪中直接采集原始漏磁检测数据，并且对数据进行预处理，包括二次基线校正和异常数据剔除，具体步骤如下：

步骤1.1：对采集到的原始漏磁检测数据进行基线校正。

本实施例中，所述基线校正的公式如公式(1)所示：

其中，m为通道数量，k为里程计数点数量，x_pq为第q通道在第p里程计数点位置的原始值，其中q＝1，2，...，m，x′_pq为第q通道在第p里程计数点位置的校正后的值，s为所有通道的中值。

本实施例中，取通道数量m为72。

步骤1.2：根据管道的焊缝位置对管道进行分段，具体步骤如下：

步骤1.2.1：令通道数量m＝1。

步骤1.2.2：求取管道漏磁内检测数据单通道的均方差。

本实施例中，求取均方差的公式如公式(2)所示：

其中，STD为管道漏磁内检测数据单通道的均方差，μ为在第p里程计数点位置的所有通道数据均值。

步骤1.2.3：判断管道的均方差是否小于3s准则的最大阈值，若是，则令m＝m+1，返回步骤1.2.2，若否，则认定当前通道为管道的焊缝位置并在此处对管道进行分段。

本实施例中，3s准则的最大阈值设为整段管道的均值。

步骤1.2.4：分别将每段管道的异常值进行剔除。

步骤1.3：采用公式(1)对剔除异常值后的数据进行二次校正。

步骤2：分析漏磁数据不同数据的特征，对样本数据进行特征提取，得到法兰数据特征样本T₁、焊缝数据特征样本T₂、缺陷数据特征样本T₃和正常数据特征样本T₄，特征样本T_i对应的数据集为D_i，其中，i＝1，...，4，具体步骤如下：

步骤2.1：人工提取训练样本的特征样本T_i＝(X_i1，X_i2，…，X_i7，X_i8)，共提取8个特征，分别是数据的左谷值、右谷值、谷宽度、峰值、左峰谷差、右峰谷差、微分左峰值和微分右峰值。

所述左谷值、右谷值和谷宽度用于反映数据缺陷的宽度。

所述峰值、左峰谷差和右峰谷差用于反映数据缺陷的高度。

所述微分左峰值和微分右峰值用于反映缺陷数据上升和下降的斜率最值。

步骤2.2：人工提取测试样本的特征样本T_i′＝(X′_i1，X′_i2，…，X′_i7，X′_i8)，同样提取8个特征，分别是数据的左谷值、右谷值、谷宽度、峰值、左峰谷差、右峰谷差、微分左峰值和微分右峰值。

步骤2.3：人工提取待插补数据的特征样本T_i″＝(X″_i1，X″_i2，…，X″_i7，X″_i8)，同样提取8个特征，分别是数据的左谷值、右谷值、谷宽度、峰值、左峰谷差、右峰谷差、微分左峰值和微分右峰值。

步骤3：将特征样本T_i分为两部分，一部分特征样本T_Train用于训练KNN模型，另一部分特征样本T_Test用于测试KNN模型，得到训练完成的KNN模型，具体步骤如下：

步骤3.1：将特征样本T_i分为两部分，一部分特征样本T_Train用于训练KNN模型，另一部分特征样本T_Test用于测试KNN模型。

本实施例中，取特征样本T_Train＝80％*T_i用于训练KNN模型，则其余的特征样本T_Test＝T_i-T_Train用于测试KNN模型。

步骤3.2：随机选取KNN模型中K值的初始值。

本实施例中，取K＝5作为KNN模型中K值的初始值。

步骤3.3：将特征样本T_Train输入到KNN模型中，训练KNN模型。

步骤3.4：将特征样本T_Test输入到训练完成的KNN模型中，计算模型的判别错误率。

步骤3.5：判断模型的判别错误率是否小于误差阈值，若是，则输出训练完成的KNN模型，若否，则调整KNN模型中的K值，返回步骤3.3。

本实施例中，取误差阈值δ＝10％，对KNN模型的训练采用5折交叉验证法。

步骤4：对于分到每类中的特征样本T_i，其中，i＝1，...，4，其对应的数据集为D_i，对数据集D_i进行归一化处理得到D′_i，再用最小二乘法对归一化处理后的数据集D′_i进行拟合建模得到D″_i，具体步骤如下：

步骤4.1：将特征样本T_i进行归一化处理，得到归一化处理后的特征样本T_i′。

本实施例中，归一化处理的公式如公式(3)所示：

其中，为特征样本T_i的平均值，max(T_i)为特征样本T_i的最大值，min(T_i)为特征样本T_i的最小值。

步骤4.2：对特征样本T_i对应的数据集D_i进行归一化处理，使所有样本数据都在0-1之间，得到归一化处理后的数据集D′_i。

本实施例中，归一化处理的公式如公式(4)所示：

其中，为数据集D_i的平均值，max(D_i)为数据集D_i的最大值，min(D_i)为数据集D_i的最小值。

步骤4.3：根据归一化处理后的数据集D′_i中的样本数据长度，将样本数据按照从小到大的顺序排序l₁，l₂，...，l_n，取最小样本数据长度l₁为第i组样本数据的标准长度。

步骤4.4：利用最小二乘法对归一化处理后的数据集D′_i中的每个样本数据以l₁为样本数据长度进行拟合建模，得到拟合建模后的数据集D″_i。

本实施例中，最小二乘法的原则如下：令D′_i＝[f(1)，f(2)，...，f(l_i)]，则其中，映射函数f根据不同类型数据特征而确定。

步骤5：计算步骤4中对测试数据的拟合结果的损失函数，设定误差阈值P，调整设定的横坐标长度，令所有样本的长度相同，确定最终LS拟合模型，具体步骤如下：

步骤5.1：将测试特征样本数据T_Test采用类似公式(3)所示的方式进行归一化处理，得到归一化处理后的试特特征样本T′_Test。

步骤5.2：对测试特征样本数据T_Test对应的数据集D_Test采用类似公式(4)所示的方式进行归一化处理，使所有样本数据都在0-1之间，得到归一化处理后的数据集D′_Test。

步骤5.3：根据归一化处理后的特征样本T_i′与测试特征样本T′_Test之间的最小二乘拟合系数以及预测D′_Test，得到缺失数据的预测结果A′。

本实施例中，计算缺失数据的预测结果A′的公式如公式(5)所示：

A′＝C·D_i′ (5)

其中，C为特征转移矩阵，其计算公式如公式(6)-公式(7)所示：

步骤5.4：建立测试数据拟合结果的损失函数L(A′)。

所述损失函数L(A′)的公式如公式(9)所示；

步骤5.5：计算预测结果的损失函数。

步骤5.6：判断预测结果的损失函数值是否大于设定误差阈值P，若是，则将样本标准长度l₁调整为l₂，返回步骤4.4，若否，则输出建立完成的LS拟合模型。

本实施例中，取误差阈值P为。

步骤6：将含缺失的数据输入到LS-KNN回归器中，实现对缺失数据的插补。

步骤7：对步骤6中插补后的数据进行反归一化处理，实现对缺失数据的插补。

本实施例中，反归一化的公式如公式(10)所示：

其中，A的最大值，最小值和均值分别取未缺失的数据的最大值、最小值和均值。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；因而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (5)

1.一种基于LS-KNN的管道漏磁内检测缺失数据插补方法，其特征在于，包括以下步骤：

步骤1：从海底管道漏磁检测仪中直接采集原始漏磁检测数据，并且对数据进行预处理，包括二次基线校正和异常数据剔除；

步骤2：分析漏磁数据不同数据的特征，对样本数据进行特征提取，得到法兰数据特征样本T₁、焊缝数据特征样本T₂、缺陷数据特征样本T₃和正常数据特征样本T₄，特征样本T_i对应的数据集为D_i，其中，i＝1，...，4；

步骤3：将特征样本T_i分为两部分，一部分特征样本T_Train用于训练KNN模型，另一部分特征样本T_Test用于测试KNN模型，得到训练完成的KNN模型；

步骤4：对于分到每类中的特征样本T_i，其中，i＝1，...，4，其对应的数据集为D_i，对数据集D_i进行归一化处理得到D′_i，再用最小二乘法对归一化处理后的数据集D′_i进行拟合建模得到D″_i，具体步骤如下：

步骤4.1：将特征样本T_i进行归一化处理，得到归一化处理后的特征样本T_i′；

步骤4.2：对特征样本T_i对应的数据集D_i进行归一化处理，使所有样本数据都在0-1之间，得到归一化处理后的数据集D′_i；

步骤4.3：根据归一化处理后的数据集D′_i中的样本数据长度，将样本数据按照从小到大的顺序排序l₁，l₂，...，l_n，取最小样本数据长度l₁为第i组样本数据的标准长度；

步骤4.4：利用最小二乘法对归一化处理后的数据集D′_i中的每个样本数据以l1为样本数据长度进行拟合建模，得到拟合建模后的数据集D″_i；

步骤5：计算步骤4中对测试数据的拟合结果的损失函数，设定误差阈值P，调整设定的横坐标长度，令所有样本的长度相同，确定最终LS拟合模型，具体步骤如下：

步骤5.1：将测试特征样本数据T_Test进行归一化处理，得到归一化处理后的试特特征样本T′_Test；

步骤5.2：对测试特征样本数据T_Test对应的数据集D_Test进行归一化处理，使所有样本数据都在0-1之间，得到归一化处理后的数据集D′_Test；

步骤5.3：根据归一化处理后的特征样本T_i′与测试特征样本T′_Test之间的最小二乘拟合系数以及预测D′_Test，得到缺失数据的预测结果A′；

步骤5.4：建立测试数据拟合结果的损失函数L(A′)；

所述损失函数L(A′)的公式如下；

步骤5.5：计算预测结果的损失函数；

步骤5.6：判断预测结果的损失函数值是否大于设定误差阈值P，若是，则将样本标准长度l₁调整为lx，返回步骤4.4，若否，则输出建立完成的LS拟合模型；

步骤6：将含缺失的数据输入到LS-KNN回归器中，实现对缺失数据的插补；

步骤7：对步骤6中插补后的数据进行反归一化处理，实现对缺失数据的插补。

2.根据权利要求1所述的基于LS-KNN的管道漏磁内检测缺失数据插补方法，其特征在于，所述步骤1包括以下步骤：

步骤1.1：对采集到的原始漏磁检测数据进行基线校正；

步骤1.2：根据管道的焊缝位置对管道进行分段；

步骤1.3：对剔除异常值后的数据进行二次基线校正。

3.根据权利要求2所述的基于LS-KNN的管道漏磁内检测缺失数据插补方法，其特征在于，所述步骤1.2包括以下步骤：

步骤1.2.1：令通道数量m＝1；

步骤1.2.2：求取管道漏磁内检测数据单通道的均方差；

步骤1.2.3：判断管道的均方差是否小于3s准则的最大阈值，若是，则令m＝m+1，返回步骤1.2.2，若否，则认定当前通道为管道的焊缝位置并在此处对管道进行分段；

步骤1.2.4：分别将每段管道的异常值进行剔除。

4.根据权利要求1所述的基于LS-KNN的管道漏磁内检测缺失数据插补方法，其特征在于，所述步骤2包括以下步骤：

步骤2.1：人工提取训练样本的特征样本T_i＝(X_i1，X_i2，…，X_i7，X_i8)，共提取8个特征，分别是数据的左谷值、右谷值、谷宽度、峰值、左峰谷差、右峰谷差、微分左峰值和微分右峰值；

所述左谷值、右谷值和谷宽度用于反映数据缺陷的宽度；

所述峰值、左峰谷差和右峰谷差用于反映数据缺陷的高度；

所述微分左峰值和微分右峰值用于反映缺陷数据上升和下降的斜率最值；

步骤2.2：人工提取测试样本的特征样本T_i′＝(X′_i1，X′_i2，…，X′_i7，X′_i8)，同样提取8个特征，分别是数据的左谷值、右谷值、谷宽度、峰值、左峰谷差、右峰谷差、微分左峰值和微分右峰值；

步骤2.3：人工提取待插补数据的特征样本T_i″＝(X″_i1，X″_i2，…，X″_i7，X″_i8)，同样提取8个特征，分别是数据的左谷值、右谷值、谷宽度、峰值、左峰谷差、右峰谷差、微分左峰值和微分右峰值。

5.根据权利要求1所述的基于LS-KNN的管道漏磁内检测缺失数据插补方法，其特征在于，所述步骤3包括以下步骤：

步骤3.1：将特征样本T_i分为两部分，一部分特征样本T_Train用于训练KNN模型，另一部分特征样本T_Test用于测试KNN模型；

步骤3.2：随机选取KNN模型中K值的初始值；

步骤3.3：将特征样本T_Train输入到KNN模型中，训练KNN模型；

步骤3.4：将特征样本T_Test输入到训练完成的KNN模型中，计算模型的判别错误率；

步骤3.5：判断模型的判别错误率是否小于误差阈值，若是，则输出训练完成的KNN模型，若否，则调整KNN模型中的K值，返回步骤3.3。