CN109859170A - 一种基于lbp特征的钢丝绳表面损伤智能监测方法及系统 - Google Patents

Abstract

本发明公开一种基于LBP特征的钢丝绳表面损伤智能监测方法，首先建立健康、断丝、磨损的钢丝绳表面的图像数据集，确定滤波器、LBP算子参数、PCA降维维度、机器学习算法及其参数，得到集成算法模型。本发明还公开一种基于LBP特征的钢丝绳表面损伤智能监测系统，包括：离线训练和测试模块，用于获得训练好的集成算法模型；现场图像采集模块，实时采集现场图像并获取图像的位置信息；以及在线监测模块，用于搭载集成算法模型对采集的现场图像进行实时处理，从而对钢丝绳表面状态作实时诊断。此种技术方案能够高效地检测和诊断钢丝绳表面损伤。

Description

一种基于LBP特征的钢丝绳表面损伤智能监测方法及系统

技术领域

本发明属于机械零部件状态检测与智能诊断领域，特别涉及一种基于图像处理和机器学习的钢丝绳表面损伤智能监测方法与系统。

背景技术

随着人类社会的发展，钢丝绳在很多领域被大量使用，例如提升(矿井提升机、电梯、起重机等)、牵引(绞盘、索道等)、承载(斜拉索)等。周期性或实时性的检查钢丝绳损伤是保证钢丝绳安全性的前提。然而，传统的损伤检测方法是采用人工视觉检测，存在检测效率低、耗时、检测不充分和不可靠等问题。因此，必须发展无损、快速、自动化的检测方法。

对于钢丝绳的无损检测技术，如机器视觉法和电磁检测法，是两个快速发展的方向。与漏磁法相比，机器视觉法存在成本低(便宜的软硬件)、速度快(优化的算法和丰富的硬件计算资源)和适用性好(不受钢丝绳尺寸影响且受环境因素影响小)的优点，同时随着钢丝绳周期性除垢设备的发展，视觉法受油污的影响越来越小。而电磁检测方法面临着硬件结构、数据采集与处理技术、稳定性、环境适应性、实时性等一系列问题。机器视觉法的核心是图像处理与模式识别算法，鉴于以上优点，结合图像处理和机器学习对钢丝绳表面损伤进行智能检测与诊断是一种较好的方法。

基于机器视觉的损伤检测方法在材料表面检测领域已有很多研究，但针对钢丝绳检验的自动视觉方法较少，且这些方法缺乏对光照、特征维度、不同机器学习算法性能影响的考虑。钢丝绳的自动视觉检测是一项重要且更具挑战性的任务。钢丝绳表面光反射导致所采集的图片光照极为不均，影响对图像特征的识别与提取；提取什么特征以及所提取特征维度的大小对诊断精度和计算复杂度影响较大，不恰当的特征影响缺陷的诊断精度，而大量冗余信息不利于损伤的实时识别；同时，不同的机器学习算法在数据的挖掘过程中，在诊断精度和时间消耗上表现出不同的性能。

发明内容

本发明的目的，在于提供一种基于LBP特征的钢丝绳表面损伤智能监测方法及系统，融合图像处理方法、特征提取技术、特征降维方法和机器学习理论，以高效地检测和诊断钢丝绳表面损伤。

为了达成上述目的，本发明的解决方案是：

一种基于LBP特征的钢丝绳表面损伤智能监测方法，包括如下步骤：

步骤1，分别收集健康、断丝、磨损的钢丝绳表面的图像若干张；

步骤2，采用不同的同态滤波器对所有图像进行滤波降噪，选定处理效果最佳的滤波器，进入步骤3；

步骤3，采用不同参数的LBP算子提取钢丝绳表面纹理特征，确定诊断精度最高的算子参数；

步骤4，用PCA对提取的特征进行降维，在保证诊断精度的前提下，选择时间消耗最少的维度作为降维维度；

步骤5，采用不同机器学习算法对建立的各参数下的数据集进行挖掘，以诊断精度和时间消耗作为判断标准，选择一种机器学习算法作为分类器，并明确其参数；

步骤6，根据选定的滤波器、LBP算子参数、PCA降维维度、机器学习算法及其参数，得到集成算法模型。

上述步骤2中，采用的滤波器包含巴特沃斯高通滤波器、指数高通滤波器和高斯高通滤波器，最终选定高斯高通滤波器进行滤波。

上述步骤3中，采用LBP算子的8邻域，半径设为2，当像素块取1、2、3时，分别采用提取特征，发现随着像素块的增加，响应图像的纹理增粗。

上述步骤3中，在选择固定参数时，为了研究滤波和像素块对分类性能的影响，根据步骤1得到的图像建立6种数据集，指当LBP算子的像素块大小s分别取1、2、3时，滤波与不滤波情况下的数据集，即F-Image-data-MB1，F-Image-data-MB2，F-Image-data-MB3，NF-Image-data-MB1，NF-Image-data-MB2，NF-Image-data-MB3，前三种数据集表示滤波处理后不同LBP像素块下所提特征，后三种则表示未作滤波处理的不同LBP像素块下所提特征，各数据集的维度均为300×59，并作L1标准化处理。

上述步骤5中，机器学习算法包含K近邻算法、支持向量机和人工神经网络。

上述步骤5中，进行挖掘时，将70％的数据划分为训练集，30％的数据划分为测试集，进行10次实验取平均值。

一种基于LBP特征的钢丝绳表面损伤智能监测系统，包括：

离线训练和测试模块，用于根据前述的一种基于LBP特征的钢丝绳表面损伤智能监测方法获得训练好的集成算法模型；

现场图像采集模块，包括光源、线扫描相机和编码器，光源用于为线扫描相机提供采集背景，线扫描相机用于实时采集钢丝绳表面图像，编码器用于获取图像的位置信息，以标记损伤位置，便于预警时指定损伤位置或后期重点监测；以及，

在线监测模块，用于搭载集成算法模型对采集的现场图像进行实时处理，从而对钢丝绳表面状态作实时诊断。

采用上述方案后，本发明考虑到光照、特征值及特征维度、不同机器学习算法性能的影响，结合钢丝绳表面损伤检测的现状，融合并利用先进的图像处理和机器学习技术对钢丝绳进行实时状态监测，对依赖于钢丝绳的生活或生产活动意义重大。本发明的有益效果是：

(1)本发明克服了钢丝绳表面光照不均的影响，可提高算法的环境适应性；

(2)本发明可实时发现钢丝绳断丝、磨损缺陷，可克服人工巡检的效率低、成本高、检测周期长和无法及时发现的问题；

(3)所提出的WR-LBPSVM算法能够达到93.3％的诊断精度，且只消耗0.012s，可满足实时性、鲁棒性和实用性的要求。

附图说明

图1是本发明的基于LBP特征的钢丝绳表面损伤智能监测方法的流程图；

图2是本发明的所收集数据的损伤类型图；

其中，(a)100张健康钢丝绳，(b)100张断丝钢丝绳，(c)100张磨损钢丝绳；

图3是本发明的不同滤波器滤波去噪的效果图；

其中，(a)灰度图，(b)高斯高通滤波器，(c)指数高通滤波器，(d)巴特沃斯高通滤波；

图4是本发明的LBP算子计算后的响应图；

其中，(a)灰度图，(b)响应图，(c)响应图，(d)响应图；

图5是本发明的贡献率曲线和主成分空间分布图；

图6是本发明的像素块大小和滤波的影响结果图；

图7是本发明的特征抽取维度的影响结果图；

图8是本发明的提出算法比较结果；

图9是本发明的算法结果可视化图；

图10是本发明钢丝绳表面损伤智能监测系统架构图。

具体实施方式

为使本发明实施例的目的和技术方案更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，为本发明的基于局部二值模式(LBP)特征的钢丝绳表面损伤智能监测方法，包括数据收集、滤波去噪、LBP特征提取、主成分分析(PCA)降维、智能分类识别和确定集成算法模型几个步骤，具体步骤如下：

1)首先从现场或实验室收集健康、断丝、磨损钢丝绳若干张；

2)然后，用不同的同态滤波器对钢丝绳表面图像进行滤波降噪，选择处理效果最佳的滤波器作为后续采用的滤波器；

3)接着，基于钢丝绳表面纹理特征，采用不同参数的LBP算子提取特征，选择诊断精度最高的算子参数作为本发明的固定参数；

4)之后，用PCA对提取的特征进行降维，在保证诊断精度的前提下，选择时间消耗较少的维度作为本发明的降维维度；

5)再者，采用不同机器学习算法对建立的各参数下的数据集进行挖掘，选择在诊断精度和时间消耗方面性能较优的算法作为本任务的分类器，并明确其参数；

6)最后，确定滤波器及其参数、LBP算子参数、PCA降维维度、分类器及其参数，从而得到集成算法模型。

如图2所示，为所收集数据的损伤类型图。从现场和实验室采集100张健康钢丝绳(简写：HE，尺寸：100×140，标签：1)、100张断丝钢丝绳(简写：BW，尺寸：100×140，标签：2)、100张磨损钢丝绳(简写：WE，尺寸：100×140，标签：3)作为图片数据集，命名为Image-data。进一步的，本实施例的实验环境如下：硬件为Intel(R)Core(TM)i5-6200U 2.40GHz的CPU，8.00GB内存；软件为64位Windows 10操作系统，开发工具为Keras(Theano)和Matlab2017a。

如图3所示，为本发明不同滤波器滤波去噪的效果图。频域高通滤波主要包括巴特沃斯高通滤波、指数高通滤波、高斯高通滤波，其定义分别为：

式中，H(u,v)为传递函数，D₀为截至频率，n为阶数，常数c用于控制坡度的锐利度，它在γ_H和γ_L之间过渡，其中γ_L＜1且γ_H＞1。使用同态滤波器可以更好地控制照射分量和反射分量。根据不同的图像特性和需要，选用不同的H(u,v)，可得到满意的结果。经过多次仿真实验，在统一参数下(D₀＝20，n＝1，c＝2，γ_H＝20，γ_L＝0.4)，其结果如图3所示，依次为(a)灰度图，(b)高斯高通滤波器，(c)指数高通滤波器和(d)巴特沃斯高通滤波。根据结果，高斯高通滤波器可高效地消除图像上照明不均的问题、增强暗区的图像细节，效果好于指数和巴特沃斯高通滤波器。因此，我们选择高斯同态滤波器进行滤波。

如图4所示，是本发明的LBP算子计算后的响应图。我们采用LBP算子的常用的8邻域，半径设为2，当像素块取1、2、3时，分别采用 提取特征。取数据集中的一张图片，其灰度图和经算子滤波后的响应图如图4所示，依次为(a)灰度图，(b)响应图，(c)响应图和(d)响应图。随着像素块s的增加，响应图像的纹理增粗，有利于对图像中粗粒度信息的把握，从而影响分类器的诊断结果。

进一步地，为了研究滤波和像素块对分类性能的影响，我们根据Image-data建立6种数据集，即F-Image-data-MB1，F-Image-data-MB2，F-Image-data-MB3，NF-Image-data-MB1，NF-Image-data-MB2，NF-Image-data-MB3，前三种数据集表示滤波处理后不同LBP像素块下所提特征，后三种则表示未作滤波处理的不同LBP像素块下所提特征，各数据集的维度均为300×59，并作L1标准化处理。

如图5所示，本发明的贡献率曲线和主成分空间分布图。我们采用PCA将F-Image-data-MB1从59维降到25维，并作出其贡献率曲线，如图5(a)所示。从图中可得出，前10维的贡献率较高，累计贡献率远大于95％；前20维基本包含了数据集的所有信息。本实验提取前3个主成分观察其空间分布，如图5(b)所示。从图中可看出，各特征状态较好地聚集在一起，且两两之间空间分布明显，只存在少部分重叠。说明降维后的数据可分性较好，但有待分类算法进一步挖掘。

进一步地，为了衡量滤波和像素块大小的影响、降维维度的影响、不同机器学习算法的性能，本实施例计算四种评估指标(精确性、精度、召回率和f1分数)，它们的公式分别为：

其中，FN(False Negative)指预测样本被判定为负样本，但事实上是正样本；FP(False Positive)指预测样本被判定为正样本，但事实上是负样本；TN(True Negative)指预测样本被判定为负样本，事实上也是负样本；TP(True Positive)指预测样本被判定为正样本，事实上也是正样本。同时，在训练和测试过程中利用K折交叉验证法。

如图6所示，本发明的像素块大小和滤波的影响结果图。用SVM挖掘前文建立的6个数据集，其参数设置为：c＝40，kernel＝'rbf'，gamma＝100(多次实验后确定)。采用10折交叉验证法，其诊断结果如图6所示。结果为：s越大，诊断精度越低，但较为接近，在滤波和不滤波下其精度均相差0.04，说明在本实施例中越精细的纹理描述越有利于诊断结果；同样的像素块大小下，滤波对诊断结果影响较小，精度上相差0.01，证明了LBP算子对局部灰度变化的不敏感性；进一步的，当s＝1和3时，滤波后的数据集比不滤波的数据集精度高0.01。综上，对于钢丝绳的损伤检测，宜使用像素块小和滤波后的数据集。

如图7所示，本发明的特征抽取维度的影响结果图。采用数据集F-Image-data-MB1，用PCA将其从59维分别降到5、10、15、20、25维，并分别作为SVM的输入样本，其结果如图7所示。结果为：当维度大于10时，其分类精度差别不大，因为降维后的成分总贡献率较大(超过95％)，但略小于不降维时的0.96；同时，维度越高的数据集包含的有用信息越多，其消耗的时间越多，其中10维数据集占59维数据集时间消耗的70％。最终我们基于数据维度对诊断精度和时间消耗的影响，确定将原始的59维数据集降维至10维。在实际应用中，可以选取精度较高、时间消耗较少的维度作为降维维度。

如表1所示，为本发明的提出算法最终配置。针对本实施例，为了选择较好的机器学习算法作为分类器，采用不同机器学习算法(K近邻算法、支持向量机、人工神经网络)对10维的F-Image-data-MB1数据集进行挖掘。将70％的数据划分为训练集，30％的数据划分为测试集，进行10次实验取平均值，各算法参数设置如表1所示。

表1

如图8所示，本发明的提出算法比较结果。结果为：在各项评价指标上，WR-LBPBPNN最高，WR-LBPSVM次之，而WR-LBPKNN最差，但是WR-LBPBPNN消耗时间最长，WR-LBPSVM消耗时间最短。所以宜采用WR-LBPSVM对钢丝绳表面损伤进行智能诊断。

如图9所示，为本发明的算法结果可视化图，表2是各类别具体预测结果。选取一次实验作出各算法的混淆矩阵，根据混淆矩阵计算各算法在各类别上的预测精度，(a)WR-LBPKNN，(b)WR-LBPBPNN，(c)WR-LBPSVM。结果为：在acc指标上，WR-LBPBPNN最高(误分4个)，WR-LBPSVM次之(误分6个)，而WR-LBPKNN最差(误分8个)，各算法对缺陷的预测趋势相似，即对健康钢丝绳的识别率最高，在本实验中没有误分；而断丝错分率较高，容易被分为健康或磨损缺陷，原因在于其表面形貌介于健康与磨损之间，当断丝数量少时可能被分为健康状态，当断丝数多时，可能被分为磨损状态；而磨损可能会被分为健康和断丝状态。

表2

进一步地，本实施例中，根据建立的6种数据集，对滤波、像素块大小、降维维度、各算法的性能进行了研究和对比研究，从而确定了适用于钢丝绳损伤检测的最佳设置。基于LBP特征的钢丝绳损伤智能检测方法可行，在所建立的钢丝绳损伤数据集F-Image-data-MB1 with 10上，利用提出的WR-LBPSVM算法，最终获得了93.3％的诊断精度。主要结论为：1)本发明中，光照不均对诊断结果影响较小，但采用高斯同态滤波处理后，其诊断精度比不滤波处理时的诊断精度高0.1；2)在领域半径一定的前提下，u-LBP算子的参数s(即像素块)对诊断精度有一定影响，其值越小，诊断精度越高，最终取s值为1；3)特征维度对诊断精度有一定影响，维度越高，诊断精度越高，但消耗时间越长，最终确定采用10维数据集；4)与KNN和BPNN分类器相比，采用SVM分类器时的诊断精度高于KNN，略低于BPNN，且时间消耗较少，在所建立的钢丝绳损伤数据集上，利用提出的WR-LBPSVM算法能够达到93.3％的诊断精度，且只消耗0.012s。

如图10所示，为本发明钢丝绳表面损伤智能监测系统架构图，包括离线训练和测试模块、在线监测模块和现场图像采集模块，通过离线训练和测试模块可获得训练好的集成算法模型；现场图像采集模块主要包括光源、线扫描相机和编码器，可实时采集现场图像并通过编码器获取图像的位置信息；在线监测模块包括一台高性能工作站，其功能为搭载算法模型对图像数据进行实时处理，从而对钢丝绳表面状态作实时诊断。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (7)

1.一种基于LBP特征的钢丝绳表面损伤智能监测方法，其特征在于包括如下步骤：

步骤1，分别收集健康、断丝、磨损的钢丝绳表面的图像若干张；

步骤2，采用不同的同态滤波器对所有图像进行滤波降噪，选定处理效果最佳的滤波器，进入步骤3；

步骤3，采用不同参数的LBP算子提取钢丝绳表面纹理特征，确定诊断精度最高的算子参数；

步骤4，用PCA对提取的特征进行降维，在保证诊断精度的前提下，选择时间消耗最少的维度作为降维维度；

步骤5，采用不同机器学习算法对建立的各参数下的数据集进行挖掘，以诊断精度和时间消耗作为判断标准，选择一种机器学习算法作为分类器，并明确其参数；

步骤6，根据选定的滤波器、LBP算子参数、PCA降维维度、机器学习算法及其参数，得到集成算法模型。

2.如权利要求1所述的一种基于LBP特征的钢丝绳表面损伤智能监测方法，其特征在于：所述步骤2中，采用的滤波器包含巴特沃斯高通滤波器、指数高通滤波器和高斯高通滤波器，最终选定高斯高通滤波器进行滤波。

3.如权利要求1所述的一种基于LBP特征的钢丝绳表面损伤智能监测方法，其特征在于：所述步骤3中，采用LBP算子的8邻域，半径设为2，当像素块取1、2、3时，分别采用提取特征，发现随着像素块的增加，响应图像的纹理增粗。

4.如权利要求1所述的一种基于LBP特征的钢丝绳表面损伤智能监测方法，其特征在于：所述步骤3中，在选择固定参数时，为了研究滤波和像素块对分类性能的影响，根据步骤1得到的图像建立6种数据集，即F-Image-data-MB1，F-Image-data-MB2，F-Image-data-MB3，NF-Image-data-MB1，NF-Image-data-MB2，NF-Image-data-MB3，前三种数据集表示滤波处理后不同LBP像素块下所提特征，后三种则表示未作滤波处理的不同LBP像素块下所提特征，各数据集的维度均为300×59，并作L1标准化处理。

5.如权利要求1所述的一种基于LBP特征的钢丝绳表面损伤智能监测方法，其特征在于：所述步骤5中，机器学习算法包含K近邻算法、支持向量机和人工神经网络。

6.如权利要求1所述的一种基于LBP特征的钢丝绳表面损伤智能监测方法，其特征在于：所述步骤5中，进行挖掘时，将70％的数据划分为训练集，30％的数据划分为测试集，进行10次实验取平均值。

7.一种基于LBP特征的钢丝绳表面损伤智能监测系统，其特征在于包括：

离线训练和测试模块，用于根据权利要求1-6所述的一种基于LBP特征的钢丝绳表面损伤智能监测方法获得训练好的集成算法模型；

现场图像采集模块，包括光源、线扫描相机和编码器，光源用于为线扫描相机提供采集背景，线扫描相机用于实时采集钢丝绳表面图像，编码器用于获取图像的位置信息，从而标记损伤位置；以及，

在线监测模块，用于搭载集成算法模型对采集的现场图像进行实时处理，从而对钢丝绳表面状态作实时诊断。