CN112365481A - 基于图像处理的横跨梁组装螺栓丢失检测方法 - Google Patents

Abstract

基于图像处理的横跨梁组装螺栓丢失检测方法，属于图像处理领域，本发明为解决采用人工排查的方式检查横跨梁组装螺母是否丢失存在误检、漏检的问题。本发明方法包括以下步骤：采用OTSU算法初步确定故障识别区域；采用改进canny算子获取横跨梁y方向中心线的点集A；截取故障识别图像；采用灰度值聚类算法对故障识别图像按三个等级灰度值进行聚类，聚类后进行阈值分割提取轮廊；根据提取的轮廊判断横跨梁组装螺母是否丢失，并截取灰度值对比度小的区域作为子图，并提取子图的MB‑LBP特征，采用SVM对子图进行分类，进一步判断螺母或螺栓是否丢失。

Description

基于图像处理的横跨梁组装螺栓丢失检测方法

技术领域

本发明涉及铁路货车横跨梁螺栓丢失检测技术，属于图像处理领域。

背景技术

铁路货车的横跨梁组装螺母丢失后，容易造成横跨梁脱落或折断危及行车安全。现阶段一般采用人工排查的方式进行故障检修。由检测作业受作业人员的业务素质、责任心、劳动强度等因素影响较大，容易发生漏检或简化作业等情况。人工检测工作效率低，一旦出现作业质量问题，不利于查找作业过程中产生问题的原因和问题发生的时间。

发明内容

本发明目的是为了解决采用人工排查的方式检查横跨梁组装螺母是否丢失存在误检、漏检的问题，提供了一种基于图像处理的铁路货车横跨梁组装螺栓丢失检测方法。

本发明基于图像处理的横跨梁组装螺栓丢失检测方法，该方法包括以下步骤：

步骤一、采用OTSU算法对横跨梁图像进行阈值分割，初步确定故障识别区域；

OTSU算法也称最大类间差法，有时也称之为大津算法。

步骤二、采用改进canny算子遍历故障识别区域内的所有轮廊点，确定横跨梁边界点，进而获取横跨梁y方向中心线的点集A；

Canny算子是John F.Canny于1986年开发出来的一个多级边缘检测算法。更为重要的是Canny创立了“边缘检测计算理论”(computational theory of edge detection)解释这项技术如何工作。

步骤三、以点集A中y值最大的点为基准，向上、下、左、右四个方向偏移并截图作为故障识别图像；

步骤四、采用灰度值聚类算法对故障识别图像按三个等级灰度值进行聚类，聚类后进行阈值分割提取轮廊；

步骤五、根据步骤四提取的轮廊判断螺栓安装孔是否存在，若存在，表明螺栓和螺母都丢失，则上传故障信息进行报警；若不存在，则执行步骤六；

步骤六，根据步骤四提取的轮廊判断螺母是否存在，若存在，表明螺栓和螺母都没丢失；若螺母不存在，则执行步骤七；

步骤七、截取灰度值对比度小的区域作为子图，并提取子图的MB-LBP特征，采用SVM对子图进行分类，输出螺母或螺栓丢失结果并上传故障信息进行报警。

优选地，步骤一中采用OTSU算法对横跨梁图像进行阈值分割，初步确定故障识别区域的过程为：

采用OTSU算法对横跨梁图像进行阈值分割，获取转向架孔洞下方黑色阴影区域；

提取阴影区域的轮廓，获取轮廓y方向最大值点；

以该点为准，沿x轴左偏移两个横跨梁宽度，沿x轴右偏移一个横跨梁宽度，沿y轴上偏移一个孔洞高度，截取该区域子图为故障识别区域。

优选地，步骤二获取点集A的过程为：

采用改进canny算子遍历故障识别区域内的所有轮廊点，以获取故障识别区域内所有轮廓点的位置及对应的梯度大小和方向；

遍历轮廓点，当轮廊点梯度大于阈值并且梯度方向与水平方向的夹角小于阈值时，记该轮廊点记为(x1,y1)；继续遍历寻找满足条件的轮廓点(x2,y2)，轮廓点(x2,y2)要满足的条件为：与(x1,y1)点的y值相同、与(x1,y1)点的x差值与横跨梁宽度相差小于10像素，梯度大于阈值并且梯度方向与水平方向的夹角小于阈值；

轮廊点(x1,y1)和轮廊点(x2,y2)为横跨梁左右两侧的边界点，获取这两个边界点的中点；

根据上述方式遍历结束后获取所有满足条件的横跨梁的中点形成横跨梁y方向中心线的点集A。

优选地，进一步包括如下步骤：采用RANSAC算法将点集A中的所有点拟合为直线。

优选地，步骤四的聚类结果为：

当横跨梁的螺栓、螺母都没丢失时，三个等级灰度值对应的分别为：螺栓、安装座和横跨梁、横跨梁两侧较暗的背景区域；

当横跨梁的螺母丢失、螺栓存在时，三个等级灰度值对应的分别为：螺栓、安装座和横跨梁、横跨梁两侧较暗的背景区域；

当横跨梁的螺栓、螺母都丢失时，三个等级灰度值对应的分别为：螺栓安装孔、安装座和横跨梁、横跨梁两侧较暗的背景区域。

优选地，步骤七中截取灰度值对比度小的区域指灰度值差值小于15的区域。

优选地，步骤七中提取子图的MB-LBP特征，采用SVM对子图进行分类的过程为：

将分别从正常图像、螺母丢失图像、螺母和螺栓都丢失图像中提取的MB-LBP特征作为训练样本放入训练集中，使用RBF核进行SVM训练；

在对灰度值对比度小的子图进行识别时，利用训练好的SVM对子图进行分类，输出螺栓或螺母丢失结果。

本发明的有益效果：在铁路两侧安装高清的成像设备拍摄经过设备的货车，获取图像。使用图像处理技术检测图像中横跨梁组装螺母是否丢失，然后上传至网络。以便人工查阅。工作人员根据图像的识别结果做出相应的处理，保证机车安全运行。利用图像自动识别的方式代替人工检测，提高故障识别检测效率、准确率，降低人力成本。

先采用常规方式提取可能存在的故障区域，然后进行分类识别，可以有效提高运行效率。采用常规图像处理与机器学习相结合的方式进行故障判定，提高故障识别的准确率，避免漏报，减少误报。

通过改进canny算子，获取图像中轮廓点的位置，梯度大小及梯度方向。根据横跨梁两侧轮廓点距离约等于横跨梁宽度及梯度方向接近水平的特征，找到横跨梁，进而确定组装螺栓的位置。根据螺栓、螺杆和螺栓安装孔轮廓大小判定故障。对于少数灰度值对比不明显的图像采用提取子图的MB-LBP特征，使用RBF核的SVM进行识别。以此避免漏报，减少误报。

附图说明

图1是本发明所述基于图像处理的铁路货车横跨梁组装螺栓丢失检测方法的流程图；

图2是识别区域示意图；

图3是横跨梁组装螺母结构示意图；

图4是灰度值对比不明显图像提取的子图，其中图4(a)为螺栓螺母都丢失情况，图4(b)为螺母丢失情况。

具体实施方式

需要特别说明的是，在不冲突的情况下，本申请公开的各个实施方式之间或者各个实施方式中的特征之间可以相互组合。

具体实施方式一：下面结合图1至图3说明本实施方式，本实施方式所述基于图像处理的铁路货车横跨梁组装螺栓丢失检测方法，该方法包括以下步骤：

步骤一、采用OTSU算法对横跨梁图像进行阈值分割，初步确定故障识别区域；

步骤二、采用改进canny算子遍历故障识别区域内的所有轮廊点，确定横跨梁边界点，进而获取横跨梁y方向中心线的点集A；

步骤三、以点集A中y值最小的点为基准，向上、下、左、右四个方向偏移并截图作为故障识别图像；

遍历点集A，获取距离中心线垂直距离小于给定阈值的点中y值最小的点，该点即为横跨梁在图像中的最上点。以该点基准，在四个方向上各偏移一个距离后，进行截图，组装螺栓即位于该图像中。

步骤四、采用灰度值聚类算法对故障识别图像按三个等级灰度值进行聚类，聚类后进行阈值分割提取轮廊；

步骤五、根据步骤四提取的轮廊判断螺栓安装孔是否存在，若存在，表明螺栓和螺母都丢失，则上传故障信息进行报警；若不存在，则执行步骤六；

步骤六，根据步骤四提取的轮廊判断螺母是否存在，若存在，表明螺栓和螺母都没丢失；若螺母不存在，则执行步骤七；

步骤七、截取灰度值对比度小的区域作为子图，并提取子图的MB-LBP特征，采用SVM对子图进行分类，输出螺母或螺栓丢失结果并上传故障信息进行报警。

在识别图像时建立坐标系，以水平方向为x向，以竖直方向为y向，且竖直向下为y正向。

本实施方式在铁路两侧安装高清的成像设备拍摄经过设备的货车，获取图像。使用图像处理技术检测图像中横跨梁组装螺母是否丢失，然后上传至网络。以便人工查阅。工作人员根据图像的识别结果做出相应的处理，保证机车安全运行。

本实施方式中步骤一至三是故障区域的确定步骤，步骤四至步骤七是故障识别步骤。

具体实施方式二：下面结合图2和图3说明本实施方式，本实施方式对实施方式一作进一步说明，步骤一中采用OTSU算法对横跨梁图像进行阈值分割，初步确定故障识别区域的过程为：

采用OTSU算法对横跨梁图像进行阈值分割，获取转向架孔洞下方黑色阴影区域；

提取阴影区域的轮廓，获取轮廓y方向最大值点；

以该点为准，沿x轴左偏移两个横跨梁宽度，沿x轴右偏移一个横跨梁宽度，沿y轴上偏移一个孔洞高度，截取该区域子图为故障识别区域。

由于相机采用仰角拍摄的缘故，在转向架孔洞下部形成黑色阴影区域。

采用OTSU算法对图像进行阈值分割。得到孔洞下方黑色阴影区域。提取阴影区域的轮廓，获取轮廓y方向最大值点。从图像中可以看出，横跨梁位于该阴影区域最大值点上方一定区域内。以该点为准，向左约两个横跨梁的宽度，向右约一个横跨梁的宽度，向上约一个孔洞的高度，截取该区域子图为故障识别区域。

具体实施方式三：下面结合图2和图3说明本实施方式，本实施方式对实施方式一或二作进一步说明，步骤二获取点集A的过程为：

采用改进canny算子遍历故障识别区域内的所有轮廊点，以获取故障识别区域内所有轮廓点的位置及对应的梯度大小和方向；

遍历轮廓点，当轮廊点梯度大于阈值并且梯度方向与水平方向的夹角小于阈值时，记该轮廊点记为(x1,y1)；继续遍历寻找满足条件的轮廓点(x2,y2)，轮廓点(x2,y2)要满足的条件为：与(x1,y1)点的y值相同、与(x1,y1)点的x差值与横跨梁宽度相差小于10像素，梯度大于阈值并且梯度方向与水平方向的夹角小于阈值；

轮廊点(x1,y1)和轮廊点(x2,y2)为横跨梁左右两侧的边界点，获取这两个边界点的中点；

根据上述方式遍历结束后获取所有满足条件的横跨梁的中点形成横跨梁y方向中心线的点集A。

在故障识别区域内横跨梁为竖直方向两条固定距离的两条平行线内。依据该特征定位图像中的横跨梁位置。传统canny算子只将获取图像中轮廓点的位置，本实施方式对canny算子进行改进，卷积计算过程中计算点梯度大小的同时，还计算梯度方向。使用改进canny算子获取该区域内的所有轮廓点位置及对应的梯度方向和大小。

具体实施方式四：本实施方式对实施方式三作进一步说明，进一步包括如下步骤：采用RANSAC算法将点集A中的所有点拟合为直线。随机抽样一致算法(RANdom SAmpleConsensus,RANSAC),采用迭代的方式从一组包含离群的被观测数据中估算出数学模型的参数。

在点集A中可能包含噪声点，这些噪声数据会对直线拟合造成干扰，本实施方式采用RANSAC算法拟合直线，拟合过程中为了减少迭代次数，提高拟合精度，限定直线与y轴夹角小于给定阈值。最终拟合直线认为其是图中横跨梁中线，横跨梁组装螺母位于该中线的左右一定范围内。

具体实施方式五：下面结合图2至图4说明本实施方式，本实施方式对实施方式一、二、三或四作进一步说明，步骤四的聚类结果为：

当横跨梁的螺栓、螺母都没丢失时，三个等级灰度值对应的分别为：螺栓、安装座和横跨梁、横跨梁两侧较暗的背景区域；

当横跨梁的螺母丢失、螺栓存在时，三个等级灰度值对应的分别为：螺栓、安装座和横跨梁、横跨梁两侧较暗的背景区域；

当横跨梁的螺栓、螺母都丢失时，三个等级灰度值对应的分别为：螺栓安装孔、安装座和横跨梁、横跨梁两侧较暗的背景区域。

识别故障采用SVM分类与图像处理相结合的方式判断螺母是否丢失。通常来说正常螺栓在图像中存在一个较宽轮廓，螺母丢失后，在原来安装螺栓的位置会出现宽度更小的螺栓。当螺母和螺栓全部丢失后，在安装座的位置上会出现一个螺栓安装孔，安装孔通常相对周围像素点灰度值较低。

本实施方式为识别故障的首先操作步骤，使用灰度值聚类算法，根据图像中各种元素的亮暗程度，将图像中的灰度值分为三个等级，本实施方式的三个等级没有灰度值范围限定，根据不同车、不同环境和相机曝光情况不同而不同，图像里的内容，亮度是变化的。如子图所示螺栓相对横跨梁的对比度有时较亮，有时较暗。只有分出相应区域后根据轮廓形状及位置判断。

正常时(螺栓螺母都没丢失时)三个灰度等级分别对应螺栓、安装座和横跨梁、部分背景(子图中横跨梁两侧较暗的区域)。

螺母丢失螺杆存在时，三个灰度等级分别对应螺栓、安装座和横跨梁、部分背景。

螺母和螺杆都丢失时，三个灰度等级分别对应安装孔、安装座和横跨梁、部分背景。

聚类后进行阈值分割提取轮廓，根据轮廓的宽度、高度和面积判断横跨梁上方轮廓种类。

具体实施方式六：下面结合图4说明本实施方式，本实施方式对实施方式一作进一步说明，步骤七中截取灰度值对比度小的区域指灰度值差值小于15的区域。

具体实施方式七：下面结合图2至图4说明本实施方式，本实施方式对实施方式一或六作进一步说明，步骤七中提取子图的MB-LBP特征，采用SVM对子图进行分类的过程为：

将分别从正常图像、螺母丢失图像、螺母和螺栓都丢失图像中提取的MB-LBP特征作为训练样本放入训练集中，使用RBF核进行SVM训练；

在对灰度值对比度小的子图进行识别时，利用训练好的SVM对子图进行分类，输出螺栓或螺母丢失结果。

MB-LBP为MultiBlock-Local Binary Pattern的缩写，LBP指局部二值模式，是一种用来描述图像局部特征的算子。

有时螺栓丢失后，在原来安装螺栓位置的安装孔与安装座的灰度差值小于15(小于这个值肉眼比较吃力了)，而且正常螺栓和螺母丢失后的螺杆与安装座的灰度值的差值有时也不明显，按照上面的处理方式螺栓和螺栓孔。为了避免漏报，采用上述方式判断螺栓丢失的同时，采用纹理特征判断螺母是否丢失。收集上述对比度不明显的图像，提取子图的MB-LBP特征，使用RBF核的SVM训练。

训练时将正常图像螺母丢失图像，螺母和螺栓丢失图像提取的MB-LBP特征全部放入训练集中，得到训练权重文件。识别故障时，将无法判断的子图提取MB-LBP特征，直接输入至训练好的SVM中进行分类，SVM判定子图结果就是识别结果。在识别过程中，无法提取通过灰度值判断螺栓和螺栓孔是否存在时，提取MB-LBP特征，使用RBF核的SVM进行识别判断。以此避免漏报，减少误报。

Claims (7)

1.基于图像处理的横跨梁组装螺栓丢失检测方法，其特征在于，该方法包括以下步骤：

步骤一、采用OTSU算法对横跨梁图像进行阈值分割，初步确定故障识别区域；

步骤二、采用改进canny算子遍历故障识别区域内的所有轮廊点，确定横跨梁边界点，进而获取横跨梁y方向中心线的点集A；

步骤三、以点集A中y值最大的点为基准，向上、下、左、右四个方向偏移并截图作为故障识别图像；

步骤四、采用灰度值聚类算法对故障识别图像按三个等级灰度值进行聚类，聚类后进行阈值分割提取轮廊；

步骤五、根据步骤四提取的轮廊判断螺栓安装孔是否存在，若存在，表明螺栓和螺母都丢失，则上传故障信息进行报警；若不存在，则执行步骤六；

步骤六，根据步骤四提取的轮廊判断螺母是否存在，若存在，表明螺栓和螺母都没丢失；若螺母不存在，则执行步骤七；

步骤七、截取灰度值对比度小的区域作为子图，并提取子图的MB-LBP特征，采用SVM对子图进行分类，输出螺母或螺栓丢失结果并上传故障信息进行报警。

2.根据权利要求1所述基于图像处理的横跨梁组装螺栓丢失检测方法，其特征在于，步骤一中采用OTSU算法对横跨梁图像进行阈值分割，初步确定故障识别区域的过程为：

采用OTSU算法对横跨梁图像进行阈值分割，获取转向架孔洞下方黑色阴影区域；

提取阴影区域的轮廓，获取轮廓y方向最大值点；

以该点为准，沿x轴左偏移两个横跨梁宽度，沿x轴右偏移一个横跨梁宽度，沿y轴上偏移一个孔洞高度，截取该区域子图为故障识别区域。

3.根据权利要求2所述基于图像处理的横跨梁组装螺栓丢失检测方法，其特征在于，步骤二获取点集A的过程为：

采用改进canny算子遍历故障识别区域内的所有轮廊点，以获取故障识别区域内所有轮廓点的位置及对应的梯度大小和方向；

遍历轮廓点，当轮廊点梯度大于阈值并且梯度方向与水平方向的夹角小于阈值时，记该轮廊点记为(x1,y1)；继续遍历寻找满足条件的轮廓点(x2,y2)，轮廓点(x2,y2)要满足的条件为：与(x1,y1)点的y值相同、与(x1,y1)点的x差值与横跨梁宽度相差小于10像素，梯度大于阈值并且梯度方向与水平方向的夹角小于阈值；

轮廊点(x1,y1)和轮廊点(x2,y2)为横跨梁左右两侧的边界点，获取这两个边界点的中点；

根据上述方式遍历结束后获取所有满足条件的横跨梁的中点形成横跨梁y方向中心线的点集A。

4.根据权利要求3所述基于图像处理的横跨梁组装螺栓丢失检测方法，其特征在于，进一步包括如下步骤：采用RANSAC算法将点集A中的所有点拟合为直线。

5.根据权利要求1所述基于图像处理的横跨梁组装螺栓丢失检测方法，其特征在于，步骤四的聚类结果为：

当横跨梁的螺栓、螺母都没丢失时，三个等级灰度值对应的分别为：螺栓、安装座和横跨梁、横跨梁两侧背景区域；

当横跨梁的螺母丢失、螺栓存在时，三个等级灰度值对应的分别为：螺栓、安装座和横跨梁、横跨梁两侧背景区域；

当横跨梁的螺栓、螺母都丢失时，三个等级灰度值对应的分别为：螺栓安装孔、安装座和横跨梁、横跨梁两侧背景区域。

6.根据权利要求1所述基于图像处理的横跨梁组装螺栓丢失检测方法，其特征在于，步骤七中截取灰度值对比度小的区域指灰度值差值小于15的区域。

7.根据权利要求6所述基于图像处理的横跨梁组装螺栓丢失检测方法，其特征在于，步骤七中提取子图的MB-LBP特征，采用SVM对子图进行分类的过程为：

将分别从正常图像、螺母丢失图像、螺母和螺栓都丢失图像中提取的MB-LBP特征作为训练样本放入训练集中，使用RBF核进行SVM训练；

在对灰度值对比度小的子图进行识别时，利用训练好的SVM对子图进行分类，输出螺栓或螺母丢失结果。

Images