CN117333696A - 一种基于机器视觉的螺栓检测方法和装置 - Google Patents

一种基于机器视觉的螺栓检测方法和装置 Download PDF

Info

Publication number
CN117333696A
CN117333696A CN202311205243.4A CN202311205243A CN117333696A CN 117333696 A CN117333696 A CN 117333696A CN 202311205243 A CN202311205243 A CN 202311205243A CN 117333696 A CN117333696 A CN 117333696A
Authority
CN
China
Prior art keywords
loosening
image
bolt
areas
machine vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311205243.4A
Other languages
English (en)
Inventor
李俊涛
郝留成
邢轩瑀
董华军
裴沛
宋继光
葛媛媛
韩华豫
武月
何晨阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pinggao Group Co Ltd
Original Assignee
Pinggao Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pinggao Group Co Ltd filed Critical Pinggao Group Co Ltd
Priority to CN202311205243.4A priority Critical patent/CN117333696A/zh
Publication of CN117333696A publication Critical patent/CN117333696A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于机器视觉的螺栓检测方法和装置,属于紧固件松动检测技术领域,本发明通过判断分割后得到的防松线区域像素个数与提取到的目标框图像像素个数的比值是否超过预先设定的螺栓比值阈值,同时还考虑到当分割出防松线区域不唯一的情况,并将图像分为螺钉和螺母两种图像进行判断,当图像为螺钉图像时,通过提取外接矩形计算长边角度差进行判断;当图像为螺母图像时,对图像进行处理并提取外接矩形,通过防松线区域像素个数与外接矩形像素个数的比值进行判断,本发明可及时对螺栓情况进行判断,有效的提升了检测的效率和精度。

Description

一种基于机器视觉的螺栓检测方法和装置
技术领域
本发明属于紧固件松动检测技术领域,具体涉及一种基于机器视觉的螺栓检测方法和装置。
背景技术
列车车辆底部的检修是铁路及地铁维修工作中必不可少的一部分,主要的工作内容是检测车辆底部可视零件无松动,外观无损坏,车底无异物,保障了列车在次日运营时的顺利进行。
传统的列车车底检查方式是由作业人员在凌晨使用手电筒进行,依靠人眼观察和个人经验进行判断。但是利用人工进行列车车辆底部检修存在以下几个缺点:人力和时间成本高、安全风险、主观性和误差、检查覆盖不全面、不适应大规模检测。
因此,为了提高效率、降低安全风险、提高检查准确性,并适应大规模检测需求,越来越多的铁路运输部门倾向于采用自动化检测设备来代替人工检修。自动化设备一般通过图像处理和智能算法快速准确地检测底部设备的状态,有效解决了人工检修存在的问题,提高了列车运行的安全性和可靠性。
发明内容
本发明的目的在于提供一种基于机器视觉的螺栓检测方法和装置,用以解决列车车辆底部螺栓检测过程中存在误差、精度不足的问题。
为解决上述技术问题,本发明提供了一种基于机器视觉的螺栓检测方法,该方法包括以下步骤:
步骤1:采集待检测螺栓图像,通过训练后的分类模型对图像进行分类,以确定待检测螺栓图像的类型为螺钉图像还是螺母图像,随后利用训练后的目标定位模型进行螺栓所在位置目标框的提取,最后利用训练后的分割网络对目标框中的防松线区域进行分割,分割后得到至少一个防松线区域;
步骤2:防松线区域个数为1时,计算分割出防松线区域的像素个数与目标框图像像素个数的比值,判断比值是否超过预先设定的螺栓比值阈值,若超过螺栓比值阈值则判定螺栓未松动,若未超过螺栓比值阈值则判定螺栓松动。
上述技术方案的有益效果为:在只存在一段防松线的情况下,可以通过像素比值进行判断,将防松线像素个数与目标框图像像素个数做比例,如果防松线在图像中的比例较高,证明两段防松线已经连接,同时在图像中占比较高;如果防松线在图像中占比较低时,证明仅拍摄到半段防松线,且防松线已断开,从而快速准确的判断螺栓是否松动。
进一步地,若待检测螺栓图像为螺钉图像,且防松线区域个数为2时,对防松线区域进行进一步处理以连通近距离区域,继续判断处理后的防松线区域个数,当处理后的防松线区域个数为1时判定螺钉未松动。
上述技术方案的有益效果为:对目标框图像进行进一步处理去除误差,再次对目标框图像个数进行判断,有效的提升了检测精度。
进一步地,当处理后的防松线区域个数为2时,对防松线区域进行处理提取目标边缘,根据目标边缘外接矩形,计算两矩形长边角度差,判断角度差是否超出预先设定的螺钉角度阈值,当超出螺钉角度阈值时判定螺钉松动,当未超出螺钉角度阈值时判定为螺钉未松动。
上述技术方案的有益效果为:使用的通过计算外接矩形角度差的判断方法可靠度较高,使检测结果更加精确。
进一步地,若待检测螺栓图像为螺母图像,且防松线区域个数大于等于2时,对防松线区域进行进一步处理以连通多个防松线区域,使能得到防松线区域的外接矩形,计算分割出防松线区域的像素个数与外接矩形像素个数的比值,判断比值是否超过预先设定的螺母比值阈值,若超过螺母比值阈值则判定螺母未松动,若未超过螺母比值阈值则判定螺母松动。
上述技术方案的有益效果为:对图像进行进一步处理,通过拟合防松线区域之间的外接矩形后,通过将外接矩形像素个数和防松线面积像素个数做比例,如果防松线在图像中的比例较高,证明两段防松线已经连接,同时在图像中占比较高;如果防松线在图像中占比较低时,证明仅拍摄到半段防松线,且防松线已断开,使检测的结果更加精确。
进一步地,对防松线区域进行进一步处理为膨胀操作。
上述技术方案的有益效果为:对图像进行进一步处理连通近距离区域,排除掉可能存在的误差使结果更加精确。
进一步地,对防松线区域进行进一步处理为去除防松线区域中的螺纹尖锐点,连通防松线区域中多个区域,提取连通后防松线区域的目标边缘,根据目标边缘外接矩形。
上述技术方案的有益效果为:对防松线区域进行进一步处理,去除尖锐点连通多个区域,便于之后对目标边缘的提取,根据目标边缘外接矩形。
进一步地,分类模型、目标定位模型和分割网络均包括特征提取单元,特征提取单元包括分块处理模块、初步特征提取模块、特征嵌入模块、编码解码模块和骨干网络,分块处理模块用于对输入图像进行分块处理,初步特征提取模块用于对各分块图像进行特征图提取,特征嵌入模块用于对特征图做线性处理得到以一维向量,对该向量做embedding处理同时插入位置编码,编码解码模块用于将图像转换成的embedding值输入encoder和decoder做多头自注意力并将结果输入骨干网络,骨干网络用于进行进一步提取特征。
上述技术方案的有益效果为:选择合适的机器学习模型对目标位置进行粗定位,定位出螺栓的精准位置,在大量标准数据集的基础下,可以很大程度上提升本算法的泛化性,解决传统模板匹配方法精度不足的问题。
进一步地,训练目标定位模型时所使用的损失函数为:
其中x是真实值和预测值的差值,L是损失值。
上述技术方案的有益效果为:选择合适的损失函数,使目标框的定位更加精准。
进一步地,训练分割网络时所使用的损失函数为:
式中CE(p,q)是分割网络的损失值,Pi是图中i点对应为防松线的概率,qi是i点预测为防松线的概率。
上述技术方案的有益效果为:选择合适的损失函数,使对防松线分割的结果更加精确。
本发明还提供了一种基于机器视觉的螺栓检测装置,该检测装置包括存储器和处理器,以及存储在存储器上的并在处理器上运行的计算机程序,处理器用于执行存储在存储器中的计算机程序指令以实现上述介绍的基于机器视觉的螺栓检测方法,以达到与方法相同的有益效果。
附图说明
图1是本发明基于机器视觉的螺栓检测方法的流程图;
图2是本发明基于机器视觉的螺栓检测方法的螺钉判断流程图;
图3是本发明基于机器视觉的螺栓检测方法的螺母判断流程图;
图4是本发明基于机器视觉的螺栓检测方法的像素判断流程图;
图5是本发明基于机器视觉的螺栓检测方法的矩形判断流程图;
图6是本发明的实施例中螺钉的判断流程;
图7是本发明的实施例中螺母的判断流程。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明了,以下结合附图及实施例,对本发明进行进一步详细说明。
基于机器视觉的螺栓检测方法实施例:
列车车辆底部存在大量的螺栓,螺栓总体可以分为两个大类,一类是仅由螺钉构成,另一类是由螺钉螺母组合而成。防松线对于这两种情况也存在不同的标定方法。
本发明的针对螺栓检测中存在误差、精度不足情况,提出了一种有效的检测方法,该方法的流程框图如图1所示,该方法的具体实施步骤如下:
步骤1:采集待检测螺栓图像,通过训练后的分类模型对图像进行分类,以确定待检测螺栓图像的类型为螺钉图像还是螺母图像,随后利用训练后的目标定位模型进行螺栓所在位置目标框的提取,最后利用训练后的分割网络对目标框中的防松线区域进行分割,利用训练后的目标定位模型对目标位置进行粗定位,定位出螺栓的精准位置,在大量标准数据集的基础下,可以很大程度上提升本算法的泛化性,解决传统模板匹配方法精度不足的问题。对防松线进行分割则利用训练后的分割网络对螺栓上防松线进行提取的方法,此方法最大限度上减小了光照变化导致采集到颜色变化的影响。因为算法本身在提取特征的时候不仅考虑到了颜色特征,还考虑到了防松线的边缘特征、防松线所在螺栓的形状特征,以及防松线和螺栓之间的归纳偏置。解决单一方法提取防松线边缘所导致精度不足的问题。在分割网络中输出层利用分块特征生成像素级别的分割掩码,在目标定位网络中输出层利用位置编码生成目标框。其中目标框为正方形,其大小随螺钉头及螺母大小自适应,因为螺钉头和螺母多为对称性标准件,所以最终效果可以展示于目标框中央。
其中分类模型、目标定位模型和分割网络均包括特征提取单元,特征提取单元包括分块处理模块、初步特征提取模块、特征嵌入模块、编码解码模块和骨干网络,分块处理模块用于对输入图像进行分块处理,初步特征提取模块用于对各分块图像进行特征图提取,特征嵌入模块用于对特征图做线性处理得到以一维向量,对该向量做embedding处理同时插入位置编码,编码解码模块用于将图像转换成的embedding值输入encoder和decoder做多头自注意力并将结果输入骨干网络,骨干网络用于进行进一步提取特征,其中训练目标定位模型时所使用的损失函数为:
其中x是真实值和预测值的差值,L是损失值。
训练分割网络时所使用的损失函数为:
CE(p,q)=-∑ipi log(qi);
式中CE(p,q)是分割网络的损失值,Pi是图中i点对应为防松线的概率,qi是i点预测为防松线的概率。
步骤2:分割后得到至少一个防松线区域,对图像进行进一步处理,去除非目标图像,使用开运算去除图像噪点。判断防松线区域的个数,若防松线区域个数为1时,执行步骤3;若待检测螺栓图像为螺钉图像且防松线区域个数为2时,执行步骤4,判断流程如图2所示;若待检测螺栓图像为螺母图像且防松线区域个数大于等于2时,执行步骤5,判断流程如图3所示。车辆底部螺栓根据采集防松线图像可分为两类:第一类为螺钉安装在平面上,主要特征为防松线不在同一平面,侧拍时无法用连接判断。第二类为螺钉螺母连接,主要松动体现在中间螺母,拍摄角度多为正拍。因此在制作数据集的过程中提前将螺钉和螺母的数据进行分类,分别针对螺钉和螺母进行分类模型训练,然后可以在检测环节将螺栓分成螺钉头和螺母两种,针对每种不同的螺栓设计不同的判断细节,但是所有计算方法都是基于防松线的检测,可应用于不同拍摄角度,具有较强的鲁棒性。
步骤3:防松线区域个数为1时,判断是否只拍到半段防松线,计算分割出防松线区域的像素个数与目标框图像像素个数的比值,判断比值是否超过预先设定的螺栓比值阈值,若超过螺栓比值阈值则判定螺栓未松动,若未超过螺栓比值阈值则判定螺栓松动,判断流程如图4所示。
步骤4:若待检测螺栓图像为螺钉图像,且防松线区域个数为2时,对图像进行膨胀操作以连通近距离区域,判断是否可以通过距离直接连接防松线,当膨胀操作后的防松线区域个数为1时判定螺钉未松动,当膨胀操作后的防松线区域个数为2时,对防松线区域进行处理提取目标边缘,根据目标边缘外接矩形,计算两矩形长边角度差,判断角度差是否超出预先设定的螺钉角度阈值,当超出螺钉角度阈值时判定螺钉松动,当未超出螺钉角度阈值时判定螺钉未松动,判断流程如图2、图5所示,对图片实际处理效果如图6所示。
步骤5:若待检测螺栓图像为螺母图像,且防松线区域个数大于等于2时,使用闭运算去除防松线区域中的螺纹尖锐点,连通多个防松线区域,提取连通后防松线区域的目标边缘,根据目标边缘外接矩形,计算分割出防松线像素个数与外接矩形像素个数的比值,判断比值是否超过预先设定的螺母比值阈值,若超过螺母比值阈值则判定螺母未松动,若未超过螺母比值阈值则判定螺母松动,判断流程如图3所示,对图片实际处理效果如图7所示。
基于机器视觉的螺栓检测装置实施例:
本发明还提供了一种基于机器视觉的螺栓检测装置,该装置包括存储器和处理器,以及存储在存储器上的并在处理器上运行的计算机程序,处理器用于执行存储在存储器中的计算机程序指令以实现基于机器视觉的螺栓检测方法。具体过程已在基于机器视觉的螺栓检测方法中进行了详细说明,这里不再赘述。其中,存储器可选择微处理器MCU、可编程逻辑器件FPGA等处理装置,处理器可选择移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)等存储装置。
以上给出了具体的实施方式,但本发明不局限于所描述的实施方式。本发明的基本思路在于上述基本方案,对本领域普通技术人员而言,根据本发明的教导,设计出各种变形的模型、公式、参数并不需要花费创造性劳动。在不脱离本发明的原理和精神的情况下对实施方式进行的变化、修改、替换和变型仍落入本发明的保护范围。

Claims (10)

1.一种基于机器视觉的螺栓检测方法,其特征在于,包括以下步骤:
步骤1:采集待检测螺栓图像,通过训练后的分类模型对图像进行分类,以确定待检测螺栓图像的类型为螺钉图像还是螺母图像,随后利用训练后的目标定位模型进行螺栓所在位置目标框的提取,最后利用训练后的分割网络对目标框中的防松线区域进行分割,分割后得到至少一个防松线区域;
步骤2:防松线区域个数为1时,计算分割出防松线区域的像素个数与目标框图像像素个数的比值,判断比值是否超过预先设定的螺栓比值阈值,若超过螺栓比值阈值则判定螺栓未松动,若未超过螺栓比值阈值则判定螺栓松动。
2.根据权利要求1所述的基于机器视觉的螺栓检测方法,其特征在于,若待检测螺栓图像为螺钉图像,且防松线区域个数为2时,对防松线区域进行进一步处理以连通近距离区域,继续判断处理后的防松线区域个数,当处理后的防松线区域个数为1时判定螺钉未松动。
3.根据权利要求2所述的基于机器视觉的螺栓检测方法,其特征在于,当处理后的防松线区域个数为2时,对防松线区域进行处理提取目标边缘,根据目标边缘外接矩形,计算两矩形长边角度差,判断角度差是否超出预先设定的螺钉角度阈值,当超出螺钉角度阈值时判定螺钉松动,当未超出螺钉角度阈值时判定为螺钉未松动。
4.根据权利要求1所述的基于机器视觉的螺栓检测方法,其特征在于,若待检测螺栓图像为螺母图像,且防松线区域个数大于等于2时,对防松线区域进行进一步处理以连通多个防松线区域,使能得到防松线区域的外接矩形,计算分割出防松线区域的像素个数与外接矩形像素个数的比值,判断比值是否超过预先设定的螺母比值阈值,若超过螺母比值阈值则判定螺母未松动,若未超过螺母比值阈值则判定螺母松动。
5.根据权利要求2所述的基于机器视觉的螺栓检测方法,其特征在于,所述对防松线区域进行进一步处理为膨胀操作。
6.根据权利要求4所述的基于机器视觉的螺栓检测方法,其特征在于,所述对防松线区域进行进一步处理为去除防松线区域中的螺纹尖锐点,连通防松线区域中多个区域,提取连通后防松线区域的目标边缘,根据目标边缘外接矩形。
7.根据权利要求1所述的基于机器视觉的螺栓检测方法,其特征在于,所述分类模型、目标定位模型和分割网络均包括特征提取单元,所述特征提取单元包括分块处理模块、初步特征提取模块、特征嵌入模块、编码解码模块和骨干网络,分块处理模块用于对输入图像进行分块处理,初步特征提取模块用于对各分块图像进行特征图提取,特征嵌入模块用于对特征图做线性处理得到以一维向量,对该向量做embedding处理同时插入位置编码,编码解码模块用于将图像转换成的embedding值输入encoder和decoder做多头自注意力并将结果输入骨干网络,骨干网络用于进行进一步提取特征。
8.根据权利要求1所述的基于机器视觉的螺栓检测方法,其特征在于,训练目标定位模型时所使用的损失函数为:
其中x是真实值和预测值的差值,L是损失值。
9.根据权利要求1所述的基于机器视觉的螺栓检测方法,其特征在于,训练分割网络时所使用的损失函数为:
式中CE(p,q)是分割网络的损失值,Pi是图中i点对应为防松线的概率,qi是i点预测为防松线的概率。
10.一种基于机器视觉的螺栓检测装置,其特征在于,该检测装置包括存储器和处理器,以及存储在存储器上的并在处理器上运行的计算机程序,处理器用于执行存储在存储器中的计算机程序指令以实现如权利要求1~9任一项所述的基于机器视觉的螺栓检测方法。
CN202311205243.4A 2023-09-14 2023-09-14 一种基于机器视觉的螺栓检测方法和装置 Pending CN117333696A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311205243.4A CN117333696A (zh) 2023-09-14 2023-09-14 一种基于机器视觉的螺栓检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311205243.4A CN117333696A (zh) 2023-09-14 2023-09-14 一种基于机器视觉的螺栓检测方法和装置

Publications (1)

Publication Number Publication Date
CN117333696A true CN117333696A (zh) 2024-01-02

Family

ID=89294322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311205243.4A Pending CN117333696A (zh) 2023-09-14 2023-09-14 一种基于机器视觉的螺栓检测方法和装置

Country Status (1)

Country Link
CN (1) CN117333696A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117576107A (zh) * 2024-01-17 2024-02-20 中数智科(杭州)科技有限公司 基于图像匹配和配准的列车底部零部件的松动检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117576107A (zh) * 2024-01-17 2024-02-20 中数智科(杭州)科技有限公司 基于图像匹配和配准的列车底部零部件的松动检测方法
CN117576107B (zh) * 2024-01-17 2024-03-29 中数智科(杭州)科技有限公司 基于图像匹配和配准的列车底部零部件的松动检测方法

Similar Documents

Publication Publication Date Title
Zhao et al. Detection method based on automatic visual shape clustering for pin-missing defect in transmission lines
CN107257161B (zh) 一种基于状态识别算法的变电站刀闸遥控辅助校核方法及系统
CN107679495B (zh) 一种输电线路周边活动工程车辆的检测方法
CN113469966B (zh) 一种基于防松线识别的列车螺栓松动检测方法
CN110334750B (zh) 输电线路铁塔螺栓锈蚀程度图像分类识别方法
CN105335743A (zh) 一种车牌识别方法
CN108985170A (zh) 基于三帧差分法及深度学习的输电线路悬挂物识别方法
CN106504238A (zh) 基于图像处理和卷积神经网络的铁路接触网缺陷检测方法
CN111814686A (zh) 一种基于视觉的输电线路识别及异物入侵在线检测方法
CN117333696A (zh) 一种基于机器视觉的螺栓检测方法和装置
CN112287888A (zh) 一种基于预测权重的轨道转弯识别方法
CN104298993A (zh) 一种适用于轨道沿线复杂场景下的杆号定位和识别方法
CN107657260B (zh) 一种输电线路周边环境中地面隐患的检测方法
CN112419289A (zh) 一种城市地铁轨道扣件缺陷智能检测方法
CN106650735B (zh) 一种led字符自动定位识别方法
CN112288682A (zh) 基于图像配准的电力设备缺陷定位方法
CN115995056A (zh) 一种基于深度学习的桥梁病害自动识别方法
CN114387262A (zh) 一种基于机器视觉的螺母定位检测方法、装置及系统
CN113469938A (zh) 基于嵌入式前端处理服务器的管廊视频分析方法及系统
CN113179389A (zh) 一种输电线路危险车辆吊车扬臂识别系统及识别方法
CN112288717A (zh) 一种动车组列车侧部异物检测方法
Wang et al. Lane detection algorithm based on density clustering and RANSAC
Huang Research on license plate image segmentation and intelligent character recognition
CN113643352B (zh) 一种自然覆冰在线监测运行导线图像覆冰程度评估方法
CN111832565B (zh) 一种基于决策树的数码管识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination