CN116071353A - 一种螺栓装配检测方法及系统 - Google Patents
一种螺栓装配检测方法及系统 Download PDFInfo
- Publication number
- CN116071353A CN116071353A CN202310201246.4A CN202310201246A CN116071353A CN 116071353 A CN116071353 A CN 116071353A CN 202310201246 A CN202310201246 A CN 202310201246A CN 116071353 A CN116071353 A CN 116071353A
- Authority
- CN
- China
- Prior art keywords
- image
- bolt
- segmentation
- region
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 64
- 230000011218 segmentation Effects 0.000 claims abstract description 65
- 230000007547 defect Effects 0.000 claims abstract description 58
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000003709 image segmentation Methods 0.000 claims abstract description 30
- 238000007689 inspection Methods 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims description 14
- 238000012790 confirmation Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 230000006740 morphological transformation Effects 0.000 claims description 3
- 239000003550 marker Substances 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 14
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 abstract description 4
- 238000000605 extraction Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 10
- 238000002372 labelling Methods 0.000 description 7
- 230000003137 locomotive effect Effects 0.000 description 6
- 230000006872 improvement Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
- G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种螺栓装配检测方法及系统，通过采集完成装配的转向架图像数据信息；将图像数据信息输入训练好的目标检测模型，输出螺栓区域识别结果；基于图像数据信息，截取螺栓ROI区域，并将截取的螺栓ROI区域图像输入改进后的图像分割模型中，进行质检线的区域分割，得到分割结果图像；基于螺栓区域识别结果和分割结果图像，对螺栓及其螺栓所在区域进行缺陷判定，若存在缺陷，则对螺栓所在区域进行告警。利用深度学习、点云平面拟合等相关技术对转向架装配过程中的螺栓进行区域定位、质检线提取、缺陷检测，从而实现对装配质量进行自动检测，且算法检测精度便于优化提升，有效弥补了人工检测的不足，实现了螺栓装配检测的高精准性和高全面性。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种螺栓装配检测方法及系统。
背景技术
随着社会的不断进步，人们在出行方面愈加便捷，尤其是地铁机车的出现，更是将人们的出行时间大大缩减，不仅可以以更少的时间去到更远的地方，还让出行方式更加的灵活多变。
随着地铁机车运行速度和载重量的不断提高,对地铁机车转向架上各零部件的安装和使用要求也越来越高，而作为地铁机车最核心的部件之一，转向架是机车牵引、承载、走行和导向的最为关键的装置之一，转向架的生产装配工艺和装配精度将直接影响地铁车辆的运行速度和平稳度。很多转向架在运行过程中不同程度地出现过螺栓联接失效的问题.因此,螺栓联接是转向架能否安全运行的一个重要因素。
目前，针对转向架的生产装配过程中的螺栓安装及紧固质量检查，传统的转向架螺栓装配检测方法主要是通过人工查看标记线、复检点的方式对完成装配的转向架进行检查，此种方法不仅效率低下，还容易发生漏检、误检等情况，检测精准度及检测全面性较低。
发明内容
有鉴于此，本发明提供一种螺栓装配检测方法及系统，旨在提高螺栓装配检测的精准性和高效性。
为解决以上技术问题，本发明的技术方案为提供一种螺栓装配检测方法，包括：
采集完成装配的转向架图像数据信息；
将所述图像数据信息输入训练好的目标检测模型，输出螺栓区域识别结果；
基于所述图像数据信息，截取螺栓ROI区域，并将截取的螺栓ROI区域图像输入改进后的图像分割模型中，进行质检线的区域分割，得到分割结果图像；
基于所述螺栓区域识别结果和所述分割结果图像，对螺栓及其螺栓所在区域进行缺陷判定，若存在缺陷，则对所述螺栓所在区域进行告警。
可选的，所述采集完成装配的转向架图像数据信息，包括：
利用自动牵引设备将完成装配的转向架牵引至指定位置后固定；
确定拍摄位置及拍摄角度，并利用机械臂上的图像采集模组对转向架关键区域和部件进行图像数据信息采集；
所述图像数据信息采集包括3D点云数据信息和2D彩色图像信息。
可选的，对目标检测模型进行训练，得到训练好的目标检测模型，包括：
利用所述图像采集模组对不同类型的转向架各关键区域和部件进行不同时段、不同光照条件下的图像采集；
人工标注采集到的数据，并输入目标检测模型进行定位训练，得到训练好的目标检测模型。
可选的，获取改进后的图像分割模型的方法，包括：
建立Unet图像分割模型；
缩减所述Unet图像分割模型的模型参数，得到改进后的图像分割模型。
可选的，得到改进后的图像分割模型之后，还包括：
对所述改进后的图像分割模型进行训练，得到训练好的改进后图像分割模型，具体的，
人工标注ROI区域的标记线及标记点，构建标记线分割训练数据集；
利用所述标记线分割训练数据集对所述改进后的图像分割模型进行训练，得到训练好的改进后图像分割模型。
可选的，所述基于所述螺栓区域识别结果和所述分割结果图像，对螺栓及其螺栓所在区域进行缺陷判定，包括：
对所述分割结果图像进行形态学变换，以使分割结果区域进行区域膨胀；
基于所述区域膨胀结果，对所述分割结果图像进行缺陷判定。
可选的，所述对所述分割结果图像进行缺陷判定，包括：
确定所述分割结果图像中是否存在标记信息；
若不存在标记信息，则判定当前螺栓出现标记信息漏涂缺陷，并存在可能性风险，所述可能性风险包括扭力不到位或未进行复检确认。
可选的，所述对所述分割结果图像进行缺陷判定，还包括：
若存在标记信息，则对螺栓松动缺陷进行缺陷判定，具体为，
截取标记线对应的3D点云图像，得到标记线点云数据；
对所述点云数据进行平面拟合；
将距离拟合平面小于距离阈值的点划分为内点，否则为外点；
计算内点数量所占比例，若小于比例阈值，则判定当前图像所示螺栓存在松动缺陷。
可选的，所述对所述分割结果图像进行缺陷判定之后，还包括：
若存在缺陷，则对当前螺栓所在区域进行告警。
此外，本发明还提供一种螺栓装配检测系统，包括：
信息采集模块，用于采集完成装配的转向架图像数据信息；
识别结果模块，用于将所述图像数据信息输入训练好的目标检测模型，输出螺栓区域识别结果；
区域分割模块，用于基于所述图像数据信息，截取螺栓ROI区域，并将截取的螺栓ROI区域图像输入改进后的图像分割模型中，进行质检线的区域分割，得到分割结果图像；
缺陷判定模块，用于基于所述螺栓区域识别结果和所述分割结果图像，对螺栓及其螺栓所在区域进行缺陷判定，若存在缺陷，则对所述螺栓所在区域进行告警。
本发明提供一种螺栓装配检测方法及系统，通过采集完成装配的转向架图像数据信息；将所述图像数据信息输入训练好的目标检测模型，输出螺栓区域识别结果；基于所述图像数据信息，截取螺栓ROI区域，并将截取的螺栓ROI区域图像输入改进后的图像分割模型中，进行质检线的区域分割，得到分割结果图像；基于所述螺栓区域识别结果和所述分割结果图像，对螺栓及其螺栓所在区域进行缺陷判定，若存在缺陷，则对所述螺栓所在区域进行告警。通过本发明提供的普适的转向架螺栓装配检测方法，能够自动对转向架装配过程中的关键区域和部件进行高效监测，降低人力成本，且具备以下有益效果：
（1）利用深度学习、点云平面拟合等相关技术对转向架装配过程中的螺栓进行区域定位、质检线提取、缺陷检测，从而实现对装配质量进行自动检测，且算法检测精度便于优化提升。
（2）相较于既有方法检测精度更高，能够有效弥补人工监测的不足，在一定程度上为转向架装配过程中的质量提供保障。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1是本发明一实施例提供的一种螺栓装配检测方法的步骤示意图；
图2a是本发明一实施例提供的关键部件的螺栓ROI区域示意图；
图2b是本发明一实施例提供的另一关键部件的螺栓ROI区域示意图；
图3a是本发明一实施例提供的图2a对应的螺栓质检线分割结果图像示意图；
图3b是本发明一实施例提供的图2b对应的螺栓质检线分割结果图像示意图；
图4是本发明一实施例提供的存在松动缺陷的螺栓图像示例图；
图5是本发明一实施例提供的标记线对应的点云图像示意图；
图6是本发明一实施例提供的标记线对应的点云平面拟合结果示意图；
图7是本发明一实施例提供的一种螺栓装配检测系统的结构示意图。
具体实施方式
为了使本领域技术人员更好的理解本发明实施例，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的原理在于，通过安装在转向架装配车间的自主设计的转向架机器视觉外观检测系统平台基础上，采集不同关键区域和部件的不同角度的3D点云数据及彩色图像，在此基础上利用基于深度学习的图像分割、点云平面拟合等图像技术对包括但不限于轴箱、传感器、设备安装座等关键部件螺栓紧固件进行装配质量检测，并输出其可能存在的螺栓紧固件装配缺陷的区域和部件位置。
参照图1，是本发明提供的一种螺栓装配检测方法的步骤示意图。
S11、采集完成装配的转向架图像数据信息。
本实施例通过安装在检修车间的转向架机器视觉外观检测系统平台，利用安装在系统平台的机械臂及其附带的图像采集模组，采集完成装配的转向架各关键部件的3D点云数据及彩色图像。
具体实施过程为：（1）利用自动牵引设备将完成装配的转向架牵引至指定位置后固定；（2）确定最佳拍摄位置及拍摄角度，具体的采用手眼标定等技术进行，并启动机械臂对该转向架关键区域和部件进行拍照（拍照数据为3D点云数据及2D彩色图像）；（3）利用图像采集模组将针对每一个关键区域和部件的数据信息实时传输到指定的分析模组中，以此对不同区域的螺栓等紧固件是否存在装配异常进行检测。
S12、将图像数据信息输入训练好的目标检测模型，输出螺栓区域识别结果。
对待检测目标区域进行准确定位是对该区域进行有效检测的前提，有鉴于此，本实施例采用YOLOv4目标检测模型进行检测，YOLOv4作为YOLOv3的改进，相较于其他检测网络，在速度相差不多的情况下，精度显著更优；在精度相差不多的情况下，速度显著更优；因此其全面性、有效性都是经过充分验证的，不仅能够适应图像场景中目标的多尺度变化，且具有更好的目标分类能力。
为了更好的训练YOLOv4模型用来对螺栓区域进行准确定位，利用机械臂及其图像采集模型对不同类型的转向架各关键区域和部件进行不同时段、不同光照条件下的图像采集，并人工标注采集得到的数据，以此输入YOLOv4网络模型进行定位训练，训练完成的模型能够自动对输入图像中的目标螺栓区域进行准确定位。
S13、基于图像数据信息，截取螺栓ROI区域，并将截取的螺栓ROI区域图像输入改进后的图像分割模型中，进行质检线的区域分割，得到分割结果图像。
本实施例为了更加精准的对关键区域的螺栓装配质量进行检测，在原始彩色图像上对待检关键区域进行识别和定位的基础上，自动截取关键区域的螺栓ROI区域，如图2a和图2b所示，分别是两种关键区域的螺栓ROI区域示意图。
其中，ROI（regionof interest）区域，又名感兴趣区域，从被处理的图像中以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，称为感兴趣区域，在图像处理领域中，感兴趣区域（ROI）是从图像中选择的一个图像区域，这个区域是图像分析所关注的重点。圈定该区域以便进行进一步处理，起到减少处理时间，增加精度的作用。
需要说明的是，感兴趣区域(Regionof Interest) 是图像的一部分，它通过在图像上选择或使用诸如设定阈值(thresholding) 或者从其他文件(如矢量>转换获得）等方法生成。感趣区可以是点、线、面不规则的形状，通常用来作为图像分类的样本、掩膜、裁剪区或及其他操作。
在此基础上，人工标注ROI区域的标记线及标记点（采用色彩标记会更为直观，本实施例中标记线采用红色标记线，标记点采用蓝色标记点），构建标记线分割训练数据集，以此训练质检线区域分割模型。其中，本实施例中分割模型采用较为轻量级的图像分割模型Unet并将其进一步改进（具体改进为：通过缩减模型参数，提升分割效率），以此用于质检线的区域分割，如图3a和图3b所示，分别为图2a和图2b所对应的螺栓质检线分割结果示意图（本实施例中采用红色标记线和蓝色标记点，对应的螺栓质检线分割图像中，红色标记线会形成绿色区域，蓝色标记点会形成红色点）。
需要说明的是，本实施例提及的标注方式仅用于更方便的理解本实施例所涉及的技术方案，并不限制仅可以采用红色标记线或蓝色标记点的方式进行人工标注，其他相关标注方式且该标注方式起到与本实施例中标注方式同样作用均应该纳入到本实施例的保护范围中。
S14、基于螺栓区域识别结果和分割结果图像，对螺栓及其螺栓所在区域进行缺陷判定，若存在缺陷，则对螺栓所在区域进行告警。
在对关键区域的螺栓进行定位和不同质检线区域分割的基础上，对螺栓及其螺栓所在区域进行缺陷判定，包括但不限于螺栓质检线是否存在、螺栓是否松动等缺陷进行自动识别和判定。若不存在缺陷，则继续检测，若存在缺陷，则对螺栓所在区域进行告警，以使操作人员及时对螺栓所在区域进行维护整改，避免因螺栓缺陷导致的其他安全事故的发生。
具体检测过程为：（1）首先，对分割结果图像进行形态学变换，以此对分割结果区域进行区域膨胀，如图4所示，为本实施例提供一种存在螺栓松动缺陷的螺栓图示，若出现螺栓松动缺陷，则对该螺栓所在区域进行告警。（2）其次，对分割结果图像中是否存在对应区域进行判定（本实施例中采用红色标记线和蓝色标记点，则判定分割结果图像中是否存在绿色区域和红色点），若不存在，则认定当前螺栓出现标记线漏涂缺陷，该螺栓可能存在扭力不到位或者未进行复检确认的风险，则对该螺栓区域进行告警。（3）进一步的，若存在绿色区域，则根据2D图像与3D图像的对齐关系，由当前红色标记线所在的位置截取与其对应的3D点云图像，如图5所示。在此基础上，利用RANSAC（RANdomSAmple Consensus）随机抽样一致算法对标记线对应的点云数据进行平面拟合，如图6所示。（4）最后，设置一个距离阈值，将距离拟合平面小于该阈值的点划分为内点，否则为外点，当内点数量所占比例（标记线点云中所有点数量）小于指定阈值时，则判定当前螺栓存在松动缺陷，对该螺栓区域进行告警。
需要说明的是，随机抽样一致算法，采用迭代的方式从一组包含离群的被观测数据中估算出数学模型的参数。RANSAC算法假设数据中包含正确数据和异常数据（或称为噪声）。正确数据记为内点（inliers），异常数据记为外点（outliers）。同时RANSAC也假设，给定一组正确的数据，存在可以计算出符合这些数据的模型参数的方法。该算法核心思想就是随机性和假设性，随机性是根据正确数据出现概率去随机选取抽样数据，根据大数定律，随机性模拟可以近似得到正确结果。假设性是假设选取出的抽样数据都是正确数据，然后用这些正确数据通过问题满足的模型，去计算其他点，然后对这次结果进行一个评分。RANSAC算法被广泛应用在计算机视觉领域和数学领域，例如直线拟合、平面拟合、计算图像或点云间的变换矩阵、计算基础矩阵等方面。
本实施例提供了一种螺栓装配检测方法，通过采集完成装配的转向架图像数据信息；将图像数据信息输入训练好的目标检测模型，输出螺栓区域识别结果；基于图像数据信息，截取螺栓ROI区域，并将截取的螺栓ROI区域图像输入改进后的图像分割模型中，进行质检线的区域分割，得到分割结果图像；基于螺栓区域识别结果和分割结果图像，对螺栓及其螺栓所在区域进行缺陷判定，若存在缺陷，则对螺栓所在区域进行告警。通过本发明提供的普适的转向架螺栓装配检测方法，能够自动对转向架装配过程中的关键区域和部件进行高效监测，降低人力成本，利用深度学习、点云平面拟合等相关技术对转向架装配过程中的螺栓进行区域定位、质检线提取、缺陷检测，从而实现对装配质量进行自动检测，且算法检测精度便于优化提升。相较于既有方法检测精度更高，能够有效弥补人工监测的不足，实现了螺栓装配检测的高精准性和高全面性。
参照图7，是本发明还提供的一种螺栓装配检测系统，包括：
信息采集模块，用于采集完成装配的转向架图像数据信息；
识别结果模块，用于将图像数据信息输入训练好的目标检测模型，输出螺栓区域识别结果；
区域分割模块，用于基于图像数据信息，截取螺栓ROI区域，并将截取的螺栓ROI区域图像输入改进后的图像分割模型中，进行质检线的区域分割，得到分割结果图像；
缺陷判定模块，用于基于螺栓区域识别结果和分割结果图像，对螺栓及其螺栓所在区域进行缺陷判定，若存在缺陷，则对螺栓所在区域进行告警。
本实施例提供的一种螺栓装配检测系统，通过对完成装配的转向架图像数据信息进行采集，并将采集的图像数据信息分别通过识别结果模块和区域分割模块，获取螺栓区域识别结果和分割结果图像，从而对螺栓及其螺栓所在区域进行缺陷判定，对存在缺陷的螺栓所在区域进行告警，不仅检测效率更高，且检测精度得到明显提升，在一定程度上位转向架装配过程中的质量提供保障。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
以上仅是本发明的优选实施方式，应当指出的是，上述优选实施方式不应视为对本发明的限制，本发明的保护范围应当以权利要求所限定的范围为准。对于本技术领域的普通技术人员来说，在不脱离本发明的精神和范围内，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种螺栓装配检测方法，其特征在于，包括：
采集完成装配的转向架图像数据信息；
将所述图像数据信息输入训练好的目标检测模型，输出螺栓区域识别结果；
基于所述图像数据信息，截取螺栓ROI区域，并将截取的螺栓ROI区域图像输入改进后的图像分割模型中，进行质检线的区域分割，得到分割结果图像；
基于所述螺栓区域识别结果和所述分割结果图像，对螺栓及其螺栓所在区域进行缺陷判定，若存在缺陷，则对所述螺栓所在区域进行告警。
2.根据权利要求1所述的一种螺栓装配检测方法，其特征在于，所述采集完成装配的转向架图像数据信息，包括：
利用自动牵引设备将完成装配的转向架牵引至指定位置后固定；
确定拍摄位置及拍摄角度，并利用机械臂上的图像采集模组对转向架关键区域和部件进行图像数据信息采集；
所述图像数据信息采集包括3D点云数据信息和2D彩色图像信息。
3.根据权利要求2所述的一种螺栓装配检测方法，其特征在于，对目标检测模型进行训练，得到训练好的目标检测模型，包括：
利用所述图像采集模组对不同类型的转向架各关键区域和部件进行不同时段、不同光照条件下的图像采集；
人工标注采集到的数据，并输入目标检测模型进行定位训练，得到训练好的目标检测模型。
4.根据权利要求1所述的一种螺栓装配检测方法，其特征在于，获取改进后的图像分割模型的方法，包括：
建立Unet图像分割模型；
缩减所述Unet图像分割模型的模型参数，得到改进后的图像分割模型。
5.根据权利要求4所述的一种螺栓装配检测方法，其特征在于，得到改进后的图像分割模型之后，还包括：
对所述改进后的图像分割模型进行训练，得到训练好的改进后图像分割模型，具体的，
人工标注ROI区域的标记线及标记点，构建标记线分割训练数据集；
利用所述标记线分割训练数据集对所述改进后的图像分割模型进行训练，得到训练好的改进后图像分割模型。
6.根据权利要求1所述的一种螺栓装配检测方法，其特征在于，所述基于所述螺栓区域识别结果和所述分割结果图像，对螺栓及其螺栓所在区域进行缺陷判定，包括：
对所述分割结果图像进行形态学变换，以使分割结果区域进行区域膨胀；
基于所述区域膨胀结果，对所述分割结果图像进行缺陷判定。
7.根据权利要求6所述的一种螺栓装配检测方法，其特征在于，所述对所述分割结果图像进行缺陷判定，包括：
确定所述分割结果图像中是否存在标记信息；
若不存在标记信息，则判定当前螺栓出现标记信息漏涂缺陷，并存在可能性风险，所述可能性风险包括扭力不到位或未进行复检确认。
8.根据权利要求7所述的一种螺栓装配检测方法，其特征在于，所述对所述分割结果图像进行缺陷判定，还包括：
若存在标记信息，则对螺栓松动缺陷进行缺陷判定，具体为，
截取标记线对应的3D点云图像，得到标记线点云数据；
对所述点云数据进行平面拟合；
将距离拟合平面小于距离阈值的点划分为内点，否则为外点；
计算内点数量所占比例，若小于比例阈值，则判定当前图像所示螺栓存在松动缺陷。
9.根据权利要求7或8所述的一种螺栓装配检测方法，其特征在于，所述对所述分割结果图像进行缺陷判定之后，还包括：
若存在缺陷，则对当前螺栓所在区域进行告警。
10.一种螺栓装配检测系统，其特征在于，包括：
信息采集模块，用于采集完成装配的转向架图像数据信息；
识别结果模块，用于将所述图像数据信息输入训练好的目标检测模型，输出螺栓区域识别结果；
区域分割模块，用于基于所述图像数据信息，截取螺栓ROI区域，并将截取的螺栓ROI区域图像输入改进后的图像分割模型中，进行质检线的区域分割，得到分割结果图像；
缺陷判定模块，用于基于所述螺栓区域识别结果和所述分割结果图像，对螺栓及其螺栓所在区域进行缺陷判定，若存在缺陷，则对所述螺栓所在区域进行告警。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310201246.4A CN116071353B (zh) | 2023-03-06 | 2023-03-06 | 一种螺栓装配检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310201246.4A CN116071353B (zh) | 2023-03-06 | 2023-03-06 | 一种螺栓装配检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116071353A true CN116071353A (zh) | 2023-05-05 |
| CN116071353B CN116071353B (zh) | 2023-09-05 |
Family
ID=86173265
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310201246.4A Active CN116071353B (zh) | 2023-03-06 | 2023-03-06 | 一种螺栓装配检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116071353B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1600351A1 (en) * | 2004-04-01 | 2005-11-30 | Heuristics GmbH | Method and system for detecting defects and hazardous conditions in passing rail vehicles |
| US20190258251A1 (en) * | 2017-11-10 | 2019-08-22 | Nvidia Corporation | Systems and methods for safe and reliable autonomous vehicles |
| CN111415316A (zh) * | 2020-03-18 | 2020-07-14 | 山西安数智能科技有限公司 | 基于生成对抗网络的缺陷数据合成算法 |
| CN111709981A (zh) * | 2020-06-22 | 2020-09-25 | 高小翎 | 特征线融合的激光点云与模拟图像的配准方法 |
| CN112365461A (zh) * | 2020-11-06 | 2021-02-12 | 北京格灵深瞳信息技术有限公司 | 紧固件松动识别方法、系统、终端及存储介质 |
| CN112828552A (zh) * | 2021-01-29 | 2021-05-25 | 华中科技大学 | 一种法兰零件智能对接方法及系统 |
| CN112991347A (zh) * | 2021-05-20 | 2021-06-18 | 西南交通大学 | 一种基于三维的列车螺栓松动检测方法 |
| CN113077476A (zh) * | 2021-03-17 | 2021-07-06 | 浙江大华技术股份有限公司 | 一种高度测量方法、终端设备以及计算机存储介质 |
| CN113689420A (zh) * | 2021-09-03 | 2021-11-23 | 凌云光技术股份有限公司 | 电路板焊点缺陷检测方法、装置以及检测设备 |
| CN113781585A (zh) * | 2021-08-27 | 2021-12-10 | 华中科技大学 | 一种增材制造零件表面缺陷在线检测方法及系统 |
| CN114563412A (zh) * | 2022-03-04 | 2022-05-31 | 成都盛锴科技有限公司 | 一种转向架装配质量检测方法 |
| WO2022126871A1 (en) * | 2020-12-15 | 2022-06-23 | Vomma (Shanghai) Technology Co., Ltd. | Defect layer detection method and system based on light field camera and detection production line |
| CN115017751A (zh) * | 2022-02-24 | 2022-09-06 | 中国第一汽车股份有限公司 | 一种乘用车车身悬臂式结构件螺栓松动判定方法 |
| CN115406676A (zh) * | 2022-10-31 | 2022-11-29 | 成都盛锴科技有限公司 | 一种转向架检测系统及方法 |
-
2023
- 2023-03-06 CN CN202310201246.4A patent/CN116071353B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1600351A1 (en) * | 2004-04-01 | 2005-11-30 | Heuristics GmbH | Method and system for detecting defects and hazardous conditions in passing rail vehicles |
| US20190258251A1 (en) * | 2017-11-10 | 2019-08-22 | Nvidia Corporation | Systems and methods for safe and reliable autonomous vehicles |
| CN111415316A (zh) * | 2020-03-18 | 2020-07-14 | 山西安数智能科技有限公司 | 基于生成对抗网络的缺陷数据合成算法 |
| CN111709981A (zh) * | 2020-06-22 | 2020-09-25 | 高小翎 | 特征线融合的激光点云与模拟图像的配准方法 |
| CN112365461A (zh) * | 2020-11-06 | 2021-02-12 | 北京格灵深瞳信息技术有限公司 | 紧固件松动识别方法、系统、终端及存储介质 |
| WO2022126871A1 (en) * | 2020-12-15 | 2022-06-23 | Vomma (Shanghai) Technology Co., Ltd. | Defect layer detection method and system based on light field camera and detection production line |
| CN112828552A (zh) * | 2021-01-29 | 2021-05-25 | 华中科技大学 | 一种法兰零件智能对接方法及系统 |
| CN113077476A (zh) * | 2021-03-17 | 2021-07-06 | 浙江大华技术股份有限公司 | 一种高度测量方法、终端设备以及计算机存储介质 |
| CN112991347A (zh) * | 2021-05-20 | 2021-06-18 | 西南交通大学 | 一种基于三维的列车螺栓松动检测方法 |
| CN113781585A (zh) * | 2021-08-27 | 2021-12-10 | 华中科技大学 | 一种增材制造零件表面缺陷在线检测方法及系统 |
| CN113689420A (zh) * | 2021-09-03 | 2021-11-23 | 凌云光技术股份有限公司 | 电路板焊点缺陷检测方法、装置以及检测设备 |
| CN115017751A (zh) * | 2022-02-24 | 2022-09-06 | 中国第一汽车股份有限公司 | 一种乘用车车身悬臂式结构件螺栓松动判定方法 |
| CN114563412A (zh) * | 2022-03-04 | 2022-05-31 | 成都盛锴科技有限公司 | 一种转向架装配质量检测方法 |
| CN115406676A (zh) * | 2022-10-31 | 2022-11-29 | 成都盛锴科技有限公司 | 一种转向架检测系统及方法 |
Non-Patent Citations (5)
| Title |
|---|
| CHONGYANG CAI等: "An Algorithm based on ACF and SRG for Abnormality Detection of Bolts on the Subway", 《2021 IEEE 10TH DATA DRIVEN CONTROL AND LEARNING SYSTEMS CONFERENCE》, pages 162 - 167 * |
| RAN YANG等: "Bolt losseness detection algorithm based on 2D color space extraction and 3D depth measurement", 《2022 IEEE 17TH CONFERENCE ON INDUSTRIAL ELECTRONICS AND APPLICATIONS (ICIEA)》, pages 491 - 497 * |
| 卢海林等: "基于点云处理的机车车辆车底中心鞘螺栓故障检测方法", 《铁道机车车辆》, vol. 42, no. 05, pages 67 - 73 * |
| 杨培盛等: "一种基于深度学习的地铁车体螺栓松动检测方法", 《轨道交通装备与技术》, no. 05, pages 38 - 41 * |
| 王勇等: "基于2D/3D成像的地铁列车螺栓松动检测研究与应用", 《机车电传动》, no. 06, pages 147 - 154 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116071353B (zh) | 2023-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhao et al. | Improvement of canny algorithm based on pavement edge detection | |
| CN105373135B (zh) | 一种基于机器视觉的飞机入坞引导和机型识别的方法及系统 | |
| CN111949809B (zh) | 一种输电线路红外巡检数据智能处理方法 | |
| CN108280855A (zh) | 一种基于Fast R-CNN的绝缘子故障检测方法 | |
| CN111080612B (zh) | 一种货车轴承破损检测方法 | |
| CN104318582A (zh) | 一种基于图像不变性目标定位的高铁接触网旋转双耳部件销钉不良状态检测方法 | |
| CN112528979B (zh) | 变电站巡检机器人障碍物判别方法及系统 | |
| CN112067618A (zh) | 一种基于图形化的产品质量缺陷采集分析系统 | |
| CN114941807A (zh) | 一种基于无人机的热力管道泄漏快速监测与定位方法 | |
| CN108846331A (zh) | 一种动车组底盘螺丝紧固件是否脱落的视频识别方法 | |
| CN112115770A (zh) | 一种用于架空线路无人机自主巡检缺陷识别的方法及系统 | |
| CN112288682A (zh) | 基于图像配准的电力设备缺陷定位方法 | |
| CN109543533B (zh) | 一种用于机场作业人员管理的自动识别方法 | |
| Capece et al. | PANTOBOT-3D: An automatic vision-based inspection system for locomotive pantographs | |
| CN116071353B (zh) | 一种螺栓装配检测方法及系统 | |
| CN116631187B (zh) | 一种案件现场勘查信息智能采集分析系统 | |
| CN108921844A (zh) | 一种绝缘子缺陷检测方法与装置 | |
| CN111091553A (zh) | 一种挡键丢失检测方法 | |
| CN115857040A (zh) | 一种机车车顶异物动态视觉检测装置及方法 | |
| CN116071306A (zh) | 用于滚动轴承保持架铆合缺陷的机器视觉检测方法 | |
| CN110070520B (zh) | 基于深度神经网络的路面裂缝检测模型构建及检测方法 | |
| CN117557570B (zh) | 一种轨道车辆异常检测方法及系统 | |
| CN117252840B (zh) | 一种光伏阵列缺陷消除评定方法、装置及计算机设备 | |
| CN117593300B (zh) | 一种pe管材裂纹缺陷检测方法及系统 | |
| CN116912721B (zh) | 一种基于单目立体视觉的配电网设备本体识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |