CN117576107A - 基于图像匹配和配准的列车底部零部件的松动检测方法 - Google Patents
基于图像匹配和配准的列车底部零部件的松动检测方法 Download PDFInfo
- Publication number
- CN117576107A CN117576107A CN202410067135.3A CN202410067135A CN117576107A CN 117576107 A CN117576107 A CN 117576107A CN 202410067135 A CN202410067135 A CN 202410067135A CN 117576107 A CN117576107 A CN 117576107A
- Authority
- CN
- China
- Prior art keywords
- image
- task
- template
- detection
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 42
- 238000001514 detection method Methods 0.000 claims abstract description 127
- 238000010586 diagram Methods 0.000 claims abstract description 10
- 230000002265 prevention Effects 0.000 claims abstract description 10
- 230000009466 transformation Effects 0.000 claims description 56
- 239000011159 matrix material Substances 0.000 claims description 38
- 230000011218 segmentation Effects 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 27
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000013519 translation Methods 0.000 claims description 6
- 239000012212 insulator Substances 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 229920001651 Cyanoacrylate Polymers 0.000 claims description 2
- 239000004830 Super Glue Substances 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 4
- 238000007689 inspection Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于图像匹配和配准的列车底部零部件的松动检测方法，具体涉及图像处理领域，包括检测区域划分步骤、图片采集步骤、特征点集匹配步骤、图像匹配步骤以及图像配准步骤。本发明是一种适用于列车底部检查的防松线松动的检测方法，特点是通过获取列车底部的图片数据，采用图像处理技术，以零部件项点为单位，进行防松线区域分割，得到通过项点图和分割得到的标签图与模板图像的项点图和标签图进行图像匹配和图像配准，实现项点松动的准确判断，降低误报和漏报的概率。
Description
技术领域
本发明涉及图像处理技术领域，更具体地说，本发明涉及基于图像匹配和配准的列车底部零部件的松动检测方法。
背景技术
列车车底检查是列车结束日间运营后回到停放库进行的一项例行作业，目的是检查列车状态，确保底部设备外观正常无松动、无损坏、无缺失，车底结构无异物，以保证次日的列车运营。
传统上，列车车底检查作业是由作业人员利用手电筒打光，通过人眼观察以及结合个人经验来进行的。由于列车任务编排，该检查只能在凌晨“天窗期”进行，因此作业人员面临带电、凌晨以及车底等安全风险隐患，也影响车辆段厂安全运营管理，因此当下越来越多的自动化检测设备成为代替人工巡检的一种选择。检测设备可以获取列车图像，并通过后台算法处理直接向检修作业人员汇报异常结果。
但是其在实际使用时，仍旧存在一些缺点，如进行列车车底项点的松动检测时，由于项点在任务图像中的呈现视角不同、防松线所在的平面不同以及项点密度太高导致项点小图中有很多其他项点的防松线等原因，一套固定的检测逻辑，例如防松线的角度差或者距离是否大于设定阈值，无法应对所有的任务图片，无法精确得到每个项点是否发生防松线的松动。
发明内容
为了克服现有技术的上述缺陷，本发明的实施例提供基于图像匹配和配准的列车底部零部件的松动检测方法，通过以下方案，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：基于图像匹配和配准的列车底部零部件的松动检测方法，包括：
步骤S01：检测区域划分步骤：用于获取目标列车底部零部件的图片，通过按列车长度划分的方式将目标列车底部零部件划分为各检测子区域，并将各检测子区域依次标记为1、2……n。
步骤S02：图片采集步骤：包括项点标定单元、目标检测模型训练单元、语义分割模型训练单元以及模板图片制作单元，用于获取各检测子区域的模板大图、模板小图以及模板标签。
步骤S03：特征点集匹配步骤：将图片采集步骤得到的任务图片与模板大图进行特征点集匹配，得到第i个检测子区域的变换矩阵，通过变换矩阵/>实现模板图像和待检图像的变换对应，/>，其中/>表示第i个检测子区域的模板图像矩阵，/>表示第i个检测子区域的待检图像矩阵。
步骤S04：图像匹配步骤：包括目标检测单元、语义分割单元以及图像匹配单元，用于获取各检测子区域的任务小图、任务标签以及任务矩阵，通过任务小图和模板小图进行图像匹配得到变换矩阵，利用变换矩阵/>对任务标签进行仿射变换，并与模板标签进行交并比计算。
步骤S05：图像配准步骤：将图像匹配步骤中的任务标签和对应模板标签进行图像配准得到变换矩阵，利用变换矩阵/>对任务标签进行仿射变换，并与模板标签进行交并比计算，并根据计算得出的交并比值和该类项点的设定阈值比较来确定任务小图中的项点有无松动迹象。
优选的，所述项点标定单元通过视觉传感器对各检测子区域进行图像采集，得到各检测子区域的2D模板大图，并对车底零部件类型以及项点位置进行标定，标定的零部件包括螺栓、线路管夹、管线接头、配合件、接地线端子、锁孔以及绝缘子；
所述目标检测模型训练单元利用项点标定单元的标定结果，进行旋转、缩放以及添加噪声的数据增强工作，并划分训练集、测试集和验证集，然后对目标检测网络进行yolov8网络训练，得到目标检测模型。
优选的，所述语义分割模型训练单元用于对所述目标检测模型得到的带有防松线的项点图进行标注，放入PP-LiteSeg轻量级语义分割网络中进行训练，得到语义分割模型；
所述模板图片制作单元通过2D模板大图，传入目标检测网络，得到以待检项点为单位的模板检测小图，再把模板检测小图传入语义分割网络，得到模板标签小图。
优选的，所述目标检测单元用于对任务2D图片进行目标检测，得到以项点为单位的任务小图，并给任务小图添加“是否包含防松线”的属性；
所述语义分割单元通过将包含防松线的任务小图传入语义分割网络，得到项点防松线的任务标签；
所述图像匹配单元用于对每一张任务小图，使用SuperGlue和SuperPoint匹配网络，与对应的模板小图进行匹配，得到第i个检测子区域的变换矩阵。
优选的，所述图像匹配步骤利用变换矩阵对任务标签进行仿射变换，并与模板标签进行交并比计算，如果得到的交并比值大于第i个检测子区域项点的设定阈值，第i个检测子区域任务小图中的项点没有发生防松线的松动，如果小于设定的阈值，则进行图像配准步骤。
优选的，所述图像匹配步骤计算得到的交并比值大于第i个检测子区域项点的设定阈值时，第i个检测子区域任务小图中的项点没有发生防松线的松动，小于第i个检测子区域设定的阈值时，则将第i个检测子区域任务标签和对应模板标签进行图像配准，设定配准模式为平移，将得到的变换矩阵作为初始参数传入基于互相关系数的ECC图像配准方法中，得到新的变换矩阵/>，i表示第i个检测子区域。
优选的，所述图像配准步骤利用变换矩阵对任务标签进行仿射变换，并与模板标签进行交并比计算，如果得到的交并比值大于第i个检测子区域项点的设定阈值，第i个检测子区域任务小图中的项点没有发生防松线的松动，如果小于设定的阈值，则再次将第i个检测子区域任务标签和对应模板标签进行图像配准，设定配准模式为平移，不传入任何初始参数进行ECC图像配准，得到新的变换矩阵/>，i表示第i个检测子区域。
优选的，所述图像配准步骤利用变换矩阵对任务标签进行仿射变换，并与模板标签进行交并比计算，如果得到的交并比值大于第i个检测子区域项点的设定阈值，第i个检测子区域任务小图中的项点没有发生防松线的松动，如果小于设定的阈值，则第i个检测子区域项点的防松线发生了松动，并发出预警信号。
本发明的技术效果和优点：
1、本发明解决了由于项点在图像中的呈现视角不同导致的无法准确判断的问题，例如在图像中侧面呈现的螺栓，它的防松线往往是两条平行的线，无论发生多大的松动，角度方面都是平行的，因此使用角度判断的方法不可行，由于视角等原因，这种螺栓上的两条防松线间的欧式距离远小于正面螺栓上的两条防松线间的欧氏距离，因此使用距离判断的方法不可行，而对任务图片与历史模板进行匹配和配准再求标签的交并比之后，就可以得到一个低于阈值的值，即有充分的理由判断防松线发生了松动；
2、本发明解决了由于防松线所在的平面不同导致的无法准确判断的问题，采集的任务图像是2D平面图，不包含三维信息，而有些在图片中呈现尾部螺丝的螺栓，一部分防松线在螺丝上，另一部分防松线在旁边的车体上，这两条防松线在2D图像上天然呈现较大的角度偏差，传统判断方法无法把这种情况与确实发生了松动导致得到这个角度差的正面螺栓进行区分，从而无法正确判断，而使用图像的匹配和配准后得到一个较低的交并比值时，由于在车体上的防松线不会发生变化，所以可判断是螺栓上的防松线发生了松动；
3、本发明解决了由于项点密度太高导致项点小图中有很多其他项点的防松线导致的无法准确判断的问题，出现这种情况通常是由于车体的某一部分小螺栓太多，目标检测在检测出待检螺栓时，检测框内不可避免地带入了其他的螺栓或螺栓的防松线，这种情况下传统的角度和距离判断方法无法避开这些干扰的防松线，因此完全失效，而使用图像匹配和配准的方法时，通过先验知道可知，检测为螺栓的项点通常只有一根或者两根防松线，当标签图中的轮廓数量超过三时，图像中就混入了别的项点的防松线，通过调高阈值可以进行判断。
附图说明
图1为本发明的整体结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参考图1所示的基于图像匹配和配准的列车底部零部件的松动检测方法，包括检测区域划分步骤、图片采集步骤、特征点集匹配步骤、图像匹配步骤以及图像配准步骤。
步骤S01：检测区域划分步骤：用于获取目标列车底部零部件的图片，通过按列车长度划分的方式将目标列车底部零部件划分为各检测子区域，并将各检测子区域依次标记为1、2……n。
步骤S02：图片采集步骤：包括项点标定单元、目标检测模型训练单元、语义分割模型训练单元以及模板图片制作单元，用于获取各检测子区域的模板大图、模板小图以及模板标签。
所述项点标定单元通过视觉传感器对各检测子区域进行图像采集，得到各检测子区域的2D模板大图，并对车底零部件类型以及项点位置进行标定，标定的零部件包括螺栓、线路管夹、管线接头、配合件、接地线端子、锁孔以及绝缘子。
所述目标检测模型训练单元利用项点标定单元的标定结果，进行旋转、缩放以及添加噪声的数据增强工作，并划分训练集、测试集和验证集，然后对目标检测网络进行yolov8网络训练，得到目标检测模型。
所述语义分割模型训练单元用于对所述目标检测模型得到的带有防松线的项点图进行标注，放入PP-LiteSeg轻量级语义分割网络中进行训练，得到语义分割模型。
所述模板图片制作单元通过2D模板大图，传入目标检测网络，得到以待检项点为单位的模板检测小图，再把模板检测小图传入语义分割网络，得到模板标签小图。
步骤S03：特征点集匹配步骤：将图片采集步骤得到的任务图片与模板大图进行特征点集匹配，得到第i个检测子区域的变换矩阵，通过变换矩阵/>实现模板图像和待检图像的变换对应，/>，其中/>表示第i个检测子区域的模板图像矩阵，/>表示第i个检测子区域的待检图像矩阵。
步骤S04：图像匹配步骤：包括目标检测单元、语义分割单元以及图像匹配单元，用于获取各检测子区域的任务小图、任务标签以及任务矩阵，通过任务小图和模板小图进行图像匹配得到变换矩阵，利用变换矩阵/>对任务标签进行仿射变换，并与模板标签进行交并比计算。
所述目标检测单元用于对任务2D图片进行目标检测，得到以项点为单位的任务小图，并给任务小图添加“是否包含防松线”的属性。
所述语义分割单元通过将包含防松线的任务小图传入语义分割网络，得到项点防松线的任务标签。
所述图像匹配单元用于对每一张任务小图，使用SuperGlue和SuperPoint匹配网络，与对应的模板小图进行匹配，得到第i个检测子区域的变换矩阵。
所述图像匹配步骤利用变换矩阵对任务标签进行仿射变换，并与模板标签进行交并比计算，如果得到的交并比值大于第i个检测子区域项点的设定阈值，第i个检测子区域任务小图中的项点没有发生防松线的松动，如果小于设定的阈值，则进行图像配准步骤。
所述图像匹配步骤计算得到的交并比值大于第i个检测子区域项点的设定阈值时，第i个检测子区域任务小图中的项点没有发生防松线的松动，小于第i个检测子区域设定的阈值时，则将第i个检测子区域任务标签和对应模板标签进行图像配准，设定配准模式为平移，将得到的变换矩阵作为初始参数传入基于互相关系数的ECC图像配准方法中，得到新的变换矩阵/>，i表示第i个检测子区域。
步骤S05：图像配准步骤：将图像匹配步骤中的任务标签和对应模板标签进行图像配准得到变换矩阵，利用变换矩阵/>对任务标签进行仿射变换，并与模板标签进行交并比计算，并根据计算得出的交并比值和该类项点的设定阈值比较来确定任务小图中的项点有无松动迹象。
所述图像配准步骤利用变换矩阵对任务标签进行仿射变换，并与模板标签进行交并比计算，如果得到的交并比值大于第i个检测子区域项点的设定阈值，第i个检测子区域任务小图中的项点没有发生防松线的松动，如果小于设定的阈值，则再次将第i个检测子区域任务标签和对应模板标签进行图像配准，设定配准模式为平移，不传入任何初始参数进行ECC图像配准，得到新的变换矩阵/>，i表示第i个检测子区域。
所述图像配准步骤利用变换矩阵对任务标签进行仿射变换，并与模板标签进行交并比计算，如果得到的交并比值大于第i个检测子区域项点的设定阈值，第i个检测子区域任务小图中的项点没有发生防松线的松动，如果小于设定的阈值，则第i个检测子区域项点的防松线发生了松动，并发出预警信号。
本发明的关键点在于结合列车车辆底部特点，以车底零部件项点图像为对象进行直接匹配，利用得到的变换矩阵在项点标签上做仿射变换，再对项点匹配后疑似发生防松线松动的项点，直接进行标签的配准，通过这两个步骤可以精确得到项点的防松线相对于历史标准状态发生的变化，可以解决硬逻辑判断无法正确判断的情况。
本发明解决了由于项点在图像中的呈现视角不同导致的无法准确判断的问题，例如在图像中侧面呈现的螺栓，它的防松线往往是两条平行的线，无论发生多大的松动，角度方面都是平行的，因此使用角度判断的方法不可行，由于视角等原因，这种螺栓上的两条防松线间的欧式距离远小于正面螺栓上的两条防松线间的欧氏距离，因此使用距离判断的方法不可行，而对任务图片与历史模板进行匹配和配准再求标签的交并比之后，就可以得到一个低于阈值的值，即有充分的理由判断防松线发生了松动。
本发明解决了由于防松线所在的平面不同导致的无法准确判断的问题，采集的任务图像是2D平面图，不包含三维信息，而有些在图片中呈现尾部螺丝的螺栓，一部分防松线在螺丝上，另一部分防松线在旁边的车体上，这两条防松线在2D图像上天然呈现较大的角度偏差，传统判断方法无法把这种情况与确实发生了松动导致得到这个角度差的正面螺栓进行区分，从而无法正确判断，而使用图像的匹配和配准后得到一个较低的交并比值时，由于在车体上的防松线不会发生变化，所以可判断是螺栓上的防松线发生了松动。
本发明解决了由于项点密度太高导致项点小图中有很多其他项点的防松线导致的无法准确判断的问题，出现这种情况通常是由于车体的某一部分小螺栓太多，目标检测在检测出待检螺栓时，检测框内不可避免地带入了其他的螺栓或螺栓的防松线，这种情况下传统的角度和距离判断方法无法避开这些干扰的防松线，因此完全失效，而使用图像匹配和配准的方法时，通过先验知道可知，检测为螺栓的项点通常只有一根或者两根防松线，当标签图中的轮廓数量超过三时，图像中就混入了别的项点的防松线，通过调高阈值可以进行判断。
其次：本发明公开实施例附图中，只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计，在不冲突情况下，本发明同一实施例及不同实施例可以相互组合；
最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.基于图像匹配和配准的列车底部零部件的松动检测方法，包括，其特征在于：
步骤S01：检测区域划分步骤：用于获取目标列车底部零部件的图片，通过按列车长度划分的方式将目标列车底部零部件划分为各检测子区域，并将各检测子区域依次标记为1、2……n；
步骤S02：图片采集步骤：包括项点标定单元、目标检测模型训练单元、语义分割模型训练单元以及模板图片制作单元，用于获取各检测子区域的模板大图、模板小图以及模板标签；
步骤S03：特征点集匹配步骤：将图片采集步骤得到的任务图片与模板大图进行特征点集匹配，得到第i个检测子区域的变换矩阵，通过变换矩阵/>实现模板图像和待检图像的变换对应，/>，其中/>表示第i个检测子区域的模板图像矩阵，/>表示第i个检测子区域的待检图像矩阵；
步骤S04：图像匹配步骤：包括目标检测单元、语义分割单元以及图像匹配单元，用于获取各检测子区域的任务小图、任务标签以及任务矩阵，通过任务小图和模板小图进行图像匹配得到变换矩阵，利用变换矩阵/>对任务标签进行仿射变换，并与模板标签进行交并比计算；
步骤S05：图像配准步骤：将图像匹配步骤中的任务标签和对应模板标签进行图像配准得到变换矩阵，利用变换矩阵/>对任务标签进行仿射变换，并与模板标签进行交并比计算，并根据计算得出的交并比值和该类项点的设定阈值比较来确定任务小图中的项点有无松动迹象。
2.根据权利要求1所述的基于图像匹配和配准的列车底部零部件的松动检测方法，其特征在于：所述项点标定单元通过视觉传感器对各检测子区域进行图像采集，得到各检测子区域的2D模板大图，并对车底零部件类型以及项点位置进行标定，标定的零部件包括螺栓、线路管夹、管线接头、配合件、接地线端子、锁孔以及绝缘子；
所述目标检测模型训练单元利用项点标定单元的标定结果，进行旋转、缩放以及添加噪声的数据增强工作，并划分训练集、测试集和验证集，然后对目标检测网络进行yolov8网络训练，得到目标检测模型。
3.根据权利要求1所述的基于图像匹配和配准的列车底部零部件的松动检测方法，其特征在于：所述语义分割模型训练单元用于对所述目标检测模型得到的带有防松线的项点图进行标注，放入PP-LiteSeg轻量级语义分割网络中进行训练，得到语义分割模型；
所述模板图片制作单元通过2D模板大图，传入目标检测网络，得到以待检项点为单位的模板检测小图，再把模板检测小图传入语义分割网络，得到模板标签小图。
4.根据权利要求1所述的基于图像匹配和配准的列车底部零部件的松动检测方法，其特征在于：所述目标检测单元用于对任务2D图片进行目标检测，得到以项点为单位的任务小图，并给任务小图添加“是否包含防松线”的属性；语义分割单元通过将包含防松线的任务小图传入语义分割网络，得到项点防松线的任务标签；图像匹配单元用于对每一张任务小图，使用SuperGlue和SuperPoint匹配网络，与对应的模板小图进行匹配，得到第i个检测子区域的变换矩阵。
5.根据权利要求1所述的基于图像匹配和配准的列车底部零部件的松动检测方法，其特征在于：所述图像匹配步骤利用变换矩阵对任务标签进行仿射变换，并与模板标签进行交并比计算，如果得到的交并比值大于第i个检测子区域项点的设定阈值，第i个检测子区域任务小图中的项点没有发生防松线的松动，如果小于设定的阈值，则进行图像配准步骤。
6.根据权利要求1所述的基于图像匹配和配准的列车底部零部件的松动检测方法，其特征在于：所述图像匹配步骤计算得到的交并比值大于第i个检测子区域项点的设定阈值时，第i个检测子区域任务小图中的项点没有发生防松线的松动，小于第i个检测子区域设定的阈值时，则将第i个检测子区域任务标签和对应模板标签进行图像配准，设定配准模式为平移，将得到的变换矩阵作为初始参数传入基于互相关系数的ECC图像配准方法中，得到新的变换矩阵/>，i表示第i个检测子区域。
7.根据权利要求1所述的基于图像匹配和配准的列车底部零部件的松动检测方法，其特征在于：所述图像配准步骤利用变换矩阵对任务标签进行仿射变换，并与模板标签进行交并比计算，如果得到的交并比值大于第i个检测子区域项点的设定阈值，第i个检测子区域任务小图中的项点没有发生防松线的松动，如果小于设定的阈值，则再次将第i个检测子区域任务标签和对应模板标签进行图像配准，设定配准模式为平移，不传入任何初始参数进行ECC图像配准，得到新的变换矩阵/>，i表示第i个检测子区域。
8.根据权利要求1所述的基于图像匹配和配准的列车底部零部件的松动检测方法，其特征在于：所述图像配准步骤利用变换矩阵对任务标签进行仿射变换，并与模板标签进行交并比计算，如果得到的交并比值大于第i个检测子区域项点的设定阈值，第i个检测子区域任务小图中的项点没有发生防松线的松动，如果小于设定的阈值，则第i个检测子区域项点的防松线发生了松动，并发出预警信号。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410067135.3A CN117576107B (zh) | 2024-01-17 | 2024-01-17 | 基于图像匹配和配准的列车底部零部件的松动检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410067135.3A CN117576107B (zh) | 2024-01-17 | 2024-01-17 | 基于图像匹配和配准的列车底部零部件的松动检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117576107A true CN117576107A (zh) | 2024-02-20 |
| CN117576107B CN117576107B (zh) | 2024-03-29 |
Family
ID=89886776
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410067135.3A Active CN117576107B (zh) | 2024-01-17 | 2024-01-17 | 基于图像匹配和配准的列车底部零部件的松动检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117576107B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104680517A (zh) * | 2015-01-22 | 2015-06-03 | 清华大学 | 一种螺栓松动的检测方法 |
| CN106600581A (zh) * | 2016-12-02 | 2017-04-26 | 北京航空航天大学 | 一种基于双目立体视觉的列车运行故障自动检测系统及方法 |
| CN110567680A (zh) * | 2018-06-05 | 2019-12-13 | 成都精工华耀科技有限公司 | 一种基于角度比对的轨道扣件松动检测方法 |
| CN111681265A (zh) * | 2020-06-08 | 2020-09-18 | 西南交通大学 | 一种铁路受电弓和接触网的接触点在线检测方法 |
| WO2020248439A1 (zh) * | 2019-06-11 | 2020-12-17 | 江苏农林职业技术学院 | 一种基于图像处理的皇冠盖表面缺陷在线检测方法 |
| WO2021111599A1 (en) * | 2019-12-05 | 2021-06-10 | Volvo Truck Corporation | Method, device, system, and computer program for detecting wheel fastener looseness and computer-readable medium storing computer program |
| CN112991347A (zh) * | 2021-05-20 | 2021-06-18 | 西南交通大学 | 一种基于三维的列车螺栓松动检测方法 |
| CN114445636A (zh) * | 2021-12-23 | 2022-05-06 | 中数智科(杭州)科技有限公司 | 一种列车底部项点映射方法 |
| CN115908872A (zh) * | 2022-11-08 | 2023-04-04 | 中数智科(杭州)科技有限公司 | 一种列车底部零部件匹配方法 |
| WO2023123642A1 (zh) * | 2021-12-29 | 2023-07-06 | 中国矿业大学 | 深部受限空间无人运输设备可行驶域检测和自主避障方法 |
| CN116664643A (zh) * | 2023-06-28 | 2023-08-29 | 哈尔滨市科佳通用机电股份有限公司 | 基于SuperPoint算法的铁路列车图像配准方法及设备 |
| CN117333696A (zh) * | 2023-09-14 | 2024-01-02 | 平高集团有限公司 | 一种基于机器视觉的螺栓检测方法和装置 |
-
2024
- 2024-01-17 CN CN202410067135.3A patent/CN117576107B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104680517A (zh) * | 2015-01-22 | 2015-06-03 | 清华大学 | 一种螺栓松动的检测方法 |
| CN106600581A (zh) * | 2016-12-02 | 2017-04-26 | 北京航空航天大学 | 一种基于双目立体视觉的列车运行故障自动检测系统及方法 |
| CN110567680A (zh) * | 2018-06-05 | 2019-12-13 | 成都精工华耀科技有限公司 | 一种基于角度比对的轨道扣件松动检测方法 |
| WO2020248439A1 (zh) * | 2019-06-11 | 2020-12-17 | 江苏农林职业技术学院 | 一种基于图像处理的皇冠盖表面缺陷在线检测方法 |
| WO2021111599A1 (en) * | 2019-12-05 | 2021-06-10 | Volvo Truck Corporation | Method, device, system, and computer program for detecting wheel fastener looseness and computer-readable medium storing computer program |
| CN111681265A (zh) * | 2020-06-08 | 2020-09-18 | 西南交通大学 | 一种铁路受电弓和接触网的接触点在线检测方法 |
| CN112991347A (zh) * | 2021-05-20 | 2021-06-18 | 西南交通大学 | 一种基于三维的列车螺栓松动检测方法 |
| CN114445636A (zh) * | 2021-12-23 | 2022-05-06 | 中数智科(杭州)科技有限公司 | 一种列车底部项点映射方法 |
| WO2023123642A1 (zh) * | 2021-12-29 | 2023-07-06 | 中国矿业大学 | 深部受限空间无人运输设备可行驶域检测和自主避障方法 |
| CN115908872A (zh) * | 2022-11-08 | 2023-04-04 | 中数智科(杭州)科技有限公司 | 一种列车底部零部件匹配方法 |
| CN116664643A (zh) * | 2023-06-28 | 2023-08-29 | 哈尔滨市科佳通用机电股份有限公司 | 基于SuperPoint算法的铁路列车图像配准方法及设备 |
| CN117333696A (zh) * | 2023-09-14 | 2024-01-02 | 平高集团有限公司 | 一种基于机器视觉的螺栓检测方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 王立春;李强懿;阮航;: "一种基于图像匹配的公路破损标线检测方法", 计算机技术与发展, no. 09, 16 May 2018 (2018-05-16) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117576107B (zh) | 2024-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112419299B (zh) | 一种螺栓缺失检测方法、装置、设备及存储介质 | |
| CN103512762B (zh) | 图像处理方法、装置及列车故障检测系统 | |
| CN112800860B (zh) | 一种事件相机和视觉相机协同的高速抛撒物检测方法和系统 | |
| CN111080650B (zh) | 铁路货车小部件轴承挡键螺母松动和丢失故障检测方法 | |
| CN112017243B (zh) | 一种介质能见度识别方法 | |
| CN112488995B (zh) | 列车自动化检修的智能判伤方法及系统 | |
| CN113869268A (zh) | 障碍物测距方法、装置、电子设备及可读介质 | |
| CN113639685A (zh) | 位移检测方法、装置、设备和存储介质 | |
| CN117593290A (zh) | 列车360度动态图像监测系统的螺栓松动检测方法及设备 | |
| CN117372401A (zh) | 一种电缆线路缺陷的识别方法、系统、终端设备及介质 | |
| CN113191239A (zh) | 一种基于计算机视觉的车辆外廓尺寸动态检测系统 | |
| CN118229670B (zh) | 一种智能的轮毂模型尺寸快速测量方法 | |
| CN115497242A (zh) | 一种面向铁路营业线施工的异物侵入智能监测系统及监测方法 | |
| JPH0765152A (ja) | 監視装置および監視方法 | |
| CN114494161A (zh) | 基于图像对比的受电弓异物检测方法、设备及存储介质 | |
| CN117576107B (zh) | 基于图像匹配和配准的列车底部零部件的松动检测方法 | |
| CN114821274A (zh) | 一种用于识别分合指示牌的状态的方法和设备 | |
| EP4217909A1 (en) | Vehicle image analysis | |
| CN112016558B (zh) | 一种基于图像质量的介质能见度识别方法 | |
| CN109614873A (zh) | 基于神经网络的列车安全标志检测方法、服务器及存储介质 | |
| JP3500425B2 (ja) | 可視画像式路面状況把握装置における路面状況判定方法 | |
| JP2000156852A (ja) | 監視装置 | |
| CN116664512A (zh) | 一种基于视觉识别的veh连接器组装安全监测报警系统 | |
| CN116002480A (zh) | 电梯轿厢内乘客意外摔倒的自动检测方法和系统 | |
| CN115409829A (zh) | 一种基于历史轨道列车线阵图像检测零部件异常的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |