CN113033554A - 一种实时在线检测锚固螺栓缺陷的方法 - Google Patents

一种实时在线检测锚固螺栓缺陷的方法 Download PDF

Info

Publication number
CN113033554A
CN113033554A CN202110317579.4A CN202110317579A CN113033554A CN 113033554 A CN113033554 A CN 113033554A CN 202110317579 A CN202110317579 A CN 202110317579A CN 113033554 A CN113033554 A CN 113033554A
Authority
CN
China
Prior art keywords
images
image
detected
fastener
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110317579.4A
Other languages
English (en)
Other versions
CN113033554B (zh
Inventor
范国海
胡文锐
徐绍伟
张桃桃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu National Railways Electrical Equipment Co ltd
Original Assignee
Chengdu National Railways Electrical Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu National Railways Electrical Equipment Co ltd filed Critical Chengdu National Railways Electrical Equipment Co ltd
Priority to CN202110317579.4A priority Critical patent/CN113033554B/zh
Publication of CN113033554A publication Critical patent/CN113033554A/zh
Application granted granted Critical
Publication of CN113033554B publication Critical patent/CN113033554B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Abstract

本发明公开了种实时在线检测锚固螺栓缺陷的方法，包括图像采集与合并，得到合并图集；标记合并图样本集中扣件的区域，并所有标记图像送入到yolov3网络中进行训练，得到yolov3的网络权重；获取待检测合并图像，将待检测的合并图送入yolov3的深度学习网络中，预测出每个扣件在对应图像中的位置；根据每个扣件在对应图像中的位置，在扣件所在位置截取扣件图像，随机选取出n张作为孔洞检测样本集，余下的作为待检测图集；标记扣件图像中的扣件部件，并将n张扣件图像放入yolov3网络中训练，得到yolov3的目标检测网络权重；将待检测的待检测图集的图像输入yolov3目标检测网络中，预测出孔洞的位置；截取孔洞的图像，经过inceptionV3分类，若为孔洞，则为螺栓缺失的缺陷。

Description

一种实时在线检测锚固螺栓缺陷的方法
技术领域
本发明涉及轨道交通图像处理领域，具体是一种实时在线检测锚固螺栓缺陷的方法。
背景技术
锚固螺栓作为轨道连接部件非常重要的联结件，在保证轨道安全起到重要作用，是轨道维护作业中的重点维护对象，但是锚固螺栓数量极多，与扣件相比外形较小，在人工维护过程中，容易被忽略，这无疑增加了对锚固螺栓维护的难度。而在目前为止，国内的对轨道的巡检系统也是采用离线检测的方式，所以急需能够在线实时检测锚固螺栓缺陷的方法。
发明内容
本发明的目的在于克服现有技术的不足，提供一种实时在线检测锚固螺栓缺陷的方法，包括如下过程：
步骤一，将采集到的图像按照行方向将图像合并为一张图像，得到合并图集；
步骤二，获取并记录合并图中扣件的坐标(x,y)以及扣件的宽和高(w,h)，并将合并图集以及合并图中扣件的坐标(x,y)以及扣件的宽和高(w,h)信息输入到yolov3网络中进行训练，得到yolov3的网络权重一；
步骤三，获取待检测合并图像，根据网络权重一，将待检测的合并图送入yolov3的深度学习网络中，预测出每个扣件在对应图像中的坐标(x,y)以及宽高(w,h)；
步骤四，将图像中坐标为(x,y)，宽和高为(w,h)的ROI区域保存为图像，并随机选取出n张作为孔洞检测样本集，余下的作为待检测图集；
步骤五，记录孔洞检测样本集中图像的孔洞的坐标(x,y)以及孔洞的宽高(w,h)，并将n张图像以及对应图像中的孔洞的坐标(x,y)以及孔洞的宽高(w,h)输入yolov3网络中训练，得到yolov3的目标检测网络权重二；
步骤六，根据网络权重二，将待检测图集的图像输入yolov3目标检测网络中，预测出孔洞的位置；
步骤七，截取孔洞的图像，经过Inception分类，若为孔洞，则为螺栓缺失的缺陷。
进一步的，所述的图像采集与合并，将采集到的图像按照行方向将图像合并为一张图像，得到合并图集，具体为，采集的图像为沿着轨道分别获取左右轨道的内侧和外侧图像，按照行方向将左右轨道的内侧和外侧图像合并为一张图像。
进一步的，所述的获取待检测合并图像为沿着轨道重新分别获取左右轨道的内侧和外侧图像，并沿行方向进行合并得到的合并图。
进一步的，所述的获取待检测合并图像，将待检测的合并图送入yolov3的深度学习网络中，预测出每个扣件在对应图像中的坐标(x,y)以及每个扣件的宽高(w,h)，其中的w为扣件的宽，所述的h为扣件的高。
进一步的，所述的将图像中坐标为(x,y)，宽和高为(w,h)的ROI区域保存为图片，并随机选取出n张作为孔洞检测样本集，余下的作为待检测图集，具体为，所有待检测合并图像均保存出ROI区域图片，得到图片合集，从图片合集中按照设定的提取比例，随机选取出n张图片作为孔洞检测样本集。
本发明的有益效果是：使用本发明的检测方法能够精确的、实时的检测锚固螺栓缺失的缺陷。
附图说明
图1为一种实时在线检测锚固螺栓缺陷的方法的流程图；
图2为检测过程示意图；
图3为图像合并的示意图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。
如图1所示，一种实时在线检测锚固螺栓缺陷的方法，包括如下过程：
步骤一，将采集到的图像按照行方向将图像合并为一张图像，得到合并图集；
步骤二，获取并记录合并图中扣件的坐标(x,y)以及扣件的宽和高(w,h)，并将合并图集以及合并图中扣件的坐标(x,y)以及扣件的宽和高(w,h)信息输入到yolov3网络中进行训练，得到yolov3的网络权重一；
步骤三，获取待检测合并图像，根据网络权重一，将待检测的合并图送入yolov3的深度学习网络中，预测出每个扣件在对应图像中的坐标(x,y)以及宽高(w,h)；
步骤四，将图像中坐标为(x,y)，宽和高为(w,h)的ROI区域保存为图像，并随机选取出n张作为孔洞检测样本集，余下的作为待检测图集；
步骤五，记录孔洞检测样本集中图像的孔洞的坐标(x,y)以及孔洞的宽高(w,h)，并将n张图像以及对应图像中的孔洞的坐标(x,y)以及孔洞的宽高(w,h)输入yolov3网络中训练，得到yolov3的目标检测网络权重二；
步骤六，根据网络权重二，将待检测图集的图像输入yolov3目标检测网络中，预测出孔洞的位置；
步骤七，截取孔洞的图像，经过Inception分类，若为孔洞，则为螺栓缺失的缺陷。
所述的图像采集与合并，将采集到的图像按照行方向将图像合并为一张图像，得到合并图集，具体为，采集的图像为沿着轨道分别获取左右轨道的内侧和外侧图像，按照行方向将左右轨道的内侧和外侧图像合并为一张图像。
所述的获取待检测合并图像为沿着轨道重新分别获取左右轨道的内侧和外侧图像，并沿行方向进行合并得到的合并图。
所述的获取待检测合并图像，将待检测的合并图送入yolov3的深度学习网络中，预测出每个扣件在对应图像中的坐标(x,y)以及每个扣件的宽高(w,h)，其中的w为扣件的宽，所述的h为扣件的高。
所述的将图像中坐标为(x,y)，宽和高为(w,h)的ROI区域保存为图片，并随机选取出n张作为孔洞检测样本集，余下的作为待检测图集，具体为，所有待检测合并图像均保存出ROI区域图片，得到图片合集，从图片合集中按照设定的提取比例，随机选取出n张图片作为孔洞检测样本集。
具体的，本方案的主要检测思路：锚固螺栓缺失以后，在图像会表现出一个孔洞的形式，而孔洞的形态与锚固螺栓的外形相差较大。所以采取直接检测孔洞的方式确定锚固螺栓的缺陷。
1、采用图像合并的方法，减少检测的任务量。
2、使用先进行扣件区域定位，再细节检测的级联方式实现对孔洞的精确检测。
3、最终使用分类器直接对孔洞分类，若为分类器则直接为锚固螺栓缺失。
具体步骤：
1、图像的合并：取4张图像按照行方向将图像合并成一张图像
2、选取1000张合并图作为样本集
3、标记合并图样本集中扣件的区域。并所有标记图像其送入到yolov3网络中进行训练，得到yolov3的网络权重，
4、将待检测的合并图送入yolov3的深度学习网络中，预测出每个扣件在图像中的具体位置。
5、在扣件所在位置截取400*400的图像，筛选出1000张作为孔洞检测样本集。
6、标记400*400图像中的扣件部件。并将1000张400*400标记的图像放入yolov3网络中训练，得到yolov3的目标检测网络权重。
7、将待检测的400*400的图像输入yolov3目标检测网络中，预测出孔洞的具体位置。
8、截取孔洞的图像，经过inceptionV3分类，若为孔洞，则最终确定为螺栓缺失的缺陷。
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (5)

1.一种实时在线检测锚固螺栓缺陷的方法，其特征在于，包括如下过程：
步骤一，将采集到的图像按照行方向将图像合并为一张图像，得到合并图集；
步骤二，获取并记录合并图中扣件的坐标(x,y)以及扣件的宽和高(w,h)，并将合并图集以及合并图中扣件的坐标(x,y)以及扣件的宽和高(w,h)信息输入到yolov3网络中进行训练，得到yolov3的网络权重一；
步骤三，获取待检测合并图像，根据网络权重一，将待检测的合并图送入yolov3的深度学习网络中，预测出每个扣件在对应图像中的坐标(x,y)以及宽高(w,h)；
步骤四，将图像中坐标为(x,y)，宽和高为(w,h)的ROI区域保存为图像，并随机选取出n张作为孔洞检测样本集，余下的作为待检测图集；
步骤五，记录孔洞检测样本集中图像的孔洞的坐标(x,y)以及孔洞的宽高(w,h)，并将n张图像以及对应图像中的孔洞的坐标(x,y)以及孔洞的宽高(w,h)输入yolov3网络中训练，得到yolov3的目标检测网络权重二；
步骤六，根据网络权重二，将待检测图集的图像输入yolov3目标检测网络中，预测出孔洞的位置；
步骤七，截取孔洞的图像，经过Inception分类，若为孔洞，则为螺栓缺失的缺陷。
2.根据权利要求1所述的一种实时在线检测锚固螺栓缺陷的方法，其特征在于，所述的图像采集与合并，将采集到的图像按照行方向将图像合并为一张图像，得到合并图集，具体为，采集的图像为沿着轨道分别获取左右轨道的内侧和外侧图像，按照行方向将左右轨道的内侧和外侧图像合并为一张图像。
3.根据权利要求1所述的一种实时在线检测锚固螺栓缺陷的方法，其特征在于，所述的获取待检测合并图像为沿着轨道重新分别获取左右轨道的内侧和外侧图像，并沿行方向进行合并得到的合并图。
4.根据权利要求1所述的一种实时在线检测锚固螺栓缺陷的方法，其特征在于，所述的获取待检测合并图像，将待检测的合并图送入yolov3的深度学习网络中，预测出每个扣件在对应图像中的坐标(x,y)以及每个扣件的宽高(w,h)，其中的w为扣件的宽，所述的h为扣件的高。
5.根据权利要求1所述的一种实时在线检测锚固螺栓缺陷的方法，其特征在于，所述的将图像中坐标为(x,y)，宽和高为(w,h)的ROI区域保存为图片，并随机选取出n张作为孔洞检测样本集，余下的作为待检测图集，具体为，所有待检测合并图像均保存出ROI区域图片，得到图片合集，从图片合集中按照设定的提取比例，随机选取出n张图片作为孔洞检测样本集。
CN202110317579.4A 2021-03-23 2021-03-23 一种实时在线检测锚固螺栓缺陷的方法 Active CN113033554B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110317579.4A CN113033554B (zh) 2021-03-23 2021-03-23 一种实时在线检测锚固螺栓缺陷的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110317579.4A CN113033554B (zh) 2021-03-23 2021-03-23 一种实时在线检测锚固螺栓缺陷的方法

Publications (2)

Publication Number Publication Date
CN113033554A true CN113033554A (zh) 2021-06-25
CN113033554B CN113033554B (zh) 2022-05-13

Family

ID=76473569

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110317579.4A Active CN113033554B (zh) 2021-03-23 2021-03-23 一种实时在线检测锚固螺栓缺陷的方法

Country Status (1)

Country Link
CN (1) CN113033554B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106934800A (zh) * 2017-02-28 2017-07-07 北京科技大学 一种基于yolo9000网络的金属板带表面缺陷检测方法及装置
CN109239102A (zh) * 2018-08-21 2019-01-18 南京理工大学 一种基于cnn的柔性电路板外观缺陷检测方法
CN109900706A (zh) * 2019-03-20 2019-06-18 易思维（杭州）科技有限公司 一种基于深度学习的焊缝及焊缝缺陷检测方法
US20200117952A1 (en) * 2018-10-11 2020-04-16 James Carroll Target object position prediction and motion tracking
US20200160083A1 (en) * 2018-11-15 2020-05-21 International Business Machines Corporation Efficient defect localization/segmentation for surface defect inspection
CN111489339A (zh) * 2020-04-08 2020-08-04 北京交通大学 高速铁路定位器螺栓备母缺陷的检测方法
CN111553917A (zh) * 2020-05-11 2020-08-18 广州鹄志信息咨询有限公司 一种基于芯片缺陷检测的检测方法和系统
CN111815573A (zh) * 2020-06-17 2020-10-23 科大智能物联技术有限公司 一种基于深度学习的接箍外壁检测方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106934800A (zh) * 2017-02-28 2017-07-07 北京科技大学 一种基于yolo9000网络的金属板带表面缺陷检测方法及装置
CN109239102A (zh) * 2018-08-21 2019-01-18 南京理工大学 一种基于cnn的柔性电路板外观缺陷检测方法
US20200117952A1 (en) * 2018-10-11 2020-04-16 James Carroll Target object position prediction and motion tracking
US20200160083A1 (en) * 2018-11-15 2020-05-21 International Business Machines Corporation Efficient defect localization/segmentation for surface defect inspection
CN109900706A (zh) * 2019-03-20 2019-06-18 易思维（杭州）科技有限公司 一种基于深度学习的焊缝及焊缝缺陷检测方法
CN111489339A (zh) * 2020-04-08 2020-08-04 北京交通大学 高速铁路定位器螺栓备母缺陷的检测方法
CN111553917A (zh) * 2020-05-11 2020-08-18 广州鹄志信息咨询有限公司 一种基于芯片缺陷检测的检测方法和系统
CN111815573A (zh) * 2020-06-17 2020-10-23 科大智能物联技术有限公司 一种基于深度学习的接箍外壁检测方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
TAO YE等: ""Fault detection of railway freight cars mechanical components based on multi‑feature fusion convolutional neural network"", 《SPRINGER》 *
位一鸣等: "基于卷积神经网络的主变压器外观缺陷检测方法", 《浙江电力》 *
杨凯: ""基于深度学习的精密铸件缺陷检测方法研究与应用"", 《中国优秀博硕士学位论文全文数据库(博士)工程科技Ⅰ辑》 *
韩烨: ""基于计算机视觉的高铁接触网支持装置零部件分类提取与缺陷检测"", 《中国优秀博硕士学位论文全文数据库(博士)工程科技Ⅱ辑》 *

Also Published As

Publication number Publication date
CN113033554B (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
Gibert et al. Deep multitask learning for railway track inspection
EP2697738B1 (en) Method and system of rail component detection using vision technology
CN106991668B (zh) 一种天网摄像头拍摄画面的评价方法
CN103593678B (zh) 一种大跨度桥梁车辆动态荷载分布检测方法
CN109658397A (zh) 一种轨道巡检方法及系统
CN103425967A (zh) 一种基于行人检测和跟踪的人流监控方法
KR102017870B1 (ko) 실시간 선로 결함 검측 시스템
CN101022505A (zh) 复杂背景下运动目标自动检测方法和装置
CN104573659A (zh) 一种基于svm的驾驶员接打电话监控方法
CN113112501B (zh) 一种基于深度学习的车载轨道巡检装置及方法
CN107038411A (zh) 一种基于视频中车辆运动轨迹的路侧停车行为精确识别方法
CN111754460A (zh) 一种转辙机缺口自动检测方法、系统及存储介质
CN110728269B (zh) 一种基于c2检测数据的高铁接触网支柱杆号牌识别方法
CN111127409A (zh) 基于sift图像配准与余弦相似度的列车部件检测方法
Qiu et al. Rail fastener positioning based on double template matching
CN107506753A (zh) 一种面向动态视频监控的多车辆跟踪方法
CN113033554B (zh) 一种实时在线检测锚固螺栓缺陷的方法
Lorente et al. Detection of range-based rail gage and missing rail fasteners: Use of high-resolution two-and three-dimensional images
CN112001908B (zh) 铁路货车枕梁孔搭载异物检测方法
Sawadisavi et al. Machine-vision inspection of railroad track
CN112466121A (zh) 一种基于视频的测速方法
Edwards et al. Advancements in railroad track inspection using machine-vision technology
CN106919889A (zh) 对视频图像中的人头进行检测的方法和装置
Dai et al. Railway fastener detection method based on 3D images
CN107273781A (zh) 一种基于图像分析的人体行为识别算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant