CN116342966B - 一种基于深度学习的轨道巡检方法、装置、设备及介质 - Google Patents
一种基于深度学习的轨道巡检方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116342966B CN116342966B CN202310617697.6A CN202310617697A CN116342966B CN 116342966 B CN116342966 B CN 116342966B CN 202310617697 A CN202310617697 A CN 202310617697A CN 116342966 B CN116342966 B CN 116342966B
- Authority
- CN
- China
- Prior art keywords
- fastener
- image
- track
- picture
- detection model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000013135 deep learning Methods 0.000 title claims abstract description 13
- 238000001514 detection method Methods 0.000 claims abstract description 56
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 238000012216 screening Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 19
- 230000007547 defect Effects 0.000 claims description 14
- 230000006698 induction Effects 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000001960 triggered effect Effects 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 230000000452 restraining effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 241001669679 Eleotris Species 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/16—Image acquisition using multiple overlapping images; Image stitching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Nonlinear Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及轨道巡检技术领域，具体涉及一种基于深度学习的轨道巡检方法、装置、设备及介质，包括如下步骤：实时获取轨道2D图像和扣件3D图像并进行预处理；对轨道2D图像进行识别，筛选出疑似异物图片，再使用轨道检测模型进行二次分类识别，确定最终异物图片并获取相关位置；使用扣件检测模型对扣件3D图像进行分类识别并输出候选定位区域，输出最终扣件定位坐标；对扣件所在位置进行裁剪，通过扣件检测模型进行检测后并输出扣件分类情况，当扣件检测情况分类为正常时，根据扣件3D图像的三维点云数据进行离缝值测量，本发明将深度学习的目标检测算法与时序网络结合，实现扣件的准确定位，以及在提高缺陷检测准确性的同时提高检测速度。
Description
技术领域
本发明涉及轨道巡检技术领域，具体涉及一种基于深度学习的轨道巡检方法、装置、设备及介质。
背景技术
在列车运行中，轨道是列车运行的基础，良好的轨道状况是列车安全行驶的保障，但随着我国高速铁路的不断发展，传统的人工巡检方式已然不能满足目前铁路的发展现状。
随着计算机视觉技术的出现以及逐步完善，许多基于计算机视觉技术实现的自动检测方法被设计出来运用于各个场景中，将应用计算机视觉检测技术到轨道巡检中，可以替代人工巡检方式，提高检测效率，但常用的方法多为通过当前拍摄的特征图像与提取的轨道部件标准图像进行对比，根据匹配度来确定是否存在轨道缺陷，此方法检测精度低，且存在扣件定位不准的问题。
发明内容
本发明的目的是提供一种基于深度学习的轨道巡检方法、装置、设备及介质，将深度学习的目标检测算法与时序网络结合，实现扣件的准确定位，以及在提高缺陷检测准确性的同时提高检测速度。
为实现上述目的，本发明提供了如下的技术方案：
第一方面，本发明提供了一种基于深度学习的轨道巡检方法，包括如下步骤：
S1.实时获取轨道2D图像和扣件3D图像以及对应的采集位置，分别对轨道2D图像和扣件3D图像进行预处理；
S2.基于步骤S1，使用图像识别算法对预处理后的轨道2D图像进行识别，筛选出疑似异物图片，将疑似异物图片输入预先建立好的轨道检测模型中，对疑似异物图片进行二次分类识别，根据识别置信度与设定阈值的比较情况确定最终异物图片并获取相关位置；
S3.基于步骤S1，将预处理后的扣件3D图像输入预先建立好的扣件检测模型中，对扣件缺陷进行分类识别并输出候选定位区域，对候选定位区域使用NMS非极大值抑制，输出最终扣件定位坐标；
S4.基于步骤S3，根据扣件定位坐标对图片中扣件所在位置进行裁剪，通过扣件检测模型进行检测后并输出扣件分类情况，当扣件检测情况分类为正常时，根据扣件3D图像的三维点云数据进行离缝值测量。
进一步的，获取轨道2D图像的方法为：在巡检小车的同一水平高度处安装多台2D线扫相机，每台2D线扫相机负责部分轨道宽度的扫描，设置固定行频，同步触发多台2D线扫相机进行拍摄得到轨道2D图像；
获取扣件3D图像的方法为：在巡检小车的同一水平高度处安装多台用于拍摄扣件的线激光3D相机，设置固定行频，对相邻线激光3D相机进行异步触发，对获取的3D点云数据进行拼接得到扣件完整3D图像。
进一步的，对轨道2D图像进行预处理的方法为：对图像进行去噪和滤波，将多台2D线扫相机在同一时间同步拍摄的图像进行拼接和归一化，得到在固定行频内的完整幅面轨道2D图像；
对扣件3D图像进行预处理的方法为：将扣件3D图像进行降维处理，对降维后的扣件2D图像再进行去噪和滤波处理。
进一步的，使用图像识别算法对预处理后的轨道2D图像进行识别的具体步骤为：
S21.对预处理后的轨道2D图像进行边缘检测，得到第一图片；
S22.基于步骤S21，对第一图片进行形态学的闭运算操作，得到第二图片；
S23.基于步骤S22，对第二图片寻找连通域并返回轮廓，得到疑似异物图片。
进一步的，轨道检测模型的建立步骤为：
使用轨道异物图片样本集进行轨道检测模型训练，搜集误识别区域并进行二次训练，得到最终轨道检测模型。
进一步的，扣件检测模型的建立步骤为：
S31.将扣件样本均衡分为测试集和训练集，将扣件测试集图片输入yolox网络中，完成预设周期的训练，得到扣件粗略检测模型；
S32.基于步骤S31，将扣件训练集样本输入扣件粗略检测模型中，筛选出误识别扣件样本图片，将误识别扣件样本图片作为再训练集；
S33.基于步骤S32，随机选取再训练集样本图片进行再训练，优化模型，得到最终扣件检测模型。
优选的，训练扣件检测模型时，将检测结果分为弹条正常、弹条松动、弹条脱落、螺丝正常、螺丝松动、螺丝脱落六个类别。
第二方面，本发明提供一种轨道巡检装置，包括：
位置获取模块，包括PLC控制模块和编码器，所述编码器安装于沿当前轨道运行的巡检小车从动轮上，所述PLC控制模块用于根据编码器输出的脉冲计数，得出小车行驶距离获取小车行进位置；
位置校准模块，包括设置于巡检小车上的2D相机、传感器以及在轨道两侧间隔预设距离设置的感应杆，所述感应杆上设置有杆号，所述传感器感应到感应杆则触发2D相机拍照获取感应杆杆号，通过杆号位置对巡检小车位置进行校准；
图像采集模块，包括2D图像采集模块和3D图像采集模块，所述2D图像采集模块用于采集轨道图像，所述3D图像采集模块用于采集扣件图像；
图像处理模块，用于对采集的2D图像和3D图像进行预处理；
识别分类模块，用于分别对轨道2D图像和扣件3D图像进行分类识别。
第三方面，本发明提供了一种电子设备，包括处理器、存储器及存储在所述存储器上并可用在所述处理器上运行的控制程序，所述控制程序被所述处理器执行时实现如第一方面中任一项所述的轨道巡检方法。
第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面中任一项所述的轨道巡检方法。
本发明的有益效果是：
1）同时采集轨道2D图像和扣件3D图像，可同时对道床异物、软枕缺陷、钢轨缺陷、扣件缺陷进行检测，检测全面。
2）对轨道2D图像分类时采用二次分类识别，对扣件3D图像分类时采用先定位再识别分类，降低运算复杂度，提高缺陷检测准确性且提高检测速度。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明的步骤图；
图2是本发明道床异物检测过程示意图；
图3是本发明钢轨表面检测示意图；
图中的标记：1为预处理后的轨道2D图像，2为第一图片，3为第二图片，4为疑似异物图片，5为最终异物图片，6为预处理后的钢轨表面原始图片，7为钢轨表面缺陷最终图片。
具体实施方式
实施例1
如图1所示，本发明提供了一种基于深度学习的轨道巡检方法，包括如下步骤：
S1.实时获取轨道2D图像和扣件3D图像以及对应的采集位置，分别对轨道2D图像和扣件3D图像进行预处理，其中：
获取轨道2D图像的方法为：在巡检小车的同一水平高度处安装多台2D线扫相机，每台2D线扫相机负责部分轨道宽度的扫描，设置固定行频，同步触发多台2D线扫相机进行拍摄得到轨道2D图像，通过编码器触发的机制来保证图像不随速度的变化而失真，而且保证多台相机触发同步，可以完美的对图像进行拼接，在一个实施例中，2D线扫相机数量为5台，固定行频为0.5mm；
获取扣件3D图像的方法为：在巡检小车的同一水平高度处安装多台用于拍摄扣件的线激光3D相机，设置固定行频，对相邻线激光3D相机进行异步触发，对获取的3D点云数据进行拼接得到扣件完整3D图像，通过编码器触发的机制来保证图像不随速度的变化而失真，通过PLC实时控制来实现相邻线激光3D相机的异步采集，避免相邻相机的激光对数据的影响，同时可以对3D点云数据进行拼接，在一个实施例中，线激光3D相机数量为3台，固定行频为0.5mm；
对轨道2D图像进行预处理的方法为：对图像进行去噪和滤波，将多台2D线扫相机在同一时间同步拍摄的图像进行拼接和归一化，得到在固定行频内的完整幅面轨道2D图像；
对扣件3D图像进行预处理的方法为：将扣件3D图像进行降维处理，对降维后的扣件2D图像再进行去噪和滤波处理，低维度尺寸空间输入网络训练时，保证了时间性能，可以满足扣件的快速识别。
S2.基于步骤S1，使用图像识别算法对预处理后的轨道2D图像进行识别，筛选出疑似异物图片，将疑似异物图片输入预先建立好的轨道检测模型中，对疑似异物图片进行二次分类识别，根据识别置信度与设定阈值的比较情况确定最终异物图片并获取相关位置，此阈值为经验值，根据图片测试结果决定；其中：
如图2所示，使用图像识别算法对预处理后的轨道2D图1像进行识别的具体步骤为：
S21.对预处理后的轨道2D图像1进行边缘检测，得到第一图片2；
S22.基于步骤S21，对第一图片2进行形态学的闭运算操作，重点解决噪声对目标提取的干扰，得到第二图片3；
S23.基于步骤S22，对第二图片3寻找连通域并返回轮廓，解决目标过程中的断裂情况，从而得到所有轮廓目标的疑似异物图片4；
在一个实施例中，步骤S23返回轮廓时设置轮廓面积阈值，原疑似异物图片4中除检测出异物本身以外，仍能检测出很多非异物小区域，可以通过设置轮廓面积阈值过滤掉面积较小的误检区域，得到最终异物图片5。
轨道检测模型的建立步骤为：
使用轨道异物图片样本集进行轨道检测模型训练，搜集误识别区域并进行二次训练，得到最终轨道检测模型；轨道检测模型的训练为“反向训练”思路：异物种类不固定可能是任何非轨道相关物体，但是对于同一条线路误识别区域相对固定，通过搜集大量误识别区域进行训练得到模型，然后再对疑似异物区域进行二次识别判定，如果得到的置信度高于阈值说明不是异物，如果得到的置信度低于阈值说明是异物。
S3.基于步骤S1，将预处理后的扣件3D图像输入预先建立好的扣件检测模型中，对扣件缺陷进行分类识别并输出候选定位区域，对候选定位区域使用NMS非极大值抑制，输出最终扣件定位坐标，其中：
扣件检测模型的建立步骤为：
S31.将扣件样本均衡分为测试集和训练集，将扣件测试集图片输入yolox网络中，完成预设周期的训练，得到扣件粗略检测模型，在一个实施例中，扣件测试集图片按照单通道输入yolox网络，可以减少输入数据，提升扣件检测速度；
S32.基于步骤S31，在样本均衡性方面采用“误识别再训练”思路，保证样本的均衡多样性，将扣件训练集样本输入扣件粗略检测模型中，筛选出误识别扣件样本图片，将误识别扣件样本图片作为再训练集；
S33.基于步骤S32，随机选取再训练集样本图片进行再训练，优化模型，得到最终扣件检测模型。
在一个实施例中，训练扣件检测模型时，将检测结果分为弹条正常、弹条松动、弹条脱落、螺丝正常、螺丝松动、螺丝脱落六个类别，此分类方式一方面是由于扣件弹条与螺丝本身独立性决定的，另一方可以通过分开识别判断出弹条松动的距离，弹条正常和螺丝正常的情况下，可以根据扣件的模板进行对比分析数据，再根据三维点云数据进行精密的离缝值等三维测量。
S4.基于步骤S3，根据扣件定位坐标对图片中扣件所在位置进行裁剪，通过扣件检测模型进行检测后并输出扣件分类情况，当扣件检测情况分类为正常时，根据扣件3D图像的三维点云数据进行离缝值测量，离缝值测量方法为通过抓取扣件弹簧中部特征顶部点云数据和底板平面数据，计算差值，换算出需要的结果数据。
在一个实施例中，步骤S2和步骤S3无先后顺序之分。
在一个实施例中，采集轨道2D图像可用于同时对道床异物、软枕缺陷、钢轨缺陷进行检测，如图3所示的钢轨表面缺陷检测示意图，采用如图2对轨道2D图像进行识别的方法步骤对预处理后的钢轨表面原始图片6进行识别检测，得到钢轨表面缺陷最终图片7，同样也是通过设置返回轮廓的面积阈值来排除干扰区域。
实施例2
本发明提供一种轨道巡检装置，执行实施例1记载的轨道巡检方法，包括：
位置获取模块，包括PLC控制模块和编码器，所述编码器安装于沿当前轨道运行的巡检小车从动轮上，所述PLC控制模块用于根据编码器输出的脉冲计数，得出小车行驶距离获取小车行进位置。
位置校准模块，包括设置于巡检小车上的2D相机、传感器以及在轨道两侧间隔预设距离设置的感应杆，此预设距离根据实际情况设置，在一个实施例中，预设距离设置为1km，所述感应杆上设置有杆号，所述传感器感应到感应杆则触发2D相机拍照获取感应杆杆号，通过杆号位置对巡检小车位置进行校准，在一个实施例中，传感器为激光传感器。
图像采集模块，包括2D图像采集模块和3D图像采集模块，所述2D图像采集模块用于采集轨道图像，所述3D图像采集模块用于采集扣件图像。
图像处理模块，用于对采集的2D图像和3D图像进行预处理。
识别分类模块，用于分别对轨道2D图像和扣件3D图像进行分类识别。
实施例3
本发明提供了一种电子设备，包括处理器、存储器及存储在所述存储器上并可用在所述处理器上运行的控制程序，所述控制程序被所述处理器执行时实现如实施例1中任一项所述的轨道巡检方法。
实施例4
本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如实施例1中任一项所述的轨道巡检方法。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置，或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于深度学习的轨道巡检方法，其特征在于，包括如下步骤：
S1.实时获取轨道2D图像和扣件3D图像以及对应的采集位置，分别对轨道2D图像和扣件3D图像进行预处理；
其中，获取轨道2D图像的方法为：在巡检小车的同一水平高度处安装多台2D线扫相机，每台2D线扫相机负责部分轨道宽度的扫描，设置固定行频，同步触发多台2D线扫相机进行拍摄得到轨道2D图像；
获取扣件3D图像的方法为：在巡检小车的同一水平高度处安装多台用于拍摄扣件的线激光3D相机，设置固定行频，对相邻线激光3D相机进行异步触发，对获取的3D点云数据进行拼接得到扣件完整3D图像；
对轨道2D图像进行预处理的方法为：对图像进行去噪和滤波，将多台2D线扫相机在同一时间同步拍摄的图像进行拼接和归一化，得到在固定行频内的完整幅面轨道2D图像；
对扣件3D图像进行预处理的方法为：将扣件3D图像进行降维处理，对降维后的扣件2D图像再进行去噪和滤波处理；
S2.基于步骤S1，使用图像识别算法对预处理后的轨道2D图像进行识别，筛选出疑似异物图片，将疑似异物图片输入预先建立好的轨道检测模型中，对疑似异物图片进行二次分类识别，根据识别置信度与设定阈值的比较情况确定最终异物图片并获取相关位置；
S3.基于步骤S1，将预处理后的扣件3D图像输入预先建立好的扣件检测模型中，对扣件缺陷进行分类识别并输出候选定位区域，对候选定位区域使用NMS非极大值抑制，输出最终扣件定位坐标；
S4.基于步骤S3，根据扣件定位坐标对图片中扣件所在位置进行裁剪，通过扣件检测模型进行检测后并输出扣件分类情况，当扣件检测情况分类为正常时，根据扣件3D图像的三维点云数据进行离缝值测量。
2.根据权利要求1所述的一种基于深度学习的轨道巡检方法，其特征在于：使用图像识别算法对预处理后的轨道2D图像进行识别的具体步骤为：
S21.对预处理后的轨道2D图像进行边缘检测，得到第一图片；
S22.基于步骤S21，对第一图片进行形态学的闭运算操作，得到第二图片；
S23.基于步骤S22，对第二图片寻找连通域并返回轮廓，得到疑似异物图片。
3.根据权利要求1所述的一种基于深度学习的轨道巡检方法，其特征在于：轨道检测模型的建立步骤为：
使用轨道异物图片样本集进行轨道检测模型训练，搜集误识别区域并进行二次训练，得到最终轨道检测模型。
4.根据权利要求1所述的一种基于深度学习的轨道巡检方法，其特征在于：扣件检测模型的建立步骤为：
S31.将扣件样本均衡分为测试集和训练集，将扣件测试集图片输入yolox网络中，完成预设周期的训练，得到扣件粗略检测模型；
S32.基于步骤S31，将扣件训练集样本输入扣件粗略检测模型中，筛选出误识别扣件样本图片，将误识别扣件样本图片作为再训练集；
S33.基于步骤S32，随机选取再训练集样本图片进行再训练，优化模型，得到最终扣件检测模型。
5.根据权利要求4所述的一种基于深度学习的轨道巡检方法，其特征在于：训练扣件检测模型时，将检测结果分为弹条正常、弹条松动、弹条脱落、螺丝正常、螺丝松动、螺丝脱落六个类别。
6.一种轨道巡检装置，用于实现如权利要求1-5中任一项所述的轨道巡检方法，其特征在于，包括：
位置获取模块，包括PLC控制模块和编码器，所述编码器安装于沿当前轨道运行的巡检小车从动轮上，所述PLC控制模块用于根据编码器输出的脉冲计数，得出小车行驶距离获取小车行进位置；
位置校准模块，包括设置于巡检小车上的2D相机、传感器以及在轨道两侧间隔预设距离设置的感应杆，所述感应杆上设置有杆号，所述传感器感应到感应杆则触发2D相机拍照获取感应杆杆号，通过杆号位置对巡检小车位置进行校准；
图像采集模块，包括2D图像采集模块和3D图像采集模块，所述2D图像采集模块用于采集轨道图像，所述3D图像采集模块用于采集扣件图像；
图像处理模块，用于对采集的2D图像和3D图像进行预处理；
识别分类模块，用于分别对轨道2D图像和扣件3D图像进行分类识别。
7.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可用在所述处理器上运行的控制程序，所述控制程序被所述处理器执行时实现如权利要求1-5中任一项所述的轨道巡检方法。
8.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-5中任一项所述的轨道巡检方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310617697.6A CN116342966B (zh) | 2023-05-30 | 2023-05-30 | 一种基于深度学习的轨道巡检方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310617697.6A CN116342966B (zh) | 2023-05-30 | 2023-05-30 | 一种基于深度学习的轨道巡检方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116342966A CN116342966A (zh) | 2023-06-27 |
| CN116342966B true CN116342966B (zh) | 2023-08-11 |
Family
ID=86880742
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310617697.6A Active CN116342966B (zh) | 2023-05-30 | 2023-05-30 | 一种基于深度学习的轨道巡检方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116342966B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109658397A (zh) * | 2018-12-12 | 2019-04-19 | 广州地铁集团有限公司 | 一种轨道巡检方法及系统 |
| CN110346295A (zh) * | 2019-07-15 | 2019-10-18 | 北京神州同正科技有限公司 | 缺陷复合定位方法及装置、设备和存储介质 |
| CN111016972A (zh) * | 2019-12-16 | 2020-04-17 | 成都国铁电气设备有限公司 | 车载式自动过分相地感器的检测系统及其检测方法 |
| CN111497689A (zh) * | 2020-04-27 | 2020-08-07 | 成都国铁电气设备有限公司 | 车载接触网分段分相绝缘器自动巡检装置 |
| CN113808112A (zh) * | 2021-09-22 | 2021-12-17 | 北京京东乾石科技有限公司 | 轨道扣件检测方法、电子设备和计算机可读介质 |
| WO2023061049A1 (zh) * | 2021-10-11 | 2023-04-20 | 国网智能科技股份有限公司 | 一种配网车载智能巡检机器人系统及方法 |
-
2023
- 2023-05-30 CN CN202310617697.6A patent/CN116342966B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109658397A (zh) * | 2018-12-12 | 2019-04-19 | 广州地铁集团有限公司 | 一种轨道巡检方法及系统 |
| CN110346295A (zh) * | 2019-07-15 | 2019-10-18 | 北京神州同正科技有限公司 | 缺陷复合定位方法及装置、设备和存储介质 |
| CN111016972A (zh) * | 2019-12-16 | 2020-04-17 | 成都国铁电气设备有限公司 | 车载式自动过分相地感器的检测系统及其检测方法 |
| CN111497689A (zh) * | 2020-04-27 | 2020-08-07 | 成都国铁电气设备有限公司 | 车载接触网分段分相绝缘器自动巡检装置 |
| CN113808112A (zh) * | 2021-09-22 | 2021-12-17 | 北京京东乾石科技有限公司 | 轨道扣件检测方法、电子设备和计算机可读介质 |
| WO2023061049A1 (zh) * | 2021-10-11 | 2023-04-20 | 国网智能科技股份有限公司 | 一种配网车载智能巡检机器人系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116342966A (zh) | 2023-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109239102B (zh) | 一种基于cnn的柔性电路板外观缺陷检测方法 | |
| CN110349126B (zh) | 一种基于卷积神经网络带标记的钢板表面缺陷检测方法 | |
| CN110211101A (zh) | 一种铁轨表面缺陷快速检测系统及方法 | |
| CN101852768B (zh) | 磁粉探伤环境下基于复合特征的工件伤痕识别方法 | |
| CN106841209B (zh) | 一种基于大数据自学习化纤丝锭智能外观检测系统及方法 | |
| CN103499585B (zh) | 基于机器视觉的非连续性锂电池薄膜缺陷检测方法及其装置 | |
| CN109658397A (zh) | 一种轨道巡检方法及系统 | |
| CN107389701A (zh) | 一种基于图像的pcb表观缺陷自动检测系统及方法 | |
| CN104637058B (zh) | 一种基于图像信息的客流量识别统计方法 | |
| CN104101600B (zh) | 连铸坯断面微小裂纹检测方法 | |
| CN103279765B (zh) | 基于图像匹配的钢丝绳表面损伤检测方法 | |
| CN109489724B (zh) | 一种隧道列车安全运行环境综合检测装置及检测方法 | |
| Liang et al. | Defect detection of rail surface with deep convolutional neural networks | |
| Dubey et al. | Maximally stable extremal region marking-based railway track surface defect sensing | |
| CN105044122A (zh) | 一种基于半监督学习模型的铜件表面缺陷视觉检测系统及检测方法 | |
| CN103034870B (zh) | 基于特征的船舶快速识别方法 | |
| CN111539436B (zh) | 一种基于一字模板匹配的轨道扣件定位方法 | |
| CN102175692A (zh) | 织物坯布疵点快速检测系统及方法 | |
| CN104198497A (zh) | 一种基于视觉显著图和支持向量机的表面缺陷检测方法 | |
| CN115239632B (zh) | 一种融合巡检图像和超声波图像的钢轨表面伤损检测方法 | |
| CN110096980A (zh) | 字符检测识别系统 | |
| CN103413149B (zh) | 复杂背景中实现静态目标检测和识别的方法 | |
| CN111754460A (zh) | 一种转辙机缺口自动检测方法、系统及存储介质 | |
| CN110189375A (zh) | 一种基于单目视觉测量的图像目标识别方法 | |
| CN103357672A (zh) | 一种带钢边界在线检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |