CN112215264A - 一种基于钢轨光带图像的钢轨磨耗检测方法 - Google Patents

一种基于钢轨光带图像的钢轨磨耗检测方法 Download PDF

Info

Publication number
CN112215264A
CN112215264A CN202011013145.7A CN202011013145A CN112215264A CN 112215264 A CN112215264 A CN 112215264A CN 202011013145 A CN202011013145 A CN 202011013145A CN 112215264 A CN112215264 A CN 112215264A
Authority
CN
China
Prior art keywords
light band
steel rail
rail
band image
detection method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011013145.7A
Other languages
English (en)
Other versions
CN112215264B (zh
Inventor
何庆
王启航
刘勇
王平
高天赐
李晨钟
高岩
陈正兴
杨康华
王晓明
曾楚琦
付彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Jiaotong University
Original Assignee
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Jiaotong University filed Critical Southwest Jiaotong University
Priority to CN202011013145.7A priority Critical patent/CN112215264B/zh
Publication of CN112215264A publication Critical patent/CN112215264A/zh
Application granted granted Critical
Publication of CN112215264B publication Critical patent/CN112215264B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Abstract

本发明涉及钢轨磨耗检测技术领域，具体地说，涉及一种基于钢轨光带图像的钢轨磨耗检测方法，其包括以下步骤：一、采集钢轨光带图像和磨耗数据；二、划分数据集，标注钢轨光带图像，并MaskR‑CNN训练；三、根据提取的钢轨光带图像与相对应的磨耗数据训练深度学习模型；四、将训练得到的模型对钢轨磨耗进行检测。本发明测量结果稳定，具有很强的鲁棒性。

Description

一种基于钢轨光带图像的钢轨磨耗检测方法
技术领域
本发明涉及钢轨磨耗检测技术领域，具体地说，涉及一种基于钢轨光带图像的钢轨磨耗检测方法。
背景技术
随着铁路运营的里程、速度、密度不断增加,对钢轨的检磨耗测要求进一步提高。列车在钢轨上行驶时，会与钢轨相互作用产生磨耗，尤其是小曲线半径尤为明显。为了铁路更加安全，快速的行驶，需要对钢轨磨耗及时检测与养护维修。传统方法采取钢尺、miniprof等接触式测量手段，虽然测量结果准确，但是效率较低，已不能适应铁路运维量大的特点；已有的钢轨磨耗检测的专利中，主要基于CCD相机与激光的组合测量系统，但是这种方法受列车振动、环境光照等影响较大，无法发挥实验中的理想效果。
发明内容
本发明的内容是提供一种基于钢轨光带图像的钢轨磨耗检测方法，其能够克服现有技术的某种或某些缺陷。
根据本发明的一种基于钢轨光带图像的钢轨磨耗检测方法，其包括以下步骤：
一、采集钢轨光带图像和磨耗数据；
二、划分数据集，标注钢轨光带图像，并MaskR-CNN训练；
三、根据提取的钢轨光带图像与相对应的磨耗数据训练深度学习模型；
四、将训练得到的模型对钢轨磨耗进行检测。
作为优选，步骤一中，采集方法采用关键点与采样点结合的方式布设测点，通过间隔一定距离情况下的在钢轨重点区段，然后对每一个位置在横向、纵向以及垂向拍摄图像。
作为优选，在直线单元布设测点：长度小于100米时不采集，100米至500米采集1个测点，500米至1000米采集2个测点，以此类推，每增加500米增加一个测点，各测点间应均匀分布；
在曲线单元布设测点：每条曲线测点不少于5个，即直缓ZH、缓圆HY、曲中QZ、圆缓YH和缓直HZ，当圆曲线长度为500米至1000米时，在圆曲线采集2个测点，以此类推，圆曲线长度每增加500米增加一个测点，圆曲线区段各测点间应均匀分布。
作为优选，步骤二中，标注钢轨光带图像的方法为：使用labelme软件来对钢轨图像进行手动标注即画出的钢轨光带边界。
作为优选，步骤二中，MaskR-CNN训练包括如下步骤：ResNet-FPN作为RPN输入的feature map是[P2,P3,P4,P5,P6]，通过下面公式来决定宽w和高h的ROI到底要从哪个Pk来切：
Figure BDA0002698170260000021
根据labelme标记的钢轨长宽比以及大小的统计结果，在生成的anchor的过程中设置多种长宽比和大小组合，RPN网络根据预测边界框与实际边界框的重叠率即交并比IOU的大小进行非极大值抑制，最后对钢轨光带图像进行分类、回归和生成掩膜。
作为优选，步骤三中，将focal loss作为损失函数预测磨耗类别：
Figure BDA0002698170260000022
本发明相比于现场使用的钢尺、miniprof接触测量法，更加智能、快捷、准确；相比于强调光场的稳定性的钢轨轮廓连续测量方法不强调稳定、光照以及拍摄角度，能适应各种条件变化，测量结果稳定，具有很强的鲁棒性，这对钢轨磨耗的准确快速识别起到至关重要的作用。
附图说明
图1为实施例1中一种基于钢轨光带图像的钢轨磨耗检测方法的流程图；
图2为实施例1中测点布设示意图；
图3为实施例1中图像标注示意图；
图4为实施例1中MaskR-CNN的示意图。
具体实施方式
为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。应当理解的是，实施例仅仅是对本发明进行解释而并非限定。
实施例1
如图1所示，本实施了提供了一种基于钢轨光带图像的钢轨磨耗检测方法，其包括以下步骤：
一、采集钢轨光带图像和磨耗数据；
二、划分数据集，标注钢轨光带图像，并MaskR-CNN训练；
三、根据提取的钢轨光带图像与相对应的磨耗数据训练深度学习模型；
四、将训练得到的模型根据钢轨光带图像对钢轨磨耗进行检测，检测磨耗是否符合修规的阈值范围。
步骤一中，采集方法采用关键点与采样点结合的方式布设测点，通过间隔一定距离情况下的在钢轨重点区段，然后对每一个位置在横向、纵向以及垂向拍摄图像。
在具体的应用场景中，根据线形数据布设测点。
在直线单元布设测点：长度小于100米时不采集，100米(不含)至500米采集1个测点，500米(不含)至1000米采集2个测点，以此类推，每增加500米增加一个测点，各测点间应均匀分布。在曲线单元布设测点：每条曲线测点不少于5个，即直缓ZH、缓圆HY、曲中QZ、圆缓YH和缓直HZ，当圆曲线长度为500米(不含)至1000米时，在圆曲线采集2个测点，以此类推，圆曲线长度每增加500米增加一个测点，圆曲线区段各测点间应均匀分布，如图2所示。
步骤二中，标注钢轨光带图像的方法为：这些图里面分为三种不同的类型：正常钢轨、中等磨耗钢轨以及磨耗超限钢轨图片，划分好数据集后，使用labelme软件来对钢轨图像进行手动标注即画出的钢轨光带边界，如图3所示。
由于光带区域区别于非光带区域的主要特征是其光学特性，累积的轮轨接触作用钢轨表面部分位置被摩擦而呈现“锃亮”的金属光泽，从而形成“光带”。因而，MaskR-CNN可以十分方便的将光带区域提取出来。MaskR-CNN网络从总体上可以分为特征提取层(ResNet-FPN)、区域生成网络(RPN)和分类、回归、掩膜(mask)层，Mask-RCNN如图4所示。
步骤二中，MaskR-CNN训练包括如下步骤：在网络中输入预处理钢轨长度和宽度方向的图像像素是1024*768，ResNet-FPN作为RPN输入的feature map是[P2,P3,P4,P5,P6]，通过下面公式来决定宽w和高h的ROI到底要从哪个Pk来切：
Figure BDA0002698170260000041
根据labelme标记的钢轨长宽比以及大小的统计结果，在生成的anchor的过程中设置多种长宽比和大小组合，具体为为32*32，64*64，128*128，256*256，512*512，长宽比为2，3，4，5，6，7，RPN网络根据预测边界框与实际边界框的重叠率即交并比IOU的大小进行非极大值抑制，最后对钢轨光带图像进行分类、回归和生成掩膜。Epoch可以为60，前40个epoch的头部网络学习率是0.001，后20个epoch的所有网络学习率是0.0001，批大小为2。
步骤三中，基于ResNet50建立两者间隐含的映射关系，为解决数据中存在的不平衡问题，将focal loss作为损失函数预测磨耗类别：
Figure BDA0002698170260000042
将提取出来的钢轨光带图像与对应的磨耗分类输入到深度学习神经网络模型中，网络进行梯度更新，不断学习钢轨磨耗特征。在深度学习开源框架Pytorch下，将钢轨光带图像数据分成训练集以及测试集。本实施例引入迁移学习的方法，将预先训练好的ImageNet模型的权重迁移至ResNet50网络模型上。利用初始ResNet50进行预训练。
本实施例相比于现场使用的钢尺、miniprof接触测量法，更加智能、快捷、准确；相比于强调光场的稳定性的钢轨轮廓连续测量方法不强调稳定、光照以及拍摄角度，能适应各种条件变化，测量结果稳定，具有很强的鲁棒性，这对钢轨磨耗的准确快速识别起到至关重要的作用。
平均最小欧氏距离AMED、精准度AP、召回率AR、F1度量的计算公式如下：
Figure BDA0002698170260000051
A和B是两条边界曲线，A＝{a1,a2,...,ap}，B＝{b1,b2,...,bq}，MD(a,B)代表点a到曲线B的最小欧式距离；
AP＝TP/(TP+FP)；
AR＝TP/(TP+FN)；
F1＝2×AP×AR/(AP+AR)；
FN：False Negative，被判定为负样本，但事实上是正样本；FP：False Positive,被判定为正样本，但事实上是负样本；TN：True Negative，被判定为负样本，事实上也是负样本；TP：True Positive,被判定为正样本，事实上也是证样本。
如下表所示，为不同光照条件下MaskR-CNN的识别效果。
Figure BDA0002698170260000052
从表中得知，MaskR-CNN在不同光照下均有较佳的识别效果。
以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (6)

1.一种基于钢轨光带图像的钢轨磨耗检测方法，其特征在于：包括以下步骤：
一、采集钢轨光带图像和磨耗数据；
二、划分数据集，标注钢轨光带图像，并MaskR-CNN训练；
三、根据提取的钢轨光带图像与相对应的磨耗数据训练深度学习模型；
四、将训练得到的模型对钢轨磨耗进行检测。
2.根据权利要求1所述的一种基于钢轨光带图像的钢轨磨耗检测方法，其特征在于：步骤一中，采集方法采用关键点与采样点结合的方式布设测点，通过间隔一定距离情况下的在钢轨重点区段，然后对每一个位置在横向、纵向以及垂向拍摄图像。
3.根据权利要求2所述的一种基于钢轨光带图像的钢轨磨耗检测方法，其特征在于：在直线单元布设测点：长度小于100米时不采集，100米至500米采集1个测点，500米至1000米采集2个测点，以此类推，每增加500米增加一个测点，各测点间应均匀分布；
在曲线单元布设测点：每条曲线测点不少于5个，即直缓ZH、缓圆HY、曲中QZ、圆缓YH和缓直HZ，当圆曲线长度为500米至1000米时，在圆曲线采集2个测点，以此类推，圆曲线长度每增加500米增加一个测点，圆曲线区段各测点间应均匀分布。
4.根据权利要求1所述的一种基于钢轨光带图像的钢轨磨耗检测方法，其特征在于：步骤二中，标注钢轨光带图像的方法为：使用labelme软件来对钢轨图像进行手动标注即画出的钢轨光带边界。
5.根据权利要求1所述的一种基于钢轨光带图像的钢轨磨耗检测方法，其特征在于：步骤二中，MaskR-CNN训练包括如下步骤：ResNet-FPN作为RPN输入的feature map是[P2,P3,P4,P5,P6]，通过下面公式来决定宽w和高h的ROI到底要从哪个Pk来切：
Figure FDA0002698170250000011
根据labelme标记的钢轨长宽比以及大小的统计结果，在生成的anchor的过程中设置多种长宽比和大小组合，RPN网络根据预测边界框与实际边界框的重叠率即交并比IOU的大小进行非极大值抑制，最后对钢轨光带图像进行分类、回归和生成掩膜。
6.根据权利要求1所述的一种基于钢轨光带图像的钢轨磨耗检测方法，其特征在于：步骤三中，将focal loss作为损失函数预测磨耗类别：
Figure FDA0002698170250000021
CN202011013145.7A 2020-09-23 2020-09-23 一种基于钢轨光带图像的钢轨磨耗检测方法 Active CN112215264B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011013145.7A CN112215264B (zh) 2020-09-23 2020-09-23 一种基于钢轨光带图像的钢轨磨耗检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011013145.7A CN112215264B (zh) 2020-09-23 2020-09-23 一种基于钢轨光带图像的钢轨磨耗检测方法

Publications (2)

Publication Number Publication Date
CN112215264A true CN112215264A (zh) 2021-01-12
CN112215264B CN112215264B (zh) 2022-04-12

Family

ID=74050715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011013145.7A Active CN112215264B (zh) 2020-09-23 2020-09-23 一种基于钢轨光带图像的钢轨磨耗检测方法

Country Status (1)

Country Link
CN (1) CN112215264B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113362285A (zh) * 2021-05-21 2021-09-07 同济大学 一种钢轨表面伤损细粒度图像分类与检测方法
CN117253066A (zh) * 2023-11-20 2023-12-19 西南交通大学 钢轨表面状态的识别方法、装置、设备及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105466941A (zh) * 2015-11-27 2016-04-06 中国铁道科学研究院 一种基于钢轨的光带图像的钢轨检测方法及设备
CN106441107A (zh) * 2016-08-30 2017-02-22 大连民族大学 钢轨磨耗自动检测方法
CN107264570A (zh) * 2017-07-25 2017-10-20 西南交通大学 钢轨光带分布检测装置与方法
CN109064461A (zh) * 2018-08-06 2018-12-21 长沙理工大学 一种基于深度学习网络的钢轨表面缺陷检测方法
CN111402209A (zh) * 2020-03-03 2020-07-10 广州中国科学院先进技术研究所 一种基于U-Net的高速铁路钢轨损伤检测方法
CN111640125A (zh) * 2020-05-29 2020-09-08 广西大学 基于Mask R-CNN的航拍图建筑物检测和分割方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105466941A (zh) * 2015-11-27 2016-04-06 中国铁道科学研究院 一种基于钢轨的光带图像的钢轨检测方法及设备
CN106441107A (zh) * 2016-08-30 2017-02-22 大连民族大学 钢轨磨耗自动检测方法
CN107264570A (zh) * 2017-07-25 2017-10-20 西南交通大学 钢轨光带分布检测装置与方法
CN109064461A (zh) * 2018-08-06 2018-12-21 长沙理工大学 一种基于深度学习网络的钢轨表面缺陷检测方法
CN111402209A (zh) * 2020-03-03 2020-07-10 广州中国科学院先进技术研究所 一种基于U-Net的高速铁路钢轨损伤检测方法
CN111640125A (zh) * 2020-05-29 2020-09-08 广西大学 基于Mask R-CNN的航拍图建筑物检测和分割方法及装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HAO YUAN等: "A Deep convolutional neural networks for detection of rail surface defects", 《2019 IEEE VEHICLE POWER AND PROPULSION CONFERENCE (VPPC)》 *
JIE LI等: "Detection of the Rail Profile Wear Based on Image Processing", 《2020 IEEE INTERNATIONAL CONFERENCE ON POWER, INTELLIGENT COMPUTING AND SYSTEMS (ICPICS)》 *
王健等: "机器视觉在钢轨磨耗检测中的应用研究", 《铁道标准设计 》 *
石杰: "服务机器人的目标物品识别与分割", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
饶贝: "基于机器视觉的钢轨磨耗测量研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113362285A (zh) * 2021-05-21 2021-09-07 同济大学 一种钢轨表面伤损细粒度图像分类与检测方法
CN113362285B (zh) * 2021-05-21 2023-02-07 同济大学 一种钢轨表面伤损细粒度图像分类与检测方法
CN117253066A (zh) * 2023-11-20 2023-12-19 西南交通大学 钢轨表面状态的识别方法、装置、设备及可读存储介质
CN117253066B (zh) * 2023-11-20 2024-02-27 西南交通大学 钢轨表面状态的识别方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
CN112215264B (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
CN110399816B (zh) 一种基于Faster R-CNN的高速列车车底异物检测方法
CN103499585B (zh) 基于机器视觉的非连续性锂电池薄膜缺陷检测方法及其装置
CN104156734B (zh) 一种基于随机蕨分类器的全自主在线学习方法
CN112215264B (zh) 一种基于钢轨光带图像的钢轨磨耗检测方法
CN109064461A (zh) 一种基于深度学习网络的钢轨表面缺陷检测方法
CN107564002A (zh) 塑料管表面缺陷检测方法、系统及计算机可读存储介质
CN106679567A (zh) 基于双目立体视觉的接触网及支柱几何参数检测测量系统
CN108898085A (zh) 一种基于手机视频的道路病害智能检测方法
CN110222701A (zh) 一种桥梁病害自动识别方法
CN105868691A (zh) 基于快速区域卷积神经网络的城市车辆追踪方法
CN104992429A (zh) 一种基于图像局部增强的山体裂缝检测方法
CN103745238B (zh) 基于AdaBoost和主动形状模型的受电弓识别方法
CN111626169B (zh) 一种基于图像的铁路危险落石尺寸判断方法
CN112419289B (zh) 一种城市地铁轨道扣件缺陷智能检测方法
CN107392929A (zh) 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法
CN113065578A (zh) 一种基于双路区域注意力编解码的图像视觉语义分割方法
Zhao et al. Image-based comprehensive maintenance and inspection method for bridges using deep learning
CN110532914A (zh) 基于精细特征学习的建筑物检测方法
CN109919036A (zh) 基于时域分析深度网络的工人作业姿势分类方法
CN113689392A (zh) 一种铁路扣件缺陷检测方法和装置
CN115131330A (zh) 多源传感器融合的钢轨表面缺陷检测与测量方法及系统
CN112884753A (zh) 一种基于卷积神经网络的轨道扣件检测及分类方法
CN106340007A (zh) 一种基于图像处理的车身漆膜缺陷检测识别方法
CN103605960B (zh) 一种基于不同焦距视频图像融合的交通状态识别方法
CN110889338A (zh) 无监督式的铁路道床异物检测、样本构造方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant