CN110782443A - 一种铁路轨道缺陷检测方法和系统 - Google Patents

一种铁路轨道缺陷检测方法和系统 Download PDF

Info

Publication number
CN110782443A
CN110782443A CN201911013315.9A CN201911013315A CN110782443A CN 110782443 A CN110782443 A CN 110782443A CN 201911013315 A CN201911013315 A CN 201911013315A CN 110782443 A CN110782443 A CN 110782443A
Authority
CN
China
Prior art keywords
track
image
feature map
rail
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911013315.9A
Other languages
English (en)
Other versions
CN110782443B (zh
Inventor
陈虎
李小庆
周颖
吴志红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201911013315.9A priority Critical patent/CN110782443B/zh
Publication of CN110782443A publication Critical patent/CN110782443A/zh
Application granted granted Critical
Publication of CN110782443B publication Critical patent/CN110782443B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8861—Determining coordinates of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Abstract

本申请提供了一种铁路轨道缺陷检测方法和系统。其中，所述方法应用于铁路轨道缺陷检测系统；所述方法包括：将原始铁轨图像进行预处理，得到第一铁轨图像；将第一铁轨图像输入轨道区域定位模块进行处理；根据轨道区域定位模块的输出，在原始铁轨图像中确定轨道的左右边界；根据左右边界，从原始铁轨图像中分割出第一轨道图像；将第一轨道图像进行预处理后得到第二轨道图像；利用预设窗口以预设步长在第二轨道图像上滑动，将置于预设窗口中的区域图像输入缺陷分类模块，得到缺陷检测结果；根据缺陷检测结果，在第二轨道图像中框选检测出的缺陷区域。可以快速、准确地识别出轨道是否存在缺陷、以及缺陷类型。

Description

一种铁路轨道缺陷检测方法和系统
技术领域
本申请涉及铁路缺陷检测技术领域，特别是涉及一种铁路轨道缺陷检测方法和系统。
背景技术
铁路轨道是列车行使中用于导向的重要元件。在列车行使中，轨道会与列车的车轮产生摩擦，并且会使得轨道产生振动，轨道与道床碎石产生碰撞，经年累月，轨道将会受到疲劳损伤或磨损损伤，轨道出现不同程度的受损。例如产生磨损(abrasion)、凹坑(scar)、裂缝(crack)和波磨(corrugation)缺陷，具体可以参见说明书附图中的图1，在图1中示出铁路轨道的四种常见的受损状态和正常(normal)状态。这些缺陷可能会导致铁轨内部缺陷的形成，甚至导致铁路断裂和列车脱轨事故，严重威胁列车的正常行驶，危及生命财产安全，因此，及时对铁路的轨道定期进行缺陷检测尤为重要。
发明内容
本申请提供一种铁路轨道缺陷检测方法和系统，以快速、准确地识别出铁路轨道是否存在缺陷、以及缺陷类型。
本申请提供了一种铁路轨道缺陷检测方法，应用于铁路轨道缺陷检测系统，所述铁路轨道缺陷检测系统包括轨道区域定位模块和缺陷分类模块；所述方法包括：
将原始铁轨图像进行预处理，以得到第一铁轨图像；
将第一铁轨图像输入所述轨道区域定位模块，得到所述轨道区域定位模块输出的二分类的特征图和边界回归的特征图；
根据所述二分类的特征图和所述边界回归的特征图，在原始铁轨图像中确定轨道的左右边界；
根据所述左右边界，从所述原始铁轨图像中分割出第一轨道图像；
将所述第一轨道图像进行预处理后得到第二轨道图像；
利用预设窗口以预设步长在所述第二轨道图像上滑动，将置于所述预设窗口中的区域图像输入所述缺陷分类模块，直至遍历所述第二轨道图像，得到缺陷检测结果；
根据所述缺陷检测结果，在所述第二轨道图像中框选检测出的缺陷区域。
可选地，其中，所述轨道区域定位模块包括：特征提取网络、二分类网络和回归预测网络；
所述将第一铁轨图像输入所述轨道区域定位模块，得到所述轨道区域定位模块输出的二分类的特征图和边界回归的特征图的步骤包括：
将所述第一铁轨图像输入所述特征提取网络，得到特征图像；
将所述特征图像输入所述二分类网络，得到所述二分类的特征图；其中，所述二分类的特征图中的每点表征该点为轨道的概率值；
将所述特征图像输入所述回归预测网络，得到所述边界回归的特征图；其中，所述边界回归的特征图中的每点表征该点距离轨道的左右边界的距离。
可选地，所述根据所述二分类的特征图和所述边界回归的特征图，在原始铁轨图像中确定轨道的左右边界的步骤包括：
在所述二分类的特征图中，确定第一目标点，所述第一目标点是从所述二分类的特征图中的所有点中提取出概率值中的最大值所对应的点；
确定所述第一目标点在所述二分类的特征图中的第一坐标；
在所述边界回归的特征图中确定第二目标点，所述第二目标点是所述边界回归的特征图中与所述第一坐标值相同的坐标处的点；
根据所述第二目标点到轨道左右边界的距离，定位轨道在所述第一铁轨图像中的横坐标和宽度；
根据所述轨道在所述第一铁轨图像中的横坐标和宽度，在原始铁轨图像中确定轨道的左右边界。
可选地，其中，所述根据所述轨道在所述第一铁轨图像中的横坐标和宽度，在原始铁轨图像中确定轨道的左右边界的步骤包括：
根据所述第一铁轨图像与所述原始轨道图像的比例尺、以及所述轨道在所述第一铁轨图像中的横坐标和宽度，还原出所述原始轨道图像中的轨道的横坐标和宽度；
根据所述原始轨道图像中的轨道的横坐标和宽度，在所述原始轨道图像中确定轨道的左右边界。
可选地，所述方法还包括：
将所述第二轨道图像中标识磨损缺陷或波磨缺陷、且竖向相邻的框进行合并；
将所述第二轨道图像中标识裂缝缺陷、且横向相邻的框进行合并。
相应的，本申请还提供了一种铁路轨道缺陷检测系统，所述铁路轨道缺陷检测系统包括：
第一预处理模块，用于将原始铁轨图像进行预处理，以得到第一铁轨图像；
轨道区域定位模块，用于将第一铁轨图像输入所述轨道区域定位模块，得到所述轨道区域定位模块输出的二分类的特征图和边界回归的特征图；
第一确定模块，用于根据二分类的特征图和所述边界回归的特征图，在原始铁轨图像中确定轨道的左右边界；
分割模块，用于根据所述左右边界，从所述原始铁轨图像中分割出第一轨道图像；
第二预处理模块，用于将所述第一轨道图像进行预处理后得到第二轨道图像；
缺陷分类模块，用于利用预设窗口以预设步长在所述第二轨道图像上滑动，将置于所述预设窗口中的区域图像输入所述缺陷分类模块，直至遍历所述第二轨道图像，得到缺陷检测结果；
缺陷标注模块，用于根据所述缺陷检测结果，在所述第二轨道图像中框选检测出的缺陷区域。
可选地，其中，所述轨道区域定位模块包括：
特征提取网络，用于将所述第一铁轨图像输入所述特征提取网络，得到特征图像；
二分类网络，用于将所述特征图像输入所述二分类网络，得到所述二分类的特征图；其中，所述二分类的特征图中的每点表征该点为轨道的概率值；
回归预测网络，用于将所述特征图像输入所述回归预测网络，得到所述边界回归的特征图；其中，所述边界回归的特征图中的每点表征该点距离轨道的左右边界的距离。
可选地，所述第一确定模块包括：
第一确定单元，用于在所述二分类的特征图中，确定第一目标点，所述第一目标点是从所述二分类的特征图中的所有点中提取出概率值中的最大值所对应的点；
第二确定单元，用于确定所述第一目标点在所述二分类的特征图中的第一坐标；
第三确定单元，用于在所述边界回归的特征图中确定第二目标点，所述第二目标点是所述边界特征图中与所述第一坐标值相同的坐标处的点；
第一定位单元，用于根据所述第二目标点到轨道左右边界的距离，定位轨道在所述第一铁轨图像中的横坐标和宽度；
第四确定单元，用于根据所述轨道在所述第一铁轨图像中的横坐标和宽度，在原始铁轨图像中确定轨道的左右边界。
可选地，其中，所述第四确定单元包括：
还原块组，用于根据所述第一铁轨图像与所述原始轨道图像的比例尺、以及所述轨道在所述第一铁轨图像中的横坐标和宽度，还原出所述原始轨道图像中的轨道的横坐标和宽度；
确定块组，用于根据所述原始轨道图像中的轨道的横坐标和宽度，在所述原始轨道图像中确定轨道的左右边界。
可选地，所述系统还包括：
第一合并模块，用于将所述第二轨道图像中标识磨损缺陷或波磨缺陷、且竖向相邻的框进行合并；
第二合并模块，用于将所述第二轨道图像中标识裂缝缺陷、且横向相邻的框进行合并。
与现有技术相比，本申请至少取得了以下技术效果：
1、将待检测的铁轨图像(原始铁轨图像)经过预处理后，得到第一铁轨图像，将第一铁轨图像输入轨道区域定位模块，输出二分类的特征图和边界回归的特征图，对该铁路区域定位模块的输出进行后处理，确定轨道所在的区域，并从原始铁轨图像中分割出第一轨道图像；将第一轨道图像预处理后得到第二轨道图像，利用预设窗口以预设步长在该第二轨道图像上滑动，并将置于该预设窗口中的区域图像输入缺陷分类模块，进行缺陷分类识别，直至遍历该第二轨道图像，得到最终的缺陷检测结果，在第二轨道图像中框选缺陷检测结果为缺陷处的区域图像，并标注轨道的缺陷检测结果。可以快速、准确地识别出铁路轨道是否存在缺陷、以及缺陷类型。
2、对于缺陷的检测，本方法采用了滑动窗口的方法，利用训练一个可以识别不同类型缺陷的神经网络在以一定步长在轨面上滑动，从而检测出缺陷的类型和大致位置，方便快捷高效地检测铁路轨道的缺陷。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是铁路轨道的五种状态的示意图；
图2是根据本申请的实施例提供的一种铁路轨道缺陷检测系统的结构示意图；
图3是图2中所示的铁路轨道缺陷检测系统的输入图像(即第一轨道图像)；
图4是根据本申请的实施例提供的一种铁路轨道缺陷检测方法的流程图；
图5是图2中的ResNet-FPN网络的特征金字塔结构示意图；
图6是根据本申请的实施例提供的一种铁路轨道缺陷检测方法的预设窗口滑动示意图；
图7是根据本申请的实施例提供的一种铁路轨道缺陷检测方法的检测结果输出的第一合并示意图；
图8是根据本申请的实施例提供的一种铁路轨道缺陷检测方法的检测结果输出的第二合并示意图；
图9是根据本申请的实施例提供的一种铁路轨道缺陷检测方法的检测结果输出的第三合并示意图；
图10是据本申请的实施例提供的一种铁路轨道缺陷检测系统的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
目前，铁路轨道缺陷检测方法主要有三种：第一种是人工巡视，铁轨部门安排巡检人员周期性的沿铁轨线路巡检，并替换受损轨道。但是在实际生活中，需要巡检铁路里程往往非常巨大，为了保证铁路沿线的安全，往往也需要配备大量的专业巡检人员，才能保证巡检质量，这将耗费极多的人力资源。并且人工巡检的方式，还需要耗费巡检人员的大量时间资源，且无法对巡检结果进行质量检查。且人工巡检具有一定的主观性，不能保证检视准确率。
第二种是基于物理的检测方法，如超声检测、涡流检测等。其中超声检测是利用了波的反射原理，即声波在不同介质界面上的独特反射来检测缺陷。涡流检测依赖于由涡流强度和分布引起的检测设备的电压和阻抗的变化。但这种方法的检测效果容易受到外界环境的影响，在实际情况中，铁路处于复杂的自然环境中，噪声信号是无法避免的问题。超声检测对测试环境和检测条件有着较高的要求，测试时需要尽可能的在无噪声影响的环境中，并且检测时需要保证铁轨和探头之间保持着良好的接触，否则就会导致最终的检测率降低。涡流检测在检测过程中容易受到自身产生的或是来自外界的高频信号干扰，使得后期对检测结果的分析处理变得复杂，从而导致整体检测效率不高。
第三种是基于传统的计算机视觉的检测方法。这种方法利用传统的图像处理对相机拍摄到的铁轨图片进行降噪、分割等处理，从而检测出轨面缺陷。但这种方法主要依赖于多阶段的图像处理，检测效果也容易受到环境的影响，比如光照等，缺陷的状态也对检测效果有一定影响。这种方法的泛化性能差，鲁棒性不好。
基于此，发明人提出以下发明构思：构造一种铁路轨道缺陷检测系统，该系统包括轨道区域定位模块和缺陷分类模块。其中，在轨道区域定位模块中快速识别出铁轨图像中的轨道后，从原始铁轨图像中将轨道分割出来，然后利用预设窗口以一定步长在轨道图像上滑动，将位于预设窗口中的区域图像送入缺陷识别模块，检测当前区域图像的是否存在缺陷、以及缺陷类型，直至遍历完轨道图像，就可以得到轨道的缺陷检测结果。如图2所示，从整体上示出了本申请发明人最终发明的铁路轨道缺陷检测系统，所述铁路轨道缺陷检测系统包括轨道区域定位模块和缺陷分类模块。如图3所示，铁轨贯穿整张原始图片，所以在预测中只需预测每张图片中铁轨的x坐标(垂直于铁轨方向)和铁轨的宽度。其中，轨道区域定位模块中的网络采用Anchor-free方法。
如图4所示，示出了本申请所提供的一种铁路轨道缺陷检测方法的流程图。本申请提供的一种铁路轨道缺陷检测方法，应用于图2所示的铁路轨道缺陷检测系统；所述方法包括：
S301，将原始铁轨图像进行预处理，以得到第一铁轨图像。
在获取到原始铁轨图像(4960×4960)后，对其进行预处理，将其缩放至512×512分辨率，该512×512分辨率的图像就是第一铁轨图像(图3所示的图像)，以降低浮点运算量，提高定位速度；但第一铁轨图像非分辨率不宜过小，过小则产生的特征图太小，将影响定位精度。
S302，将第一铁轨图像输入所述轨道区域定位模块，得到所述轨道区域定位模块输出的二分类的特征图和边界回归的特征图。
在本申请中，在一种可选的实施方式中，轨道区域定位模块包括特征提取网络、二分类网络和回归预测网络。步骤S302包括：
S3021，将所述第一铁轨图像输入所述特征提取网络，得到特征图像。
在本申请的实施例中，特征提取网络为ResNet-FPN网络(图5示出了该网络的特征金字塔示意图)，输入图像为512×512×3，提高特征提取网络对特征的表达能力，该网络融合不同层的特征使最终提取到的特征具有高的分辨率又有丰富的语义信息，有效提高了轨道的定位精度。
S3022，将所述特征图像输入所述二分类网络，得到所述二分类的特征图(64×64×1)；其中，所述二分类的特征图中的每点表征该点为轨道的概率值。
在本申请的实施例中，二分类网络为Class subnet网络，用于轨面和背景的二分类，特征图像进行如下处理流程：卷积1→批归一化(BN)→激活函数(Relu)→卷积1→批归一化(BN)→激活函数(Relu)→卷积1→批归一化(BN)→激活函数(Relu)→卷积1→批归一化(BN)→激活函数(Relu)→卷积2→批归一化(BN)→激活函数(Sigmoid)。
其中，卷积1的参数为，3×3×256大小的卷积核，共有256个卷积核。卷积2的参数为，3×3×256大小的卷积核，只有1个。
S3023，将所述特征图像输入所述回归预测网络，得到所述边界回归的特征图(64×64×2)；其中，所述边界回归的特征图中的每点表征该点距离轨道的左右边界的距离。
在本申请的实施例中，回归预测网络为Reg subnet网络，用于轨道边界的回归预测，特征图像进行如下处理流程：卷积1→批归一化(BN)→激活函数(Relu)→卷积1→批归一化(BN)→激活函数(Relu)→卷积1→批归一化(BN)→激活函数(Relu)→卷积1→批归一化(BN)→激活函数(Relu)→卷积3→批归一化(BN)→激活函数(Relu)
其中，卷积1的参数为，3×3×256大小的卷积核，共有256个卷积核。卷积3参数为，3×3×256大小的卷积核，共有2个。
在步骤S302之后，执行步骤S303，根据所述轨道区域定位模块的输出(即所述二分类的特征图和所述边界回归的特征图)，在原始铁轨图像中确定轨道的左右边界。
在一种可选的实施方式中，步骤S303包括：
S3031，在所述二分类的特征图中，确定第一目标点，所述第一目标点是从所述二分类的特征图中的所有点中提取出概率值中的最大值所对应的点；
S3032，确定所述第一目标点在所述二分类的特征图中的第一坐标；
S3033，在所述边界回归的特征图中确定第二目标点，所述第二目标点是所述边界回归的特征图中与所述第一坐标值相同的坐标处的点；
S3034，根据所述第二目标点到轨道左右边界的距离，定位轨道在所述第一铁轨图像中的横坐标i和宽度
Figure BDA0002244847900000092
在本申请的实施例中，首先在二分类网络的输出(二分类的特征图)中找到最大值(即预测为铁轨的最大概率，也就是置信度)，假设此置信度的位置为(i,j)；再到回归预测网络输出(边界回归的特征图)的相应位置进行解码，即铁轨的左右边界的位置为
Figure BDA0002244847900000091
在放大到512×512的图中，就得到了铁轨左右边界的最终位置，也就得到了铁轨的位置，因为轨道的高是已知的。
S3035，根据所述轨道在所述第一铁轨图像中的横坐标和宽度，在原始铁轨图像中确定轨道的左右边界。
在有一种可选的实施方式中，步骤S3035包括：
a，根据所述第一铁轨图像(512×512)与所述原始轨道图像(4096×4096)的比例尺、以及所述轨道在所述第一铁轨图像中的横坐标和宽度，还原出所述原始轨道图像中的轨道的横坐标和宽度；即按照比例尺将横坐标和宽度进行放大；
b，根据所述原始轨道图像中的轨道的横坐标和宽度，在所述原始轨道图像中确定轨道的左右边界。
在步骤S303之后，执行步骤S304，根据所述左右边界，从所述原始铁轨图像中分割出第一轨道图像；
S305，将所述第一轨道图像进行预处理后得到第二轨道图像；
在分割出第一轨道图像后，对其进行预处理，将其缩放至216×4032分辨率，该216×4032分辨率的图像就是第二轨道图像。
S306，利用预设窗口以预设步长在所述第二轨道图像上滑动，将置于所述预设窗口中的区域图像输入所述缺陷分类模块，直至遍历所述第二轨道图像，得到缺陷检测结果。
将步骤S305中的第二轨道图像以72×72大小进行连续分区，用72×72大小的窗口在第二轨道图像上，以步长72进行滑动，如图6所示。
在本申请的实施例中，缺陷分类模块采用ResNet18，输入图像为72×72×3。
S307，根据所述缺陷检测结果，在所述第二轨道图像中框选检测出的缺陷区域。
在一种可选的实施方式中，所述方法还包括：
S308，将所述第二轨道图像中标识磨损缺陷或波磨缺陷、且竖向相邻的框进行合并；
S309，将所述第二轨道图像中标识裂缝缺陷、且横向相邻的框进行合并。
如图7、图8、图9中右侧图像的合并结果。
如图7所示出输出结果是裂纹缺陷；图8示出的输出结果是波磨缺陷；图9示出了凹坑缺陷和磨损缺陷，其中连续的缺陷是磨损缺陷。
上述内容对本申请所提供的铁轨扣件检测系统的前向传播进行了详细介绍。下面简述一种可选的实施方式中的反向传播训练过程。
对于轨道区域定位模块中的网络的训练：
先将训练集图片(30000)张分辨率为4096×4096全部缩小到分辨率为600×600。在训练时，将训练集随机划分为多个批次，每个批次包含8张图片。轨道区域定位模块的输入大小为512×512，在训练时，我们采用随机裁剪、随机翻转和颜色抖动来进行数据增强，每向网络输入一个批次图片就完成一次网络优化，所有批次都送入网络后，为完成一轮迭代。总共训练30轮。采用随机梯度下降的算法进行优化。优化过程中的初始学习率为0.01，以后每10轮学习率乘以0.1。
在训练时，铁轨的真实边界框为b＝[x,y,w,h](在输入图片512×512上的位置)，其中(x,y)为铁轨边界框的中心点，w,h为铁轨边界框的宽和高。将真实的边界框映射到最终两个子网络输出的特征图(64×64)上为
Figure BDA0002244847900000111
也就是
Figure BDA0002244847900000112
l为整个网络的下采样次数，在本法中l＝3。最后我们在子网络输出的特征图(64×64)上定义有效区域为
Figure BDA0002244847900000113
也就是
Figure BDA0002244847900000114
其中εe＝0.2。剩下的区域定义为忽略区域。除了
Figure BDA0002244847900000116
剩下的特征图的区域定义为负样本区域。
以下为一次迭代过程：
(1)输入一个批次的图片，进行网络前向传播。
(2)在网络最后的输出上计算
L＝Lcls+Lreg
其中，
Figure BDA0002244847900000118
N为cls子网络(二分类网络)输出特征图上除了忽略区域的像素点数，pi,j∈[0,1]是cls子网络输出的特征图上每个点为铁轨的概率值，α＝0.25，γ＝2，y＝1表示是铁轨的标签，其中有效区域内所有点的标签是1，负样本区域的标签是-1，表示是背景。Lcls计算的范围为cls子网络输出的特征图上除了忽略区域的所有点。
Figure BDA0002244847900000121
表示reg子网络(回归预测网络)输出特征图上在有效区内的像素点数，
Figure BDA0002244847900000122
为reg子网络输出的特征图上处于有效区域内每个点离铁轨左右边界的真实距离，而
Figure BDA0002244847900000123
为reg子网络输出的特征图上处于有效区域内每个点预测的离铁轨左右边界的距离。Lreg的计算范围为reg子网络输出的特征图上所有位于有效区域内的点。
(3)采用随机梯度下降算法优化损失函数，初始学习率为0.01，每10轮学习率乘以0.1。
注：在测试时(使用时)，我们根据cls子网络的输出，找到特征图中概率值(置信度)最大的位置(i,j)，对于reg子网络输出的特征图相应位置的预测值为
Figure BDA0002244847900000124
则预测的铁轨左右边界为
Figure BDA0002244847900000125
再经过放大至第一铁轨图像(512×512)上或者原始铁轨图像(4096X4096)上就可以得到轨道的左右边界。
对于轨道缺陷分类模块中的网络的训练
将分割出来的轨道图像裁剪成72×72大小的图片，将裁剪后的图片筛选出磨损、裂缝、凹坑波磨和正常5种类型，作为数据集，本方法的训练集有10783张图片。
先将训练集(10783张)中的图片随机划分为多个批次，每批次包含64张图片，大小为72X72。每向网络输入一个批次的图片就完成一次网络优化，所有批次都送入网络后，为完成一轮迭代。优化过程的初始学习率为0.01，总共训练25轮，每5轮学习率乘以0.1，采用随机梯度下降的方法进行优化。
以下为一次迭代过程：
(1)输入一个批次的图片，进行网络前向传播；
(2)通过网络的输出计算交叉熵损失函数；
(3)采用随机梯度下降算法优化损失函数，初始学习率为0.1，每5轮学习率乘以0.1。
与现有技术相比，本申请至少取得了以下技术效果：
1、将待检测的铁轨图像(原始铁轨图像)经过预处理后，得到第一铁轨图像，将第一铁轨图像输入铁路轨道区域定位模块，输出二分类的特征图和边界回归的特征图，对该铁路区域定位模块的输出进行后处理，确定轨道所在的区域，并从原始铁轨图像中分割出第一轨道图像；将第一轨道图像预处理后得到第二轨道图像，利用预设窗口以预设步长在该第二轨道图像上滑动，并将置于该预设窗口中的区域图像输入缺陷分类模块，进行缺陷分类识别，直至遍历该第二轨道图像，得到最终的缺陷检测结果，在第二轨道图像中框选缺陷检测结果为缺陷处的区域图像，并标注轨道的缺陷检测结果。可以快速、准确地识别出铁路轨道是否存在缺陷、以及缺陷类型。
2、对于缺陷的检测，本方法采用了滑动窗口的方法，利用训练一个可以识别不同类型缺陷的神经网络在以一定步长在轨面上滑动，从而检测出缺陷的类型和大致位置，方便快捷高效地检测铁路轨道的缺陷。
相应的，如图10所示，本申请还提供了一种铁路轨道缺陷检测系统，所述铁路轨道缺陷检测系统包括：
第一预处理模块801，用于将原始铁轨图像进行预处理，以得到第一铁轨图像；
铁路轨道区域定位模块802，用于将第一铁轨图像输入所述铁路轨道区域定位模块，得到所述轨道区域定位模块输出的二分类的特征图和边界回归的特征图；
第一确定模块803，用于根据所述二分类的特征图和所述边界回归的特征图，在原始铁轨图像中确定轨道的左右边界；
分割模块804，用于根据所述左右边界，从所述原始铁轨图像中分割出第一轨道图像；
第二预处理模块805，用于将所述第一轨道图像进行预处理后得到第二轨道图像；
缺陷分类模块806，用于利用预设窗口以预设步长在所述第二轨道图像上滑动，将置于所述预设窗口中的区域图像输入所述缺陷分类模块，直至遍历所述第二轨道图像，得到缺陷检测结果；
缺陷标注模块807，用于根据所述缺陷检测结果，述第二轨道图像中框选检测出的缺陷区域。
可选地，其中，所述轨道区域定位模块包括：
特征提取网络，用于将所述第一铁轨图像输入所述特征提取网络，得到特征图像；
二分类网络，用于将所述特征图像输入所述二分类网络，得到所述二分类的特征图；其中，所述二分类的特征图中的每点表征该点为轨道的概率值；
回归预测网络，用于将所述特征图像输入所述回归预测网络，得到所述边界回归的特征图；其中，所述边界回归的特征图中的每点表征该点距离轨道的左右边界的距离。
可选地，所述第一确定模块包括：
第一确定单元，用于在所述二分类的特征图中，确定第一目标点，所述第一目标点是从所述二分类的特征图中的所有点中提取出概率值中的最大值所对应的点；
第二确定单元，用于确定所述第一目标点在所述二分类的特征图中的第一坐标；
第三确定单元，用于在所述边界回归的特征图中确定第二目标点，所述第二目标点是所述边界回归的特征图中与所述第一坐标值相同的坐标处的点；
第一定位单元，用于根据所述第二目标点到轨道左右边界的距离，定位轨道在所述第一铁轨图像中的横坐标和宽度；
第四确定单元，用于根据所述轨道在所述第一铁轨图像中的横坐标和宽度，在原始铁轨图像中确定轨道的左右边界。
可选地，其中，所述第四确定单元包括：
还原块组，用于根据所述第一铁轨图像与所述原始轨道图像的比例尺、以及所述轨道在所述第一铁轨图像中的横坐标和宽度，还原出所述原始轨道图像中的轨道的横坐标和宽度；
确定块组，用于根据所述原始轨道图像中的轨道的横坐标和宽度，在所述原始轨道图像中确定轨道的左右边界。
可选地，所述系统还包括：
第一合并模块，用于将所述第二轨道图像中标识磨损缺陷或波磨缺陷、且竖向相邻的框进行合并；
第二合并模块，用于将所述第二轨道图像中标识裂缝缺陷、且横向相邻的框进行合并。
对于系统实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
以上对本申请所提供的一种铁路轨道缺陷检测方法和系统，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种铁路轨道缺陷检测方法，其特征在于，应用于铁路轨道缺陷检测系统，所述铁路轨道缺陷检测系统包括轨道区域定位模块和缺陷分类模块；所述方法包括：
将原始铁轨图像进行预处理，以得到第一铁轨图像；
将第一铁轨图像输入所述轨道区域定位模块，得到所述轨道区域定位模块输出的二分类的特征图和边界回归的特征图；
根据所述二分类的特征图和所述边界回归的特征图，在原始铁轨图像中确定轨道的左右边界；
根据所述左右边界，从所述原始铁轨图像中分割出第一轨道图像；
将所述第一轨道图像进行预处理后得到第二轨道图像；
利用预设窗口以预设步长在所述第二轨道图像上滑动，将置于所述预设窗口中的区域图像输入所述缺陷分类模块，直至遍历所述第二轨道图像，得到缺陷检测结果；
根据所述缺陷检测结果，在所述第二轨道图像中框选检测出的缺陷区域。
2.根据权利要求1所述的方法，其特征在于，其中，所述轨道区域定位模块包括：特征提取网络、二分类网络和回归预测网络；
所述将第一铁轨图像输入所述轨道区域定位模块，得到所述轨道区域定位模块输出的二分类的特征图和边界回归的特征图的步骤包括：
将所述第一铁轨图像输入所述特征提取网络，得到特征图像；
将所述特征图像输入所述二分类网络，得到所述二分类的特征图；其中，所述二分类的特征图中的每点表征该点为轨道的概率值；
将所述特征图像输入所述回归预测网络，得到所述边界回归的特征图；其中，所述边界回归的特征图中的每点表征该点距离轨道的左右边界的距离。
3.根据权利要求1所述的方法，其特征在于，所述根据所述二分类的特征图和所述边界回归的特征图，在原始铁轨图像中确定轨道的左右边界的步骤包括：
在所述二分类的特征图中，确定第一目标点，所述第一目标点是从所述二分类的特征图中的所有点中提取出概率值中的最大值所对应的点；
确定所述第一目标点在所述二分类的特征图中的第一坐标；
在所述边界回归的特征图中确定第二目标点，所述第二目标点是所述边界回归的特征图中与所述第一坐标值相同的坐标处的点；
根据所述第二目标点到轨道左右边界的距离，定位轨道在所述第一铁轨图像中的横坐标和宽度；
根据所述轨道在所述第一铁轨图像中的横坐标和宽度，在原始铁轨图像中确定轨道的左右边界。
4.根据权利要求3所述的方法，其特征在于，其中，所述根据所述轨道在所述第一铁轨图像中的横坐标和宽度，在原始铁轨图像中确定轨道的左右边界的步骤包括：
根据所述第一铁轨图像与所述原始轨道图像的比例尺、以及所述轨道在所述第一铁轨图像中的横坐标和宽度，还原出所述原始轨道图像中的轨道的横坐标和宽度；
根据所述原始轨道图像中的轨道的横坐标和宽度，在所述原始轨道图像中确定轨道的左右边界。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述第二轨道图像中标识磨损缺陷或波磨缺陷、且竖向相邻的框进行合并；
将所述第二轨道图像中标识裂缝缺陷、且横向相邻的框进行合并。
6.一种铁路轨道缺陷检测系统，其特征在于，所述铁路轨道缺陷检测系统包括：
第一预处理模块，用于将原始铁轨图像进行预处理，以得到第一铁轨图像；
轨道区域定位模块，用于将第一铁轨图像输入所述轨道区域定位模块，得到所述轨道区域定位模块输出的二分类的特征图和边界回归的特征图；
第一确定模块，用于根据所述二分类的特征图和所述边界回归的特征图，在原始铁轨图像中确定轨道的左右边界；
分割模块，用于根据所述左右边界，从所述原始铁轨图像中分割出第一轨道图像；
第二预处理模块，用于将所述第一轨道图像进行预处理后得到第二轨道图像；
缺陷分类模块，用于利用预设窗口以预设步长在所述第二轨道图像上滑动，将置于所述预设窗口中的区域图像输入所述缺陷分类模块，直至遍历所述第二轨道图像，得到缺陷检测结果；
缺陷标注模块，用于根据所述缺陷检测结果，在所述第二轨道图像中框选检测出的缺陷区域。
7.根据权利要求6所述的系统，其特征在于，其中，所述轨道区域定位模块包括：
特征提取网络，用于将所述第一铁轨图像输入所述特征提取网络，得到特征图像；
二分类网络，用于将所述特征图像输入所述二分类网络，得到所述二分类的特征图；其中，所述二分类的特征图中的每点表征该点为轨道的概率值；
回归预测网络，用于将所述特征图像输入所述回归预测网络，得到所述边界回归的特征图；其中，所述边界回归的特征图中的每点表征该点距离轨道的左右边界的距离。
8.根据权利要求6所述的系统，其特征在于，所述第一确定模块包括：
第一确定单元，用于在所述二分类的特征图中，确定第一目标点，所述第一目标点是从所述二分类的特征图中的所有点中提取出概率值中的最大值所对应的点；
第二确定单元，用于确定所述第一目标点在所述二分类的特征图中的第一坐标；
第三确定单元，用于在所述边界回归的特征图中确定第二目标点，所述第二目标点是边界回归的特征图中与所述第一坐标值相同的坐标处的点；
第一定位单元，用于根据所述第二目标点到轨道左右边界的距离，定位轨道在所述第一铁轨图像中的横坐标和宽度；
第四确定单元，用于根据所述轨道在所述第一铁轨图像中的横坐标和宽度，在原始铁轨图像中确定轨道的左右边界。
9.根据权利要求8所述的系统，其特征在于，其中，所述第四确定单元包括：
还原块组，用于根据所述第一铁轨图像与所述原始轨道图像的比例尺、以及所述轨道在所述第一铁轨图像中的横坐标和宽度，还原出所述原始轨道图像中的轨道的横坐标和宽度；
确定块组，用于根据所述原始轨道图像中的轨道的横坐标和宽度，在所述原始轨道图像中确定轨道的左右边界。
10.根据权利要求6所述的系统，其特征在于，所述系统还包括：
第一合并模块，用于将所述第二轨道图像中标识磨损缺陷或波磨缺陷、且竖向相邻的框进行合并；
第二合并模块，用于将所述第二轨道图像中标识裂缝缺陷、且横向相邻的框进行合并。
CN201911013315.9A 2019-10-23 2019-10-23 一种铁路轨道缺陷检测方法和系统 Active CN110782443B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911013315.9A CN110782443B (zh) 2019-10-23 2019-10-23 一种铁路轨道缺陷检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911013315.9A CN110782443B (zh) 2019-10-23 2019-10-23 一种铁路轨道缺陷检测方法和系统

Publications (2)

Publication Number Publication Date
CN110782443A true CN110782443A (zh) 2020-02-11
CN110782443B CN110782443B (zh) 2023-04-07

Family

ID=69386691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911013315.9A Active CN110782443B (zh) 2019-10-23 2019-10-23 一种铁路轨道缺陷检测方法和系统

Country Status (1)

Country Link
CN (1) CN110782443B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111369515A (zh) * 2020-02-29 2020-07-03 上海交通大学 一种基于计算机视觉的隧道水渍检测系统及方法
CN111462103A (zh) * 2020-04-08 2020-07-28 中铁第一勘察设计院集团有限公司 铁路线路参数测量方法
CN111855825A (zh) * 2020-06-28 2020-10-30 济南大学 基于bp神经网络的轨头核伤识别方法及系统
CN112308111A (zh) * 2020-09-23 2021-02-02 湖南工业大学 一种基于多特征融合的轨面状态辨识方法
CN114841993A (zh) * 2022-05-31 2022-08-02 广东电网有限责任公司 绝缘子检测网络的训练及其检测方法、设备及存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102854191A (zh) * 2012-07-18 2013-01-02 湖南大学 高速铁轨表面缺陷的实时视觉检测与识别方法
US20130279743A1 (en) * 2012-04-20 2013-10-24 International Business Machines Corporation Anomalous railway component detection
US20160207551A1 (en) * 2015-01-19 2016-07-21 Tetra Tech, Inc. Sensor Synchronization Apparatus and Method
CN106250613A (zh) * 2016-07-28 2016-12-21 南京理工大学 一种车轮服役状态安全域估计及故障诊断方法
CN106842192A (zh) * 2017-01-14 2017-06-13 石家庄铁道大学 一种有砟轨道病害自动检测识别方法
CN107292870A (zh) * 2017-06-07 2017-10-24 复旦大学 基于图像对齐与检测网络模型的轨道塞钉故障检测方法与系统
CN107621626A (zh) * 2017-10-09 2018-01-23 中国矿业大学(北京) 基于深度卷积神经网络的雷达信号铁路路基病害检测方法
CN107784864A (zh) * 2016-08-26 2018-03-09 奥迪股份公司 车辆辅助驾驶方法及系统
CN108491795A (zh) * 2018-03-22 2018-09-04 北京航空航天大学 轨道交通场景的行人检测方法与装置
CN109409406A (zh) * 2018-09-19 2019-03-01 北京航空航天大学 一种水坝坝体异常情况的空基检测方法与装置
CN109754399A (zh) * 2019-01-17 2019-05-14 成都国铁电气设备有限公司 一种基于图像分割的铁路供电检测重复报警分析方法
CN109767427A (zh) * 2018-12-25 2019-05-17 北京交通大学 列车轨道扣件缺陷的检测方法
CN110246132A (zh) * 2019-06-23 2019-09-17 中车青岛四方车辆研究所有限公司 轨道车辆螺栓松动检测方法及系统
CN110254468A (zh) * 2019-06-20 2019-09-20 吉林大学 一种轨道表面缺陷智能在线检测装置及检测方法
CN110349135A (zh) * 2019-06-27 2019-10-18 歌尔股份有限公司 目标检测方法和装置

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130279743A1 (en) * 2012-04-20 2013-10-24 International Business Machines Corporation Anomalous railway component detection
CN102854191A (zh) * 2012-07-18 2013-01-02 湖南大学 高速铁轨表面缺陷的实时视觉检测与识别方法
US20160207551A1 (en) * 2015-01-19 2016-07-21 Tetra Tech, Inc. Sensor Synchronization Apparatus and Method
CN106250613A (zh) * 2016-07-28 2016-12-21 南京理工大学 一种车轮服役状态安全域估计及故障诊断方法
CN107784864A (zh) * 2016-08-26 2018-03-09 奥迪股份公司 车辆辅助驾驶方法及系统
CN106842192A (zh) * 2017-01-14 2017-06-13 石家庄铁道大学 一种有砟轨道病害自动检测识别方法
CN107292870A (zh) * 2017-06-07 2017-10-24 复旦大学 基于图像对齐与检测网络模型的轨道塞钉故障检测方法与系统
CN107621626A (zh) * 2017-10-09 2018-01-23 中国矿业大学(北京) 基于深度卷积神经网络的雷达信号铁路路基病害检测方法
CN108491795A (zh) * 2018-03-22 2018-09-04 北京航空航天大学 轨道交通场景的行人检测方法与装置
CN109409406A (zh) * 2018-09-19 2019-03-01 北京航空航天大学 一种水坝坝体异常情况的空基检测方法与装置
CN109767427A (zh) * 2018-12-25 2019-05-17 北京交通大学 列车轨道扣件缺陷的检测方法
CN109754399A (zh) * 2019-01-17 2019-05-14 成都国铁电气设备有限公司 一种基于图像分割的铁路供电检测重复报警分析方法
CN110254468A (zh) * 2019-06-20 2019-09-20 吉林大学 一种轨道表面缺陷智能在线检测装置及检测方法
CN110246132A (zh) * 2019-06-23 2019-09-17 中车青岛四方车辆研究所有限公司 轨道车辆螺栓松动检测方法及系统
CN110349135A (zh) * 2019-06-27 2019-10-18 歌尔股份有限公司 目标检测方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
周颖: "基于深度学习的轨道扣件缺陷检测方法研究" *
李帅杰 等: "基于级联神经网络的人脸检测", 《现代计算机》 *
马姗: "铁路扣件识别的研究" *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111369515A (zh) * 2020-02-29 2020-07-03 上海交通大学 一种基于计算机视觉的隧道水渍检测系统及方法
CN111462103A (zh) * 2020-04-08 2020-07-28 中铁第一勘察设计院集团有限公司 铁路线路参数测量方法
CN111855825A (zh) * 2020-06-28 2020-10-30 济南大学 基于bp神经网络的轨头核伤识别方法及系统
CN112308111A (zh) * 2020-09-23 2021-02-02 湖南工业大学 一种基于多特征融合的轨面状态辨识方法
CN114841993A (zh) * 2022-05-31 2022-08-02 广东电网有限责任公司 绝缘子检测网络的训练及其检测方法、设备及存储介质

Also Published As

Publication number Publication date
CN110782443B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN110782443B (zh) 一种铁路轨道缺陷检测方法和系统
CN112330591B (zh) 少样本学习的钢轨表面缺陷检测方法及装置
Anand et al. Crack-pot: Autonomous road crack and pothole detection
Xiao et al. Surface defect detection using image pyramid
Cord et al. Automatic road defect detection by textural pattern recognition based on AdaBoost
CN110796643A (zh) 一种铁轨扣件缺陷检测方法和系统
CN110490842B (zh) 一种基于深度学习的带钢表面缺陷检测方法
Liang et al. Defect detection of rail surface with deep convolutional neural networks
CN111311567A (zh) 对轨道线路图像进行扣件和钢轨病害识别的方法
JP6549396B2 (ja) 領域検出装置および領域検出方法
CN112734734A (zh) 一种基于改进残差网络的铁路隧道裂缝检测方法
CN112061171B (zh) 一种基于嵌入式gpu的轨道缺陷在线巡检方法与巡检装置
Xiao et al. A hierarchical features-based model for freight train defect inspection
Zuo et al. Classifying cracks at sub-class level in closed circuit television sewer inspection videos
Karaduman et al. A deep learning based method for detecting of wear on the current collector Strips’ surfaces of the pantograph in railways
Yao et al. A feature memory rearrangement network for visual inspection of textured surface defects toward edge intelligent manufacturing
AlNaimi et al. IoT based on-the-fly visual defect detection in railway tracks
Mi et al. Research on steel rail surface defects detection based on improved YOLOv4 network
Aydin et al. Defect classification of railway fasteners using image preprocessing and alightweight convolutional neural network
CN114067296A (zh) 钢轨表面缺陷识别方法及装置
Hashmi et al. Computer-vision based visual inspection and crack detection of railroad tracks
Acikgoz et al. MSRConvNet: classification of railway track defects using multi-scale residual convolutional neural network
Sevi et al. Detecting flaws on railways using semantic segmentation
ŞENER et al. Fault Detection from Images of Railroad Lines Using the Deep Learning Model Built with the Tensorflow Library
Mansano et al. Inspection of metallic surfaces using local binary patterns

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant