CN112862764A - 一种用于识别无砟道床离缝伤损的方法、装置及存储介质 - Google Patents

一种用于识别无砟道床离缝伤损的方法、装置及存储介质 Download PDF

Info

Publication number
CN112862764A
CN112862764A CN202110102457.3A CN202110102457A CN112862764A CN 112862764 A CN112862764 A CN 112862764A CN 202110102457 A CN202110102457 A CN 202110102457A CN 112862764 A CN112862764 A CN 112862764A
Authority
CN
China
Prior art keywords
image
ballastless track
resnet
damage
track bed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110102457.3A
Other languages
English (en)
Inventor
柴雪松
王宁
李健超
暴学志
马学志
薛峰
金花
刘艳芬
付峥锐
路龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Academy of Railway Sciences Corp Ltd CARS
Railway Engineering Research Institute of CARS
China Railway Science and Technology Development Co
Original Assignee
China Academy of Railway Sciences Corp Ltd CARS
Railway Engineering Research Institute of CARS
China Railway Science and Technology Development Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Academy of Railway Sciences Corp Ltd CARS, Railway Engineering Research Institute of CARS, China Railway Science and Technology Development Co filed Critical China Academy of Railway Sciences Corp Ltd CARS
Priority to CN202110102457.3A priority Critical patent/CN112862764A/zh
Publication of CN112862764A publication Critical patent/CN112862764A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0008Industrial image inspection checking presence/absence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本方案公开了一种用于识别无砟道床离缝伤损的方法,包括获取待识别图片,对采集的待检测无砟道床图像进行图像预处理;基于ResNet‑PPM图像分割模型识别出所述无砟轨道图像中的离缝区域图像和离缝伤损类型;其中,所述ResNet‑PPM图像分割模型是基于特征图范数的裁剪准则对ResNet网络模型进行剪枝处理获得的。该方法在保证准确率的同时进一步降低分割模型参数量,提高模型算法识别速度,与人工方法对比,大幅提高伤损的检测效率、识别准确度和检测精度,用新技术、新方法来提高无砟道床表观伤损检查的自动化水平。

Description

一种用于识别无砟道床离缝伤损的方法、装置及存储介质
技术领域
本发明涉及轨道检测技术领域,特别涉及一种用于识别无砟道床离缝伤损的方法,装置及存储介质。
背景技术
无砟轨道具有平顺性好、稳定性高、使用寿命长、耐久性强及维修工作少等特点,已被广泛应用于高铁建设。然而,在列车动载荷、温度热力膨胀以及地质沉降等因素的作用下,无砟轨道病害多发。离缝伤损会显著降低轨道平顺性、刚性和舒适性,严重情况下甚至会造成轨道板上拱破裂,危害高铁列车运行安全。目前无砟轨道离缝的检测技术主要依靠人工持塞尺、裂缝测宽仪等传统工具进行检测,工作效率低,准确性差,耗费人力多,此外还受铁路检修天窗限制,上道检测时间有限。
目前国内外针对高铁无砟轨道离缝的检测技术研究尚处于起步阶段,大多利用基于人工和无损检测等技术进行检测,图像智能识别等技术的研究成果较少。
发明内容
本方案的一个目的在于提供一种用于识别无砟道床离缝伤损的方法,该方法在保证准确率的同时进一步降低分割模型参数量,提高模型算法识别速度,与人工等方法相比,可大幅提高伤损的检测效率、识别准确度和检测精度,用新技术、新方法来提高无砟道床表观伤损检查的自动化水平。
本方案的另一个目的在于提供一种执行上述方法的装置和设备。
为达到上述目的,本方案如下:
一种用于识别无砟道床离缝伤损的方法,该方法包括:
步骤S1:获取待识别图片,对采集的待检测无砟道床图像进行图像预处理;
步骤S2:基于ResNet-PPM图像分割模型识别出所述无砟轨道图像中的离缝区域图像和离缝伤损类型;
其中,所述ResNet-PPM图像分割模型是基于特征图范数的裁剪准则对ResNet网络模型进行剪枝处理获得的。
优选的,该方法进一步包括对已识别出的离缝区域图像进行边缘检测,获取所述离缝区域的特征信息。
优选的,所述特征信息包括离缝区域的长度,宽度,形态以及位置信息。
优选的,所述步骤S2包括:
对所述待检测图像进行预处理,所述预处理包括图像切分,归一化处理和数据增强。
优选的,所述ResNet-PPM图像分割模型中,采用PPM结构作为预测分支,用于预测条型区域病害和面积型区域病害。
优选的,所述对ResNet网络模型进行剪枝包括:
基于训练用无砟道床图像,提取ResNet网络模型中的每个卷积层的特征图矩阵;
计算ResNet网络模型中各层卷积核的特征图L1范数均值;
基于所述特征图L1范数均值的大小对卷积核进行排序,剪去L1小于预设值的冗余卷积核,记录被剪去的卷积核的原始位置,提取该卷积核在网络中的层级权值;
剔除该卷积核原始位置对应的参数连接值,同时对该卷积核的输入通道进行剪裁,组成新的参数连接,获得裁剪后的ResNet网络模型。
优选的,所述PPM网络模型的分类标签包括条形伤损区域和/或面积型伤损区域。
优选的,基于Sobel边缘滤波算子以及平滑滤波器对离缝区域进行边缘检测。
第二方面,提供一种用于识别无砟道床离缝伤损的装置,该装置包括:
预处理单元,对采集的待检测无砟道床图像进行图像预处理;
识别单元,基于ResNet-PPM图像分割模型识别出所述无砟道床图像中的离缝区域图像和离缝伤损类型。
第三方面,提供一种计算机可读存储介质,所述存储介质上存储有计算机程序,所述程序在被一个或多个计算机执行时,使得所述一个或多个计算机执行如上任一项所述方法中执行的操作。
本方案的有益效果如下:
1.无砟道床离缝伤损检测装置可对无砟道床砂浆层和轨道板区域移动连续检测,大大提高了检测效率;
2.人为使用PRIV自主研发的标注工具label-image-PRIV对无砟道床的离缝病害图像进行像素级的语义分割标注,制备成一套规范化的无砟道床离缝专属数据集;
3.基于像素级的语义分割算法搭建了编码(ResNet网络)-解码(PPM网络)架构模型对伤损区域局部图像进行识别,并利用特征图范数准则对ResNet网络冗余卷积核、全连接层进行压缩剪枝,将两个残差模块改为空洞卷积,利用以上算法进行对伤损进行智能识别,通过图片信息,得到输出部位、类别、里程、版号、尺寸以及伤损等级等重要信息;
4.基于Sobel边缘滤波算子以及平滑滤波器对离缝目标进行边缘检测,根据最小外接矩形框获取关于待识别区域的长度,宽度,形态;
5.检测结果以word文档以及excel表格方式输出,便于数据管理、记录及历史数据查询,大大提升铁路现场检测的智能化水平。
附图说明
为了更清楚地说明本方案的实施,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本方案的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为用于识别无砟道床离缝伤损的方法流程图;
图2为用于识别无砟道床离缝伤损的装置示意图;
图3为实施例检测流程图;
图4为实施例中拍摄的无砟道床砂浆层离缝图像和轨道板接缝离缝图像;
图5为实施例图像预处理结果图;
图6为实施例单张图像的Conv1层特征图可视化;
图7a为实施例轨道板接缝部位离缝的识别结果;
图7b为实施例砂浆层部位离缝的识别结果;
图8a为实施例轨道板接缝部位离缝最终识别效果;
图8b为实施例砂浆层接缝部位离缝最终识别效果。
具体实施方式
下面将结合附图对本方案的实施方式作进一步地详细描述。显然,所描述的实施例仅是本方案的一部分实施例,而不是所有实施例的穷举。需要说明的是,在不冲突的情况下,本方案中的实施例及实施例中的特征可以相互组合。
说明书和权利要求书及上述附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备,不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
无砟轨道由于其优异的特性被广泛用于高速铁路建设,但是在列车动载荷、温度热力膨胀以及地质沉降等因素的作用下,轨道板会出现离缝和掉块等损伤,为了保证在使用过程中能对损伤进行实时处理,本方案通过采用移动装置进行图片采集,并通过提供一种伤损检测方法,对无砟道床出现的伤损情况进行检测,本方案中用于检测伤损情况的技术构思为,对拍摄到的无砟轨道图像基于像素级的语义分割算法搭建编码(ResNet网络)-解码(PPM网络)架构的识别模型对图像进行识别,并利用特征图范数准则对ResNet网络冗余卷积核进行压缩剪纸,将两个残差模块改为空洞卷积。在保证准确率的同时进一步降低模型参数量,提高模型算法识别速度,提高离缝的检测效率、识别准确度和检测精度,提高无砟道床表观离缝伤损检查的自动化水平。
通过检测装置获取待检测图片;采用深度学习技术搭建了基于编码(ResNet网络)-解码(PPM网络)架构模型,并提出基于特征图范数的裁剪准则对ResNet网络的冗余卷积核剪枝的压缩算法,基于以上模型在待检测图片分割识别出离缝目标;将两个残差模块的卷积改为空洞卷积,之后对裁剪后的卷积网络重新进行微调训练;在保证准确率稳定的条件下逐步降低模型计算量和存储空间,最后利用训练好的模型对伤损区域进行识别,输出识别结果;
基于Sobel边缘滤波算子以及平滑滤波器对离缝目标进行边缘检测,根据生成的离缝的最小外接矩形,计算离缝的长度、宽度以及形态,获取关于待识别区域的长度,宽度,形态和位置信息,并利用数据存储阵列保存所有数据实体,便于实现检测数据规则化存储,历史数据对比分析,病害发展趋势判断等功能。
如图1所示,本方案的方法包括如下步骤:
步骤S1:获取待识别图片,对采集的待检测无砟道床图像进行图像预处理;
步骤S2:基于ResNet-PPM图像分割模型识别出所述砂浆层图像中的离缝区域图像和离缝伤损类型;
其中,所述ResNet-PPM图像分割模型是基于特征图范数的裁剪准则对ResNet网络模型进行剪枝处理获得的。
本方案中编码模型采用ResNet18网络结构,解码模型采用PPM网络结构;
采用ResNet系列基础网络中的ResNet18作为分割网络的特征提取网络,并且对ResNet模型进行修改,减少参数量,删掉全连接层,并且最后两个残差模块不进行下采样,改为空洞卷积,保留图像的分辨率同时增加感受野;同时考虑到离缝特征、剥落特征属于不同尺寸的特征,故采用PPM结构作为分割网络的预测分支,分别预测条型区域伤损和面积型区域伤损。
利用搭载线阵相机的检测装置对无砟道床表观状态进行连续采集拍照,之后对离缝区域图像进行预处理,预处理的步骤包括图像切分、归一化处理以及数据增强,以显化待识别离缝区域的图像特征,实现区域图像增强,便于编码(ResNet网络)-解码(PPM网络)架构的分割模型的训练和识别,提高准确率。
在一个实施例中,为减少识别模型的参数量,利用特征图L1范数准则对ResNet网络的冗余卷积核进行压缩剪枝,步骤如下:首先从预先拍摄的无渣道床图像选出可作为无砟道床伤损样本的图像,然后从无砟轨道伤损样本库中挑选出能够代表整个样本分布情况的多张图片,分别输入到预训练ResNet18网络中,提取并保存每个卷积层输出的特征图矩阵;计算特征图L1范数,按照特征图L1范数值大小对卷积核进行排序,以范数值小于预设值为剪枝依据,去除后面一定数量的冗余卷积核,记录裁剪卷积核的原始位置,提取网络层的权值;剔除裁剪卷积核原始位置对应的参数连接值,同时还需对卷积层的输入通道进行裁剪,从而组成新的参数连接,构成新的网络结构,完成对ResNet18网络模型的冗余卷积核的裁剪。对裁剪后的网络模型中的权值进行微调训练,通过反复训练、验证、调参以及优化后,得到一个性能最优的分割模型;将预处理后的图像输入到训练好的分割模型中,通过像素级的分割获得待识别区域的识别结果。
为提高伤损识别的准确率,后续对伤损的自动化检测、分析和判断,对识别结果再经过边缘检测的细化处理,确定伤损类型、尺寸和病害特征参数等,并根据图片命名,确定位置、轨道板号、里程等,便于后续的伤损趋势判断和状态评定;在一个实施例中,进一步包括对已识别出的离缝区域图像进行边缘检测,获取所述离缝区域的特征信息;这些特征信息包括离缝区域的长度,宽度,形态以及位置信息。
在一个实施例中,对拍摄获得的无砟道床图像进行图像尺寸的统一。
如图2所示,本方案还提供一种用于识别无砟道床离缝伤损的装置1,该装置包括:
预处理单元10,对采集的待检测无砟道床图像进行图像预处理;
识别单元20,基于ResNet-PPM图像分割模型识别出所述无砟道床图像中的离缝区域图像和离缝伤损类型。
基于Sobel边缘滤波算子以及平滑滤波器对离缝目标进行边缘检测,根据最小外接矩形框获取关于待识别区域的长度,宽度,形态和位置信息。
本方案进一步提供一种计算机可读存储介质。该计算机可读存储介质用于实现上述数据采集方法的程序产品,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在设备,例如个人电脑上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本方案操作的程序代码,所述程序设计语言包括面向对象的程序设计语言-诸如Python、JAvA、C++等,还包括常规的过程式程序设计语言-诸如"C"语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
下面,通过具体实施例对本方案进行详细介绍。
如图3所示,无砟道床伤损的主要特征信息与大多数现有的公开数据集有很大不同。为了解决伤损的分割识别问题,需要建立无砟道床样本库,包括裂缝、离缝以及掉块等伤损的样本库。
本实施例中的无砟道床离缝检测装置主要由检测相机、计算机、蓄电池、轨道小车等部件组成。检测时,蓄电池为检测设备提供电源,启动设备后,由人工推行轨道小车在无砟轨道上连续检测,检测装置搭载线阵相机对无砟道床表观状态进行连续采集拍照,采集到的检测样图如图4所示,图像分辨率为4096*4096;
为了便于后续模型的训练和识别,提高识别的准确率,要对采集的无砟道床图像进行预处理,以显化伤损区域图像特征,实现伤损区域图像的增强,包括图像切分、归一化处理以及数据增强等。其中图像切分是由于相机捕获的无砟道床图像的尺寸为4096*4096,而硬件的物理显存有限,需要将原始的高分辨率图像进行切分,经过实验分析和测试,选择切分的尺寸为1024*1024,这样的尺寸能够较好的利用图像的全局信息,同时能够保证较高的运行效率,如图6所示,裁剪图像的基础大小为1024x1024,剪裁方式为固定尺寸剪裁;归一化处理是深度学习领域图像处理中最为常用的预处理方法,图像中每个像素的取值均是0-255之间的整数,若直接将原始图像的像素真实值直接作为神经网络模型的训练数据,可能会减慢模型训练的过程,掉落进激活函数的“死亡区”,故将图像中的每一个像素值都乘上放缩因子,将放缩因子设置为1/255,从而把图像像素值缩放到0与1间的数值,有助于模型的训练收敛,避免神经元“死亡”现象。
本实施例采用ResNet系列基础网络中的ResNet18作为分割网络的特征提取网络,ResNet网络结果如下表1表示,并对ResNet模型进行修改,减少参数量,删掉全连接层,并且最后两个残差模块不进行下采样,改为空洞卷积,保留图像的分辨率同时增加感受野。
表1 ResNet18网络的详细结构
Figure BDA0002916484570000091
Figure BDA0002916484570000101
考虑到离缝特征、剥落特征属于不同尺寸的特征,故本发明在训练分割模型时,在分割网络的最后部分加入PPM不同尺度的预测网络分支,分别预测条型区域伤损和面积型区域伤损,即用PPM构建不同深度的金字塔池化模块,处理不同尺度的输入特征,预测不同尺度的条型区域病害和面积型区域病害。不同的预测分支学习不同的病害特征表达。经过设计的不同分支可以对不同的病害类型有侧重,比如分支a对砂浆层离缝的预测结果较好,分支b对剥落掉块的预测较好,分支c对接缝离缝的预测较好,多任务的模块会对不同分支的预测结果进行加权,分支a的结果中砂浆层离缝的权重高于其他种类,分支b对剥落掉块的权重高于其他种类,分支c对接缝离缝的权重高于其他种类,综合统计各个分支的结果后得到最终的预测结果,预测结果中不同分支对不同的病害类型有积极的影响,通过训练不同的预测网络分支来提高整个模型对不同病害的学习能力,这样就减小了误检率从而提高了模型对病害识别的准确率。
由于检测装置需要实时采集图片识别各种伤损,建立的分割模型的参数量较少则有利于模型的运行,所以本实施例利用特征图L1范数准则对ResNet网络的冗余卷积核进行压缩剪枝建立分割模型。
分割模型的建立包括:
从预先拍摄的无渣道床图像选出可作为无砟道床伤损样本的图像,然后从无砟轨道伤损样本库中挑选出能够代表整个样本分布情况的图片,分别输入到预训练ResNet18网络中,提取并保存每个卷积层输出的特征图矩阵,以图5输入到网络为例,图6为conv1层的特征图表示。
针对卷积层输出的特征图,本文基于特征的角度对网络中存在的冗余卷积核按照特征图L1准则进行判断,特征图L1范数值即为图像矩阵中所有元素的绝对值加和,以Conv1层为例,计算Conv1卷积层的每个卷积核输出的特征图L1范数均值,并按照大小进行排序;
经过多次实验的经验总结,每次裁剪卷积核的数量大概为卷积核总数的1/4为最优情况,故将特征图L1范数均值较小作为剪枝依据,从最小值开始排序,单次裁剪去除卷积核总数1/4数量的卷积核,以达到剪枝的目的;
按照特征图L1准则剔除每个卷积层冗余或无用的卷积核,从而得到一个新的网络,本发明的实验是在Pytorch深度学习库下完成的,在带有分割标注的18956张训练集上进行分割模型训练,对裁剪后的整个网络权值进行微调训练,对图像中的每一个像素进行识别,判断像素是否是伤损,总共训练100个epoch,每个epoch包含1600个迭代,采用,并使用标准的Stochasticl Gradient Descent(SGD),即随机梯度下降的方法优化此目标函数进行梯度回传,最终得到训练好的模型。
其中的超参数配置如下:首先采用了“poly”的学习策略,当前的学习率的计算公式如式(1):
Figure BDA0002916484570000111
其中,基础的学习率设置为0.02,power设置为0.9,maxiter是根据数据集的图像总数、“batchsize”决定的。其次动量和权重衰减参数分别设定为0.9和0.0001,由于GPU卡上的物理内存有限,我们在训练期间将“batchsize”设置为16,总共训练网络100个epoch。
之后将无砟轨道图像输入到分割模型,分割模型对每张图进行分割,在类别上的每个像素处使用交叉熵误差,然后将其与输出图的所有像素位置相加,离缝伤损类型的输出结果如下图7a和图7b所示,图7a为识别出的轨道板接缝部位的离缝,图7b为识别出的砂浆层的离缝;识别出离缝图像特征明显的像素点,由于部分离缝的图像特征不是很明显,会出现断续的问题,故利用Sobel边缘滤波算子以及平滑滤波器对离缝目标进行边缘检测,尽量将断续的离缝连接到一起,效果如图8a和图8b所示,最后根据不同颜色获取最小外接矩形框,进而计算最小外接框的对角线长度为离缝长度;最终的识别结果如图8a所示,若伤损颜色标记为白色,则为轨道板接缝部位,如图8b所示,颜色标记为黑色,为砂浆层部分。
基于像素级的语义分割算法搭建了编码(ResNet网络)-解码(PPM网络)架构分割模型,对伤损局部图像进行分割识别,并利用特征图范数准则对ResNet网络冗余卷积核、全连接层进行压缩剪枝,将两个残差模块改为空洞卷积,本实施例通过利用上述算法对伤损区域进行智能识别,通过图片信息,得到输出部位、类别、里程、版号、尺寸以及伤损等级等重要信息,而这些伤损数据的获取和累积,有助于后续对伤损识别准确率的提高,实现对伤损的自动化检测、分析和判断,确定伤损类型、位置、尺寸、轨道板号、里程和病害特征参数,便于伤损趋势判断和状态评定。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定,对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动,这里无法对所有的实施方式予以穷举,凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (10)

1.一种用于识别无砟道床离缝伤损的方法,其特征在于,该方法包括:
步骤S1:获取待识别图片,对采集的待检测无砟道床图像进行图像预处理;
步骤S2:基于ResNet-PPM图像分割模型识别出所述无砟轨道图像中的离缝区域图像和离缝伤损类型;
其中,所述ResNet-PPM图像分割模型是基于特征图范数的裁剪准则对ResNet网络模型进行剪枝处理获得的。
2.根据权利要求1所述的方法,其特征在于,该方法进一步包括对已识别出的离缝区域图像进行边缘检测,获取离缝区域的特征信息。
3.根据权利要求2所述的方法,其特征在于,所述特征信息包括离缝区域的长度,宽度,形态以及位置信息。
4.根据权利要求1所述的方法,其特征在于,所述步骤S2包括:
对所述待检测图像进行预处理,所述预处理包括图像切分,归一化处理和数据增强。
5.根据权利要求1所述的方法,其特征在于,所述ResNet-PPM图像分割模型中,采用PPM结构作为预测分支,用于预测条型区域病害和面积型区域病害。
6.根据权利要求1所述的方法,其特征在于,所述对ResNet网络模型进行剪枝包括:
基于训练用无砟道床图像,提取ResNet网络模型中的每个卷积层的特征图矩阵;
计算ResNet网络模型中各层卷积核的特征图L1范数均值;
基于所述特征图L1范数均值的大小对卷积核进行排序,剪去L1小于预设值的冗余卷积核,记录被剪去的卷积核的原始位置,提取该卷积核在网络中的层级权值;
剔除该卷积核原始位置对应的参数连接值,同时对该卷积核的输入通道进行剪裁,组成新的参数连接,获得裁剪后的ResNet网络模型。
7.根据权利要求1所述的方法,其特征在于,所述PPM网络模型的分类标签包括条形伤损区域和/或面积型伤损区域。
8.根据权利要求2所述的方法,其特征在于,基于Sobel边缘滤波算子以及平滑滤波器对离缝区域进行边缘检测。
9.一种用于识别无砟道床离缝伤损的装置,其特征在于,该装置包括:
预处理单元,对采集的待检测无砟道床图像进行图像预处理;
识别单元,基于ResNet-PPM图像分割模型识别出所述无砟道床图像中的离缝区域图像和离缝伤损类型。
10.一种计算机可读存储介质,所述存储介质上存储有计算机程序,所述程序在被一个或多个计算机执行时,使得所述一个或多个计算机执行如权利要求1至8任一项所述方法中执行的操作。
CN202110102457.3A 2021-01-26 2021-01-26 一种用于识别无砟道床离缝伤损的方法、装置及存储介质 Pending CN112862764A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110102457.3A CN112862764A (zh) 2021-01-26 2021-01-26 一种用于识别无砟道床离缝伤损的方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110102457.3A CN112862764A (zh) 2021-01-26 2021-01-26 一种用于识别无砟道床离缝伤损的方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN112862764A true CN112862764A (zh) 2021-05-28

Family

ID=76009155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110102457.3A Pending CN112862764A (zh) 2021-01-26 2021-01-26 一种用于识别无砟道床离缝伤损的方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN112862764A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256613A (zh) * 2021-06-21 2021-08-13 中国石油大学(北京) 一种管道损伤数据特征识别模型与方法
CN113554618A (zh) * 2021-07-22 2021-10-26 上海工程技术大学 一种基于红外图像的铁路轨道状态监测方法及装置
CN117974548A (zh) * 2023-12-08 2024-05-03 中国铁道科学研究院集团有限公司 一种无砟轨道病害图像检测装置和自动识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945185A (zh) * 2017-11-29 2018-04-20 北京工商大学 基于宽残差金字塔池化网络的图像分割方法及系统
CN110175976A (zh) * 2019-01-23 2019-08-27 上海应用技术大学 基于机器视觉的crtsⅱ板式无砟轨道裂缝检测分类方法
CN110826684A (zh) * 2018-08-08 2020-02-21 北京交通大学 卷积神经网络的压缩方法、装置、电子设备和介质
CN111209910A (zh) * 2019-01-03 2020-05-29 北京京东尚科信息技术有限公司 用于语义分割的系统、方法和非暂时性计算机可读介质
CN111754463A (zh) * 2020-06-02 2020-10-09 石家庄铁道大学 一种基于卷积神经网络的无砟轨道ca砂浆层缺陷检测方法
CN112258529A (zh) * 2020-11-02 2021-01-22 郑州大学 一种基于实例分割算法的路面裂缝像素级别检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945185A (zh) * 2017-11-29 2018-04-20 北京工商大学 基于宽残差金字塔池化网络的图像分割方法及系统
CN110826684A (zh) * 2018-08-08 2020-02-21 北京交通大学 卷积神经网络的压缩方法、装置、电子设备和介质
CN111209910A (zh) * 2019-01-03 2020-05-29 北京京东尚科信息技术有限公司 用于语义分割的系统、方法和非暂时性计算机可读介质
CN110175976A (zh) * 2019-01-23 2019-08-27 上海应用技术大学 基于机器视觉的crtsⅱ板式无砟轨道裂缝检测分类方法
CN111754463A (zh) * 2020-06-02 2020-10-09 石家庄铁道大学 一种基于卷积神经网络的无砟轨道ca砂浆层缺陷检测方法
CN112258529A (zh) * 2020-11-02 2021-01-22 郑州大学 一种基于实例分割算法的路面裂缝像素级别检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
田青林等: "基于注意力金字塔网络的航空影像建筑物变化检测", 《光学学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256613A (zh) * 2021-06-21 2021-08-13 中国石油大学(北京) 一种管道损伤数据特征识别模型与方法
CN113554618A (zh) * 2021-07-22 2021-10-26 上海工程技术大学 一种基于红外图像的铁路轨道状态监测方法及装置
CN113554618B (zh) * 2021-07-22 2022-03-01 上海工程技术大学 一种基于红外图像的铁路轨道状态监测方法及装置
CN117974548A (zh) * 2023-12-08 2024-05-03 中国铁道科学研究院集团有限公司 一种无砟轨道病害图像检测装置和自动识别方法

Similar Documents

Publication Publication Date Title
CN112862764A (zh) 一种用于识别无砟道床离缝伤损的方法、装置及存储介质
CN109658387B (zh) 电力列车的受电弓碳滑板缺陷的检测方法
CN111080620B (zh) 一种基于深度学习的道路病害检测方法
CN111861978A (zh) 基于Faster R-CNN的桥梁裂缝实例分割方法
CN112308826B (zh) 一种基于卷积神经网络的桥梁结构表面缺陷检测方法
CN111260629A (zh) 基于图像处理的受电弓结构异常检测算法
CN113592822A (zh) 一种电力巡检图像的绝缘子缺陷定位方法
CN110599459A (zh) 基于深度学习的地下管网风险评估云系统
CN115953666B (zh) 一种基于改进Mask-RCNN的变电站现场进度识别方法
CN115995056A (zh) 一种基于深度学习的桥梁病害自动识别方法
CN115909006A (zh) 基于卷积Transformer的乳腺组织图像分类方法及系统
CN110991374B (zh) 一种基于rcnn的指纹奇异点检测方法
CN115439483A (zh) 一种高质量的焊缝及焊缝缺陷识别系统、方法、存储介质
CN116012687A (zh) 一种用于轮对踏面缺陷识别的图像交互融合方法
CN112561885B (zh) 基于YOLOv4-tiny的插板阀开度检测方法
CN114694130A (zh) 基于深度学习的铁路沿线电线杆及杆号检测方法和装置
CN116580285B (zh) 铁路绝缘子夜间目标识别检测方法
CN108537266A (zh) 一种深度卷积网络的织物纹理疵点分类方法
CN117152094A (zh) 基于计算机视觉的钢板表面缺陷分析方法、装置及系统
CN117274355A (zh) 一种基于加速引导区域卷积神经网络和并行多尺度统一网络的排水管道流量智能测量方法
CN115690704A (zh) 基于LG-CenterNet模型的复杂道路场景目标检测方法及装置
Nag et al. CNN based approach for post disaster damage assessment
CN114187550A (zh) 一种基于改进yolo v3网络的弓网核心零部件识别方法
CN112927186A (zh) 用于识别无砟轨道板号的方法、装置及存储介质
CN113920055A (zh) 一种缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210528