CN113781537A - 一种轨道弹条扣件缺陷识别方法、装置和计算机设备 - Google Patents

一种轨道弹条扣件缺陷识别方法、装置和计算机设备 Download PDF

Info

Publication number
CN113781537A
CN113781537A CN202111093159.9A CN202111093159A CN113781537A CN 113781537 A CN113781537 A CN 113781537A CN 202111093159 A CN202111093159 A CN 202111093159A CN 113781537 A CN113781537 A CN 113781537A
Authority
CN
China
Prior art keywords
fastener
elastic strip
image
color
depth image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111093159.9A
Other languages
English (en)
Other versions
CN113781537B (zh
Inventor
袁小翠
陈宇菲
朱清
欧阳长源
皮圣源
黄锦豪
管希鸿
刘宝玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Institute of Technology
Original Assignee
Nanchang Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Institute of Technology filed Critical Nanchang Institute of Technology
Priority to CN202111093159.9A priority Critical patent/CN113781537B/zh
Publication of CN113781537A publication Critical patent/CN113781537A/zh
Application granted granted Critical
Publication of CN113781537B publication Critical patent/CN113781537B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种轨道弹条扣件缺陷识别方法、装置和计算机设备，属于机器视觉检测技术领域。其识别方法包括：基于线激光传感器构建成像系统采集轨道轮廓高度；利用颜色映射方法将轮廓高度构建为彩色深度图像；判断深度图像是否包含完整扣件区域，若扣件区域不完整则将前后两个扣件图像拼接；扣件深度图像区域提取；深度卷积神经网络对扣件区域图像分类识别缺陷扣件。本发明通过采集轨道的高度轮廓值并将其构建为深度图像，根据深度图的差异识别扣件缺陷，解决扣件丢失、异位、折断和松动缺陷同时检测问题，同时提高扣件的缺陷检测率。

Description

一种轨道弹条扣件缺陷识别方法、装置和计算机设备
技术领域
本发明涉及机器视觉缺陷检测技术领域，特别涉及一种基于深度图像的轨道弹条扣件缺陷识别方法、装置和计算机设备。
背景技术
轨道作为铁路的重要基础设施是列车行车的基础。随着铁路向重载和提速方向发展，高速和重载列车对铁路的基础设施的破坏力加大，产生多种类型的缺陷。铁路的基础设施主要有钢轨、扣件、轨枕等，其中扣件负责连接钢轨和轨枕，防止钢轨偏移。一个完整的弹条扣件由螺栓和扣环组成，螺栓紧固扣环将钢轨固定在轨枕上。扣件缺陷主要表现为扣环丢失、异位、以及扣件螺栓丢失和松动等。扣件丢失、松脱等缺陷会导致钢轨不能紧扣地面,从而导致轨距变化；若连续多个扣件出现缺陷，严重情况下可能导致列车脱轨。因此，有必要对扣件缺陷进行及时的检测和维护。
为了确保铁路运输安全，我国每年投入了大量的人力物力对铁路进行维护，目前工务系统主要采用人工在“天窗”时间沿线路通过目视逐一排查扣件异常状态。传统的人工目视巡检方法效率低、主观意识强，显然已经无法满足我国高速发展的铁路应用需求。
如何在有限的“天窗”时间内快速检测和维护铁路基础设施已成为国内外轨道养护部门亟需解决的问题。目前针对扣件缺陷自动检测的方法主要有两类：即振动测量法和机器视觉检测方法。振动测量法利用传感器采集钢轨或者扣件的振动信号，再利用各种算法分析振动数据以识别松脱扣件。然而，基于振动数据分析的扣件松脱检测方法是接触式测量方法，检测效率低，因此在铁路上仍然极少采用该技术。机器视觉检测技术通过将各类相机传感器安装在轨道检测车上采集轨道图像数据，依据图像处理和模式识别等技术，对感兴趣区域进行定位、形态识别以及量化分析，得到被测对象的相关参数，可以使一线维护人员快速了解线路状态，提高铁路维护效率。基于机器视觉的轨道扣件缺陷检测技术可大致分为二维和三维视觉成像检测。前者利用相机传感器获得轨道的二维图像，一般利用颜色或者纹理来进行目标检测与定位；后者一般利用结构光和相机构成三维视觉成像，采集场景的三维点云，根据被测对象的三维空间结构识别缺陷。
然而，二维图像传感器获得轨道的二维图像缺少第三维的深度信息，无法检测扣件螺栓是否松脱。三维点云无任何空间拓扑结构和纹理信息，难以检测扣件异位缺陷，且三维点云数据量大，导致数据处理速度慢。
发明内容
基于此，有必要针对上述技术问题，提供一种基于深度图像的轨道弹条扣件缺陷识别方法、装置和计算机设备。
本发明实施例提供一种轨道弹条扣件缺陷识别方法，包括：
获取轨道的轮廓高度值；其中，所述轨道上设有弹条扣件；
采用颜色映射方法，根据轮廓高度值构建轮廓彩色深度图像；
从轮廓彩色深度图像中提取完整弹条扣件区域图像；
对完整弹条扣件区域图像中的缺陷弹条扣件进行分类识别；其中，所述缺陷弹条扣件，包括：扣件丢失、扣件异位、扣件折断、扣件螺栓松脱。
进一步地，所述获取轨道的轮廓高度值，包括：
采用线激光传感器，获取轨道的轮廓高度值；其中，所述线激光传感器安装在检测车上、并使轨道一侧上的弹条扣件处于线激光传感器的景深范围内。
进一步地，所述检测车的车轮内嵌设有与车轮同轴转动的编码器，且所述编码器输出信号线与线激光传感器信号输入线连接、用于为线激光传感器提供外部触发信号。
进一步地，所述采用颜色映射方法，根据轮廓高度值构建轮廓彩色深度图像，具体包括：
根据轮廓最大高度值和最小高度值，确定轨道的轮廓高度范围；
以步长τ为颜色阶梯，将轮廓高度范围分为n段区间；其中，n＝(Zmax-Zmin)/τ，Zmax为最大高度值，Zmin为最小高度值；
随机选择n种不同颜色存入颜色数组中，使每一种颜色对应于每一段区间；
根据颜色和区间的对应关系，确定高度值所在区间的颜色；
根据高度值和对应的颜色，构建轮廓彩色深度图像。
进一步地，所述高度值所在区间的颜色，包括：
Figure BDA0003268085140000031
其中，x为深度值；ni为第i种颜色，若ni的值不为整数，则直接取整数部分。
进一步地，一种轨道弹条扣件缺陷识别方法，还包括：
判断轮廓彩色深度图像中是否包含完整弹条扣件区域；若弹条扣件区域不完整，则将相邻的包含不完整弹条扣件区域的轮廓彩色深度图像进行拼接，形成包含完整弹条扣件区域的轮廓彩色深度图像。
进一步地，所述从轮廓彩色深度图像中提取完整弹条扣件区域图像，具体包括：
选择一张包含完整弹条扣件的彩色深度图像，标定左右边界Xb1，Xb2；
用大小为(Xb1-Xb2)×m的窗口在彩色深度图像的Xb1至Xb2的左右边界范围内从上之下逐行滑动窗口，m为弹条扣件的高度，计算窗口内非黑色像素点的个数，当窗口内非黑色像素点的个数达到最大，窗口所在位置即为扣件区域，根据窗口上下边界在彩色深度图像中的行号定位弹条扣件的上下边界Yb1，Yb2；并根据弹条扣件的左、右、上、下边界确定弹条扣件在彩色深度图像中位置；其中，所述非黑色像素点代表该点深度值为有效值；
以Xb1，Xb1+δ作为左右边界，Yb1，Yb2作为上下边界，提取完整弹条扣件区域图像；其中，δ为设定参数。
进一步地，所述对完整弹条扣件区域图像中的缺陷弹条扣件进行分类识别，具体包括：
采用预训练和迁移学习得到网络参数，并结合弹条扣件样本，构建基于深度卷积神经网络的弹条扣件缺陷识别模型；
将完整弹条扣件区域图像输入至基于深度卷积神经网络的弹条扣件缺陷识别模型中，获得缺陷弹条扣件。
一种轨道弹条扣件缺陷识别装置，包括：
高度值获取模块，用于获取轨道的轮廓高度值；其中，所述轨道上设有弹条扣件；
彩色深度图像构建模块，用于采用颜色映射方法，根据轮廓高度值构建轮廓彩色深度图像；
扣件图像提取模块，用于从轮廓彩色深度图像中提取完整弹条扣件区域图像；
缺陷扣件识别模块，用于对完整弹条扣件区域图像中的缺陷弹条扣件进行分类识别；其中，所述缺陷弹条扣件，包括：扣件丢失、扣件异位、扣件折断、扣件螺栓松脱。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如下步骤：
获取轨道的轮廓高度值；其中，所述轨道上设有弹条扣件；
采用颜色映射方法，根据轮廓高度值构建轮廓彩色深度图像；
从轮廓彩色深度图像中提取完整弹条扣件区域图像；
对完整弹条扣件区域图像中的缺陷弹条扣件进行分类识别；其中，所述缺陷弹条扣件，包括：扣件丢失、扣件异位、扣件折断、扣件螺栓松脱。
本发明实施例提供的上述轨道弹条扣件缺陷识别方法、装置和计算机设备，与现有技术相比，其有益效果如下：
本发明实施例通过采集轨道的高度轮廓值并将其构建为深度图像，解决扣件丢失、异位、折断和松动缺陷同时检测问题，同时提高扣件的缺陷检测率。具体地，本发明将线激光传感器采集的轮廓高度映射为RGB彩色图像表示的深度图像，通过将高度值量化为高分辨率的RGB彩色图，使用户直观的看到扣件状态；与低分辨率灰度图表示的深度图相比，本发明用高分辨率的RGB彩色图像表示深度图像，使深度图像不仅包含高度信息还形成了明显的纹理；与二维视觉检测方法相比，本发明不仅可以实现二维视觉检测技术对扣件丢失、异位和折断缺陷的检测，还能检测扣件螺栓松脱；与基于三维点云的检测技术相比，本发明获取的深度图像数据量更小，从而检测速度更快。总之，本发明实用性强，值得推广。
附图说明
图1是本发明实施例提供的一种轨道弹条扣件缺陷识别方法流程图；
图2是本发明实施例提供的线激光传感器成像景深结构示意图；
图3是本发明实施例提供的扣件有效区域提取流程图；
图4是本发明实施例提供的包含完整扣件的轨道深度图像；
图5是本发明实施例提供的不包含扣件的零部件的轨道板图像；
图6是本发明实施例提供的第一种扣件不完整的轨道深度图像；
图7是本发明实施例提供的第二种扣件不完整的轨道深度图像；
图8是本发明实施例提供的包含扣件的轨道图像边界示意图；
图9是本发明实施例提供的轨道扣件零部件说明图；
图10是本发明实施例提供的扣件扣环结构示意图；
图11是本发明实施例提供的正常扣件轨道深度图像示例；
图12是本发明实施例提供的对图11提取的扣件有效区域示例；
图13是本发明实施例提供的扣环异位轨道深度图像示例；
图14是本发明实施例提供的对图13提取的扣件有效区域示例；
图15是本发明实施例提供的扣件丢失的轨道深度图像示例；
图16是本发明实施例提供的对图15提取的扣件有效区域示例；
图17是本发明实施例提供的扣件螺栓松动轨道深度图像示例；
图18是本发明实施例提供的对图17提取的扣件有效区域示例；
图19是本发明实施例提供的对Alexnet深度卷积神经网络结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参见图1，本发明实施例提供了一种轨道弹条扣件缺陷识别方法，该方法包括：
S1、基于线激光传感器构建成像系统采集轨道轮廓高度。
S2、利用颜色映射方法将轮廓高度构建为彩色深度图像。
S3、判断深度图像是否包含完整扣件区域，若扣件不完整则将前后两个扣件图像拼接。
S4、扣件深度图像区域提取。
S5、深度卷积神经网络对扣件区域图像分类识别缺陷扣件。
上述步骤S1的实现方法包括以下步骤：
S11、线激光传感器以一定的高度安装在检测车上，用来采集单侧轨道一侧扣件的数据，线激光传感器的线激光垂直投影在被测物表面，调节线激光传感器的安装高度，使正常扣件在线激光传感器的景深范围内，轨道板不在景深范围，即扣件在图2所示的Zmax和Zmin范围(Zmax为最大景深和Zmin为最小景深)，从而使线激光传感器输出被测对象的有效高度值，否则高度值为无效值。
S12、将编码器以同轴转动方式嵌入在检测车车轮里，编码器输出信号线与线激光传感器信号输入线一一对应连接，为线激光传感器提供外部触发信号。
S13、设置传感器参数，启动传感器，移动检测车带动编码器旋转可以使传感器采集轨道的高度值，假设传感器的横向(垂直于钢轨方向)采集的轮廓点个数为N，传感器输出的一组大小为M×N的轮廓高度值，M表示轮廓的行数或者固定长度。
在本例实施中，线激光传感器采用Gogator线激光传感器，Gogator线激光传感器的数据输出端用五类以上网线与计算机连接；在Gogator线激光传感器与计算机连接的条件下，利用Gogator线激光传感器的ip地址打开Gogator线激光传感器参数设置界面对其进行参数设置；在Gogator页面上对线激光传感器的参数进行设置，扫描模式设置为轮廓扫描、外触发模式、固定长度M(400<M<1000)等。
上述步骤S2的实现方法包括以下步骤：
S21、获取线激光传感器的高度方向视野范围，即最高和最低深度值分别表示为Zmax，Zmin，如图2所示，线激光传感器的高度方向视野范围为Zlength，Zlength＝Zmax-Zmin，以步长τ为颜色阶梯，τ由用户设定，将深度分为n段区间，n＝(Zmax-Zmin)/τ，随机选择n种不同颜色存入颜色数组中，设用来存放颜色的数组表示为ColorMap，从ColorMap中的每一个颜色对应于每一段区间。
S22、遍历大小为M×N的高度图，读高度图的每个高度点x，判断该点是否为无效值，若为无效值则将该点映射为黑色，否则计算该高度值所处的分段区间，该点高度值所处的分段用公式(1)表示：
Figure BDA0003268085140000071
若ni的值不为整数，则直接取整数部分，从而在ColorMap中选择第ni种颜色来表示该高度值x。
在本例实施中，由于光路遮挡和景深范围的限制，在激光无法到达的区域或者不在景深范围的区域无法成像，此区域线激光传感器输出高度值为无效值，通过颜色映射，将线激光传感器扫描的高度值映射为具有纹理的颜色的的深度图像，并将深度图像另存为BMP图像。
结合图3～5，上述步骤S3的实现方法包括以下步骤：
S31、判断当前图像是否包含扣件区域，若不包含当前图像为轨道板区域，当前图像丢弃，若当前图像包含扣件区域，判断图像中的扣件是否完整，若完整当前图像不拼接，否则进入步骤S32，将前后两张包含不完整的扣件图像拼接，使扣件完整。
S32新建一张bmp图像，复制待拼接图像的文件头作为新建图像的文件头，将需要拼接的图像数据按照前后顺序复制图像的数据至新图像，新图像为拼接后的图像。
其中，步骤S31具体实施如下：
S31-1、假设步骤S2生成的深度图像的大小是M×N，设定一个大小为m×n的窗口，参数m，n由用户设定，在相同传感器参数下采集的批量轨道图像中随机选择一张包含完整扣件的图像，人工选取左右边界X1，X2，如图4所示，X1为钢轨轨底边缘，该边缘与黑色区域交界，黑色区域代表不在传感器视野范围的轨道板，X2为轨枕与轨道板交界的边界，X2＝X1+m。
S31-2、根据左右边界，再设置窗口参数m，n，m＝X2-X1，n为扣件图像的高度，利用m×n的窗口在轨道指定区域内从上至下逐像素滑动窗口，总共需要滑动n-2次窗口，指定区域在图像的左边界是X1，右边界是X2，如图4所示，逐像素滑动窗口计算窗口内非黑色像素的个数Num，总共需要滑动n-2次窗口，将每个窗口的Num存放至数组WindowNum中。
S31-3、若滑动完n-2次窗口后，每个窗口的Num的值都小于阈值T1，T1由用户设定，则判断当前图像不包含扣件图像，该图像为扣件与扣件之间的轨道板区域，如图5所示，将当前图像丢弃，不做任何处理。
S31-4、否则查找数组WindowNum中的最大值NumMax，判断NumMax是否大于T2，T2由用户设定，若是当前图像包含完整扣件，无需拼接，否则定位最大值对应窗口在图像中的位置Location；若Location位于图像的上半部分位置，则将当前图像与其前一张图像进行拼接，Location位于图像的下半部分位置，则将当前图像与其后一张图像拼接。
其中，步骤S32具体实施如下：
创建一个新的bmp图像img，设待拼接的前后两张图像分别是img1，img2，两张图分别如图6、图7所示，两张图像的大小均为M×N,M为图像的行高，N为图像的列宽，复制img1或者img2的文件头作为img的文件头，img图像的大小为(2*M)×N,图像img的位图数据为空，将img1和ima2的位图数据分别复制并追加在img的位图数据中，完成img1和img2的数据拼接，拼接后的新图像img共用了img1和img2的文件头，img1和img2的图像数据拷贝合成一张大小为(2*M)×N的bmp深度图像，该图像将两张包含不完整的扣件区域的图像合成为一张完成包含完整扣件图像，如图8所示。
上述步骤S4的实现方法包括以下步骤：
S41、在传感器固定的情况下，扣件左右边界在图像中的位置固定，随机选择一张包含完整扣件的轨道图像，手工选择并标定左右边界Xb1，Xb2，如图8所示，以此边界作为全部扣件图像的左右边界。
S42、用一个大小为(Xb1-Xb2)×n的窗口在图像的Xb1至Xb2的左右边界范围内从上之下逐行滑动窗口，n为扣件的高度，并计算窗口内非黑色像素点的个数，当窗口内非黑色像素点的个数达到最大，窗口所在的位置即为扣件区域，根据窗口上下边界在图像中的行号定位扣件的上下边界Yb1，Yb2，根据扣件的左、右、上、下边界确定扣件在图像中位置。
S43、弹条型螺栓紧固扣环，通过扣环的三点，参见图9、图10，扣环示意图的1,4,7三点将钢轨固定在地面，若扣件松动，表现为1,4,7三点与钢轨没有直接接触，距离超过1mm时则认定为扣件松动，因此，为了提高扣件缺陷识别的准确性，减少背景信息的干扰，只提取包含扣件1,4,7三点区域的图像，以扣件的左边界Xb1，Xb1+δ，作为有效区域的左右边界，Yb1，Yb2为上下边界，提取有效区域，其中δ为用户设定参数，提取的扣件局部区域图像如图11-18所示。
参见图19，上述步骤S5的实现方法包括以下步骤：
利用步骤S43所述方法对包含扣件零部件的所有轨道图像进行区域提取，提取的图像分成两类，一类图像是正常扣件，另一类图像是缺陷扣件，缺陷扣件包括扣环丢失、螺栓松脱、扣环异位等各类缺陷的扣件区域图像，基于Alnex构建轨道弹条扣件缺陷识别深度卷积神经网络缺陷识别模型，采用预训练和迁移学习得到网络参数，再利用扣件样本对深度卷积神经网络进行网络微调，重新训练得到新的网络参数，对网络进行测试，输出缺陷识别结果。
具体的，加载Alexnet深度卷积神经网络，将提取的扣件区域图像为输入，对输入图像使用96个大小规格为11×11的滤波器进行卷积，经过rulu激励函数和池化操作后输出96个大小为27×27的特征图，并以此作为Con2的输入；在Con2层，使用256个大小为5×5滤波器对96个27×27个特征图进一步提取特征，经过rulu和池化后输出256个大小为13×13的特征图，并以此作为Con3的输入；在Con3，利用384个3×3的滤波器对大小为13×13的特征图进行卷积，输出384个大小为13×13的特征图，并作为Con4的输入；在Con4层，再利用384个3×3的滤波器对大小为13×13的特征图进行卷积，输出384个大小为13×13的特征图，并作为Con5的输入；在Con5，利用256个大小为3×3的滤波器对输入的特征图卷积，经过rulu和池化操作后输出256个大小为6×6的特征图；FC1为全连接层，设置4096个神经元，对Con5输出的256个大小为6×6的特征图进行全连接；FC2为第二个全连接层，神经元个数同样为4096，其输入为FC1的输入，FC3为第三个全连接层，神经元个数为2，即将图像分为两类：正常图像和缺陷图像；在本例实施中，样本数量为1400张，其中正常样本1300张，负样本300张，70％的样本用来训练Alexnet深度卷积神经网络，对网络进行微调，30％的样本用来测试网络性能，测试样本输出的缺陷检测结果准确性达到98％。
本发明提供的一种基于深度图像的弹条扣件缺陷识别方法，利用线激光传感器获取轨道的高度轮廓值，通过高度映射方法将高度值映射为彩色深度图像，将扣件微小松脱和各类映射为显著颜色及纹理差异从而更易于扣件缺陷检测；先验知识与深度卷积神经网络的结合使用，准确识别各类扣件缺陷，解决扣件丢失、异位、折断和松动的缺陷检测提高扣件的缺陷检测率；不同于以往的基于二维机器视觉检测方法和基于三维点云的检测方法，本发明利用三维成像获取高度轮廓并基于颜色映射方法构造具有纹理和高度信息的RGB深度图像描绘轨道场景；RGB深度图像直观和精确描绘了轨道的场景信息，用颜色表示高度，通过RGB颜色和纹理差异可实现扣件缺陷的全面检测；本发明可以提高铁扣件缺陷检测的准确率，可以同时检测扣件丢失、折断、异位和扣件螺栓松动，使缺陷扣件的漏检率更低，实用性强，值得推广。
一个实施例中，提供的一种轨道弹条扣件缺陷识别装置，该装置包括：
高度值获取模块，用于获取轨道的轮廓高度值；其中，所述轨道上设有弹条扣件。
彩色深度图像构建模块，用于采用颜色映射方法，根据轮廓高度值构建轮廓彩色深度图像。
扣件图像提取模块，用于从轮廓彩色深度图像中提取完整弹条扣件区域图像。
缺陷扣件识别模块，用于对完整弹条扣件区域图像中的缺陷弹条扣件进行分类识别；其中，所述缺陷弹条扣件，包括：扣件丢失、扣件异位、扣件折断、扣件螺栓松脱。
关于轨道弹条扣件缺陷识别装置的具体限定可以参见上文中对于轨道弹条扣件缺陷识别方法的限定，在此不再赘述。上述轨道弹条扣件缺陷识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
一个实施例中，提供的一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取轨道的轮廓高度值；其中，所述轨道上设有弹条扣件。
采用颜色映射方法，根据轮廓高度值构建轮廓彩色深度图像。
从轮廓彩色深度图像中提取完整弹条扣件区域图像。
对完整弹条扣件区域图像中的缺陷弹条扣件进行分类识别；其中，所述缺陷弹条扣件，包括：扣件丢失、扣件异位、扣件折断、扣件螺栓松脱。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。还有，以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种轨道弹条扣件缺陷识别方法，其特征在于，包括：
获取轨道的轮廓高度值；其中，所述轨道上设有弹条扣件；
采用颜色映射方法，根据轮廓高度值构建轮廓彩色深度图像；
从轮廓彩色深度图像中提取完整弹条扣件区域图像；
对完整弹条扣件区域图像中的缺陷弹条扣件进行分类识别；其中，所述缺陷弹条扣件，包括：扣件丢失、扣件异位、扣件折断、扣件螺栓松脱。
2.如权利要求1所述的轨道弹条扣件缺陷识别方法，其特征在于，所述获取轨道的轮廓高度值，包括：
采用线激光传感器，获取轨道的轮廓高度值；其中，所述线激光传感器安装在检测车上、并使轨道一侧上的弹条扣件处于线激光传感器的景深范围内。
3.如权利要求2所述的轨道弹条扣件缺陷识别方法，其特征在于，所述检测车的车轮内嵌设有与车轮同轴转动的编码器，且所述编码器输出信号线与线激光传感器信号输入线连接、用于为线激光传感器提供外部触发信号。
4.如权利要求1所述的轨道弹条扣件缺陷识别方法，其特征在于，所述采用颜色映射方法，根据轮廓高度值构建轮廓彩色深度图像，具体包括：
根据轮廓最大高度值和最小高度值，确定轨道的轮廓高度范围；
以步长τ为颜色阶梯，将轮廓高度范围分为n段区间；其中，n＝(Zmax-Zmin)/τ，Zmax为最大高度值，Zmin为最小高度值；
选择n种不同颜色存入颜色数组中，使每一种颜色对应于每一段区间；
根据颜色和区间的对应关系，确定高度值所在区间的颜色；
根据高度值和对应的颜色，构建轮廓彩色深度图像。
5.如权利要求4所述的轨道弹条扣件缺陷识别方法，其特征在于，所述高度值所在区间的颜色，包括：
Figure FDA0003268085130000011
其中，x为深度值；ni为第i种颜色，若ni的值不为整数，则取整数部分。
6.如权利要求1所述的轨道弹条扣件缺陷识别方法，其特征在于，还包括：
判断轮廓彩色深度图像中是否包含完整弹条扣件区域；若弹条扣件区域不完整，则将相邻的包含不完整弹条扣件区域的轮廓彩色深度图像进行拼接，形成包含完整弹条扣件区域的轮廓彩色深度图像。
7.如权利要求1所述的轨道弹条扣件缺陷识别方法，其特征在于，所述从轮廓彩色深度图像中提取完整弹条扣件区域图像，具体包括：
选择一张包含完整弹条扣件的彩色深度图像，标定左右边界Xb1，Xb2；
用大小为(Xb1-Xb2)×m的窗口在彩色深度图像的Xb1至Xb2的左右边界范围内从上之下逐行滑动窗口，m为弹条扣件的高度，计算窗口内非黑色像素点的个数，当窗口内非黑色像素点的个数达到最大，窗口所在位置即为扣件区域，根据窗口上下边界在彩色深度图像中的行号定位弹条扣件的上下边界Yb1，Yb2；并根据弹条扣件的左、右、上、下边界确定弹条扣件在彩色深度图像中位置；其中，所述非黑色像素点代表该点深度值为有效值；
以Xb1，Xb1+δ作为左右边界，Yb1，Yb2作为上下边界，提取完整弹条扣件区域图像；其中，δ为设定参数。
8.如权利要求1所述的轨道弹条扣件缺陷识别方法，其特征在于，所述对完整弹条扣件区域图像中的缺陷弹条扣件进行分类识别，具体包括：
采用预训练和迁移学习得到网络参数，并结合弹条扣件样本，构建基于深度卷积神经网络的弹条扣件缺陷识别模型；
将完整弹条扣件区域图像输入至基于深度卷积神经网络的弹条扣件缺陷识别模型中，获得缺陷弹条扣件。
9.一种轨道弹条扣件缺陷识别装置，其特征在于，包括：
高度值获取模块，用于获取轨道的轮廓高度值；其中，所述轨道上设有弹条扣件；
彩色深度图像构建模块，用于采用颜色映射方法，根据轮廓高度值构建轮廓彩色深度图像；
扣件图像提取模块，用于从轮廓彩色深度图像中提取完整弹条扣件区域图像；
缺陷扣件识别模块，用于对完整弹条扣件区域图像中的缺陷弹条扣件进行分类识别；其中，所述缺陷弹条扣件，包括：扣件丢失、扣件异位、扣件折断、扣件螺栓松脱。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1～8中任一项所述的方法的步骤。
CN202111093159.9A 2021-09-17 2021-09-17 一种轨道弹条扣件缺陷识别方法、装置和计算机设备 Active CN113781537B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111093159.9A CN113781537B (zh) 2021-09-17 2021-09-17 一种轨道弹条扣件缺陷识别方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111093159.9A CN113781537B (zh) 2021-09-17 2021-09-17 一种轨道弹条扣件缺陷识别方法、装置和计算机设备

Publications (2)

Publication Number Publication Date
CN113781537A true CN113781537A (zh) 2021-12-10
CN113781537B CN113781537B (zh) 2023-07-25

Family

ID=78852094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111093159.9A Active CN113781537B (zh) 2021-09-17 2021-09-17 一种轨道弹条扣件缺陷识别方法、装置和计算机设备

Country Status (1)

Country Link
CN (1) CN113781537B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100109A (zh) * 2022-05-19 2022-09-23 南昌工程学院 一种轨道弹条扣件的松紧状态检测方法
CN116645371A (zh) * 2023-07-27 2023-08-25 中铁十二局集团铁路养护工程有限公司 一种基于特征搜索的钢轨表面缺陷检测方法及系统
CN117152485A (zh) * 2023-07-21 2023-12-01 华能(广东)能源开发有限公司汕头电厂 燃煤机组漏煤检测方法、装置及设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160012646A1 (en) * 2014-07-10 2016-01-14 Perfetch, Llc Systems and methods for constructing a three dimensional (3d) color representation of an object
KR20190024447A (ko) * 2017-08-31 2019-03-08 투아이시스(주) 실시간 선로 결함 검측 시스템
CN109521030A (zh) * 2018-10-12 2019-03-26 成都精工华耀科技有限公司 一种轨道可视化巡检rgbd成像系统
CN110567397A (zh) * 2018-06-05 2019-12-13 成都精工华耀科技有限公司 一种扣件弹舌离缝检测方法
CN111080597A (zh) * 2019-12-12 2020-04-28 西南交通大学 一种基于深度学习的轨道扣件缺陷识别算法
CN111476767A (zh) * 2020-04-02 2020-07-31 南昌工程学院 一种基于异源图像融合的高铁扣件缺陷识别方法
CN111812101A (zh) * 2020-07-09 2020-10-23 江苏集萃智能光电系统研究所有限公司 受电弓滑板缺陷检测装置及方法
CN112883997A (zh) * 2021-01-11 2021-06-01 武汉坤能轨道系统技术有限公司 一种轨道交通扣件检测系统及检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160012646A1 (en) * 2014-07-10 2016-01-14 Perfetch, Llc Systems and methods for constructing a three dimensional (3d) color representation of an object
KR20190024447A (ko) * 2017-08-31 2019-03-08 투아이시스(주) 실시간 선로 결함 검측 시스템
CN110567397A (zh) * 2018-06-05 2019-12-13 成都精工华耀科技有限公司 一种扣件弹舌离缝检测方法
CN109521030A (zh) * 2018-10-12 2019-03-26 成都精工华耀科技有限公司 一种轨道可视化巡检rgbd成像系统
CN111080597A (zh) * 2019-12-12 2020-04-28 西南交通大学 一种基于深度学习的轨道扣件缺陷识别算法
CN111476767A (zh) * 2020-04-02 2020-07-31 南昌工程学院 一种基于异源图像融合的高铁扣件缺陷识别方法
CN111812101A (zh) * 2020-07-09 2020-10-23 江苏集萃智能光电系统研究所有限公司 受电弓滑板缺陷检测装置及方法
CN112883997A (zh) * 2021-01-11 2021-06-01 武汉坤能轨道系统技术有限公司 一种轨道交通扣件检测系统及检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
代先星;丁世海;阳恩慧;WANG KELVIN CHENPING;邱延峻;王平;: "铁路扣件弹条伤损自动检测系统研发与验证", 铁道科学与工程学报, no. 10 *
代先星;阳恩慧;丁世海;王郴平;邱延峻;: "基于三维图像的铁路扣件缺陷自动识别算法", 铁道学报, no. 10 *
杨勇;赵维刚;: "基于深度图像和彩色图像相结合的高速铁路桥梁裂缝宽度检测识别算法研究", 国防交通工程与技术, no. 06 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100109A (zh) * 2022-05-19 2022-09-23 南昌工程学院 一种轨道弹条扣件的松紧状态检测方法
CN117152485A (zh) * 2023-07-21 2023-12-01 华能(广东)能源开发有限公司汕头电厂 燃煤机组漏煤检测方法、装置及设备
CN116645371A (zh) * 2023-07-27 2023-08-25 中铁十二局集团铁路养护工程有限公司 一种基于特征搜索的钢轨表面缺陷检测方法及系统
CN116645371B (zh) * 2023-07-27 2023-10-17 中铁十二局集团铁路养护工程有限公司 一种基于特征搜索的钢轨表面缺陷检测方法及系统

Also Published As

Publication number Publication date
CN113781537B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
US11551341B2 (en) Method and device for automatically drawing structural cracks and precisely measuring widths thereof
CN113781537B (zh) 一种轨道弹条扣件缺陷识别方法、装置和计算机设备
CN107463918B (zh) 基于激光点云与影像数据融合的车道线提取方法
CN108759973B (zh) 一种水位测量方法
CN113516660B (zh) 适用于列车的视觉定位与缺陷检测方法和装置
CN107633516B (zh) 一种识别路面变形类病害的方法和装置
CN110033431B (zh) 钢桥表面锈蚀区域检测的非接触式检测装置及检测方法
CN106290388A (zh) 一种绝缘子故障自动检测方法
CN107798293A (zh) 一种道路裂缝检测装置
CN109489724A (zh) 一种隧道列车安全运行环境综合检测装置及检测方法
CN110807771B (zh) 一种道路减速带的缺损检测方法
CN110390256B (zh) 一种沥青路面裂缝提取方法
CN106815583A (zh) 一种基于mser和swt相结合的夜间车辆车牌定位方法
CN114331986A (zh) 一种基于无人机视觉的坝体裂纹识别与测量方法
CN112598066A (zh) 一种基于机器视觉的轻量化道路路面检测方法及系统
CN111914767A (zh) 一种基于多源遥感数据的散乱污企业检测方法及系统
CN114972177A (zh) 道路病害识别管理方法、装置及智能终端
CN113362276A (zh) 板材视觉检测方法及系统
CN110728269B (zh) 一种基于c2检测数据的高铁接触网支柱杆号牌识别方法
Yamazaki et al. Vehicle extraction and speed detection from digital aerial images
Medina et al. Automated visual inspection of road surface cracks
CN114494845A (zh) 一种用于施工项目现场人工智能隐患排查系统及其排查方法
CN102280028B (zh) 基于动态背景分析和监控带扫描的车辆监测方法
CN110969135A (zh) 自然场景中的车标识别方法
CN115994901A (zh) 一种道路病害自动检测方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant