CN108827982B - 基于深度学习的跨座式单轨轨道梁指型板缺陷检测方法及系统 - Google Patents

基于深度学习的跨座式单轨轨道梁指型板缺陷检测方法及系统 Download PDF

Info

Publication number
CN108827982B
CN108827982B CN201810680251.7A CN201810680251A CN108827982B CN 108827982 B CN108827982 B CN 108827982B CN 201810680251 A CN201810680251 A CN 201810680251A CN 108827982 B CN108827982 B CN 108827982B
Authority
CN
China
Prior art keywords
nut
detection
information
vertex
finger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810680251.7A
Other languages
English (en)
Other versions
CN108827982A (zh
Inventor
叶俊勇
李艺强
夏青沛
罗晋
刘鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN201810680251.7A priority Critical patent/CN108827982B/zh
Publication of CN108827982A publication Critical patent/CN108827982A/zh
Application granted granted Critical
Publication of CN108827982B publication Critical patent/CN108827982B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Abstract

本发明公开一种基于深度学习的跨座式单轨轨道梁指型板缺陷检测方法及系统，使用线扫描相机、光电编码器、接近开关安装在检测车上获取轨道梁面图像，再经过深度学习算法得到指型板缺陷状况，具有效率高，准确度高的特点，可以解决人工巡检效率低、成本高等问题。

Description

基于深度学习的跨座式单轨轨道梁指型板缺陷检测方法及 系统
技术领域
本发明属于轨道交通检测技术领域，具体涉及跨座式单轨轨道梁面指型板的缺陷检测技术。
背景技术
跨座式单轨的轨道由多匹混凝土结构的梁通过指型板连接组成，指型板和梁面之间通过螺母固定。列车的长期高速行驶以及环境变化能够使轨道出现各种安全隐患。常见的安全隐患包括指型板螺母松动、指型板螺母脱落。轨道梁的健康状况关系着列车的平安运行，这些安全隐患可能造成不可估量的损失，所以对于轨道梁面的健康状况检测是必不可少的工作。
发明内容
本发明的目的是提供基于深度学习的跨座式单轨轨道梁指型板缺陷检测方法及系统，可准确高效的检测到指型板螺母的缺失和松动，无需人工巡视，提高工作效率。
本发明的目的通过以下方案实现：
基于深度学习的跨座式单轨轨道梁指型板缺陷检测方法，所述方法包括以下步骤：
（1）图像采集：
利用图像采集设备采集梁面图像，并将图像数据储存到磁盘中；
（2）图像检测分析：
检测单元从磁盘中读取出梁面图像，使用深度学习检测算法构建学习网络分别对图像上螺母目标和螺母顶点进行训练,得到关于指型板螺母位置数据集的网络权重和关于螺母顶点信息的网络权重，检测时使用指型板螺母位置的网络模型进行检测得到螺母目标的位置信息，进而得到关于指型板螺母缺失的信息；之后把检测到的螺母送入螺母顶点网络模型，得到螺母的顶点信息，进而得到螺母转动信息。
本发明的图像采集方法可以采用以下两种方式：
方式一：利用安装在检测车上的线扫描相机、光电编码器和接近开关，所述光电编码器把检测车的行驶速度转化为高低电平传给线扫描相机；线扫描相机根据编码器的信号调整扫描频率，并将扫描到的线状像素堆叠成面阵，从而采集到梁面图像，并把图像数据储存到磁盘中；接近开关每经过一次指型板信号变化一次，使用此信号来分开采集到的连续两个梁面的图像数据；
方式二：使用面阵相机和光电开关完成采集和触发，检测时，光信号发射器和接收器安装在检测车的左右两侧，由于光束可以通过两匹梁之间的缝隙，轨道梁对光束形成遮挡，由接收器接受的光信号来触发面阵相机，在经过两批梁之间时光电开关接收器信号发生变化，面阵相机采集指型板图像，并把图像数据储存到磁盘中。
本发明进一步提出一种实现上述方法的自动检测跨座式单轨轨道梁指型板缺陷的系统，包括图像采集单元和检测单元。
所述图像采集单元采集梁面图像，并把图像数据储存到磁盘中；
所述检测单元从磁盘中读取出梁面图像，使用深度学习检测算法构建学习网络分别对图像上螺母目标和螺母顶点进行训练,得到关于指型板螺母位置数据集的网络权重和关于螺母顶点信息的网络权重，检测时使用指型板螺母位置的网络模型进行检测得到螺母目标的位置信息，进而得到关于指型板螺母缺失的信息；之后把检测到的螺母送入螺母顶点网络模型，得到螺母的顶点信息，进而得到螺母转动信息。
本发明使用面阵相机或线扫描相机、光电编码器、接近开关安装在检测车上获取轨道梁面图像，再经过深度学习算法得到指型板缺陷状况，当指型板螺母缺失或松动时，系统会自动给出指型板螺母缺失位置或松动幅度，具有效率高，准确度高的特点，同时解决人工巡检效率低、成本高等问题。
附图说明
图1是本发明的图像采集方式一原理框图；
图2是本发明的图像采集方式二原理框图；
图3是本发明的检测原理图；
图4是本发明的软件系统的流程框图；
图5A是本发明检测到螺母的位置；
图5B是本发明检测到螺母顶点的位置。
具体实施方式
以下将结合附图对本发明的优选实施例进行详细描述。优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。
本方法硬件采集和软件检测共同完成。
参见图1，硬件系统组成：面阵相机或线扫描相机和光电编码器、接近开关。
图像采集方法一，参见图1：
检测时硬件系统固定在检测车上，跟随检测车行驶完整个要检测的道路，光电编码器把检测车的行驶速度转化为高低电平传给线扫描相机，线扫描相机根据编码器的信号（即车速）调整扫描频率,并将扫描到的线状像素堆叠成面阵，从而采集到梁面图像。接近开关每经过一次指型板信号变化一次，使用此信号来分开采集到的连续两个梁面的图像数据。把图像数据储存到磁盘中，使用软件系统进行检测。
本实施例中, 线扫描相机根据编码器的信号调整扫描频率具体是,编码器和车轮转轴相连，车轮每转动一个很小的角度[即编码器分辨率]编码器输出一个矩形方波信号，当车轮转动速度变化时，编码器输出矩形波的频率随之改变.
本实施例中,面阵的获得方式是通过线扫描相机得到一个矩形脉冲采集一次像素，得到和相机分辨率大小相同个像素点，连续采集后将得到数据以相机分辨率为宽度进行转化得到宽度为相机分辨率高度为相机采集次数的图像。
图像采集方法二，参见图2：
检测时硬件系统固定在检测车上，跟随检测车行驶完整个要检测的道路，接近开关每经过一次指型板信号变化一次，使用此信号来驱动面阵相机采集一次指型板图像。把图像数据储存到磁盘中，使用软件系统进行检测。
软件系统：从磁盘中读取出梁面图像，使用深度学习检测算法进行检测，检测原理参见图3，流程参见图4，具体过程如下：
检测单元从磁盘中读取出梁面图像，使用深度学习检测算法进行检测，具体地包括两个训练阶段和两个检测阶段；
训练阶段1：使用标定好的指型板螺母数据集在fasterrcnn网络上进行微调，得到关于指型板螺母位置数据集的网络权重；
训练阶段2：使用指型板上的单个螺母图片制作六个顶点坐标数据集，使用卷积网络把螺母六个顶点坐标作为回归信息进行训练，得到关于螺母顶点信息的网络权重；
检测阶段1:检测时使用此网络进行检测得到螺母目标的位置信息，进而得到关于指型板螺母缺失的信息。
检测阶段2：使用螺母位置信息从原图中得到单个螺母图片，把此图片送入螺母顶点检测的网络中进行检测得到螺母六个顶点坐标信息，通过不同时间的前后两次测量的同一个螺母顶点信息得到此螺母的松动信息。
参见图5A, 图中黑色框为检测到的螺母位置。参见图5B，白色点为检测到的螺母顶点，顶点上的数字为此点是螺母顶点的可能性。从图中的检测结果可看出，本方法可以精确检测到螺母的位置和螺母顶点的位置，再通过不同时间前后两次结果对比可以解决检测指型板缺陷的工程问题。
以上所述仅为本发明的优选实施例，并不用于限制本发明，显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种基于深度学习的跨座式单轨轨道梁指型板缺陷检测方法，其特征在于：所述方法包括以下步骤：
（1）图像采集：
利用图像采集设备采集梁面图像，并将图像数据储存到磁盘中；
（2）图像检测分析：
检测单元从磁盘中读取出梁面图像，使用深度学习检测算法构建学习网络分别对图像上螺母目标和螺母顶点进行训练,得到关于指型板螺母位置数据集的网络权重和关于螺母顶点信息的网络权重，检测时使用指型板螺母位置的网络模型进行检测得到螺母目标的位置信息，进而得到关于指型板螺母缺失的信息；之后把检测到的螺母送入螺母顶点网络模型，得到螺母的顶点信息，进而得到螺母转动信息；
所述图像检测分析包括训练阶段和检测阶段；
训练阶段：使用标定好的指型板螺母数据集在fasterrcnn网络上进行微调，得到关于指型板螺母位置数据集的网络权重；
使用指型板上的单个螺母图片制作六个顶点坐标数据集，使用卷积网络把螺母六个顶点坐标作为回归信息进行训练，得到关于螺母顶点信息的网络权重；
检测阶段：检测时使用螺母位置的网络模型进行检测得到螺母目标的位置信息，进而得到关于指型板螺母缺失的信息；
使用螺母位置的网络模型从原图中得到单个螺母图片，把此图片送入螺母顶点网络模型中进行检测得到螺母六个顶点坐标信息，通过不同时间的前后两次测量的同一个螺母顶点信息得到此螺母的松动信息。
2.根据权利要求1所述的基于深度学习的跨座式单轨轨道梁指型板缺陷检测方法，其特征在于，所述图像采集设备是安装在检测车上的线扫描相机、光电编码器和接近开关，所述光电编码器把检测车的行驶速度转化为高低电平传给线扫描相机；线扫描相机根据编码器的信号调整扫描频率，并将扫描到的线状像素堆叠成面阵，从而采集到梁面图像，并把图像数据储存到磁盘中；接近开关每经过一次指型板信号变化一次，使用此信号来分开采集到的连续两个梁面的图像数据以及确定指型板所在位置。
3.根据权利要求1所述的基于深度学习的跨座式单轨轨道梁指型板缺陷检测方法，其特征在于，所述图像采集设备是安装在检测车上的面阵相机和接近开关，使用面阵相机，在接近开关经过指型板时信号发生变化，面阵相机采集指型板图像，并把图像数据储存到磁盘中。
4.实现权利要求1-3任一项所述方法的检测系统，其特征在于：包括图像采集设备和检测单元：
所述图像采集设备采集梁面图像，并把图像数据储存到磁盘中；
所述检测单元从磁盘中读取出梁面图像，使用深度学习检测算法构建学习网络分别对图像上螺母目标和螺母顶点进行训练,得到关于指型板螺母位置数据集的网络权重和关于螺母顶点信息的网络权重，检测时使用指型板螺母位置的网络模型进行检测得到螺母目标的位置信息，进而得到关于指型板螺母缺失的信息；之后把检测到的螺母送入螺母顶点网络模型，得到螺母的顶点信息，进而得到螺母转动信息；
所述检测单元具体包括训练模块和检测模块；
所述训练模块，使用标定好的指型板螺母数据集在fasterrcnn网络上进行微调，得到关于指型板螺母位置数据集的网络权重；使用指型板上的单个螺母图片制作六个顶点坐标数据集，使用卷积网络把螺母六个顶点坐标作为回归信息进行训练，得到关于螺母顶点信息的网络权重；
所述检测模块使用指型板螺母位置的网络模型进行检测得到螺母目标的位置信息，进而得到关于指型板螺母缺失的信息；使用螺母位置信息从原图中得到单个螺母图片，把此图片送入螺母顶点网络模型中进行检测得到螺母六个顶点坐标信息，通过不同时间的前后两次测量的同一个螺母顶点信息得到此螺母的松动信息。
5.根据权利要求4所述的检测系统，其特征在于，所述图像采集设备包括线扫描相机、光电编码器、接近开关，安装在检测车上，所述光电编码器把检测车的行驶速度转化为高低电平传给线扫描相机；线扫描相机根据编码器的信号调整扫描频率，并将扫描到的线状像素堆叠成面阵，从而采集到梁面图像，并把图像数据储存到磁盘中；接近开关每经过一次指型板信号变化一次，使用此信号来分开采集到的连续两个梁面的图像数据以及确定指型板所在位置。
6.根据权利要求4所述的检测系统，其特征在于，所述图像采集设备包括面阵相机和接近开关，使用面阵相机，在接近开关经过指型板时信号发生变化，面阵相机采集指型板图像，并把图像数据储存到磁盘中。
CN201810680251.7A 2018-06-27 2018-06-27 基于深度学习的跨座式单轨轨道梁指型板缺陷检测方法及系统 Active CN108827982B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810680251.7A CN108827982B (zh) 2018-06-27 2018-06-27 基于深度学习的跨座式单轨轨道梁指型板缺陷检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810680251.7A CN108827982B (zh) 2018-06-27 2018-06-27 基于深度学习的跨座式单轨轨道梁指型板缺陷检测方法及系统

Publications (2)

Publication Number Publication Date
CN108827982A CN108827982A (zh) 2018-11-16
CN108827982B true CN108827982B (zh) 2020-12-25

Family

ID=64139276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810680251.7A Active CN108827982B (zh) 2018-06-27 2018-06-27 基于深度学习的跨座式单轨轨道梁指型板缺陷检测方法及系统

Country Status (1)

Country Link
CN (1) CN108827982B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091541B (zh) * 2019-12-12 2020-08-21 哈尔滨市科佳通用机电股份有限公司 一种铁路货车横跨梁组装螺母丢失故障识别方法
CN111080650B (zh) * 2019-12-12 2020-10-09 哈尔滨市科佳通用机电股份有限公司 铁路货车小部件轴承挡键螺母松动和丢失故障检测方法
CN111122602B (zh) * 2020-01-03 2021-03-30 重庆大学 基于三维相机的跨座式单轨指形板异常检测系统及方法
CN111252110B (zh) * 2020-01-17 2021-01-26 杭州中车车辆有限公司 用于跨座式单轨巡检车辆的轨道梁检测系统及检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08285778A (ja) * 1995-04-17 1996-11-01 Central Japan Railway Co レール締結装置の緩み検出装置
CN101526484A (zh) * 2009-04-13 2009-09-09 江南大学 基于嵌入式机器视觉的轴承缺陷检测技术
KR101446022B1 (ko) * 2013-04-02 2014-10-01 전북대학교산학협력단 광섬유 볼트 풀림 모니터링 시스템 및 방법
CN106862111A (zh) * 2017-03-15 2017-06-20 甘培嘉 一种标准紧固件检测分度转盘及分拣包装机构
CN107505334A (zh) * 2017-10-13 2017-12-22 成都精工华耀机械制造有限公司 一种基于点光源阵列线阵成像的铁轨扣件异常检测系统
CN207248769U (zh) * 2017-10-13 2018-04-17 成都精工华耀机械制造有限公司 一种基于单目视觉与激光散斑的铁轨扣件异常检测装置
CN108176608A (zh) * 2017-12-25 2018-06-19 中国科学院自动化研究所 基于机器视觉的螺母缺陷检测方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08285778A (ja) * 1995-04-17 1996-11-01 Central Japan Railway Co レール締結装置の緩み検出装置
CN101526484A (zh) * 2009-04-13 2009-09-09 江南大学 基于嵌入式机器视觉的轴承缺陷检测技术
KR101446022B1 (ko) * 2013-04-02 2014-10-01 전북대학교산학협력단 광섬유 볼트 풀림 모니터링 시스템 및 방법
CN106862111A (zh) * 2017-03-15 2017-06-20 甘培嘉 一种标准紧固件检测分度转盘及分拣包装机构
CN107505334A (zh) * 2017-10-13 2017-12-22 成都精工华耀机械制造有限公司 一种基于点光源阵列线阵成像的铁轨扣件异常检测系统
CN207248769U (zh) * 2017-10-13 2018-04-17 成都精工华耀机械制造有限公司 一种基于单目视觉与激光散斑的铁轨扣件异常检测装置
CN108176608A (zh) * 2017-12-25 2018-06-19 中国科学院自动化研究所 基于机器视觉的螺母缺陷检测方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A Real-Time Visual Inspection System for Railway Maintenance: Automatic Hexagonal-Headed Bolts Detection;Francescomaria Marino 等;《IEEE TRANSACTIONS ON SYSTEMS, MAN, AND CYBERNETICS—PART C: APPLICATIONS AND REVIEWS》;20070531;第37卷(第3期);第418-428页 *
On-line bolt-loosening detection method of key components of running trains using binocular vision;Yanxia Xie 等;《Proc. of SPIE》;20171231;第10605卷;第1060513-1至1060513-6页 *
基于目标轮廓特征的图像识别及列车转向架故障检测;顾超;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20141015(第10期);第82-83页 *
输电线杆塔横担处的螺栓缺陷检测技术研究;黄志文 等;《工业控制计算机》;20171231;第30卷(第6期);第1-3,6页 *

Also Published As

Publication number Publication date
CN108827982A (zh) 2018-11-16

Similar Documents

Publication Publication Date Title
CN108827982B (zh) 基于深度学习的跨座式单轨轨道梁指型板缺陷检测方法及系统
CN104129404B (zh) 一种高速动态实时检测铁轨扣件松动的方法及装置
CN106192634B (zh) 一种铁路轨道弹条扣件状态自动检测装置以及方法
CN102507587B (zh) 巡视检测系统及方法
CN201233223Y (zh) 一种木材自动监管系统
CN207946369U (zh) 一种基于点光源阵列线阵成像的铁轨扣件异常检测装置
CN109242035B (zh) 车底故障检测装置及方法
CN104359418A (zh) 一种激光和视频融合的铁路雪深多点自动测量装置及方法
CN112172862A (zh) 一种多功能轨道检测系统
CN107678036A (zh) 一种车载非接触式接触网几何参数动态检测系统及方法
CN104183133A (zh) 一种采集和传输道路交通流动态信息的方法
CN108732573B (zh) 一种车位探测方法及车位探测系统
CN104132943B (zh) 一种车载高速动态轨道表面缺陷视频检测方法及装置
CN203372260U (zh) 一种高速动态实时检测铁轨扣件松动的装置
CN103674963A (zh) 一种基于数字全景摄像的隧道检测装置及其检测方法
CN110806193A (zh) 地铁隧道形变检测系统
CN113112501B (zh) 一种基于深度学习的车载轨道巡检装置及方法
CN113310987B (zh) 一种隧道衬砌表面检测系统及方法
CN104878679A (zh) 一种车载车辙实时检测系统及检测方法
CN106644034A (zh) 一种非接触式高铁路基振动测量系统
CN107621229B (zh) 基于面阵黑白相机的实时铁路轨道宽度测量系统及方法
CN204059164U (zh) 一种带有相对基准点的线激光路面车辙检测系统
CN107806824A (zh) 一种低速状态下接触网几何参数的检测方法及装置
CN204491372U (zh) 一种手推式水泥混凝土路面接缝损坏检测装置
CN113222907B (zh) 一种基于弯道铁轨的检测机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant