CN116993676B - 一种基于深度学习的地铁轨道扣件计数与定位方法 - Google Patents

一种基于深度学习的地铁轨道扣件计数与定位方法 Download PDF

Info

Publication number
CN116993676B
CN116993676B CN202310802240.2A CN202310802240A CN116993676B CN 116993676 B CN116993676 B CN 116993676B CN 202310802240 A CN202310802240 A CN 202310802240A CN 116993676 B CN116993676 B CN 116993676B
Authority
CN
China
Prior art keywords
fasteners
track
distance
fastener
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310802240.2A
Other languages
English (en)
Other versions
CN116993676A (zh
Inventor
佟立国
张毅
王卓
邹建伟
胡成春
王继明
刘敬民
王克学
唐钰翔
李治
赵云雷
任洪江
李青岩
尹培栋
李月军
张洪涛
廖兴伟
张雄飞
冯启涛
马明星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Railway No9 Group Electrical Engineering Co ltd
China Railway No 9 Group Co Ltd
Original Assignee
China Railway No9 Group Electrical Engineering Co ltd
China Railway No 9 Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Railway No9 Group Electrical Engineering Co ltd, China Railway No 9 Group Co Ltd filed Critical China Railway No9 Group Electrical Engineering Co ltd
Priority to CN202310802240.2A priority Critical patent/CN116993676B/zh
Publication of CN116993676A publication Critical patent/CN116993676A/zh
Application granted granted Critical
Publication of CN116993676B publication Critical patent/CN116993676B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及地铁隧道内部技术领域，具体涉及一种基于深度学习的地铁轨道扣件计数与定位方法。该方法包括：根据轨道扣件图像中每类像素点灰度值的均值构建至少两个灰度变换公式，并对轨道扣件图像进行处理获得增强图像；根据所述增强图像得到扣件数量；对车轮直径进行修正获得修正车轮径；根据相邻的轨道扣件之间的标准间距对所述扣件数量进行修正，获取修正轨道扣件数量；根据所述修正轨道扣件数量获取当前时刻巡检机器人的第一距离，光电编码器测得巡检机器人的当前时刻的距离为第二距离；利用第一距离和第二距离对当前时刻的巡检机器人进行定位。本发明通过利用光电编码器和轨道扣件计数的相互修正，能够更加精确的对巡检机器人进行定位。

Description

一种基于深度学习的地铁轨道扣件计数与定位方法
技术领域
本发明涉及地铁隧道内部定位技术领域，具体涉及一种基于深度学习的地铁轨道扣件计数与定位方法。
背景技术
在地铁隧道中，为了更好的保障地铁运行的安全，需要对地铁隧道进行自动化的巡检，及时发现问题，进而对存在问题的位置进行处理，从而保证地铁的安全运行；在对地铁隧道进行巡检时，经常使用巡检机器人进行巡检，同时需要对巡检机器人进行定位，以便于及时定位出现异常的位置。
现有的定位方法有GPS定位系统，虽然GPS定位系统解决了大多数移动物体的高精度定位问题，但是由于隧道内GPS信号弱，导致GPS定位处于失效状态；现有的轨道巡检机器人多是通过在巡检机器人上安装光电编码器实现定位的，但是利用光电编码器进行定位时，由于车轮打滑或者磨损等原因易产生累计误差，以致于巡检过程中获取到的故障位置的准确度也较低；同时现有技术中还能通过机器视觉技术来进行定位的，但是由于地铁隧道内的特殊环境，拍摄的图像质量并不理想，会造成定位不准确的结果。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于深度学习的地铁轨道扣件计数与定位方法，所采用的技术方案具体如下：
本发明一个实施例提供了一种基于深度学习的地铁轨道扣件计数与定位方法，该方法包括：获取连续帧的轨道扣件图像，将轨道扣件图像中的像素点进行分类，并获取每类像素点中灰度值的均值；根据所述每类像素点灰度值的均值构建至少两个灰度变换公式；根据所述至少两个灰度变换公式对轨道扣件图像进行处理获得增强图像；
根据所述增强图像进行分析对列车行驶过程中轨道扣件进行跟踪，并记录数量，得到扣件数量；根据两个相邻的轨道扣件之间光电编码器产生的脉冲数目对车轮直径进行修正获得修正车轮径；
根据相邻的轨道扣件之间的标准间距对所述扣件数量进行修正，获取修正轨道扣件数量；根据所述修正轨道扣件数量获取当前时刻巡检机器人的第一距离，光电编码器测得巡检机器人的当前时刻的距离为第二距离；利用第一距离和第二距离对当前时刻的巡检机器人进行定位。
获取连续帧的轨道扣件图像，将轨道扣件图像中的像素点进行分类，包括：
获取轨道扣件图像中每个像素点的灰度值，根据每个像素点的灰度值的差异对像素点进行分类，得到不同类别的像素点。
优选地，根据所述每类像素点灰度值的均值构建至少两个灰度变换公式，包括：
获取每类像素点中灰度值的均值，作为间断点，并根据间断点的大小按顺序设置间断区间，根据每个间断区间中的最大值和最小值确定每个间断区间对应的斜率和截距；根据所述的每个间断区间的斜率和截距获取每个间断区间对应的灰度变换公式。
优选地，根据所述增强图像进行分析对列车行驶过程中轨道扣件进行跟踪并记录数量，得到扣件数量，包括：
设置目标检测模型，并对目标检测模型中的主干网络进行替换获取优化目标检测模型；将增强图像输入优化目标检测模型，输出各识别到的轨道扣件；构建目标跟踪模型，利用目标跟踪模型对所述识别到的轨道扣件进行跟踪并记录扣件数量。
优选地，根据两个相邻的轨道扣件之间光电编码器产生的脉冲数目对车轮直径进行修正获得修正车轮径，包括：
获取相邻的轨道扣件之间的标准间距和车轮行驶一周光电编码器产生的标准脉冲数；利用所述标准间距、所述标准脉冲数和两个相邻的轨道扣件之间光电编码器产生的脉冲数目获取修正后的车轮直径，记为修正车轮径；所述修正车轮径与两个相邻的轨道扣件之间光电编码器产生的脉冲数目成反比。
优选地，根据相邻的轨道扣件之间的标准间距对所述扣件数量进行修正，获取修正轨道扣件数量，包括：
获取光电编码器经过相邻的两个扣件中的第一个扣件和第二个扣件时的里程，分别为第一里程和第二里程；根据第一里程和第二里程的差值、相邻的轨道扣件之间的标准间距获取漏检的轨道扣件的数量；利用所述漏检的轨道扣件的数量对所述扣件数量，获取修正轨道扣件数量。
优选地，灰度变换公式为：
其中，G(i)表示第二个间断区间对应的像素点中任意像素点变换后的灰度值；i表示像素点的原始灰度值；b表示该像素点对应的第二个间断区间中的最大值；a表示该像素点对应的第二个间断区间中的最小值。
优选地，利用第一距离和第二距离对当前时刻的巡检机器人进行定位，包括：
计算第一距离和第二距离的差值，若所述差值的绝对值大于预设阈值，则将第一距离作为当前时刻的巡检机器人的行驶距离，对当前时刻的巡检机器人进行定位；若所述差值的绝对值小于或等于预设阈值，将第二距离作为当前时刻的巡检机器人的行驶距离，对当前时刻的巡检机器人进行定位。
优选地，根据所述至少两个灰度变换公式对轨道扣件图像进行处理获得增强图像，包括：将每个间断区间对应的像素点的原始灰度值带入每个间断区间对应的灰度变换公式，获得各间断区间对应的像素点变换后的灰度值，得到增强图像。
本发明实施例至少具有如下有益效果：本发明利用巡检机器人上的摄像头拍摄轨道扣件的图像，获得连续帧的轨道扣件图像，通过对轨道扣件图像中的像素点进行分类，并根据每类像素点中像素点灰度值的特点构建灰度变换公式利用灰度变换公式对各类像素点进行处理以达到对图像增强的目的，得到的增强图像相较于轨道扣件图像更加清晰，解决了地铁隧道特殊环境对于轨道扣件的影响，使得后续的定位能够更加准确；同时根据两个相邻的扣件之间光电编码器产生的脉冲数目对巡检机器人的车轮的直径进行修正，获得实际的车轮直径，也即是修正车轮径，以降低车轮直径出现误差对于定位产生的影响，使得定位更加准确，同时为了防止利用轨道扣件进行定位时，出现轨道扣件漏检的情况，基于修正车轮径对扣件数量进行修正获得修正轨道扣件数量，修正后的扣件数量更加准确，使得后续基于扣件的数量对巡检机器人进行定位时更加准确；最后基于修正轨道扣件数量获取第一距离，光电编码器测得当前时刻的距离，为第二距离，根据第一距离和第二距离对当前时刻的巡检机器人进行定位，第一距离和第二距离相互进行修正，能够更加精确的对巡检机器人进行定位。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明实施例提供的一种基于深度学习的地铁轨道扣件计数与定位方法的方法流程图；
图2为本发明实施例提供的增强前的轨道扣件图像；
图3为本发明实施例提供的增强后的增强图像；
图4为本发明实施例提供的轨道扣件计数和定位的方法流程图；
图5为本发明实施例提供的扣件撞线检测窗口图；
图6为本发明实施例提供的实验结果对比图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于深度学习的地铁轨道扣件计数与定位方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于深度学习的地铁轨道扣件计数与定位方法的具体方案。
实施例：
本发明的主要应用场景为：在地铁隧道中，需要利用隧道巡检机器人进行巡检以发现地铁隧道中存在问题的位置。巡检机器人对地铁隧道进行巡检过程中，需要实时对处在地铁隧道中的巡检机器人进行定位，以便于对地铁隧道中存在问题的位置进行定位。
本发明提供了一种基于深度学习的地铁轨道扣件计数与定位方法。该方法实现了一种将深度学习技术与常规技术进行融合的定位方法，在光电编码器测距基础上实现一种更加精确的轨道定位方法，实现对地铁轨道实时、高精度的定位。
请参阅图1，其示出了本发明实施例提供的一种基于深度学习的地铁轨道扣件计数与定位方法的方法流程图，该方法包括以下步骤：
步骤S1，获取连续帧的轨道扣件图像，将轨道扣件图像中的像素点进行分类，并获取每类像素点中灰度值的均值；根据所述每类像素点灰度值的均值构建至少两个灰度变换公式；根据所述至少两个灰度变换公式对轨道扣件图像进行处理获得增强图像。
在地铁隧道内，为了保证地铁的安全运行，需要对地铁隧道内的环境进行巡检，在巡检过程中，为了精确的得到出现问题的位置，需要对巡检机器人进行定位，由于巡检机器人是沿着轨道行驶的，因此获取精确的行驶距离就能对巡检机器人进行定位。现有的对于巡检机器人定位的方法是基于光电编码器进行定位的，然而基于光电编码器进行测距时，由于车轮的磨损或打滑，会导致定位出现误差，因此需要对定位进行修正。
由于相邻扣件间距离为固定值，因此本发明采用光电编码器测距作为基础，通过深度学习算法对地铁轨道扣件进行检测，并利用目标追踪算法对每一扣件进行追踪并计数，用以矫正光电编码器定位过程中产生的误差。
首先，利用安装在巡检机器人上的高速相机实时采集轨道扣件的图像，其中相机为CDD高速相机，在使用前，需要调整相机交局、光圈大小等参数，使得轨道扣件完整出现在显示器视野中，也即是需要采集连续帧的轨道扣件的图像，进一步的，将获得的连续帧的轨道扣件的图像转换为灰度图像，记为轨道扣件图像；需要说明的是，高速相机的安装需要实施者根据实际情况进行调整，转化为灰度图像，优选地，本发明实施例中选用平均值法。
由于隧道中光照强度较弱，这种情况下观察到的图像可能比较暗淡，轨道扣件等物体的细节不够清晰，导致后续对于轨道扣件的检测出错或漏检，因此，在检测隧道中的轨道扣件时，需要对轨道扣件图像进行光增强处理，光增强处理可以增加图像的亮度和对比度，使得目标物体轮廓更加明显、清晰，从而提高目标检测的准确性。针对检测过程中环境以及轨道扣件的特征，本发明采用了分段线性函数暗光增强方法对轨道扣件图像进行增强。
进一步的，需要对轨道扣件图像中的像素点进行分类，优选地，本发明通过聚类的方法，依据像素点的灰度值的差异进行分类，具体的利用聚类的方法进行分类，优选地，本发明通过K-means聚类算法对轨道扣件图像中的像素点进行聚类，其聚类的依据为像素点的灰度值。
聚类后需要确定间断点，然后利用间断点进行分段，并对不同的分段采用不同的增强方式，传统的自适应分段线性变换算法通常采用人工经验或者固定的阈值来确定图像的分段点，而采用K-Means聚类算法则可以根据扣件图像的特征来自动确定最佳的分段点，从而提高增强效果并减少人工干预。
具体的，针对于轨道扣件图像的拍摄特征，优选地，本发明实施例中将轨道扣件图像的像素点按照灰度值的差异分为三个类别，分别表示扣件和铁轨的灰度值、架设扣件的石板图像的灰度值以及地面的灰度值，需要说明的是，关于轨道扣件图像中像素点的分类的类别数，实施者可以根据实际情况进行调整；本实施例中采用K-means聚类算法，其中聚类簇设置为3，迭代次数设置为5，以此对轨道扣件图像中的像素点进行聚类，得到3个聚类簇，也即是得到三个类别的像素点，分别统计3个聚类簇中每个聚类簇中像素点的灰度值的均值，设置为分段线性变换函数的间断点，设其值为a、b、c，并根据间断点的大小按顺序设置间断区间，因此得分段变换的三个间断区间为[0,a]、[a,b]、[b,c]；
进一步的，根据每个间断区间中的最大值和最小值确定每个间断区间对应的斜率和截距，根据所述的每个间断区间的斜率和截距获取每个间断区间对应的灰度变换公式，以第二个间断区间对应的灰度变换公式为例：
其中，G(i)表示第二个间断区间对应的像素点中任意像素点变换后的灰度值；i表示像素点的原始灰度值；b表示该像素点对应的第二个间断区间中的最大值；a表示该像素点对应的第二个间断区间中的最小值；255为像素点灰度值的最大值。
对轨道扣件图像中的各像素点的灰度值变换后，获得经过暗光增强处理后的图像，记为增强图像，其中增强前的轨道扣件图像和增强图像如图2和图3所示，可以清晰的看出增强后的增强图像更加清晰。
步骤S2，对所述增强图像进行分析获取列车行驶过程中轨道扣件的数量；根据两个相邻的轨道扣件之间光电编码器产生的脉冲数目对车轮直径进行修正获得修正车轮径。
在获取连续帧的轨道扣件图像的增强图像后，需要对增强图像进行分析获取巡检机器人巡检过程时扣件的数量。
具体的，设置目标检测模型，并对目标检测模型中的主干网络进行替换获取优化目标检测模型，优选地，为解决轨道扣件识别准确性较低和检测速度较差的问题，本发明使用了YOLOv5s网络模型对轨道扣件实现精确识别，也即是本发明实施例中的目标检测模型为YOLOv5s网络模型，但模型中存在着由于参数量较大而导致的检测速度慢、占用内存高等问题，并且对于不断运动的列车来说，扣件可以被看作是持续运动的目标，因此要对其进行检测，需要使用支持高帧率的检测模型，针对以上问题，对目标检测模型中的主干网络进行替换，本发明使用轻量化网络MobileNetV3 small替换目标检测模型中主干网络CSPDarknet53，获取优化目标检测模型，在不改变模型准确率的情况下提高其在运动状态下对扣件的检测速度和检测帧率。MobileNetV3是一种轻量化的卷积神经网络，其适用于在移动设备上进行快速、高效的图像分类和目标检测。MobileNetV3在保留了Mobilenetv1和Mobilenetv2中表现优异的深度可分离卷积和具有线性瓶颈的逆残差结构的前提下，引入了h-swish激活函数和SE通道注意力机制，从而进一步增强了特征提取能力，如图4所示为优化目标检测模型的结构图，经过轻量化的模型能够在不损失精度的条件下能够支持更高帧率的检测，且不需占用边缘设备的大量内存。
将增强图像输入优化目标检测模型，输出各识别到的轨道扣件，然后构建目标跟踪模型，优选地，本发明实施例中的目标跟踪模型为DeepSort算法，算法可以分为四个部分，轨迹处理和状态估计、相关性度量、深度特征描述器和级联匹配，利用DeepSort算法对识别到的轨道扣件进行跟踪，其主要步骤如下：
A.获取原始轨道扣件运动视频帧；
B.利用优化目标检测模型对轨道扣件进行检测；
C.将检测到的轨道扣件的特征进行提取，该特征包括表观特征和运动特征，表观特征方便特征对比避免ID重复，运动特征方便卡尔曼滤波对其进行预测；
D.计算前后两帧扣件之间的匹配程度(利用匈牙利算法和级联匹配)，并为每个追踪到的扣件分配ID。
轨道扣件计数子模块主要利用DeepSort目标追踪算法对扣件图像进行追踪计数，防止因扣件的漏检而产生的误差。轨道扣件计数与定位方法流程图如图5所示，其中图5中的扣件撞线检测的方法为在检测窗口中设置一蓝一黄两条检测线，当扣件从黄线驶入蓝线驶出时下行扣件计数器加一；当扣件从蓝线驶入黄线驶出时上行扣件计数器加一，同时根据扣件数量计算出巡检机器人当前行驶距离。扣件撞线检测窗口图如图6所示；存储子模块将测距结果以及扣件检测结果等信息存储在内存中，供工作人员和管理人员进行查阅及审核。至此可以获得当前时刻巡检机器人经过的扣件的数量，得到扣件数量。
同时，还需要对巡检机器人的编码器车轮的直径的进行修正，由于光电编码器车轮在行驶过程中会对轮径造成一定的磨损，且随着车轮行驶时间的增加磨损程度也会逐渐变大，导致车轮直径减小，因此需采用合适的方法对车轮直径进行一定的校正。光电编码器测得的巡检机器人行驶速度可用下式表达：
上式中：Vr(t)表示光电编码器测得的列车行驶速度；f(t)表示光电编码器输出脉冲的频率；dr表示车轮标准直径；T表示光电编码器车轮行驶一周记录的脉冲数；D表示编码器车轮真实直径，通常情况下K值接近于0，但随着车轮行驶离城市不断增加，真实轮径D会越来越小，从而使里程误差增加。
为解决上述问题，可以用采集的增强图像进行近似的校正，获取相邻的轨道扣件之间的标准间距和车轮行驶一周光电编码器产生的标准脉冲数；利用所述标准间距、所述标准脉冲数和两个相邻的轨道扣件之间光电编码器产生的脉冲数目获取修正后的车轮直径，记为修正车轮径；所述修正车轮径与两个相邻的轨道扣件之间光电编码器产生的脉冲数目成反比。其中相邻扣件之间编码器产生的脉冲数目为n，光电编码器车轮行驶一周产生的标准脉冲数为T＝32768，相邻的轨道扣件之间的标准间距L＝0.6m，校正后的修正车轮径D可用如下公式表示：
修正车轮径与两个相邻的轨道扣件之间光电编码器产生的脉冲数目成反比。
至此，可以获得修正后的巡检机器人的轮径，也即是修正车轮径，以修正后的车轮径，计算巡检机器人的行驶的距离，以便于对巡检机器人进行定位。
步骤S3，根据相邻的轨道扣件之间的标准间距对所述扣件数量进行修正，获取修正轨道扣件数量；根据所述修正轨道扣件数量获取当前时刻巡检机器人的第一距离，光电编码器测得巡检机器人的当前时刻的距离为第二距离；利用第一距离和第二距离对当前时刻的巡检机器人进行定位。
利用光电编码器所测行驶距离与轨道扣件计数所测距离进行双向校正，主要包括扣件计数补偿和编码器位置修正两部分，其中扣件计数补偿主要依据光电编码器行驶里程与扣件计数结果的关系确定某一扣件是否漏检。
获取光电编码器经过相邻的两个扣件中的第一个扣件和第二个扣件时的里程，分别为第一里程和第二里程；根据第一里程和第二里程的差值、相邻的轨道扣件之间的标准间距获取漏检的轨道扣件的数量，用公式表示：
其中，N表示漏检的轨道扣件的数量，ΔS表示第一里程和第二里程的差值，相邻的轨道扣件之间的标准间距L，在获取漏检的轨道扣件的数量后，利用漏检的轨道扣件的数量对所述扣件数量，获取修正轨道扣件数量m。
进一步的，需要计算两种方法下的记录的巡检机器的行驶距离，在计算巡检机器人实时的行驶距离之前，需要设定隧道的初始几点，将巡检机器人移动至初始基点处，隧道的初始基点为S0。
其中利用光电编码器记录巡检机器人实时位置，用公式表示为：
其中，Tsum为巡检机器人行驶过程中光电编码器记录的累计脉冲数，T为光电编码器车轮行驶一周记录的脉冲数，D为光电编码器修正后的车轮直径，也即是修正车轮径，S0表示巡检机器人的初始位置，S表示利用光电编码器测得的巡检机器人行驶的距离，记为第二距离。
获得扣件数量修正后，根据修正轨道扣件数量计算当前时刻巡检机器人行驶的距离，用公式表示为：
Sm＝S0+mL，
其中，Sm表示巡检机器人行驶到第m个扣件时，巡检机器人行驶的距离；m表示修正后的扣件数量，也即是修正轨道扣件数量，将根据修正轨道扣件数量获取当前时刻巡检机器人的距离记为第一距离。
最后利用第一距离和第二距离对当前时刻的巡检机器人进行定位，计算第一距离和第二距离的差值，若所述差值的绝对值大于预设阈值，需要说明的是，在计算第一距离时，需要获得的扣件数量是整数时计算的，差值的绝对值大于预设阈值时，利用经过下一个扣件时计算的第一距离对当前时刻的巡检机器人进行定位；若所述差值的绝对值小于或等于预设阈值，说明在误差允许范围内，则将第二距离作为当前时刻的巡检机器人的行驶距离，对当前时刻的巡检机器人进行定位。且，关于预设阈值的设置，由于实施环境的不同，则需要根据实际情况对预设阈值进行修正。
如图6所示为在行驶时间为150S的和行驶速度为5km/h的环境下对光电编码器单独定位与加入扣件计数进行定位融合矫正的实验结果对比图，左图为光电编码器定位结果，右图为定位矫正后的结果。由图可知在单独使用光电编码器定位时，短时间误差最高可达13cm左右，在设置误差阈值为6cm加入扣件计数矫正后，定位误差被有效控制在了4cm左右。由此可见本发明提出的定位矫正方法有较高的定位精度，能够使用于实际的轨道定位环境。需要说明的是，由于巡检机器人是在轨道上运行的，因此其行驶距离就能表征其位置信息。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于深度学习的地铁轨道扣件计数与定位方法，其特征在于，该方法包括：
获取连续帧的轨道扣件图像，将轨道扣件图像中的像素点进行分类，并获取每类像素点中灰度值的均值；根据所述每类像素点中灰度值的均值构建至少两个灰度变换公式；根据所述至少两个灰度变换公式对轨道扣件图像进行处理获得增强图像；
根据所述增强图像对列车行驶过程中轨道扣件进行跟踪，并记录数量，得到扣件数量；根据两个相邻的轨道扣件之间光电编码器产生的脉冲数目对车轮直径进行修正获得修正车轮径；
根据相邻的轨道扣件之间的标准间距对所述扣件数量进行修正，获取修正轨道扣件数量；根据所述修正轨道扣件数量获取当前时刻巡检机器人的第一距离，光电编码器测得巡检机器人的当前时刻的距离为第二距离；利用第一距离和第二距离对当前时刻的巡检机器人进行定位；
所述根据所述增强图像对列车行驶过程中轨道扣件进行跟踪并记录数量，得到扣件数量，包括：
使用轻量化网络MobileNetV3small对目标检测模型中的主干网络CSPDarknet53进行替换获取优化目标检测模型；将增强图像输入优化目标检测模型，输出各识别到的轨道扣件；构建目标跟踪模型，利用目标跟踪模型对所述识别到的轨道扣件进行跟踪并记录扣件数量；目标检测模型为YOLOv5s网络模型，目标跟踪模型为DeepSort算法。
2.根据权利要求1所述的一种基于深度学习的地铁轨道扣件计数与定位方法，其特征在于，所述获取连续帧的轨道扣件图像，将轨道扣件图像中的像素点进行分类，包括：
获取轨道扣件图像中每个像素点的灰度值，根据每个像素点的灰度值的差异对像素点进行分类，得到不同类别的像素点。
3.根据权利要求1所述的一种基于深度学习的地铁轨道扣件计数与定位方法，其特征在于，所述根据所述每类像素点中灰度值的均值构建至少两个灰度变换公式，包括：
获取每类像素点中灰度值的均值，作为间断点，并根据间断点的大小按顺序设置间断区间，根据每个间断区间中的最大值和最小值确定每个间断区间对应的斜率和截距；根据所述的每个间断区间的斜率和截距获取每个间断区间对应的灰度变换公式。
4.根据权利要求1所述的一种基于深度学习的地铁轨道扣件计数与定位方法，其特征在于，所述根据两个相邻的轨道扣件之间光电编码器产生的脉冲数目对车轮直径进行修正获得修正车轮径，包括：
获取相邻的轨道扣件之间的标准间距和车轮行驶一周光电编码器产生的标准脉冲数；利用所述标准间距、所述标准脉冲数和两个相邻的轨道扣件之间光电编码器产生的脉冲数目获取修正后的车轮直径，记为修正车轮径；所述修正车轮径与两个相邻的轨道扣件之间光电编码器产生的脉冲数目成反比。
5.根据权利要求1所述的一种基于深度学习的地铁轨道扣件计数与定位方法，其特征在于，所述根据相邻的轨道扣件之间的标准间距对所述扣件数量进行修正，获取修正轨道扣件数量，包括：
获取光电编码器经过相邻的两个扣件中的第一个扣件和第二个扣件时的里程，分别为第一里程和第二里程；根据第一里程和第二里程的差值、相邻的轨道扣件之间的标准间距获取漏检的轨道扣件的数量；利用所述漏检的轨道扣件的数量对所述扣件数量，获取修正轨道扣件数量。
6.根据权利要求1所述的一种基于深度学习的地铁轨道扣件计数与定位方法，其特征在于，所述灰度变换公式为：
其中，G(i)表示第二个间断区间对应的像素点中任意一个像素点变换后的灰度值；i表示像素点的原始灰度值；b表示该像素点对应的第二个间断区间中的最大值；a表示该像素点对应的第二个间断区间中的最小值。
7.根据权利要求1所述的一种基于深度学习的地铁轨道扣件计数与定位方法，其特征在于，所述利用第一距离和第二距离对当前时刻的巡检机器人进行定位，包括：
计算第一距离和第二距离的差值，若所述差值的绝对值大于预设阈值，则利用经过下一个扣件时计算的第一距离对当前时刻的巡检机器人进行定位；若所述差值的绝对值小于或等于预设阈值，将第二距离作为当前时刻的巡检机器人的行驶距离，对当前时刻的巡检机器人进行定位。
8.根据权利要求1所述的一种基于深度学习的地铁轨道扣件计数与定位方法，其特征在于，所述根据所述至少两个灰度变换公式对轨道扣件图像进行处理获得增强图像，包括：将每个间断区间对应的像素点的原始灰度值带入每个间断区间对应的灰度变换公式，获得各间断区间对应的像素点变换后的灰度值，得到增强图像。
CN202310802240.2A 2023-07-03 2023-07-03 一种基于深度学习的地铁轨道扣件计数与定位方法 Active CN116993676B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310802240.2A CN116993676B (zh) 2023-07-03 2023-07-03 一种基于深度学习的地铁轨道扣件计数与定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310802240.2A CN116993676B (zh) 2023-07-03 2023-07-03 一种基于深度学习的地铁轨道扣件计数与定位方法

Publications (2)

Publication Number Publication Date
CN116993676A CN116993676A (zh) 2023-11-03
CN116993676B true CN116993676B (zh) 2024-05-07

Family

ID=88525695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310802240.2A Active CN116993676B (zh) 2023-07-03 2023-07-03 一种基于深度学习的地铁轨道扣件计数与定位方法

Country Status (1)

Country Link
CN (1) CN116993676B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596968A (zh) * 2018-04-02 2018-09-28 成都精工华耀科技有限公司 一种基于轨道3d深度图像的轨枕计数方法
CN108648171A (zh) * 2018-04-02 2018-10-12 成都精工华耀科技有限公司 一种采用线阵图像二值化区域投影的轨枕定位及计数方法
CN109029283A (zh) * 2018-06-05 2018-12-18 成都精工华耀科技有限公司 一种基于高度比对的轨道扣件螺栓浮起检测方法
CN109029372A (zh) * 2018-07-16 2018-12-18 银河水滴科技（北京）有限公司 一种检测车定位方法及装置
CN110298842A (zh) * 2019-06-10 2019-10-01 上海工程技术大学 一种基于超像素节点排序的轨道扣件图像定位方法
CN110634123A (zh) * 2018-06-05 2019-12-31 成都精工华耀科技有限公司 一种采用深度图像的轨道扣件紧固件松动检测方法
CN111361576A (zh) * 2020-04-30 2020-07-03 株洲时代电子技术有限公司 一种轨道巡检小车、系统及其上下道方法
WO2020260731A1 (es) * 2019-06-28 2020-12-30 Cubelizer S.L. Method for analysing the behaviour of people in physical spaces and system for said method
WO2022021739A1 (zh) * 2020-07-30 2022-02-03 国网智能科技股份有限公司 一种语义智能变电站机器人仿人巡视作业方法及系统
CN115184269A (zh) * 2022-07-11 2022-10-14 中国铁建重工集团股份有限公司 一种轨道巡检系统及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9031188B2 (en) * 2012-02-08 2015-05-12 Georgetown Rail Equipment Company Internal imaging system
US9139384B2 (en) * 2013-03-05 2015-09-22 Rite-Hite Holding Corporation Track-mounted wheel restraint systems

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596968A (zh) * 2018-04-02 2018-09-28 成都精工华耀科技有限公司 一种基于轨道3d深度图像的轨枕计数方法
CN108648171A (zh) * 2018-04-02 2018-10-12 成都精工华耀科技有限公司 一种采用线阵图像二值化区域投影的轨枕定位及计数方法
CN109029283A (zh) * 2018-06-05 2018-12-18 成都精工华耀科技有限公司 一种基于高度比对的轨道扣件螺栓浮起检测方法
CN110634123A (zh) * 2018-06-05 2019-12-31 成都精工华耀科技有限公司 一种采用深度图像的轨道扣件紧固件松动检测方法
CN109029372A (zh) * 2018-07-16 2018-12-18 银河水滴科技（北京）有限公司 一种检测车定位方法及装置
CN110298842A (zh) * 2019-06-10 2019-10-01 上海工程技术大学 一种基于超像素节点排序的轨道扣件图像定位方法
WO2020260731A1 (es) * 2019-06-28 2020-12-30 Cubelizer S.L. Method for analysing the behaviour of people in physical spaces and system for said method
CN111361576A (zh) * 2020-04-30 2020-07-03 株洲时代电子技术有限公司 一种轨道巡检小车、系统及其上下道方法
WO2022021739A1 (zh) * 2020-07-30 2022-02-03 国网智能科技股份有限公司 一种语义智能变电站机器人仿人巡视作业方法及系统
CN115184269A (zh) * 2022-07-11 2022-10-14 中国铁建重工集团股份有限公司 一种轨道巡检系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
160 km/h电传动内燃综合巡检车研制;赵国栋;赵力;任涛龙;陈强;朱挺;;铁道技术监督;20190515(05);全文 *
A detection algorithm of ballast track fastener loss based on shooting direction;Mingyu Wang等;2016 9th International Congress on Image and Signal Processing, BioMedical Engineering and Informatics (CISP-BMEI);20170216;全文 *
扣件式钢管模板支架稳定承载力修正系数研究;胡长明;范小周;宋方方;程佳佳;;安全与环境学报;20111225(06);全文 *

Also Published As

Publication number Publication date
CN116993676A (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
CN108596129B (zh) 一种基于智能视频分析技术的车辆越线检测方法
CN100544446C (zh) 用于视频监控的实时运动检测方法
CN104282020A (zh) 一种基于目标运动轨迹的车辆速度检测方法
CN105185118B (zh) 一种基于视频检测的违章车辆检测装置及其方法
CN103808723A (zh) 一种柴油车烟气黑度自动检测装置
CN110555397A (zh) 一种人群态势分析方法
CN110633678B (zh) 一种基于视频图像的快速高效的车流量计算方法
Pan et al. Traffic surveillance system for vehicle flow detection
CN111582253B (zh) 基于事件触发的车牌跟踪识别方法
CN105957108A (zh) 基于人脸检测及跟踪的客流量统计系统
CN107506753B (zh) 一种面向动态视频监控的多车辆跟踪方法
CN109165602A (zh) 一种基于视频分析的黑烟车检测方法
CN116993676B (zh) 一种基于深度学习的地铁轨道扣件计数与定位方法
CN103605960A (zh) 一种基于不同焦距视频图像融合的交通状态识别方法
CN113591643A (zh) 一种基于计算机视觉的地下交通工具进出站检测系统及方法
CN103729644B (zh) 地基光测设备克服恒星穿越探测窗口干扰的卫星跟踪方法
CN109215059A (zh) 一种航拍视频中运动车辆跟踪的局部数据关联方法
CN110889347B (zh) 基于时空计数特征的密度交通流计数方法及系统
CN109064497B (zh) 一种基于颜色聚类补充学习的视频跟踪方法
CN106919889A (zh) 对视频图像中的人头进行检测的方法和装置
CN115619838A (zh) 用于医疗废弃物冷库的遗漏风险监控系统
CN105809143B (zh) 基于图像识别十字靶标的车辆标齐考核方法
CN112989883B (zh) 一种列车前方障碍物识别的方法
US20160364618A1 (en) Nocturnal vehicle counting method based on mixed particle filter
KR20220120211A (ko) 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant