CN116469017B - 一种面向无人机自动化铁路巡检的实时轨道识别方法 - Google Patents

一种面向无人机自动化铁路巡检的实时轨道识别方法 Download PDF

Info

Publication number
CN116469017B
CN116469017B CN202310339717.8A CN202310339717A CN116469017B CN 116469017 B CN116469017 B CN 116469017B CN 202310339717 A CN202310339717 A CN 202310339717A CN 116469017 B CN116469017 B CN 116469017B
Authority
CN
China
Prior art keywords
track
feature
feature map
anchor point
customized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310339717.8A
Other languages
English (en)
Other versions
CN116469017A (zh
Inventor
王志鹏
童磊
贾利民
秦勇
耿毅轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jiaotong University
Original Assignee
Beijing Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiaotong University filed Critical Beijing Jiaotong University
Priority to CN202310339717.8A priority Critical patent/CN116469017B/zh
Publication of CN116469017A publication Critical patent/CN116469017A/zh
Application granted granted Critical
Publication of CN116469017B publication Critical patent/CN116469017B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61K—AUXILIARY EQUIPMENT SPECIALLY ADAPTED FOR RAILWAYS, NOT OTHERWISE PROVIDED FOR
    • B61K9/00—Railway vehicle profile gauges; Detecting or indicating overheating of components; Apparatus on locomotives or cars to indicate bad track sections; General design of track recording vehicles
    • B61K9/08—Measuring installations for surveying permanent way
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种面向无人机自动化铁路巡检的实时轨道识别方法，提出了一种基于投影长度判别(RRM‑PLD)的通用自适应轨道表征方法。该方法总是可以选择最佳的表征方向，即横向或纵向，来表征任何一种轨道。借助该方法，提出了一种全新的实时轨道识别网络架构TriRNet。在TriRNet中，提出了一种设计的跨轨道注意机制来融合单个轨道的局部特征和所有轨道的全局特征，并最终以回归的方式准确判别出图像中轨道的几何分布，从而提高最终识别精度。大量的实验已经验证了所提出的方法在推理延迟和识别准确度方面的有效性和优越性。

Description

一种面向无人机自动化铁路巡检的实时轨道识别方法
技术领域
本发明涉及轨道交通运营安全与保障技术领域，尤其涉及一种面向无人机自动化铁路巡检的实时轨道识别方法。
背景技术
近年来无人机技术得到长足的发展，在电力输电线路、油气矿山、光伏电厂、河道治理、工程建造等诸多领域展示了其独特的极大优势。近年来，随着北斗导航、边缘计算、5G等新兴定位、通信和计算技术的蓬勃发展，更加赋能无人机以更强的业务能力和应用范围。除此之外，深度学习技术经过近十年的发展，研究人员也开始从开发一些大型的大体量的架构开始着手于开发面向边缘计算的轻量化模型，这为无人机机载计算机及时地处理来自无人机各项传感器的数据提供了充分的技术支撑。
发明内容
本发明的实施例提供了一种面向无人机自动化铁路巡检的实时轨道识别方法，用于解决现有技术中存在的问题。
为了实现上述目的，本发明采取了如下技术方案。
一种面向无人机自动化铁路巡检的实时轨道识别方法，包括：
S1将原始图像输入到注意力引导的轨道识别网络中进行特征提取，获得特征图，对特征图进行向量化转换操作，获得特征图的一维特征向量；
S2通过线性空间变化操作，将特征图的一维特征向量分别重塑为基于横向锚点的定制化特征图和基于纵向锚点的定制化特征图；
S3基于基于横向锚点的定制化特征图和基于纵向锚点的定制化特征图，分别生成该两种定制化特征图的条件下的轨道线预测目标和轨道局部特征向量；
S4将两种条件下的轨道线预测目标和轨道局部特征向量分别输入到注意力引导的轨道识别网络中的IRA注意力模块进行处理，分别获得两种相应的轨道全局特征向量；
S5将该两种相应的轨道全局特征向量进行回归操作，获得相应的投影长度lh和lv；若lh≥lv，则采用横向锚点表征分支生成轨道线预测目标，若lh＜lv，则采用纵向锚点表征分支生成轨道线预测目标。
优选地，步骤S1包括：
通过ResNet对原始图像进行特征提取，获得经过下采样处理的多层特征图ResNet中增加了一个1×1卷积核；
对经过下采样处理的多层特征图进行展评重塑处理，获得一维特征向量/>
步骤S2包括：
通过线性空间变化式
Fglob＝W0FLin+b0 (1)
将一维特征向量分别重塑为基于横向锚点的定制化特征图和基于纵向锚点的定制化特征图/>
优选地，步骤S3包括：
基于基于横向锚点的定制化特征图和基于纵向锚点的定制化特征图/>通过式
分别生成该两种定制化特征图的条件下的最大轨道局部特征向量；式中m＝1,2,...,ds，q＝1,2,...,dg+1，是一个局部行特征向量，表示为
通过式
和
计算用于输出全局特征向量的权重；
步骤S4包括：
通过式
对多个局部特征向量进行加权加法运算，获得全局轨道注意力特征向量；式中，i＝1,2,...,N，j＝1,2,...,N，是与/>具有相同维度的全局行特征向量；
通过式
Vglob＝WVloc (6)
计算获得两种相应的轨道全局特征向量；式中，为包含所有局部行特征向量的局部特征矩阵，W＝(wi,j)N×N为(4)中表示的计算权重矩阵。
优选地，步骤S5包括：
通过式
计算获得与基于横向锚点的定制化特征图相对应的第i条轨道的预测位置；
通过式
计算获得与基于纵向锚点的定制化特征图相对应的第i条轨道的预测位置；
通过式
计算获得与基于横向锚点相对应的平均投影长度lh和与基于纵向锚点相对应的平均投影长度lv；
若lh≥lv，则采用横向锚点表征分支生成轨道线预测目标，若lh＜lv，则采用纵向锚点表征分支生成轨道线预测目标。
由上述本发明的实施例提供的技术方案可以看出，本发明提供一种面向无人机自动化铁路巡检的实时轨道识别方法，提出了一种基于投影长度判别(RRM-PLD)的通用自适应轨道表征方法。该方法总是可以选择最佳的表征方向，即横向或纵向，来表征任何一种轨道。借助该方法，提出了一种全新的实时轨道识别网络架构TriRNet。在TriRNet中，提出了一种设计的跨轨道注意机制来融合单个轨道的局部特征和所有轨道的全局特征，并最终以回归的方式准确判别出图像中轨道的几何分布，从而提高最终识别精度。大量的实验已经验证了所提出的方法在推理延迟和识别准确度方面的有效性和优越性。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种面向无人机自动化铁路巡检的实时轨道识别方法的处理流程图；
图2为本发明提供的一种面向无人机自动化铁路巡检的实时轨道识别方法的无人机-机载计算机-智能识别程序三级总体架构示意图；
图3为本发明提供的一种面向无人机自动化铁路巡检的实时轨道识别方法的车载摄像头与无人机视角下轨道线图像对比图；
图4为本发明提供的一种面向无人机自动化铁路巡检的实时轨道识别方法的基于注意力引导的实时轨道识别方法主要步骤图；
图5为本发明提供的一种面向无人机自动化铁路巡检的实时轨道识别方法的轨道线表征方式示意图；
图6为本发明提供的一种面向无人机自动化铁路巡检的实时轨道识别方法的基于横纵定位线的轨道线表征与特征图一一映射示意图；
图7为本发明提供的一种面向无人机自动化铁路巡检的实时轨道识别方法的TriRNet网络架构图；
图8为本发明提供的一种面向无人机自动化铁路巡检的实时轨道识别方法的无人机视角下各种不同轨道线图像；
图9为本发明提供的一种面向无人机自动化铁路巡检的实时轨道识别方法的机载计算机推理速度热力图；
图10为本发明提供的一种面向无人机自动化铁路巡检的实时轨道识别方法的TriRNet与其他模型识别效果对比图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。
无人机以其出色的机动性和灵活性在铁路巡检领域具有广阔的应用前景。但仍面临人力成本高、智能化程度低等挑战。因此，开发一种可部署在无人机机载计算设备上的实时智能轨道识别算法，引导无人机摄像头始终跟随对准目标轨道区域，并自动化完成巡检具有重要意义。然而，从无人机的角度来看一个重要的问题是，轨道的像素宽度和倾斜角度可能会不断变化。为了应对这一挑战，本发明提出了一种基于投影长度判别(RRM-PLD)的通用自适应轨道表征方法。该方法总是可以选择最佳的表征方向，即横向或纵向，来表征任何一种轨道。借助该方法，提出了一种全新的实时轨道识别网络架构TriRNet。在TriRNet中，提出了一种设计的跨轨道注意机制来融合单个轨道的局部特征和所有轨道的全局特征，并最终以回归的方式准确判别出图像中轨道的几何分布，从而提高最终识别精度。
参见图1，本发明提供一种面向无人机自动化铁路巡检的实时轨道识别方法，包括如下步骤：
S1将原始图像输入到注意力引导的轨道识别网络中进行特征提取，获得特征图，对所述特征图进行向量化转换操作，获得特征图的一维特征向量；
S2通过线性空间变化操作，将所述特征图的一维特征向量分别重塑为基于横向锚点的定制化特征图和基于纵向锚点的定制化特征图；
S3基于所述基于横向锚点的定制化特征图和基于纵向锚点的定制化特征图，分别生成两种条件下的轨道线预测目标和轨道局部特征向量；
S4将所述两种条件下的轨道线预测目标和轨道局部特征向量分别输入到所述注意力引导的轨道识别网络中的IRA注意力模块进行处理，分别获得两种相应的轨道全局特征向量；
S5将该两种相应的轨道全局特征向量进行回归操作，获得相应的投影长度lh和lv；若lh≥lv，则采用横向锚点表征分支生成轨道线预测目标，若lh＜lv，则采用纵向锚点表征分支生成轨道线预测目标。
本发明给出了一种无人机-机载计算机-智能识别程序三级总体架构，如图2所示。无人机大致平行于轨道飞行，机载计算机可以在飞行过程中获取无人机摄像头的视频流。轨道识别算法和其他辅助算法部署在车载计算机上，对视频流中的轨道进行实时识别。识别结果用于产生相应的控制命令反馈给无人机。因此，当相机拍摄的图像在飞行过程中开始偏离预期的轨道区域时，可以及时调整无人机及其载荷，以纠正姿态偏差。这样拍摄的图像可以始终跟随目标区域，最终完成自动数据采集，无需人工干预。如图3所示，不同于车载摄像头的图像，车载摄像头视角下的轨道线的几何位置分布基本上只在很小的范围内波动，相对方向大致保持不变。相比之下，无人机视野中的轨道倾角会随着无人机的不断移动和旋转而发生很大变化，同时无人机视角下轨道的像素宽度和倾斜角度可能会不断变化，同时由于无人机视角下铁路线两侧的的背景信息也会变得更加复杂多变。因此，针对以上问题，在三级总体架构下，本发明提出了一种面向无人机自动化铁路巡检的实时轨道识别方法，其主要的流程步骤如图4所示。进一步具体地，该方法主要包含了两部分：(1)首先提出了一种基于投影长度判别的自适应轨道表征方法RRM-PLD；(2)其次，在该表征方法的基础上，构建了注意力引导的轨道识别网络TriRNet，以下分别作出说明。
(1)自适应轨道表征方法RRM-PLD
传统方法主要通过基于分割的方法将线形车道和轨道的检测视为简单的离散像素级分类任务。它会给机载计算设备引入不必要的卷积计算和资源消耗。此外，由于线型结构一般可以采样为一系列的点，而这些方法不能直接得到最终的具有空间先后顺序的有关联的采样点所代表的线型结构，必须对图像中的多个分割像素进行额外的曲线拟合操作。受到曲线可以由从中采样的某些采样点表征的概念的启发，本发明采用图像中的一系列均匀采样点来表征每条轨道。本发明考虑从横向和纵向同时对轨道进行采样。如图5所示，图中分别绘制了横向定位线和纵向定位线，用于定位图像中的轨道。两种定位线都先被离散化为许多网格单元，每个网格单元代表一个轨道可能经过的有效位置。所有这些位置都称为锚点。在每条定位线的末端附加一个额外的单元格，以表征整个定位线上不存在轨道的位置。
更具体地说，假设图像的像素高度和像素宽度分别为h和w，首先需要选择要使用的定位线的方向，即横向或纵向。在横向和纵向上定位线的数量表示为采样维数ds。将定位线离散化的网格单元格的数量表示为网格维数dg+1。在一条定位线的所有dg+1个单元格中，总能在该定位线中找到最佳锚点来表示每条轨道的位置。一般来说，用于采样轨道的定位线数量远小于图像尺寸，即ds＜＜h和ds＜＜w，这对减少计算量带来了优越的优势。在这个公式下，所有的轨道都可以用这些ds×(dg+1)个锚点来表示，每条轨道都可以用ds个均匀采样的锚点来表示，如图6所示。这样，图像中的第j条轨道可以表示为锚点集，记为其中Loci,j∈{1,2,...,dg,dg+1}。进一步地，由于定位线的不同方向会导致不同的表征结果，因此横向和纵向定位线下的轨道分别记为/>和/>
因此，同一条轨道可以用两组锚点来表征，每组锚点的数量是ds。然而，并非所有这些ds个锚点都是有效的，因为有一些无效锚点表征的是当前位置不存在轨道。可以把其中锚点的有效个数定义为投影长度，分别表示为和/>分别对应横向定位线和纵向定位线。例如图6左边两幅图，采样维度ds为7，轨道基于横向定位线的有效投影长度为7，基于纵向定位线的有效投影长度为3。可以认为投影长度越大，采样的有效点越多，也就越接近轨道的真实形状。因此，第j条轨道的最终基于锚点的表征可以通过投影长度鉴别来确定：
如果图像中存在N条轨道，则所有N条轨道都可以用(P1,P2,...,PN)表示。由于模型训练过程中可以涉及所有N条轨道，因此多条轨道在整幅图像中的实际投影长度计算方式如下：
可以知道图5中整幅图像的最终投影长度为7，因此基于横向定位线的表征更适合完成识别任务。为了满足这种轨道表征，我们期望所提出的深度识别网络应该以回归的方式根据不同的定位线预测轨道的投影长度，并实现自适应轨道表征。特别地，在本发明设计的轨道表征方法中，锚点与最终提取的特征图之间建立了一对一的映射关系，用于用来沿定位线方向进行分类选择最佳位置，以实现整个图像的全局轨道识别，如图5和6所示。基于这种简单但十分有效的一对一映射，提出了一种实时注意感知的轨道识别网络。
(2)注意力引导的轨道识别网络TriRNet
不同轨道线之间的相对空间位置对于轨道识别很重要。一般情况下，单条轨道的特征是局部有限的，因此希望能够得到更全局、更充分的特征来实现对轨道几何特征的判别，即确定哪种轨道表征方法是对当前处理的图像更具适应性和代表性。基于这一思想，提出了跨轨道线注意力(IRA)模块来完成轨道的几何特征判别，它不仅可以利用当前轨道的特征，还可以感知到图片中其他轨道线的特征来完成当前轨道的检测。
如图7所示，TriRNet的骨干网络利用最常用的ResNet从输入的铁路场景无人机航拍图像中提取丰富的全局特征，生成经过下采样的多层特征图为了降低前向推理的计算成本，在Fback上附加了一个1×1卷积，生成层数更少的特征图/>然后该特征图被展平并重塑为一个线性向量/>然后进一步通过线性空间变换(也称为全连接层)生成新的全局特征向量，该过程可以描述为：
Fglob＝W0FLin+b0 (1)
其中和/>成立。最后，基于上述锚点表征方式，利用Fglob实现注意力机制和最终的轨道识别。
如前所述，本发明通过合理巧妙的设计，沿着定位线的方向在锚点和最终分类特征图之间建立了一对一的映射关系。然而，锚点可以分别基于横向和纵向定位线以两种方式表征。如图6所示，这两种表征分别对应于特征图的两种不同维度模式。基于横向定位线，每条轨道对应的特征图的锚点维度为ds×(dg+1)。而基于纵向定位线对应的锚点维度为(dg+1)×ds，锚点的维度和每条轨道对应的特征图为。因此Fglob同时被重塑为FH和FV，其中和/>成立。
FH和FV有两个目的：(1)生成后续基于跨轨道线注意力的全局特征向量，以用于回归每条轨道的起始位置s和投影长度l；(2)根据相应的定位线的方向生成轨道预测目标。回归投影长度可以用来区分轨道的几何特征，这有助于选择更好的轨道表征方向。对特征图FH和FV沿着相应定位线的方向分类，选择最大特征值对应的锚点位置。这些位置可以与图像中的特定像素位置一一对应，最终生成预测的轨道预测目标。FH和FV同时存在于网络中，并且都参与网络的训练过程。Fglob同时生成FH和FV，从而形成一个特殊的双分支架构。
接下来对网络进行最大特征提取(MFE)。对应于两种轨道表征方法，进行最大特征提取方法也有两种。FH或FV的第i个特征图对应的最大局部特征向量可以通过MFE过程得到。但是，无论采用哪种表征方法，FH或FV，得到最终的特征图，都可以根据其定位线的方向得到相应的最大局部特征向量/>
其中m＝1,2,...,ds，q＝1,2,...,dg+1。是一个局部行特征向量，可以表示为/> 应该以加权方式与额外N-1个的局部特征向量进行特征融合。所有权重都是通过作用于另一个线性空间变换层Latt的softmax过程获得的，它可以将ds维的特征向量/>转换为最终用于跨轨道线注意力计算的N-1个权重值，该过程可以表示为：
其中然后对/>来说用于输出全局特征向量/>的权重可以这样计算：
其中i＝1,2,...,N，j＝1,2,...,N。softmax激活函数用于创建归一化概率分布，可用于对多个局部特征向量进行加权加法运算。然后可以通过以下方式计算全局轨道注意力特征向量：
其中i＝1,2,...,N，j＝1,2,...,N，是与/>具有相同维度的全局行特征向量。令/>为包含所有局部行特征向量的局部特征矩阵，W＝(wi,j)N×N为(4)中表示的计算权重矩阵。那么跨轨道线注意力模块得到的全局特征可以表示为：
Vglob＝WVloc (6)
其中和/>可以看出，Vloc和Vglob具有相同的矩阵维数。总的来说，本发明提出的跨轨道线注意力机制实际上是一系列跨越所有局部特征向量的线性空间变换。注意力机制可以有效融合所有局部特征，生成跨不同轨道的全局特征，这更有利于兼顾整幅图像中的全局上下文信息。这样，网络的注意力就可以集中在那些关键的兴趣锚点上，从而提高轨道的识别准确率。最后/>和/>拼接起来以执行几何参数的回归，即图像中轨道的起始位置和投影长度。
(3)轨道预测目标生成
如公式(5)中所示，局部特征向量是从FH和FV中获得的。此外，最终预测的轨道预测目标将以类似的原则从这两个特征图生成。对于待检测图像中可能存在的N条轨道，每条轨道都能关联到FH和FV中的特征图。对于FH，第i条轨道的预测位置可以表示为：
结合回归的起始位置sih和投影长度lih，可以确定由横向锚点表征的预测轨道。对于FV，第i条轨道的预测位置可以表示为：
此外，还可以使用回归的起始位置和投影长度来确定由纵向锚点表征的预测轨道。从而可以通过公式(7)和(8)得到两种不同的轨道预测目标。如前所述，最终的轨道预测目标由投影长度判别决定。假设基于横向和纵向锚点的表征对应的平均投影长度分别为lh和lv。那么它们通过如下计算获得：
然后通过前述的式和/>进行投影长度判别，即如果lh≥lv成立，则可以利用式(7)的计算结果来生成最终的轨道预测目标；如果lh＜lv成立，则利用式(8)的计算结果产生最终轨道预测目标，本发明将该过程称为基于跨轨道线注意力回归的投影长度判别。
本发明还提供一个实施例，用于示例性地显示本发明提供的方法的效果。
本实例选择了构建的一个无人机采集的铁路轨道场景数据集来进行铁路轨道检测。为了评估所提出架构的有效性和整体性能，本发明建立了一个新的轨道识别数据集。所有图像均由多旋翼无人机DJIM300RTK搭载多传感器集成负载DJIZenmuseH20T采集。所有图片均取自京沪高铁和几条普通铁路场景。构建的数据集共包含1116张图像，其中训练集包含893张图像，测试集包含223张图像。数据集包含丰富的图像，具有可变的像素宽度和轨道倾角，以增强所提出模型的泛化能力。此外，为了更公平地评估模型能力，数据集中的图像也具有各种变化的背景，如图8所示。
对于不同轨道识别算法的评价，采用F1度量，定义为：
其中F1度量是车道检测任务中最常用的度量。在CULane车道检测数据集中，每条车道都被视为一条30像素宽的线。在本发明中，考虑到28个像素是整个数据集图像中所有轨道宽度统计中的3/4分位数，所有的轨道都被视为28个像素宽的线。计算预测和对应的标签之间的IoU值。IoU大于θ的被视为真阳性(TP)，IoU小于θ的被视为假阳性(FP)。那些实际存在但未检测到的轨道被计为假阴性(FN)。θ表示IoU阈值，在CULane车道检测数据集中通常取0.5。在本发明中，最终采用mF1度量来评估算法，其定义为：
mF1＝(F1@30+F1@50+F1@75)/3 (14)
其中F1@30、F1@50和F1@75是IoU阈值θ分别取0.3、0.5和0.75时的F1指标。本发明涉及的所有神经网络模块均在PyTorch深度学习框架中实现。
(1)对比实验
·跨轨道线注意力机制(IRA)对比实验
从没有应用IRA模块的基线模型开始，讨论了IRA在网络架构上的设计有效性。如表1所示，如表一第2行所示，实验结果也表明了单一IRA设计的有效性，mF1值从基线模型的67.09增加到66.72。在采用迁移权重的条件下，如表1第3行所示，mF1度量增加到73.68的更高的水平，同时也可以注意到F1@30、F1@50、F1@75均达到了更高的水平，分别为85.49、79.25、56.29。这充分说明了IRA模块能够作为增强模块以注意感知的方式提高识别精度。
表1：模型不同模块效果对比
·采样维度ds对比实验
如表2所示，所有模型均使用resnet18作为骨干网络进行训练，并使用网格维度为100的随机参数设置进行初始化。采样维度从5到25，间隔为5。从表中可以看出，所有mF1和其他F1度量随着采样维度从5增加到20而有所提升，取20时获得最高性能。但当采样维度达到25时，网络性能开始显着下降，从最高的68.9下降到55.0.因此可以得出结论，并不是采样维数越大，训练出来的模型性能就越好。只有适当的采样维度设置才能使网络具有预期的良好性能。
表2：模型不同采样维度对比
·网格化维度dg对比实验
同样，也进行了网格化维度的消融研究，结果如表3。所有模型都使用resnet18作为骨干网络、采样维度10和随机参数设置进行初始化训练。网格维度从50到250，间隔50。如表3所示，网络的mF1和其他F1相关度量均呈现先增加后减少的趋势，类似于采样维度消融试验。当网格维数为200时，所有与F1相关的指标均达到最高，F1@30、F1@50和F1@75分别为78.3、65.1、29.9和57.8。然而，当网格维度增加到250时，所有这些指标都开始下降。因此，并不是网格维度越大越有利于提高网络能力。分析认为，虽然理论上可以更精确地沿定位线方向定位轨道，但较大的网格化维度会导致网络参数优化不足，从而影响最终提取的分类特征。因此，适当的网格维度在提高网络推理能力方面也起着至关重要的作用。
表2：模型不同网格化维度对比
·网格推理速度对比实验
此外，还研究了采样维度和网格化维度的不同设置对网络延迟的影响，如图9所示为在NVIDIA Jetson Xavier NX和NVIDIA Jetson TX2设备上不同维度配置下的FPS值热力图。上面的两个热图矩阵在NX上测试，下面的两个矩阵在TX2上测试。左列两个矩阵均采用“+DBA+IRA”设计，右列仅采用“+DBA”设计，DBA指的就是本发明中提到的双分支架构。从图9可以看出，在一定范围内，网络的FPS值与和基本呈线性负相关。NX设备上网络的推理速度分布在27～42FPS区间，而TX2设备上网络推理速度分布在6～11FPS区间，进一步说明NX的计算能力远高于TX2。比较图9左右两侧的热图，可以看出将提出的IRA模块应用到网络中只会带来非常有限的延迟增加，不会对网络的实时性能产生很大影响，能够应用于无人机机载计算机的实时智能分析处理。
(2)综合对比实验
本发明还与其他一些流行的算法，即SCNN、RESA和UFLD，这些算法最初是为车道检测任务开发的，在识别精度和网络延迟方面进行了全面比较。在本节的所有实验中，所提出网络的两个维度和分别配置为15和150。UFLD是本发明使用的基线模型，SCNN和RESA是最常用的基于分割的方法，因此选择它们作为最终的对比模型。如表4所示，采用mF1、F1@30、F1@50和F1@75来评估所提出的注意力感知架构和其他算法的识别精度。UFLD也是本发明采用的基线模型。SCNN和RESA模型系列在识别准确率上达到了几乎相同的水平。他们表现最好的模型分别仅获得37.85和37.77的mF1值，这是因为SCNN和RESA模型采用的表示方法不能适应变倾角的轨道，尤其是倾角接近水平的轨道。因此，他们只能识别数据集中具有特定倾角分布的部分轨道。UFLD模型在所有这些比较算法中表现最差。尽管如此，我们提出的基于锚点的轨道表示方法获得了更高的F1相关分数，在识别精度方面优于所有其他算法。具体而言，由resnet18、resnet34、resnet50和resnet101为骨干网络的TriRNets实现了更高的mF1值，即73.68、74.68、74.83和73.70。总的来说，骨干网的规模对网络的性能影响不大，更大的骨干网并不会像预期的那样给网络带来更大的收益。小型骨干resnet18可以满足对构建的数据集中的图像进行高效特征提取的要求。
表4：不同模型综合效果对比
(3)视觉效果对比
为了更直观地展示所提出算法的优越性和优异性能，给出了几个可视化示例以与其他模型结果进行比较，如图10所示。SCNN和RESA分别由resnet50和resnet34作为主干。TriRNet采用resnet50作为骨干网络。对于如图10中第1、2、3行所示的垂直或近垂直分布的轨道，三种模型均取得了良好的识别效果。然而，对于如图10的第4、5和6行所示的水平或近水平分布的轨道，SCNN和RESA的识别性能相当差。相比之下，所提出的TriRNet仍然可以准确预测无人机遥感图像中具有近水平倾角的轨道。同时，结果也验证了所提出的基于锚点和定位线的轨道表示方法以及所提出的轨道间注意引导架构的有效性。第3行给出了一个示例，其中基于分段的SCNN缺少一些轨道识别点。这可能是由于这种情况下的轨道具有相对较小的像素宽度，这会对现有的基于分割的识别方法带来非常不利的影响。还可以注意到，本发明提出的模型也可用于高精度检测到被遮挡的轨道，如图10的第4行所示。与SCNN和RESA相比，所提出的TriRNet的识别准确率也更高，这进一步证明了所提出的轨道间注意机制和网络架构的有效性，表明所提出的模块可以有效地提取图像中跨多个轨道的相关性。轨间注意力机制可以融合提取的单轨局部特征和计算出的所有轨的全局特征，实现对图像中轨的几何分布的准确识别，最终实现更准确的基于锚点的轨预测。
值得一提的是，虽然本发明使用的数据集图像中的大部分轨道都是近直线，但这并不意味着所提出的架构仅适用于近直线轨道的识别。根据所提出的轨道表示方法，基于锚点和定位线的表示方法适用于任何形状的轨道识别，并最终根据其在图像中的几何分布以更自适应的方式确定精确表示，从而表示两种表示均采用投影长度较大的一种。因此理论上讲，本发明提出的轨道识别架构具有很好的普适性。
综上所述，本发明提供一种面向无人机自动化铁路巡检的实时轨道识别方法，提出了一种基于投影长度判别(RRM-PLD)的通用自适应轨道表征方法。该方法总是可以选择最佳的表征方向，即横向或纵向，来表征任何一种轨道。借助该方法，提出了一种全新的实时轨道识别网络架构TriRNet。在TriRNet中，提出了一种设计的跨轨道注意机制来融合单个轨道的局部特征和所有轨道的全局特征，并最终以回归的方式准确判别出图像中轨道的几何分布，从而提高最终识别精度。大量的实验已经验证了所提出的方法在推理延迟和识别准确度方面的有效性和优越性。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (2)

1.一种面向无人机自动化铁路巡检的实时轨道识别方法，其特征在于，包括：
S1将原始图像输入到注意力引导的轨道识别网络中进行特征提取，获得特征图，对所述特征图进行向量化转换操作，获得特征图的一维特征向量；具体包括：
通过ResNet对原始图像进行特征提取，获得经过下采样处理的多层特征图所述ResNet中增加了一个1×1卷积核；
对所述经过下采样处理的多层特征图进行展平重塑处理，获得所述一维特征向量/>
S2通过线性空间变化操作，将所述特征图的一维特征向量分别重塑为基于横向锚点的定制化特征图和基于纵向锚点的定制化特征图；具体包括：
通过线性空间变化式
Fglob＝W0FLin+b0 (1)
将所述一维特征向量分别重塑为基于横向锚点的定制化特征图和基于纵向锚点的定制化特征图/>
S3基于所述基于横向锚点的定制化特征图和基于纵向锚点的定制化特征图，分别生成该两种定制化特征图的条件下的轨道线预测目标和轨道局部特征向量；具体包括：
基于所述基于横向锚点的定制化特征图和基于纵向锚点的定制化特征图/>通过式
分别生成该两种定制化特征图的条件下的最大轨道局部特征向量；式中m＝1,2,...,ds，q＝1,2,...,dg+1，是一个局部行特征向量，表示为
通过式
和
计算用于输出全局特征向量的权重；
S4将所述两种条件下的轨道线预测目标和轨道局部特征向量分别输入到所述注意力引导的轨道识别网络中的IRA注意力模块进行处理，分别获得两种相应的轨道全局特征向量；具体包括：
通过式
对多个局部特征向量进行加权加法运算，获得全局轨道注意力特征向量；式中，
i＝1,2,...,N，j＝1,2,...,N，是与/>具有相同维度的全局行特征向量；
通过式
Vglob＝WVloc (6)
计算获得所述两种相应的轨道全局特征向量；式中，为包含所有局部行特征向量的局部特征矩阵，W＝(wi,j)N×N为(4)中表示的计算权重矩阵；
S5将该两种相应的轨道全局特征向量进行回归操作，获得相应的投影长度lh和lv；若lh≥lv，则采用横向锚点表征分支生成轨道线预测目标，若lh＜lv，则采用纵向锚点表征分支生成轨道线预测目标。
2.根据权利要求1所述的方法，其特征在于，步骤S5包括：
通过式
计算获得与基于横向锚点的定制化特征图相对应的第i条轨道的预测位置；
通过式
计算获得与基于纵向锚点的定制化特征图相对应的第i条轨道的预测位置；
通过式
计算获得与基于横向锚点相对应的平均投影长度lh和与基于纵向锚点相对应的平均投影长度lv；
若lh≥lv，则采用横向锚点表征分支生成轨道线预测目标，若lh＜lv，则采用纵向锚点表征分支生成轨道线预测目标。
CN202310339717.8A 2023-03-31 2023-03-31 一种面向无人机自动化铁路巡检的实时轨道识别方法 Active CN116469017B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310339717.8A CN116469017B (zh) 2023-03-31 2023-03-31 一种面向无人机自动化铁路巡检的实时轨道识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310339717.8A CN116469017B (zh) 2023-03-31 2023-03-31 一种面向无人机自动化铁路巡检的实时轨道识别方法

Publications (2)

Publication Number Publication Date
CN116469017A CN116469017A (zh) 2023-07-21
CN116469017B true CN116469017B (zh) 2024-01-02

Family

ID=87183531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310339717.8A Active CN116469017B (zh) 2023-03-31 2023-03-31 一种面向无人机自动化铁路巡检的实时轨道识别方法

Country Status (1)

Country Link
CN (1) CN116469017B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1600351A1 (en) * 2004-04-01 2005-11-30 Heuristics GmbH Method and system for detecting defects and hazardous conditions in passing rail vehicles
CN110070073A (zh) * 2019-05-07 2019-07-30 国家广播电视总局广播电视科学研究院 基于注意力机制的全局特征和局部特征的行人再识别方法
CN110516532A (zh) * 2019-07-11 2019-11-29 北京交通大学 基于计算机视觉的无人机铁路轨道线路识别方法
CN113361354A (zh) * 2021-05-28 2021-09-07 国能朔黄铁路发展有限责任公司 轨道部件巡检方法、装置、计算机设备和存储介质
CN113485441A (zh) * 2021-08-03 2021-10-08 国网江苏省电力有限公司泰州供电分公司 结合无人机高精度定位和视觉跟踪技术的配网巡检方法
CN114120271A (zh) * 2021-11-11 2022-03-01 深圳市虹鹏能源科技有限责任公司 一种用于隧道内的轨道识别方法、系统及边缘计算设备
KR102373753B1 (ko) * 2021-06-28 2022-03-14 주식회사 아센디오 딥러닝 기반의 차량식별추적 방법, 및 시스템
CN114359860A (zh) * 2021-12-15 2022-04-15 中科曙光南京研究院有限公司 一种基于环境感知实例分割模型的轨道识别方法及系统
CN115731179A (zh) * 2022-11-21 2023-03-03 石家庄铁道大学 轨道部件检测方法、终端及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1600351A1 (en) * 2004-04-01 2005-11-30 Heuristics GmbH Method and system for detecting defects and hazardous conditions in passing rail vehicles
CN110070073A (zh) * 2019-05-07 2019-07-30 国家广播电视总局广播电视科学研究院 基于注意力机制的全局特征和局部特征的行人再识别方法
CN110516532A (zh) * 2019-07-11 2019-11-29 北京交通大学 基于计算机视觉的无人机铁路轨道线路识别方法
CN113361354A (zh) * 2021-05-28 2021-09-07 国能朔黄铁路发展有限责任公司 轨道部件巡检方法、装置、计算机设备和存储介质
KR102373753B1 (ko) * 2021-06-28 2022-03-14 주식회사 아센디오 딥러닝 기반의 차량식별추적 방법, 및 시스템
CN113485441A (zh) * 2021-08-03 2021-10-08 国网江苏省电力有限公司泰州供电分公司 结合无人机高精度定位和视觉跟踪技术的配网巡检方法
CN114120271A (zh) * 2021-11-11 2022-03-01 深圳市虹鹏能源科技有限责任公司 一种用于隧道内的轨道识别方法、系统及边缘计算设备
CN114359860A (zh) * 2021-12-15 2022-04-15 中科曙光南京研究院有限公司 一种基于环境感知实例分割模型的轨道识别方法及系统
CN115731179A (zh) * 2022-11-21 2023-03-03 石家庄铁道大学 轨道部件检测方法、终端及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Phantom Track Identification for Radar Network Based on Multi-feature Fusion;Yuan Zhao, et al.;Communications, Signal Processing, and Systems;2746–2753 *
城市轨道交通运营风险主动防控平台设计与实现;王艳辉 等;中国铁道科学;1-5 *
基于Hu不变矩特征的铁路轨道识别检测算法;董昱;郭碧;;铁道学报(10);68-74 *
应用YOLO深度卷积网络的轨道图像定位算法;张雯柏;郑树彬;李鹏程;郭训;;铁道标准设计(09);26-31 *

Also Published As

Publication number Publication date
CN116469017A (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
CN111652903B (zh) 一种自动驾驶场景下基于卷积关联网络的行人目标跟踪方法
CN109740419A (zh) 一种基于Attention-LSTM网络的视频行为识别方法
WO2020020472A1 (en) A computer-implemented method and system for detecting small objects on an image using convolutional neural networks
CN111680655A (zh) 一种面向无人机航拍影像的视频目标检测方法
CN104899590A (zh) 一种无人机视觉目标跟随方法及系统
Guan et al. A lightweight framework for obstacle detection in the railway image based on fast region proposal and improved YOLO-tiny network
CN102932605A (zh) 一种视觉感知网络中摄像机的组合选择方法
Yang et al. Real-time pedestrian and vehicle detection for autonomous driving
CN101354254A (zh) 一种飞行器航向跟踪方法
CN114724392B (zh) 一种快速路出口匝道与邻接交叉口动态信号控制方法
CN110968711A (zh) 一种基于序列图像特征的自主无人系统位置识别定位方法
Tran et al. A robust traffic-aware city-scale multi-camera vehicle tracking of vehicles
Knight et al. Insect-inspired visual navigation on-board an autonomous robot: Real-world routes encoded in a single layer network
Bai et al. A survey on deep learning-based single image crowd counting: Network design, loss function and supervisory signal
Li et al. RailNet: An information aggregation network for rail track segmentation
CN114419669A (zh) 一种基于重识别和方位感知的实时跨摄像头行人跟踪方法
Yao et al. Depthssc: Depth-spatial alignment and dynamic voxel resolution for monocular 3d semantic scene completion
Wang et al. A new algorithm for robust pedestrian tracking based on manifold learning and feature selection
CN116469017B (zh) 一种面向无人机自动化铁路巡检的实时轨道识别方法
Chen et al. Small object detection networks based on classification-oriented super-resolution GAN for UAV aerial imagery
CN113129336A (zh) 一种端到端多车辆跟踪方法、系统及计算机可读介质
Gupta et al. Object detection for connected and autonomous vehicles using CNN with attention mechanism
Li et al. Cross-modal object detection via UAV
Yang et al. A novel vision-based framework for real-time lane detection and tracking
CN113487653A (zh) 一种基于轨迹预测的自适应图跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant