CN116206224B - 一种用于无人机铁路巡检的轨道线全角度识别方法 - Google Patents

Abstract

本发明提供一种用于无人机铁路巡检的轨道线全角度识别方法，将获取的训练样本图像输入到基于投影长度判别的锚自适应的双分支铁路轨道检测网络，并且在平衡转置协同训练策略和转置一致性损失函数的引导下，通过投影长度加权的方式对双分支铁路轨道检测网络的两个分支的损失进行权重分配，训练双分支铁路轨道检测网络；将测试样本图像输入到训练后的双分支铁路轨道检测网络中，获得由双分支铁路轨道检测网络中两个不同分支预测生成的两种轨道线目标；对两种轨道线目标进行投影长度判别，将投影长度较大的一种轨道线目标作为轨道线检测结果。本发明提供的方法能够实现包括水平和竖直两种极端角度下的无人机铁路航拍影像中全角度轨道线的识别。

Description

一种用于无人机铁路巡检的轨道线全角度识别方法

技术领域

本发明涉及轨道交通运营安全与保障技术领域，尤其涉及一种用于无人机铁路巡检的轨道线全角度识别方法。

背景技术

近年来无人机技术得到了的快速长足的发展，无人机在诸如基础设施巡检和电力巡检等很多领域有了广泛的应用。并且，随着性能更加优异的能够集成多种高精度传感器的无人机载荷的出现，更加赋能无人机以更大的潜力进行各种关键重要基础设施的巡检。同时，以深度学习为首的人工智能产业近年来发展迅速，在各行各业有了极为深度的应用拓展，被广泛地应用于人脸识别、工业缺陷检测、智能机器人等。将深度学习技术和无人机技术融合起来，综合应用于铁路巡检之中，是重要的行业发展方向。

发明内容

本发明的实施例提供了一种用于无人机铁路巡检的轨道线全角度识别方法，用于解决现有技术中存在的问题。

为了实现上述目的，本发明采取了如下技术方案。

一种用于无人机铁路巡检的轨道线全角度识别方法，包括：

S1将获取的训练样本图像输入到基于投影长度判别的锚自适应的双分支铁路轨道检测网络，并且在平衡转置协同训练策略和转置一致性损失函数的引导下，通过投影长度加权的方式对双分支铁路轨道检测网络的两个分支的损失进行权重分配，训练双分支铁路轨道检测网络；

S2将测试样本图像输入到训练后的双分支铁路轨道检测网络中，获得由双分支铁路轨道检测网络中两个不同分支预测生成的两种轨道线目标；

S3对两种轨道线目标进行投影长度判别，将投影长度较大的一种轨道线目标作为轨道线检测结果。

优选地，双分支铁路轨道检测网络通过如下过程构建：

通过式

F_glob＝WF_Lin+b (1)

构建特征提取骨干网络；式中，F_Lin为重塑的特征向量，F_glob为新的全局特征向量，

通过对F_glob进行重塑形成用于锚自适应铁路轨道检测的双分支铁路轨道检测网络的两个分支和/>其中，d_g为单元格，d_s为定位锚；

双分支铁路轨道检测网络的两个分支和通过分类计算式

确定样本图像中轨道的位置，还通过回归计算式

对样本图像中轨道的位置进行特征回归；式中，i＝1,2,…,N，j＝1,2,…,d_s，k＝1,2,…,d_g+1。

优选地，平衡转置协同训练策略包括：

基于某样本图像I，对通过双分支铁路轨道检测网络的某个分支处理获得的轨道进行投影长度判别，若判别结果能够被用于训练双分支铁路轨道检测网络的另一个分支，则对该某样本图像I进行转置处理，获得转置图像I^T，并输入到双分支铁路轨道检测网络的另一个分支。

优选地，转置一致性损失函数通过如下过程获得：

令对于样本图像I的水平定位锚的表征为转置图像I^T的垂直定位锚的表征为/>获得当i＝j时的关系式

令对于图像I的垂直定位锚的表征为图像的转置I^T的水平定位锚的表征为/>获得当i＝j时的关系式

式中，i,j∈{1,2,…,d_s}；

根据式(4)和(5)，获得转置一致性损失函数式

优选地，步骤S1的训练双分支铁路轨道检测网络的过程中还包括使用集成结构损失函数，集成结构损失函数具体包括：

通过式

计算获得双分支铁路轨道检测网络的两个分支获得的轨道的投影长度的权重；式中，w_h和w_v分别为双分支铁路轨道检测网络的H分支和V分支获得的轨道的投影长度的权重；

通过式

L_cls＝w_hL_clsh+w_vL_clsv (8)

获得双分支铁路轨道检测网络的两个分支进行分类计算的总损失函数；式中，L_clsh和L_clsv为焦点损失，分别用于用于约束双分支铁路轨道检测网络中H分支和V分支的分类；

通过式

O＝αL_cls+βL_reg+βL_TC (9)

获得双分支铁路轨道检测网络的集成结构损失函数；式中，α，β和γ是对应于不同损失函数的损失比例系数，L_reg是双分支铁路轨道检测网络的两个分支进行回归计算的总损失函数。

优选地，步骤S3中，通过式

对两种轨道线目标进行投影长度判别。

由上述本发明的实施例提供的技术方案可以看出，本发明提供一种用于无人机铁路巡检的轨道线全角度识别方法，将获取的训练样本图像输入到基于投影长度判别的锚自适应的双分支铁路轨道检测网络，并且在平衡转置协同训练策略和转置一致性损失函数的引导下，通过投影长度加权的方式对双分支铁路轨道检测网络的两个分支的损失进行权重分配，训练双分支铁路轨道检测网络；将测试样本图像输入到训练后的双分支铁路轨道检测网络中，获得由双分支铁路轨道检测网络中两个不同分支预测生成的两种轨道线目标；对两种轨道线目标进行投影长度判别，将投影长度较大的一种轨道线目标座位轨道线检测结果。本发明提供的方法优点与积极效果在于：

(1)设计了一种基于投影长度判别的锚自适应的双分支铁路轨道检测框架网络，能够实现包括水平和竖直两种极端角度下的无人机铁路航拍影像中轨道线的识别；

(2)为了更好的引导网络的训练过程，设计了一种平衡转置协同训练的策略，在该训练策略基础上进一步设计了一种转置一致性损失函数，能够有效协调和引导网络的两个分支的训练，最终提高网络的检测能力。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种用于无人机铁路巡检的轨道线全角度识别方法的处理流程图；

图2为本发明提供的一种用于无人机铁路巡检的轨道线全角度识别方法的轨道线识别网络ARTNet总体运行架构图；

图3为本发明提供的一种用于无人机铁路巡检的轨道线全角度识别方法中应用铁路轨道线表征方法进行轨道定位的第一种场景示意图；

图4为本发明提供的一种用于无人机铁路巡检的轨道线全角度识别方法中应用铁路轨道线表征方法进行轨道定位的第二种场景示意图；

图5为本发明提供的一种用于无人机铁路巡检的轨道线全角度识别方法中应用铁路轨道线表征方法进行轨道定位的第三种场景示意图；

图6为本发明提供的一种用于无人机铁路巡检的轨道线全角度识别方法中应用铁路轨道线表征方法进行轨道定位的第四种场景示意图；

图7为本发明提供的一种用于无人机铁路巡检的轨道线全角度识别方法的锚自适应铁路轨道检测网络架构图；

图8为本发明提供的一种用于无人机铁路巡检的轨道线全角度识别方法的平衡转置协同训练策略示意图；

图9为本发明提供的一种用于无人机铁路巡检的轨道线全角度识别方法的网络推理时延-准确率第一种试验效果对比图；

图10为本发明提供的一种用于无人机铁路巡检的轨道线全角度识别方法的网络推理时延-准确率第二种试验效果对比图；

图11为本发明提供的一种用于无人机铁路巡检的轨道线全角度识别方法的不同模型预测视觉效果对比图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。

基于无人机的自主铁路检测与传统的铁路检测方法相比具有巨大的优势。为实现这一目标，开发智能铁路轨道检测算法是十分必要的，这是实现基于无人机的铁路线路自主跟踪的前提工作。然而，目前尚无现有算法能够有效适应铁路轨道对无人机航拍图像形式多样、倾角变化的需求。

为了应对这一挑战，本发明提出了一种新型锚自适应铁路轨道检测网络ARTNet，该网络构建了一种基于投影长度判别的双分支架构，以实现从任何视角对无人机航拍图像进行全角度铁路轨道检测，网络中两个分支的训练权重由图像中铁路轨道的投影长度加权。考虑到数据集中铁轨分布不均可能导致两个分支的潜在预测能力不平衡，本发明进一步提出了一种平衡转置协同训练策略来协调训练整个双分支网络并提高网络性能。在该训练策略基础上，提出了一种额外的定制转置一致性损失，以在不增加任何计算复杂性的情况下有效地引导训练过程。该损失函数是基于双分支架构的结构特征以及原始图像和转置图像预测之间的潜在的相关性构建出来的。

参见图1，本发明提供一种用于无人机铁路巡检的轨道线全角度识别方法，包括：

S1将获取的训练样本图像输入到基于投影长度判别的锚自适应的双分支铁路轨道检测网络，并且在平衡转置协同训练策略和转置一致性损失函数的引导下，通过投影长度加权的方式对双分支铁路轨道检测网络的两个分支的损失进行权重分配，训练双分支铁路轨道检测网络；

S2将测试样本图像输入到训练后的双分支铁路轨道检测网络中，获得由双分支铁路轨道检测网络中两个不同分支预测生成的两种轨道线目标；

S3对两种轨道线目标进行投影长度判别，将投影长度较大的一种轨道线目标作为轨道线检测结果。

本发明提出了一种全新的深度锚自适应铁路轨道检测网络ARTNet，以及用于训练该网络的平衡转置协同训练策略和转置一致性损失函数，其总体运行架构如图2所示。具体包括以下三部分：

(1)锚自适应铁路轨道检测网络(ARTNet)

针对目前缺乏任意角度铁轨检测方法的问题，提出了一种基于投影长度判别的锚自适应的双分支铁路轨道检测网络(anchor-adaptive railway track detectionnetwork，ARTNet)，可以实现无人机任何视角下航拍图像的全角度铁轨检测。

(2)平衡转置协同训练策略(BTCS)

针对由于数据集中铁轨角度分布不均而导致提出的框架中两个分支的潜在不平衡问题，提出了一种平衡转置协同训练策略(balanced transpose co-trainingstrategy，BTCS)来协调训练整个双分支网络并提高预测性能和准确率；

(3)转置一致性损失函数(TCL)

为了充分利用所提出的双分支框架的结构特征，提出了额外定制化转置一致性损失(transposed consistency loss，TCL)，以有效地引导网络的训练并提高检测精度，而不会增加任何计算复杂度。

在本发明提供的优选实施例中，各步骤的具体实施过程如下：

(1)锚自适应的铁路轨道线表征方法

如图3-6所示，铁路轨道由从图像中等采样的2D点表示，所有的用于定位轨道所在位置的横向或纵向的定位线称为定位锚。预定义的定位锚在水平或垂直方向上离散且均匀地分布在图像中，其数量表示为维数d_s。通常，预定义定位锚的数量远小于图像尺寸，这意味着：d_s＜＜h和d_s＜＜w。为了有效地表征位置，所有定位锚都被网格化为许多单元格。这意味着每个定位锚被网格化为许多小单元格，其数量表示为维度d_g。然后对于每个定位锚，总能找到一个最佳位置(或单元格)来表示铁路轨道在该定位线上的位置。并且在每个定位锚的末尾附加一个额外的网格单元以表示当前行或列没有铁轨。这样，图像中的铁路轨道可以表示为这些单元格在所有定位锚点中的位置集，表示为其中Loc_i∈{1,2,…,d_g,d_g+1}。然而，定位锚的方向可以是水平的或垂直的。一般认为采样点越多，越接近铁轨的真实形状。因此，分别给定和表示水平定位锚和垂直定位锚下的表示，铁路轨道的最终表示可以通过投影长度判别来确定：

其中l_n和l_v分别表示N条铁轨在与定位锚方向的正交方向上的投影长度的平均值。该长度不是轨道在图像中的像素长度，而是有效定位锚的计数。图3-6中的投影长度分别为13、1、15、15。这也意味着场景1的l_h和l_v分别为13和15，而场景2的l_h和l_v分别为1和15。因此，场景1和2的第二行中的表征会被选为最终的轨道线表征。

(2)锚自适应铁路轨道检测网络(ARTNet)

如图4所示，锚自适应铁路轨道检测网络ARTNet的第一步是特征提取骨干网络，这可以通过任何常用的卷积神经网络来实现，如ResNet。这一步的输出是一个下采样的特征图为了降维，附加了一个1×1的卷积来产生通道缩减的特征图/> 这可以带来计算成本的大幅降低。然后F_R被展平并重塑为特征向量/> 然后将一个全连接层作用到向量F_Lin上，生成一个新的全局特征向量/> 该过程可以描述为：

F_glob＝WF_Lin+b (1)

其中和/>最后，利用F_glob形成两个分支用于锚自适应铁路轨道检测，分别称为H分支和V分支。每个定位锚被网格化为d_g个单元格。对于每条定位锚，总能找到一个最佳位置(或单元格)来表示铁路轨道在该定位锚上的位置。一个额外的单元格附加到每个锚的末端，以表示该定位锚点中没有铁路轨道。因此，每个定位锚中都有d_g+1个单元格来确定单个铁路轨道的最佳位置。在此基础上，F_glob分别重塑为/>和/>使用F_H和F_V可以确定铁轨的位置及其投影长度。

首先应该注意如何使用F_H和F_V确定图像中铁轨的单元格的确切位置，即P_h和P_v。很容易看出，所有d_s个定位锚和N条轨道的网格化后的单元格和F_H和F_V中的特征值一一对应。这里，F_H和F_V分别对应于基于水平和垂直定位锚的铁路轨道表征。因此，基于F_H和F_V第i条轨道的位置分别可以通过以下方式确定：

其中i＝1,2,…,N，j＝1,2,…,d_s，k＝1,2,…,d_g+1。同样值得说明的是，如何利用提取的全局特征F_H和F_V计算铁轨的投影长度，从而实现定位锚适当方向的自适应判别。在这里，期望以回归的方式计算铁路轨道在两个不同方向上的投影长度，同时保持较低的计算成本。因此，考虑从F_H和F_V中提取最大池化特征向量，并回归起始位置S_i和铁路轨道的投影长度l_i。分别从F_H和F_V中回归S_i和l_i的特征向量，通过以下方式获得：

其中i＝1,2,…,N，k＝1,2,…,d_g+1。当v_H；i和v_V；i从两个全局特征图中抽取后，用全连接层作用于其上完成最终的回归步骤。最大池化得到的v_H；i和v_V；i包含铁路轨道的位置信息，因此可用于计算起始位置和投影长度值。回归得到的S_i和l_i在图像中指定了一个矩形区域，其中存在相应的第i条铁路轨道。可以计算两个分支的多条铁路轨道的投影长度的平均值，表示为l_h和l_v。与提出的锚自适应铁路轨道表示方法相一致，铁路轨道的最终预测结果可以通过上述公式和公式(1)获得。

值得注意的是，图3中提出的双分支架构在仅执行正向测试时只需要使用基于投影长度判别结果指出的一个分支即可，但训练阶段的单幅图像需要两个分支都执行完整的计算，即包括内部分类和回归过程两部分。

(3)平衡转置协同训练策略(BTCS)

在训练过程中，具有接近水平角度的铁轨可以在优化V分支中会发挥更多作用，而具有接近垂直角度的铁轨可以在优化H分支中发挥更多作用。特别是，如果两种表示的投影长度相差很大，在倾斜角接近0°、180°或90°的情况下，整个网络的训练只能集中在一个分支上。然而，通常只有倾角为0°、180°或90°的图像才能满足智能铁路关键基础设施检测的实际需求。因此，我们的数据集中存在大量此类图像，由于铁轨倾斜角的分布不平衡，这可能导致两个分支的训练不平衡。

为了处理两个分支潜在的训练不平衡问题，本发明还提出了一种平衡转置协同训练(BTCS)策略来协调训练所提出ARTNet的两个分支。图7给出了铁路轨道倾角的两个不同示例。对于图8a中的左图，铁路轨道的表征采用水平定位锚。相应地，此类图像将对H分支的训练和优化贡献更大。如果将这种表示和图像本身进行转置，可以看出铁路轨道的水平定位锚表征自然地变成了垂直定位锚表征，这意味着转置后的图像也可以用来以更高的权重训练网络的V分支。对于图8b中的右图，铁路轨道的表征采用垂直定位锚，此类图像将更有利于网络中V分支的训练和优化。如果将这种表征和图像本身进行转置，垂直定位锚表征自然地就变成了水平定位锚表征，这意味着转置后的图像可以用来以更大的权重训练网络的H分支。

可以得出结论，对于图像I，如果基于投影长度判别的铁路轨道锚自适应表征P可用于主要训练网络的一个分支，则转置图像I^T，相应的表征表示为P^T，则可以被利用来专注于训练网络的另一个分支。这样就可以利用同一幅图像的两种不同形式来解决数据集中铁轨倾角分布极不平衡导致的两个分支训练不平衡的问题。受益于所提出的平衡转置协同训练策略，两个分支都可以得到有效的训练，并且在理论上具有一致的预测能力，可以满足所提出的基于投影长度区分的锚自适应双分支架构的要求。

(4)转置一致性损失函数(TCL)

假设对于图像I的水平定位锚的表征为图像的转置I^T的垂直定位锚的表征为/>则对于i＝j，下式成立：

其中如图8a所示，其中i,j∈{1,2,…,d_s}。相似地，假设对于图像I的垂直定位锚的表征为图像的转置I^T的水平定位锚的表征为则对于i＝j，下式成立：

如图8b所示，其中i,j∈{1,2,…,d_s}。假设对原始图像I和转置图像I^T的预测结果，即图像中第i条铁路轨道的第j个采样点，分别用Loc_i，j和表示，那么根据网络的两个分支预测得到的原始图像和转置图像的预测结果之间所固有的相对对应关系，很容易得到一个新的损失函数来约束训练过程中预测结果的生成。因此，在提出的平衡转置协同训练策略基础上，提出转置一致性损失函数，计算方式如下：

(4)网络训练集成损失函数

为了对网络的两个分支和骨干网络进行高效和平衡的训练，提出一个集成的损失函数来进行训练和架构的优化。主要包括三个部分：基于投影长度的加权分类损失、平滑的L1回归损失和提出的转置一致性损失。由于网络中有两个分支，它们可以分别用于基于水平定位锚和垂直定位锚的轨道检测。然而，对于特定的图像，假设这两个分支具有不同的权重来训练和优化，因为相应的投影长度不同。这两个分支分类的权重可以通过softmax函数计算：

其中w_h和w_v分别对应于网络的H分支和V分支，e为一个已知的自然常数。这样，总的分类损失函数计算方式为：

L_cls＝w_hL_clsh+w_vL_clsv (8)

其中L_clsh和L_clsv两个都是焦点损失(focal loss)，分别用于约束网络中H分支和V分支的分类。网络的回归损失L_reg采用光滑L1损失函数实现对应于两个分支起始位置和投影长度的回归。

然后，训练所提出的双分支网络的集成结构损失函数如下所示：

L＝αL_cls+βL_reg+γL_TC (9)

其中，α，β和γ都是对应于不同损失函数的损失比例系数。在本发明所提供的实例中，在使用到这些损失函数时，其相应的比例系数取为1.0。

本发明还提供一个实施例，用于显示使用了本方法的检测效果。

本实例选择了本发明构建的一个基于无人机的铁路轨道数据集来进行基于无人机的铁路轨道检测，并介绍了相关参数的一般设置，进行了一组全面的实验来验证ARTNet的可行性和优越性。然后介绍了本发明采用的评价指标。对所提出的双分支架构ARTNet、平衡转置协同训练策略BTCS和转置一致性损失TCL进行对比研究，以验证这些设计的性能。本发明还全面对比了其他现有技术的算法，并提供了一些图片示例。结果表明，本发明的方法可以有效地实现全角度铁路轨道检测，并且在检测精度和推理速度上都大大优于其他流行的算法。

本发明构建了一个铁路轨道检测数据集RailTrack，其中所有图像都是从一些普通铁路线和京沪高铁上用无人机采集的。RailTrack数据集分为训练部分和测试部分，包括各种图像，其中铁路轨道以不同的倾斜角度和比例出现。此外，为了增强训练模型的泛化能力，数据集中背景信息铁轨的像素宽度有着很多类型。图5显示了无人机图像采集过程的一些照片。左图中的Matrice 300RTK是大疆创新出品的工业级设备。在这项工作中，制定的ARTNet和其他比较方法使用相同的批量大小设置进行训练。随机梯度下降由相同的Adam优化器执行。在接下来的消融研究部分，所有训练的网络都是d_s为15和d_g为150。

车道检测中最常用的指标是CULane中使用的F1度量。为了评估CULane数据集，每个车道标记都被视为一条宽度为30像素的线。所有预测结果都将与相应的标签(groundtruth)计算交并比(IoU)。IoU大于θ的预测被视为真阳性(TP)，小于θ的预测被视为假阳性(FP)。那些实际存在但未检测到的被计为假阴性(FN)。采用F1度量作为CULane评估的指标，定义如下：

其中θ表示IoU阈值，在CULane中通常取0.5。本发明采用mF1指标来更好地比较不同算法的性能，其定义为：

mF1＝(F1@30+F1@50+F1@75)/3 (12)

其中F1@30、F1@50、F1@75是IoU阈值分别为0.3、0.5、0.75时的F1指标。但无人机遥感影像中铁路轨道的像素宽度和倾角可以是多种多样的。为了平衡IoU计算的有效性和构建数据集中铁路轨道像素宽度的分布，对数据集中铁路轨道像素宽度进行统计。轨道的宽度主要集中在10-15像素，其次是15-20和25-30像素。计算出的平均值、1/4分位数、2/4分位数和3/4分位数分别为20、12、15和28。这里，本发明采用3/4分位数，即28个像素的宽度，作为像素宽度来计算预测的轨道和相应的标签的IoU指标。

对比实验

DBA对比实验

DBA旨在实现铁路轨道的自适应表示和预测。这种设计使网络分为H分支和V分支两个分支，分别在水平或垂直方向定位铁路轨道。在进行前向推理时，网络会根据铁轨在水平和垂直方向上的投影长度自适应地选择一个分支来预测铁轨。将这种自适应设计应用于基线模型(表1的第1-3行)，如表1的第4行所示，F1分数相关值实现了整体改进。尤其是mF1值从12.51上升到51.35，可见本次DBA设计的巨大优势和有效性。

BTCS对比实验

BTCS旨在实现ARTNet两个分支的平衡协同训练。如上所述，这两个分支是基于铁路轨道的投影长度判别来训练的。对应于较大的铁轨投影长度的分支的参数可以用较大的权重来更新。这意味着数据集中铁路轨道倾斜角的不平衡分布会导致两个分支的预测能力大不相同且不平衡。为了解决这种训练不平衡的问题，本发明提出BTCS来训练双分支网络，这样无论数据集的倾斜角分布如何，网络的两个分支都可以得到有效和充分的训练。如表1的第4行和第5行所示，当BTCS应用于基本双分支网络时，F1度量相关值实现了整体改进。特别是，mF1值从51.35增加到59.90，证明了所提出的BTCS设计的巨大优势。

TCL对比实验

TCL还旨在作为损失函数的一部分来指导所提出的双分支网络的训练。正是由于采用了DBA和BTCS，对于同一输入图像的原始形式和转置形式，两个分支的预测结果之间存在一定的相关性。基于这种相关性，TCL的设计目的是为了在两个分支的预测中获得更好的一致性。如表1的第5行和第6行所示，当使用TCL时，F1分数相关值也实现了整体改进。特别是，mF1值从59.90增加到67.09，证明了所提出的TCL设计的巨大有效性。这里网络的参数用表1第5行中训练网络的参数初始化，因为TCL是一种无监督形式的损失函数。在结合TCL训练ARTNet的情况下，如果随机初始化网络，很可能导致网络训练无法收敛。α，β和γ三个比例系数在本实验中均设为1.0。

表1：所提出方法中的三个设计的对比实验结果

推理速度对比实验

还研究了三种设计对推理速度的影响。理论上，BTCS只是一种训练策略，不会导致架构发生结构性变化。这意味着使用BTCS不会减慢网络的推理速度。同样的，作为损失函数的一部分，TCL也是一种只在训练过程中使用和计算而不是在前向推理过程中使用和计算的设计，同样不会对架构进行结构上的改变。因此，TCL也不会影响网络速度。DBA设计将网络从单分支形式改为双分支形式，可以明显导致网络推理速度的下降。相关结果如表2所示。可以看出，带有DBA的网络与原始基线模型相比，推理速度有一定程度的下降。然而，随着主干越来越深，这种趋势变得不那么明显。还说明了所提出的以resnet18为骨干并与所有DBA、BTCS和TCL设计一起使用的ARTNet可以实现高达140FPS的推理速度。所提出的ARTNet的推理速度足够快以供实际工程需要。

表2：推理速度对比实验结果

综合实验对比

为了证明所提出架构的有效性，与流行的车道检测方法(即SCNN、RESA和UFLD)进行了全面比较。所有这些模型都在512×512的输入大小下得到了充分的训练。这些模型经过多次训练，并采用性能最好的模型进行比较。如表3所示，UFLD正是上面消融研究部分提到的基线模型。可以看出，UFLD模型表现不佳。它的能力不受是到特征提取的骨干网络的限制，而是受体系结构本身的限制。至于SCNN和RESA的系列，两者都和我们期待的水平有很大的差距。据分析，SCNN和RESA的性能受到图像中近水平铁轨存在的影响。而且，限制SCNN和RESA能力的不是骨干网络，而是架构本身。

所提出的ARTNet改编自基线模型UFLD，可以处理各种无人机航拍图像的全角度铁路轨道检测。如表3所示，由resnet18支撑的提出的ARTNet可以获得67.50的mF1指标，远远优于比较SCNN、RESA和UFLD模型系列。当骨干网更改为更大体量时，即resnet34、resnet50和resnet101，mF1指标分别提升到75.81、76.04和76.12，这意味着所提出的双分支架构具有卓越的性能和有效性。所提出的ARTNet可以有效地解决原始UFLD在从车道检测任务转移到铁路轨道检测任务到无人机航拍图像时面临的问题。

表3：综合对比实验结果

如图9和10所示，不同算法的时延-mF1曲线大致可以分为三个不同的等级。低级模型不能很好地应用于构建的RailTrack数据集，包括UFLD。这方面的模型实际上并不适用于RailTrack中的铁路轨道检测，甚至不适合基于无人机的铁路航拍图像的铁路轨道检测。中层模型可以识别相当多的铁轨，但仍然局限于非近水平铁轨的检测，包括SCNN和RESA。拟议的ARTNet分布在高层区域，并且在延迟和准确性方面优于所有其他模型。更具体地说，与SCNN的26和RESA的93相比，ARTNet可以在NVIDIA Geforce RTX 3090计算平台上实现高达233FPS的推理速度。实验说明了ARTNet在铁路轨道检测方面的优势。

图片示例对比

图11展示了所提出的ARTNet和比较算法(即SCNN和RESA)的几个视觉示例，其中采用的SCNN、RESA和ARTNet模型分别以resnet50、resnet34和resnet34为骨干。可以看出，本方法的模型可以有效地识别各种倾斜角度的铁轨。对于第1行中的示例，所有模型都可以很好地识别两条铁轨。但是对于其中一条铁轨被第2行中的一棵树严重遮挡的图像，SCNN和RESA都只能检测到一条铁轨，而所提出的ARTNet可以识别两条铁轨，无论是否被遮挡。特别是，SCNN和RESA模型完全无法检测接近水平角度的铁轨，如图11的第3行所示。不出所料，这是现有方法的共同缺点。相比之下，ARTNet仍然可以很好地检测铁路轨道，这正是设计这种自适应全角度检测网络的关键意图。在第4行和第5行的例子中，两条铁路轨道的检测结果是交叉混合的，但是由于其全局的特征设计，所提出的ARTNet可以在很大程度上避免这个问题。这些视觉结果证明了本方法的高性能和有效性。

还值得注意的是，本方法所提出的模型不仅适用于长直铁路轨道的检测，而且适用于所有类型的铁路轨道，包括由ARTNet的固有属性确定的曲线。在本实施例的ARTNet公式中，每条铁路轨道都表示为一系列具有采样维度ds的离散点。除了直线形的铁轨外，这些ds点还可以表示任何形状的铁轨。

由上述分析可见本发明的方法能够高效地实现无人机铁路巡检的轨道线全角度识别。本发明为基于无人机的应用提供了一种通用的铁路轨道检测架构，对于基于无人机的自主铁路检测具有广泛的应用前景。该架构不仅可以用于铁路场景中的铁轨检测，还可以用于其他场景中的线形基础设施检测。

综上所述，本发明提供一种用于无人机铁路巡检的轨道线全角度识别方法，将获取的训练样本图像输入到基于投影长度判别的锚自适应的双分支铁路轨道检测网络，并且在平衡转置协同训练策略和转置一致性损失函数的引导下，通过投影长度加权的方式对双分支铁路轨道检测网络的两个分支的损失进行权重分配，训练双分支铁路轨道检测网络；将测试样本图像输入到训练后的双分支铁路轨道检测网络中，获得由双分支铁路轨道检测网络中两个不同分支预测生成的两种轨道线目标；对两种轨道线目标进行投影长度判别，将投影长度较大的一种轨道线目标座位轨道线检测结果。本发明提供的方法优点与积极效果在于：

(1)设计了一种基于投影长度判别的锚自适应的双分支铁路轨道检测框架网络，能够实现包括水平和竖直两种极端角度下的无人机铁路航拍影像中轨道线的识别；

(2)为了更好的引导网络的训练过程，设计了一种平衡转置协同训练的策略，在该训练策略基础上进一步设计了一种转置一致性损失函数，能够有效协调和引导网络的两个分支的训练，最终提高网络的检测能力。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (3)

1.一种用于无人机铁路巡检的轨道线全角度识别方法，其特征在于，包括：

S1将获取的训练样本图像输入到基于投影长度判别的锚自适应的双分支铁路轨道检测网络，并且在平衡转置协同训练策略和转置一致性损失函数的引导下，通过投影长度加权的方式对所述双分支铁路轨道检测网络的两个分支的损失进行权重分配，训练所述双分支铁路轨道检测网络；

所述双分支铁路轨道检测网络通过如下过程构建：

通过式

F_glob＝W_FLin+b (1)

构建特征提取骨干网络；式中，F_Lin为重塑的特征向量，F_glob为新的全局特征向量，

通过对F_glob进行重塑形成用于锚自适应铁路轨道检测的所述双分支铁路轨道检测网络的两个分支和/>其中，d_g为单元格，d_s为定位锚；

所述双分支铁路轨道检测网络的两个分支和通过分类计算式

确定样本图像中轨道的位置，还通过回归计算式

对样本图像中轨道的位置进行特征回归；式中，i＝1,2,…,N，j＝1,2,…,d_s，k＝1,2,…,d_g+1；

所述平衡转置协同训练策略包括：

基于某样本图像I，对通过所述双分支铁路轨道检测网络的某个分支处理获得的轨道进行投影长度判别，若判别结果能够被用于训练所述双分支铁路轨道检测网络的另一个分支，则对该某样本图像I进行转置处理，获得转置图像I^T，并输入到所述双分支铁路轨道检测网络的另一个分支；

所述转置一致性损失函数通过如下过程获得：

令对于样本图像I的水平定位锚的表征为转置图像I^T的垂直定位锚的表征为/>获得当i＝j时的关系式

令对于图像I的垂直定位锚的表征为图像的转置I^T的水平定位锚的表征为/>获得当i＝j时的关系式

式中，i,j∈{1,2,…,d_s}；

根据式(4)和(5)，获得转置一致性损失函数式

S2将测试样本图像输入到训练后的所述双分支铁路轨道检测网络中，获得由所述双分支铁路轨道检测网络中两个不同分支预测生成的两种轨道线目标；

S3对所述两种轨道线目标进行投影长度判别，将投影长度较大的一种轨道线目标作为轨道线检测结果。

2.根据权利要求1所述的方法，其特征在于，步骤S1的训练所述双分支铁路轨道检测网络的过程中还包括使用集成结构损失函数，所述集成结构损失函数具体包括：

通过式

计算获得所述双分支铁路轨道检测网络的两个分支获得的轨道的投影长度的权重；式中，w_h和w_v分别为所述双分支铁路轨道检测网络的H分支和V分支获得的轨道的投影长度的权重，l_h表示H分支的多条铁路轨道的投影长度的平均值，l_v表示V分支的多条铁路轨道的投影长度的平均值；

通过式

L_cls＝w_hL_clsh+w_vL_clsv (8)

获得所述双分支铁路轨道检测网络的两个分支进行分类计算的总损失函数；式中，L_clsh和L_clsv为焦点损失，分别用于用于约束所述双分支铁路轨道检测网络中H分支和V分支的分类；

通过式

L＝αL_cls+βL_reg+γL_TC (9)

获得所述双分支铁路轨道检测网络的集成结构损失函数；式中，α，β和γ是对应于不同损失函数的损失比例系数，L_reg是所述双分支铁路轨道检测网络的两个分支进行回归计算的总损失函数。

3.根据权利要求1所述的方法，其特征在于，步骤S3中，通过式

对所述两种轨道线目标进行投影长度判别。