CN117274762B

CN117274762B - 基于视觉的地铁隧道低照度场景下实时轨道提取方法

Info

Publication number: CN117274762B
Application number: CN202311548297.0A
Authority: CN
Inventors: 任愈; 王菁; 陈建政; 梁树林
Original assignee: Southwest Jiaotong University
Current assignee: Southwest Jiaotong University
Priority date: 2023-11-20
Filing date: 2023-11-20
Publication date: 2024-02-06
Anticipated expiration: 2043-11-20
Also published as: CN117274762A

Abstract

本发明公开了一种基于视觉的地铁隧道低照度场景下实时轨道提取方法，包括：对地铁隧道进行数据图像采集并对采集的数据图像标注格式；将数据图像导入融合了曝光特征的骨干提取网络对地铁隧道低照度场景下的轨道进行实时提取；本发明能够从各种复杂的隧道场景视频中准确提取轨迹。

Description

基于视觉的地铁隧道低照度场景下实时轨道提取方法

技术领域

本发明涉及地铁隧道技术领域，特别是一种基于视觉的地铁隧道低照度场景下实时轨道提取方法。

背景技术

列车运行过程中，轨道间隙的实时动态入侵检测依赖于轨道位置的动态提取。然而，在目前的列车自动驾驶技术研究中，解决轨道提取问题已成为一项挑战。根据目前的传感器配置方案，摄像头和激光雷达（LIDAR）是两种常用的车载检测传感器。关于激光雷达解决方案，由于车轮与钢轨之间的相互作用，可在钢轨顶部中心观察到折射率约为20毫米的平面磨蚀光带。较高的折射率导致激光雷达信号的反射和散射截面减小，使得为前视激光雷达获取有效的轨顶反射带信息具有挑战性。然而，光学视觉传感器因其成本低、易于部署等优点被广泛应用于轨道交通运营环境感知系统中。随着列车自动化的发展，基于计算机视觉的运营感知技术将在城市轨道交通智能化中发挥越来越重要的作用。伴随着列车在途运行场景的实时自动化检测需求的出现，依赖于以嵌入式设备、传感器为代表的网络物理系统对智慧交通领域的促进，基于计算机视觉的运行感知技术将在城市轨道交通智能化中发挥越来越重要的作用。由于基于图像的轨道检测无法满足实时检测的要求，目前基于轨道提取的检测方法往往完全绕过轨道检测，而是通过预先划分感兴趣区域（ROI）直接进行检测。这可能导致对侵占间隙的误判，影响基于轨道提取的进一步检测的准确性。因此，利用计算机视觉技术从车载前视图像中实时提取轨道信息有望推动车载列车运行安全检测技术的发展。

目前，有关隧道低照度条件下轨道提取的研究十分有限。一些研究主要集中在采用传统图像处理技术或深度学习方法在光线充足的环境下提取和分割轨道。

传统的视觉解决方案基于人工设计轨道特征表示的理念。使用传统视觉检测技术提取铁轨的过程如下。首先，使用滤波算法对图像进行预处理，以突出轨道特征。然后，使用边缘检测算法提取轨道边缘特征信息，并将所得信息与轨道几何特征或其他先验知识相结合，选择合适的轨道模型，以便对检测结果进行后处理拟合。虽然这类轨迹具有更强的可解释性，对计算资源的要求也更低，但在处理弱光场景时往往会遇到重大挑战。第一个挑战是缺乏对比度和细节。低照度场景通常缺乏足够的光照，导致图像对比度和细节丢失。图像质量的下降会妨碍传统算法区分不同物体或检测细微特征的能力。此外，还有色彩信息有限和阈值处理的问题。在光线不足的情况下，图像中的色彩信息可能会失真或捕捉不清。许多传统算法严重依赖色彩线索或阈值技术来进行物体检测和分割，而缺乏准确的色彩信息和边界模糊可能会导致分类错误和检测不准确。

目前，在计算机视觉不断发展的推动下，铁轨提取领域已逐渐转向深度学习。与传统方法相比，基于深度学习的轨道提取技术利用改进的语义分割网络识别轨道区域。虽然这些算法能达到比传统视觉检测算法更高的精度，并提供更稳定的检测结果，但由于需要在图像中进行逐像素分类，因此确保实时性具有挑战性。此外，此类算法在隧道和夜景等低对比度环境中表现不佳。低光照场景通常会表现出更明显的阴影和整个图像的不均匀光照。目前的轨道检测算法没有考虑光照条件的影响，在低光照场景下对低光照特征的灵敏度不够，可能导致误报或漏报。

低照度图像的研究主要集中在图像增强方面。这可以通过模型优化（如直方图和retinex理论衍生的变体）或深度学习算法来实现，这两种算法都会在不同程度上导致细节损失和噪声放大。然而，在实时检测应用中，在提取特征前增强图像是困难的。研究表明，retinex模型主要增强HSV色彩空间V通道的图像。在低照度和夜景中，引入HSV空间可以提高现有图像增强、语义分割和识别研究中的分辨率性能。

低照度隧道环境是铁路运营的主要场景。当列车进入没有自然光的隧道时，可用光量会减少，导致图像对比度低、边界模糊，从而难以提取图像特征，进而影响执行特定细节任务的能力。然而，低照度研究通常集中在图像增强问题上，而这些问题往往与辅助系统或夜视监控无关，需要昂贵的硬件；与此同时，更具体的应用领域，如轨道提取，却没有得到足够的重视。现实中，在不考虑实时检测要求的情况下，光线不足导致的检测问题可以通过增加曝光时间或图像增强来解决；但地铁车辆的平均运行速度为80km/h，需要快速的检测性能。增加曝光时间或加强数据预处理所造成的检测延迟无法满足车载检测对时间敏感的应用要求。此外，考虑到列车车厢的移动，通过延长曝光时间来补偿弱光场景是不可行的。

因此，迫切需要在低照度隧道环境中找到检测速度和精度之间的平衡点。

发明内容

为解决现有技术中存在的问题，本发明的目的是提供一种基于视觉的地铁隧道低照度场景下实时轨道提取方法，本发明能够从各种复杂的隧道场景视频中准确提取轨迹。

为实现上述目的，本发明采用的技术方案是：一种基于视觉的地铁隧道低照度场景下实时轨道提取方法，包括以下步骤：

步骤1、对地铁隧道进行数据图像采集并对采集的数据图像标注格式；

步骤2、将数据图像导入融合了曝光特征的骨干提取网络对地铁隧道低照度场景下的轨道进行实时提取。

作为本发明的进一步改进，在步骤1中，对采集的数据标注格式具体如下：

第i条轨道线的第j个标记点的表达式如下：

;

是一个二维数组，对应于图像中轨道在v坐标/>处的u坐标，的值表示固定的v坐标提取位置；

每个标签由两名隧道检测人员分别标注，并进行交叉验证；对离散点进行三阶多项式拟合，确定轨道表达式，并对不同工作人员标注的相同轨道表达式之间的差异进行沿轴积分；判别表达式如下：

;

式中和/>分别代表两名隧道巡检人员标签用三次函数拟合的表达式，为根据经验确定的阈值。

作为本发明的进一步改进，步骤2中，在骨干网络中引入多尺寸特征融合模块形成融合了曝光特征的骨干提取网络。

作为本发明的进一步改进，所述融合了曝光特征的骨干提取网络还包括辅助任务分支，在训练阶段，利用所述辅助任务分支更新骨干网络的权重。

作为本发明的进一步改进，所述融合了曝光特征的骨干提取网络包括四个并行残差模块和多尺寸融合层，所述多尺寸融合层将四个并行残差模块末尾两个并行的残差分支合并；多尺寸融合层的融合过程具体如下：

;

其中，w ₁和w ₂是曝光特征融合模块的映射权重，表示元素相乘，W _r是一个使用sigmoid激活的权重映射模块，W和b是通过反向传播更新的参数。

作为本发明的进一步改进，在步骤2中，融合了曝光特征的骨干提取网络对地铁隧道低照度场景下的轨道进行实时提取具体如下：

将轨迹检测转化为基于行网格的分类，即将检测区域内的连续轨迹提取离散化为一系列行网格分类；如果检测到的最大轨迹数为2，则将网格划分为r行和c列；假设是融合曝光特征的图像全局特征，/>是第j行第i条轨迹位置的分类器；轨迹检测用以下表达式描述：

；

式中为(c+1)维向量，代表着对第i条轨道线、第j行中c+1个单元格的轨道位置检测概率，在c列外增加一列无轨道标志位，代表该行不存在待检测的轨道；

是采用独热编码下第i条轨道线、第j行的轨道位置，那么基于消失点行分类检测的目标函数可等价为：

;

式中为softmax激活下的损失函数，输入图像大小记为H×W，行分类检测的网格分割设为r×(c+1)，引入行检测将分割任务的H×W计算简化为(c+1)×r。

作为本发明的进一步改进，所述融合了曝光特征的骨干提取网络的训练过程中，通过反向传播优化网络参数，使损失函数最小化，所述损失函数如下：

；

式中为损失权重系数。

本发明的有益效果是：

本发明针对隧道环境的端到端轨迹提取方案，无需预处理和后处理；用于感知低对比度图像中因光照不足而产生的细节变化，同时保持实时轨道提取能力。

附图说明

图1为本发明实施例中隧道场景图片像素分布统计图；；

图2为本发明实施例中站台场景图片像素分布统计图；

图3为本发明实施例中融合了曝光特征的骨干提取网络的框架示意图；

图4为本发明实施例中在主干网上增加多尺度特征融合模块的结构示意图；

图5为本发明实施例中计算直道段消失点位置的过程示意图；

图6为本发明实施例中计算曲线段消失点位置的过程示意图；

图7为本发明实施例中主成分分析（PCA）确定消失点分布主方向的示意图；

图8为本发明实施例中辅助任务示意图；

图9为本发明实施例中水平轨迹提取误差分析图；

图10为本发明实施例中在20毫秒曝光时间的图像中引入高斯去噪前后模型各部分的检测时间消耗示意图。

具体实施方式

下面结合附图对本发明的实施例进行详细说明。

实施例

一种基于视觉的地铁隧道低照度场景下实时轨道提取方法，包括：

1、数据分析：

1.1、隧道场景图片像素分布：

在弱光环境下，建议使用大光圈、长曝光和高ISO。然而，使用高ISO会降低信噪比(SNR)，并使轨迹提取复杂化。因此，曝光时间是实时和连续检测的一个关键方面。为确保实时性，考虑到数字信号处理和传感器数据传输所需的时间，轨迹检测的帧速率应略高于图像采集的帧速率，以保证检测帧速率的冗余性。本实施例采用以下采集参数对中国某城市地铁隧道进行数据采集：分辨率为1920×1200，传感器尺寸为2/3"，最大光圈为F1.6，曝光时间分别为10ms、20ms和30ms。使用的数据采集设备由一组双目布置的相机和激光雷达组成，如图1所示。在本实施例中，对相机数据进行了研究。选择20ms的曝光时间是为了满足检测帧数的要求，同时尽量减少列车运动造成的图像模糊。

在低照度隧道场景中，环境光照限制了图像亮度，导致图像昏暗。RGB通道代表图像的对比度信息，而HSV-V通道代表曝光信息。为了揭示隧道环境中图像的曝光和对比度特性，每个通道的像素值被平均分为16个区间，区间范围从0到255。在曝光时间为20ms的情况下，隧道场景和站台场景的RGB和V通道所有像素区间内的平均像素数如图1和图2所示。为了使图示更加简洁，将V通道的统计数据从0到1放大到与RGB通道一致的0-255范围。RGB和V通道的数据主要集中在[0,32]数据块，说明地铁隧道场景图像存在曝光不足和对比度低的问题。考虑到车辆运行过程中运动的影响以及画面信噪比的问题，单纯通过设置硬件拍摄参数，如延长曝光时间、提高ISO等来解决此类问题具有一定的难度。

1.2、数据集和标注格式：

考虑到隧道内不同的照明条件和实时检测要求，连续采集了7643张图像，曝光时间分别为10毫秒、20毫秒和30毫秒。相对较少的曝光时间为10毫秒和30毫秒的图像被用作迁移学习的微调数据集，以验证性能。以下将该数据集称为"地铁数据集"，它涵盖了地铁的主要运行环境。表1列出了"地铁数据集"的数据分布。

表1 地铁数据集的分布；由于与隧道的照明条件不同，车站单独列出。

为了简化标注工作量和标注文件的大小，参考用于车道检测的公共数据集Tusimple，为目标任务设计了"Metro Dataset"标注格式。用于存储每帧轨道标签的数据结构是一个包含键"h_samples"和"rails"的字典，相应的值以列表形式给出。h_samples"的值表示固定的v坐标提取位置，"rails"是一个二维数组，对应于图像中轨道在v坐标 "h_sample "处的u坐标，即第i条轨道线的第j个标记点：

（1）；

为保证轨道标注质量，每个标签由两名隧道检测人员分别标注，并进行交叉验证。对离散点进行三阶多项式拟合，确定轨道表达式，并对不同工作人员标注的相同轨道表达式之间的差异进行沿轴积分。判别表达式如下：

（2）；

式中和/>分别代表两名隧道巡检人员标签用三次函数拟合的表达式，是一个根据经验确定的阈值，本实施例取30个像素。

2、采用的方法：

本实施例提出了一种基于行网格分类的轨迹提取方法REVT-Net，该方法综合了隧道低照度环境下的曝光特征。它包括三个主要部分：多尺度特征提取、辅助任务和行网格轨迹提取。图3显示了REVT-Net框架的概览。输入图像被导入融合了曝光特征的骨干提取网络，然后被分成两个个分支。底部分支代表辅助任务流。输出结果被上采样，并通过归一化V通道标签用于损失计算。在训练阶段，辅助任务分支用于更新主干网络的权值，这有助于在不同图像尺度上聚集局部和全局曝光特征，从而有效提高主干网络在低照度环境下的特征提取能力。中间分支是轨迹提取模块，将轨迹提取作为基于行的分类任务。此外，还为每个任务设计了一个损失函数，以确保模型在训练过程中平稳收敛。

2.1、引入多尺寸特征融合层的特征提取骨干网：

本实施例提出了一种新方法，提取低照度条件下隧道图像的低对比度和曝光不足的图像数据特征。具体而言，在骨干网络中引入了多尺寸特征融合模块，以增强网络提取图像特征的能力。这使得从隧道场景的低对比度图像中直接提取轨迹信息成为可能，而无需进行可能会引入噪声的图像增强。图4显示了本文的主干网络结构。融合曝光模块利用曝光特征明确引导网络进一步进行特征融合。

ResNet由5个残差模块组成：convx-expo、convx-expo、convx-expo、convx-expo和convx-expo。本实施例选择的多尺寸特征融合骨干网络增加了四个并行残差模块convx-expo。网络中的第五层层将两个并行的残差分支conv5和convx-expo5合并，形成conv5。多尺寸融合层的过程可描述如下：

（3）；

（4）；

其中，w ₁和w ₂是多尺寸模块的映射权重，表示元素相乘。W _r是一个使用sigmoid激活的权重映射模块，可以被认为是一种侧重于特征位置和尺度的软关注机制。W和b是通过反向传播更新的参数。因此，多尺寸特征融合模块中的所有操作都是可微分的，从而允许网络进行端到端的训练。在网络的后续部分，多尺寸融合层的特征应用于轨迹检测任务，x5进入轨道提取主任务和辅助任务以增强骨干网络，实现更稳健的特征提取性能。通过在多尺寸特征融合模块对特征进行加权融合，整合两个残差模块，网络在保留图像位置信息的同时，提高了对曝光的灵敏度。多尺寸特征融合模块使网络能够关注多尺寸信息，而不仅仅是卷积区域，从而拓宽了其感知领域。

2.2、行网格轨道提取：

通过利用上述多尺度融合特征的全局特征，将轨迹检测转化为基于行网格的分类。检测区域内的连续轨迹提取被离散化为一系列行网格分类。这简化了轨迹提取，提高了检测效率。

具体来说，如果检测到的最大轨迹数为2，则将网格划分为r行和c列。假设是融合曝光特征的图像全局特征，/>是第j行第i条轨迹位置的分类器。轨迹检测用以下表达式描述：

（5）；

式中为(c+1)维向量，代表着对第i条轨道线、第j行中c+1个单元格的轨道位置检测概率，在c列外增加一列无轨道标志位，代表该行不存在待检测的轨道。是采用独热编码下第i条轨道线、第j行的轨道位置，那么基于消失点行分类检测的目标函数可等价为：

（6）；

式中为softmax激活下的Focal Loss。输入图像大小记为H×W，行分类检测的网格分割设为r×(c+1)，其中远小于H，远小于W。引入行检测将分割任务的H×W计算简化为(c+1)×r，大大减少了一条轨道的计算量，提高了检测速度。值得注意的是，当轨道延伸得更远时，公式(5)对轨道仍然是准确的。具体来说，将1920像素的宽度划分为200个网格用于轨道提取，本实施了的方法的水平分辨率为9像素。此外，在后续帧中，远处轨迹的位置表示是准确的，检测公式可以与公式(1)中的标签格式相匹配，用于计算损失。

本实施例数据的行网格数设置为100。不过，这一参数并不通用。从理论上讲，网格数越多，表示每个行网格的图像面积越小，意味着图像划分得越细。然而，对于轨迹提取任务来说，细节越多并不一定越好；理想情况下，应为每条轨迹上的每一行选择一个且仅一个行网格。换句话说，行网格的像素分辨率应与图像中轨迹的像素宽度相匹配。在实际的车载相机成像中，轨迹的图像宽度取决于相机的安装高度和角度、相机焦距和其他参数；因此，在不同的设备条件下，行网格的选择并不是固定不变的，而应根据具体的应用场景进行动态调整。

在基于行网格的轨迹检测中，检测区域的确定至关重要。然而，现有的轨迹检测方法大多依赖经验指导，直接划分检测ROI，缺乏严谨的理论支持。为了解决这个问题，REVT-Net将消失点位置纳入到轨迹检测区域的设置中。透视投影将世界坐标系映射到图像坐标系，图像坐标系的典型特征是在同一空间平面上有一组无限长的平行线，这些平行线汇聚于消失线上的一点。这就是所谓的消失点。利用轨道的平行特性，对轨道消失点的位置进行分析。这就合理地缩小了轨道检测区域。

计算消失点位置的过程如图5和图6所示。对于直线轨道，采用线性拟合。弯曲轨道采用"直曲线轨道模型"假设，将底部轨道视为直线进行拟合。两条轨道的交点被视为消失点。主成分分析（PCA）确定了消失点分布的主方向，如图7中的虚线所示。值得注意的是，主方向近似平行于图像坐标系的u轴。这表明消失点的分布可以根据u轴坐标的变化进行近似。在本实施例中，轨迹线检测区域被定义为消失点最小v轴坐标以下的区域。

2.3、语义分割辅助任务：

现有的用于轨迹检测的深度学习方法大多采用语义分割方法，通常利用U-net和FCN等网络架构。然而，轨迹的纤细性给语义分割带来了挑战，促使研究人员探索分割两个轨迹之间的区域作为替代方法。一些模型在光线充足的环境中取得了良好的效果。然而，这些算法在低光照条件下表现不佳，并且在轨迹轮廓检测中表现出不稳定性。尽管如此，重要的是要认识到语义分割网络通过指导像素级分类的反向传播过程，有助于从骨干网络中提取高质量的局部和全局特征。考虑到基于行网格的轨迹检测代理任务的稀疏性，本实施例中保留了V通道上轨迹分割任务。这可以看作是额外的正则化，以改善骨干网络在训练阶段的通用特征学习。从辅助任务的角度来看，融合曝光骨干网络可以被视为多种任务的特征共享策略。如图8所示，借鉴全卷积网络FCN模型，将同一分支在不同阶段提取的特征(x3,x4,x5)串联得到一个特征图。不同分支特征的上采样使用解卷积模块输出精细分割结果，并计算V通道的损失。

损失函数量化了预测输出与轨迹标签之间的差异。在训练过程中，通过反向传播优化网络参数，使损失函数最小化，从而提高轨迹检测性能。本实施例中用于低照度场景下融合曝光特征的轨迹实时检测的损失函数为：

（7）；

式中为损失权重系数。

（1）分类损失：

将轨道所在网格视作正样本，正样本在总体检测网格中占比较少，正负样本数据不平衡。为了减少非轨道区域负样本对损失函数造成的侧重，增加损失函数在正样本中的关注度，避免负样本在网络前向传播中占据主导地位。选择交叉熵作为分类损失函数:

（8）；

若正类为轨道样本，负类为非轨道样本；y _i表示样本的label，正类为1，负类为0；p _i表示样本预测为正类的概率。

(2)结构损失：

从理论上讲，相邻行的轨道网格位置不应突然改变。因此，结构损失函数的设计结合了轨道的几何连续性特征。为了反映训练过程中轨道的几何连续性，引入了结构损失函数。该函数限制了相邻行轨道的预测概率，以确保其位置保持不变：

（9）；

表示第j行的预测值。/>为平滑L1准则，与L2损失相比，它对异常值的敏感性较低，并且在损失趋近于0时能够保证梯度的稳定下降，从而使训练收敛到更高的精度，减少异常波动的发生。

(3)辅助任务：

RGB分割采用交叉熵损失函数，V通道曝光分割采用L1平均绝对误差。

3、下面通过实验对本实施例作进一步说明：

3.1、评估指标：

评估指标指标参考车道线检测评估指标设置:

（1）Accuracy：每帧图片上轨道检测精确度，轨道检测质量描述量，定义如下：

（10）；

式中，和/>分别为轨道检测器在当前帧图片中第i条轨道第j行检测出的轨道估计位置和标签位置，/>为轨道检测正确程度的判断阈值，单位为像素。下文的top1acc，top 2acc，top 3acc为/>取1，2，3时的准确度，即第一准确度、第二准确度和第三准确度。选择不同阈值的Acc代表着在不同容错程度上分析提取性能。通过对不同Acc指标变化幅度的对比能够确定影响提取性能提升的瓶颈是在主干特征网络的特征提取或是在下游任务的识别。从而实现对网络模型参数精准的把控和优化。

(2)F1分数、精确度和召回率：在模型比较中引入了F1分数，以更好地比较不同算法提取轨迹的完整性和准确性。指标F1-Score的计算公式为：

（11）；

其中精度=TP/（TP+FP），召回率=TP/（TP+FN）。精度表示算法检测到的轨迹位置中真实轨迹位置的百分比，召回率表示算法提取的所有轨迹标记位置的百分比。TP为真阳性，FP为假阳性，FN为假阴性。这里将轨迹网格设为正例。

在需要考虑曝光时间的场景下，FPS和Acc两项指标对算法的评价绝不是孤立的。检测数据流实际上会受到曝光时间的制约，若是算法在长曝光数据下检测速度较快、精度较高，但长曝光导致数据的采集速度跟不上，这类算法是“伪实时检测”，无法投入使用。考虑到曝光时间对成像质量的影响，隧道低照度环境下的轨道检测应当在满足车载检测精度下探求最小的曝光时间所采集到图片的最高检测精度。

3.2、实测效果：

为了证明所提出的REVT-Net方法提高了隧道场景中轨道提取的准确性，本实施例为每个模块设计了一个消融实验。在曝光时间为20ms的"地铁数据集 "验证集中测试了不同组合的最优模型。

表2列出了以ResNet为骨干网的不同模块组合的Acc和FPS指标的定量分析。实验分为五组，每组对应表中所列的一行数据。为确保实验的公平性和收敛性，所有组合采用了相同的优化器和学习率调度。然而，对消融模型的某些训练细节，如初始学习率和批量大小进行了相应调整。表中第一行代表了使用建议的行网格轨迹提取公式获得的训练基准。第二行至第四行展示了引入曝光融合特征骨干、结构损失和辅助任务等模块如何提高低照度环境下的轨迹检测精度。值得注意的是，在第四行中加入了曝光融合主干特征及其两个下游辅助任务后，Acc显著提高了5.01%。通过比较表中第四行和第五行，可以确定REVT-Net的性能主要源于在RGB和V通道中引入了曝光融合模块和两个辅助任务。此外，第五行中top3精度指标的提高幅度小于top1和top2精度指标的提高幅度。这说明骨干网络在第四数据集中提取的特征在下游任务分支中得到了更广泛的利用，制约了top3精度的提高。这一实验结果进一步验证了结构损失在约束相邻行轨迹位置关系中的作用，并强调了REVT-Net的通用特征提取能力对分类损失和两个辅助任务的依赖，从表2可以看出所提出的轨道提取网络REVT-Net能够在隧道内的弱光场景下实现优异的轨道提取性能。

为了证明REVT-Net在不同运行环境下的适应性，图9展示了REVT-Net的量化提取性能，图9中的（a）、（b）、（c）涵盖了"地铁数据集"中曝光时间为10ms、20ms和30ms的各种场景。然而，值得注意的是，REVT-Net在直曲线过渡场景中的表现相对低于其他场景。这种差异可归因于轨道检测公式的局限性，当从图像角度将曲率感知为近似水平线时，该公式缺乏对水平轨道的全面描述。因此，在这种特定情况下出现了一些检测和标注错误。

对标注结果进行了交叉验证；但是，轨迹线标注过程中的误差和网络的系统偏差仍然不可避免。特别是近乎水平的轨道线来说，轨道线与行网格之间夹角φ非常小时，实际检测误差会明显放大。相反，当轨迹线和行网格垂直时（φ为90°），引入的系统误差最小。目前对行列网格与轨迹标注之间的角度造成的误差进行的分析也为车载前视摄像头的安装位置提供了理论支持。在安装视觉传感器时，应确保轨迹与行栅之间的夹角φ趋于90°，从而提高轨迹提取的精度。事实上，图像中的水平轨迹线对应的是摄像头拍摄到的线条小半径曲线的透视结果。由于小半径曲线在地铁线路设计中所占比例较小，认为目前在水平位置上的提取误差是可以接受的，表2所示的REVT-Net在低照度轨道检测任务中的综合表现也证明了这一点。

表2

3.3、模型对比：

将REVT-Net与其他算法进行了比较，以说明其是否适合在弱光隧道环境中提取轨迹。针对20毫秒的数据选择了几种算法，并使用相同的随机种子进行数据集划分。从方法分类的角度来看，基于行网格分类的提取在准确性和速度上都明显优于语义分割和传统的边缘检测方法。输入图像大小表示为H×W，行分类检测的网格分割设置为r×（c+1），其中r和c分别比H和W小得多。行检测的引入将分割任务的H×W计算简化为(c+1)×r，大大减少了一条轨道的计算量，提高了检测速度。具体来说，本实施例将1920像素的宽度划分为100个网格用于轨道提取，本实施例的方法的水平分辨率为9像素。值得注意的是，当轨道延伸到更远的地方时，特别是在1920*1200图像中，就两个目标提取轨道而言，公式（5）对轨道仍然是准确的。REVT-Net的类别确定计算量为1.809×105，而分段检测数为6.912×106；这相当于REVT-Net以近四十分之一的计算量提高了20%的精度。

实验比较了REVT-Net的各项指标，定量指标分析如表3所示。对不同方法设计的进一步比较表明，REVT-Net在Acc指标组、精确度、召回率和F1-Score方面的表现均超过90%。在弱光隧道场景中，REVT-Net的准确率和F1-Score分别达到了92.58%和92.33%的高水平。REVT-Net在识别时间上的损失主要是由于将多尺寸特征融合模块引入主干网络后进行了特征融合。ECF中的两个并行特征提取流相当于引入了两倍的图像特征提取计算量，这是FPS指标较低的主要原因。但如表2所示，ECF的引入实现了图像曝光域的提取与融合，增强了REVT-Net的弱光场景特征感知能力，引导了轨迹提取任务的性能提升。与低照度场景中轨迹提取精度的提高相比，ECF所带来的PFS指标的降低是显著的。值得注意的是，虽然REVT-Net的FPS指标有所下降，但88FPS的检测速度仍然超过了20毫秒曝光时间下的数据采集帧数，满足了实时检测的要求。此外，由于Canny和Sobel等边缘算子对复杂照明场景的适应性较差，以及曲线拟合数学模型的偏差，传统方法的整体提取性能不足。相比之下，虽然语义分割方法在近处的轨迹提取方面表现良好，但由于轨迹形状细长、边缘模糊，远处的轨迹提取能力不足。实验验证了REVT-Net在低照度场景中提取轨迹的优越性和竞争力，在提取精度和检测速度之间有更好的权衡，更适合隧道低照度场景中的轨迹检测任务。

表3

3.4关于曝光时间和信噪比：

使用迁移学习技术对曝光时间为10ms和30ms的图像数据进一步微调模型。对于直线场景，30ms时的性能与20ms时相当，对于其他场景则略有提高。然而，除了光线充足的平台环境外，所有场景在10ms时的性能都有不同程度的下降。10毫秒数据性能下降的原因可能是在低照度场景中，由于曝光时间不足，传感器彩色滤光片阵列（CFA）捕获的光子较少，导致图像信噪比（SNR）较低。

为了验证图像中的噪声对轨迹提取性能的影响，并评估REVT-Net的抗噪能力，在测试集中的10ms、20ms和30ms数据中添加了方差为0.001和0.01的高斯噪声，以模拟在高ISO值下的拍摄。方差为0.001的模型性能平均检测精度保持稳定，表明模型具有一定的抗噪能力。方差为0.01时的性能在处理过程中对数据进行了归一化处理，但由于图像信噪比较低，导致图像细节严重丢失，因此轨迹提取性能急剧下降。对精度下降的位置进行检查后发现，误差主要源于远处轨迹的定位错误，由于透视过程的压缩，远处轨迹在图像中所占的比例相对较小，受噪声的影响较大。

因此，可以得出结论，影响弱光条件下轨道提取性能的关键因素是图像的信噪比。不过，在下面的讨论中，本实施例想研究一下轨道提取是否需要降噪。在弱光环境下，图像噪声是视觉传感器不可避免的限制因素。以往的研究主要集中在降噪方面，以提高图像质量，从而改善下游任务的性能。然而，对于像轨道提取这样的精确检测任务，通常涉及来自车载前视传感器的高分辨率图像，将降噪作为预处理步骤并不省时省力，尤其是在必须进行实时轨道检测的情况下。此外，降噪可能会加剧图像边缘不希望出现的模糊，从而对轨道提取产生不利影响。此外，还需要考虑现有降噪算法对低照度场景中过滤噪声的敏感性。在某种程度上，认为降噪也会过滤掉轨迹的关键信息。相比之下，REVT-Net采用了一种不同的方法，即接受原始传感器数据而不进行降噪处理。相反，REVT-Net通过曝光融合模块，结合V信道，增强了在弱光环境下对非噪声特征的感知。图10显示了在20毫秒曝光时间的图像中引入高斯去噪前后模型各部分的检测时间消耗。结果显示，降噪并不能显著提高轨迹提取性能，反而会造成额外的时间损失。REVT-Net遵循当前自动驾驶领域端到端检测架构的发展趋势，允许在算法内部进行联合参数优化。因此，如果输入数据的信噪比已经确定，而且实时性是关键因素，那么就没有必要对输入数据进行降噪处理，除非能引入一种极其快速有效的降噪方案。此外，为了提高低照度场景下的轨道检测精度，还提出了另外两种方法：使用具有高动态范围传感器的相机，以提高低照度拍摄的细节表现；采用图像超快速预处理方法，以提高轨道区域图像的信噪比。这两种方法都有助于在数据采集过程中以更短的曝光时间积累有效信息。这就提高了信噪比，为在弱光场景中提高轨道提取精度和速度上限创造了条件。

3.5、实验细节：

3.5.1、数据集划分：

Metro数据集中80%曝光时间为20ms的数据用于训练，另外20%用于验证。此外，10毫秒和30毫秒的数据用于验证和微调网络泛化性能。

3.5.2、数据增强：

在列车运行过程中，车辆坐标系中同时存在沿x、y和z轴的平移和旋转耦合运动。车体的运动在图像坐标系中反映为围绕轨道上消失点的水平移动和旋转。因此，本实施例在训练数据中加入了沿u轴10像素范围内的随机平移和围绕图像中心π/100弧度范围内的随机旋转。

3.5.3、训练细节：

本实施例中的模型是在一台配有RTX A5000 Tensor Core GPU（24G）、Intel XeonW-2265和64G内存的计算机上进行训练的。训练过程中使用的深度学习框架是PyTorch1.13，CUDA 11.6用于GPU加速。混合精度训练用于提高计算效率和加速训练过程。Adam优化器的动量值为0.9。辅助任务仅在训练过程中激活以提高特征提取的准确性，输入图像大小为800×288像素。

本实施例提出了一种针对隧道环境的端到端轨迹提取方案，无需预处理和后处理。本实施例的主要目标是开发一种算法，用于感知低对比度图像中因光照不足而产生的细节变化，同时保持实时轨道提取能力。本实施例的主要贡献概述如下。

（1）提出了一种针对地下隧道低照度场景的轨迹提取算法REVT-Net。在特征提取方面，REVT-Net引入了多尺度融合模块和两个辅助任务，以提高低照度图像的特征提取能力。在任务代理方面，REVT-Net将轨迹检测任务代理为基于行网格的分类任务，大大减少了实时提取所需的计算量。

（2）通过改变图像曝光时间和作业场景，测试了REVT-Net的综合性能，进一步分析了影响轨迹提取任务性能的关键因素。因此，提出了提高隧道低照度场景下轨迹提取性能的策略。

（3）消融实验旨在量化各模块在低照度场景下轨迹提取性能的提升。REVT-Net的提取性能最高，达到92.58%。

以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims

1.一种基于视觉的地铁隧道低照度场景下实时轨道提取方法，其特征在于，包括以下步骤：

在步骤1中，对采集的数据标注格式具体如下：

第i条轨道线的第j个标记点p(u,v)的表达式如下：

p(u,v)＝(rails[i][j],h_samples[j])

rails是一个二维数组，对应于图像中轨道在v坐标h_samples处的u坐标，h_samples的值表示固定的v坐标提取位置；

式中v₁(u)和v₂(u)分别代表两名隧道巡检人员标签用三次函数拟合的表达式，τ_label为根据经验确定的阈值；

步骤2、将数据图像导入融合了曝光特征的骨干提取网络对地铁隧道低照度场景下的轨道进行实时提取；

步骤2中，在骨干网络中引入多尺度特征融合模块形成融合了曝光特征的骨干提取网络；

所述融合了曝光特征的骨干提取网络还包括辅助任务分支，在训练阶段，利用所述辅助任务分支更新骨干网络的权重；

在步骤2中，融合了曝光特征的骨干提取网络对地铁隧道低照度场景下的轨道进行实时提取具体如下：

将轨迹检测转化为基于行网格的分类，即将检测区域内的连续轨迹提取离散化为一系列行网格分类；如果检测到的最大轨迹数为2，则将网格划分为r行和c列；假设x₅是融合曝光特征的图像全局特征，f^ij是第j行第i条轨迹位置的分类器；轨迹检测用以下表达式描述：

P_i,j,:＝f^ij(x₅),s.t.,i∈[1,2],j∈[1,r]

式中P_i,j,:＝f^ij(X)为(c+1)维向量，代表着对第i条轨道线、第j行中c+1个单元格的轨道位置检测概率，在c列外增加一列无轨道标志位，代表该行不存在待检测的轨道；

onehot(T_i,j,:)是采用独热编码下第i条轨道线、第j行的轨道位置，那么基于消失点行分类检测的目标函数可等价为：

式中L_sfl为softmax激活下的损失函数，输入图像大小记为H×W，行分类检测的网格分割设为r×(c+1)，引入行检测将分割任务的H×W计算简化为(c+1)×r。

2.根据权利要求1所述的基于视觉的地铁隧道低照度场景下实时轨道提取方法，其特征在于，所述融合了曝光特征的骨干提取网络包括四个并行残差模块和多尺寸融合层，所述多尺寸融合层将四个并行残差模块末尾两个并行的残差分支合并；多尺寸融合层的融合过程具体如下：

W_r＝δ(W*conv_x-expo+b)

其中，w₁和w₂是曝光特征融合模块的映射权重，表示元素相乘，W_r是一个使用sigmoid激活的权重映射模块，W和b是通过反向传播更新的参数。

3.根据权利要求1所述的基于视觉的地铁隧道低照度场景下实时轨道提取方法，其特征在于，所述融合了曝光特征的骨干提取网络的训练过程中，通过反向传播优化网络参数，使损失函数最小化，所述损失函数如下：

minL_total＝min(L_cls+αL_struc+γL_{MAE_V})

式中α，γ为损失权重系数。