CN112351928A - 基于轨道分段的铁路障碍物检测的方法与系统 - Google Patents

Abstract

公开了基于前视电光成像、新颖的系统架构以及新颖的场景分析和图像处理的用于轨道和障碍物检测的系统和方法。该处理解决方案利用深度学习语义场景分段方法，该方法基于确定前视影像中火车的铁路路径的轨道和道岔状态检测神经网络，以及分析确定的铁路路径附近并检测即将到来的障碍物的物体和障碍物检测和追踪神经网络。

Description

基于轨道分段的铁路障碍物检测的方法与系统

技术领域

本发明涉及在铁路应用中用于轨道分段和障碍物检测以用于避免碰撞和状况感知的系统和方法的领域，并且更具体地，涉及基于计算机辅助成像和基于认知处理的技术。

背景技术

在典型的电光计算机辅助成像技术中，产生并处理区域或场景的实时成像，以便对其进行分析并从中提取期望的数据。

例如，在铁路安全和避免碰撞的应用中，各种电光传感器被用于勘测和监视铁路场景。例如，可以使用路边传感器和/或火车上安装的(例如机车)传感器。这种安装在火车上的前视传感器用于实时勘测铁路场景，从而检测轨道和/或检测/分类检测到的轨道上或附近的潜在障碍物。这样的功能以及相关的警报和警告可以用于辅助火车的驾驶员操作并提供用于火车运行的安全功能(例如，用于自主火车运行)。

已知的火车应用可以例如包括城市火车(例如，电车)、干线火车、高速火车、货运火车和使用货运机车的道岔站业务。例如，各种各样潜在的受关注的轨道上的障碍物可包括人类、动物、车辆、火车、货车、人造物体、自然碎片(例如倒下的树干)。除了在轨道上的安全保障问题外，还有一个自杀行为的问题，需要对即将发生的自杀事件作出迅速反应和分析。

由于此类感测和图像帧/场景分析以及快速响应此类即将发生的碰撞所需的范围扩大且天气条件多样，因此基于电光的白天和黑夜图像帧的铁路场景中物体和障碍物的检测和分类可能具有挑战性(例如，生成警报、降低火车速度、及时停止火车)。

发明内容

本发明的一个方面可以提供轨道和障碍物检测的方法。该方法可以包括：从安装在火车机车上的至少一个成像传感器接收多个图像帧，其中，至少一个成像传感器面向火车的行驶方向；对于多个图像帧的子集的每个图像帧，确定包括各个图像帧和历史元素的输入数据结构，其中，历史元素可以包括针对在各个图像帧之前的图像帧确定的分段掩码预测；以及基于子集的每个图像帧的输入数据结构，并使用轨道和道岔状态检测神经网络(RSSD NN)，确定各个图像帧的分段掩码预测，其中，分段掩码预测可以至少包括火车沿其行驶的当前铁路路径。

在一些实施例中，分段掩码预测还可以包括沿着当前铁路路径的至少一个岔道，该至少一个岔道表示沿着当前铁路路径的相应的至少一个道岔的状态。

在一些实施例中，该方法可以进一步包括在推断RSSD NN之前对其进行训练，该训练基于训练图像帧的训练子集并且可以包括预定数量的训练周期，其中，每个训练周期可以包括：对于训练子集的每个训练图像帧，确定包括各个训练图像帧和训练历史元素的训练输入数据结构，其中，训练历史元素可以包括针对在各个训练图像帧之前的训练图像帧确定的训练分段掩码预测；基于训练子集的每个训练图像帧的训练输入数据结构，并使用RSSD NN确定各个训练图像帧的训练分段掩码预测；将针对训练子集的每个训练图像帧确定的训练分段掩码预测与训练图像帧的至少一个预定的带注释的掩码进行比较；以及基于其比较，更新针对训练子集的每个训练图像帧确定的训练分段掩码预测。

在一些实施例中，该方法可以进一步包括增强在预定数量的周期的至少一个训练周期期间确定的训练分段掩码预测，其中，训练分段掩码预测的增强可以包括以下至少一个：将整个训练分段掩码预测归零；将训练分段掩码预测的预定部分归零；以及用保留当前铁路路径的形状和位置并且忽略当前铁路路径和沿当前铁路路径的至少一个岔道之间的区别的指定标签替换训练分段掩码预测的预定部分。

在一些实施例中，该方法可以进一步包括基于针对各个帧确定的分段掩码预测并使用物体和障碍物检测和追踪神经网络(OODT NN)，在子集的至少一个图像帧中确定当前铁路路径上或当前铁路路径附近的至少一个物体/障碍物。

本发明的另一方面可以提供一种用于轨道和障碍物检测的系统，该系统可以包括：至少一个成像传感器，安装在火车机车上，面向火车的行驶方向，以获得多个图像帧；轨道和道岔状态检测(RSSD)模块，可以包括RSSD神经网络(RSSD NN)，RSSD模块被配置为：对于多个图像帧的子集的每个图像帧，确定包括各个图像帧和历史元素的输入数据结构，其中，历史元素包括针对在各个图像帧之前的图像帧确定的分段掩码预测；以及基于子集的每个图像帧的输入数据结构，并使用RSSD NN，确定各个图像帧的分段掩码预测，其中，分段掩码预测至少包括火车沿其行驶的当前铁路路径。

在一些实施例中，其中，分段掩码预测还包括沿着当前铁路路径的至少一个岔道，该至少一个岔道表示沿着当前铁路路径的相应的至少一个道岔的状态。

在一些实施例中，系统可以进一步包括物体和障碍物检测和追踪模块，该物体和障碍物检测和追踪模块可以包括OODT神经网络(OODT)，其中，OODT模块被配置为基于针对各个帧确定的分段掩码预测并且使用OODT NN在子集的至少一个图像帧中确定当前铁路路径上或当前铁路路径附近的至少一个物体/障碍物。

在一些实施例中，至少一个传感器是视觉波段成像传感器和热红外传感器中的至少一个。

在一些实施例中，至少一个传感器是窄视场成像传感器和宽视场成像传感器中的至少一个。

本发明的这些、附加和/或其他的方面和/或优点在下面的详细描述中阐明；从详细描述中可能可以推断出；和/或可通过实施本发明来学习。

附图说明

为了更好地理解本发明的实施例并展示如何实施本发明，现在将仅通过示例的方式参考附图，在附图中，相同的附图标记始终表示相应的元件或部分。

在附图中：

图1A是根据本发明的一些实施例的用于安装在诸如火车的车辆上的用于轨道和障碍物检测(ROD)的系统的示意图；

图1B是根据本发明的一些实施例的由用于轨道和障碍物检测的系统的成像传感器以及由轨道和道岔状态检测(RSSD)模块生成的分段掩码预测所获得的图像帧的示例；

图2是根据本发明的一些实施例的用于轨道和障碍物检测(ROD)的系统的示意性框图；

图3A是根据本发明的一些实施例的安装在火车上用于长距离轨道和物体/障碍物检测的窄视场成像传感器(NFS)的窄视场示意图；

图3B是根据本发明的一些实施例的安装在火车上的用于短距离轨道检测的宽视场成像传感器(WFS)的宽视场的示意图；

图3C示出根据本发明的一些实施例的安装在火车上的窄视场成像传感器(NFS)和宽视场传感器(WFS)的组合的窄视场和宽视场的俯视图的示例；

图3D示出根据本发明的一些实施例的两个各自的宽视场和窄视场，其描绘了将WFS短距离覆盖范围与NFS长距离覆盖范围组合以改进物体/障碍物检测和避免碰撞的效用；

图4A示出各种轨道岔道、交分和交叉的示例；

图4B示出轨道道岔岔道的示例，其由前视的车载成像传感器所构图，并且确定该道岔以外火车可选路径的轨道轮廓部分；

图5A、图5B、图5C和图5D是根据本发明的一些实施例的用于轨道和道岔状态检测(RSSD NN)的用于识别火车的当前铁路路径的训练和推断神经网络的各种方法的示意图；

图6A所示为道岔横移后的轨道场景；

图6B示出包括火车路径的图形掩码以及具有各个岔道的两个即将到来道岔的示例性的铁路场景；

图7A、图7B和图7C是根据本发明的一些实施例的用于轨道和障碍物检测的神经网络(RSSD NN)的离线训练阶段的流程图；

图8是根据本发明的一些实施例的用于轨道和障碍物检测的神经网络(RSSD NN)的前向推理过程的流程图；

图9是根据本发明的一些实施例的用于轨道和物体检测的系统的第一特定实施例的示意性框图；

图10是根据本发明的一些实施例的用于轨道和物体检测的系统的第二特定实施例的示意性框图；

图11示出根据本发明的一些实施例的应用来自VIS成像传感器的图像帧的物体和障碍物检测和追踪神经网络(OODT NN)的两种实施例的示例；

图12是根据本发明的一些实施例的用于在图像帧的感兴趣区域(ROI)内应用的物体和障碍物检测和追踪神经网络(OODT NN)的过程的流程图；

图13是根据本发明的一些实施例的用于融合来自可见波段(VIS)传感器和热红外(TIR)传感器的物体和障碍物检测和追踪神经网络(OODT NN)边界框的过程的流程图；

图14是根据本发明的一些实施例的包括两个感兴趣区域(ROI)实例(第一个用于短距离检测，而第二个用于长距离检测)的物体和障碍物检测神经网络(OODT NN)的过程的流程图；

图15示出根据本发明的一些实施例的轨道和道岔状态检测神经网络(RSSD NN)的输出的示例；

图16A和图16B分别示出示出根据本发明的一些实施例的典型的车站场景以及相应的轨道和障碍物检测解决方案；以及

图17是根据本发明的一些实施例的用于驾驶员支持、防止维护和大数据支持的系统的示意性框图。

应当理解，为了说明的简单和清楚起见，图中所示的元件不一定按比例绘制。例如，为了清楚起见，一些元件的尺寸可能相对于其他元件被放大。此外，在认为适当的情况下，可以在附图之间重复附图标记以指示相应或相似的元件。

具体实施方式

在以下描述中，描述了本发明的各个方面。为了说明的目的，阐述了特定的配置和细节以便提供对本发明的透彻理解。然而，对于本领域的技术人员来说，显然可以在没有本文所呈现的具体细节的情况下实践本发明。此外，可以省略或简化众所周知的特征，以免模糊本发明。特别参考附图，要强调的是，所示出的细节仅是示例性的，并且仅出于本发明的说明性讨论的目的，并且出于提供被认为是对本发明的原理和概念方面的最有用和易于理解的描述的原因而呈现。在这方面，没有试图以比基本理解本发明所需的更详细的方式展示本发明的结构细节，附图的描述使本领域技术人员清楚地认识到如何在实践中体现本发明的几种形式。

在详细解释本发明的至少一个实施例之前，应当理解，本发明的应用不限于在以下描述中阐述或在附图中示出的构造细节和部件的布置。本发明适用于可以以各种方式实践或执行的其他实施例以及所公开的实施例的组合。同样，应当理解，本文采用的措词和术语是出于描述的目的，而不应被认为是限制性的。

除非另有特别说明，从以下讨论中显而易见的是，应理解，在整个说明书讨论中，利用诸如“处理”、“计算(computing)”、“计算(calculating)”、“确定”、“增强”等术语，指的是计算机或计算系统或类似电子计算设备的操作和/或处理，该操作和/或处理将计算系统的寄存器和/或存储器中表示为物理量(例如电子量)的数据进行处理和/或转换为类似地表示为计算系统的存储器、寄存器或其他此类信息存储、传输或显示设备中的物理量的其他数据。所公开的模块或单元中的任何一个可以至少部分地由计算机处理器来实现。

总体上，公开了基于前视电光成像、新颖的系统架构以及新颖的场景分析和图像处理的用于轨道和障碍物检测的系统和方法。该处理解决方案可以利用深度学习语义场景分段方法，该方法基于可以确定前视影像中火车的铁路路径的轨道和道岔状态检测神经网络(RSSD NN)，以及可以分析确定的铁路路径附近并检测即将到来的障碍物的物体和障碍物检测和追踪神经网络(OODT NN)。在各种实施例中，可以基于来自RSSD NN和/或来自OODTNN的输出来生成警报。

在各种实施例中，RSSD NN和/或OODT NN可以接近检测到的和/或分类的物体，从而启用各种短期和长期机器学习过程，从而提供RSSD NN和/或OODT NN的微调。例如，作为短期的机器学习适应，在隔离范围内的物体分类可能要求降低火车的速度，但是此后不久，当同一物体在火车接近时被重新分类时，这种决定可能会被逆转或修改。在另一示例中，长期机器学习过程可以更新处理算法，使得可以改进和调整这种错误的决策。

在各个实施例中，系统和方法可以使所有成像传感器以及可选地非成像传感器集成在状况感知功能中，其可以提供场景理解能力，从而为火车驾驶员提供在轨决策支持和/或无人驾驶火车的全自动决策。所公开的系统和方法还可以提高火车驾驶员在铁路场景中视觉感知远处物体和潜在障碍物的能力，和/或加快驾驶员对各种操作条件进行检测、分类和响应的感知过程。因此，所公开的系统和方法可以显著减少火车驾驶员的工作量。

在一些实施例中，所公开的系统通常可以包括包含一个或多个成像传感器(例如，视觉波段或热红外传感器)的成像装置。该系统可以包括一个或多个图像处理单元，用于处理由成像传感器获得的图像。这样的处理单元可以包括被设计为由处理单元执行的计算机、控制器、DSP、GPU和软件模块，或者专用的硬件模块(例如，IC、ASIC、FPGA)。在一些实施例中，系统可以包括包含用户界面和显示监视器(例如，具有或不具有触摸屏界面)的控制和显示单元。

不同的感兴趣的物体可能给行驶的火车带来变化的挑战和决定。固定和移动的人、动物和车辆在行驶的火车中可能需要例如不同的决策和反应。诸如泥浆、水、水坑、雪、落叶和树叶等自然影响以及天气和大气条件可能对任何传感和分析过程以及相应的决策过程构成挑战。轨道故障可能包括，例如，轨道断开和轨道段丢失。诸如弯曲的轨道造成的轨道阻塞以及轨道附近的背景场景(例如桥梁、桅杆等)等路边影响可能会产生错误的检测和分类。因此，本发明的一些实施例可以针对不同的感兴趣物体利用(例如，分别地或并行地)不同的处理方案，以解决物体特性的这种多样性。例如，如果检测到的物体的尺寸大于预定义的尺寸，则系统/方法可能会发出“轨道终止警报(EOR)”。当有一个故障道岔卡在向右/向左方向的中间时，这可能也很重要。在另一示例中，当在具有/不具有缓冲器停止器的情况下接近轨道的末端时，系统/方法可以提供可以触发紧急制动的EOR警报。

在一些实施例中，所公开的系统和方法可以使得能够调节其参数(例如，检测概率(PD)、分类概率(PC)、错误检测率(FDR)、错误分类率(FCR)和响应时间(RT))，从而在满足性能要求的同时，在解决感兴趣的不同物体和轨道状况方面为检测和分类提供灵活性。

现在参考图1A，其是根据本发明的一些实施例的用于安装在火车90上的用于轨道和障碍物检测(ROD)的系统100的示意图。

还参考图1B，其是根据本发明的一些实施例的由用于轨道和障碍物检测的系统100的成像传感器110以及由其轨道和道岔状态检测(RSSD)模块120生成的分段掩码预测120a获得的图像帧110a的示例。

根据一些实施例，系统100可以包括至少一个成像传感器110、轨道和道岔状态检测(RSSD)模块120以及物体和障碍物检测与追踪(OODT)模块130。

根据一些实施例，成像传感器110可以被安装在火车90的机车92上，使得成像传感器110可以面向火车90的行驶方向。如图1所示，成像传感器110可以安装在例如升高的位置处，以获得更好的前视性能。

成像传感器110可以获取行驶的火车90前方的铁路场景的多个图像帧。由此，图像帧传感器110可以向火车90的驾驶员和/或第三方(例如主管或控制室)提供铁路场景的可视化。可以选择成像传感器110以在所有天气条件下和极端环境条件下昼夜运行。

在各个实施例中，成像传感器110可以是宽视场传感器(WFS)和/或窄视场传感器(NFS)。在一些实施例中，成像传感器110可以是可见波段传感器(例如，在下文中可互换地称为“VIS传感器”)。例如，成像传感器110可以是日光摄像机，例如CCD、CMOS和/或超低光CMOS、VIS、NIR、SWIR、MWIR、LWIR或任何其他具有极低读出噪声和极高的动态范围等的成像光谱设备。在一些实施例中，成像传感器110可以是热红外传感器(例如，在下文中可互换地称为“TIR传感器”)。例如，成像传感器110可以是冷却的或不冷却的热像仪，例如长波红外相机等。

根据一些实施例，RSSD模块120可以从成像传感器110接收图像帧。RSSD模块120可以被配置为对图像帧进行动态分段，从而确定火车90行驶或将要行驶的轨道、安全区、道岔、道岔的状态和当前铁路路径中的至少一个，并生成图像帧的相应的分段掩码预测。可以例如通过利用深度学习手段和方法诸如使用神经网络(例如，卷积神经网络)来执行动态分段。例如，RSSD模块120可以包括RSSD神经网络(RSSD NN)122，其被配置为执行图像帧的动态分段。

例如，图1B示出由系统100的成像传感器110所获得的图像帧110a以及由系统100的RSSD模块120生成的其分段掩码预测120a的示例。分段掩码预测120a示出例如由RSSD模块120检测/确定的轨道120b和围绕轨道120b的安全区120c。

根据一些实施例，OODT模块130可以从成像传感器110接收图像帧。OODT模块130可以被配置为执行图像帧的动态分段，从而确定轨道上或轨道附近的物体和/或障碍物和/或追踪检测到的物体和/或障碍物的移动方向。可以例如通过利用诸如神经网络(例如，卷积神经网络)的深度学习方法来执行分段。例如，OODT模块130可以包括被配置为执行图像帧的动态分段的OODT神经网络(OODT NN)132。物体和/或障碍物可以例如包括车辆、机车、火车、货车、人、动物等。

各种静止和移动物体可能会出现在安装在移动或静止火车90上的前视成像传感器110的成像中。当这些物体位于火车轨道上或轨道附近时，可能会成为潜在的障碍。因此，准确、可靠地指定和分段火车轨道图像帧区域的能力对于实现这种避免碰撞的高性能非常重要。

铁路轨道通常由具有多个交叉口和道岔的复杂轨道网络组成(例如，左向岔道、右向岔道、3向岔道、单式交分(slip)和复式交分)。虽然交叉路口是固定的且不会改变，但道岔是根据离散道岔状态更改火车路径的手段。在给定的时间，功能性道岔可能仅处于一种离散状态(除了在状态之间进行道岔转换的短暂时间之外)。因此，在确定沿给定轨迹移动的火车的铁路路径时，需要在前视成像帧中检测火车所处的轨迹，以及确定即将到来的道岔的位置及其各自的道岔状态，从而预测空间和时间轴上的位置，以应对潜在的轨迹变化。

在前视成像中，在给定路径上可能会有多个相应的紧急道岔，并且实时确定当前预设路径的能力对于前向预测与确定路径上或附近的检测到的物体可能发生的或即将发生的碰撞非常重要。沿预测路径的道岔状态可以在确定可预见的路径期间(例如，通过RSSD模块120)电气地和长距离地(例如，从控制中心)或手动地更改。在足够长的范围内光学检测道岔及其相应状态的能力可能由于成像传感器110的分辨率、轨道对比度、散落的碎屑或道岔附近的其他遮挡效果(例如，树叶、沙子、雪)、视线限制等而受到限制。因此，可能需要RSSD模块120映射当前轨迹，检测沿轨迹的道岔，并为每个这样检测到的道岔确定其各自的道岔状态。在某个给定的时间点，较近的道岔可能是可检测的，但是对于这些检测到的道岔中的某些，可能要等到火车靠近时才确定其各个道岔状态。因此，需要动态变化的映射RSSD模块120，其随着火车沿所述路径向下接近所述道岔而反映这种随时间变化的映射。

因此，需要对轨道场景进行标记的动态映射/分段来表示以下内容：分类为背景的像素区域(例如，标记为“0”)，分类为当前轨迹的像素区域(例如，标记为“1”)，分类为道岔的像素区域(例如，标记为“2”)，由于尚未确定其道岔状态因此尚未确定为超出所述道岔的有效轨迹的被分类为轨迹岔道的像素区域(例如，标记为“3”)，以及基于成功的道岔状态确定被分类为超出给定道岔的轨迹岔道(定义为有效轨迹)的像素区域(例如，标记为“4”)。

可以基于场景复杂度和系统操作逻辑来定义各种标记配置。例如，可以用未(或尚未)确定为有效轨迹的背景、有效轨迹和岔道轨迹来定义3标签配置。这种动态映射/分段可以随后在确定障碍物和即将发生的碰撞中与物体检测相关联。

根据一些实施例，使用VIS成像传感器、TIR成像传感器或VIS成像传感器和TIR成像传感器中的至少一个或传感器(例如，成像传感器110)的任何其他组合获得的铁路场景前视图像帧的动态映射/分段可以通过将深度学习神经网络应用于其图像帧来实现(例如，通过RSSD NN 122)。神经网络的应用可以包括神经网络的离线训练阶段，然后是神经网络的在线前向推断。

在一些实施例中，可以提供到RSSD NN 122的新颖的输入数据结构，其中，输入可以包括唯一的反馈分段掩码。输入到RSSD NN 122的新颖的数据结构可以包括两层图像帧表示，包括由成像传感器110和历史元素获得的铁路场景的当前图像帧(例如，彩色铁路场景的灰度)。历史元素可以例如是针对在当前图像帧之前的图像帧确定的分段掩码预测。

该过程可以遵循用于视频分段的神经网络解决方案的一般路线，其中，连续视频图像帧序列是神经网络的输入，其不同之处在于当前方法将先前处理的历史元素并入了输入数据结构。根据本发明的一些实施例，将历史元素与当前图像帧时间一起用作输入数据结构的一部分是新颖的元素，其中，除了原始图像帧之外，该解决方案仅使用一个额外的数据层。输入数据结构的历史元素将过去图像帧的信息封装在单个表示中，与使用短期运动计算或保留由神经网络方法提供的几个实际先前图像帧的当前光流方法不同。

使用历史元素的另一个优点是与火车速度相比具有相对较高的帧速率，从而导致当前图像帧与掩码历史之间的高度相关性，从而有助于显著改善当前帧的分段性能。

使用历史元素的另一个优点是历史元素可以将道岔状态信息馈送到网络中。这在机车(或火车)处于或靠近道岔的情况下获取新图像帧的情况下尤其重要。没有任何过去道岔状态记忆的系统将无法从各个道岔岔道中区分出正确的火车路径。

一旦RSSD模块120提供了更新且实时火车路径(例如，基于RSSD NN功能122确定的分段图像帧确定的)，OODT模块130可以应用潜在的障碍物检测处理的其他方法来避免碰撞和事故。在一些实施例中，OODT NN功能132可以应用于检测图像帧中的物体，并且其物体检测可以在确定它们为潜在障碍物并提供相应警报的情况下与分段探路者输出在空间上相关联。另一个优选实施例是，OODT NN功能132增加了用于非最大悬浮(NMS)和追踪的附加后处理。

在一些实施例中，铁路场景的前视图像帧的动态映射/分段可以包括例如多光谱组合由VIS成像传感器和TIR成像传感器或任何其他传感器(例如LIDAR)通过预处理的图像帧融合映射获得的图像帧，以在历史掩码增强之前产生两层图像帧。

在一些实施例中，图像帧的动态映射/分段可以包括多光谱组合由VIS成像传感器和TIR成像传感器通过预处理图像帧融合映射获得的图像帧，以产生输入到OODT NN功能132的两层图像帧，然后进行物体定位。

在一些实施例中，单个神经网络功能可以通过共享相同的特征深层同时为每个分段和检测功能确定和定义不同的加权功能，来组合RSSD NN122和OODT NN 132。

在一些实施例中，图像帧的动态映射/分段可以为VIS成像传感器和TIR成像传感器中的每一个提供不同的功能流程图配置。

现在参考图2，其是根据本发明的一些实施例的用于轨道和障碍物检测(ROD)的系统200的示意性框图。

根据一些实施例，系统200可以例如通过移动的或静止的火车用于轨道和障碍物的检测。例如，系统200可以类似于以上关于图1A描述的系统100。

在一些实施例中，系统200可包括至少一个成像传感器202。成像传感器202可以类似于以上关于图1A描述的成像传感器110。成像传感器202可以例如包括高分辨率或低分辨率和高灵敏度CMOS VIS波段传感器、大幅面TIR波段传感器(WFOV，NFOV)、WFOV VIS耦合传感器(例如，用于道岔站应用)、TIR波段或光控悬链线传感器等。

在一些实施例中，系统200可以包括一个或多个附加传感器204。附加传感器204可以例如包括诸如GPS、INS、加速度计的动态传感器和/或诸如温度、湿度和压力传感器的环境传感器。

在一些实施例中，系统200可以包括成像控制和处理模块206。成像控制和处理模块206可以被配置为例如，自动控制成像传感器202、分析和控制成像传感器202的动态范围、分析和减少成像传感器202的噪声、分析并稳定成像传感器202的视线、分析和校正图像帧焦点成像传感器202、超分辨率(例如，用于实现提高的分辨率的机械机制)等。

在一些实施例中，系统200可以包括传感器处理模块208。传感器处理模块208可以被配置为例如执行校准和/或校正附加传感器204的读数中的误差。

在一些实施例中，系统200可以包括轨道和道岔状态检测(RSSD)模块210。RSSD模块210可以类似于以上关于图1A描述的RSSD模块120。RSSD模块210可以从成像传感器202接收图像帧，并对图像帧进行分段，从而确定图像帧中的轨道、安全区、道岔和道岔状态中的至少一个，和/或基于其分段确定火车90沿其行驶或要行驶的铁路路径。

在一些实施例中，系统200可以包括物体和障碍物检测和追踪(OODT)模块212。OODT模块212可以类似于以上关于图1A描述的OODT模块130。OODT模块212可以从成像传感器202接收图像帧并执行图像帧的分段，从而确定轨道上或轨道附近的物体和/或障碍物和/或追踪其物体和/或障碍物。

在一些实施例中，系统200可以包括内置测试(BIT)模块214。BIT模块214可以被配置为验证系统200的至少一些模块的性能，包括成像和感测、照明和热条件、大气和视线动态和障碍。BIT模块214可以依赖于例如由成像传感器202构图的铁路场景，该场景可包括细长的参考结构(例如，轨道)，其在VIS和TIR光谱波段中均提供了用于内置测试的参考。BIT模块214还可以依赖于例如基于轨道的大气分析、辐射度(例如，作为范围的函数)、可见性(例如，作为范围的函数)、透射率(例如，作为范围的函数)、雾(例如，作为范围的函数)、雾度(例如，作为范围的函数)、雨/雪(例如，作为范围的函数)、湍流(例如，作为范围的函数)、散射(例如，作为范围的函数)、振动模糊(例如，作为范围的函数)、运动模糊(例如，作为范围的函数和/或角度的函数)、景深–焦点(例如，作为范围的函数)。

在一些实施例中，系统200可以包括驾驶员辅助模块216。驾驶员辅助模块216可以被配置为检测和/或追踪信号、识别/追踪标志、将信号/标志与安全区相关联、利用和更新GIS、执行障碍物分析、定义机车中断策略、执行机车安全速度分析(例如GIS实时信息，诸如当前和即将来临的铁路曲率半径，以及影响安全速度控制的其他铁路信息)。

在一些实施例中，系统200可以包括显示处理模块218。显示处理模块218可以被配置为融合来自不同成像传感器202(例如，WFS、NFS、VIS和/或TIR传感器)的图像帧，以自动调整图像帧等的亮度和/或对比度。

在一些实施例中，系统200可以包括适于处理警报、状态和对应用进行控制的模块220。

在一些实施例中，系统200可以包括GIS处理模块222。GIS处理模块222可以被配置为利用有助于系统更好地响应各种状况的地理信息执行识别处理。此类地理信息可以从以下项派生和/或比较和/或更新为以下项或从以下项更新：地理位置模块(GLM)(包括GPS<INS、已知数据库等)、使用地标的基于图像帧的导航(IBN)(可实现更精确的定位以及数据库和/或数字地图的创建和/或更新)、地理信息模块(GIM)和3D模块(3DM)，所有这些项都为轨道检测和物体检测解决方案提供重要的实时数据。GLM可以例如提供实时位置和/或导出的速度信息，其可以用于监视各种火车安全标准。GLM与GIM信息一起，例如可以提供有关铁路布局和3D地形数据、路边基础设施设备(例如，信号杆、电气设备、轨道岔道和道岔)、十字路口等的实时3D地理信息。这些可以被馈送到3DM中以生成3D信息的摄像机视点，并且可以进一步将其用于基于地理的轨道地图(GBRM)中，该地图可以与基于图像帧的轨道地图(IBRM)结合使用，从而为各种典型的火车运行状况提供稳定的解决方案，以提高系统200的性能。

在一些实施例中，系统200可以包括基础设施处理模块224。

在一些实施例中，系统200可以包括显示器和用户界面模块226。显示和用户界面模块226可以包括一个或多个显示器，以向例如火车驾驶员和/或一个或多个用户界面(例如，键盘、触摸屏等)显示信息，以接收驾驶员对系统的输入。

在一些实施例中，系统200可以包括控制和感知模块228。控制和感知模块228可以被配置为提供决策支持、警报管理和BIT支持，使得系统200能够连续地基于由成像传感器(一个或多个)构图的铁路场景以及诸如信号、标志等附加信息来监视运行状况。

现在参考图3A，其是根据本发明的一些实施例的安装在火车90上用于长距离轨道和物体/障碍物检测的窄视场301成像传感器(NFS)的窄视场示意图。

还参考图3B，其是根据本发明的一些实施例的安装在火车90上的用于短距离轨道检测的宽视场成像传感器(WFS)的宽视场306的示意图。

用于轨道和障碍物检测(ROD)的系统(例如，上面关于图1A所述的系统100)可能需要在足够长的范围内进行障碍物检测和警报，从而允许快速行驶的火车停下来或至少降低速度，因此，允许附加的响应装置来避开障碍物或至少使损坏最小化，并允许驾驶员(在驾驶员操作的火车中)做出相应的响应。在成像传感器应用中，这通常需要例如由窄视场成像传感器(NFS)提供的高分辨率光学器件。在为物体和障碍物的检测和分类提供足够的分辨率的同时，如果将NFS与火车的前轴固定在一起，则NFS在弯曲的轨道状况下也可能会受到限制，其中扩展范围内的轨道部分可能会落在NFS的狭窄区域之外。此外，铁路通常包括多个邻接的和交叉的轨道，使得NFS可能与正在行驶的火车的各个轨道相混淆，从而限制了其指定与其轨道有关的特定障碍物的能力(例如，相邻轨道上的迎面而来的火车不会造成即将发生的碰撞)。附加的成像传感器(例如NFS和WFS之间具有足够距离重叠的宽视场成像传感器(WFS))可以很好地帮助WFS在较短范围内检测相应的轨道和轨道图的情况，从而在WFS图像帧中将这些轨道追踪到一定距离，从而有助于平滑地切换到NFS图像帧，从而指定火车的各个轨道在何处以及位于哪条轨道，以便可以正确执行物体/障碍物的检测和指定。

图3A中的图示301示出用于长距离轨道和物体/障碍物检测的安装在火车90上的窄视场成像传感器(NFS)的窄视场302。图示303和图示304示出了两个示例性的NFS成像状况，该状况显示了关于分别关联哪个轨道的模糊性。模糊性通常是由于这样一个事实而产生的：为了使NFS图像帧扩展范围，其视线(LOS)必须被充分提高，从而导致扩展的盲区305(例如，可能在大约100-200米之间)。在这样的盲区中，可能会出现钢轨弯曲和岔道，从而导致正确钢轨的选择不明确。

可通过在火车90上安装宽视场成像传感器(WFS)来解决此类歧义和扩大的盲区。例如，图3B中的图示306示出了具有盲区309的WFS的宽视场307，该盲区309比NFS传感器的盲区305小得多(例如，大约几米)。图示308示出WFS图像帧，其中，图像帧分析可以检测到这种发展的曲率和岔道，从而可以正确追踪WFS中的轨道，并将其与NFS中检测到的轨道相关联。

现在参考图3C，其示出根据本发明的一些实施例的安装在火车90上的窄视场成像传感器(NFS)和宽视场传感器(WFS)的组合的窄视场和宽视场的俯视图310的示例。

图3C和图3D中的图示310和图示312分别显示了窄视野成像传感器(NFS)和宽视野传感器(WFS)(分别有助于在发生变化的轨道曲率半径(RROC)时改善轨道覆盖范围)的窄视野302和宽视野307的组合覆盖范围。该特定示例不是限制性的，并且各种系统实现可以为范围、弧角和视场(FOV)合并不同的值。在该说明性示例中，WFS FOV(WFOV)由2β给出，而NFSFOV(NFOV)由2α给出。从垂直轴开始并在相应的RROC处横越WFOV和NFOV角边界的角弧θ分别由θW＝2β和θN＝2α给出。圆弧交叉的点表示范围M，并从水平轴偏移O；MW＝RROCSin2β且OW＝RROC(1-Cos2β)，MN＝RROCSin2α且ON＝RROC(1-Cos2α)。WFS覆盖范围(WFSC)由WFSC＝2RSinβ给出，而NFS覆盖范围(NFSC)由NFSC＝2RSinα给出。

可以为特定操作点定义示例性参数设置。例如，对于17μm和/或14μm，12μm或更小的LWIR NFS像素尺寸，190mm的NFS焦距可能会导致0.09mr的瞬时视场(IFOV)；在1000米处，这会导致约9cm的像素足迹，即每个人的头部直径约2个像素。所得NFOV＝3.3°，在1000米处的覆盖范围NFSC＝58米。

在另一示例中，对于17μm/或14μm，12μm或更小的LWIR WFS像素大小，19mm的WFS焦距导致0.9mrd的瞬时视场(IFOV)；在500米处，可能会导致约45cm的像素足迹，即在500米范围内的约3个像素轨距。所得的WFOV＝33°，在500米处的覆盖范围WFSC＝592米。

如上所述，在选择的垂直仰角下，其可能导致1000米的NFS最大图像帧范围和800米的WFS最大图像帧范围，所得到的NFS盲区可能约为157米，并且在该范围内NFSC约为9米，而WFS盲区约为9米，且在该范围内WFSC约为5米。注意，在这样的仰角处，NFS和WFS之间存在相当大的范围重叠。

RROC可能与允许的火车速度密切相关，如下表1所示：

表1.RROC与允许的火车速度

代表与水平轴的距离M和偏移O的弧形交叉点可以与RROC相关，如下表2所示：

表2.范围M和偏移O值与WFS和NFS传感器的RROC。

从以上描述中可以注意到，对于允许在长距离上具有足够分辨率的LWIR NFS，所得的NFOV非常小，并且在轨道曲线的表面上不足。例如，对于以200-250km/h的速度运行的火车，允许的最小RROC约为2000米，而对于上述NFS，这导致在偏离角覆盖范围之前约116米的相对短的范围。用于克服该限制的一些实施例可以包括允许NFS平移动作。WFS可以确定相应轨道的大致角位置，并且NFS可以经由例如外部摇镜或整个NFS的机械旋转而成角度定向。

取决于规定的停车距离，随着高速火车所需检测范围的增加，通常需要联合使用WFS和NFS图像帧。当火车速度降低时，例如在城市有轨电车和慢速城市火车的情况下，WFS可能就足够了，因为检测范围和停车距离都大大减少了。因此，在本发明的各种实施例中，WFS和NFS图像帧的组合使用可以是模块化的，其中，可以将WFS和NFS成像传感器配置设计为附加组件，以便可以设计通用RODS，从而允许模块化扩展，从而支持各种慢速和快速行驶的火车。

现在参考图3D，其示出根据本发明的一些实施例的两个各自的宽视场和窄视场，其描绘了将WFS短距离覆盖范围与NFS长距离覆盖范围组合以改进物体/障碍物检测和避免碰撞的效用。

图像帧312描述了WFS弯曲轨道示例，而帧314是如虚线矩形所概述的NFS场景。由于图像帧结构相邻且位于轨道之间，因此仅使用NFS时很难选择正确的轨道。此外，在NFS中观察到即将到来的(或静止的)火车，但尚不清楚它是否使用相邻的轨道，在这种情况下，它是安全的还是正在使用火车的同一根轨道，这将导致碰撞。如帧318所示，帧316是另一个具有直线轨道的WFS场景，但是轨道区域杂乱无章，这给确定火车的正确轨道带来了困难。

现在参考图4A，其示出各种轨道岔道、交分(slip)和交叉的示例。图示401、图示402、图示403、图示404、图示405和图示406示出这种情况的成像复杂性，其中，用于避免碰撞(例如，以上关于图1A描述的系统100或以上关于图2描述的系统200)的前视车载系统应能够自动确定火车在此类岔道、交分和交叉处行驶的相应轨道(路径)。根据一些实施例，本文公开的系统和方法能够自动确定这种情况。

现在参考图4B，其示出了轨道道岔岔道410的示例，该图由前向车载成像传感器(例如，上文关于图1A描述的成像传感器110)和轨道420的轮廓部分(粗虚线)构图，这些部分确定了火车在该道岔之外的可选路径。箭头420a指向道岔的打开侧，而箭头420b指向道岔的关闭侧–且这确定了道岔状态，从而使火车从该道岔驶向正确的轨道。根据本发明的一些实施例，这种道岔状态的确定是关键要素。根据一些实施例，本文公开的系统和方法能够在存在道岔的情况下确定正确的火车路径，即使当火车接近道岔时，道岔也可能随着时间改变其状态。

现在参考图5A，图5B，图5C和图5D，它们是根据本发明的一些实施例的用于轨道和道岔状态检测(RSSD NN)500的用于识别火车的当前铁路路径的训练和推断神经网络的各种方法的示意图。

如下面关于图5A，图5B，图5C和图5D所描述的RSSD NN 500可以类似于如上面关于图1A所描述的系统100的RSSD模块120的RSSD NN 124。输入图像帧502、512、522和532可以例如由如上所述关于图1A的系统100的成像传感器110获得。

图5A示出根据本发明的一些实施例的显示火车的当前铁路路径504a的输入图像帧502及其分段掩码预测504的简单方法(或处理)501。在RSSD NN 500的训练阶段期间，可以通过例如人为控制的分段/注释过程来离线确定分段掩码预测504。因此，可以训练神经网络RSSD NN 500，以在其推断阶段基于输入图像帧502生成识别火车的当前铁路路径504a的分段掩码预测504。

用于训练和推断RSSD NN 500的方法501的一个缺点可能是，由于每个图像帧都是单独且独立地分段的，因此未利用访问和处理图像帧序列的上下文。另一个缺点可能是，当火车通过道岔，且两条轨道(路径和岔道)出现在图像帧的底部(例如，在最小图像帧距处)时，存在难以解决的歧义以从岔道区分路径。另一个缺点可能是无法以任何方式检测或标记道岔位置。

图5B示出将历史元素合并到RSSD NN 500中的简化方法(或过程)510。方法510可以包括在输入图像帧512的底部/顶行的它们各自的位置处，在输入图像帧512的底部(和/或顶部)的期望路径轨道处，添加图形标记514(例如，历史元素)，其在附图512'中标记。

方法510的优点可以是，它在越过用于正确路径分段的道岔时提供了附加信息。方法510的一个缺点可能是图形标记扩大了输入图像帧512的大小，或者迫使输入图像帧512在神经网络的输入端改变大小，从而例如由于插值而导致某些图像帧信息丢失。方法510的另一缺点可能是，所使用的唯一信息是图像帧的底部/顶部行，由此，所有其他图像帧信息都在逐帧演变的历史记录中被忽略，且此外，也不会以任何方式检测或标记道岔位置。

图5C示出将历史元素合并到RSSD NN 500中的改进的方法(或过程)520。方法520可以包括生成输入数据结构522，其包括当前输入图像帧524和在当前图像帧524(例如，历史元素)之前的图像帧的分段掩码预测526，并提供输入数据结构522作为到RSSD NN 500的输入。

方法520的一个优点是解决了道岔交叉问题。另一个优点可以包括利用图像帧序列上下文，因为历史分段掩码层包括最近更新的和/或预测的先前的分段结果，该分段结果是从先前处理的已排序图像帧中以及利用了整个图像帧场景的检测路径逐渐得出的。另一个优点可以是保持原始图像的大小(即，高度和宽度)。方法520的另一个优点可以包括对RSSD NN 500的运行时间几乎没有影响(例如，在每个输入数据结构20ms的运行时间中，不超过额外的约0.5ms)。

图5D示出将历史元素合并到RSSD NN 500中的进一步改进的方法530。方法530可以包括生成输入数据结构532，该结构包括当前输入图像帧534和在当前图像帧532之前的图像帧的分段掩码预测536(例如，历史元素)，并提供输入数据结构532作为RSSD NN 500的输入，其中，先前图像帧(例如，历史元素)的分段掩码预测536可以包括火车的当前铁路路径536a和来自沿该路径出现的道岔的额外岔道536b。

方法530的一个优点(例如，将cactus掩码历史结合到神经网络500中)可以解决道岔交叉的问题。另一个优点可以是利用图像帧序列上下文，因为历史分段掩码层包括最近更新的先前的分段结果，该分段结果是从先前处理的已排序图像帧中以及利用了整个图像帧场景的检测路径逐渐得出的。另一个优点是可以保持原始图像帧的大小(高度和宽度)。另一个优点可以是，通过沿着与所选路径的不同标签相邻的路径和观察到的岔道的像素来实现道岔检测。方法530可提供道岔位置及其相应道岔状态的组合信息，这对于火车的主要驾驶功能至关重要。方法530的另一个优势可能包括，它对RSSD NN 500的运行时间影响很小(例如，每个输入数据结构20ms运行时中，最多不超过约0.5ms)。

如图4B所示，基本的铁路道岔由成对的链接的锥形轨道组成，称为位于分散的外部轨道(备用轨道)之间的点(道岔轨道或点叶片)。可以将这些点横向移动到两个位置之一，以将来自点叶片的火车导向直线路径或发散路径。从窄端向点叶片行驶的火车(例如，取决于尖端的位置将被引导到两条路径之一)正在执行对面运动。训练有素的火车驾驶员在驾驶时会向前看，以视觉方式检测即将到来的道岔位置，并且随着火车最终接近道岔，他还可以通过道岔的点叶片的相对位置来从视觉上确定道岔状态。点叶片相对于备用轨道的相对位置决定了火车的当前路径。

路径、道岔位置、道岔状态和岔道的组合信息都可以在前面的铁轨布局的历史元素(例如，上关于图5D所述的分段掩码预测536)中表示，而实时场景图像帧提供了备用轨道和道岔的点叶片的更新的视觉信息(例如，如上面关于图5D所述的输入图像帧534)。它们共同提供了所有必要的信息，从中可以获取RSSD NN 500推断中的准确和正确的路径确定。当火车向前行驶时，实际铁路物理布局中唯一预期的变化就是道岔状态。只要在成像传感器实际可视化，接近和遍历道岔的同时不改变道岔状态，在RSSD NN 500数据块馈送中使用历史元素足以确定火车的当前铁路路径。

当在火车接近它们或穿越它们时改变道岔状态(例如，自动地或手动地)时，指向先前道岔状态(例如，如以上关于图5C所描述的分段掩码预测526或如以上关于图5D所描述的分段掩码预测536)的历史元素与道岔的新状态和新的分段掩码预测间歇性地矛盾。根据一些实施例，RSSD NN 500可以被训练为能够使历史元素适应于道岔状态的这种改变。

根据本发明的一些实施例，以下描述提供了将历史元素作为输入合并到RSSD NN500中时要考虑的一些考虑因素。

首先，可能存在过度依赖历史元素的风险(例如，如上分别关于图5C、图5D描述的先前分段掩码预测526、536)。RSSD NN 500可以将历史元素解释为期望的结果，从而忽略实时图像帧输入层(例如，如上面分别针对图5C，图5D所述的输入图像帧522、532)。为了解决该问题，根据本发明的一些实施例，可以在RSSD NN 500的训练阶段期间使用历史元素的各种多个扩充/更新(例如，独立于其他图像帧增幅)。下面的表3提供了历史元素的可能扩充/更新，这些历史元素模拟了在火车上安装和运行时系统的不同状态。

表3.模拟火车上安装的系统的不同状态的历史元素的可能扩充。

根据一些实施例，应该设计历史元素扩充/更新，使得仅在历史元素中提供的信息将不足以使RSSD NN 500生成与正确路径相同的输出。这可以迫使RSSD NN 500不忽略实时更新的场景图像帧中给出的信息。

其次，在道岔状态(以及随后的路径)在被前视相机构图的同时改变的情况下，历史元素可能会产生误导。例如，当轨道道岔更改(例如，手动或自动)，改变实际路径和所需结果，并且该更改对于成像传感器和系统/方法可见(例如，实时)时，可能会发生这种情况。

根据一些实施例，例如在RSSD NN 500的训练阶段期间，间歇地扩充/更新(例如，在T时间段中每一次，例如每50-200帧)历史元素，可以解决这些问题。

根据一些实施例，历史元素的扩充/更新可以包括完全删除历史元素(例如，将分段的掩码清零)。在这种情况下，RSSD NN 500可以仅根据输入图像帧做出决策，而无需历史记录中给出的额外信息，从而人工重新启动历史记录流。该实施例可以不考虑先前被编译到历史元素层中的所有信息，并且如在系统开启中一样强制新的开始。在相机领域内没有道岔变化发生的应用或实例中，或者当火车横越道岔时，该实施例就足够了。

根据一些实施例，历史元素的扩充/更新可以包括部分地删除历史元素。例如，历史元素掩码的高x％被完全删除或由注释中未使用的特殊标签代替(例如，在训练阶段)。

在一些实施例中，每T个时间段(约50-200帧)一次仅从历史元素的顶部(例如75％)归零x％，从而留下(100-x)％的历史元素承载信息。这可导致保持RSSD NN 500保持所需路径位置的指定的能力，但在可见的道岔变化的情况下不会受到影响，因为这通常可能发生在图像框的上部，离行驶的火车足够远。但是，这可能会导致历史信息的大量丢失，以及在即将到来的道岔附近产生的迟到或延迟路径指定。

在一些实施例中，历史元素的增加/更新可以包括用注释过程中未使用的特殊标签替换历史元素掩码的较高x％(例如，包括轨道标签，包括路径和岔道)。在这种情况下，可以使用历史元素各部分的特殊标签，以便保留轨道形状和位置的信息，但是可以忽略轨道路径和轨道岔道之间的区别。这可能会迫使该方法仅根据更新的输入图像帧将场景中的轨道指定为轨道路径或轨道岔道，同时简化并促进轨道的形状和位置的指定。

可以在训练RSSD NN 500时使用的训练集中给上述历史元素扩充/更新提供明显的表示，以使RSSD NN 500也可以学习那些情况。历史元素的扩充/更新在RSSD NN 500的训练阶段可能很重要，例如，为了使神经网络熟悉这种扩大的情况，从而导致提高了对这些偏差和变化的稳定性。

在一些实施例中，历史元素可以包括“t-1”分段掩码和“t-2”分段掩码之间的时间差，从而提供随时间变化的历史元素的改进追踪和补偿。

在一些实施例中，历史元素可包括连续值而不是当前离散常数值，其中，根据各个标签的保证或置信度以及来自成像传感器的各个范围，可以使用软值调色板来提供不同的掩码权重。

在一些实施例中，可以使用用于神经网络的改进的训练集，其中，该集合可以包括约80％的真实图像帧和约20％的错误/人造图像帧的组成。这些图像帧可用于道岔，其中约80％部分将具有正确的道岔状态，而约20％部分将具有相反的道岔状态。

在一些实施例中，历史元素可以被插入到神经网络内的另一位置而不是其输入层中。例如，历史元素可以在其argmax的最后一层之前插入到神经网络内的任何位置。

在一些实施例中，可以将至少一个“忽略区域”添加到输入图像帧的注释中。由于铁路场景的典型图像帧具有很大的背景区域，这是有效的标签，因此训练过程中损耗计算的主要部分是在背景上完成的，且非常容易。因此，它提供的损失信息是正确的，但不能反映实现的检测能力。“忽略区域”是其中损失计算被忽略的区域。在优选的实施例中，用忽略标签指定背景的随机区域，将为感兴趣区域提供更加平衡的损耗计算。

在一些实施例中，在RSSD NN 500的训练阶段中，来自成像传感器的图像帧区域或像素范围将对图像帧上计算的损失进行加权，从而为距离较远的场景物体提供更高的权重，从而提高了沿自然距离更小、更精细的更远的轨道分段的性能。

现在参考图6A，其示出在道岔的遍历之后的轨道场景602。要注意的是，在通过神经网络进行的分段过程中未结合历史元素(例如，如上面关于图5B，图5C和图5D所述)，将难以快速确定火车正在行驶的正确路径。

现在参考图6B，其示出了示例性的铁路场景604，其包括火车路径606的图形掩码605以及具有相应的岔道608的两个即将到来的道岔。注意，可以首先在神经网络的训练阶段注释图形掩码605，并且随后可以在神经网络的推理阶段生成类似的图形(例如，如以上关于图5C和图5D所描述)。

现在参考图7A，图7B和图7C，根据本发明的一些实施例，它们是用于轨道和障碍物检测(RSSD NN)的神经网络的离线训练阶段的流程图700a，700b，770c。

图7A呈现RSSD NN 704的离线训练阶段的流程图700a。首先，可以生成输入数据结构702。输入数据结构702可以包括当前输入图像帧702a和历史元素702b。当前输入图像帧702a可以由成像传感器(例如，诸如以上参照图1A描述的成像传感器110)获得。历史元素702b可包括确定在当前图像帧702a之前的图像帧的分段掩码预测。例如，历史元素702b的分段掩码预测可以类似于以上关于图5D描述的分段掩码预测536，并且可以包括火车的当前铁路路径以及来自沿当前铁路路径出现的道岔的附加岔道。

然后，可以将输入数据结构702馈送到RSSD NN 704中。RSSD NN704可以例如类似于以上关于图1A描述的系统100的RSSD模块120的RSSD NN 122，或者类似于上面关于图5A，图5B，图5C和图5D描述的RSSD NN 500。RSSD NN 704可基于输入数据结构702确定当前输入图像帧702a的分段掩码预测706。

可以将当前输入图像帧702a的分段掩码预测706与至少一个带注释的分段掩码710进行比较708。可以基于当前输入图像帧702a的分段掩码预测706与注释的分段掩码710之间的比较708来确定更新的分段掩码预测712。更新的分段掩码预测712可以进一步组合为新的输入数据结构702，作为新的历史元素702b，可以进一步将其馈入RSSD NN 704。

流程图700a中描述的过程可以基于典型、极端和扩充/更新的铁路场景的图像帧数据库的编译(例如，如以上关于图5A，图5B，图5C，图5D和表3所述)。可以将手动和/或计算机化的注释应用于数据库图像帧，并且可以生成相应的多标签掩码(例如，3个标签，包括例如背景，火车所行驶的当前铁路路径以及未由相应道岔选择的岔道路径)。

在一些实施例中，可以通过使用当前输入图像帧702a之前的多达8个图像帧的当前输入图像帧702a的图像帧的带注释的分段掩码来模拟历史元素702b。例如，这可以模拟不同的火车速度。

在各种实施例中，例如，为了扩大数据库，可以扩充/更新输入图像帧702a和/或带注释的掩码710，以模拟可能在编译的训练数据库中未发生的可能的先前图像帧的预测。

在一些实施例中，当前输入图像帧702a的分段掩码预测706也可以被扩充/更新。例如，可以对每T个图像帧(例如，每50-200个图像帧)执行分段掩码预测706的扩充/更新。例如，图7B示出流程图700b，其中，可以对每T个分段掩码预测706(例如，T＝5至200个图像帧)进行扩充/更新716以生成扩充/更新的分段掩码预测718，随后可以将其作为新的历史元素702b馈入新的输入数据结构702。上面参考图5A，图5B，图5C和图5D以及表3描述了扩充/更新过程的各种示例。

图7C示出神经网络(例如，如上关于图7A和图7B所述的RSSD NN704)的离线训练阶段的一般阶段的流程图700c。

在阶段720，可以通过组合当前输入图像帧和为先前图像帧确定的分段掩码预测来定义输入数据结构(例如，诸如以上关于图7A和图7B所述的输入数据结构702)。

在阶段722，可以定义神经网络(例如，以上关于图7A和图7B描述的RSSD NN 704)的配置(例如，segnet和/或任何其他)。

在阶段724，可以激活神经网络以产生当前图像帧的分段掩码预测(例如，以上关于图7A和图7B所述的分段掩码预测706)。神经网络的激活可以例如包括在当前输入图像帧中的中心轨附近定义感兴趣区域(ROI)，将图像帧从边缘裁剪指定数量的像素，将裁剪的图像帧调整为神经网络输入大小，将神经网络暴露于一个图像帧并最终激活神经网络，以确定当前图像帧的分段掩码预测。

在阶段726，可以将当前图像帧的分段掩码预测与至少一个注释掩码(例如，以上关于图7A描述的注释掩码710)进行比较。

在阶段728，可以基于当前图像帧的分段掩码预测与注释的掩码之间的比较来执行神经网络的反馈。

在阶段730，可以基于神经网络的反馈来选择迄今为止神经网络的最佳配置。

在阶段732，如果未达到预定的重复次数，则过程700c可以返回到阶段720并以从成像传感器接收到的新的当前图像帧来重复阶段720-730，否则过程700c可以停止。

现在参考图8，其是根据本发明的一些实施例的用于轨道和障碍物检测的神经网络(RSSD NN)的前向推理过程的流程图800。

首先，可以将成像传感器获得的当前输入图像帧802与针对在当前图像帧802之前的图像帧(例如，历史元素)确定的分段掩码预测804相结合801，从而生成输入数据结构806。例如，成像传感器可以类似于以上关于图1A描述的成像传感器110。

输入数据结构806可以被馈送到可以基于输入数据结构806确定当前输入图像帧802的分段掩码预测804的RSSD NN810。例如，RSSD NN 810可以类似于上面关于图1A描述的RSSD NN 122，上面关于图5A，图5B，图5C和图5D描述的RSSD NN 500，和/或上面关于图7A，图7B和图7C描述的RSSD NN 704。

当前输入图像帧802的分段掩码预测804可以被显示814给火车的驾驶员。当前输入图像帧802的分段掩码预测804可以进一步作为新的历史元素与新的当前输入图像帧802组合801，以用于准备要馈送到RSSD NN810的新的输入数据元素806。

现在参考图9，其是根据本发明的一些实施例的用于轨道和物体检测的系统900的第一特定实施方式的示意性框图。

根据一些实施例，系统900可以类似于以上关于图1A描述的用于轨道和物体检测的系统100。系统900可以包括视觉波段成像(VIS)传感器901和热红外(TIR)传感器902。VIS传感器901和TIR传感器902可以类似于以上关于图1A描述的成像传感器110。VIS传感器901和TIR传感器902可以前视配置地安装在火车上，使得传感器面向火车的行驶方向。系统900可以包括动态范围压缩模块(DRC)，其可以应用于来自TIR传感器902的图像帧。

来自VIS传感器901的图像帧可以被馈入轨道和道岔状态检测神经网络905(例如，在图9中表示为RSSD-VIS NN 905)。RSSD-VIS NN 905可以分别类似于以上分别关于图1A，图5A至图5D，图7A至图7C和图8所述的RSSD NN 122，RSSD NN 500，RSSD NN 704或RSSD NN810。VIS NN 905可被配置为基于由VIS传感器902获得的图像帧中的至少一些来确定火车的分段掩码预测和当前铁路路径(例如，如以上关于图1A所述)。可见光传感器901可在白天、微光和夜间都敏感，例如，使系统900的道岔站运行(通常在夜间点亮并持续运行)以及主线运行。

系统900可以包括物体和障碍物检测和追踪(OODT)模块910。OODT模块910可以类似于以上关于图1A所述的OODT模块130。OODT模块910可配置为基于从VIS传感器901和TIR传感器902接收的图像帧中的至少一些来检测和追踪物体和障碍物。

OODT模块910可以包括以下至少之一：用于由VIS传感器901获得的图像帧的OODT神经网络912(例如，在图9中表示为OODT-VIS NN912)，用于由TIR传感器902获得的图像帧的OODT神经网络914(例如，在图9A中表示为OODT-TIR NN 914)，边界框(BB)坐标投影模块916(例如，在图9A中指示为BB投影916)，其将基于TIR传感器901的物体检测的BB投影到VIS传感器901坐标上，使得这些BB会通过物体检测非最大悬浮检测模块918(例如，在图9A中指示为OD-NMS 918)在VIS图像帧坐标中关联，然后馈入时空追踪器模块919。

OODT模块910可以包括追踪器模块919，其可以从RSSD-VIS NN 905接收分段掩码预测(例如，对于OODTC模块910继续进行的每个当前输入图像帧，可以提供针对在当前输入图像帧之前的图像帧确定的分段掩码预测)，使得可以根据物体坐标相对于检测到的当前铁路路径或RSSD-VIS NN 905确定的岔道来执行追踪器参数和评分。

系统900可以包括警报管理器模块920，用于确定相对于所确定的当前铁路路径和岔道的被追踪物体的警报水平，以及基于轨道的到各个边界框的计算范围，从而确定火车停止或减速策略的响应时间(包括所需减速度的计算以及预计的撞击时间等)。系统900可以包括用于控制RDSS-VIS NN 905，ODNN-VIS NN 912和ODNN-TIR NN 914的此类ROI的感兴趣区域(ROI)管理器模块922。

现在参考图10，其是根据本发明的一些实施例的用于轨道和物体检测的系统1000的第二特定实施例的示意性框图。

根据一些实施例，系统1000可以类似于以上关于图1A描述的用于轨道和物体检测的系统100。系统1000可以包括视觉波段成像(VIS)传感器1001和热红外(TIR)传感器1002。VIS传感器1001和TIR传感器1002可以类似于以上关于图1A描述的成像传感器110。VIS传感器1001和TIR传感器1002可以以前视配置安装在火车上，使得传感器面向火车的行驶方向。系统1000可以包括动态范围压缩模块(DRC)1003，其可以应用于来自TIR传感器1002的图像帧。

系统1000可以包括图像帧融合模块1004，来自VIS传感器1001的图像帧和来自TIR传感器1002的图像帧可以被馈送到其中。图像帧融合模块1004可以融合来自VIS传感器1001的图像帧和来自TIR传感器1002的图像帧，以产生融合的图像帧，随后将融合的图像帧馈入轨道和道岔状态检测神经网络(RSSD-Fusion NN)1005。如以上分别关于图1A，图5A至图5D，图7A至图7C，图8和图9所述，RSSD-Fusion NN 1005可能类似于RSSD NN 122，RSSD NN500，RSSD NN 704，RSSD NN 810或RSSD-VIS NN 905。RSSD-Fusion NN 1005可以被配置为基于至少一些融合图像帧(例如，如以上关于图1A所描述的)来确定火车的分段掩码预测和当前铁路路径。

系统1000可以包括物体和障碍物检测和追踪(OODT)模块1010。OODT模块1010可以类似于以上关于图1A所述的OODT模块130。OODT模块1010可以被配置为基于从VIS传感器1001和TIR传感器1002接收的图像帧中的至少一些来检测和追踪物体和障碍物。

OODT模块1001可以包括以下至少之一：用于由VIS传感器1001获得的图像帧的OODT神经网络1011(例如，在图10中表示为OODT-VIS NN 1011)，用于由TIR传感器1002获得的图像帧的OODT神经网络1012(例如，在图10中表示为OODT-TIR NN 1012)，边界框(BB)坐标投影模块1013(例如，在图10中被指示为BB投影1013)，其将基于VIS传感器1001的物体检测的BB投影到TIR传感器1002坐标上，使得这些BB由物体检测非最大悬挂检测模块1014(例如，在图9A中指示为OD-NMS 918)关联到TIR图像帧坐标中，并随后馈入时空追踪器模块919。

OODT模块1010可以包括追踪器模块1015，其可以从RSSD-Fusion NN 1005接收分段掩码预测(例如，对于OODTC模块1010继续进行的每个当前输入图像帧，可以提供针对在当前输入图像帧之前的图像帧确定的分段掩码预测)，使得可以根据物体坐标相对于检测到的当前铁路路径或RSSD-Fusion NN 1005确定的岔道来执行追踪器参数和评分。

系统1000可以包括警报管理器模块1020，用于确定相对于所确定的当前铁路路径和岔道的被追踪物体的警报水平，以及基于轨道的到各个边界框的计算范围，从而确定火车停止或减速策略的响应时间(包括所需减速度的计算以及预计的撞击时间等)。系统1000可包括用于控制RDSS Fusion NN 1005、ODNN-VIS NN 1011和ODNN-TIR NN 1012的感兴趣区域(ROI)管理器模块1030。

现在参考图11，其示出根据本发明的一些实施例的应用来自VIS成像传感器的图像帧的物体和障碍物检测和追踪神经网络(OODT NN)的两种实施例的示例。

图示1110示出了OODT NN(例如，以上关于图9和图10描述的OODT-VIS或OODT-TIR)的大的单个感兴趣区域(ROI)(例如，具有扩展的能力和复杂性)的结果，其能够检测较大物体(例如机车)但由于将ROI的大小调整为OODT NN大小而无法在较长距离处检测较小物体(例如人)。

可替代地，图示1120示出具有两个单独的ROI(具有有限的复杂度)的OODT NN的结果，其中，较大的ROI支持检测较短的范围(例如，较大的物体)，因此对调整大小限制不太敏感，且较小的ROI支持更大的范围，因为由于其尺寸而无需调整大小，因此可以检测到更小的物体(例如，人、物体)。因为对安全区域附近或内部的物体和潜在障碍物特别感兴趣，该实现要求对更小的ROI坐标进行附加控制，以使其保持在由RSSD NN确定的当前铁路路径(甚至在弯曲的轨道)的中央(例如，分别例如以上分别关于图9和图10描述的RSSD-VIS NN或RSSD-Fusion NN)。除了在扩展范围内改进了对小物体的检测之外，可以并行地(例如，多线程)实现这种多个较低复杂度的OODT NN，从而导致相当大的处理加速。

现在参考图12，其是根据本发明的一些实施例的用于在图像帧的感兴趣区域(ROI)内应用的物体和障碍物检测和追踪神经网络(OODT NN)的过程1200的流程图。

根据一些实施例，可以在输入图像帧1202的ROI内应用OODT NN1204，生成边界框1206，应用低置信度阈值1208，然后应用Seq-NMS算法1210，该算法可以包括几个图像帧1212的堆叠，最佳路径确定和记录1216，应用高阈值1216，NMS操作1218以及生成更新的边界框1219。

现在参考图13，其是根据本发明的一些实施例的用于融合来自可见波段(VIS)传感器和热红外(TIR)传感器的物体和障碍物检测和追踪神经网络(OODT NN)边界框的过程1300的流程图。

根据一些实施例，TIR框1302可以被投影1303到VIS图像帧(例如，来自VIS传感器的图像帧)坐标上，IOU计算1304可以被应用于VIS框1301并且TIR框被投影1303到VIS图像帧坐标上，且然后可以将Hungarian算法1305应用于IOU计算1304。在一些实施例中，可以将匹配的框1310指定1312为组合。在一些实施例中，未匹配的框1320可以被指定1322为仅VIS或TIR。

根据一些实施例，可以经由IOU与现有的物体轨迹1320来检查整合的边界框1312，然后可以应用Hungarian算法1322，并将新的检测结果与先前的轨迹进行匹配。在一些实施例中，结果可以是匹配的轨迹1324。在一些实施例中，结果可以是具有预测1332的未匹配的轨迹。在一些实施例中，结果可以是具有未匹配的1340的轨迹或新的轨迹1342。

现在参考图14，其是根据本发明的一些实施例的包括两个感兴趣区域(ROI)实例(第一个用于短距离检测，而第二个用于长距离检测)的物体和障碍物检测神经网络(OODTNN)的过程1400的流程图。

根据一些实施例，OODT NN可以包括两个感兴趣的区域(ROI)实例(例如，如关于图11中的图示1120所描述的)，第一个用于短距离检测，而第二个用于长距离检测，它们之间有重叠。短距离ROI通常可能具有较大的尺寸，因为它通常在推理之前由OODT NN抽取，并且由于短距离的物体通常具有较大的尺寸，因此在抽取后仍可检测到。长距离ROI的尺寸较小，因此在OODT NN入口处不会被抽取，因此仍可检测到扩展范围内的小物体。

现在参考图15，其示出根据本发明的一些实施例的轨道和道岔状态检测神经网络(RSSD NN)的输出的示例。

图示1501示出当被两个物体(例如，检测到的车辆单元1512和检测到的站立的人1514)部分地遮挡时的轨道轮廓1510。值得注意的是，轨道轮廓1510如何变得略微失真，从而偏离了预期的连续性标准，正如可以从成像框架的轨道投影中预期的那样。

图示1520示出检测到的轨道的内插形式，例如使用样条或其他几何拟合方法。如图示1530所示，当覆盖实际的轨道轮廓线和平滑的(内插的)版本时(图15(续1))，可以计算各种误差(或距离)函数以自动检测此类轨道异常。这可以用于改善对轨道附近或轨道上的物体的检测，且还可以用于确定轨道问题和轨道故障，例如在预防性维护应用中。

现在参考图16A和图16B，其分别示出根据本发明的一些实施例的典型的车站场景以及相应的轨道和障碍物检测解决方案。

特定的铁路安全注意事项可能与车站附近的火车有关，其中通勤者沿着车站月台停靠，等待火车的到来。车站月台通常用涂漆的线(或盲孔的凹凸纹理)勾勒出线，这些线指定月台的边缘和安全区域，不得交叉。在拥挤的车站情况下，人员可能会被推到边缘并处于危险区域之内，而进来的火车可能会更好地检测到这种情况并提供相应的快速警报，例如，快速激活音频喇叭，闪烁的灯光，发射爆裂声或发送到电台扬声器系统的其他语音报警信号等。典型的车站场景如图16A所示。在满足以上安全要求时，轨道和障碍物检测解决方案(RODS)的一些实施例可以遵循如图16B所示的以下逻辑。

首先，RODS功能可以接收铁路场景的图像帧(例如，如图示1602所示)，检测轨道分段预测掩码1604a和安全区区域1604b(例如，如图示1604所示)并基于轨道分段预测掩码1604提取实际轨道1606a(例如，如图示1606所示)。

第二，RODS功能可以检测月台和安全区1604b的末端的一条或多条边界线(例如，图示1608中的线1608a)。预定的安全区1604b(线1608a与之平行)可以促进对线1608a的检测。即使由于各种原因(例如照明、人为遮挡和拥挤的环境等)而无法在相机上看到它们时，与地面相比，月台高度变化的附加预知也可用在估算线位置中。例如，RODS的车载传感器(例如GPS)以及对火车站位置有关的GIS数据的访问，可以为RODS提供有关何时何地应用此类月台安全线的信息。

现在参考图17，其是根据本发明的一些实施例的用于驾驶员支持、防止维护和大数据支持的系统1700的示意性框图。

根据一些实施例，系统17可以包括驾驶员支持功能1710、防止维护功能1720和铁路大数据支持功能1730。

根据一些实施例，驾驶员支持功能1710可以包括场景可视化子功能1712，避免碰撞子功能1714和状况感知子功能1716。驾驶员支持功能1710可以安装在火车上并且可以配置为实时(或基本实时)协助驾驶员操控火车。

场景可视化子功能1712可以配置为在所有天气和极端环境条件下，白天和黑夜为驾驶员和/或远程第三方(例如，主管、控制室等)提供铁路场景可视化。场景可视化子功能1712可以例如包括一个或多个成像传感器(例如，诸如以上关于图1A描述的成像传感器110和以上关于图2描述的成像传感器202)。

避免碰撞子功能1714可以将RSSD模块(例如，上面关于图1A所述的RSSD模块120或上面关于图2所述的RSSD模块210)和OODT模块(例如，上面关于图1A描述的OODT模块130或上面关于图2描述的OODT模块212)相结合。避免碰撞子功能1714可以被配置为检测火车沿着其行驶或将要行驶的路径和/或检测并分类沿着检测到的路径及其附近的物体和障碍物。所检测的物体可以是静止物体，其可以位于轨道之间，在轨道上以及在轨道附近。所检测的物体可以移动物体，其具有可能导致即将与运动的火车发生碰撞。避免碰撞子功能1714也可以与支持场景理解(例如，LOS障碍物和铁路事故的终点)的LOS功能和GIS功能通信。

状况感知子功能1716可以类似于以上关于图2描述的控制和感知模块228。状况感知子功能1716可以被配置为提供决策支持、警报管理和BIT支持，使得实时驾驶员支持功能1710能够基于由成像传感器构图的铁路场景图像以及其他信息(例如信号、标志等)来连续监视运行情况。

根据一些实施例，预防性维护功能1720可以包括轨道完整性子功能1722、基础设施完整性子功能1724和报告子功能1726。预防性维护功能1720可以是离线功能和/或可以位于火车外面。

轨道完整性子功能1722可以被配置为提供从低速到高速行驶的火车的高度准确的轨道完整性和轨道基础设施分析。

基础设施完整性子功能1724可以配置为提供对电气基础设施(例如悬链电缆的完整性)的分析，以及其他与轨道相关的电气功能(例如道岔加热器、电信号等)。

报告子功能1726可配置为执行故障分析和优先级排序。

根据一些实施例，铁路大数据支持功能1730可以包括铁路环境子功能1732、铁路地理信息系统(GIS)1734以及铁路视频和图像帧数据库1736。铁路大数据支持功能1730可以是离线功能和/或可能位于火车外部。

由于例如可见性问题，可能会要求驾驶员在特定情况下减速，因此铁路环境子功能1732可以配置为对总体轨道性能(例如准时性)产生影响。编制环境影响和能见度的统计数据可以帮助轨道运营商更好地规划路线并预测性能和时间表。

铁路地理信息系统(GIS)和交互式更新子功能1734可以配置为提供与LOS分析有关的重要信息，例如，由于高架桥、隧道、电线杆、植被和林木等造成的视觉障碍。

铁路视频和图像帧数据库1736可以描述沿整个铁路轨道的广泛场景。这样的视频还可以用于训练系统，以及轨道运营商的性能分析和驾驶员的故障分析(例如，基于视觉的驾驶员性能分析)作为场景复杂性的函数。

根据各种实施例，所公开的系统和方法可以用于不同的铁路相关应用中。

在一个示例中，所公开的系统和方法可以在用于驾驶员操作的应用的火车安装的前视电光感测和视觉系统中使用。在该示例中，火车可以是电车、城市火车、高速火车、货运火车等，并且所公开的系统和方法的实现可以基于以下原理：(a)利用各种成像器(例如TIR和VIS成像传感器)以及分屏用户显示，进行连续的昼/夜前视成像和视觉处理；以及(b)基于本发明的一些实施例，利用自动视频/视觉处理进行物体和障碍物的检测、追踪和分类，减少了驾驶员的工作量。

在另一示例中，所公开的系统和方法可以在用于自主火车应用的火车安装的前视电光感测和视觉系统中使用。在该示例中，火车可以是电车、城市火车、高速火车、货运火车等，并且所公开的系统和方法的实现可以基于以下原理：(a)利用各种成像器(例如TIR和VIS成像传感器)，进行连续的昼/夜前视成像和视觉处理；以及(b)基于本发明的一些实施例，利用自动化的视频/视觉处理进行物体和障碍物的检测、追踪和分类，减少了驾驶员的工作量。

在另一示例中，所公开的系统和方法可用于轨道交叉、铁路道岔、火车站和轨道障碍物应用的轨旁光电感测和视觉系统中。在该示例中，公开的系统和方法的实现可以基于以下原理：(a)利用各种成像器，如TIR和VIS成像传感器或任何其他传感器(即LADAR，基于雷达等)进行连续的昼/夜静止成像和视觉处理；以及(b)基于本发明关于轨道、悬链线、电气设备等的一些实施例，利用自动视频/视觉处理进行物体和障碍物检测、追踪和分类的改进的预防性维护。

在另一示例中，所公开的系统和方法可以用于轨道基础设施的预防性维护应用的火车上安装的，向上/向下/向前看的电光感测和视觉系统中。在此示例中，火车可以是电车、城市火车、高速火车、货运火车等，并且所公开的系统和方法的实现可以基于以下原理：(a)利用各种成像器(如TIR和VIS成像传感器)进行连续的昼/夜前视成像和视觉处理；以及(b)基于本发明有关轨道、悬链线、电气设备等的一些实施例，利用自动视频/视觉处理进行物体和障碍物检测、追踪和分类的改进的预防性维护。

在另一示例中，所公开的系统和方法可以用于轨道紧急情况(例如“黑匣子”)应用中的安装在火车上的电光传感和视觉系统中。在该示例中，火车可以是电车、城市火车、高速火车、货运火车等，以及所公开的系统和方法的实现可以基于以下原理：(a)利用各种成像器(例如TIR和VIS传感器)进行连续的昼/夜前视成像和视觉处理；(b)基于本发明的一些实施例，改进了记录和警报规定，包括利用目标和障碍物检测、追踪和分类的事故、碰撞、脱轨和损坏评估；以及(c)有选择地用于记录真警报和假警报的智能存储器，并根据火车位置上传它们，并当不相关时通过FIFO机制将其丢弃。

上面参考根据本发明的实施例的方法，装置(系统)和计算机程序产品的流程图和/或部分图描述了本发明的各方面。将理解的是，流程图图示和/或部分图的每个部分以及流程图图示和/或部分图中的部分的组合可以通过计算机程序指令来实现。可以将这些计算机程序指令提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器以产生机器，使得经由计算机或其他可编程数据处理设备的处理器执行的指令创建用于实现流程图和/或部分图中或其一部分中指定的功能/动作的装置。

这些计算机程序指令也可以存储在计算机可读介质中，其可以指导计算机、其他可编程数据处理设备或其他设备以特定方式运行，从而使得存储在计算机可读介质中的指令产生包括指令的制品，该指令实现在流程图和/或其部分图中的一个或多个部分中指定的功能/动作。也可以将计算机程序指令加载到计算机、其他可编程数据处理设备或其他设备上，以使在计算机、其他可编程设备或其他设备上执行一系列操作步骤，以产生计算机实现的过程，使得在计算机或其他可编程装置上执行的指令提供用于实现流程图和/或其部分图的一部分或多个部分中指定的功能/动作的过程。

前述流程图和图示出根据本发明的各个实施例的系统，方法和计算机程序产品的可能实现的架构、功能和操作。在这方面，流程图或部分图中的每个部分可以代表模块、代码段或代码部分，其包括用于实施指定的逻辑功能的一个或多个可执行指令。还应注意，在一些替代实施方式中，在该部分中指出的功能可以不按图中指出的顺序执行。例如，取决于所涉及的功能，实际上可以基本上同时执行连续示出的两个部分，或者有时可以以相反的顺序执行这些部分。还应注意，部分图和/或流程图图示的每个部分，以及部分图和/或流程图图示中的部分的组合，可以通过基于专用硬件的系统来实现，该系统执行指定的功能或动作，或者专用硬件和计算机指令的组合。

在以上描述中，实施例是本发明的示例或实施方式。“一个实施例”、“实施例”、“某些实施例”或“一些实施例”的各种外观不一定都指相同的实施例。尽管可以在单个实施例的上下文中描述本发明的各种特征，但是这些特征也可以单独地或以任何合适的组合来提供。相反，尽管为了清楚起见，在此可以在单独的实施例的上下文中描述本发明，但是本发明也可以在单个实施例中实现。本发明的某些实施例可以包括来自以上公开的不同实施例的特征，并且某些实施例可以包括来自以上公开的其他实施例的元件。在特定实施例的上下文中，发明的要素的公开不应被视为仅在特定实施例中限制它们的使用。此外，应当理解，可以以各种方式来实施或实践本发明，并且本发明可以在除了以上描述中概述的实施例之外的某些实施例中实现。

本发明不限于那些图或相应的描述。例如，流不必经过每个图示的框或状态，或以与图示和描述的顺序完全相同的顺序移动。除非另外定义，否则本文所使用的技术和科学术语的含义应被本发明所属领域的普通技术人员通常理解。尽管已经针对有限数量的实施例描述了本发明，但是这些不应被解释为对本发明范围的限制，而是作为一些优选实施例的示例。其他可能的变化，修改和应用也在本发明的范围内。相应地，本发明的范围不应受到迄今为止所描述的内容的限制，而是受所附权利要求及其法律等价物的限制。

Claims (10)

1.一种轨道和障碍物检测的方法，所述方法包括：

从安装在火车机车上的至少一个成像传感器接收多个图像帧，其中，所述至少一个成像传感器面向所述火车的行驶方向；

对于所述多个图像帧的子集的每个图像帧，确定包括各个图像帧和历史元素的输入数据结构，其中，所述历史元素包括针对在所述各个图像帧之前的图像帧确定的分段掩码预测；以及

基于所述子集的每个图像帧的所述输入数据结构，并使用轨道和道岔状态检测神经网络(RSSD NN)，确定所述各个图像帧的分段掩码预测，其中，所述分段掩码预测至少包括所述火车沿其行驶的当前铁路路径。

2.根据权利要求1所述的方法，其中，所述分段掩码预测还包括沿着所述当前铁路路径的至少一个岔道，所述至少一个岔道表示沿着所述当前铁路路径的相应的至少一个道岔的状态。

3.根据权利要求1至2中任一项所述的方法，还包括在推断所述RSSDNN之前对其进行训练，所述训练基于训练图像帧的训练子集并且包括预定数量的训练周期，其中，每个训练周期包括：

对于所述训练子集的每个训练图像帧，确定包括各个训练图像帧和训练历史元素的训练输入数据结构，其中，所述训练历史元素包括针对在所述各个训练图像帧之前的训练图像帧确定的训练分段掩码预测；

基于所述训练子集的每个训练图像帧的所述训练输入数据结构，并使用所述RSSD NN确定所述各个训练图像帧的训练分段掩码预测；

将针对所述训练子集的每个训练图像帧确定的所述训练分段掩码预测与所述训练图像帧的至少一个预定的带注释的掩码进行比较；以及

基于其比较，更新针对所述训练子集的每个训练图像帧确定的所述训练分段掩码预测。

4.根据权利要求3所述的方法，还包括增强在所述预定数量的周期的至少一个训练周期期间确定的所述训练分段掩码预测，其中，所述训练分段掩码预测的增强包括以下至少一个：

将整个训练分段掩码预测归零；

将所述训练分段掩码预测的预定部分归零；以及

用保留当前铁路路径的形状和位置并且忽略所述当前铁路路径和沿所述当前铁路路径的至少一个岔道之间的区别的指定标签替换所述训练分段掩码预测的所述预定部分。

5.根据权利要求1至4中任一项所述的方法，还包括基于针对各个帧确定的所述分段掩码预测并使用物体和障碍物检测和追踪神经网络(OODT NN)，在所述子集的至少一个图像帧中确定所述当前铁路路径上或所述当前铁路路径附近的至少一个物体/障碍物。

6.一种用于轨道和障碍物检测的系统，所述系统包括：

至少一个成像传感器，安装在火车机车上，面向所述火车的行驶方向，以获得多个图像帧；

轨道和道岔状态检测(RSSD)模块，包括RSSD神经网络(RSSD NN)，所述RSSD模块被配置为：

对于所述多个图像帧的子集的每个图像帧，确定包括各个图像帧和历史元素的输入数据结构，其中，所述历史元素包括针对在所述各个图像帧之前的图像帧确定的分段掩码预测；以及

基于所述子集的每个图像帧的所述输入数据结构，并使用所述RSSD NN，确定所述各个图像帧的分段掩码预测，其中，所述分段掩码预测至少包括所述火车沿其行驶的当前铁路路径。

7.根据权利要求6所述的系统，其中，所述分段掩码预测还包括沿着所述当前铁路路径的至少一个岔道，所述至少一个岔道表示沿着所述当前铁路路径的相应的至少一个道岔的状态。

8.根据权利要求6至7中任一项所述的系统，还包括物体和障碍物检测和追踪模块，物体和障碍物检测和追踪模块包括OODT神经网络(OODT)，其中，所述OODT模块被配置为基于针对各个帧确定的所述分段掩码预测并且使用所述OODT NN在所述子集的至少一个图像帧中确定所述当前铁路路径上或所述当前铁路路径附近的至少一个物体/障碍物。

9.根据权利要求6至8中任一项所述的系统，其中，所述至少一个传感器是视觉波段成像传感器和热红外传感器中的至少一个。

10.根据权利要求6至9中任一项所述的系统，其中，所述至少一个传感器是窄视场成像传感器和宽视场成像传感器中的至少一个。

Images