CN112004732B - 铁路轨道识别装置 - Google Patents

Abstract

提供一种铁路轨道识别装置。本发明的实施方式涉及铁路轨道识别装置。根据实施方式的铁路轨道识别装置包括图像取得部、铁路轨道检测部、分支轨道检测部和铁路轨道检测结果输出部。图像取得部取得通过对铁道车辆的行驶方向的区域进行拍摄而得到的摄像图像。铁路轨道检测部针对所述摄像图像中的多个像素组中的每个像素组，基于特征量来检测铁路轨道，其中该特征量基于规定的标准，并且可以作为表示是铁路轨道的可能性的尺度。分支轨道检测部检测是否存在从所检测的铁路轨道分支的分支轨道。铁路轨道检测结果输出部输出所述铁路轨道检测部的检测结果和所述分支轨道检测部的检测结果。

Description

铁路轨道识别装置

本申请是国际申请PCT/JP2019/016859(国际申请日：2019年4月19日)的向中国进入的国家申请，通过参照上述国际申请而援用于本说明书。另外，本申请基于日本专利申请第2018-081586号(申请日：2018年4月20日)，享受该申请的优先权。本申请通过参照该申请而包含其全部内容。

技术领域

本发明的实施方式涉及铁路轨道识别装置。

背景技术

传统上，为了在铁道车辆行驶期间检查铁路轨道或检测铁路轨道上的障碍物(需要关注的关注物)，已经考虑了各种技术，在这些技术中，从通过对位于铁道车辆的行驶方向上的区域进行摄像而获得的摄像图像中，检测铁路轨道(或看到铁路轨道的区域)。

在上面所描述的这种常规技术中，需要从摄像图像中更准确地检测铁路轨道。特别地，在存在从铁道车辆行驶的铁路轨道分支的分支轨道的情况下，能够从摄像图像中准确地检测出分支轨道是有意义的。

发明内容

根据实施方式的铁路轨道识别装置包括图像取得部、铁路轨道检测部、分支轨道检测部和铁路轨道检测结果输出部。图像取得部取得通过对铁道车辆的行驶方向的区域进行拍摄而得到的摄像图像。铁路轨道检测部针对所述摄像图像中的多个像素组中的每个像素组，基于特征量来检测铁路轨道，其中该特征量基于规定的标准，并且可以作为表示是铁路轨道的可能性的尺度。分支轨道检测部检测是否存在从所检测的铁路轨道分支的分支轨道。铁路轨道检测结果输出部输出所述铁路轨道检测部的检测结果和所述分支轨道检测部的检测结果。

附图说明

图1是示出包括根据第一实施方式的铁路轨道识别装置的车辆系统的构造的示例性示意图。

图2是示出包括根据第一实施方式的铁路轨道识别装置的车辆系统的功能的示例性示意性框图。

图3是示出在第一实施方式中用于检测铁路轨道而设定的初始区域的示例性示意图。

图4是用于说明在第一实施方式中，基于在初始区域中检测出的铁路轨道，从初始区域的每个后续区域中检测铁路轨道(其一部分)的例子的示例性示意图。

图5是在第一实施方式中，用于从初始区域的每个后续区域中检测铁路轨道(其一部分)的扇形搜索区域的示例性示意图。

图6是用于说明在第一实施方式中，使用扇形搜索区域搜索铁路轨道(其一部分)的方法的示例性示意图。

图7是用于说明在第一实施方式中，在搜索分支轨道的分支位置时的扇形搜索区域的示例性示意图。

图8是用于说明在第一实施方式中，检测到与已经检测到的铁路轨道相交的线段的状态的示例性示意图。

图9是用于说明在第一实施方式中，基于检测出的线段来设定作为搜索对象的分支轨道的搜索范围的例子的示意图。

图10是用于进一步描述在第一实施方式中，向在图9中设定的分支轨道的搜索范围添加搜索裕度的示例性示意图。

图11是用于说明在第一实施方式中，使用扇形搜索区域对已设定的分支轨道的搜索区域搜索分支轨道的示例性示意图。

图12是用于说明在第一实施方式中，使用霍夫(Hough)变换来检测分支轨道的情况下基于图10中设定的搜索裕度而设定的分支轨道的搜索区域的示例性示意图。

图13是示出在第一实施方式中，检测铁路轨道并检测障碍物的处理流程的示例性示意性流程图。

图14是详细地示出在图13的流程图中的S102处，取得铁路轨道的位置的处理流程的示例性流程图。

图15是详细地示出在图14的流程图中的S126处，搜索铁路轨道的分支位置的处理流程的示例性流程图。

图16是示出包括根据第二实施方式的铁路轨道识别装置的车辆系统的功能的示例性示意性框图。

图17A是用于说明在根据第二实施方式的铁路轨道识别装置中利用的分支信息的示例性示意图。

图17B是用于说明在根据第二实施方式的铁路轨道识别装置中利用的分支信息的示例图。

图18是示出在第二实施方式中，检测铁路轨道并检测障碍物的处理流程的示例性流程图。

具体实施方式

下面参考附图来描述实施方式。以下描述的实施方式的配置以及这些配置所带来的动作和结果(效果)仅仅是举例。因此，本发明并不限于以下描述的内容。

<第一实施方式>

首先将描述第一实施方式的配置。

图1是示出包括根据第一实施方式的铁路轨道识别装置10的车辆系统100的构造的示例性示意图。如图1中所示，车辆系统100安装在铁道车辆RV上，其中铁道车辆RV在包括一对铁轨的铁路轨道R上沿着方向D行驶。

如图1中所示，车辆系统100除了包括铁路轨道识别装置10之外，还包括用作摄像部的照相机12、显示部14和障碍物检测装置16。

照相机12设置在铁道车辆RV的一端(例如，驾驶员座位)，以对位于铁道车辆RV的行驶方向上的区域进行摄像。在由照相机12取得的摄像图像中，拍摄了铁路轨道R。

显示部14代表显示各种图像中的每一个图像的设备。例如，显示部14设置在铁道车辆RV的驾驶员座位处或者其周围。

铁路轨道识别装置10是例如包括诸如处理器和存储器之类的硬件的计算机。

顺便提及，在常规情况下，为了在铁道车辆RV行驶期间检查铁路轨道R并检测铁路轨道R上的障碍物(需要关注的关注物)，已经考虑了各种技术，其中在这些技术中，从通过对位于铁道车辆RV的行驶方向上的区域进行摄像而获得的摄像图像中，检测铁路轨道R(或者看到铁路轨道R的区域)。在这种常规技术中，需要从摄像图像中更准确地检测铁路轨道R。在存在从铁道车辆RV行驶的铁路轨道分支的分支轨道的情况下，可以通过从摄像图像中准确地检测出分支轨道来取得更实用的系统。

为此，第一实施方式通过以下方式来实现此目的：使铁路轨道识别装置10具有如下所述的功能以从摄像图像中检测出分支位置和分支轨道，更准确地检测作为分支目的地的车辆本身(铁道车辆RV)应在其上行驶的铁路轨道R。

图2是示出根据第一实施方式的铁路轨道识别装置10和障碍物检测装置16的功能的示例性示意性框图。如图2中所示，铁路轨道识别装置10例如包括图像取得部10a、特征量取得部10b、铁路轨道检测部10c、分支轨道检测部10d(分支检测部)和存储部10e。障碍物检测装置16例如包括判定区域确定部16a、障碍物检测部16b、输出控制部16c和存储部16d。

通过硬件和软件之间的协作，来部分地或全部地实现包括图像取得部10a、特征量取得部10b、铁路轨道检测部10c和分支轨道检测部10d的一组功能模块。具体而言，通过铁路轨道识别装置10中的处理器读取并执行存储在诸如存储部10e之类的存储器中的计算机程序，来实现这些功能模块中的每个功能模块。类似地，通过硬件和软件之间的协作，来部分地或全部地实现包括判定区域确定部16a、障碍物检测部16b和输出控制部16c的一组功能模块。具体而言，当障碍物检测装置16中的处理器读取并执行存储在诸如存储部16d之类的存储器中的计算机程序时，实现这些功能模块中的每个功能模块。应当注意，在第一实施方式中，可以用专用硬件(电路)来部分或全部地实现这些功能模块组。

铁路轨道识别装置10中的存储部10e和障碍物检测装置16中的存储部16d均由包括存储器在内的各种类型的易失性或非易失性存储介质来实现。存储部10e存储上面所描述的由铁路轨道识别装置10的处理器执行的计算机程序、以及用于根据计算机程序检测铁路轨道R的铁路轨道信息10f(其包括例如检测完毕铁路轨道信息、铁路轨道的宽度信息、初始区域信息、以及铁路轨道的位置信息)。存储部16d存储上面所描述的由障碍物检测装置16的处理器执行的计算机程序、以及用于根据计算机程序检测障碍物的障碍物信息16e(例如，其包括在铁路轨道上可能存在的诸如人、动物、倒下的树木和车辆之类的障碍物的形状的信息(关注点信息等))。

在本实施方式中，在基于规定标准的特征量的基础上，针对照相机12拍摄的摄像图像中的多个像素组(搜索区域)中的每个像素组，检测铁路轨道R。该特征量可以作为表示是铁路轨道的可能性的尺度。

图像取得部10a取得由照相机12拍摄的摄像图像。例如，该摄像图像是彩色图像。图像取得部10a可以例如对所取得的摄像图像执行视点转换处理，以生成鸟瞰图像，通过鸟瞰图像，可以从上方以全景方式看到照相机12所拍摄的区域。

特征量取得部10b根据诸如要拍摄图像(鸟瞰图像)的成像环境、或者作为检测对象的铁路轨道R的部位等情况，取得用于准确检测铁路轨道R的特征量而应关注的特征量。

摄像图像中的铁路轨道R的外观根据摄像环境(例如，周围区域的亮度)而变化。例如，存在与铁路轨道R相对应的区域被拍摄得比周围区域更亮的情况。在这种情况下，可以认为已经在铁路轨道R容易反射光的这种成像环境中取得到了图像。在这种情况下，作为特征量，例如着眼于亮度值本身而检测铁路轨道R的方法是有效的。由于已经相对于其它区域，将与铁路轨道R相对应的区域拍摄得相对更亮，因此如果取得了通过将作为鸟瞰图像的整个图像划分(二值化)为亮度值等于或大于阈值的区域、以及亮度值低于阈值的区域的特征量，则能够高精度地检测与铁路轨道R相对应的区域。在这种情况下，该方法是有用的，这是因为将单个目标作为特征量来关注，可实现抗噪声的鲁棒性，并且可实现对铁路轨道检测算法的便利应用，其中铁路轨道检测算法利用诸如霍夫(Hough)变换和随机采样一致性(RANSAC)之类的已经存在的线段检测算法。

另一方面，有时也会将与铁路轨道R相对应的区域拍摄得比周围区域更暗。在这种情况下，可以认为已经在铁路轨道R很少反射光的这种成像环境中取得到了图像。在这种情况下，作为特征量，关注于亮度值的梯度(要关注的像素和与要关注的像素相邻的像素之间的亮度值之差)而检测铁路轨道R的方法是有效的。应当注意，可以使用例如SOBEL过滤器、Laplacian过滤器、Robinson过滤器或Canny过滤器来计算亮度值的梯度。

顺便提及，由于铁路轨道R通常在照相机12的视点上从近前侧延伸到进深侧，所以通常将沿着亮度值的水平轴(x轴)方向上的梯度作为特征量来进行关注。另一方面，在与铁路轨道R相对应的区域在照相机12的视点中从近前侧到进深侧的中途弯曲的情况下，与沿着亮度值的水平轴方向上的梯度相比，沿着亮度值的垂直轴(y轴)方向上的梯度在进深侧的区域中变得更大。为此，在与铁路轨道R相对应的区域被拍摄得比周围区域更暗的这种成像环境中，作为特征量关注于沿亮度值的水平轴方向上的梯度和沿亮度值的垂直轴方向上的梯度双方，并且根据用作检测对象的区域(像素组)来切换要关注的其中一个梯度以取得特征数据的方法是有效的。该方法是有用的，这是因为即使随着作为特征量而关注的东西的增加，可能增加噪声，仍可以根据铁路轨道R的延伸方向适当地检测弯曲的铁路轨道R。

如上所述，为了准确地检测铁路轨道R而应当关注的特征量根据摄像图像(鸟瞰图像)的成像环境、以及用作检测对象的铁路轨道R的一部分等情形而不同地变化。因此，为了从任何种类的摄像图像(鸟瞰图像)中都能高精度地检测出铁路轨道R，只要根据情况适当地切换用于检测铁路轨道R的特征量即可。

特征量取得部10b针对在y轴方向(图像的进深侧和上侧)上对图像取得部10a生成的鸟瞰图像进行划分的多个像素组(区域)中的每个像素组，基于规定的标准，从可以作为表示是铁路轨道的可能性的尺度的多个特征量中，取得用于检测铁路轨道R的一个特征量。然后，从这些区域中的每个区域中，取得基于所取得的一个特征量的特征数据。

铁路轨道检测部10c基于特征量取得部10b所取得的特征数据，从摄像图像(鸟瞰图像)中检测铁路轨道R。

如图3中所示，铁路轨道检测部10c在从图像300中包括的像素组(区域)中，从用作第一检测对象的初始区域A1中检测出铁路轨道R(轨道301L和轨道301R)的一部分之后，基于已检测出的铁路轨道R的该部分，进一步从下一个区域中检测铁路轨道R的另一部分，依次重复，从而从整个摄像图像(鸟瞰图像)中检测铁路轨道R。然后，每当铁路轨道检测部10c检测到铁路轨道R的一部分时，作为上面所描述的规定标准，特征量取得部10b至少使用关于铁路轨道检测部10c已检测到的铁路轨道R的该部分的信息，来取得与下一个区域相对应的一个特征量。应当注意，在图3和其它附图中，为了便于理解起见，使用摄像图像来描述本实施方式的概要。应当注意，即使将摄像图像转换为鸟瞰图像以检测铁路轨道，也可以将所取得的铁路轨道的位置再次转换为原始的摄像图像上的位置，从而能够取得类似于图3和其它附图的铁路轨道检测图像。

特征量取得部10b通过使用与铁路轨道检测部10c已经检测到的铁路轨道R的一部分相对应的摄像图像(鸟瞰图像)中的关于亮度的图像统计量作为上面所描述的规定标准，来选择与下一个区域相对应的一个特征量。关于亮度的图像统计量是指例如平均亮度值。如果关注于已经检测到的铁路轨道R的该部分的平均亮度值，则可以基于在铁路轨道R容易反射光的成像环境中取得的摄像图像，或者基于在铁路轨道R很少反射光的成像环境中取得的摄像图像，来判断鸟瞰图像是否作为处理目标。

例如，在已经检测到的铁路轨道R的一部分的平均亮度值等于或大于阈值的情况下，与摄像图像(鸟瞰图像)中的其它区域相比，与铁路轨道R的该部分相对应的区域被拍摄得更亮。在这种情况下，如上所述，将亮度值本身作为与下一区域相对应的特征量来进行关注是有效的。另一方面，在已经检测到的铁路轨道R的一部分的平均亮度值低于阈值的情况下，与摄像图像(鸟瞰图像)中的其它区域相比，与铁路轨道R的该部分相对应的区域被拍摄得较暗。在这种情况下，如上所述，将亮度值的梯度作为与下一区域相对应的特征量来进行关注是有效的。因此，特征量取得部10b根据所拍摄的包含有已经检测到的铁路轨道R的一部分的图像中的平均亮度值与阈值之间的大小关系，来确定应当选择亮度值本身和亮度值的梯度中的哪一个作为下一区域中的特征量。

应当注意，如上所述，存在可用作特征量的两个亮度值的梯度，它们是沿水平轴方向的梯度和沿垂直轴方向的梯度。例如，根据铁路轨道R是否弯曲，确定这两个梯度之一为适当的。为此，特征量取得部10b基于铁路轨道检测部10c已经检测到的铁路轨道R的一部分的角度(铁路轨道R的该部分延伸的方向)，来确定应当选择沿亮度值的水平轴方向上的梯度和沿亮度值的垂直轴方向上的梯度中的哪一个，作为用于从下一个区域中检测铁路轨道R的另一部分的一个特征量。

顺便提及，由于初始区域A1代表用作第一检测对象的区域，因此，如上所述的应当参考的紧邻的先前结果不存在。因此，为了从初始区域A1中检测铁路轨道R的一部分，使用对于过去(例如，前一帧)的摄像图像(鸟瞰图像)的检测铁路轨道R的结果。也就是说，随着铁道车辆RV行驶，图像取得部10a多次取得摄像图像。然后，特征量取得部10b使用用于选择一个特征量的规定标准，来选择与在某一个定时处取得的摄像图像(鸟瞰图像)中的初始区域A1相对应的一个特征量。在这种情况下，该规定标准至少指代关于铁路轨道R的一部分的信息(例如，利用诸如上述的平均亮度值之类的图像统计量)，该铁路轨道部分是从比该时刻更早的时刻取得的鸟瞰图像(基于前一帧的摄像图像的鸟瞰图像)中的初始区域A1中检测到的。应当注意，基于前一帧的摄像图像检测到的关于铁路轨道R的信息作为铁路轨道信息10f，存储在存储部10e中。

本文将描述从摄像图像(鸟瞰图像)中的每个区域中检测铁路轨道R(其一部分)的方法。首先将描述从初始区域A1检测铁路轨道R(其一部分)的方法。如上所述，将初始区域A1设置在预先确定的位置处，作为用于检测铁路轨道R的起点的区域。将初始区域A1的位置作为铁路轨道信息10f预先存储在存储部10e中。铁路轨道检测部10c首先参考存储部10e中的铁路轨道信息10f，以从基于利用上述方法选择的特征量所取得的特征数据中，提取与初始区域A1相对应的区域的数据。然后，铁路轨道检测部10c基于诸如霍夫变换或RANSAC之类的线段检测算法，对所提取的数据执行处理，以提取在初始区域A1中存在的铁路轨道R(其一部分)的候选。应当注意，构成正规的铁路轨道R的一对铁轨301L和301R之间的宽度是预先确定的。因此，如果取得关于构成正规铁路轨道R的一对铁轨301L和301R之间的宽度的信息，则能够从如上所述提取的候选中，识别正规的铁路轨道R(其一部分)。为此，在本实施方式中，可以将构成铁路轨道R的一对铁轨301L和301R之间的宽度作为铁路轨道信息10f，预先存储在存储部10e中。

然后，铁路轨道检测部10c参考在铁路轨道信息10f中给出的铁路轨道的宽度，并进一步从如上所述提取的候选中提取具有与在铁路轨道信息10f中给出的该铁路轨道的宽度相匹配的宽度的候选，以识别(检测)被认为是正规的铁路轨道R。然后，铁路轨道检测部10c使存储部10e存储已识别的构成铁路轨道R的多个坐标点作为铁路轨道的位置信息。例如，在图4所示的例子中，将位于铁路轨道R(铁轨401L和401R)上的坐标点L1、R1、L2和R2存储在存储部10e中。

接着，将描述从初始区域A1之后的区域中检测铁路轨道R(其一部分)的方法。

图5和图6是用于说明从初始区域A1之后的区域中检测铁路轨道R(其一部分)的方法的概要的示例性示意图。在图5所示的例子中，认为通过紧邻的在前的处理，将坐标点L1和L2检测为铁路轨道R的一部分。如图5中所示，铁路轨道检测部10c首先基于最近刚刚检测到的两个坐标点，设置规定的扇形区域。该扇形区域是指在最近检测到的两个坐标点L1和L2中，从与初始区域A1相反侧的坐标点L2，以连结这两个坐标点L1和L2的直线L为中心，向左和向右按相同角度θ进行扩展而延伸的虚拟线VR和虚拟线VL所划分的区域。应当注意，例如，角度θ表示预先设定的角度，并且表示其范围覆盖以下范围的角度：具有用于铁路轨道R的标准中所规定的最大曲率。虚拟线VR和虚拟线VL的长度中的每一个对应于预先设定的长度。

对于如上所述设置的扇形区域，如图6中所示，铁路轨道检测部10c设置多个线段，以全面地连结扇形区域的上端上的任意部位和用作扇形区域的起点(枢轴，pivot)的坐标点L2。将这些线段视为铁路轨道R(其一部分)的候选。

然后，铁路轨道检测部10c将如上所述设置的多个候选应用于鸟瞰图像，并从多个候选中识别(检测)特征量取得部10b所选择的特征量平均值最大的，作为被认为是正规的铁路轨道R(其一部分)。

顺便提及，图5所示的两个坐标点是沿着构成铁路轨道R的一对铁轨301L和301R中的一个(例如，铁轨301L)的坐标点。已经检测到实际上沿着另一条铁轨301R的两个坐标点。因此，铁路轨道检测部10c利用与上述相同的方法，对于另一个铁轨301R识别(检测)被认为是正规的铁路轨道R。

随着依次重复上面所描述的过程，铁路轨道检测部10c从图4中所示的图像400(摄像图像；鸟瞰图像)的所有区域中检测铁路轨道R(铁轨401L和401R)。然后，将关于被检测到的铁路轨道R(的全部)的信息作为检测完毕铁路轨道信息，存储在存储部10e中。应当注意，作为检测铁路轨道R的方法，上面已经描述了这样的例子，如图6中所示，在扇形区域中设置多个线段(以直线示出的候选铁路轨道)，并且将其特征量对应于最大平均值的线段识别成被认为是正规的铁路轨道R(其一部分)。在另一个例子中，可以在扇形区域中设置被示出成抛物线的多个铁路轨道候选，以将其特征量对应于最大平均值的候选者识别成被认为是正规的铁路轨道R(其一部分)。在这种情况下，在形状更类似于实际铁路轨道R的形状的候选铁路轨道中搜索铁路轨道R。结果，可以更高精度地检测到铁路轨道R。另一方面，如上所述，例如，将线段(直线)设置为要执行搜索的候选铁路轨道，可以有助于减轻处理负担并缩短处理时间。

现在返回到图2，分支轨道检测部10d检测是否存在从铁路轨道检测部10c检测到的铁路轨道R分支出来的分支轨道。例如，铁路轨道检测部10c将摄像图像(鸟瞰图像)从近前侧向进深侧划分为多个区域，并且针对每个区域，将与最大平均值相对应的特征量识别(检测)为正规轨道R(其一部分)。结果，在铁路轨道R的中途存在分支轨道SR(轨道402L和轨道402R)的情况下，如图4中所示，如果分支起始的位置和区域被划分的位置彼此不匹配，则有时无法检测到分支轨道SR。

为此，分支轨道检测部10d识别分支轨道SR在检测完的铁路轨道R上的分支位置，并且基于该分支位置，进一步检测从分支位置延伸的分支轨道SR。

如图7中所示，分支轨道检测部10d以图像700中包括的、并且构成铁路轨道检测部10c所检测到的铁路轨道R的点(例如，诸如坐标点LA和坐标点LB之类的特征数据)为中心，设置类似于图6中所描述的扇形区域(搜索区域)的扇形搜索区域。在图7中，示出了针对一对铁轨701L和铁轨701R中的一个(即，铁轨701L)来设置搜索区域的例子。然后，判断在扇形搜索区域中包括的线段组(分支轨道的候选)中是否存在连结铁路轨道R(一对铁轨701L和701R)的线段(横穿线段和交叉线段)。例如，检测出特征量的平均值等于或大于一定值的线段。应当注意，在这种情况下，可以使用铁路轨道检测部10c所检测到的铁路轨道R的特征量的平均值，作为等于或大于该一定值的特征量的平均值。

图8示出了作为在扇形搜索区域中搜索线段(分支轨道的候选)的结果，检测到连结(横穿)铁路轨道R(铁轨701L和铁轨701R)的线段801(线段LB-RA)的状态。在8图的例子中，当通过使用铁轨701L上的坐标点LB作为搜索基点来设置扇形搜索区域时，检测到线段801。分支轨道检测部10d取得线段801，即，分支轨道SR与铁路轨道检测部10c检测到的铁路轨道R之间的交点作为分支轨道SR的分支位置。然后，分支轨道检测部10d可以基于分支位置，高精度地执行针对分支轨道SR的搜索。应当注意，在另一个例子中，可以在扇形区域中设置多个抛物线的分支轨道候选，以将特征量对应于最大平均值的一个视作为连结(横穿)铁路轨道R(铁轨701L和铁轨701R)的分支轨道SR(其一部分)。在这种情况下，在更类似于实际分支轨道R的形状的分支轨道的候选中执行对分支轨道SR的搜索。结果，可以更高精度地检测出分支轨道SR(其一部分)。另一方面，如上所述，例如，将线段(直线)设置为要执行搜索的分支轨道候选，可以有助于减轻处理负担并缩短处理时间。

分支轨道检测部10d基于在检测到的线段801和铁路轨道R之间的交点之中，在进深侧(图像800的上侧)存在的交点(在图8中，坐标点RA)，来设置新的搜索区域以搜索分支轨道SR。在这种情况下，如图9中的图像900所示，分支轨道检测部10d在由铁路轨道检测部10c检测的铁轨701R延伸的方向上，首先利用线段801(线段LB-RA)的长度来设置具有相同长度的线段901。在这种情况下，如图9和其它附图中所示，对于要搜索的分支轨道SR，由于其性质，分支轨道SR的一个铁轨横穿铁路轨道R，但是另一铁轨未横穿铁路轨道R。因此，与分支轨道SR的横穿铁路轨道R的铁轨相比，不横穿铁路轨道R的分支轨道SR的铁轨存在于图像900的近前侧。因此，将定义搜索区域的线段901设置为从坐标点RA沿铁轨701R延伸到图像900的近前侧。然后，将线段901的一端指定为坐标点RB。

此外，如图10中的图像1000所示，为了向分支轨道SR的搜索范围增加裕度，分支轨道检测部10d从坐标点RA的位置沿着由铁路轨道检测部10c检测到的铁轨701R朝向进深侧(图像1000的上侧)来设置坐标点RC，以将进深侧的搜索范围扩大与线段901的规定长度(例如，长度的1/2)相对应的量。类似地，从坐标点RB的位置沿着铁轨701R朝向近前侧(图像1000的下侧)来设置坐标点RD，以将近前侧的搜索范围扩大与线段901的规定长度(例如，长度的1/2)相对应的量。也就是说，将线段RC-RD定义为分支轨道SR的搜索范围。

在确定了分支轨道SR的搜索范围(线段RC-RD)时，如图11中的图像1100所示，分支轨道检测部10d设置类似于参照图6所描述的扇形区域(搜索区域)的扇形搜索区域S。也就是说，分支轨道检测部10d可以将分支轨道SR的分支位置用作枢轴，以设置扇形搜索区域S中的每一个来检测分支轨道SR的一部分(铁轨1101R和1101L)。然后，在每个扇形搜索区域S中包括的线段组(分支轨道的候选)上，检测特征量的平均值等于或大于一定值的线段。在这种情况下，可以将检测到的分支位置作为起点的、用于分支轨道SR的每个扇形搜索区域S的角度(参见图5中的θ)设置为包含以下最大曲率范围的角度，该最大曲率范围为以线段801(线段801的角度、姿态)为基准分支轨道SR指定的分支轨道SR可取的最大曲率的范围。在这种情况下，对于可能存在搜索对象的分支轨道SR的方向上的搜索进行限制成为可能，从而可以高效地检测分支轨道SR。当基于每个扇形搜索区域S中包括的线段组(分支轨道的候选)来检测分支轨道SR时，将检测出特征量的平均值等于或大于一定值的线段。然而，在这种情况下，分支轨道检测部10d可以利用与铁路轨道检测部10c检测到的铁路轨道R的类似度。由铁路轨道检测部10c检测到的铁路轨道R与分支轨道检测部10d将要检测的分支轨道SR连续。因此，可以想到图像1100中的铁路轨道R和分支轨道SR的特征的相似点较多。如上所述，使用与铁路轨道R的相似度(相似的特征量)，可以有助于减少用于检测分支轨道SR的处理负担，可以缩小搜索标准，并且可以更准确地检测分支轨道SR。

如图11中所示，当分支轨道检测部10d在每个扇形搜索区域S中执行搜索并检测到分支轨道SR的初始分支部分时，铁路轨道检测部10c执行如参考图4所描述的在初始区域A1之后的区域中检测铁路轨道R(其一部分)的处理。结果，可以完全检测到分支轨道SR。分支轨道检测部10d还针对由铁路轨道检测部10c所检测到的铁路轨道R(分支轨道SR)执行检测分支轨道的分支轨道检测处理。即，在要检测的所有分支位置上，重复执行分支轨道检测处理。结果，可以精确地检测出在用作当前处理目标的摄像图像(鸟瞰图像，例如图像1100)中存在的所有分支轨道SR。

在上述实施方式中，已经描述了这样的例子，即分支轨道检测部10d使用如图5和图6中所示的扇形搜索区域，对表示分支轨道SR(其一部分)的线段执行检测。在另一个例子中，可以使用诸如霍夫变换之类的另一种方法来检测表示分支轨道SR(其一部分)的线段。在这种情况下，如图12中所示，可以基于附加有如图10中所示的裕度的搜索范围(线段RC-RD)，来设置搜索区域。例如，对于在图像1200中拍摄的分支轨道SR，分支轨道检测部10d所检测到的线段801的上端的交点比下端的交点更靠近右侧。即，假定分支轨道SR向右弯曲并分支。在这种情况下，分支轨道检测部10d例如在图像1200的x方向(向右)上，向坐标点RC或坐标点RD中的更靠近右侧的点(例如，坐标点RD)增加规定长度(其是例如预先通过实验来设置的)，以设置坐标点RE。然后，将坐标点RF设置在与坐标点RE相同的x坐标和与坐标点RC相同的y坐标的位置。然后，当要执行霍夫变换时，坐标点RC、RD、RE和RF形成用作检测区域的区域P。如上所述，通过设置区域P，能够对推测存在分支轨道SR的区域高效地执行霍夫变换。

现在返回到图2，障碍物检测装置16对于铁路轨道识别装置10检测的铁路轨道R，进行是否存在当铁道车辆RV在铁路轨道R上行驶时要观察的障碍物(关注物)的检测，并且使例如显示部14显示检测结果。

判定区域确定部16a基于铁路轨道检测部10c的检测结果和分支轨道检测部10d的检测结果，将摄像图像内的铁路轨道R附近的区域确定为判定区域，其用作识别是否存在障碍物(需要关注的关注物)的对象。因此，铁路轨道检测部10c和分支轨道检测部10d用作将各自的检测结果输出到障碍物检测装置16的铁路轨道检测结果输出部。

障碍物检测部16b监视(检测)在由判定区域确定部16a所确定的判定区域中是否存在关注物。用于判断是否存在关注物的信息(模板)，作为障碍物信息16e存储在存储部16d中。障碍物检测部16b基于障碍物信息16e和特征量取得部10b检测到的特征数据，判断在判定区域中是否存在与障碍物(关注物)的模板相匹配的像素组。

然后，当障碍物检测部16b确定存在障碍物(关注物)时，输出控制部16c从障碍物信息16e中读出表示对应于障碍物的需要进行观察的物体的图像(标记、图标、符号或字符等)。然后，输出控制部16c例如以重叠的方式，在显示部14上显示的图像(例如，拍摄铁路轨道R和分支轨道SR的实际图像)的相应位置，对表示需要进行观察的物体的图像进行显示，以输出警告信息。应当注意，在这种情况下，除了这种警告之外，还可以输出语音或警报。

将参考图13至图15中的流程图，来描述包括如上所述配置的铁路轨道识别装置10的车辆系统100的操作。

图13是示出由包括根据第一实施方式的铁路轨道识别装置10的车辆系统100执行的处理的整体流程的示例性流程图。在铁道车辆RV行驶时，将重复地执行图13中所示的处理流程。

在图13所示的处理流程中，首先在步骤S100，铁路轨道识别装置10的图像取得部10a从照相机12取得摄像图像。应当注意，图像取得部10a将所取得的摄像图像转换成鸟瞰图像。

然后，在S102处，铁路轨道识别装置10使特征量取得部10b、铁路轨道检测部10c和分支轨道检测部10d执行参考图3至图11(图12)所描述的处理，以检测铁路轨道R和分支铁路轨道SR，即取得铁路轨道的位置。

具体而言，如图14的流程图所示，在S120处，特征量取得部10b取得铁路轨道R的特征量，其表示在用作搜索对象的鸟瞰图像中的各像素处是铁路轨道的可能性。例如，图3示出了针对拍摄了铁道车辆RV前面的场景的图像(鸟瞰图像)计算边缘强度的例子。

接着，在S122处，如图3中所述，铁路轨道检测部10c在图像300中包括的多个像素组(区域)中，从用作第一检测对象的初始区域A1中，检测本车辆(铁道车辆RV)所行驶的铁路轨道R的一部分(铁轨301L和301R)。应当注意，作为另一个实施例，在图像300的近前侧的区域中，可以限制铁道车辆RV所行驶的铁路轨道R的形状。为此，可以使存储部10e预先存储铁路轨道R的形状图案作为铁路轨道信息10f。然后，可以执行与该形状图案进行匹配的处理，以检测在图像300的近前侧所看到的铁路轨道R(初始区域A1中的铁路轨道R)。

然后，在S124处，铁路轨道检测部10c使用参考图4至图6所描述的方法，基于在S122中检测到的铁路轨道R的初始位置，从近前侧(下侧)向图像400的进深侧(上侧)，来依次地对铁路轨道R执行搜索(检测)。

接着，在S126处，分支轨道检测部10d根据参考图7至图11(图12)所描述的过程，关于在S124中检测到的铁路轨道R，对分支轨道SR(分支轨道SR的位置；分支位置)执行检测。

将参考图15中的流程图来描述S126处的处理。首先在S130处，分支轨道检测部10d使用如图7中所描述的扇形搜索区域，对铁路轨道间线段(图8中的线段801)执行搜索。应当注意，在搜索铁路轨道间线段期间，可能检测到多个线段。在这种情况下，例如，假定铁路轨道的分支位置彼此相邻。在这种情况下，对于每个检测到的铁路轨道间线段，执行以下步骤中描述的处理就足够了。

接着，在S132处，分支轨道检测部10d基于在S130中检测到的铁路轨道间线段(线段801)，如图9和图10(或图12)中所描述的，确定用于分支轨道SR的搜索范围(区域)。

然后，在S134处，分支轨道检测部10d对于在S132中确定的用于分支轨道SR的搜索范围(区域)，如参照图11所述，通过扇形的搜索区域，执行使用分支轨道的候选的搜索，并且检测与分支轨道的候选相匹配的分支轨道SR(其一部分)。

现在返回到图14中的流程图，在S128处，铁路轨道检测部10c和分支轨道检测部10d判断是否满足用于检测铁路轨道R和分支轨道SR的结束条件。可以想到的是，结束条件包括：例如，铁路轨道检测部10c和分支轨道检测部10d重复进行检测处理的次数等于或大于规定的次数，并且铁路轨道检测部10c最后确定的铁路轨道R(其一部分)的端部位于比鸟瞰图像中的规定位置更靠近上端的位置。

在S128处，当确定尚未满足结束条件时(在S128为否)，仍然有未检测出的铁路轨道R(其一部分)。因此，在这种情况下，处理返回到S124，并且从下一个区域进一步重复对铁路轨道R(其一部分)或者分支轨道SR(其一部分)的检测。

另一方面，在S128处，当确定已经满足结束条件时(在S128处为是)，不再有未检测到的铁路轨道R(其一部分)或分支轨道SR(其一部分)。因此，在这种情况下，确定已经完成了对当前图像(鸟瞰图像)上的铁路轨道R和分支轨道SR的检测处理。然后，铁路轨道搜索处理结束。将关于检测到的铁路轨道R和分支轨道SR的信息，存储在存储部10e中。

现在返回到图13中的流程图，在铁路轨道识别装置10完成了对作为当前处理对象的图像(鸟瞰图像)上的铁路轨道R和分支轨道SR的检测之后，在S104处，障碍物检测装置16的判定区域确定部16a设置铁路轨道R(分支轨道SR)周围的判定区域，该判定区域用作判断是否存在障碍物(需要关注的关注物)的对象。

然后，在S106处，障碍物检测装置16的障碍物检测部16b判断在S104处所确定的判定区域中是否存在障碍物。

当判断为存在障碍物时，在S108处，必须通知铁道车辆RV的驾驶员存在障碍物以引起驾驶员的注意。因此，在这种情况下，在S108处，障碍物检测装置16的输出控制部16c从例如障碍物信息16e中读取用于表示对应于障碍物的需要进行观察的物体的图像(标记、图标、符号或字符等)。然后，输出控制部16c例如以重叠的方式，在显示部14上显示的图像(例如，拍摄铁路轨道R和分支轨道SR的实际图像)的相应位置，对用于表示需要进行观察的物体的图像进行显示，以输出警告信息。然后，对处理对象图像的一系列处理结束。应当注意，当没有发现障碍物时，没有必要引起驾驶员的注意。因此，在这种情况下，显示部14显示由照相机12拍摄的当前图像(实际图像)。

如上所述，在根据第一实施方式的车辆系统100中，铁路轨道识别装置10不仅执行关于本车辆(铁道车辆RV)所行驶的铁路轨道R的准确识别(检测)，而且还对于从铁路轨道R分支出来的分支轨道SR执行准确的识别(检测)。结果，可以针对在作为当前处理对象的图像中存在的铁路轨道R和分支轨道SR，高精度地执行障碍物检测处理，从而提高车辆系统100的可靠性和可用性。

<第二实施方式>

在上面所描述的第一实施方式中，已经描述了这样的例子：对于用作检测对象的图像(鸟瞰图像)，将整个范围作为检测对象。结果，可以减少漏检，实现对铁路轨道R(分支轨道SR)的高度可靠的检测，以及实现对障碍物的高度可靠的检测。

顺便提及，铁道车辆RV受到详细的运行管理。因此，车辆系统100可以预先取得在用作检测对象的图像(鸟瞰图像)中拍摄到的铁路轨道R(分支轨道SR)之中，与铁道车辆自身将行驶的铁路轨道R(分支轨道SR)朝向的方向有关的信息。为此，车辆系统100基于本车辆(铁道车辆RV)的位置和运行信息等，例如，限定为本车辆(铁道车辆RV)将行驶的铁路轨道R(分支轨道SR)，以执行第一实施方式中所描述的铁路轨道识别处理和障碍物检测处理。结果，车辆系统100可以实现更准确的铁路轨道识别处理和障碍物检测处理，并且可以进一步实现减轻的处理负担和缩短的处理时间。

图16是根据第二实施方式，示出铁路轨道识别装置10A和障碍物检测装置16的功能的示例性示意框图。应当注意，如图16中所示，根据第二实施方式的铁路轨道识别装置10A可以采用与根据图2所示的第一实施方式的铁路轨道识别装置10相同的构造，除了增加分支信息取得部18和存储部10e存储的分支信息18a之外。根据第二实施方式的障碍物检测装置16的构造与根据第一实施方式的障碍物检测装置16的构造相同。因此，在第二实施方式中，相同的附图标记表示具有与第一实施方式的每个部件的配置和功能基本相同的配置和功能的部件。因此，省略了相应组件的详细描述。根据第二实施方式的车辆系统100包括运行信息取得装置20。

运行信息取得装置20可以包括诸如全球导航卫星系统(GNSS)或全球定位系统(GPS)之类的用于取得绝对位置的装置。运行信息取得装置20还可以包括诸如测速发电机(TG)之类的能够取得行驶距离的装置。运行信息取得装置20包括诸如行驶方向取得部20a、当前位置信息取得部20b和铁路轨道信息输入部20c之类的功能模块。通过硬件和软件之间的协作，部分或全部地实现这些功能模块组。例如，通过运行信息取得装置20的处理器读取并执行存储在诸如存储部之类的存储器中的计算机程序，来实现每个功能模块。在另一个例子中，可以用专用硬件(电路)来部分或全部地实现这些功能模块组。

行驶方向取得部20a取得本车辆(铁道车辆RV)的行驶方向(上行、下行)的信息。可以从更高位的系统取得行驶方向，或者可以手动地取得行驶方向。当前位置信息取得部20b取得“里程”，该“里程”用作表示在铁路轨道R上设置的特定位置的指标。铁路轨道信息输入部20c接受铁路轨道信息的输入。

如图17A和17B中所示，存储在铁路轨道识别装置10A的存储部10e中的分支信息18a，是表示基于里程的分支信息和行驶方向的数据库。图17A和图17B是示出分支J和关于分支J的分支信息18a的例子的示例性示意图。例如，在铁路轨道R上存在两个分支J1和J2的情况下，如图17A中所示，将分支信息18a作为具有如图17B所示的表格格式的分支信息18a，存储在存储部10e中。图17B所示的表格格式的分支信息18a，作为表示是否存在分支(分支轨道SR)的信息，保持有表示存在分支J1的点B1和存在分支J2的点B2的位置的“里程”、表示在分支J1和J2处分支的铁路轨道R的数量(分支轨道SR的数量)的“路线数量”、以及表示铁道车辆RV选择分支J1和J2上的哪条路线的关于行驶方向(分支目的地)的信息的对应关系。应当注意，在图17A所示的例子中，假定对于“路线数量”，铁道车辆RV将沿着箭头C1的方向进行行驶。例如，基于关于铁路轨道RL的用途的用途信息和诸如铁道车辆RV的运行时刻表之类的运行信息，来确定“行驶方向”。也就是说，分支信息18a例如根据行驶方向取得部20a和铁路轨道信息输入部20c取得(输入)的信息而变化。

分支信息取得部18通过参考分支信息18a，基于由运行信息取得装置20取得的铁道车辆RV的当前位置的信息，来取得与在用作当前处理对象的图像(鸟瞰图像)中的分支轨道SR有关的信息(例如，关于分支位置、分支数量和行驶方向等的信息)。铁路轨道识别装置10A的铁路轨道检测部10c和分支轨道检测部10d可以基于分支信息取得部18取得的信息，对作为处理对象的图像(鸟瞰图像)执行被限定的铁路轨道检测处理。

图18是示出由包括根据第二实施方式的铁路轨道识别装置10A的车辆系统100执行的处理流程的示例性流程图。应当注意，该流程图与根据图13所示的第一实施方式的流程图相同，除了在用作处理对象的图像(鸟瞰图像)上的有限区域中，基于分支信息取得部18所取得的信息来执行铁路轨道检测处理之外。相同的步骤编号表示基本相同的处理组件。因此省略了详细描述。

在图18所示的处理流程中，在S100处，铁路轨道识别装置10A的图像取得部10a首先从照相机12取得摄像图像。应当注意，图像取得部10a将取得的摄像图像转换为鸟瞰图像。

然后，在S102处，铁路轨道识别装置10A遵循图14和图15的处理流程，使特征量取得部10b、铁路轨道检测部10c和分支轨道检测部10d执行参照图3至图11(图12)所描述的处理，检测铁路轨道R和分支轨道SR(即，取得分支轨道SR的分支位置)。

接着，在S200处，分支轨道检测部10d在分支信息取得部18取得的本车辆(铁道车辆RV)预计要行进的方向上，执行对分支轨道SR的搜索处理，以取得作为分支目的地的分支轨道SR。例如，在三个方向上有分支的情况下，针对可能存在除本车辆(铁道车辆RV)预计行驶的铁路轨道以外的其它铁路轨道的区域，省略了分支轨道SR的搜索。结果，可以实现关于处理目标图像的缩短的处理时间和减轻的处理负担。应当注意，分支轨道检测部10d可以基于分支信息取得部18取得的分支信息，来限定可能存在的本车辆本身预计行驶的铁路轨道的区域，例如，设置如参考图10所描述的减小的搜索范围(线段RC-RD)。在这方面，本发明也有助于实现高效的检测处理和减轻的负担。

在S200处，在取得(检测到)本车辆(铁道车辆RV)预计行驶的分支轨道SR的情况下，障碍物检测装置16的判定区域确定部16a在S104处设置分支轨道SR附近的判定区域，该判定区域用作判断是否存在障碍物(需要进行观察的物体)的对象。也就是说，可以设置比第一实施方式中的判定区域更有限的范围。

然后，在S106处，障碍物检测装置16的障碍物检测部16b判断在S104确定的有限的判定区域中是否存在障碍物。

在确定存在障碍物的情况下，在S108处，输出控制部16c例如以重叠的方式，在显示部14上显示的图像(例如，拍摄铁路轨道R和分支轨道SR的实际图像)的相应位置，对用于表示需要进行观察的物体的图像(标记、图标、符号或字符等)进行显示，以输出警告信息。然后，对处理对象图像的一系列处理结束。应当注意，在这种情况下，除了这种警告之外，还可以输出语音或警报。当没有发现障碍物时，没有必要引起驾驶员的注意。因此，在这种情况下，显示部14显示由照相机12拍摄的当前图像(实际图像)。

如上所述，在根据第二实施方式的车辆系统100中，可以基于例如本车辆(铁道车辆RV)的位置和运行信息，限定至本车辆(铁道车辆RV)将行进的铁路轨道R(分支轨道SR)，以执行铁路轨道识别处理和障碍物检测处理。结果，可以实现更准确的铁路轨道识别处理和障碍物检测处理，从而进一步减轻了处理负担并缩短了处理时间。

尽管上面已经描述了本发明的实施方式，但是上述实施方式及其修改示例仅仅是举例，并且无意于限制本发明的保护范围。可以在各个方面中实现上述的实施方式，并且可以在不脱离本发明的主旨的情况下，以各种方式省略、替换和改变上述实施方式。上述实施方式及其修改仍然落入本发明的保护范围和主旨，并且仍然落入权利要求及其等同物中描述的本发明的保护范围。

Claims (7)

1.一种铁路轨道识别装置，包括：

图像取得部，取得通过对铁道车辆的行驶方向的区域进行拍摄而得到的摄像图像；

铁路轨道检测部，针对所述摄像图像中的多个像素组中的每个像素组，基于特征量来检测铁路轨道，其中该特征量基于规定的标准，并且为表示是铁路轨道的可能性的尺度；

分支轨道检测部，检测是否存在从检测出的所述铁路轨道分支的分支轨道；以及

铁路轨道检测结果输出部，输出所述铁路轨道检测部的检测结果和所述分支轨道检测部的检测结果，

所述分支轨道检测部取得所述分支轨道与所述铁路轨道检测部检测出的所述铁路轨道的交点作为所述分支轨道的分支位置，

所述分支轨道检测部以所述分支位置为枢轴来设定扇形的搜索区域并检测所述分支轨道。

2.根据权利要求1所述的铁路轨道识别装置，其中，

所述分支轨道检测部对于由所述铁路轨道检测部检测出的所述铁路轨道，针对检测出的所有所述分支位置，重复地执行检测所述分支轨道的分支轨道检测处理。

3.根据权利要求1或2所述的铁路轨道识别装置，其中，

所述分支轨道检测部取得与所述铁路轨道检测部检测出的所述铁路轨道相交的线段作为所述分支轨道。

4.根据权利要求3所述的铁路轨道识别装置，其中，

所述分支轨道检测部用包含以所述线段为基准的、所述分支轨道可取的最大曲率的范围的角度，来设定以检测出的所述分支位置为起点的所述分支轨道的扇形的搜索区域。

5.根据权利要求1或2所述的铁路轨道识别装置，其中，

所述分支轨道检测部基于与所述铁路轨道检测部检测出的所述铁路轨道的类似度来检测所述分支轨道。

6.根据权利要求1或2所述的铁路轨道识别装置，

还包括分支信息取得部，该分支信息取得部取得包括以下至少一项的分支信息：在与所述铁道车辆的当前位置取得的所述摄像图像的摄像区域相对应的区域中是否包括所述分支轨道；所述分支轨道的数量；以及所述铁道车辆所行驶的分支目的地，

所述分支轨道检测部基于所述分支信息，来确定所述铁道车辆所行驶的所述分支轨道。

7.根据权利要求6所述的铁路轨道识别装置，其中，

所述分支轨道检测部基于所述分支信息取得部取得的分支信息，设定所述分支轨道的搜索区域。

Images