CN111295320B - 轨道识别装置 - Google Patents

Abstract

实施方式的轨道识别装置具备图像取得部、特征量选择部、特征数据导出部及线路检测部。图像取得部取得通过拍摄铁道车辆的行进方向的区域而得到的拍摄图像。特征量选择部针对拍摄图像中的多个像素群的每一个，基于规定的基准，从能够成为表示线路相称度的尺度的多个特征量中选择在线路检测中使用的一个特征量。特征数据导出部从多个像素群中的各个像素群，导出基于由特征量选择部所选择的一个特征量的特征数据。线路检测部基于特征数据导出部的导出结果，从拍摄图像中检测线路。

Description

轨道识别装置

技术领域

本发明的实施方式涉及轨道识别装置。

背景技术

以往，在铁道车辆的行驶中，以检测线路、检测存在于该线路内的障碍物(需要注视的注视物)等为目的，研究了各种从对铁道车辆的行进方向的区域进行拍摄而得到的拍摄图像检测线路(所映现的区域)的技术。

现有技术文献

专利文献

专利文献1：日本特开2015-210388号公报

发明内容

发明所要解决的技术问题

在如上述那样的现有技术中，希望从拍摄图像更高精度地检测线路。

用于解决技术问题的手段

实施方式的轨道识别装置具备图像取得部、特征量选择部、特征数据导出部及线路检测部。图像取得部取得通过拍摄铁道车辆的行进方向的区域而得到的拍摄图像。特征量选择部对于拍摄图像中的多个像素群，基于规定的基准，从能够成为表示线路相称度的尺度的多个特征量中选择在线路检测中使用的一个特征量。特征数据导出部从多个像素群中的各个像素群中，导出基于由特征量选择部所选择的一个特征量的特征数据。线路检测部基于特征数据导出部的导出结果，从拍摄图像中检测线路。

附图说明

图1是表示包括第1实施方式的轨道识别装置的车辆系统的构成的例示性且示意性的图。

图2是表示第1实施方式的轨道识别装置的功能的例示性且示意性的框图。

图3是表示在第1实施方式中能够取得的拍摄图像的一例的例示性且示意性的图。

图4是表示在第1实施方式中能够取得的拍摄图像的另一例的例示性且示意性的图。

图5是表示在第1实施方式中通过对图3所示的拍摄图像进行变换而生成的鸟瞰图像的例示性且示意性的图。

图6是表示在第1实施方式中通过对图4所示的拍摄图像进行变换而生成的鸟瞰图像的例示性且示意性的图。

图7是用于说明在第1实施方式中能够导出的基于亮度值的特征数据的例示性且示意性的图。

图8是用于说明在第1实施方式中能够导出的、基于亮度值的X方向的梯度的特征数据的例示性且示意性的图。

图9是用于说明在第1实施方式中能够导出的、基于亮度值的Y方向的梯度的特征数据的例示性且示意性的图。

图10是用于说明在第1实施方式中能够使用的已检测出的线路(的一部分)的角度的计算方法的概略的例示性且示意性的图。

图11是用于说明在第1实施方式中能够使用的、用于从初始区域以后的区域中检测线路(的一部分)的方法的例示性且示意性的图。

图12是表示描绘出构成在第1实施方式中检测出的线路的坐标点的拍摄图像的例示性且示意性的图。

图13是表示在第1实施方式中判定为在判定区域内存在注视物的情况下输出到显示部的图像的一例的例示性且示意性的图。

图14是表示第1实施方式的轨道识别装置执行的处理的流程的例示性且示意性的流程图。

图15是表示第1实施方式的轨道识别装置在选择初始区域的特征量的情况下执行的处理的流程的例示性且示意性的流程图。

图16是表示第1实施方式的轨道识别装置在选择下一个区域的特征量的情况下执行的处理的流程的例示性且示意性的流程图。

图17是表示第2实施方式的轨道识别装置的功能的例示性且示意性的框图。

图18是表示第2实施方式的轨道识别装置在选择下一个区域的特征量的情况下执行的处理的流程的例示性且示意性的流程图。

图19是表示第3实施方式的轨道识别装置的功能的例示性且示意性的框图。

图20是表示第3实施方式的轨道识别装置在选择初始区域的特征量的情况下执行的处理的流程的例示性且示意性的流程图。

图21是表示第3实施方式的轨道识别装置在选择下一个区域的特征量的情况下执行的处理的流程的例示性且示意性的流程图。

具体实施方式

以下，基于附图对实施方式进行说明。以下记载的实施方式的构成、及由该构成带来的作用及结果(效果)只不过是一个例子，并不限于以下的记载内容。

<第1实施方式>

首先，对第1实施方式的构成进行说明。

图1是表示包括第1实施方式的轨道识别装置20的车辆系统100的构成的例示性且示意性的图。如图1所示，车辆系统100搭载于在由一对轨道构成的线路R上沿着方向D行驶的铁道车辆RV。

另外，如图1所示，车辆系统100具有作为拍摄部的相机10、显示部15及轨道识别装置20。

相机10设置于铁道车辆RV的端部(例如驾驶席)，对铁道车辆RV的行进方向的区域进行拍摄。由相机10得到的拍摄图像中包括线路R。

显示部15是显示各种图像的装置。显示部15设置于铁道车辆RV的驾驶席等。

轨道识别装置20例如构成为具有处理器、存储器等硬件的计算机。

但是，以往，在铁道车辆RV的行驶中，以线路R的检查、存在于该线路R内的障碍物(需要注视的注视物)的检测等为目的，研究了各种从通过拍摄铁道车辆RV的行进方向的区域而得到的拍摄图像中检测线路R(映现的区域)的技术。在这样的技术中，希望从拍摄图像更高精度地检测线路R。

因此，第1实施方式通过使轨道识别装置20具有以下那样的功能，而实现从拍摄图像更高精度地检测线路R。

图2是表示第1实施方式的轨道识别装置20的功能的例示性且示意性的框图。如图2所示，轨道识别装置20包括图像取得部401、图像变换部402、特征量选择部403、特征数据导出部404、线路检测部405、判定区域确定部406、注视物监视部407、输出控制部408及存储部409。

图像取得部401、图像变换部402、特征量选择部403、特征数据导出部404、线路检测部405、判定区域确定部406、注视物监视部407及输出控制部408这样的功能模块群的一部分或全部通过硬件和软件的协作来实现，更具体而言通过由轨道识别装置20的处理器读出并执行存储器中存储的程序来实现。另外，在第1实施方式中，这些功能模块群的一部分或全部也可以通过专用的硬件(电路)来实现。

另一方面，存储部409通过包括设置于轨道识别装置20的存储器的易失性或者非易失性的各种存储介质来实现。存储部409存储轨道识别装置20的处理器所执行的上述程序、在按照该程序的线路R的检测中使用的后述的各种信息(已检测线路信息410、注视物信息411、线路宽度信息412、初始区域信息413及线路位置信息414)等。

图像取得部401取得由相机10拍摄的拍摄图像。拍摄图像例如是彩色图像。如以下所例示的那样，拍摄图像中的线路R的拍入根据拍摄环境(例如周围的明亮度等)而变化。

图3是表示在第1实施方式中能够取得的拍摄图像的一例的例示性且示意性的图。在图3所示的图像200中，与线路R对应的区域201比周围的区域更明亮地拍入。这样的图像200能够在线路R容易引起光的反射的拍摄环境中取得。

另一方面，图4是表示在第1实施方式中能够取得的拍摄图像的另一例的例示性且示意性的图。在图4所示的图像300中，与图3所示的图像200不同，与线路R对应的区域301比周围的区域更暗地拍入。这样的图像300能够在线路R不易引起光的反射的拍摄环境中取得。

此外，在图3及图4所示的拍摄图像中，拍入了在里侧(远离相机10的一侧)弯曲的线路R，但在第1实施方式中，也能够取得仅拍入直线状的线路R的拍摄图像。

返回到图2，图像变换部402通过对由图像取得部401取得的拍摄图像实施视点变换处理等，生成从上方俯视由相机10所拍摄的区域而得到的鸟瞰图像。如以下所例示的那样，在鸟瞰图像中，构成线路R的一对轨道的宽度等的拍摄方法在距相机10较近的一侧(近前侧)和远离相机10的一侧(里侧)大致相同。

图5是表示在第1实施方式中通过对图3所示的拍摄图像进行变换而生成的鸟瞰图像的例示性且示意性的图。在图5所示的图像500中，与图3所示的图像200同样地，与线路R对应的区域501比周围的区域更明亮地拍入。另外，在图5所示的图像500中，区域A0是作为成为线路R(所对应的区域501)的检测的起点的区域而预先设定的初始区域(详细后述)。

另一方面，图6是表示在第1实施方式中通过对图4所示的拍摄图像进行变换而生成的鸟瞰图像的例示性且示意性的图。在图6所示的图像600中，与图4所示的图像300同样地，与线路R对应的区域601比周围的区域更暗地拍入。

这样，鸟瞰图像中的线路R的拍入也与变换前的拍摄图像中的线路R的拍入同样地根据拍摄环境而变化。因此，为了通过图像处理从鸟瞰图像检测线路R，需要根据拍摄环境适当地选择作为表示线路R相称度的尺度的特征量。

例如，在得到图5所示的图像500那样的拍摄环境中，作为特征量，关注亮度值本身的方法是有效的。在图5所示的例子中，与线路R对应的区域501比其他区域相对明亮地拍入，因此，如果导出将作为鸟瞰图像的图像500整体二分(二值化)成亮度值为阈值以上的区域和亮度值小于阈值的区域的特征数据，则能够高精度地检测与线路R对应的区域501。该方法由于作为特征量而关注的是单一的，因此对于噪声是稳健的，另外，由于容易应用于利用了霍夫变换或RANSAC等现有的线段检测算法的线路检测算法，因此是有用的。

图7是用于说明在第1实施方式中能够导出的基于亮度值的特征数据的例示性且示意性的图。图7所示的图像700与通过将图5所示的图像500整体二分(二值化)成亮度值为阈值以上的区域和亮度值小于阈值的区域而导出的特征数据对应。在图7所示的图像700中，明确地表示与线路R的整体对应的区域701。因此，根据图7所示的图像700，能够高精度地检测线路R的整体。

另一方面，在如得到图6所示的图像600那样的拍摄环境中，作为特征量，关注亮度值的梯度(关注的像素和与该像素相邻的像素的亮度值的差分)的方法是有效的。另外，亮度值的梯度能够通过SOBEL滤波器、Laplacian滤波器、Robinson滤波器、Canny滤波器等来计算。

在此，一般而言，线路R在相机10的视点从近前侧向里侧延伸，因此通常亮度值的横轴(x轴)方向的梯度作为特征量而受到关注。但是，在图6所示的图像600中，与线路R对应的区域601在相机10的视点从近前侧趋向里侧的中途弯曲。因此，在图6所示的图像600中，在其里侧的区域，亮度值的纵轴(y轴)方向的梯度比亮度值的横轴方向的梯度大。

因此，在得到图6所示的图像600那样的拍摄环境中，作为特征量，关注亮度值的横轴方向的梯度和纵轴方向的梯度这两者，一边根据成为检测对象的区域(像素群)切换关注的梯度一边导出特征数据的方法是有效的。该方法虽然有可能由于作为特征量而关注的部分增加而噪声增加，但能够根据该线路R的延伸方向适当地检测弯曲的线路R，因此是有用的。

图8是用于说明在第1实施方式中能够导出的、基于亮度值的X方向的梯度的特征数据的例示性且示意性的图。图8所示的图像800对应于如下特征数据，即关注亮度值的横轴方向的梯度，将图6所示的图像600整体二分(二值化)成梯度为阈值以上的区域和梯度小于阈值的区域而导出的特征数据。在图8所示的图像800中，明确示出了与在图6所示的图像600的近前侧的区域中拍到的(弯曲前的)线路R对应的区域801，但与在图6所示的图像600的里侧的区域中拍到的(弯曲后的)线路R对应的区域没有完全表示。因此，根据图8所示的图像800，仅能够高精度地检测转弯前的线路R。

另一方面，图9是用于说明在第1实施方式中能够导出的、基于亮度值的Y方向的梯度的特征数据的例示性且示意性的图。图9所示的图像900对应于如下特征数据，即关注亮度值的纵轴方向的梯度，将图6所示的图像600整体二分(二值化)成梯度为阈值以上的区域和梯度小于阈值的区域而导出的特征数据。在图9所示的图像900中，明确示出了与在图6所示的图像600的里侧的区域中拍到的(弯曲后的)线路R对应的区域901明确地表示，但与在图6所示的图像600的近前侧的区域中拍到的(弯曲前的)线路R对应的区域没有完全表示。因此，根据图9所示的图像900，仅能够高精度地检测弯曲后的线路R。

这样，为了高精度地检测线路R而应该关注的特征量根据拍摄图像(鸟瞰图像)的拍摄环境、检测对象的线路R的部位等状况而各种各样地不同。因此，为了从怎样的拍摄图像(鸟瞰图像)也高精度地检测线路R，根据状况适当地切换线路R的检测所使用的特征量变得重要。

因此，返回到图2，特征量选择部403按由图像变换部402生成的鸟瞰图像中的多个像素群(区域)，基于规定的基准，从能够成为表示线路R的相称度的尺度的多个特征量中选择用于线路R的检测的一个特征量。然后，特征数据导出部404从多个区域的每一个导出基于由特征量选择部403选择的一个特征量的特征数据。然后，线路检测部405基于特征数据导出部404的导出结果，从拍摄图像(鸟瞰图像)中检测线路R。

更具体而言，在第1实施方式中，线路检测部405在从上述的多个像素群(区域)中的、作为最初的检测对象的初始区域(在图5所示的例子中为区域A0)检测出线路R的一部分之后，依次重复从以检测出的线路R的一部分为基准的下一个区域进一步检测线路R的一部分的处理，由此从拍摄图像(鸟瞰图像)的整体检测线路R。然后，特征量选择部403在每次通过线路检测部405检测出线路R的一部分时，至少使用与由线路检测部405已检测出的线路R的一部分有关的信息，选择与下一个区域对应的一个特征量。

首先，在第1实施方式中，特征量选择部403，作为上述的规定的基准，而使用由线路检测部405已检测出的线路R的一部分的拍摄图像(鸟瞰图像)内的与明暗有关的图像统计量，选择与下一个区域对应的一个特征量。与明暗有关的图像统计量例如是平均亮度值。

若关注已检测出的线路R的一部分的平均亮度值，则能够判定处理对象的鸟瞰图像是基于在线路R容易引起光的反射的拍摄环境中取得的拍摄图像的图像(参照图3及图5)、或者是基于在线路R不易引起光的反射的拍摄环境中取得的拍摄图像的图像(参照图4及图6)。

例如，在已检测出的线路R的一部分的平均亮度值为阈值以上的情况下，可以说与该线路R的一部分对应的区域在拍摄图像(鸟瞰图像)内比其他区域更明亮地拍入。在这样的情况下，如上所述，作为与下一个区域对应的特征量，关注亮度值本身是有效的。

另一方面，在已检测出的线路R的一部分的平均亮度值小于阈值的情况下，可以说与该线路R的一部分对应的区域在拍摄图像(鸟瞰图像)内比其他区域更暗地拍入。在这样的情况下，如上所述，作为与下一个区域对应的特征量，不是关注亮度值本身，而是关注亮度值的梯度是有效的。

因此，在第1实施方式中，特征量选择部403根据已检测出的线路R的一部分的平均亮度值与阈值的大小关系，决定作为下一个区域的特征量是选择亮度值本身还是选择亮度值的梯度。

但是，如上所述，作为特征量的亮度值的梯度存在横轴方向的梯度和纵轴方向的梯度这两个梯度，这两个梯度中的哪一个梯度适当根据有无弯曲等而不同。

因此，特征量选择部403如以下说明那样，选择特征量选择部403，基于由线路检测部405已检测出的线路R的一部分的角度(线路R的一部分的延伸方向)，来确定是选择亮度值的横轴方向的梯度，还是选择亮度值的纵轴方向的梯度，作为为了从下一个区域检测线路R的一部分而使用的一个特征量。

图10是用于说明在第1实施方式中能够使用的已检测出的线路R(的一部分)的角度的计算方法的概略的例示性且示意性的图。在此，在图10所示的图像1000中，作为构成线路R的一部分的坐标点，设为已检测出的是(xL1，yL1)、(xR1，yR1)、(xL2，yL2)、(xR2，yR2)、(xL3，yL3)、(xR3，yR3)这6个。这些坐标点的信息作为线路位置信息414存储于存储部409。

在这样的状况下，特征量选择部403为了选择与作为下一个检测对象的区域A对应的一个特征量，基于下述的式(1)，计算已检测出的线路R的一部分的角度。

已检测出的线路R的一部分的角度＝arctan((yL3-yL2)/(xL3-xL2))……(1)

根据上述的式(1)的计算结果，能够判定线路R的弯曲的有无。即，在上述的式(1)的计算结果为阈值以上的情况下，能够推定为在线路R中没有弯曲，在下一个检测对象的区域A中线路R也在纵轴方向上延伸，在上述的式(1)的计算结果小于阈值的情况下，能够推定为线路R中有弯曲，在下一个检测对象的区域A中线路R在横轴方向上延伸。另外，阈值例如根据从拍摄图像向鸟瞰图像变换后的纵横比的变化等而预先决定。

因此，特征量选择部403在上述式(1)的计算结果为阈值以上的情况下，选择亮度值的横轴方向的梯度作为特征量，在上述式(1)的计算结果小于阈值的情况下，选择亮度值的纵轴方向的梯度作为特征量。此外，在图10所示的例子中，被设为已检测出的6个坐标点与在区域A的近前弯曲的线路R对应(参照区域1001)，因此作为与区域A对应的特征量，选择亮度值的纵轴方向的梯度。

此外，在第1实施方式中，已检测出的线路R的一部分的角度也可以不是基于上述的式(1)，而是基于下述的式(2)来计算。

已检测出的线路R延伸的方向＝arctan((yL3-yL2)/(xL3-xL2))+{arctan((yL3-yL2)/(xL3-xL2))-arctan((yL2-yL1)/(xL2-xL1))}……(2)

上述的式(2)在计算中使用的参数比上述的式(1)多，因此能够更高精度地计算已检测出的线路R延伸的方向。

在上述中，对仅使用已检测出的线路R延伸的方向作为用于选择与区域对应的特征量的规定的基准的例子进行了说明。但是，在第1实施方式中，也可以代替已检测出的线路R延伸的方向(或者除此之外)，使用检测对象的区域的拍摄图像(鸟瞰图像)内的位置。

例如，在预先知道线路R中有弯曲的情况下，也预先知道在拍摄图像(鸟瞰图像)的里侧的区域中拍到的线路R在横轴方向上延伸。因此，在这样的情况下，特征量选择部403也可以至少使用多个区域各自的拍摄图像(鸟瞰图像)内的位置作为上述的规定的基准，选择与多个区域的每一个对应的一个特征量。

这样，在第1实施方式中，采用通过一边选择性地切换多个特征量一边依次重复从拍摄图像(鸟瞰图像)的一部分区域检测线路R的一部分来检测线路R的整体的方法。而且，在特征量的选择中，考虑到目前为止的线路R的检测处理的中途结果。

但是，初始区域是成为最初的检测对象的区域，因此不存在上述那样的中途结果。因此，在从初始区域的线路R的一部分的检测中，使用相对于过去(例如1帧前)的拍摄图像(鸟瞰图像)的线路R的检测结果。

即，在第1实施方式中，图像取得部401伴随着铁道车辆RV的行进而多次取得拍摄图像。并且，特征量选择部403在选择与在某个定时得到的拍摄图像(鸟瞰图像)中的初始区域对应的一个特征量的情况下，作为用于选择该一个特征量的规定的基准，至少使用与在比某个定时之前的定时得到的鸟瞰图像(基于1帧前的拍摄图像的鸟瞰图像)中的从初始区域检测出的线路R的一部分有关的信息(上述的平均亮度值等这样的图像统计量)。另外，与基于1帧前的拍摄图像检测出的线路R有关的信息作为已检测线路信息410存储于存储部409。

在此，对用于从拍摄图像(鸟瞰图像)中的各区域检测线路R(的一部分)的方法进行更具体地说明。

首先，对用于从初始区域检测线路R(的一部分)的方法进行说明。

如上所述，初始区域被设定为作为成为线路R的检测的起点的区域而预先决定的位置。初始区域的位置作为初始区域信息413预先存储于存储部409。

因此，在第1实施方式中，线路检测部405首先参照存储部409的初始区域信息413，从而从基于通过上述方法所选择的特征量而导出的特征数据中提取与初始区域对应的区域的数据。然后，线路检测部405对提取出的数据执行基于霍夫变换或RANSAC等的线段检测算法的处理，由此提取存在于初始区域内的线路R(的一部分)的候选。

另外，构成正规的线路R的一对轨道的宽度是预先决定的。因此，如果取得与构成正规的线路R的一对轨道的宽度有关的信息，则能够从如上述那样提取出的候选中确定正规的线路R(的一部分)。因此，在第1实施方式中，构成线路R的一对轨道的宽度作为线路宽度信息412预先存储于存储部409。

然后，线路检测部405参照存储部409的线路宽度信息412，从如上述那样提取出的候选中进一步提取具有与线路宽度信息412所示的宽度匹配的宽度的候选，从而确定(检测)正规的线路R。然后，线路检测部405将构成所确定的线路R的多个坐标点作为线路位置信息414存储于存储部409。例如，在图10所示的例子中，(xL1，yL1)、(xR1，yR1)、(xL2，yL2)、(xR2，yR2)这4个坐标点被存储于存储部409。

接着，对用于从初始区域以后的区域检测线路R(的一部分)的方法进行说明。

图11是用于说明在第1实施方式中能够使用的、用于从初始区域以后的区域检测线路R(的一部分)的方法的概略的例示性且示意性的图。在图11所示的例子中设为，通过最近的处理，作为线路R的一部分已检测出(xLa，yLa)和(xLb，yLb)这两个坐标点。

在第1实施方式中，线路检测部405首先如图11的(A)所示那样，设定基于最近检测出的2个坐标点的规定扇形的区域。扇形的区域是指，由以从最近检测出的两个坐标点(xLa，yLa)及(xLb，yLb)中的与初始区域相反侧的坐标点(xLb，yLb)将连结该两个坐标点的直线L作为中心地向左右以相同的角度θ扩展的方式延伸的假想线VR及VL划分的区域。另外，角度θ是预先设定的角度，例如是覆盖由线路R的规格等规定的最大曲率的范围的角度。另外，假想线VR和VL的长度是预先设定的长度。

若设定如上所述的扇形的区域，则如图11的(B)所示那样，线路检测部405设定将扇形的区域的上端的任意的一个部位和成为该扇形的区域的起点的坐标点(xLb，yLb)包罗地连结的多个线段。在第1实施方式中，这多条线段成为线路R(的一部分)的候选。

然后，线路检测部405将如上述那样提取出的多个候补适用于鸟瞰图像上，将多个候补中的由特征量选择部403所选择的特征量的平均值最大的候补确定(检测)为正规的线路R(的一部分)。

但是，图11所示的两个坐标点沿着构成线路R的一对轨道中的一个轨道，实际上还检测出沿着另一个轨道的两个坐标点(图11中未图示)。因此，线路检测部405对于另一方的轨道也通过与上述同样的方法来确定(检测)正规的线路R。

在第1实施方式中，通过依次重复进行上述的步骤，从拍摄图像(鸟瞰图像)的整体检测线路R的整体。并且，与检测出的线路R(的整体)有关的信息例如以如下的形式作为已检测线路信息410存储于存储部409。

图12是表示描绘出构成在第1实施方式中检测出的线路R的坐标点的拍摄图像的例示性且示意性的图。在第1实施方式中，如图12所示那样的图像1200作为已检测线路信息410存储于存储部409。若适当地连结图12所示的图像1200的坐标点，则得到与线路R对应的区域1201。

返回图2，判定区域确定部406基于线路检测部405的检测结果，将拍摄图像内的线路R附近的区域确定为成为障碍物(需要注视的注视物)的有无的判定的对象的判定区域。

并且，注视物监视部407监视在由判定区域确定部406确定的判定区域内是否存在注视物。用于判定注视物的有无的信息(模板)作为注视物信息411存储于存储部409。注视物监视部407基于注视物信息411和由特征数据导出部404导出的特征数据，判定与注视物的模板匹配的像素群是否存在于判定区域内。

并且，输出控制部408在由注视物监视部407判定为存在注视物的情况下，执行如以下说明的将图像输出到显示部15的处理等，从而输出警报。

图13是表示在第1实施方式中判定为在判定区域内存在注视物的情况下在显示部15输出的图像的一例的例示性且示意性的图。在图13所示的图像1300中，在与线路R对应的区域1301的附近存在作为注视物的人1302。因此，输出控制部408为了将作为注视物的人1302的存在通知给铁道车辆RV的驾驶员，而将用于唤起注意的指标(图标、符号)1303重叠于图像1300内输出。

接着，对实施方式的动作进行说明。

图14是表示第1实施方式的轨道识别装置20执行的处理的流程的例示性且示意性的流程图。该图14所示的处理流程在铁道车辆RV行驶中重复执行。

在图14所示的处理流程中，首先，在S1401中，轨道识别装置20的图像取得部401从相机10取得拍摄图像。

然后，在S1402中，轨道识别装置20的图像变换部402将在S1401中取得的拍摄图像变换为鸟瞰图像。

然后，在S1403中，轨道识别装置20的特征量选择部403参照存储部409的初始区域信息413等，选择与初始区域对应的特征量。关于在该S1403中执行的处理的流程，在后面进行详细说明，因此在此省略进一步的说明。

然后，在S1404中，轨道识别装置20的特征数据导出部404根据在S1402中得到的鸟瞰图像(中与初始区域对应的区域)，导出基于在S1403中选择的特征量的特征数据。

然后，在S1405中，轨道识别装置20的线路检测部405基于在S1404中导出的特征数据等，利用霍夫变换或RANSAC等这样的线段检测算法，提取线路R的一部分的候选。

然后，在S1406中，线路检测部405参照存储部409的线路宽度信息412等，根据在S1405中提取出的候选，确定(正规的)线路R的一部分。

在步骤S1407中，特征量选择部403选择下一个区域的特征量。关于在该S1407中执行的处理的流程，在后面进行详细说明，因此在此省略进一步的说明。

在步骤S1408中，特征数据导出部404从在步骤S1402中得到的鸟瞰图像(中的与当前处理对象的区域相对应的区域)，导出基于在步骤S1407中选择的特征量的特征数据。

然后，在S1409中，线路检测部405基于在S1408中导出的特征数据等，通过利用了上述扇形的区域(参照图11)等的方法，提取线路R的一部分的候选。

然后，在S1410中，线路检测部405通过利用了上述的特征量的平均值等的方法，从在S1409中提取出的候选中，确定(正规的)线路R的一部分。

然后，在S1411中，线路检测部405判断是否满足线路R的检测的结束条件。所谓的结束条件，例如考虑线路检测部405的检测处理的重复次数为规定以上、由线路检测部405最后确定的线路R(的一部分)的端部在鸟瞰图像中位于比规定的位置靠上端侧的位置等。

在S1411中，在判断为不满足结束条件的情况下，剩余未检测的线路R(的一部分)。因此，在该情况下，处理返回到S1407，进一部重复从下一个区域的线路R(的一部分)的检测。

另一方面，在S1411中，在判断为满足结束条件的情况下，未检测的线路R(的一部分)并未残留。因此，在该情况下，已检测出的线路R的全部以上述的图12所示的图像1200那样的形式被存储，处理进入接下来的S1412。

在S1412中，轨道识别装置20的判定区域确定部406基于线路检测部405的检测结果，根据拍摄图像，确定成为障碍物(需要注视的注视物)的有无的判定的对象的线路R的附近的判定区域。

然后，在S1413中，轨道识别装置20的注视物监视部407判断在S1402中确定的判定区域内是否存在注视物。

在S1413中，在判断为存在注视物的情况下，需要将注视物的存在通知给铁道车辆RV的驾驶员，进行注意提醒。因此，在该情况下，在S1414中，轨道识别装置20的输出控制部408执行将上述的图13所示的图像1300在显示部15输出等的处理，从而输出警报。然后，处理结束。

另一方面，在S1413中，在判断为不存在注视物的情况下，不需要注意提醒。因此，在该情况下，不执行S1414那样的警报的输出，直接结束处理。

图15是表示第1实施方式的轨道识别装置20在选择初始区域的特征量的情况下执行的处理的流程的例示性且示意性的流程图。该图15所示的处理流程更详细地表示在上述的图14的S1403中执行的处理的流程。

在图15所示的处理流程中，首先，在S1501中，特征量选择部403判断从基于1帧前的拍摄图像的鸟瞰图像的初始区域检测出的线路R的一部分(所对应的区域)的平均亮度值是否为阈值以上。

在S1501中判断为平均亮度值为阈值以上的情况下，如上所述，作为特征量，关注亮度值本身是有效的。因此，在这种情况下，在步骤S1502中，特征量选择部403选择亮度值本身作为特征量。然后，处理结束。

另一方面，在S1501中判断为平均亮度值小于阈值的情况下，如上所述，作为特征量，关注亮度值的梯度是有效的。另外，在初始区域中，通常线路R沿纵轴方向延伸。因此，在这种情况下，在步骤S1503中，特征量选择部403选择亮度值的横轴方向上的梯度，作为与初始区域相对应的特征量。然后，处理结束。

图16是表示第1实施方式的轨道识别装置20在选择下一个区域的特征量的情况下执行的处理的流程的例示性且示意性的流程图。该图16所示的处理流程更详细地表示在上述的图14的S1407中执行的处理的流程。

在图16所示的处理流程中，首先，在S1601中，特征量选择部403判断已检测出的线路R的一部分(与)所对应的区域)的平均亮度值是否为阈值以上。

在S1601中判断为平均亮度值在阈值以上的情况下，如上所述，作为特征量，关注亮度值本身是有效的。因此，在这种情况下，在步骤S1602中，特征量选择部403选择亮度值作为特征量。然后，处理结束。

另一方面，在S1601中判断为平均亮度值小于阈值的情况下，如上所述，作为特征量，关注亮度值的梯度是有效的。但是，在图16所示的处理流程中选择特征量的对象不是初始区域，因此，需要考虑线路R的弯曲的有无等来选择与状况相应的适当的特征量

因此，在该情况下，在S1603中，特征量选择部403判断已检测出的线路R的一部分的角度是否为阈值以上。角度的计算方法可以使用上述的式(1)、式(2)等。

在S1603中，在判断为角度为阈值以上的情况下，能够判断为线路R沿纵轴方向延伸。因此，在该情况下，在S1604中，特征量选择部403选择亮度值的横轴方向的梯度作为特征量。然后，处理结束。

另一方面，在S1603中，在判断为角度小于阈值的情况下，能够判断为线路R有弯曲，线路R沿横轴方向延伸。因此，在该情况下，在S1605中，特征量选择部403选择亮度值的纵轴方向的梯度作为特征量。然后，处理结束。

如以上说明的那样，第1实施方式的轨道识别装置20具有图像取得部401、特征量选择部403、特征数据导出部404及线路检测部405。图像取得部401取得通过拍摄铁道车辆RV的行进方向的区域而得到的拍摄图像。特征量选择部403针对拍摄图像(基于鸟瞰图像)中的多个像素群(区域)的每个像素群(区域)，基于规定的基准，从能够成为表示线路R的相称度的尺度的多个特征量中选择线路R的检测中使用的一个特征量。特征数据导出部404从多个像素群中的每一个导出基于由特征量选择部403选择的一个特征量的特征数据。线路检测部405基于特征数据导出部的导出结果，从拍摄图像检测线路R。根据该构成，针对拍摄图像(基于拍摄图像的鸟瞰图像)中的多个像素群(区域)的每一个选择适当的特征量，因此能够从拍摄图像更高精度地检测线路。

<第2实施方式>

在上述的第1实施方式中，例示了通过将已检测出的线路R的角度用作规定的基准之一来判定线路R的弯曲的有无，并基于判定结果来选择与初始区域以后的下一个区域对应的特征量的构成。但是，还考虑如以下说明的第2实施方式那样，通过直接检测铁道车辆RV的行进方向来判定线路R的弯曲的有无，并基于判定结果来选择与初始区域以后的下一个区域对应的特征量的构成。

图17是表示第2实施方式的轨道识别装置20a的功能的例示性且示意性的框图。另外，以下，对在第1实施方式和第2实施方式中共用的部分适当地省略说明。

如图17所示，第2实施方式的轨道识别装置20a具有基于陀螺仪传感器16的输出值取得铁道车辆RV的行进方向的行进方向取得部415。行进方向取得部415基于陀螺仪传感器16的输出值计算铁道车辆RV的前后、左右及上下方向的速度，并基于计算结果来判断铁道车辆RV的(大致的)行进方向。

而且，第2实施方式的轨道识别装置20a的特征量选择部403a通过将由行进方向取得部415取得的铁道车辆RV的行进方向用作规定的基准之一，来选择与初始区域以后的下一个区域对应的特征量。

图18是表示第2实施方式的轨道识别装置20a在选择下一个区域的特征量的情况下执行的处理的流程的例示性且示意性的流程图。该图18所示的处理流程代替在第1实施方式中执行的同样的处理流程(参照图16)而执行。

在图18所示的处理流程中，首先，在S1801中，轨道识别装置20a的特征量选择部403a判断已检测出的线路R的一部分(所对应的区域)的平均亮度值是否为阈值以上。

在S1801中判断为平均亮度值为阈值以上的情况下，如上所述，作为特征量，关注亮度值本身是有效的。因此，在这种情况下，在S1802中，特征量选择部403a选择亮度值作为特征量。然后，处理结束。

另一方面，在S1801中判断为平均亮度值小于阈值的情况下，如上所述，作为特征量，关注亮度值的梯度是有效的。但是，在图18所示的处理流程中选择特征量的对象不是初始区域，所以需要考虑线路R的弯曲的有无等来选择与状况相应的适当的特征量。

因此，在该情况下，在S1803中，特征量选择部403a判断铁道车辆RV转弯且当前的处理对象的区域的纵轴方向的位置是否处于规定以上较高的位置。前者的条件基于由行进方向取得部415取得的铁道车辆RV的行进方向来判断，后者的条件基于存储于存储部409的线路位置信息414等来判断。

在S1803中，在判断为上述的两个条件同时成立的情况下，能够判断为在线路R中有弯曲，在处理对象的区域拍入的线路R(的一部分)在横轴方向上延伸。因此，在该情况下，在S1804中，特征量选择部403a选择亮度值的纵轴方向的梯度作为特征量。然后，处理结束。

另一方面，在S1803中，在判断为上述两个条件中的至少一个不成立的情况下，能够判断为在处理对象的区域拍入的线路R(的一部分)在纵轴方向上延伸。因此，在该情况下，在S1805中，特征量选择部403a选择亮度值的横轴方向的梯度作为特征量。然后，处理结束。

另外，第2实施方式中的其他构成和动作与第1实施方式相同。

如以上说明的那样，第2实施方式的轨道识别装置20a除了具有与第1实施方式相同的构成之外，还具有取得铁道车辆RV的行进方向的行进方向取得部415。并且，第2实施方式的特征量选择部403a使用由行进方向取得部415取得的行进方向作为规定的基准，选择与在初始区域以后成为检测对象的各区域对应的一个特征量。根据该构成，能够基于由行进方向取得部415取得的行进方向容易地判定线路R的弯曲的有无，所以能够使用与弯曲的有无相应的适当的特征量，从拍摄图像(鸟瞰图像)更高精度地检测线路R。

此外，在第2实施方式中，作为用于检测铁道车辆RV的行进方向的构成，也可以代替陀螺仪传感器16而使用GNSS(全球定位系统)的接收机。根据该构成，通过以规定的周期重复取得由GNSS得到的纬度及经度的位置信息，取得本次取得的位置信息与上次取得的位置信息的差分，从而能够判断铁道车辆RV的行进方向。

<第3实施方式>

在上述的第1实施方式中，例示了如下构成：通过将拍摄图像(鸟瞰图像)内的与线路R对应的区域的明暗有关的图像统计量(平均亮度值等)用作规定的基准之一，来决定是选择亮度值本身作为特征量，还是选择亮度值的梯度作为特征量。但是，还考虑如以下说明的第3实施方式那样，除了图像统计量以外还考虑铁道车辆RV的当前位置来进行特征量的选择的构成。

图19是表示第3实施方式的轨道识别装置20b的构成的例示性且示意性的框图。另外，以下，对在第1实施方式和第3实施方式中共用的部分适当地省略说明。

如图19所示，第3实施方式的轨道识别装置20b具有位置取得部416，该位置取得部416基于在铁道车辆RV的车轴等设置的测速发电机17的输出值，取得铁道车辆RV的当前位置。位置取得部416基于测速发电机17的输出值计算铁道车辆RV的行驶距离，并基于计算结果和存储于存储部409的运行信息417，推定(取得)铁道车辆RV的当前位置。

在此，基于位置取得部416的当前位置的推定结果能够用于铁道车辆RV是否在隧道内行驶的判定。铁道车辆RV是否在隧道内行驶与铁道车辆RV的周围是否变暗有关，因此与拍摄图像的拍摄环境相关。如上所述，由于拍摄图像中的线路R的拍入根据拍摄环境而变化，因此如果将位置取得部416的当前位置的推定结果作为用于检测线路R的特征量的选择中使用的规定的基准之一考虑，则是有益的。

例如，在铁道车辆RV的当前位置与隧道以外的场所对应的情况下，推定为铁道车辆RV的周围比较明亮，因此在该状况下取得的拍摄图像(鸟瞰图像)中，被认为与线路R对应的区域比其他区域更明亮地拍入。因此，在这样的情况下，如上所述，作为特征量，关注亮度值本身是有效的。

另一方面，在铁道车辆RV的当前位置与隧道内的场所对应的情况下，推断为铁道车辆RV的周围比较暗，因此在该状况下取得的拍摄图像(鸟瞰图像)中，被认为与线路R对应的区域比其他区域更暗地拍入。因此，在这样的情况下，如上所述，作为特征量，关注亮度值的梯度是有效的。另外，作为亮度值的梯度，决定关注纵轴方向或横轴方向中的哪一个梯度的方法例如与第1实施方式相同。

这样，第3实施方式的轨道识别装置20b的特征量选择部403b将由位置取得部416取得的铁道车辆RV的当前位置用作规定的基准之一，选择特征量。

图20是表示第3实施方式的轨道识别装置20b在选择初始区域的特征量的情况下执行的处理的流程的例示性且示意性的流程图。该图20所示的处理流程代替在第1实施方式中执行的同样的处理流程(参照图15)而执行。

在图20所示的处理流程中，首先，在S2001中，轨道识别装置20b的特征量选择部403b判断从基于1帧前的拍摄图像的鸟瞰图像的初始区域检测出的线路R的一部分(所对应的区域)的平均亮度值是否为阈值以上且铁道车辆RV的当前位置是否与隧道以外的场所对应。

在S2001中判断为上述两个条件的双方成立的情况下，如上所述，作为特征量，关注亮度值本身是有效的。因此，在这种情况下，在步骤S2002中，特征量选择部403b选择亮度值本身作为特征量。然后，处理结束。

另一方面，在S2001中判断为上述两个条件中的至少一方不成立的情况下，如上所述，作为特征量，关注亮度值的梯度是有效的。另外，在初始区域中，通常，线路R沿纵轴方向延伸。因此，在该情况下，在S2003中，特征量选择部403b选择亮度值的横轴方向的梯度作为与初始区域对应的特征量。然后，处理结束。

图21是表示第3实施方式的轨道识别装置20b在选择下一个区域的特征量的情况下执行的处理的流程的例示性且示意性的流程图。该图21所示的处理流程代替在第1实施方式中执行的同样的处理流程(参照图16)而执行。

在图21所示的处理流程中，首先，在S2101中，轨道识别装置20b的特征量选择部403b判断已检测出的线路R的一部分(所对应的区域)的平均亮度值是否为阈值以上且铁道车辆RV的当前位置是否与隧道以外的场所对应。

在S2101中判断为上述的两个条件的双方成立的情况下，如上所述，作为特征量，关注亮度值本身是有效的。因此，在这种情况下，在步骤S2102中，特征量选择部403b选择亮度值作为特征量。然后，处理结束。

另一方面，在S2101中判断为上述两个条件中的至少一方不成立的情况下，如上所述，作为特征量，关注亮度值的梯度是有效的。但是，在图21所示的处理流程中，由于选择特征量的对象不是初始区域，所以需要考虑线路R的弯曲的有无等来选择与状况相应的适当的特征量。

因此，在该情况下，在S2103中，特征量选择部403b判断已检测出的线路R的一部分的角度是否为阈值以上。角度的计算方法可以使用上述的式(1)、式(2)等。

在S2103中，在判断为角度为阈值以上的情况下，能够判断为线路R沿纵轴方向延伸。因此，在该情况下，在S2104中，特征量选择部403b选择亮度值的横轴方向的梯度作为特征量。然后，处理结束。

另一方面，在S2103中，在判断为角度小于阈值的情况下，能够判断为线路R有弯曲，线路R沿横轴方向延伸。因此，在该情况下，在S2105中，特征量选择部403b选择亮度值的纵轴方向的梯度作为特征量。然后，处理结束。

另外，第3实施方式中的其他构成和动作与第1实施方式相同。

如以上说明的那样，第3实施方式的轨道识别装置20b除了具有与第1实施方式相同的构成之外，还具有取得铁道车辆RV的当前位置的位置取得部416。并且，第3实施方式的特征量选择部403b将由位置取得部416取得的当前位置用作规定的基准之一，选择与各区域对应的一个特征量。根据该构成，能够基于由位置取得部416取得到的当前位置来推定得到拍摄图像(鸟瞰图像)的拍摄环境，因此能够使用与拍摄环境对应的适当的特征量，从拍摄图像(鸟瞰图像)更高精度地检测线路R。

另外，根据上述的第3实施方式的技术，还能够利用铁道车辆RV的当前位置来预测线路R的分支。即，根据第3实施方式的特征量选择部403b能够基于由位置取得部416取得的当前位置和存储于存储部409的运行信息417，判定铁道车辆RV是否今后要接近分支，并基于判定结果，选择与超过分支的铁道车辆RV的行进方向对应的适当的特征量。

另外，在上述的第3实施方式中，例示了基于测速发电机17的输出值取得(推定)铁道车辆RV的当前位置的构成。但是，铁道车辆RV的当前位置也能够通过测速发电机17以外的单元来推定。例如，铁道车辆RV的当前位置也可以基于由GNSS得到的纬度及经度的位置信息来推定。

以上，对本发明的几个实施方式进行了说明，但上述实施方式及变形例不过是一个例子，并不意图限定发明的范围。上述实施方式能够以各种方式实施，在不脱离发明的主旨的范围内，能够进行各种省略、置换、变更。上述实施方式及其变形包括在发明的范围和主旨中，并且包括在权利要求书所记载的发明及其等同的范围内。

Claims (9)

1.一种轨道识别装置，具备：

图像取得部，取得铁道车辆的行进方向的拍摄图像；

特征量选择部，针对作为所述拍摄图像的一部分的多个像素群的每一个，基于规定的基准，从在线路检测中使用的多个特征量中选择一个特征量；

特征数据导出部，从所述多个像素群中的各个像素群，导出基于由所述特征量选择部所选择的所述一个特征量的特征数据；及

线路检测部，基于所述特征数据导出部所导出的特征数据，检测所述像素群中的线路，

所述特征量选择部，针对作为所述拍摄图像的一部分的多个像素群中除了最先进行线路检测的像素群以外的各像素群，基于由所述线路检测部进行了线路检测的前一个像素群及所述规定的基准，从所述多个特征量中选择一个特征量，

所述线路检测部通过依次重复进行如下处理而从所述拍摄图像的整体检测出线路，所述处理为：每次从所述多个像素群中的、最初进行线路检测的像素群中检测出线路的一部分时，至少使用与已检测出的线路的一部分有关的信息作为所述规定的基准，选择与下一个像素群对应的一个特征量，从下一个像素群中进一步检测线路的一部分。

2.根据权利要求1所述的轨道识别装置，其中，

所述特征量选择部，针对作为所述拍摄图像的一部分的多个像素群中最先进行线路检测的像素群，基于过去的拍摄图像中的一个像素群及所述规定的基准，从所述多个特征量中选择一个特征量。

3.根据权利要求2所述的轨道识别装置，其中，

所述特征量选择部，使用由所述线路检测部进行了线路检测的前一个像素群或所述过去的拍摄图像中的一个像素群而求出与明暗相关的图像统计量，基于该求出的图像统计量及所述规定的基准，从所述多个特征量中选择一个特征量。

4.根据权利要求3所述的轨道识别装置，其中，

所述多个特征量是亮度值和亮度值的梯度，

所述图像统计量是平均亮度值，

所述特征量选择部，基于使用由所述线路检测部进行了线路检测的前一个像素群求出的平均亮度值或使用所述过去的拍摄图像中的一个像素群求出的平均亮度值及所述规定的基准，选择所述亮度值或所述亮度值的梯度，作为在所述线路检测中使用的特征量。

5.根据权利要求4所述的轨道识别装置，其中，

所述规定的基准是预先决定的阈值，

所述特征量选择部，在求出的所述平均亮度值为所述阈值以上时选择所述亮度值，并且在求出的所述平均亮度值小于所述阈值时选择所述亮度值的梯度。

6.根据权利要求5所述的轨道识别装置，其中，

所述亮度值的梯度由纵向的梯度和横向的梯度这2个梯度构成，

所述特征量选择部，在选择了所述亮度值的梯度的情况下，基于已检测出的线路，判定线路是否弯曲，在判定为未弯曲时选择亮度值的横向的梯度，并且在判定为弯曲时选择亮度值的纵向的梯度。

7.根据权利要求1所述的轨道识别装置，其中，

所述特征量选择部，对于作为所述拍摄图像的一部分的多个像素群中除了最先进行线路检测的像素群以外的各像素群，基于由所述线路检测部要进行线路检测的所述各像素群在所述拍摄图像内的位置、由所述线路检测部进行了线路检测的所述各像素群的前一个像素群的特征数据及所述规定的基准，从所述多个特征量中选择一个特征量。

8.根据权利要求7所述的轨道识别装置，其中，

还具备行进方向取得部，该行进方向取得部取得所述铁道车辆的行进方向信息，

所述特征量选择部，对于所述各像素群，基于由所述线路检测部要进行线路检测的所述各像素群在所述拍摄图像内的位置、由所述线路检测部进行了线路检测的所述各像素群的前一个像素群的特征数据、所述规定的基准及所述行进方向取得部所取得的行进方向信息，从所述多个特征量中选择一个特征量。

9.根据权利要求2所述的轨道识别装置，其中，

还具备位置取得部，该位置取得部取得所述铁道车辆的位置信息，

所述特征量选择部，基于由所述线路检测部进行了线路检测的前一个像素群或所述过去的拍摄图像中的一个像素群、所述位置取得部所取得的位置信息及所述规定的基准，从所述多个特征量中选择一个特征量。

Images