JP2019191961A - 走行状況提示装置 - Google Patents

Abstract

【課題】列車の走行状況を簡単に確認できるようにした走行状況提示装置を提供すること。【解決手段】一つの実施形態によれば、走行状況提示装置は、画像取得部と、画像処理部と、対象物検出部と、表示出力部と、を備える。画像取得部は、列車の前方の風景を写した第１画像を取得する。画像処理部は、第１画像に画像処理を実行して第１画像より視認性を向上させた第２画像を生成する。対象物検出部は、第１画像に基づいて風景内の対象物の検出を実行する。表示出力部は、運転士が風景を視認可能に風景からの光を透過する透明画面の一部に第１領域を設定して第１領域に第２画像を表示する。表示出力部は、対象物検出部によって対象物が検出された場合、対象物から運転士への光路が透明画面のうちの第１領域を除く第２領域と交差する位置または当該位置の近傍に、対象物を強調する強調情報を表示する。【選択図】図５

Description

本実施形態は、走行状況提示装置に関する。

列車（鉄道車両）の運行中では、運転士は、列車の走行状況を逐次確認する必要がある。走行状況は、例えば、支障物の有無や、線路、駅ホーム、信号機、標識などの状況である。列車には定刻での運行が求められるため、運転士は、逐次変化する走行状況を短時間かつ正確に把握する必要がある。

特開２００１−２３０９１号公報

一つの実施形態は、列車の走行状況を簡単に確認できるようにした走行状況提示装置を提供することを目的とする。

一つの実施形態によれば、走行状況提示装置は、画像取得部と、画像処理部と、対象物検出部と、表示出力部と、を備える。画像取得部は、列車の前方の風景を写した第１画像を取得する。画像処理部は、第１画像に画像処理を実行して第１画像より視認性を向上させた第２画像を生成する。対象物検出部は、第１画像に基づいて風景内の対象物の検出を実行する。表示出力部は、運転士が風景を視認可能に風景からの光を透過する透明画面の一部に第１領域を設定して第１領域に第２画像を表示する。表示出力部は、対象物検出部によって対象物が検出された場合、対象物から運転士への光路が透明画面のうちの第１領域を除く第２領域と交差する位置または当該位置の近傍に、対象物を強調する強調情報を表示する。

図１は、第１の実施形態にかかる列車の概略構成の一例を示す図である。 図２は、第１の実施形態にかかる透明画面の表示例を示す図である。 図３は、第１の実施形態にかかる透明画面の、対象物が検出された場合の表示例を示す図である。 図４は、第１の実施形態の走行状況提示システムの概略構成例を示す図である。 図５は、第１の実施形態の走行状況提示装置としての情報処理装置の機能構成例を示す図である。 図６は、第１の実施形態にかかる列車における監視領域の設定例を示す図である。 図７は、第１の実施形態にかかる列車における監視領域の別の設定例を示す図である。 図８は、第１の実施形態の走行状況提示装置としての情報処理装置の動作を説明するフローチャートである。 図９は、第１の実施形態にかかる透明画面の別の表示例を示す図である。 図１０は、第２の実施形態の走行状況提示システムの概略構成例を示す図である。 図１１は、第２の実施形態の走行状況提示装置としての情報処理装置の機能構成例を示す図である。 図１２は、第２の実施形態の、運転士の顔の向きの判定方法を説明するための図である。 図１３は、第２の実施形態の補正画像の表示方法を説明するための図である。 図１４は、第３の実施形態の走行状況提示システムの概略構成例を示す図である。 図１５は、第３の実施形態の走行状況提示装置としての情報処理装置によって検出される異常の一例を説明するための図である。 図１６は、第３の実施形態の走行状況提示装置としての情報処理装置によって検出される異常の別の例を説明するための図である。 図１７は、第３の実施形態の走行状況提示装置としての情報処理装置の機能構成例を示す図である。 図１８は、第３の実施形態の走行状況提示装置としての情報処理装置の動作を説明するフローチャートである。 図１９は、第４の実施形態にかかる列車の概略構成の一例を示す図である。

以下に添付図面を参照して、実施形態にかかる走行状況提示装置を詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。

（第１の実施形態）
図１は、第１の実施形態にかかる列車の概略構成の一例を示す図である。図１に示すように、本実施形態にかかる列車１０００は、情報処理装置１、カメラ２、およびヘッドアップディスプレイ装置３が設けられている。情報処理装置１は、第１の実施形態の走行状況提示装置の一例である。

カメラ２は、列車の進行方向（前方）の風景の画像を撮像する。

ヘッドアップディスプレイ装置３は、透明画面３０を備えている。透明画面３０は、運転室内の運転士４が列車の前方の風景を視認可能に風景からの光を透過するとともに、情報処理装置１から送られてきた各種情報を表示することができる。

透明画面３０は、例えば、ハーフミラー構造を備える。ヘッドアップディスプレイ装置３は、透明画面３０に画像を投影することによって、透明画面３０上に虚像を形成する。これにより、運転士４は、透明画面３０を介して透明画面３０の背後の風景を視認することができるとともに、透明画面３０に形成された虚像を視認することができる。

なお、透明画面３０の構造はこれに限定されない。列車１０００のフロントガラス６が透明画面３０として使用されてもよい。透明画面３０は、有機発光ダイオード（organic light-emitting diode : OLED）などを含んで構成されることで、自発光によって画像を表示することが可能であってもよい。

図２は、第１の実施形態にかかる透明画面３０の表示例を示す図である。本図の（Ａ）に示されるように、透明画面３０の右下に補正画像表示領域３１が設定されている。情報処理装置１は、カメラ２によって撮像された風景の画像から、画像処理によって、運転士にとってより視認性が高い画像（第２画像）に変換し、変換によって生成された画像を補正画像表示領域３１に表示する。

この例では、補正画像表示領域３１を除く領域３２には、画像が表示されておらず、運転士４は、風景からの透過光によってレール３０１を視認することができる。また、補正画像表示領域３１には、カメラ２によって撮像され、その後変換された画像が表示されている。運転士４は、補正画像表示領域３１に表示されたレール画像３１１を視認することによって、レール３０１の状態を確認することができる。

以降、カメラ２によって撮像された画像（第１画像）を原画像と表記することがある。原画像に対する画像処理によって生成された、原画像よりも視認性が高い画像（第２画像）を、補正画像と表記することがある。

ここで、視認性が高いとは、風景内の各要素が視覚によって容易に識別可能であることをいう。

例えば、画像処理は、明るさの調整である。夜間など暗い環境の中を列車１０００を走行させる場合、原画像には、風景内の各要素が識別できないくらいに各要素が暗く写っている。その場合、情報処理装置１は、原画像より明るさを明るくすることで、風景に存在する各要素が視覚によってより簡単に識別可能な補正画像を生成する。例えば、情報処理装置は、夜間に撮像された原画像から、あたかも昼間に撮像されたように見える、明るく補正された補正画像を生成する。

よって、図２の（Ｂ）に示されるように、夜間などにおいて領域３１を介して風景内のレール３０１を確認することが難しい場合であっても、運転士４は、レール画像３１１が鮮明に写っている補正画像を介してレール３０１の状態を確認することができる。

透明画面３０は、運転室内の運転士４の正面に、フロントガラス６の一部または全部を覆うように設けられる。よって、運転士４は、領域３２を介して列車１０００の前方の風景を視認することができるとともに、少し視線を移動させるだけで補正画像表示領域３１を視認することができる。運転台（図１の運転台５）に表示画面を設けて当該表示画面に補正画像を表示する場合にくらべて、視線移動量を少なくすることができ、それによって、より安全に列車１０００の前方の状況を確認することが可能となる。

なお、画像処理は、明るさの調整だけに限定されない。画像処理は、例えば、一部領域の切り抜き、切り抜いた領域の拡大、コントラストの色調、色相の変換、ホワイトバランスの調整、ＨＤＲ変換、逆光補正、シャープネスの調整、エッジ強調、モノクロ化、またはこれらの組み合わせであってもよい。原画像より視認性が高い画像を生成することができる限り、任意の処理が第１の実施形態の画像処理として採用され得る。

さらに、情報処理装置１は、対象物の検出を実行することができる。対象物が検出されていない間においては、情報処理装置１は、透明画面３０内の、補正画像表示領域３１を除く領域３２には、表示出力を実行しない。よって、図２に例示したように、領域３２は、透明な状態となっており、運転士４は、領域３２を介して列車１０００の前方の風景を視認することができる。

対象物が検出された場合には、情報処理装置１は、検出された対象物から運転士４への光路が透明画面３０（領域３２）と交差する位置または当該位置の近傍に、対象物を強調する情報を表示する。検出された対象物から運転士４への光路が透明画面３０と交差する位置は、換言すると、運転士４から見て当該検出された対象物が見える、領域３２上の位置である。

検出される対象物は、任意に設定可能である。第１の実施形態では、レール、標識、および走行の支障となる虞がある支障物が、対象物として検出される。対象物は、物体だけに限られない。対象物は、人間や車両など、移動体を含む。第１の実施形態では、標識は、列車に対して運転条件や線路に関する情報を表示するものであり、信号機や踏切警報器などを含む。

図３は、第１の実施形態にかかる透明画面３０の、対象物が検出された場合の表示例を示す図である。

図３の（Ａ）に示されるように、運転士４から見てレール３０１が見える位置には、レール３０１を強調する表示オブジェクト４００ａが、対象物を強調する情報として表示されている。表示オブジェクト４００ａは、この例では、運転士４から見てレール３０１が見える位置にレール３０１に重畳された半透明の長方形の表示オブジェクトである。

また、図３の（Ａ）の例では、線路内に人間３０２が立ち入っており、当該人間３０２が対象物として検出されている。そして、半透明の矩形の表示オブジェクト４００ｂが、運転士４から見て人間３０２が見える位置に、対象物を強調する情報として表示されている。

図３の（Ｂ）の例では、踏切警報器３０３、速度標識３０４、信号機３０５、および速度制限解除標識３０６が対象物として検出されている。そして、運転士４から見て踏切警報器３０３が見える位置には、半透明の矩形の表示オブジェクト４００ｃが表示されている。同様に、運転士４から見て速度標識３０４が見える位置には、半透明の矩形の表示オブジェクト４００ｄが表示されている。運転士４から見て信号機３０５が見える位置には、半透明の矩形の表示オブジェクト４００ｅが表示されている。運転士４から見て速度制限解除標識３０６が見える位置には、半透明の矩形の表示オブジェクト４００ｆが表示されている。表示オブジェクト４００ｃ〜４００ｆは、それぞれ、対象物を強調する情報の一例である。

なお、表示オブジェクトの形状は矩形に限定されない。表示オブジェクトの形状は、円形であってもよいし、対象物の輪郭を示す形状であってもよい。また、表示オブジェクトの大きさは、特定の大きさに限定されない。例えば、表示オブジェクトの大きさは、対象物の輪郭に外接する大きさであってもよい。また、表示オブジェクトは、半透明でなくてもよい。表示オブジェクトは、例えば明滅してもよい。

また、図３の（Ｂ）では、運転士４から見て対象物が見える位置の近傍に、その対象物を強調する情報の別の例として、対象物が意味する内容を示す情報が表示されている。例えば、運転士４から見て速度標識３０４が見える位置の近傍には、速度標識３０４が示す制限速度が「８０ｋｍ」であることを示す表示オブジェクト４００ｇが表示されている。また、運転士４から見て信号機３０５が見える位置の近傍には、信号機３０５が示す内容は「進行」であること示す文字列を含む表示オブジェクト４００ｈが表示されている。また、運転士４から見て速度制限解除標識３０６が見える位置の近傍には、対象物が速度回制限解除を意味する標識であることを示す文字列を含む表示オブジェクト４００ｉが表示されている。

このように、情報処理装置１は、対象物が検出された場合には、領域３２内の対象物が見える位置または当該位置の近傍に、対象物を強調する情報を表示する。これにより、運転士４は、領域３２を介して風景を注視している際に、刻々と変化する風景に含まれる対象物を、運転士４はほとんど視線を移動させることなく発見し、対象物の状態を把握することが可能となる。

次に、情報処理装置１のより詳細な構成を説明する。

図４は、列車１０００に具備される第１の実施形態の走行状況提示システムの概略構成例を示す図である。走行状況提示システムは、情報処理装置１、カメラ２、およびヘッドアップディスプレイ装置３を備える。

ヘッドアップディスプレイ装置３は、既に述べたように、透明画面３０を備える。透明画面３０は、フロントガラス６の一部または全部を覆うように設けられており、運転士４の正面に設けられている。

カメラ２は、列車１０００の前方の風景の画像（原画像、第１画像）を撮像する。

情報処理装置１は、第１の実施形態の走行状況提示装置の一例である。情報処理装置１は、演算装置１００、記憶装置１０１、および入出力装置１０２を備える。

記憶装置１０１は、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＤカード等の不揮発性の記憶媒体、およびＲＡＭ（Random Access Memory）、レジスタ等の揮発性の記憶媒体を含む。そして、記憶装置１０１には、演算装置１００が実行するプログラム２００が予め格納される。

演算装置１００は、例えばＣＰＵ（Central Processing Unit）である。演算装置１００は、記憶装置１０１に格納されたプログラム２００を実行することによって、走行状況提示装置としての機能を実現する。

入出力装置１０２は、情報処理装置１と、カメラ２およびヘッドアップディスプレイ装置３とを接続するインタフェース装置である。情報処理装置１は、カメラ２によって撮像された画像を入出力装置１０２を介して取得することができる。また、情報処理装置１は、透明画面３０に表示する内容を入出力装置１０２を介してヘッドアップディスプレイ装置３に送ることができる。

図５は、演算装置１００がプログラム２００を実行することによって実現する、第１の実施形態の走行状況提示装置としての情報処理装置１の機能構成例を示す図である。

図５に示されるように、情報処理装置１は、画像取得部２０１、画像処理部２０２、対象物検出部２０３、および表示出力部２０４を備える。

画像取得部２０１は、カメラ２によって撮像された画像（原画像、第１画像）を取得する。

本実施形態では、一例として、カメラ２は、視点が異なる２つの可視光画像を撮像するステレオカメラであり、画像取得部２０１は、当該２つの可視光画像を取得する。そして、画像取得部２０１は、２つの可視光画像のうちの一を基準画像（原画像、第１画像）とし、当該２つの可視光画像の視差に基づいて、基準画像の画素毎に距離を示す距離画像を取得する。

画像処理部２０２は、画像取得部２０１によって取得された基準画像に対して前述した画像処理を実行することによって、基準画像よりも視認性を高くした補正画像を生成する。

対象物検出部２０３は、基準画像および距離画像に基づいて、対象物の検出を実行する。そのための構成として、対象物検出部２０３は、標識検出部２１０、レール検出部２１１、監視エリア設定部２１２、および支障物検出部２１３を備える。

レール検出部２１１は、基準画像に基づいて風景内のレールの位置を検出する。レールを検出するアルゴリズムとしては、任意のアルゴリズムが採用可能である。

例えば、レール検出部２１１は、基準画像をグレースケール画像に変換し、グレースケール画像を、エッジを強調した画像（エッジ強調画像）に変換する。そして、レール検出部２１１は、エッジ強調画像のうち、エッジ強度が予め設定されたエッジ強度より大きい画素と、その周辺の画素のうち同様のエッジ強度を有する画素とをグループ化した画素群を生成する。そして、レール検出部２１１は、生成した画素群のうち、列車１０００の進行方向に向かって連なって線分を形成する画素群を抽出する。そして、レール検出部２１１は、抽出した画素群のうち、予め設定された評価条件を満たす画素群を、列車１０００が走行するレールが写っている画素群として検出する。ここで、評価条件は、レールと判断する画素群であり、例えば、レールと判断するエッジ強度を有することである。

そして、レール検出部２１１は、基準画像においてレールが写っている画素群、カメラ２の設置条件（カメラ２の光軸の向き、画角、および取り付け位置）、レールの幅が一定である、等の拘束条件に基づいて、風景内のレールの位置を検出する。レール検出部２１１は、基準画像においてレールが写っている画素群の位置と、距離画像と、に基づいて風景内のレールの位置を特定してもよい。

標識検出部２１０は、基準画像に基づいて風景内の標識を検出する。標識を検出するアルゴリズムとしては、任意のアルゴリズムが採用可能である。

例えば、検出したい標識の種類毎に予めパターン画像が予め所定の記憶部（例えば記憶装置１０１）に格納されている。標識検出部２１０は、いずれかのパターン画像と特徴が類似する部分を構成する画素群をエッジ強調画像から探索することで、標識を示す画素群と当該標識の種類とを特定する。そして、標識検出部２１０は、特定した画素群の位置と、距離画像と、に基づいて当該標識の風景内の位置を特定する。

なお、一の種類の標識（例えば速度標識）に対し、それぞれ標識の内容（例えば制限速度）に対応した複数のパターン画像が予め所定の記憶部（例えば記憶装置１０１）に格納されていてもよい。これにより、標識検出部２１０は、例えば制限速度として「８０」が記載された速度標識が基準画像に写っている場合、当該速度標識を、制限速度が「８０ｋｍ」であることを示す速度標識として特定することができる。

監視エリア設定部２１２は、レール検出部２１１により検出したレールを基準として、基準画像に対して立体的な監視領域を設定する。監視領域は、例えば、基準画像内において、列車１０００の車両限界または建築限界により規定される立体的な領域である。また、監視エリア設定部２１２は、基準画像に基づいて、カメラ２から監視領域までの距離の範囲である値域を特定可能とする値域情報を求める。

図５および図６は、第１の実施形態にかかる列車１０００における監視領域の設定例を示す図である。図５に示すように、監視エリア設定部２１２は、当該検出したレールの任意の設定位置Ｐにおいて、車両限界断面Ｘ、および当該車両限界断面Ｘまでの距離を求める。ここで、車両限界断面Ｘは、列車１０００の進行方向に直交する方向における車両限界の断面である。監視エリア設定部２１２は、列車１０００の進行方向においてレールの異なる設定位置Ｐについて求めた車両限界断面Ｘを断面とするトンネル形状の領域を、監視領域として設定する。また、監視エリア設定部２１２は、設定位置Ｐ毎に求めた車両限界断面Ｘまでの距離の範囲（集合）である値域を値域情報として求める。

または、図６に示すように、監視エリア設定部２１２は、検出したレールの任意の設定位置Ｐにおいて、建築限界断面Ｙ、および当該建築限界断面Ｙまでの距離を求める。ここで、建築限界断面Ｙは、列車１０００の進行方向に直交する方向の建築限界の断面である。監視エリア設定部２１２は、列車１０００の進行方向においてレールの異なる設定位置Ｐについて求めた建築限界断面Ｙを断面とするトンネル形状の領域を、監視領域として設定する。また、監視エリア設定部２１２は、設定位置Ｐ毎に求めた建築限界断面Ｙまでの距離の範囲（集合）である値域を値域情報として求める。

図４に戻り、支障物検出部２１３は、距離画像と値域情報とに基づいて、監視領域内に含まれる支障物を検出する。

例えば、支障物検出部２１３は、距離画像内の各画素のうち、値域情報により特定される距離と一致する距離を示す画素をグループ化した類似領域を、監視領域内に存在する立体物である支障物候補として抽出する。そして、支障物検出部２１３は、支障物候補の大きさおよび当該支障物候補の移動ベクトルの少なくとも１つに基づいて、支障物候補の中から、支障物を検出する。例えば、支障物検出部２１３は、支障物候補のうち、予め設定された大きさ以上の支障物候補を支障物として特定する。または、支障物検出部２１３は、支障物候補のうち、移動ベクトルがレールの方向に向かっている支障物候補を支障物として特定する。または、支障物検出部２１３は、支障物候補のうち、予め設定された大きさ以上でありかつ移動ベクトルがレールの方向に向かっている支障物候補を、支障物として特定する。

なお、支障物を検出する方法はこれに限定されない。支障物検出部２１３は、画像取得部２０１によって取得された各画像に基づき、任意の方法で支障物を検出し得る。ここでは、支障物検出部２１３は監視領域内から支障物を検出するとして説明したが、支障物検出部２１３は、基準画像の全領域から支障物を検出してもよい。

表示出力部２０４は、画像処理部２０２によって生成された補正画像を、補正画像表示領域３１に表示する。

また、表示出力部２０４は、対象物検出部２０３によって対象物が検出された場合には、対象物を強調する情報を領域３２に表示する。

対象物を強調する情報の表示位置を求めるアルゴリズムは、特定のアルゴリズムに限定されない。例えば、カメラ２の設置条件（カメラ２の光軸の向き、画角、および取り付け位置）、透明画面３０の設置条件（透明画面３０の取り付け位置および向き）、および運転士４の顔（または眼）の位置と、が記録された設定情報が所定の記憶部（例えば記憶装置１０１）に予め格納されている。表示出力部２０４は、設定情報に記録された各情報を拘束条件として、検出された対象物から運転士４への光路が透明画面３０と交差する位置を演算する。そして、表示出力部２０４は、演算によって得られた位置または当該位置の近傍に、対象物を強調する情報を表示する。

図８は、第１の実施形態の走行状況提示装置としての情報処理装置１の動作を説明するフローチャートである。

まず、画像取得部２０１は、カメラ２から視点が異なる２つの可視光画像を取得する（Ｓ１０１）。そして、画像取得部２０１は、２つの可視光画像から、基準画像と距離画像とを取得する（Ｓ１０２）。

続いて、画像処理部２０２は、基準画像に対して画像処理を実行することによって、補正画像を生成する（Ｓ１０３）。

続いて、レール検出部２１１は、基準画像に基づいてレールを検出する（Ｓ１０４）。前述したように、レール検出部２１１は、レールの検出に距離画像を用いてもよい。

また、標識検出部２１０は、基準画像および距離画像に基づいて標識を検出する（Ｓ１０５）。

続いて、監視エリア設定部２１２は、検出されたレールに基づいて監視領域を設定する（Ｓ１０６）。そして、支障物検出部２１３は、監視領域および距離画像に基づいて、支障物を検出する（Ｓ１０７）。

表示出力部２０４は、Ｓ１０３の処理によって生成された補正画像を、補正画像表示領域３１に表示する（Ｓ１０８）。

また、表示出力部２０４は、対象物検出部２０３によって対象物が検出されたか否かを判定する（Ｓ１０９）。

対象物が検出されたと判定された場合（Ｓ１０９、Ｙｅｓ）、表示出力部２０４は、検出された対象物から運転士４への光路が透明画面３０と交差する位置、即ち運転士４から見て対象物が見える透明画面３０上の位置、を演算する（Ｓ１１０）。

そして、表示出力部２０４は、演算によって求められた位置またはその近傍に、対象物を強調する情報を表示する（Ｓ１１１）。

Ｓ１１１では、例えば、表示出力部２０４は、図３に示される表示オブジェクト４００ａ〜４００ｆのように、運転士４から見て対象物が見える位置に、当該対象物に重畳するように表示オブジェクトを表示する。または、表示出力部２０４は、図３に示される表示オブジェクト４００ｇ〜４００ｉのように、運転士４から見て対象物が見える透明画面３０上の位置の近傍に、対象物が示す内容を示す表示オブジェクトを表示する。

図８に説明を戻す。Ｓ１１１の処理の後、制御がＳ１０１に移行する。

対象物が検出されなかったと判定された場合（Ｓ１０９、Ｎｏ）、Ｓ１１０およびＳ１１１の処理がスキップされ、制御がＳ１０１に移行する。

なお、図８に示されるループ処理は、所定の制御周期毎に実行される。図８に示されるループ処理が短い時間間隔で実行されることで、情報処理装置１は、透明画面３０に、列車１０００の前方の風景を写した、視認性が高い補正画像を、略リアルタイムに風景を映した映像（動画）として表示することができる。また、対象物が検出された場合には、情報処理装置１は、表示オブジェクトによって、対象物の位置を略リアルタイムに表示することができる。

このように、第１の実施形態によれば、画像取得部２０１は、列車１０００の前方の風景を写した基準画像を取得する。画像処理部２０２は、基準画像に画像処理を実行して基準画像よりも視認性を向上された補正画像を生成する。対象物検出部２０３は、基準画像に基づいて風景内の対象物の検出を実行する。表示出力部２０４は、透明画面３０に補正画像表示領域３１を設定し、補正画像表示領域３１に補正画像を表示する。対象物検出部２０３によって対象物が検出された場合、表示出力部２０４は、対象物から運転士４への透過光路が領域３２と交差する位置または当該位置の近傍に、対象物を強調する表示オブジェクト４００を表示する。

よって、運転士４は、領域３２を介して見える風景の視認性が悪い場合であっても、風景内の各要素を補正画像表示領域３１に表示された補正画像によって確認することが可能である。また、補正画像表示領域３１は、透明画面３０内に設けられているので、補正画像表示領域３１を視認するために要する視線の移動量を小さくすることができる。また、風景内に対象物が存在する場合には、運転士４から見て対象物が見える位置または当該位置の近傍に対象物を強調する表示オブジェクト４００が表示されるので、運転士４は、ほとんど視線を動かすことなく対象物を発見し、対象物の状態を認識することが可能となる。

即ち、第１の実施形態によれば、列車の走行状況が簡単に確認できる。

なお、対象物検出部２０３は、レール、標識、および、列車１０００の走行の支障となる支障物を、対象物として検出した。検出される対象物は、これに限定されない。

また、表示オブジェクト４００ａ〜４００ｉの色は、特定の色の限定されない。表示出力部２０４は、対象物の種類（レール、標識、支障物）に応じて表示オブジェクトの色を変えてもよい。例えば、表示出力部２０４は、レールの表示オブジェクトの色を青色とし、標識の表示オブジェクトの色を黄色とし、支障物の表示オブジェクトの色を赤色としてもよい。

また、情報処理装置１に対象物の危険度を判定する処理部を設け、表示出力部２０４は、対象物の危険度に応じて表示オブジェクト４００の色を変えてもよい。例えば、支障物など、衝突の危険が高い対象物に対しては、表示出力部２０４は、赤色の表示オブジェクトを表示する。信号機などの注意を要する対象物に対しては、表示出力部２０４は、黄色の表示オブジェクトを表示する。レールなど正常な対象物に対しては、表示出力部２０４は、青色の表示オブジェクトを表示する。

また、情報処理装置１に現在の列車１０００の状態（例えば速度、位置、次の停車駅、故障情報）を取得する状態取得部を設け、表示出力部２０４は、取得された状態を透明画面３０に表示してもよい。例えば、図９に示されるように、透明画面に状態表示領域３３を設定し、取得された状態を状態表示領域３３に表示してもよい。

また、表示出力部２０４は、状態表示領域３３に、各検出部２１０、２１１、２１３によって検出された対象物の内容を表示してもよい。対象物の内容の表示方法は、特定の方法に限定されない。表示出力部２０４は、「人間」、「車両」、「速度標識」、「踏み切り」、「レール」などのように、検出された対象物の種類を、文字列として表示してもよい。また、例えば速度標識が対象物として検出され、その速度標識が例えば制限速度「８０」を示す場合には、表示出力部２０４は、「制限速度８０」を表示してもよい。

（第２の実施形態）
第２の実施形態では、第１の実施形態と異なる構成要素について重点的に説明する。第１の実施形態と同一の機能を有する構成要素には、第１の実施形態と同じ名称および符号を付して、詳細な説明を省略する。

図１０は、第２の実施形態の走行状況提示システムの概略構成例を示す図である。第２の実施形態の走行状況提示システムは、情報処理装置１ａ、カメラ２、ヘッドアップディスプレイ装置３、および室内カメラ７を備える。情報処理装置１ａは、演算装置１００、記憶装置１０１、および入出力装置１０２を備える。

室内カメラ７は、例えば運転室内に設けられている。室内カメラ７の取り付け位置、光軸、および画角は、列車１０００を運転中の運転士４の顔を撮像可能に設定されている。

記憶装置１０１は、プログラム２００ａが予め格納される。演算装置１００は、プログラム２００ａを実行することによって、第２の実施形態の走行状況提示装置としての機能を実現する。

図１１は、第２の実施形態の走行状況提示装置としての情報処理装置１ａの機能構成例を示す図である。

情報処理装置１ａは、画像取得部２０１ａ、画像処理部２０２ａ、対象物検出部２０３、および表示出力部２０４を備える。

画像取得部２０１ａは、第１の実施形態の画像取得部２０１と同様に、カメラ２から視点が異なる２つの可視光画像を取得して、基準画像と距離画像とを取得する。さらに、画像取得部２０１ａは、室内カメラ７から運転士４の顔が写っている室内画像を取得する。

画像処理部２０２ａは、推定部２１４を備える。推定部２１４は、画像取得部２０１ａによって取得された室内画像に基づいて、運転士４の顔の向きを推定する。

運転士４の顔の向きを推定するアルゴリズムとしては、任意のアルゴリズムが採用可能である。一例では、推定部２１４は、室内画像を、エッジを強調した画像（エッジ強調画像）に変換する。そして、推定部２１４は、画像認識によって、エッジ強調画像から、目、口、鼻、および顔の輪郭を特定する。そして、推定部２１４は、特定した目、鼻、および顔の輪郭に基づいて、運転士４の顔の向きを推定する。

推定された顔の向きは、運転士４が見ている領域を示す情報として使用される。例えば、図１２に示されるように、運転士４の顔が列車１０００の進行する向きを基準として左に向いている場合には、運転士４は左側の領域５００Ｌを見ているとして判断される。また、運転士４の顔が列車１０００の進行する向きを基準として右に向いている場合には、運転士４は右側の領域５００Ｒを見ているとして判断される。

画像処理部２０２ａは、基準画像のうちの運転士４が見ている領域を拡大した補正画像を生成する。

例えば、画像処理部２０２ａは、運転士４は左側の領域５００Ｌを見ているとして判断した場合には、図１３の（Ａ）に示されるように、基準画像の左側の一部の領域を拡大した補正画像を補正画像表示領域３１に表示する。画像処理部２０２ａは、運転士４は右側の領域５００Ｒを見ているとして判断した場合には、図１３の（Ｂ）に示されるように、基準画像の右側の一部の領域を拡大した補正画像を補正画像表示領域３１に表示する。

第２の実施形態では、１つの制御周期内で、画像取得部２０１ａによって実行される室内画像の取得と、推定部２１４によって実行される取得された室内画像に基づく顔の向きの推定と、画像処理部２０２ａによって実行される推定された顔の向きに対応した補正画像の生成と、表示出力部２０４によって実行される生成された補正画像の補正画像表示領域３１への表示と、が実行される。これらの処理は、制御周期毎に繰り返し実行される。

以上述べたように、第２の実施形態では、推定部２１４は、運転士４の顔の向きを推定する。そして、画像処理部２０２ａは、基準画像に含まれる、運転士４の顔の向きに対応した一部の領域を拡大した補正画像を生成する。

これにより、補正画像表示領域３１には、運転士４が注目している箇所を拡大して表示されるので、運転士４は、風景内の任意の箇所の状態を補正画像表示領域３１を介して詳細に確認することが可能となる。

なお、以上の説明では、推定部２１４は、列車１０００の前方の風景を左右方向に２分割して領域５００Ｌおよび領域５００Ｒを設定し、領域５００Ｌおよび領域５００Ｒのうちから運転士４の顔が向いている領域を特定した。顔の向きの判定方法はこれに限定されない。例えば、推定部２１４は、列車１０００の前方の風景を３以上の領域に分割して、当該３以上の領域のうちから運転士４の顔が向いている領域を判定してもよい。

推定部２１４は、上記のアルゴリズムに限らず、任意のアルゴリズムに基づいて運転士４の顔の向きを推定し得る。

（第３の実施形態）
第３の実施形態では、第１の実施形態と異なる構成要素について重点的に説明する。第１の実施形態と同一の機能を有する構成要素には、第１の実施形態と同じ名称および符号を付して、詳細な説明を省略する。なお、第３の実施形態は、第２の実施形態とともに適用することが可能である。

図１４は、第３の実施形態の走行状況提示システムの概略構成例を示す図である。走行状況提示システムは、情報処理装置１ｂ、カメラ２、ヘッドアップディスプレイ装置３、および位置計測装置８を備える。情報処理装置１ｂは、演算装置１００、記憶装置１０１、および入出力装置１０２を備える。

記憶装置１０１は、プログラム２００ｂが予め格納される。演算装置１００は、プログラム２００ｂを実行することによって、第３の実施形態の走行状況提示装置としての機能を実現する。

位置計測装置８は、列車１０００の走行位置を計測する。位置計測装置８としては、速度発電機（ＴＧ）や衛星測位システム（ＧＮＳＳ）が使用され得る。

列車１０００は、同じ路線を複数回、走行する場合がある。そこで、第３の実施形態では、情報処理装置１ｂは、過去に撮像された基準画像を、当該基準画像が撮像された際の列車１０００の位置と対応付けて記憶部（ここでは一例として記憶装置１０１）に保存する。該当位置を列車１０００が走行する際には、情報処理装置１ｂは、記憶部に保存された基準画像と、新たに撮像された基準画像（保存画像２２０）と、の差分に基ついて、異常が発生している箇所を、対象物として検出する。

例えば図１５の（Ａ）は、２０ＡＡ年Ａ月Ａ日に列車１０００がある地点を走行した際の透明画面３０の表示例を示している。レール３０１の左側に樹木３０７が植わっていることが透明画面３０を介してうかがえる。

図１５の（Ｂ）は、２０ＡＡ年Ａ月Ａ日よりも後の日付の２０ＢＢ年Ｂ月Ｂ日に列車１０００が同じ地点を走行した際の透明画面３０の表示例を示している。２０ＢＢ年Ｂ月Ｂ日では、樹木３０７が２０ＡＡ年Ａ月Ａ日に確認された時点から成長して、レール３０１のほうに樹木３０７の枝が伸びてきていることがうかがえる。

情報処理装置１ｂは、例えば、２０ＡＡ年Ａ月Ａ日に当該地点を走行した際に撮像した基準画像を保存画像２２０として保存する。そして、２０ＡＡ年Ａ月Ａ日よりも後の日付の２０ＢＢ年Ｂ月Ｂ日に列車１０００が同じ地点を走行した際に、新たに基準画像を撮像し、当該新たに撮像された基準画像と、保存画像２２０と、の差分から、樹木３０７のレール３０１に向かって張り出した部分を対象物として特定し、運転士４から見て当該対象物が見える位置に、半透明の矩形の表示オブジェクト４００ｊを表示する。表示オブジェクト４００ｊは、第３の実施形態の、対象物を強調する情報の一例である。

別の例を説明する。図１６の（Ａ）は、２０ＣＣ年Ｃ月Ｃ日にある地点を走行した際の透明画面３０の表示例を示している。レール３０１の左側に踏み切り遮断器３０８が対象物として検出されて、対象物を強調する表示オブジェクト４００ｋが表示されている。

図１６の（Ｂ）は、２０ＣＣ年Ｃ月Ｃ日よりも後の日付の２０ＤＤ年Ｄ月Ｄ日に列車１０００が同じ地点を走行した際の透明画面３０の表示例を示している。２０ＣＣ年Ｃ月Ｃ日では、踏み切り遮断器３０８の遮断棹は破損していなかったが、２０ＤＤ年Ｄ月Ｄ日では、当該遮断棹が破損していることがうかがえる。

例えば、２０ＣＣ年Ｃ月Ｃ日に当該地点を走行した際に撮像した基準画像を保存画像２２０として保存する。そして、２０ＤＤ年Ｄ月Ｄ日に列車１０００が同じ地点を走行した際に、新たに基準画像を撮像し、当該新たに撮像された基準画像と、保存画像２２０と、の差分から、破損した遮断棹を特定し、運転士４から見て当該遮断棹が見える位置に、半透明の矩形の表示オブジェクト４００ｌを表示する。表示オブジェクト４００ｌは、第３の実施形態の、対象物を強調する情報の別の一例である。

図１７は、第３の実施形態の走行状況提示装置としての情報処理装置１ｂの機能構成例を示す図である。

情報処理装置１ｂは、画像取得部２０１、画像処理部２０２、対象物検出部２０３ｂ、表示出力部２０４、位置取得部２０５、および保存部２０６を備える。

位置取得部２０５は、位置計測装置８から列車１０００の現在位置を示す位置情報を取得する。

保存部２０６は、画像取得部２０１によって取得された基準画像を、位置取得部２０５によって取得された位置情報と対応付ける。そして、保存部２０６は、位置情報が対応付けられた基準画像を保存画像２２０として記憶装置１０１に格納する。

対象物検出部２０３ｂは、レール検出部２１１、標識検出部２１０、監視エリア設定部２１２、支障物検出部２１３、および異常検出部２１５を備える。

異常検出部２１５は、記憶装置１０１に基準画像（保存画像２２０）が格納されている場合において、当該基準画像が撮像された位置と同じ位置を走行した際に、新たに撮像した基準画像と、記憶装置１０１に格納されている基準画像と、の差分に基づいて異常を検出する。

異常を検出するアルゴリズムとしては、任意のアルゴリズムが採用され得る。例えば、異常検出部２１５は、新たに撮像した基準画像と、記憶装置１０１に格納されている基準画像と、の各画素の画素値の差分を示す差分画像を生成する。そして、異常検出部２１５は、当該差分画像の各画素値に対してしきい値処理を実行することで、２つの基準画像で画素値が異なっている画素群を、異常として抽出する。異常検出部２１５は、抽出された画素群と、距離情報と、に基づいて、風景内の異常の位置を特定する。

図１８は、第３の実施形態の走行状況提示装置としての情報処理装置１ｂの動作を説明するフローチャートである。

まず、Ｓ１０１およびＳ１０２の処理によって、画像取得部２０１は、基準画像と距離画像とを取得する。

位置取得部２０５は、位置計測装置８から列車１０００の現在位置を示す位置情報を取得する（Ｓ２０１）。

続いて、画像処理部２０２は、基準画像に対して画像処理を実行することによって、補正画像を生成する（Ｓ１０３）。

続いて、Ｓ１０４〜Ｓ１０７の処理によって、対象物検出部２０３は、レール、標識、および支障物を検出する。

異常検出部２１５は、現在位置と同一の位置で過去に撮像された基準画像が記憶装置１０１に格納されているか否かを判定する（Ｓ２０２）。

Ｓ２０２の処理では、異常検出部２１５は、Ｓ２０１によって取得された位置情報と同一の位置情報が対応付けられた基準画像を検索する。基準画像に対応付けられた位置情報がＳ２０１によって取得された位置情報と同一であるか否かの判断には、一定の幅が持たされ得る。例えば、Ｓ２０１によって取得された位置情報との差分が所定値より小さい位置情報が対応付けられた基準画像が、現在位置と同一の位置で過去に撮像された基準画像として特定されてもよい。

現在位置と同一の位置で過去に撮像された基準画像が記憶装置１０１に格納されていると判定された場合（Ｓ２０２、Ｙｅｓ）、異常検出部２１５は、Ｓ１０２の処理によって得られた基準画像と、現在位置と同一の位置で過去に撮像された基準画像と、の差分に基づいて異常を検出する（Ｓ２０３）。

現在位置と同一の位置で過去に撮像された基準画像が記憶装置１０１に格納されていないと判定された場合には（Ｓ２０２、Ｎｏ）、Ｓ２０３の処理はスキップされる。

続いて、表示出力部２０４は、Ｓ１０３の処理によって生成された補正画像を、補正画像表示領域３１に表示する（Ｓ１０８）。

また、対象物が検出された場合には（Ｓ１０９、Ｙｅｓ）、表示出力部２０４は、Ｓ１１０およびＳ１１１の処理によって、対象物を強調する情報を表示する。対象物が検出されなかった場合には（Ｓ１０９、Ｎｏ）、Ｓ１１０およびＳ１１１の処理がスキップされる。

続いて、保存部２０６は、基準画像を保存するか否かを判定する（Ｓ２０４）。

基準画像を保存するか否かの判定方法は、特定の方法に限定されない。一例では、Ｓ２０２の判定処理において、現在位置と同一の位置で過去に撮像された基準画像が記憶装置に格納されていないと判定された場合（Ｓ２０２、Ｎｏ）、保存部２０６は、基準画像を保存する、と判定する。現在位置と同一の位置で過去に撮像された基準画像が記憶装置に格納されていると判定された場合（Ｓ２０２、Ｙｅｓ）、保存部２０６は、基準画像を保存しない、と判定する。即ち、現在走行している路線が、初めて走行した路線である場合、基準画像を保存すると判定され、現在走行している路線が、初めて走行した路線でない場合、基準画像を保存しないと判定される。

別の例では、保存部２０６は、たとえ現在位置と同一の位置で過去に撮像された基準画像が記憶装置に格納されている場合であっても、基準画像を保存してもよい。

保存部２０６は、新たな基準画像と同一の位置で撮像された古い基準画像がすでに保存されている場合には、新たな基準画像を古い基準画像に上書きしてもよいし、古い基準画像を残したまま新たな基準画像を保存してもよい。

基準画像を保存すると判定された場合（Ｓ２０４、Ｙｅｓ）、保存部２０６は、Ｓ１０２の処理によって取得された基準画像を、Ｓ２０１の処理によって取得された位置情報と対応付けて記憶装置１０１に格納する（Ｓ２０５）。

Ｓ２０５の処理の後、制御がＳ１０１に移行する。

基準画像を保存しないと判定された場合（Ｓ２０４、Ｎｏ）、Ｓ２０５の処理がスキップされ、制御がＳ１０１に移行する。

このように、第３の実施形態によれば、記憶装置１０１には、列車１０００がある位置を走行した際（第１のタイミング）に撮像された基準画像が保存される。異常検出部２１５は、列車１０００が再び当該位置を走行した際（第２のタイミング）、新たに撮像された基準画像と、保存された基準画像と、の差分に基づいて、異常（対象物）を検出する。表示出力部２０４は、運転士４から見て異常（対象物）が見える位置または当該位置の近傍に、対象物を強調する情報を表示する。

よって、線路の周辺に異常が発生した場合に、当該異常を検出することが可能となる。また、検出した異常が見える位置に強調する情報が表示されるので、運転士４は、ほとんど視線を移動させることなく異常を発見し、認識することが可能となる。

異常検出部２１５は、例えば、前述したように、レールに向かって延びてきた樹木を、異常として検出できる。異常検出部２１５は、上記した動作によって、レール上またはレールの近辺に倒れた倒木を検出することができる。

また、異常検出部２１５は、上記した動作によって、踏み切りや変電設備など、レール近辺に設けられた設備の破損を異常として検出することができる。

また、異常検出部２１５は、上記したアルゴリズムによって、レールに発生した歪みを異常として検出することができる。

なお、表示出力部２０４は、第１の実施形態と同様に、検出された異常を、危険度や種類などに応じて色わけして表示してもよい。

また、異常検出部２１５は、異常を検出する範囲を、監視エリア設定部２１２によって設定された監視領域に限定してもよい。

また、保存部２０６は、ある路線を列車１０００が最初に走行した際に、いったん基準画像を保存する。そして、保存部２０６は、列車１０００が当該路線を２回目に走行した際には、差分画像をさらに保存する。そして、異常検出部２１５は、列車１０００が当該路線を３回目以降に走行した際には、新たに生成した差分画像と、保存された差分画像と、の差分に基づいて異常を検出してもよい。

（第４の実施形態）
図１９は、第４の実施形態にかかる列車の概略構成の一例を示す図である。本図に示されるように、列車１０００ａには、カメラ２および情報処理装置１が設けられている。また、運転士４は、ヘッドマウントディスプレイ装置１０を装着する。

ヘッドマウントディスプレイ装置１０は、めがね型の情報処理装置である。ヘッドマウントディスプレイ装置１０の、装着者の眼を覆う部分には、透明画面３０ａが設けられている。

透明画面３０ａは、ハーフミラー構造を有しており、ヘッドマウントディスプレイ装置１０は、透明画面３０ａに画像を投影することによって透明画面３０ａ上に虚像を形成する。これにより、ヘッドマウントディスプレイ装置１０を装着した運転士４は、透明画面３０ａを介して風景を視認することができるとともに、透明画面３０ａに形成された虚像を視認することができる。

なお、透明画面３０ａの構造はこれに限定されない。透明画面３０ａは、有機発光ダイオード（organic light-emitting diode : OLED）などを含んで構成されることで、自発光によって画像を表示することが可能であってもよい。

情報処理装置１は、第１の実施形態と同様の構成を備える。ただし、第１の実施形態では、補正画像や対象物を強調する情報を、ヘッドアップディスプレイ装置３が備える透明画面３０に表示したが、第４の実施形態では、情報処理装置１は、ヘッドマウントディスプレイ装置１０が備える透明画面３０ａに、補正画像や対象物を強調する情報を表示する。

第４の実施形態では、対象物検出部２０３は、第１の実施形態と同様の方法で、対象物の検出を行うことができる。

また、表示出力部２０４は、図２に例示されるように、透明画面３０ａに補正画像表示領域３１を設けて、当該補正画像表示領域３１に補正画像を表示する。

また、表示出力部２０４は、対象物が検出された場合には、図３に例示されるように、対象物から運転士４の眼への透過光路と透明画面３０ａ（領域３２）とが交差する位置、即ち運転士４から見て透明画面３０ａ上の対象物が見える位置、または当該位置の近傍に、対象物を強調する情報を表示する。

対象物を強調する情報の表示位置を求めるアルゴリズムは、特定のアルゴリズムに限定されない。

一例では、カメラ２の設置条件（カメラ２の光軸の向き、画角、および取り付け位置）と、運転士の顔（または眼）の位置と、が記録された設定情報が所定の記憶部（例えば記憶装置１０１）に予め格納されている。ヘッドマウントディスプレイ装置１０は、所定のセンサ（ジャイロセンサや加速度センサ）を内蔵している。表示出力部２０４は、ヘッドマウントディスプレイ装置１０が備えるセンサによる検出値を取得して、取得した検出値を用いて、運転士４の顔（または眼）の実際の位置の、設定情報に記録された位置からのズレを補正する。そして、表示出力部２０４は、カメラ２の設置条件や、運転士４の顔（または眼）の補正後の位置などを拘束条件として、検出された対象物から運転士４への光路が透明画面３０と交差する位置を演算することができる。

別の例では、ヘッドマウントディスプレイ装置１０は、カメラを内蔵している。表示出力部２０４は、ヘッドマウントディスプレイ装置１０が備えるカメラによって撮像された画像を取得して、取得された画像からレールを検出する。表示出力部２０４は、レール検出部２１１によって検出されたレールと、ヘッドマウントディスプレイ装置１０が備えるカメラによって撮像された画像から検出されたレールと、を比較することで、基準画像と透明画面３０ａとで画素位置の対応をとる。そして、表示出力部２０４は、基準画像内の対象物の画素位置を、透明画面３０ａの画素位置に変換する。

このように、表示出力部２０４は、対象物を強調する情報の表示位置を任意の方法で演算することができる。

なお、第４の実施形態は、第１〜第３の実施形態の走行状況提示装置の何れに対しても適用することができる。

例えば第２の実施形態の走行状況提示装置に第４の実施形態が適用される場合、推定部２１４は、ヘッドマウントディスプレイ装置１０が備えるセンサによる検出値に基づいて運転士４の顔の向きを推定してもよい。例えば、ヘッドマウントディスプレイ装置１０は、加速度センサを備え、推定部２１４は、当該加速度センサによる加速度検出値を用いて運転士４の顔の向きを推定してもよい。

（変形例）
以下に、第１〜第４の実施形態の走行状況提示装置に適用可能な変形例を説明する。

走行状況提示装置は、透明画面３０、３０ａに、車外に設けられたカメラによって撮像された画像を表示してもよい。例えば、駅ホームにカメラが設置される。そして、走行状況提示装置は、駅ホームに設置されたカメラによって撮像された画像（ホーム画像）を、ネットワークなどを介して取得する。表示出力部２０４は、当該ホーム画像を透明画面３０、３０ａに表示する。画像処理部２０２、２０２ａは、ホーム画像に対して画像処理を行って、画像処理後のホーム画像を透明画面３０、３０ａに表示してもよい。ホーム画像の表示位置は、特定の位置に限定されない。

例えば、表示出力部２０４は、列車１０００が駅ホームに近づいた場合に、補正画像の表示を停止して、代わりに、補正画像表示領域３１にホーム画像を表示してもよい。また、表示出力部２０４は、列車１０００が駅ホームに近づいた場合に、補正画像表示領域３１とは別に表示領域を設定し、当該表示領域にホーム画像を表示してもよい。

走行状況提示装置は、位置計測装置８と、位置計測装置８から取得した現在の列車１０００の位置を示す位置情報に基づいて列車１０００が駅ホームに近づいたか否かを判定する処理部と、を備え、表示出力部２０４は、当該処理部による判定結果に応じてホーム画像の表示／非表示を切り替えてもよい。

また、レール検出部２１１は、分岐地点などにおいて、複数のレールを検出する場合がある。その場合には、レール検出部２１１は、当該複数のレールのうちの走行予定のルートに沿ったレールのみを対象物として特定してもよい。例えば、走行状況提示装置は、走行予定のルートを示すルート情報を記憶部（例えば記憶装置１０１）に予め記憶している。レール検出部２１１は、ルート情報に基づいて、走行予定のルートに沿ったレールを特定する。

第１〜第４の実施形態の情報処理装置１、１ａ、１ｂで実行されるプログラム２００、２００ａ、２００ｂは、記憶装置１０１に予め格納されて提供され得る。また、プログラム２００、２００ａ、２００ｂは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供され得る。

さらに、プログラム２００、２００ａ、２００ｂを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、プログラム２００、２００ａ、２００ｂをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

第１〜第４の実施形態の走行状況提示装置の各機構構成要素（画像取得部２０１、２０１ａ、画像処理部２０２、２０２ａ、対象物検出部２０３、２０３ｂ、表示出力部２０４、位置取得部２０５、保存部２０６、等）は、演算装置１００がプログラム２００、２００ａ、２００ｂを実行することによって実現される、として説明した。これらの機能構成要素のうちの一部または全部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等のハードウェア回路によって実現されてもよい。これらの機能構成要素のうちの一部または全部は、ハードウェア回路とソフトウェアとの協働によって実現されてもよい。

以上述べたように、第１〜第４の実施形態によれば、列車の走行状況を簡単に確認することが可能となる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１，１ａ，１ｂ 情報処理装置、２ カメラ、３ ヘッドアップディスプレイ装置、４ 運転士、５ 運転台、６ フロントガラス、７ 室内カメラ、８ 位置計測装置、１０ ヘッドマウントディスプレイ装置、３０，３０ａ 透明画面、３１ 補正画像表示領域、１００ 演算装置、１０１ 記憶装置、２００，２００ａ，２００ｂ プログラム、２０１，２０１ａ 画像取得部、２０２，２０２ａ 画像処理部、２０３，２０３ｂ 対象物検出部、２０４ 表示出力部、２０５ 位置取得部、２０６ 保存部、２１０ 標識検出部、２１１ レール検出部、２１２ 監視エリア設定部、２１３ 支障物検出部、２１４ 推定部、２１５ 異常検出部、４００ａ〜４００ｌ 表示オブジェクト。

Claims (7)

1. 列車の前方の風景を写した第１画像を取得する画像取得部と、
   前記第１画像に画像処理を実行して前記第１画像より視認性を向上させた第２画像を生成する画像処理部と、
   前記第１画像に基づいて前記風景内の対象物の検出を実行する対象物検出部と、
   運転士が前記風景を視認可能に前記風景からの光を透過する透明画面の一部に第１領域を設定して前記第１領域に前記第２画像を表示し、前記対象物検出部によって前記対象物が検出された場合、前記対象物から前記運転士への光路が前記透明画面のうちの前記第１領域を除く第２領域と交差する位置または当該位置の近傍に、前記対象物を強調する強調情報を表示する、表示出力部と、
   を備えた走行状況提示装置。
2. 前記運転士の顔の向きを推定する推定部をさらに備え、
   前記第２画像は、前記第１画像に含まれる、前記推定された向きに対応した一部の領域を拡大した画像である、
   請求項１に記載の走行状況提示装置。
3. 前記列車が第１列車位置を走行した第１のタイミングにおいて撮像された第１画像である第３画像が格納される記憶部をさらに備え、
   前記対象物検出部は、前記第１のタイミングよりも後の、前記第１列車位置を再び走行した第２のタイミングにおいて、前記第２のタイミングにおいて撮像された第１画像である第４画像と、前記記憶部に格納された前記第３画像と、の差分に基づいて前記対象物を検出する、
   請求項１または２に記載の走行状況提示装置。
4. 前記画像取得部は、前記運転士を写した第５画像をさらに取得し、
   前記推定部は、前記第５画像に基づいて前記顔の向きを推定する、
   請求項２に記載の走行状況提示装置。
5. 前記透明画面は、ヘッドアップディスプレイ装置またはヘッドマウントディスプレイ装置を構成する画面である、
   請求項１から４の何れか一項に記載の走行状況提示装置。
6. 前記透明画面は、前記運転士に装着されるヘッドマウントディスプレイ装置を構成する画面であり、
   前記ヘッドマウントディスプレイ装置は、加速度センサをさらに備え、
   前記推定部は、前記加速度センサによる加速度検出値に基づいて前記顔の向きを推定する、
   請求項２に記載の走行状況提示装置。
7. 前記画像処理は、明るさを調整する処理を含む、
   請求項１から６の何れか一項に記載の走行状況提示装置。

Images