JP2021093565A - 表示制御システム、表示制御方法及びプログラム - Google Patents

Abstract

【課題】車両の周囲の状況を撮影するカメラで認識できない監視対象物の位置を乗務員に的確に把握させることができる表示制御システム、表示制御方法及びプログラムを提供する。【解決手段】車外画像内位置特定部４２は、車両の外に設けられた車外撮影装置により撮影される車外画像に写る監視対象物の当該車外画像内における位置である車外画像内位置を特定する。表示部内位置特定部５６は、車外画像内位置と、車両の乗務員の眼前に配置される表示部の位置及び向きと、に基づいて、当該表示部内における監視対象物の位置である表示部内位置を特定する。表示制御部５８は、特定される表示部内位置に目印画像を表示させる。【選択図】図８

Description

本発明は、表示制御システム、表示制御方法及びプログラムに関する。

特許文献１には、車両の周囲の状況を撮影するカメラから得られたカメラ映像情報により歩行者の存在を認識した場合に、歩行者に重畳させて虚像によりヘッドアップディスプレイ（ＨＵＤ）にマークをアラート表示する技術が記載されている。

また、特許文献１には、映像情報では認識できない前方の横断歩道等の路面標識を、地図情報や走行ログ等からそれらが存在するとして把握された位置に虚像として表示することが記載されている。

特開２０１９−５９２４７号公報

発明者は、プラットホームからの転落者等の監視対象物が出現した際に、車両の乗務員の眼前に配置されるＨＵＤ等の表示部内における当該監視対象物の出現位置にマーク等の目印画像を表示させて、乗務員に監視対象物の位置を的確に把握させることを検討している。

ここで、特許文献１に記載の技術を用いても、車両の周囲の状況を撮影するカメラによって認識できない監視対象物についてはその出現位置に目印画像を表示させることができない。また、このような監視対象物は突発的に出現するので、特許文献１に記載されているような地図情報や走行ログ等からその位置を予め把握することができない。

本発明は上記課題に鑑みてなされたものであって、その目的の１つは、車両の周囲の状況を撮影するカメラで認識できない監視対象物の位置を乗務員に的確に把握させることができる表示制御システム、表示制御方法及びプログラムを提供することにある。

本発明に係る表示制御システムは、車両の外に設けられた車外撮影装置により撮影される車外画像に写る監視対象物の当該車外画像内における位置である車外画像内位置を特定する車外画像内位置特定手段と、前記車外画像内位置と、前記車両の乗務員の眼前に配置される表示部の位置及び向きと、に基づいて、当該表示部内における前記監視対象物の位置である表示部内位置を特定する表示部内位置特定手段と、特定される前記表示部内位置に目印画像を表示させる表示制御手段と、を含む。

本発明の一態様では、前記車両の線状の走行経路を示す走行経路データと、前記車外画像内位置と、に基づいて、前記走行経路データが示す走行経路上における前記監視対象物の位置である走行経路上位置を特定する走行経路上位置特定手段、をさらに含み、前記表示部内位置特定手段は、前記走行経路上位置に基づいて、前記表示部内位置を特定する。

また、本発明の一態様では、前記車両に設けられた車載撮影装置により前記監視対象物が撮影されたか否かを判定する判定手段と、前記車載撮影装置により撮影される車載画像に写る前記監視対象物の当該車載画像内における位置である車載画像内位置を特定する車載画像内位置特定手段と、をさらに含み、前記車載撮影装置により前記監視対象物が撮影されたことが判定された場合は、前記表示部内位置特定手段は、前記車載画像内位置に基づいて、前記表示部内位置を特定する。

この態様では、前記車載撮影装置により前記監視対象物が撮影されたことが判定されない状況から判定された状況に変化した際に、前記表示部内位置特定手段は、前記表示部内位置を、前記車外画像内位置に基づくものから、前記車載画像内位置に基づくものに変化させてもよい。

また、本発明の一態様では、前記表示制御手段は、前記監視対象物の位置が前記表示部の表示範囲外である場合に、前記監視対象物の位置に応じた前記表示部の縁部に目印画像を表示させる。

また、本発明の一態様では、前記表示部は、前記車両に設けられたヘッドアップディスプレイである。

あるいは、前記表示部は、前記乗務員が装着するヘッドマウントディスプレイである。

また、本発明に係る表示制御方法は、車両の外に設けられた車外撮影装置により撮影される車外画像に写る監視対象物の当該車外画像内における位置である車外画像内位置を特定するステップと、前記車外画像内位置と、前記車両の乗務員の眼前に配置される表示部の位置及び向きと、に基づいて、当該表示部内における前記監視対象物の位置である表示部内位置を特定するステップと、特定される前記表示部内位置に目印画像を表示させるステップと、を含む。

また、本発明に係るプログラムは、車両の外に設けられた車外撮影装置により撮影される車外画像に写る監視対象物の当該車外画像内における位置である車外画像内位置を特定する手順、前記車外画像内位置と、前記車両の乗務員の眼前に配置される表示部の位置及び向きと、に基づいて、当該表示部内における前記監視対象物の位置である表示部内位置を特定する手順、特定される前記表示部内位置に目印画像を表示させる手順、をコンピュータに実行させる。

本発明の一実施形態に係る表示制御システムの構成の一例を示す図である。 車外画像の一例を示す図である。 車外画像の一例を示す図である。 車外画像の一例を示す図である。 監視システムのディスプレイに表示される画像の一例を示す図である。 車両の乗務員が前方を見た様子の一例を示す図である。 車両の乗務員が前方を見た様子の一例を示す図である。 本発明の一実施形態に係る車両及び監視システムで実装される機能の一例を示す機能ブロック図である。 仮想空間の一例を示す図である。 本発明の一実施形態に係る車両で行われる処理の流れの一例を示すフロー図である。 車両の乗務員が前方を見た様子の一例を示す図である。 車両の乗務員が前方を見た様子の一例を示す図である。

以下、本発明の一実施形態について図面に基づき詳細に説明する。

図１は、本発明の一実施形態に係る表示制御システム１の構成の一例を示す図である。図１に示すように、本実施形態に係る表示制御システム１には、路線上を運行する車両１０、複数の監視システム１２、及び、車両１０の運行を管理する運行管理システム１４が含まれる。

複数の監視システム１２のそれぞれは、例えば、車両１０が運行する路線上の互いに異なる場所に設けられている。ここで例えば、路線上の各駅に、当該駅のプラットホームを監視する監視システム１２が設けられていてもよい。また例えば、１つの駅に設けられた複数のプラットホームのそれぞれに、監視システム１２が設けられていてもよい。また、１つのプラットホームに複数の監視システム１２が設けられていてもよい。

車両１０、監視システム１２、運行管理システム１４は、インターネット等のコンピュータネットワーク１６に接続されている。そのため、車両１０、監視システム１２、運行管理システム１４は、コンピュータネットワーク１６を介して互いに通信可能となっている。

図１に示すように、車両１０には、プロセッサ１０ａ、記憶部１０ｂ、通信部１０ｃ、車載撮影装置１０ｄ、ヘッドアップディスプレイ（ＨＵＤ）１０ｅ、が含まれている。

プロセッサ１０ａは、例えば記憶部１０ｂに記憶されるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。

記憶部１０ｂは、ＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部１０ｂには、プロセッサ１０ａによって実行されるプログラムなどが記憶される。

通信部１０ｃは、例えばネットワークボードなどの通信インタフェースである。

車載撮影装置１０ｄは、例えば、車両１０の前方を撮影するデジタルカメラなどの撮影装置である。なお、車載撮影装置１０ｄが、三次元画像やデプス画像の撮影が可能なカメラ（例えばステレオカメラ）であってもよい。以下、車載撮影装置１０ｄによって撮影される画像を、車載画像と呼ぶこととする。本実施形態に係る車載撮影装置１０ｄは、所定のフレームレートで車両１０の前方を撮影する。

ＨＵＤ１０ｅは、運転士等の乗務員の眼前に画像を表示させる表示装置である。本実施形態に係るＨＵＤ１０ｅの実装方式は特に問わない。例えば、本実施形態に係るＨＵＤ１０ｅが、車両１０の前面に設けられたフロントガラスに画像を投影するタイプのものであってもよい。また、本実施形態に係るＨＵＤ１０ｅが、乗務員の眼前に配置されたコンバイナに画像を投影するタイプのものであってもよい。本実施形態では、ＨＵＤ１０ｅによって画像が表示されることで、乗務員は、ＨＵＤ１０ｅによって表示される画像と車両１０の前方の実空間の様子の両方を一目で視認できるようになっている。ＨＵＤ１０ｅは、車両１０の前面に設けられたフロントガラスの前方の空間に浮かんだ虚像を乗務員に見せるものであってもよい。

図１に示すように、監視システム１２には、プロセッサ１２ａ、記憶部１２ｂ、通信部１２ｃ、車外撮影装置１２ｄ、ディスプレイ１２ｅ、が含まれている。

プロセッサ１２ａは、例えば記憶部１２ｂに記憶されるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。

記憶部１２ｂは、ＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部１２ｂには、プロセッサ１２ａによって実行されるプログラムなどが記憶される。

通信部１２ｃは、例えばネットワークボードなどの通信インタフェースである。

車外撮影装置１２ｄは、例えば、駅のプラットホーム等の画像を撮影するデジタルカメラなどの撮影装置である。本実施形態に係る車外撮影装置１２ｄは、所定のフレームレートで定点を撮影する。なお、車外撮影装置１２ｄが、三次元画像やデプス画像の撮影が可能なカメラ（例えばステレオカメラ）であってもよい。以下、車外撮影装置１２ｄによって撮影される画像を、車外画像と呼ぶこととする。

ディスプレイ１２ｅは、例えば、車外撮影装置１２ｄによって撮影される車外画像が表示される液晶ディスプレイや有機ＥＬディスプレイなどの表示装置である。

図２には、車外画像２０が示されている。本実施形態では、図２に示すように、車外画像２０内に、安全領域２２ａ、接近領域２２ｂ、転落領域２２ｃ、及び、保線退避領域２２ｄの４つの領域が設定される。

車外画像２０に設定される上述の４つの領域は、例えば、図３に示すように、車両限界枠モデル２４を用いて予め設定されてもよい。当該設定においては例えば、まず、車外画像２０内における線路の位置が識別される。そして、識別された線路に沿って、複数の車両限界枠モデル２４が配置される。それぞれの車両限界枠モデル２４のサイズは、例えば、当該車両限界枠モデル２４が配置される線路の幅に比例している。

そして、複数の車両限界枠モデル２４のホームとは反対側の斜め下端に相当する位置を結ぶ線、当該線の上端からホームとは反対側（図４の例では左）に伸びる線、及び、車外画像２０のホームとは反対側の辺（図４の例では左辺）によって囲まれる領域が、保線退避領域２２ｄに設定されてもよい。

そして、複数の車両限界枠モデル２４のホームとは反対側の斜め下端に相当する位置を結ぶ線、当該線の上端からホーム側（図４の例では右）に伸びる線、複数の車両限界枠モデル２４のホーム側の側構えの下端に相当する位置を結ぶ線、車外画像２０の下辺、及び、車外画像２０のホームとは反対側の辺（図４の例では左辺）によって囲まれる領域が、転落領域２２ｃに設定されてもよい。

そして、複数の車両限界枠モデル２４のホーム側の側構えの下端に相当する位置を結ぶ線、当該線の上端からホーム側（図４の例では右）に伸びる線、点字ブロック又は白線のホームとは反対側の端（図４の例では左端）、及び、車外画像２０の下辺によって囲まれる領域が、接近領域２２ｂに設定されてもよい。

そして、複数の車両限界枠モデル２４のホーム側の側構えの下端に相当する位置を結ぶ線の上端からホーム側（図４の例では右）に伸びる線、車外画像２０のホーム側の辺（図４の例では右辺）、車外画像２０の下辺、及び、点字ブロック又は白線のホームとは反対側の端（図４の例では左端）によって囲まれる領域が、安全領域２２ａに設定されてもよい。

以上のようにして、車外画像２０に、安全領域２２ａ、接近領域２２ｂ、転落領域２２ｃ、及び、保線退避領域２２ｄが設定される。なお、安全領域２２ａ、接近領域２２ｂ、転落領域２２ｃ、及び、保線退避領域２２ｄの設定は、上述の設定には限定されるものではなく、予め定められた別の方法によって、これらの４つの領域が車外画像２０に設定されてもよい。また、転落領域２２ｃが、車両限界枠モデル２４が示す車両限界枠に対して余裕をもって設定されてもよい。

上述のように、車外撮影装置１２ｄは定点を撮影するため、車外撮影装置１２ｄによって所定のフレームレートで撮影される一連の車外画像２０における上述の領域は共通となる。

以下、接近領域２２ｂ、転落領域２２ｃ、及び、保線退避領域２２ｄを含む領域を、監視対象領域と呼ぶこととする。そして、本実施形態に係る監視システム１２は、公知の画像認識技術などを用いることで、撮影された車外画像２０内の監視対象領域に写る所定の監視対象物を検出する。

図４には、図２及び図３に示す車外画像２０とは異なる車外画像である車外画像２６が示されている。図４に示す車外画像２６には、所定の監視対象物の一例である、プラットホームから転落した転落者２８が写っている。

図４に示す車外画像２６には、安全領域２２ａ、接近領域２２ｂ、及び、転落領域２２ｃが設定されている。図４に示す車外画像２６のように、車外画像２６に保線退避領域２２ｄが設定されていなくてもよい。そして、図４に示す車外画像２６の監視対象領域の一部である転落領域２２ｃ内に転落者２８が写っている。また、図４には、転落者２８の中心の位置Ｐ１が示されている。

このように監視対象領域に所定の監視対象物が写っていることが検出された際には、ディスプレイ１２ｅには、例えば、検出された監視対象物に対応する目印画像３０が図４に示す車外画像２６に重畳された、図５に例示する画像３２が表示される。

目印画像３０は、例えば、車外画像２６内における転落者２８の位置を示す画像である。図５の例では、目印画像３０は、位置Ｐ１を中心とした枠状の画像である。

また、目印画像３０は、検出された監視対象物が存在する領域の種類に対応する態様（例えば色）の画像であってもよい。例えば、検出された監視対象物が保線退避領域２２ｄに存在する場合は、目印画像３０は、紫色の枠の画像であってもよい。検出された監視対象物が転落領域２２ｃに存在する場合は、目印画像３０は、赤色の枠の画像であってもよい。検出された監視対象物が接近領域２２ｂに存在する場合は、目印画像３０は、黄色の枠の画像であってもよい。図４の例では転落者２８が転落領域２２ｃに存在するので、図５に示す目印画像３０が、例えば、赤色の枠の画像であってもよい。

図６は、監視対象領域に所定の監視対象物が写っている状況が所定の時間継続した際に、車両１０の乗務員が前方を見た様子の一例を示す図である。本実施形態では、監視対象領域に所定の監視対象物が写っている状況が所定の時間継続した際には、図６に示すように、車両１０のＨＵＤ１０ｅ内における監視対象物の位置Ｐ２に目印画像３４が表示される。

位置Ｐ２は、図４に示す位置Ｐ１に対応付けられる監視対象物の位置である。そして、図６の例では、目印画像３４は、位置Ｐ２を中心とした枠状の画像である。ここで目印画像３４の縦横比は、目印画像３０の縦横比と同じであってもよい。また、車両１０と監視対象物との間の距離が長いほど、目印画像３４の大きさが小さくなるようにしてもよい。また、目印画像３０と同様に、目印画像３４は、検出された監視対象物が存在する領域の種類に対応する態様（例えば色）の画像であってもよい。図６の例では、目印画像３４は、例えば、赤色の枠の画像であってもよい。

このように、本実施形態では、車載撮影装置１０ｄによって撮影される車載画像に転落者２８等の所定の監視対象物が写っていなくても、検出された監視対象物の位置に目印画像３４が表示される。そのため、本実施形態によれば、車載撮影装置１０ｄで認識できない監視対象物の位置を乗務員に的確に把握させることが可能となる。なお本実施形態において、監視対象領域に所定の監視対象物が写ると直ちに、ＨＵＤ１０ｅ内における監視対象物の位置Ｐ２に目印画像３４が表示されるようにしてもよい。

また、本実施形態に係る車両１０は、公知の画像認識技術などを用いることで、車載撮影装置１０ｄによって撮影された車載画像に写る所定の監視対象物を検出する。

図７は、図６に示す状況から車両１０が進行した際における、車両１０の乗務員が前方を見た様子の一例を示す図である。ここで、図７に示す状況において車載撮影装置１０ｄによって撮影される車載画像に、監視対象物である転落者２８が写っていることとする。

この状況では、図４に示す位置Ｐ１に対応付けられる位置ではなく、車載画像に基づいて検出された監視対象物の位置Ｐ３に目印画像３４が表示される。図７の例では、目印画像３４は、位置Ｐ３を中心とした枠状の画像である。

車載撮影装置１０ｄもＨＵＤ１０ｅも車両１０に対して固定されているため、車載撮影装置１０ｄの位置及び向きを基準としたＨＵＤ１０ｅの位置及び向きは、常に一定である。そして本実施形態では、車載撮影装置１０ｄの位置及び向きとＨＵＤ１０ｅの位置及び向きとが予め対応付けられている。そのため、車載画像内における監視対象物の位置に基づいて、ＨＵＤ１０ｅ内における監視対象物の位置Ｐ３は一意に特定可能である。

以上のようにすることで、車載撮影装置１０ｄによって撮影される車載画像に所定の監視対象物が写っていることが検出可能な際には、監視対象物の位置を乗務員により的確に把握させることが可能となる。

以下、本実施形態に係る車両１０及び監視システム１２の機能、並びに、本実施形態に係る車両１０で実行される処理についてさらに説明する。

図８は、本実施形態に係る車両１０及び監視システム１２で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係る車両１０及び監視システム１２で、図８に示す機能のすべてが実装される必要はなく、また、図８に示す機能以外の機能が実装されていても構わない。

図８に示すように、本実施形態に係る監視システム１２には、機能的には例えば、検出部４０、車外画像内位置特定部４２、検出通知部４４、が含まれる。検出部４０は、プロセッサ１２ａ及び車外撮影装置１２ｄを主として実装される。車外画像内位置特定部４２は、プロセッサ１２ａを主として実装される。検出通知部４４は、通信部１２ｃを主として実装される。

以上の機能は、コンピュータである監視システム１２にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ１２ａで実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して監視システム１２に搭載されたコンピュータに供給されてもよい。

また、図８に示すように、本実施形態に係る車両１０には、機能的には例えば、通知受信部５０、検出データ記憶部５２、走行経路上位置特定部５４、表示部内位置特定部５６、表示制御部５８、判定部６０、車載画像内位置特定部６２、が含まれる。通知受信部５０は、通信部１０ｃを主として実装される。検出データ記憶部５２は、記憶部１０ｂを主として実装される。走行経路上位置特定部５４は、プロセッサ１０ａ及び記憶部１０ｂを主として実装される。表示部内位置特定部５６は、プロセッサ１０ａ、記憶部１０ｂ、及び、通信部１０ｃを主として実装される。表示制御部５８は、プロセッサ１０ａ及びＨＵＤ１０ｅを主として実装される。判定部６０は、プロセッサ１０ａ及び車載撮影装置１０ｄを主として実装される。車載画像内位置特定部６２は、プロセッサ１０ａを主として実装される。

以上の機能は、車両１０に搭載されたコンピュータにインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ１０ａで実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して車両１０に搭載されたコンピュータに供給されてもよい。

検出部４０は、本実施形態では例えば、公知の画像認識技術などを用いることで、車両１０の外に設けられた車外撮影装置１２ｄにより撮影される車外画像に写る監視対象物を検出する。検出部４０は、例えば、監視対象領域に写る監視対象物を検出してもよい。

車外画像内位置特定部４２は、監視対象物が検出された車外画像内における、当該監視対象物の位置である車外画像内位置を特定する。ここでは、例えば、図４に示す車外画像２６に基づいて、当該車外画像２６の画像平面内における、監視対象物である転落者２８の中心の位置Ｐ１の二次元座標値が特定される。

検出通知部４４は、本実施形態では例えば、検出部４０によって監視対象物が検出された際に、監視対象物が検出されたことを示す検出通知を車両１０に送信する。ここで検出通知部４４は、監視対象領域に写る監視対象物が写っている状況が所定の時間継続した際に、検出通知を車両１０に送信してもよい。

また、検出通知部４４は、所定の条件を満たす車両１０に検出通知を送信してもよい。例えば、検出通知部４４は、監視システム１２が設けられている駅に向かう、当該駅からの距離が所定の距離以下である車両１０に検出通知を送信してもよい。また例えば、検出通知部４４は、監視システム１２が設けられている駅に向かう、当該駅とその手前の駅の間にある車両１０に検出通知を送信してもよい。

検出通知には、例えば、検出通知を送信する監視システム１２あるいは当該監視システム１２が設けられている駅の識別情報や、検出された監視対象物の位置を示す監視対象物位置データなどを含む検出データが関連付けられている。監視対象物位置データは、例えば、上述の位置Ｐ１の二次元座標値を示すデータであってもよい。

通知受信部５０は、本実施形態では例えば、監視対象物を検出した監視システム１２から、上述の検出通知を受信する。そして通知受信部５０は、受信した検出通知に関連付けられている検出データを検出データ記憶部５２に記憶させる。

検出データ記憶部５２は、本実施形態では例えば、検出データを記憶する。

走行経路上位置特定部５４は、本実施形態では例えば、車両１０の線状の走行経路上における監視対象物の位置（以下、走行経路上位置と呼ぶ。）を特定する。

本実施形態では例えば、走行経路上位置特定部５４には、予め、車両１０の線状の走行経路を示す走行経路データが記憶されている。走行経路データには、例えば、車両１０の線状の走行経路に沿った複数の位置の、実空間における三次元座標値が示されている。ここで当該三次元座標値は、例えば、緯度、経度、及び、標高によって表現されていてもよい。

また、本実施形態では例えば、走行経路上位置特定部５４に、予め、複数の監視システム１２のそれぞれについての車外画像・走行経路対応関係データが記憶されている。車外画像・走行経路対応関係データは、例えば、監視システム１２で撮影される車外画像内における位置と走行経路データが示す走行経路上の位置との所与の対応関係を示すデータである。

そして本実施形態では、検出データに含まれる監視対象物位置データが示す車外画像内位置、走行経路データ、及び、車外画像・走行経路対応関係データに基づいて、当該車外画像内位置に対応付けられる走行経路上の位置（上述の走行経路上位置）が特定される。

表示部内位置特定部５６は、本実施形態では例えば、車外画像内位置と、車両１０の乗務員の眼前に配置される表示部（例えばＨＵＤ１０ｅ）の位置及び向きと、に基づいて、当該表示部内における監視対象物の位置（以下、表示部内位置と呼ぶ。）を特定する。

以下、表示部内位置特定部５６による表示部内位置の特定について、図９を参照しながら説明する。

図９は、実空間に対応付けられる仮想空間の一例を示す図である。実空間内における位置は、図９に示す仮想空間内における位置と１対１で対応付けられる。当該仮想空間を示すデータは、例えば、表示部内位置特定部５６に記憶される。

本実施形態では例えば、運行管理システム１４によって、車両１０の走行経路Ｒ上における位置及び進行方向がリアルタイムで管理されている。そして、走行経路Ｒ上における車両１０の現在の位置及び進行方向を示す運行データが、例えば所定の時間間隔で運行管理システム１４から車両１０に送信される。

そして、本実施形態では例えば、表示部内位置特定部５６に、予め、運行データが示す車両１０の位置及び向きとＨＵＤ１０ｅの位置及び向きとの所与の対応関係を示す車両・ＨＵＤ対応関係データが記憶されている。そして、表示部内位置特定部５６は、車両・ＨＵＤ対応関係データと、車両１０の現在の位置及び進行方向を示す運行データと、に基づいて、現在におけるＨＵＤ１０ｅの位置及び向きを特定する。

また、本実施形態では例えば、表示部内位置特定部５６に、予め、運行データが示す車両１０の位置及び向きと乗務員の視点の位置及び視線方向との所与の対応関係を示す車両・視点対応関係データが記憶されている。そして、表示部内位置特定部５６は、車両・視点対応関係データと、車両１０の現在の位置及び進行方向を示す運行データと、に基づいて、現在における乗務員の視点の位置及び視線方向を特定する。

図９には、実空間におけるＨＵＤ１０ｅに対応付けられる板状の仮想ＨＵＤオブジェクト７０が示されている。図９に示す仮想ＨＵＤオブジェクト７０は、実空間におけるＨＵＤ１０ｅの位置に対応付けられる仮想空間における位置に、実空間におけるＨＵＤ１０ｅの向きに対応付けられる仮想空間における向きで配置される。

また、図９には、上述のようにして特定される実空間における乗務員の視点の現在の位置に対応付けられる仮想空間内における位置Ｐ４が示されている。また、図９には、上述のようにして特定される実空間における乗務員の現在の視線方向に対応付けられる仮想空間における視線方向Ｄが示されている。

また、図９には、車外画像内位置（例えば、図４に示す位置Ｐ１）に基づいて特定される実空間における走行経路上位置に対応付けられる仮想空間内の位置Ｐ５が示されている。

そして、表示部内位置特定部５６は、位置Ｐ４と位置Ｐ５とを結ぶ線と仮想ＨＵＤオブジェクト７０との交点の位置Ｐ６を特定する。ここでは例えば、板状の仮想ＨＵＤオブジェクト７０が表す平面内における位置Ｐ６の二次元座標値が特定される。

そして、表示部内位置特定部５６は、図９に示す位置Ｐ６に対応付けられる、ＨＵＤ１０ｅ内における監視対象物の位置である表示部内位置（例えば、図６に示す位置Ｐ２）を特定する。本実施形態では、仮想ＨＵＤオブジェクト７０が表す平面内における位置と表示部内位置とが１対１で予め対応付けられている。そのため、位置Ｐ６の二次元座標値に基づいて表示部内位置は特定可能である。以上で説明したように、表示部内位置特定部５６は、走行経路上位置に基づいて、表示部内位置を特定してもよい。

表示制御部５８は、本実施形態では例えば、表示部内位置特定部５６により特定される表示部内位置に目印画像３４を表示させる。ここで表示制御部５８は、所定の条件を満足する監視対象物の表示部内位置に目印画像３４を表示させてもよい。例えば、車両１０の進行方向に存在する、車両１０からの距離が所定の距離以下の監視システム１２によって検出された監視対象物の表示部内位置に目印画像３４が表示されるようにしてもよい。あるいは、車両１０の進行方向に存在する、所定数個先までの駅に設けられた監視システム１２によって検出された監視対象物の表示部内位置に目印画像３４が表示されるようにしてもよい。あるいは、車両１０が次に停車又は通過する駅に設けられた監視システム１２によって検出された監視対象物の表示部内位置に目印画像３４が表示されるようにしてもよい。

判定部６０は、本実施形態では例えば、車両１０に設けられた車載撮影装置１０ｄにより監視対象物が撮影されたか否かを判定する。ここでは、例えば、車載画像に監視対象物が写っているか否かが判定される。

車載画像内位置特定部６２は、本実施形態では例えば、車載撮影装置１０ｄにより撮影される車載画像に写る監視対象物の当該車載画像内における位置である車載画像内位置を特定する。

車載撮影装置１０ｄにより監視対象物が撮影されたことが判定部６０によって判定された場合は、表示部内位置特定部５６は、車載画像内位置に基づいて、表示部内位置を特定してもよい。そしてこの場合、表示制御部５８は、車載画像内位置に基づいて特定される表示部内位置に目印画像３４を表示させてもよい。

本実施形態では、車載画像内位置と表示部内位置とは予め対応付けられている。そのため、表示部内位置特定部５６は、車載画像内位置に基づいて、表示部内位置を一意に特定可能である。

また、本実施形態において、車載撮影装置１０ｄにより監視対象物が撮影されたことが判定されない状況から判定された状況に変化することがある。この場合に、表示部内位置特定部５６が、表示部内位置を、車外画像内位置に基づくものから、車載画像内位置に基づくものに変化させてもよい。

以下、本実施形態に係る車両１０において所定のフレームレートで繰り返し行われる処理の流れの一例を、図１０に例示するフロー図を参照しながら説明する。

まず、判定部６０が、当該フレームにおいて撮影された車載画像を取得する（Ｓ１０１）。

そして、走行経路上位置特定部５４が、検出データ記憶部５２に記憶されている検出データのうちから、所定の条件を満足するものを特定する（Ｓ１０２）。ここで例えば、検出データに含まれる識別情報に基づいて、車両１０の進行方向に存在する、車両１０からの距離が所定の距離以下の監視システム１２から送信された検出データが特定されてもよい。あるいは、検出データに含まれる識別情報に基づいて、車両１０の進行方向に存在する、所定数個先までの駅に設けられた監視システム１２から送信された検出データが特定されてもよい。あるいは、検出データに含まれる識別情報に基づいて、車両１０が次に停車又は通過する駅に設けられた監視システム１２から送信された検出データが特定されてもよい。

そして、走行経路上位置特定部５４が、Ｓ１０２に示す処理で特定された検出データに含まれる監視対象物位置データが示す車外画像内位置に対応する走行経路上位置を特定する（Ｓ１０３）。

そして、表示部内位置特定部５６が、最新の運行データに基づいて、ＨＵＤ１０ｅの現在の位置及び向き、並びに、乗務員の視点の位置及び視線方向を特定する（Ｓ１０４）。

そして、表示部内位置特定部５６が、Ｓ１０３に示す処理で特定された走行経路上位置と、Ｓ１０４に示す処理で特定されたＨＵＤ１０ｅの現在の位置及び向き、並びに、乗務員の視点の位置及び視線方向に基づいて、表示部内位置を特定する（Ｓ１０５）。

そして、判定部６０が、Ｓ１０１に示す処理で取得された車載画像内のＳ１０５に示す処理で特定された表示部内位置に応じた範囲に監視対象物が写っているか否かを判定する（Ｓ１０６）。ここでは例えば、Ｓ１０５に示す処理で特定された表示部内位置に対応する車載画像内における位置からの距離が所定の距離以下である範囲に監視対象物が写っているか否かが判定される。

Ｓ１０６に示す処理で写っていないことが判定された場合は（Ｓ１０６：Ｎ）、表示制御部５８が、Ｓ１０５に示す処理で特定された表示部内位置に目印画像３４を表示させて（Ｓ１０７）、Ｓ１０１に示す処理に戻る。

Ｓ１０６に示す処理で写っていることが判定された場合は（Ｓ１０６：Ｙ）、車載画像内位置特定部６２は、Ｓ１０６に示す処理で写っていることが判定された監視対象物の車載画像内位置を特定する（Ｓ１０８）。

そして、表示部内位置特定部５６が、Ｓ１０８に示す処理で特定された車載画像内位置に対応する表示部内位置を特定する（Ｓ１０９）。

そして、表示制御部５８が、Ｓ１０９に示す処理で特定された表示部内位置に目印画像３４を表示させて（Ｓ１１０）、Ｓ１０１に示す処理に戻る。

図１０に示す処理を実行することで、車載撮影装置１０ｄにより監視対象物が撮影されたことが判定されない状況から判定された状況に変化した際に、表示部内位置が、車外画像内位置に基づくものから、車載画像内位置に基づくものに変化することとなる。

なお図１０に示す処理において、一度、車載画像に監視対象物が写っていることが判定された以後は、当該監視対象物については、Ｓ１０２〜Ｓ１０７に示す処理が実行されないようにして、車載画像内位置に基づいて表示部内位置が特定されるようにしてもよい。

また、本実施形態において、表示制御部５８は、監視対象物の位置がＨＵＤ１０ｅの表示範囲外である場合に、図１１に示すように、監視対象物の位置に応じたＨＵＤ１０ｅの縁部に目印画像７２を表示させてもよい。

例えば、図９に示す位置Ｐ４と位置Ｐ５とを結ぶ線と仮想ＨＵＤオブジェクト７０との交点が存在しないとする。この場合は、位置Ｐ４と位置Ｐ５とを結ぶ線に最も近い、仮想ＨＵＤオブジェクト７０の辺上の位置が特定されてもよい。そして、特定された位置に対応付けられるＨＵＤ１０ｅの縁部に目印画像７２が表示されるようにしてもよい。

また、本実施形態において、図１２に示すように、目印画像３４とともに、乗務員の視界の妨げのならない場所に警告画像７４が表示されるようにしてもよい。あるいは、目印画像３４の代わりに警告画像７４が表示されるようにしてもよい。

また、本実施形態において、車外撮影装置１２ｄが三次元画像やデプス画像の撮影が可能なカメラである場合に、監視システム１２がカメラ座標系における監視対象物の三次元座標値を特定してもよい。そして、当該三次元座標値に基づいて、監視対象物の実空間内における位置や表示部内位置が特定されるようにしてもよい。なおこの場合に、当該三次元座標値を示す監視対象物位置データを含む検出データが関連付けられた検出通知が送信されるようにしてもよい。

また、車載撮影装置１０ｄが三次元画像やデプス画像の撮影が可能なカメラである場合に、車両１０がカメラ座標系における監視対象物の三次元座標値を特定してもよい。そして、当該三次元座標値に基づいて、表示部内位置が特定されるようにしてもよい。

なお、車両１０と監視システム１２の役割分担は上述のものには限定されない。例えば、監視システム１２から車両１０に車外画像が送信されるようにしてもよい。そして、車両１０が、車外画像に基づいて車外画像内位置を特定してもよい。また、監視システム１２が、走行経路上位置などの、監視対象物の実空間内における位置を特定してもよい。

また、本実施形態において、白杖を持った人物、補助犬、車いすを利用している人物、酔客等が、車外画像に写っていることが検出された際に、そのことを表す画像が車両１０のＨＵＤ１０ｅに表示されるようにしてもよい。

また、本実施形態において、踏切を監視するカメラが撮影する画像に基づいて、踏切内に支障物があるか否かが判定されてもよい。当該判定は、例えば、特殊発光信号機の動作センサの出力や特殊発光信号機の映像の認識結果に基づいて実行されてもよい。そして、踏切内に支障物があるか否かが判定された際に、そのことを表す画像が車両１０のＨＵＤ１０ｅに表示されるようにしてもよい。ここで例えば上述と同様の方法によって、当該支障物に対応付けられる表示部内位置に目印画像が表示されるようにしてもよい。

なお、本発明は上述の実施形態に限定されるものではない。

例えば、表示部内位置の特定方法は上述の方法には限定されない。例えば、車載画像に対して画像認識を実行し、車載画像に写っていない線路の位置が外挿によって推定されてもよい。そして推定された線路の位置上の表示部内位置が決定されるようにしてもよい。あるいは、過去の車両１０の走行において車載撮影装置１０ｄによって撮影された映像を学習した機械学習モデルを用いて、監視対象物の実空間内における位置や、表示部内位置が推定されるようにしてもよい。

また、例えば、車両１０の乗務員の眼前に配置される表示部が、ＨＵＤ１０ｅではなく、乗務員が装着するヘッドマウントディスプレイ（ＨＭＤ）であってもよい。そして、目印画像が、ＨＭＤに表示されるようにしてもよい。この場合、例えば、ＨＭＤに設けられた加速度センサ等の各種センサの出力に基づいてＨＭＤの位置及び向きが特定されてもよい。そして、特定されるＨＭＤの位置及び向きに基づいて、表示部内位置が特定されるようにしてもよい。

また、上述の具体的な文字列や数値、並びに、図面中の具体的な文字列は例示であり、これらの文字列や数値には限定されない。

１ 表示制御システム、１０ 車両、１０ａ プロセッサ、１０ｂ 記憶部、１０ｃ 通信部、１０ｄ 車載撮影装置、１０ｅ ヘッドアップディスプレイ（ＨＵＤ）、１２ 監視システム、１２ａ プロセッサ、１２ｂ 記憶部、１２ｃ 通信部、１２ｄ 車外撮影装置、１２ｅ ディスプレイ、１４ 運行管理システム、１６ コンピュータネットワーク、２０ 車外画像、２２ａ 安全領域、２２ｂ 接近領域、２２ｃ 転落領域、２２ｄ 保線退避領域、２４ 車両限界枠モデル、２６ 車外画像、２８ 転落者、３０ 目印画像、３２ 画像、３４ 目印画像、４０ 検出部、４２ 車外画像内位置特定部、４４ 検出通知部、５０ 通知受信部、５２ 検出データ記憶部、５４ 走行経路上位置特定部、５６ 表示部内位置特定部、５８ 表示制御部、６０ 判定部、６２ 車載画像内位置特定部、７０ 仮想ＨＵＤオブジェクト、７２ 目印画像、７４ 警告画像。

Claims (9)

1. 車両の外に設けられた車外撮影装置により撮影される車外画像に写る監視対象物の当該車外画像内における位置である車外画像内位置を特定する車外画像内位置特定手段と、
   前記車外画像内位置と、前記車両の乗務員の眼前に配置される表示部の位置及び向きと、に基づいて、当該表示部内における前記監視対象物の位置である表示部内位置を特定する表示部内位置特定手段と、
   特定される前記表示部内位置に目印画像を表示させる表示制御手段と、
   を含むことを特徴とする表示制御システム。
2. 前記車両の線状の走行経路を示す走行経路データと、前記車外画像内位置と、に基づいて、前記走行経路データが示す走行経路上における前記監視対象物の位置である走行経路上位置を特定する走行経路上位置特定手段、をさらに含み、
   前記表示部内位置特定手段は、前記走行経路上位置に基づいて、前記表示部内位置を特定する、
   ことを特徴とする請求項１に記載の表示制御システム。
3. 前記車両に設けられた車載撮影装置により前記監視対象物が撮影されたか否かを判定する判定手段と、
   前記車載撮影装置により撮影される車載画像に写る前記監視対象物の当該車載画像内における位置である車載画像内位置を特定する車載画像内位置特定手段と、をさらに含み、
   前記車載撮影装置により前記監視対象物が撮影されたことが判定された場合は、前記表示部内位置特定手段は、前記車載画像内位置に基づいて、前記表示部内位置を特定する、
   ことを特徴とする請求項１又は２に記載の表示制御システム。
4. 前記車載撮影装置により前記監視対象物が撮影されたことが判定されない状況から判定された状況に変化した際に、前記表示部内位置特定手段は、前記表示部内位置を、前記車外画像内位置に基づくものから、前記車載画像内位置に基づくものに変化させる、
   ことを特徴とする請求項３に記載の表示制御システム。
5. 前記表示制御手段は、前記監視対象物の位置が前記表示部の表示範囲外である場合に、前記監視対象物の位置に応じた前記表示部の縁部に目印画像を表示させる、
   ことを特徴とする請求項１から４のいずれか一項に記載の表示制御システム。
6. 前記表示部は、前記車両に設けられたヘッドアップディスプレイである、
   ことを特徴とする請求項１から５のいずれか一項に記載の表示制御システム。
7. 前記表示部は、前記乗務員が装着するヘッドマウントディスプレイである、
   ことを特徴とする請求項１から５のいずれか一項に記載の表示制御システム。
8. 車両の外に設けられた車外撮影装置により撮影される車外画像に写る監視対象物の当該車外画像内における位置である車外画像内位置を特定するステップと、
   前記車外画像内位置と、前記車両の乗務員の眼前に配置される表示部の位置及び向きと、に基づいて、当該表示部内における前記監視対象物の位置である表示部内位置を特定するステップと、
   特定される前記表示部内位置に目印画像を表示させるステップと、
   を含むことを特徴とする表示制御方法。
9. 車両の外に設けられた車外撮影装置により撮影される車外画像に写る監視対象物の当該車外画像内における位置である車外画像内位置を特定する手順、
   前記車外画像内位置と、前記車両の乗務員の眼前に配置される表示部の位置及び向きと、に基づいて、当該表示部内における前記監視対象物の位置である表示部内位置を特定する手順、
   特定される前記表示部内位置に目印画像を表示させる手順、
   をコンピュータに実行させることを特徴とするプログラム。

Images