JP2020140603A - 表示制御装置、表示制御方法、および表示制御プログラム - Google Patents

Abstract

【課題】移動体内の乗員に、当該移動体と進行方向に位置する対象物が衝突するか否かを、リアルに実感させる。【解決手段】表示制御部（１１１）は、移動体（１）の乗員が進行方向の景色を見るための透過面（２）に、当該移動体（１）を示す画像を表示させる。移動体（１）の進行方向の所定の範囲内に対象物が存在する場合、表示制御部（１１１）は、移動体（１）の予測進路上であって、かつ透過面（２）上における対象物の少なくとも一部と重複している状態または対象物と近接している状態で、移動体（１）を示す画像を表示させる。【選択図】図１

Description

本開示は、ＨＵＤ（Head-up Display）に自車両の画像を表示する表示制御装置、表示制御方法、および表示制御プログラムに関する。

近年、運転支援を目的としたＨＵＤを搭載した車両が増えてきている。例えば、フロントガラスに速度や最適なレーンなどを表示するＨＵＤが実用化されている。また、運転者が自車両の幅を把握しやすくなるように、自車両が走行可能な幅、タイヤの軌跡、後方から見た自車両に相当する架空の車両などを、ＨＵＤに表示させることが提案されている（例えば、特許文献１参照）。

特開２００５−７８４１４号公報

上述したようにＨＵＤに、自車両が走行可能な幅などを表示させると、運転者は現状のステアリング状態のまま進んだ場合に、進行方向に位置する障害物と衝突するか否かを客観的に判断することができる。本発明者は運転者に、進行方向に位置する障害物と衝突するか否かを、よりリアルに実感させる技術を見出した。

本開示はこうした状況に鑑みなされたものであり、その目的は、移動体の乗員に、進行方向に位置する対象物と衝突するか否かをリアルに実感させることができる技術を提供することにある。

上記課題を解決するために、本開示のある態様の表示制御装置は、移動体の乗員が進行方向の景色を見るための透過面に、当該移動体を示す画像を表示させる表示制御部を備える。前記移動体の進行方向の所定の範囲内に対象物が存在する場合、前記表示制御部は、当該移動体の予測進路上であって、かつ前記透過面上における前記対象物の少なくとも一部と重複している状態または前記対象物と近接している状態で、前記移動体を示す画像を表示させる。

なお、以上の構成要素の任意の組み合わせ、本開示の表現を方法、装置、システム、などの間で変換したものもまた、本開示の態様として有効である。

本開示によれば、移動体の乗員に、進行方向に位置する対象物と衝突するか否かを、リアルに実感させることができる。

実施の形態に係る表示制御装置を説明するための図である。 表示制御装置の初期設定時の動作を示すフローチャートである。 表示制御装置の全体動作を示すフローチャートである。 図３のマニュアルモード時の表示制御処理のサブルーチンを示すフローチャートである。 図３のオートモード時の表示制御処理のサブルーチンを示すフローチャート（その１）である。 図３のオートモード時の表示制御処理のサブルーチンを示すフローチャート（その２）である。 図７（ａ）−（ｃ）は、マニュアルモード時の自車両の画像、及び進路ガイドの投影例を示す図である。 図８（ａ）−（ｂ）は、マニュアルモード時の自車両の画像、及び進路ガイドの別の投影例を示す図である。 マニュアルモード時において、現在の操舵角を維持したまま直進した場合、対象物と衝突するケースの投影例を示す図である。 図１０（ａ）−（ｂ）は、オートモード時の投影例を説明するための図である。 図１１（ａ）−（ｂ）は、オートモード時において、対象物を回避する前後の例を示す図である。 図１２（ａ）−（ｂ）は、オートモード時において、対象物の位置と自車両の現在位置が接近した場合の問題点を説明するための図である。 図１３（ａ）−（ｂ）は、オートモード時において、対象物の位置と自車両の現在位置とが接近した場合の問題点の解決例を説明するための図である。 図１４（ａ）−（ｂ）は、オートモード時における進路ガイドＶ２の表示例を説明するための図である。

図１は、実施の形態に係る表示制御装置１０を説明するための図である。実施の形態に係る表示制御装置１０は、車両１のフロントガラス２に画像を投影するＨＵＤ２０に、表示すべき画像データを出力する装置である。フロントガラス２は、車両１内の乗員が車両１の進行方向の景色を見るための透過面である。図１に示すフロントガラス照射型のＨＵＤ２０は、映像表示部２１及び凹面鏡２２を備える。映像表示部２１及び凹面鏡２２は、インストルメントパネルに内蔵されている。

映像表示部２１は光源となるディスプレイであり、例えば、小型の液晶ディスプレイ、有機ＥＬディスプレイ、マイクロＬＥＤディスプレイを使用することができる。映像表示部２１は、表示制御装置１０から入力される画像を表示する。

凹面鏡２２は、映像表示部２１に表示される画像（実像）の光を、設定された倍率で拡大し、フロントガラス２の所定の位置に照射する。観察者（運転者）からは、映像表示部２１に表示される画像がフロントガラス２より奥側に虚像として見える。なお、映像表示部２１と凹面鏡２２との間に、光路を折り曲げるための平面鏡などの追加の光学部材が設けられてもよい。その場合、狭いスペースにおいて映像表示部２１から凹面鏡２２までの距離を長くすることができ、虚像の拡大率を調整することができる。

車両１は、自車両の周囲の状況、および自車両の状態を把握するための検知部３０を備える。例えば検知部３０として、カメラ３１、ミリ波レーダ３２、ソナー３３、及び舵角センサ３４を備える。

カメラ３１は、少なくとも車両１の前方を撮影可能な位置に設置される。カメラ３１は、固体撮像素子（例えばＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ）及び信号処理回路を備える。当該固体撮像素子は入射光を電気信号に変換し、当該信号処理回路は、当該固体撮像素子により光電変換された画像データに対してＡ／Ｄ変換、ノイズ除去などの信号処理を施して出力する。

カメラ３１は車両１の前方、後方、左右の４箇所に設置されてもよい。この場合、これら４つのカメラ３１で撮影された前方画像、後方画像、左側画像、右側画像を合成することにより俯瞰画像が生成可能となる。なお各位置に設置されるカメラ３１は単眼カメラでなく、ステレオカメラであってもよい。この場合、対象物までの距離も推定することができる。また可視光カメラに加えて赤外線カメラを設置してもよい。この場合、夜間においても車両１の周囲環境を、カメラ３１で撮影された画像をもとに把握することができる。

ミリ波レーダ３２は、車両１の周囲に電波（ミリ波）を放射して、その反射信号を受信し、受信した反射信号をもとに周囲に存在する対象物までの距離を測定する。複数のミリ波レーダ３２を設置することにより、車両１の周囲の広範囲の対象物を検出することができる。

ソナー３３は、車両１の周囲を覆うように車両１の周囲に複数設置される。ソナー３３の検知範囲はカメラ３１の撮像範囲より狭いため、カメラ３１の数より多くのソナー３３を設置することが好ましい。ソナー３３は、単眼カメラでは検出が難しい対象物までの距離を測定することができる。なお車両１の周囲環境をより詳細に把握するためにカメラ３１、ミリ波レーダ３２及びソナー３３に加えて、ＬＩＤＡＲ（Light Detection and Ranging）を搭載してもよい。

舵角センサ３４は、車両１のステアリングホイールの操舵角を検出する。その他にも、車両１内には様々なセンサが設置される。例えば、車速センサ、ＧＰＳセンサ、アクセルペダル開度センサ、ブレーキペダル開度センサ、ジャイロセンサ等が設置される。

車両１内の各種の検知部３０で検知された検知データは、車載ネットワーク（例えば、ＣＡＮ（Controller Area Network）やＬＩＮ（Local Interconnect Network））を介して、表示制御装置１０に送信される。

表示制御装置１０は、処理部１１、記憶部１２及び操作部１３を備える。処理部１１は表示制御部１１１及び判断部１１２を含む。処理部１１の機能はハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源として、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、その他のＬＳＩを利用できる。ソフトウェア資源としてファームウェア等のプログラムを利用できる。

記憶部１２は、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、フラッシュメモリ等の不揮発性の記録媒体を含み、各種のプログラム及びデータを記憶する。また記憶部１２は補助記憶部として、半導体メモリカード等の記録媒体が装着可能な構成であってもよい。操作部１３は、物理的なボタンやタッチパネル等を含み、ユーザ（車両１の乗員）の操作に応じた信号を処理部１１に出力する。

本実施の形態では、記憶部１２は車両画像保持部１２１を含む。車両画像保持部１２１は、市販されている各種車両を、後方から見たときの画像データを保持する。車両の画像データは、３６０度視点に対応した３Ｄ画像データであることが好ましい。少なくとも後方からの１８０度視点に対応した３Ｄ画像データであることが好ましい。車両の画像データは、ＣＧ画像であってもよいし、実写画像であってもよい。

なお表示制御装置１０が特定の車両１のみに搭載される純正品の場合、車両画像保持部１２１は、当該車両１の画像データのみを保持していればよい。表示制御装置１０が様々な車両１に搭載され得る汎用品の場合、市販されている各種車両の画像データを保持している必要がある。

処理部１１の判断部１１２は、車両１内のＥＣＵ（Electronic Control Unit）４０から車種情報を取得することができる。また判断部１１２は、車両１内のカーナビゲーションシステム５０と連携して、地図データと自車両のルート設定情報を取得することができる。以下、フローチャートを参照しながら表示制御装置１０の動作を説明する。

図２は、表示制御装置１０の初期設定時の動作を示すフローチャートである。表示制御装置１０の処理部１１は、ＥＣＵ４０から車種情報を取得する（Ｓ１）。処理部１１は、取得した車種情報をもとに車両画像保持部１２１内を探索して、フロントガラス２に表示すべき、自車両の画像を決定する（Ｓ２）。

図３は、表示制御装置１０の全体動作を示すフローチャートである。処理部１１は、自車両の画像の表示機能がオンに設定されているかオフに設定されているか判定する（Ｓ１０）。当該表示機能のオン／オフは、例えば、車両１の乗員（主に運転者）による操作部１３に対する操作に基づき決定される。また当該表示機能のオン／オフは、処理部１１が自動的に決定してもよい。例えば処理部１１は、カーナビゲーションシステム５０から取得した地図データをもとに、自車両が現在走行している道路が高速道路または幹線道路であるか否か判定し、高速道路または幹線道路である場合は当該表示機能をオフに設定し、高速道路または幹線道路でない場合は当該表示機能をオンに設定してもよい。また自車両が現在走行している道路の道幅が取得できる場合、処理部１１は、道幅が所定値以上の道路である場合は当該表示機能をオフに設定し、道幅が所定値未満の道路である場合は当該表示機能をオンに設定してもよい。

自車両の画像の表示機能がオンに設定されている場合（Ｓ１０のＹ）、処理部１１は、マニュアルモードに設定されているか、オートモードに設定されているか判定する（Ｓ２０）。マニュアルモードは、ＨＵＤ２０に虚像として表示される自車両の画像が常に、自車両の現在位置から同じ距離に保たれるモードである。即ち、自車両の実際の現在位置と、自車両の画像の仮想的な表示位置との距離が常に一定に保たれるモードである。当該距離は乗員により設定される。当該距離の設定方法は、数値で指定するものであってもよいし、複数の候補（例えば、「近」、「中」、「遠」）から選択するものであってもよい。また乗員は適宜、当該距離の設定を変更可能である。乗員により指定されない場合、デフォルト値が使用される。

オートモードは、自車両の進行方向の所定の範囲内に、障害物となる対象物が存在する場合、自車両の予測進路上であって、フロントガラス２における当該対象物の少なくとも一部と重複している状態または当該対象物と近接している状態で、自車両の画像を表示させるモードである。オートモードでは、フロントガラス２における当該対象物の位置の変化に応じて、自車両の画像の表示位置も適応的に変化する。より具体的には、フロントガラス２における当該対象物の位置と衝突または最接近した状態の自車両の画像を仮想的に表示し続ける。本明細書では、衝突は接触を含む概念とする。

なお、自車両の進行方向の所定の範囲内に対象物が存在しない場合、オートモードでもマニュアルモードと同様に、自車両の実際の現在位置と、自車両の画像の仮想的な表示位置との距離が常に一定に保たれるように自車両の画像が表示される。

処理部１１は、マニュアルモードに設定されている場合（Ｓ２０のＭ）、マニュアルモード時の表示制御処理を実行し（Ｓ３０）、オートモードに設定されている場合（Ｓ２０のＡ）、オートモード時の表示制御処理を実行する（Ｓ４０）。

図４は、図３のマニュアルモード時の表示制御処理のサブルーチンを示すフローチャートである。処理部１１の表示制御部１１１は、自車両の画像の表示サイズを、上述した設定された距離に応じたサイズに調整する（Ｓ３１）。表示制御部１１１は、運転者の想定される視点ＥＰの位置と当該設定された距離をもとに、自車両が実際に当該設定された距離前方に存在した場合に運転者に見える自車両のサイズを算出する。表示制御部１１１は、算出したサイズに、自車両の画像データの縮尺を変更する。なお、縮尺の変更は幅方向に対してのみ行ってもよい。

判断部１１２は、舵角センサ３４から舵角情報を取得する（Ｓ３２）。判断部１１２は、舵角情報をもとにタイヤの向きを特定し、特定した現在のタイヤの向きから自車両の予測進路を推定する（Ｓ３３）。

表示制御部１１１は、運転者から見て自車両の現在位置から、現在の操舵角の状態を維持したまま当該設定された距離進んだ位置に、自車両の画像を虚像として表示させる（Ｓ３４）。表示制御部１１１は、運転者から見て自車両の現在位置から、自車両の画像の表示位置までの間に、進路ガイドを虚像として表示させる（Ｓ３５）。進路ガイドは、自車両の車幅に対応する幅を持つガイド線で規定されることが好ましい。

判断部１１２は、カメラ３１、ミリ波レーダ３２及びソナー３３の少なくとも１つから取得した検知データをもとに、自車両の進行方向の所定の範囲内に対象物が存在するか否か判定する（Ｓ３６）。自車両の進行方向の所定の範囲は、例えば、上記予測進路を幅方向に左右それぞれ所定の距離拡大した範囲であってもよい。また自車両が走行中の車両通行帯の車道外側線と車両通行帯境界線の位置を検知できる場合、自車両の進行方向の所定の範囲は、車道外側線と車両通行帯境界線の間の領域を、幅方向に左右それぞれ所定の距離拡大した範囲であってもよい。なお、車道と歩道の間にガードレールや防護柵が検知される場合、ガードレールや防護柵の外側は、対象物の探索範囲から除外してもよい。

自車両の進行方向の所定の範囲内に対象物が検知された場合（Ｓ３６のＹ）、判断部１１２は自車両が現在の操舵角の状態を維持したまま進むと、対象物に衝突するか否か判断する（Ｓ３７）。例えば、対象物の少なくとも一部が自車両の予測進路上の領域に含まれる場合、対象物に衝突すると判断することができる。対象物に衝突すると判断した場合（Ｓ３７のＹ）、表示制御部１１１は、自車両の画像の、対象物と衝突する部分に対応する領域を強調した表示態様に変更する（Ｓ３８）。例えば、衝突する部分に対応する領域の表示色を目立つ色（赤色など）に変更する。また衝突する部分に対応する領域の色の濃さを他の領域より濃くしてもよい。また衝突する部分に対応する領域を点滅させてもよい。また表示制御部１１１は、上記進路ガイドの、対象物と衝突する位置に対応する領域を強調した表示態様に変更してもよい。例えば、衝突する位置に対応する領域の表示色を目立つ色（赤色など）に変更する。

ステップＳ３７において、自車両が現在の操舵角の状態を維持したまま進んでも対象物に衝突しないと判断した場合（Ｓ３７のＮ）、ステップＳ３８の処理はスキップされる。またステップＳ３６において、自車両の進行方向の所定の範囲内に対象物が検知されない場合（Ｓ３６のＮ）、ステップＳ３７及びステップＳ３８の処理はスキップされる。

図５は、図３のオートモード時の表示制御処理のサブルーチンを示すフローチャート（その１）である。図６は、図３のオートモード時の表示制御処理のサブルーチンを示すフローチャート（その２）である。表示制御部１１１は、自車両の画像の当初の表示サイズを、上述した設定された距離に応じたサイズに調整する（Ｓ４１）。

判断部１１２は、舵角センサ３４から舵角情報を取得する（Ｓ４２）。判断部１１２は、舵角情報をもとにタイヤの向きを特定し、特定した現在のタイヤの向きから自車両の予測進路を推定する（Ｓ４３）。

表示制御部１１１は、運転者から見て自車両の現在位置から、現在の操舵角の状態を維持したまま当該設定された距離進んだ位置に、自車両の画像を虚像として表示させる（Ｓ４４）。表示制御部１１１は、運転者から見て自車両の現在位置から、自車両の画像の表示位置までの間に、進路ガイドを虚像として表示させる（Ｓ４５）。

判断部１１２は、カメラ３１、ミリ波レーダ３２及びソナー３３の少なくとも１つから取得した検知データをもとに、自車両の進行方向の所定の範囲内に対象物が存在するか否か判定する（Ｓ４６）。自車両の進行方向の所定の範囲内に対象物が検知された場合（Ｓ４６のＹ）、判断部１１２は、自車両の現在位置から対象物までの距離を推定する（Ｓ４７）。なお、自車両の進行方向の所定の範囲内に複数の対象物が検知された場合、自車両の現在位置に最も近い位置の対象物までの距離を推定する。

表示制御部１１１は、自車両の画像の表示サイズを、判断部１１２により推定された対象物までの距離に応じたサイズに変更する（Ｓ４８）。表示制御部１１１は、運転者から見て自車両の現在位置から、現在の操舵角の状態を維持したまま当該推定された距離進んだ位置に、自車両の画像を虚像として表示させる（Ｓ４９）。表示制御部１１１は、運転者から見て自車両の現在位置から、自車両の画像の表示位置までの間に、進路ガイドを虚像として表示させる（Ｓ４１０）。

判断部１１２は自車両が現在の操舵角の状態を維持したまま進むと、対象物に衝突するか否か判断する（Ｓ４１１）。対象物に衝突すると判断した場合（Ｓ４１１のＹ）、表示制御部１１１は、自車両の画像の、対象物と衝突する部分に対応する領域を強調した表示態様に変更する（Ｓ４１２）。例えば、衝突する部分に対応する領域の表示色を目立つ色（赤色など）に変更する。ステップＳ４１６に遷移する。

ステップＳ４１１において、自車両が現在の操舵角の状態を維持したまま進んでも対象物に衝突しないと判断した場合（Ｓ４１１のＮ）、判断部１１２は、対象物と予測進路上において自車両が横に並んだときの両者の距離を算出する（Ｓ４１３）。判断部１１２は、算出した両者の距離と所定の第１閾値（例えば、１．０〜１．５ｍの範囲内の値）を比較する（Ｓ４１４）。両者の距離が第１閾値以下の場合（Ｓ４１４のＹ）、表示制御部１１１は、両者の距離を示す数値情報を、両者が接近する領域の中または近傍に虚像として表示させる（Ｓ４１５）。両者の距離が第１閾値を超える場合（Ｓ４１４のＮ）、ステップＳ４１５の処理はスキップされる。

判断部１１２は、対象物と自車両の現在位置との距離を算出する（Ｓ４１６）。判断部１１２は、算出した両者の距離と所定の第２閾値を比較する（Ｓ４１７）。両者の距離が第２閾値以下の場合（Ｓ４１７のＹ）、表示制御部１１１は、自車両の画像を消去する（Ｓ４１８）。第２閾値は、予め実行された実験やシミュレーションの結果にもとづき、最適なユーザインタフェースとなる距離に設定される。

自車両が現在の操舵角の状態を維持したまま進むと対象物に衝突する場合（Ｓ４１９のＹ）、表示制御部１１１は、対象物との衝突を警告する警告画像を虚像として表示させる（Ｓ４２０）。例えば、対象物の自車両と衝突する部分に対応する領域に、警告画像を重畳して表示させてもよい。

対象物と予測進路上において自車両が横に並んだときの両者の距離が第１閾値以下の場合（Ｓ４１９のＮ、Ｓ４２１のＹ）、表示制御部１１１は、両者の距離を示す数値情報を、対象物に関連付けて虚像として表示させる（Ｓ４２２）。両者の距離が第１閾値を超える場合（Ｓ４１９のＮ、Ｓ４２１のＮ）、ステップＳ４２０及びステップＳ４２２の処理はスキップされる。

ステップＳ４１７において、対象物と自車両の現在位置との距離が第２閾値を超える場合（Ｓ４１７のＮ）、ステップＳ４１８からステップＳ４２２までの処理はスキップされる。またステップＳ４６において、自車両の進行方向の所定の範囲内に対象物が検知されない場合（Ｓ４６のＮ）、ステップＳ４７からステップＳ４２２までの処理はスキップされる。

以下、フロントガラス２への自車両の画像、及び進路ガイドの投影例を、図面を参照しながら説明する。

図７（ａ）−（ｃ）は、マニュアルモード時の自車両の画像、及び進路ガイドの投影例を示す図である。図７（ａ）は、現在の操舵角を維持したまま直進しても安全と判断できるケースを示している。マニュアルモード時は、設定された距離前方に自車両の画像Ｖ１が虚像として表示される。自車両の画像Ｖ１の仮想的な表示位置と自車両の現在位置との間に、進路ガイドＶ２が虚像として表示される。現在の操舵角を維持したまま直進した場合でも、運転者は、対象物となる自転車Ｏ１と自車両が衝突しないことを直感的に把握することができる。

図７（ｂ）は、現在の操舵角を維持したまま直進した場合、対象物となる自転車Ｏ１と衝突する危険があると判断できるケースを示している。運転者は、前方を走る自転車Ｏ１と自車両が衝突する可能性があることを直感的に把握することができる。

図７（ｃ）は、図７（ａ）と比較して、自車両の画像Ｖ１の仮想的な表示位置を遠距離に設定したケースを示している。このように運転者は、自身の好みに応じて、自車両の画像Ｖ１の仮想的な表示位置を変更することができる。

図８（ａ）−（ｂ）は、マニュアルモード時の自車両の画像、及び進路ガイドの別の投影例を示す図である。図８（ａ）は、前方の対象物であるバスＯ２との衝突を回避するために、運転者がステアリングを右に切った状態を示している。ステアリングの位置が変わることにより、舵角センサ３４から取得する舵角情報の値が変化する。これに伴い進路ガイドＶ２の形状、及び自転車の画像Ｖ１の向きと表示位置が変化する。

図８（ｂ）は、現在の操舵角を維持したまま直進した場合のケースを示している。そのまま直進した場合、運転者は、前方の対象物であるバスＯ２と自車両が衝突することを直感的に把握することができる。

図９は、マニュアルモード時において、現在の操舵角を維持したまま直進した場合、対象物と衝突するケースの投影例を示す図である。自車両の画像Ｖ１の、前方の自転車Ｏ１と衝突する部分に対応する領域Ｖ１ｐが強調して表示されている。例えば、その領域Ｖ１ｐが赤色で表示される。また、進路ガイドＶ２の、前方の自転車Ｏ１と衝突する位置に対応する領域Ｖｐ２が強調して表示されている。例えば、その領域Ｖ２ｐが赤色で表示される。

図１０（ａ）−（ｂ）は、オートモード時の投影例を説明するための図である。図１０（ａ）は、運転者の視線から見た実際のフロントガラス２への投影例を示し、図１０（ｂ）は、図１０（ａ）に示す状況を真上から見た説明図であり、実際に表示されるものではない。オートモードでは、対象物が検知されると、対象物と横に並んだ位置に自車両の画像が表示される。図１０（ａ）に示す例では、前方の自転車Ｏ１と横に並んだ位置に自車両の画像Ｖ１が表示される。なお、自車両の画像Ｖ１が表示される位置は、予測進路上の範囲に限られる。

前方の自転車Ｏ１と自車両の画像Ｖ１が横に並んだ状態の両者の距離が第１閾値以下の場合、両者の距離を示す数値情報Ｖ３が虚像として表示される。図１０（ａ）に示す例では、前方の自転車Ｏ１と自車両の画像Ｖ１との距離が５０ｃｍの場合を示している。数値情報Ｖ３は、両者が接近している領域の中または近傍に表示することが好ましい。

図１０（ｂ）において符号Ｖ１は、図１０（ａ）における自車両の画像Ｖ１の仮想的な表示位置を示している。当該仮想的な表示位置と、実際の自車両Ｒ１の現在位置との間に進路ガイドＶ２が表示される。進路ガイドＶ２は、実際の自車両Ｒ１の幅と同じ幅のガイド線で表示されることが好ましい。図１０（ｂ）に示すガイド線は、隙間が空いた不連続な線であるが、隙間のない連続線でもよい。

図１１（ａ）−（ｂ）は、オートモード時において、対象物を回避する前後の例を示す図である。図１１（ａ）−（ｂ）は、ある状況を真上から見た説明図であり、実際に表示されるものではない。図１１（ａ）において、歩道にいる歩行者Ｏ３は対象物の検知範囲から外れており、対象物としてカウントされていない。前方の自転車Ｏ１は対象物の検知範囲に含まれており、対象物としてカウントされている。前方の自転車Ｏ１の一部と重複した位置に自車両の画像Ｖ１が虚像として表示される。これにより、運転者は、前方の自転車Ｏ１を回避するためにステアリングを切る必要があることを直感的に把握することができる。なお、前方の自転車Ｏ１が、自車両の予測進路上の領域に含まれない場合は、前方の自転車Ｏ１と横に並んだ位置に自車両の画像Ｖ１が表示される。

図１１（ｂ）は、図１１（ａ）の自転車Ｏ１を回避した後の状況を示している。前方に先行車両Ｏ４が存在し、前方の先行車両Ｏ４は対象物の検知範囲に含まれるため、前方の先行車両Ｏ４の一部と重複した位置に自車両の画像Ｖ１が虚像として表示される。このようにオートモードでは、前方の最も近い対象物との距離が計測され、自車両の画像Ｖ１の表示位置が自動的に調整される。

図１２（ａ）−（ｂ）は、オートモード時において、対象物の位置と自車両の現在位置が接近した場合の問題点を説明するための図である。図１２（ａ）は、対象物となる電柱Ｏ５と、実際の自車両Ｒ１が接近している状況を真上から見た説明図であり、実際に表示されるものではない。図１２（ｂ）は図１２（ａ）に示す状況において、運転者の視線から見た実際のフロントガラス２への投影例を示している。この場合、自車両の画像Ｖ１が大きくなり過ぎて、電柱Ｏ５が見づらくなっている。

図１３（ａ）−（ｂ）は、オートモード時において、対象物の位置と自車両の現在位置とが接近した場合の問題点の解決例を説明するための図である。対象物の位置と自車両の現在位置との距離が第２閾値以下になると、自車両の画像Ｖ１の投影を中止する。これにより、自車両の画像Ｖ１が邪魔になって、対象物が見づらくなることを回避することができる。

図１３（ａ）は、現在の操舵角の状態を維持したまま進むと電柱Ｏ５と衝突する場合の例を示している。図１３（ａ）に示す例では、電柱Ｏ５との衝突を警告する警告画像が表示されており、より具体的には、電柱Ｏ５の自車両と衝突する部分に対応する領域Ｏ５ｐに、警告用のマーカが重畳されている。当該マーカは目立ちやすい色（赤など）で表示される。

図１３（ｂ）は、現在の操舵角の状態を維持したまま進んでも電柱Ｏ５と衝突しないが、電柱Ｏ５と自車両が横に並んだときの両者の距離が第１閾値以下の場合の例を示している。図１３（ｂ）に示す例では、電柱Ｏ５と自車両が横に並んだときの両者の距離を示す数値情報が、電柱Ｏ５に関連付けて虚像として表示されている。運転者は、電柱Ｏ５の横を通過するときの幅間隔を具体的な数値で把握することができる。

図１４（ａ）−（ｂ）は、オートモード時における進路ガイドＶ２の表示例を説明するための図である。図１４（ａ）において、前方の電柱Ｏ５の一部と重複した位置に自車両の画像Ｖ１が表示される。自車両の画像Ｖ１の仮想的な表示位置と、実際の自車両Ｒ１の現在位置との間に進路ガイドＶ２が表示される。

図１４（ｂ）は、図１４（ａ）に示す状況から、実際の自車両Ｒ１が前進した状況を示している。前方の電柱Ｏ５は固定されており、自車両の画像Ｖ１は電柱Ｏ５の一部と重複した位置に表示され続けるため、自車両の画像Ｖ１の仮想的な表示位置と実際の自車両Ｒ１の現在位置との距離が近づいていく。その際、進路ガイドＶ２としのガイド線を、運転者から見て、手前から消えていくように表示する。この場合、運転者は前方の電柱Ｏ５との距離感を把握しやすくなる。

以上説明したように本実施の形態によれば、運転者に自車両の車幅を直感的に把握させることができ、進行方向に位置する対象物と衝突するか否かをリアルに実感させることができる。特にオートモードでは、自車両の画像を、対象物の少なくとも一部と重複している状態または対象物と横に並んだ状態で表示させる。また対象物の少なくとも一部と重複している場合、衝突する箇所を強調して表示させる。これにより、自車両のどの部分が衝突する可能性があるかを運転者はリアルに把握することができる。また、ステアリングの操作に追従して進路ガイドと自車両の画像が変化するため、運転者は、どれぐらいステアリングを切れば、衝突を回避できるかをリアルに把握することができる。

また対象物と横に並んだ状態の両者の距離が第１閾値以下の場合、両者の距離を数値情報で表示させる。これにより、運転者は対象物の横を通過する際、どれぐらいの間隔で並ぶかを事前に客観的に把握することができ、安心して対象物の横を通過することができる。

また対象物と自車両との距離が短くなったとき、自車両の画像を消去することにより、運転者の対象物に対する視認性を確保することができる。

以上、本開示を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素または各処理プロセスの組み合わせに、いろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。

上述した実施の形態では、車両１内の乗員が車両１のフロントガラス２に、自車両を示す画像Ｖ１を虚像として表示させる例を説明した。この点、車両１は移動体の一例であり、二輪車（バイクを含む）、船舶、列車、飛行機などのフロントガラスに、自己を示す画像を虚像として表示させてもよい。

また自己を示す画像は、移動体のフロントガラスではなく、フロントガラスと重畳した位置に設置された透明のコンバイナに投影されてもよい。その場合、コンバイナは、乗員が進行方向の景色を見るための透過面の一部をなす。この場合も、移動体の乗員は、当該移動体の進行方向の景色と、自己を示す画像を同一の視野内で重畳された状態で見ることができる。

上述した実施の形態において対象物も移動体の場合、判断部１１２は、対象物の動きベクトルを画像処理等を用いて検出してもよい。判断部１１２は、車速センサ（不図示）から取得する自車両の速度情報と、舵角センサ３４から取得する自車両の操舵角情報をもとに、自車両の予測進路を到達時間を含めて推定する。判断部１１２は、対象物の動きベクトルと自車両の到達時間を含む予測進路をもとに、両者が衝突する場合の位置と時刻を予測する。表示制御部１１１は、両者の衝突予測時における衝突予測位置に、自車両の画像と対象物の画像の両方を虚像として表示させる。

なお、実施の形態は、以下の項目によって特定されてもよい。

［項目１］
移動体（１）の乗員が進行方向の景色を見るための透過面（２）に、当該移動体（１）を示す画像（Ｖ１）を表示させる表示制御部（１１１）を備え、
前記移動体（１）の進行方向の所定の範囲内に対象物（Ｏ１）が存在する場合、前記表示制御部（１１１）は、当該移動体（１）の予測進路上であって、かつ前記透過面（２）上における前記対象物（Ｏ１）の少なくとも一部と重複している状態または前記対象物（Ｏ１）と近接している状態で、前記移動体（１）を示す画像（Ｖ１）を表示させる、表示制御装置（１０）。
これによれば、移動体（１）の乗員に、進行方向に位置する対象物（Ｏ１）と衝突するか否かをリアルに実感させることができる。
［項目２］
前記表示制御部（１１１）は、前記透過面（２）上における前記対象物（Ｏ１）の位置の変化に応じて、前記移動体（１）を示す画像（Ｖ１）の表示位置を適応的に変化させ、前記移動体（１）の現在位置と前記移動体（１）を示す画像（Ｖ１）の仮想的な表示位置との距離に応じて、前記移動体（１）を示す画像（Ｖ１）のサイズを適応的に変更する、項目１に記載の表示制御装置（１０）。
これによれば、移動体（１）の乗員に、移動体（１）の幅の感覚をリアルに把握させることができる。
［項目３］
前記対象物（Ｏ１）の少なくとも一部が前記移動体（１）の予測進路上の領域に含まれる場合、前記表示制御部（１１１）は、前記移動体（１）を示す画像（Ｖ１）の、前記対象物（Ｏ１）と衝突する部分に対応する領域を強調した表示態様に変更する、項目１または２に記載の表示制御装置（１０）。
これによれば、移動体（１）の乗員に、対象物と衝突する箇所をリアルに実感させることができる。
［項目４］
前記対象物（Ｏ１）と前記予測進路上において前記移動体（１）が横に並んだときの両者の距離が所定の第１閾値以下の場合、前記表示制御部（１１１）は、前記両者の距離を示す数値情報を、前記透過面（２）に表示させる、項目１から３のいずれかに１項に記載の表示制御装置（１０）。
これによれば、移動体（１）の乗員に、移動体（１）が対象物（Ｏ１）の横を通過する際の両者の幅間隔をリアルに実感させることができる。
［項目５］
前記移動体（１）の進行方向の所定の範囲内に対象物（Ｏ１）が存在する場合において、前記対象物（Ｏ１）と前記移動体（１）の現在位置との距離が所定の第２閾値以下となった場合、前記表示制御部（１１１）は、前記移動体（１）を示す画像（Ｖ１）を前記透過面（２）に表示させずに、前記対象物（Ｏ１）との衝突を警告する警告画像、または前記対象物（Ｏ１）と前記予測進路上において前記移動体（１）が横に並んだときの両者の距離を示す数値情報を前記透過面（２）に表示させる、項目１から４のいずれか１項に記載の表示制御装置（１０）。
これによれば、移動体（１）を示す画像（Ｖ１）が大きくなり過ぎて、対象物（Ｏ１）が見づらくなることを回避することができる。
［項目６］
前記移動体（１）の予測進路は、前記移動体（１）の操舵角情報をもとに生成される、項目１から５のいずれか１項に記載の表示制御装置（１０）。
これによれば、移動体（１）の進路を高精度に予測することができる。
［項目７］
前記移動体（１）は車両（１）であり、
前記透過面（２）は前記車両（１）のフロントガラス（２）であり、
前記移動体（１）の画像（Ｖ１）は、前記車両（１）を後方から見たときの画像（Ｖ１）である、項目１から６のいずれか１項に記載の表示制御装置（１０）。
これによれば、車両（１）内の乗員に、進行方向に位置する対象物（Ｏ１）と衝突するか否かをリアルに実感させることができる。
［項目８］
移動体（１）の乗員が進行方向の景色を見るための透過面（２）に、当該移動体（１）を示す画像を表示させるステップを有し、
前記移動体（１）の進行方向の所定の範囲内に対象物（Ｏ１）が存在する場合、前記表示させるステップは、当該移動体（１）の予測進路上であって、かつ前記透過面（２）上における前記対象物（Ｏ１）の少なくとも一部と重複している状態または前記対象物（Ｏ１）と近接している状態で、前記移動体（１）を示す画像を表示させる、表示制御方法。
これによれば、移動体（１）の乗員に、進行方向に位置する対象物（Ｏ１）と衝突するか否かをリアルに実感させることができる。
［項目９］
移動体（１）の乗員が進行方向の景色を見るための透過面（２）に、当該移動体（１）を示す画像を表示させる処理をコンピュータに実行させ、
前記移動体（１）の進行方向の所定の範囲内に対象物（Ｏ１）が存在する場合、前記表示させる処理は、当該移動体（１）の予測進路上であって、かつ前記透過面（２）上における前記対象物（Ｏ１）の少なくとも一部と重複している状態または前記対象物（Ｏ１）と近接している状態で、前記移動体（１）を示す画像を表示させる、表示制御プログラム。
これによれば、移動体（１）の乗員に、進行方向に位置する対象物（Ｏ１）と衝突するか否かをリアルに実感させることができる。

１ 車両、 ２ フロントガラス、 １０ 表示制御装置、 １１ 処理部、 １１１ 表示制御部、 １１２ 判断部、 １２ 記憶部、 １２１ 車両画像保持部、 １３ 操作部、 ２０ ＨＵＤ、 ２１ 映像表示部、 ２２ 凹面鏡、 ３０ 検知部、 ３１ カメラ、 ３２ ミリ波レーダ、 ３３ ソナー、 ３４ 舵角センサ、 ４０ ＥＣＵ、 ５０ カーナビゲーションシステム。

Claims (9)

1. 移動体の乗員が進行方向の景色を見るための透過面に、当該移動体を示す画像を表示させる表示制御部を備え、
   前記移動体の進行方向の所定の範囲内に対象物が存在する場合、前記表示制御部は、当該移動体の予測進路上であって、かつ前記透過面上における前記対象物の少なくとも一部と重複している状態または前記対象物と近接している状態で、前記移動体を示す画像を表示させる、表示制御装置。
2. 前記表示制御部は、前記透過面上における前記対象物の位置の変化に応じて、前記移動体を示す画像の表示位置を適応的に変化させ、前記移動体の現在位置と前記移動体を示す画像の仮想的な表示位置との距離に応じて、前記移動体を示す画像のサイズを適応的に変更する、請求項１に記載の表示制御装置。
3. 前記対象物の少なくとも一部が前記移動体の予測進路上の領域に含まれる場合、前記表示制御部は、前記移動体を示す画像の、前記対象物と衝突する部分に対応する領域を強調した表示態様に変更する、請求項１または２に記載の表示制御装置。
4. 前記対象物と前記予測進路上において前記移動体が横に並んだときの両者の距離が所定の第１閾値以下の場合、前記表示制御部は、前記両者の距離を示す数値情報を、前記透過面に表示させる、請求項１から３のいずれかに１項に記載の表示制御装置。
5. 前記移動体の進行方向の所定の範囲内に対象物が存在する場合において、前記対象物と前記移動体の現在位置との距離が所定の第２閾値以下となった場合、前記表示制御部は、前記移動体を示す画像を前記透過面に表示させずに、前記対象物との衝突を警告する警告画像、または前記対象物と前記予測進路上において前記移動体が横に並んだときの両者の距離を示す数値情報を前記透過面に表示させる、請求項１から４のいずれか１項に記載の表示制御装置。
6. 前記移動体の予測進路は、前記移動体の操舵角情報をもとに生成される、請求項１から５のいずれか１項に記載の表示制御装置。
7. 前記移動体は車両であり、
   前記透過面は前記車両のフロントガラスであり、
   前記移動体の画像は、前記車両を後方から見たときの画像である、請求項１から６のいずれか１項に記載の表示制御装置。
8. 移動体の乗員が進行方向の景色を見るための透過面に、当該移動体を示す画像を表示させるステップを有し、
   前記移動体の進行方向の所定の範囲内に対象物が存在する場合、前記表示させるステップは、当該移動体の予測進路上であって、かつ前記透過面上における前記対象物の少なくとも一部と重複している状態または前記対象物と近接している状態で、前記移動体を示す画像を表示させる、表示制御方法。
9. 移動体の乗員が進行方向の景色を見るための透過面に、当該移動体を示す画像を表示させる処理をコンピュータに実行させ、
   前記移動体の進行方向の所定の範囲内に対象物が存在する場合、前記表示させる処理は、当該移動体の予測進路上であって、かつ前記透過面上における前記対象物の少なくとも一部と重複している状態または前記対象物と近接している状態で、前記移動体を示す画像を表示させる、表示制御プログラム。

Images