JP2020040617A - 重畳画像表示装置及びコンピュータプログラム - Google Patents

Abstract

【課題】複数の画像が重複することを防止し、車両の乗員に複数の画像を継続して明確に視認させることを可能にした重畳画像表示装置及びコンピュータプログラムを提供する。【解決手段】車両から視認される周辺環境の変化に連動して表示位置が変化する第１案内画像５６と、車両から視認される周辺環境の変化に表示位置が連動しない第２案内画像５７と、を車両周辺の周辺環境に重畳して視認させる場合において、第１案内画像５６と第２案内画像５７が重複することが予測される場合に、第１案内画像５６と第２案内画像５７が重複する前に第１案内画像５６と重複しない態様へと第２案内画像５７の表示態様を変更するように構成する。【選択図】図８

Description

本発明は、車両の走行支援を行う重畳画像表示装置及びコンピュータプログラムに関する。

従来より、車両の乗員に対して経路案内や障害物の警告等の車両の走行支援を行う為の各種情報を提供する情報提供手段として、様々な手段が用いられている。例えば、車両に設置された液晶ディスプレイによる表示や、スピーカから出力する音声等である。そして、近年、このような情報提供手段の一つとして、ヘッドアップディスプレイ（以下、ＨＵＤという）やウインドウシールドディスプレイ（以下、ＷＳＤという）のように車両の周辺環境（風景、実景）に重畳する画像を表示することによって、情報の提供を行う装置がある。

例えば、特開２００５−２０１６３５号公報には、車両のフロントガラスに対して画像を表示する手段を備え、案内経路に沿った車両の進行方向を示す矢印の画像をフロントガラスに対して表示する際に、車両の乗員に車両前方の道路に重畳して矢印を視認させる為の表示位置を３次元地図情報に基づいて算出し、算出された表示位置に対して矢印の画像を表示する技術について開示されている。

特開２００５−２０１６３５号公報（第６−８頁）

ここで、車両の周辺環境に重畳して視認させる画像によって車両の乗員に提供する情報としては様々な情報がある。例えば上記特許文献１のような車両の進行方向を示す矢印の画像以外に、車両周辺にある他車両や歩行者に対する警告画像や車両に関する情報（例えば現在車速）を案内する画像等を表示対象とする。

また、各画像の表示位置は画像毎の条件に基づいて決定される。例えば車両の進行方向を示す矢印の画像は車両の乗員から視認される前方の道路に対して重畳する位置に表示され、警告画像は車両の乗員から視認される他車両や歩行者に対して重畳する位置に表示され、車両に関する情報を案内する画像は周辺環境に関わらず固定位置（例えばフロントガラスの下縁中央付近）に表示される。従って、複数の画像を同時に表示する場合では、特定の状況において複数の画像が重複して表示される問題があった。

本発明は前記従来における問題点を解消するためになされたものであり、車両の周辺環境に重畳して視認させる複数の画像について今後に重複することが予想される場合に、表示態様を変更しても影響が少ない画像について重複する前に予め表示態様を変更することによって、複数の画像が重複することを防止し、車両の乗員に複数の画像を継続して明確に視認させることを可能にした重畳画像表示装置及びコンピュータプログラムを提供することを目的とする。

前記目的を達成するため本発明に係る重畳画像表示装置は、車両に搭載され、画像を前記車両周辺の周辺環境に重畳して視認させる重畳画像表示装置であって、前記画像は、前記車両から視認される周辺環境の変化に連動して表示位置が変化する第１の案内画像と、前記車両から視認される周辺環境の変化に表示位置が連動しない第２の案内画像と、を含み、前記第１の案内画像と前記第２の案内画像が重複することが予測される場合に、前記第１の案内画像と前記第２の案内画像が重複する前に前記第１の案内画像と重複しない態様へと前記第２の案内画像の表示態様を変更する表示態様変更手段を有する。

また、本発明に係るコンピュータプログラムは、車両の走行支援を行うプログラムである。具体的には、車両に搭載され、画像を前記車両周辺の周辺環境に重畳して視認させる重畳画像表示装置を、前記画像として、前記車両から視認される周辺環境の変化に連動して表示位置が変化する第１の案内画像と、前記車両から視認される周辺環境の変化に表示位置が連動しない第２の案内画像と、を表示する案内画像表示手段と、前記第１の案内画像と前記第２の案内画像が重複することが予測される場合に、前記第１の案内画像と前記第２の案内画像が重複する前に前記第１の案内画像と重複しない態様へと前記第２の案内画像の表示態様を変更する表示態様変更手段と、して機能させる。

前記構成を有する本発明に係る重畳画像表示装置及びコンピュータプログラムによれば、車両の周辺環境に重畳して視認させる第１の案内画像と第２の案内画像について今後に重複することが予想される場合に、表示態様を変更しても影響が少ない第２の案内画像について重複する前に予め表示態様を変更することによって、第１の案内画像と第２の案内画像が重複することを防止する。それによって、第１の案内画像と第２の案内画像によって提供する情報に大きな影響を与えることなく、車両の乗員に第１の案内画像と第２の案内画像のいずれについても継続して明確に視認させることを可能にする。

本実施形態に係る重畳画像表示装置の概略構成図である。 本実施形態に係るナビゲーション装置を示したブロック図である。 本実施形態に係る走行支援処理プログラムのフローチャートである。 車両の今後の走行軌跡の算出例を示した図である。 車両の乗員から視認される第１案内画像及び第２案内画像の虚像の例を示した図である。 警告対象物の今後の移動軌跡の算出例を示した図である。 車両の乗員から視認される第１案内画像と第２案内画像の虚像が重複する例を示した図である。 第２案内画像の表示位置を変更することによって第１案内画像と第２案内画像の虚像の重複を回避する例を示した図である。 第２案内画像の表示サイズを変更することによって第１案内画像と第２案内画像の虚像の重複を回避する例を示した図である。 第１案内画像において車両の乗員に視認させることが重要な領域を示した図である。 表示範囲決定処理のサブ処理プログラムのフローチャートである。

以下、本発明に係る重畳画像表示装置を具体化した一実施形態に基づき図面を参照しつつ詳細に説明する。先ず、本実施形態に係る重畳画像表示装置１の概略構成について図１を用いて説明する。図１は本実施形態に係る重畳画像表示装置１の概略構成図である。

図１に示すように重畳画像表示装置１は、車両２に搭載されたナビゲーション装置３と、同じく車両２に搭載されるとともにナビゲーション装置３と接続されたフロントディスプレイ４とを基本的に有する。尚、フロントディスプレイ４は後述のように車両２のフロントガラス５とともにヘッドアップディスプレイとして機能し、車両２の乗員６に対して様々な情報の提供を行う情報提供手段となる。

ここで、ナビゲーション装置３は、目的地までの推奨経路を探索したり、サーバから取得したりメモリに格納された地図データに基づいて車両２の現在位置周辺の地図画像を表示したり、設定された案内経路に沿った走行案内や障害物に対する警告等をフロントディスプレイ４とともに行う機能を有する。尚、上記機能の全てをナビゲーション装置３が備えている必要はなく、少なくとも案内経路に沿った走行案内や障害物に対する警告等を行う機能を有していれば本願発明を構成することが可能である。尚、ナビゲーション装置３の構造の詳細については後述する。

一方、フロントディスプレイ４は、車両２のダッシュボード７内部に設置され、前面に設けられた映像表示面に対して映像を表示する機能を有する液晶ディスプレイである。バックライトとしては例えばＣＣＦＬ（冷陰極管）や白色ＬＥＤが用いられる。尚、フロントディスプレイ４としては、液晶ディスプレイ以外に、有機ＥＬディスプレイや液晶プロジェクタとスクリーンの組み合わせを用いても良い。

そして、フロントディスプレイ４は車両２のフロントガラス５とともにヘッドアップディスプレイとして機能し、フロントディスプレイ４から出力される映像を、運転席の前方のフロントガラス５に反射させて車両２の乗員６に視認させるように構成されている。尚、フロントディスプレイ４に表示される映像としては、車両２に関する情報や乗員６の運転の支援の為に用いられる各種情報がある。例えば乗員６に対して警告対象となる対象物（他車両、歩行者、案内標識）に対する警告、ナビゲーション装置３で設定された案内経路や案内経路に基づく案内情報（右左折方向を示す矢印等）、路面に表示する警告（追突注意、制限速度等）、現在車速、シフト位置、エネルギ残量、広告画像、施設情報、地図画像、交通情報、ニュース、天気予報、時刻、接続されたスマートフォンの画面、テレビ番組等がある。

また、フロントガラス５を反射して乗員６がフロントディスプレイ４に表示された映像を視認した場合に、乗員６にはフロントガラス５の位置ではなく、フロントガラス５の先の遠方の位置にフロントディスプレイ４に表示された映像が虚像１０として視認されるように構成される。また、虚像１０は車両前方の周辺環境（風景、実景）に重畳して表示されることとなり、例えば車両前方に位置する任意の対象物（路面、建築物、警告対象となる物等）に重畳させて表示させることも可能である。

ここで、虚像１０を生成する位置、より具体的には乗員６から虚像１０までの距離（以下、結像距離という）Ｌについては、フロントディスプレイ４の位置によって決定される。例えば、フロントディスプレイ４において映像の表示された位置からフロントガラス５までの光路に沿った距離（光路長）によって結像距離Ｌが決定される。例えば結像距離Ｌが１．５ｍとなるように光路長が設定されている。

また、本実施形態では車両前方の周辺環境に重畳する画像を表示する手段としてフロントディスプレイ４を用いているが、他の手段を用いても良い。例えば、フロントガラス５に対して映像を表示するウインドウシールドディスプレイ（ＷＳＤ）を用いても良い。ＷＳＤでは、フロントガラス５をスクリーンとしてプロジェクタから映像を表示しても良いし、フロントガラス５を透過液晶ディスプレイとしても良い。ＷＳＤによってフロントガラス５に対して表示された画像は、フロントディスプレイ４と同様に車両前方の周辺環境に重畳する画像となる。

更に、後述のフロントカメラ１１で撮像した車両前方の周辺環境を車内の液晶ディスプレイに表示し、同一の液晶ディスプレイ内において表示された周辺環境に重畳する画像を表示することも可能である。その場合においても液晶ディスプレイに表示された画像は、フロントディスプレイ４と同様に車両前方の周辺環境に重畳する画像となる。

また、車両のフロントバンパの上方やルームミラーの裏側等にはフロントカメラ１１が設置される。フロントカメラ１１は、例えばＣＣＤ等の固体撮像素子を用いたカメラを有する撮像装置であり、光軸方向を車両の進行方向前方に向けて設置される。そして、フロントカメラ１１により撮像された撮像画像に対して画像処理が行われることによって、フロントガラス越しに乗員６に視認される前方環境（即ち虚像１０が重畳される環境）の状況等が検出される。尚、フロントカメラ１１の代わりにミリ波レーダ等のセンサを用いても良い。

また、車両のインストルメントパネルの上面には車内カメラ１２が設置される。車内カメラ１２は、例えばＣＣＤ等の固体撮像素子を用いたカメラを有する撮像装置であり、光軸方向を運転席に向けて設置される。車内において一般的に乗員の顔が位置すると予想される範囲を検出範囲（車内カメラ１２の撮像範囲）として設定し、運転席に座った乗員６の顔を撮像する。そして、車内カメラ１２により撮像された撮像画像に対して画像処理が行われることによって、乗員６の目の位置（視線開始点）や視線方向を検出する。

次に、上記重畳画像表示装置１を構成するナビゲーション装置３の概略構成について図２を用いて説明する。図２は本実施形態に係るナビゲーション装置３を示したブロック図である。

図２に示すように本実施形態に係るナビゲーション装置３は、ナビゲーション装置３が搭載された車両２の現在位置を検出する現在位置検出部１３と、各種のデータが記録されたデータ記録部１４と、入力された情報に基づいて、各種の演算処理を行うナビゲーションＥＣＵ１５と、ユーザからの操作を受け付ける操作部１６と、ユーザに対して車両周辺の地図や施設の関する施設情報を表示する液晶ディスプレイ１７と、経路案内に関する音声ガイダンスを出力するスピーカ１８と、記憶媒体であるＤＶＤを読み取るＤＶＤドライブ１９と、ＶＩＣＳ（登録商標：Vehicle Information and Communication System）センタ等の情報センタとの間で通信を行う通信モジュール２０と、を有する。また、ナビゲーション装置３はＣＡＮ等の車載ネットワークを介して、前述したフロントディスプレイ４、フロントカメラ１１及び車内カメラ１２等が接続されている。

以下に、ナビゲーション装置３が有する各構成要素について順に説明する。
現在位置検出部１３は、ＧＰＳ２１、車速センサ２２、ステアリングセンサ２３、ジャイロセンサ２４等からなり、現在の車両の位置、方位、車両の走行速度、現在時刻等を検出することが可能となっている。ここで、特に車速センサ２２は、車両の移動距離や車速を検出する為のセンサであり、車両の駆動輪の回転に応じてパルスを発生させ、パルス信号をナビゲーションＥＣＵ１５に出力する。そして、ナビゲーションＥＣＵ１５は発生するパルスを計数することにより駆動輪の回転速度や移動距離を算出する。尚、上記４種類のセンサをナビゲーション装置３が全て備える必要はなく、これらの内の１又は複数種類のセンサのみをナビゲーション装置３が備える構成としても良い。

また、データ記録部１４は、外部記憶装置及び記録媒体としてのハードディスク（図示せず）と、ハードディスクに記録された地図情報ＤＢ３１や所定のプログラム等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバである記録ヘッド（図示せず）とを備えている。尚、データ記録部１４はハードディスクの代わりにフラッシュメモリやメモリーカードやＣＤやＤＶＤ等の光ディスクを有していても良い。また、地図情報ＤＢ３１は外部のサーバに格納させ、ナビゲーション装置３が通信により取得する構成としても良い。

ここで、地図情報ＤＢ３１は、例えば、道路（リンク）に関するリンクデータ３２、ノード点に関するノードデータ３３、施設等の地点に関する地点データ３４、各交差点に関する交差点データ、地図を表示するための地図表示データ、経路を探索するための探索データ、地点を検索するための検索データ等が記憶された記憶手段である。

ここで、リンクデータ３２としては、例えば、該リンクを識別するリンクＩＤ、該リンクの端部に位置するノードを特定する端部ノード情報、該リンクが構成する道路の道路種別等が記憶される。また、ノードデータ３３としては、該ノードを識別するノードＩＤ、該ノードの位置座標、該ノードがリンクを介して接続される接続先ノードを特定する接続先ノード情報等が記憶される。また、地点データ３４としては、目的地への設定対象となる施設に関する各種情報が記憶される。例えば、施設を特定するＩＤ、施設名称、位置座標、ジャンル、住所等が記憶される。

一方、ナビゲーションＥＣＵ（エレクトロニック・コントロール・ユニット）１５は、ナビゲーション装置３の全体の制御を行う電子制御ユニットであり、演算装置及び制御装置としてのＣＰＵ４１、並びにＣＰＵ４１が各種の演算処理を行うにあたってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるＲＡＭ４２、制御用のプログラムのほか、後述の走行支援処理プログラム（図３）等が記録されたＲＯＭ４３、ＲＯＭ４３から読み出したプログラムを記憶するフラッシュメモリ４４等の内部記憶装置を備えている。尚、ナビゲーションＥＣＵ１５は、処理アルゴリズムとしての各種手段を有する。例えば、表示態様変更手段は、第１の案内画像と第２の案内画像が重複することが予測される場合に、第１の案内画像と第２の案内画像が重複する前に第１の案内画像と重複しない態様へと第２の案内画像の表示態様を変更する。

操作部１６は、走行開始地点としての出発地及び走行終了地点としての目的地を入力する際等に操作され、各種のキー、ボタン等の複数の操作スイッチ（図示せず）を有する。そして、ナビゲーションＥＣＵ１５は、各スイッチの押下等により出力されるスイッチ信号に基づき、対応する各種の動作を実行すべく制御を行う。尚、操作部１６は液晶ディスプレイ１７の前面に設けたタッチパネルを有していても良い。また、マイクと音声認識装置を有していても良い。

また、液晶ディスプレイ１７には、道路を含む地図画像、交通情報、操作案内、操作メニュー、キーの案内、出発地から目的地までの案内経路、案内経路に沿った案内情報、ニュース、天気予報、時刻、メール、テレビ番組等が表示される。尚、本実施形態では情報の表示手段としてフロントディスプレイ４を備えているので、上記地図画像等の表示をフロントディスプレイ４で行う構成とすれば液晶ディスプレイ１７は省略しても良い。

また、スピーカ１８は、ナビゲーションＥＣＵ１５からの指示に基づいて案内経路に沿った走行を案内する音声ガイダンスや、交通情報の案内を出力する。

また、ＤＶＤドライブ１９は、ＤＶＤやＣＤ等の記録媒体に記録されたデータを読み取り可能なドライブである。そして、読み取ったデータに基づいて音楽や映像の再生、地図情報ＤＢ３１の更新等が行われる。尚、ＤＶＤドライブ１９に替えてメモリーカードを読み書きする為のカードスロットを設けても良い。

また、通信モジュール２０は、交通情報センタ、例えば、ＶＩＣＳセンタやプローブセンタ等から送信された渋滞情報、規制情報、交通事故情報等の各情報から成る交通情報を受信する為の通信装置であり、例えば携帯電話機やＤＣＭが該当する。

続いて、前記構成を有する重畳画像表示装置１の内、特にナビゲーション装置３において実行する走行支援処理プログラムについて図３に基づき説明する。図３は本実施形態に係る走行支援処理プログラムのフローチャートである。ここで、走行支援処理プログラムは車両のＡＣＣ電源(accessory power supply)がＯＮされた後に実行され、フロントディスプレイ４に表示された画像を車両周辺の周辺環境に重畳して視認させることによって、車両の乗員に対する各種情報の提供を行うプログラムである。尚、以下の図３及び図１１にフローチャートで示されるプログラムは、ナビゲーション装置３が備えているＲＡＭ４２やＲＯＭ４３に記憶されており、ＣＰＵ４１により実行される。

以下の説明では特にフロントディスプレイ４を用いて、車両２の乗員６への警告対象となる対象物（例えば他車両、歩行者、案内標識）に対する警告案内と、自車両に関する情報（例えば現在車速、シフト位置、エネルギ残量）の提供を行う例について説明する。但し、上記以外の案内や情報提供を行うことも可能である。例えば、ナビゲーション装置３で設定された案内経路や案内経路に基づく案内情報（右左折方向を示す矢印等）の提供、路面に表示する警告（追突注意、制限速度等）、広告画像、施設情報、地図画像、交通情報、ニュース、天気予報、時刻、接続されたスマートフォンの画面、テレビ番組の表示等が可能である。

先ず、走行支援処理プログラムでは、ステップ（以下、Ｓと略記する）１においてＣＰＵ４１は、自車の現在位置情報、自車周辺の地図情報、自車の走行予定経路に関する情報をそれぞれ取得する。尚、自車の現在位置は例えばＧＰＳ２１や車速センサ２２等を用いて検出する。自車が複数車線からなる道路を走行する場合には自車の走行する車線についても特定するのが望ましい。また、自車周辺の地図情報は地図情報ＤＢ３１或いは外部サーバから取得する。尚、地図情報には、道路の形状や車線区分を特定する情報が含まれる。また、自車の走行予定経路に関してはナビゲーション装置３において案内経路が設定されている場合には、該案内経路を自車の走行予定経路とする。一方、ナビゲーション装置３において案内経路が設定されていない場合には、自車の現在位置から道なりに進む経路を自車の走行予定経路とする。

次に、Ｓ２においてＣＰＵ４１は、前記Ｓ１で取得した各情報に基づいて、自車の今後の走行軌跡を算出する。例えば、図４に示すように自車５１が片側２車線の道路を走行する場合において走行予定経路が前方の交差点５２を右折する経路である場合には、自車の今後の走行軌跡５３として右側の右折レーンへと車線変更し、交差点５２で右折する軌跡が算出される。尚、前記Ｓ２では現在時点から所定時間後（例えば３秒後）までの走行軌跡が算出される。

続いて、Ｓ３においてＣＰＵ４１は、フロントカメラ１１により撮像した撮像画像に対して２値化処理等の画像処理を行うことによって、自車両の周辺にあるオブジェクト（ピクセルの集合体）を検出する。尚、前記Ｓ３で検出されるオブジェクトには、車両２の乗員６への警告対象となる対象物（例えば他車両、歩行者、案内標識）の他、警告対象とならない物（例えば街路樹、看板等）についても含まれることとなる。

その後、Ｓ４においてＣＰＵ４１は、前記Ｓ３で検出したオブジェクトに対して個別の番号を割り当てるラベリング処理を行う。ラベリング処理を行うことによって、フロントカメラ１１で撮像した画像内（即ち自車両の周辺）にいくつのオブジェクトが存在しているのか、オブジェクトがどのような特徴（形、大きさ等）を有し、画像内のどこに存在しているのかを特定することが可能となる。

続いて、Ｓ５においてＣＰＵ４１は、前記Ｓ４のラベリング処理の結果に基づいて、車両の進行方向前方に車両の乗員に対して警告対象となる対象物（以下、警告対象物という）があるか否か判定する。ここで、警告対象物は車両に乗車する乗員が注視すべき物とし、例えば“自車両に対して接近する他車両、歩行者、２輪車”並びに“自車両の走行する道路に設置された道路標識”とする。尚、信号機等についても警告対象物に含めても良い。

そして、車両の進行方向前方に警告対象物があると判定された場合（Ｓ５：ＹＥＳ）には、Ｓ６へと移行する。それに対して、車両の進行方向前方に警告対象物がないと判定された場合（Ｓ５：ＮＯ）には、Ｓ１２へと移行する。

Ｓ６においてＣＰＵ４１は、車両の進行方向前方にあると判定された警告対象物の具体的な位置を３次元位置座標で特定する。尚、警告対象物の位置は、例えば前記Ｓ４のラベリング処理の結果に基づいて特定しても良いし、ミリ波レーダ等のセンサを用いて特定しても良い。また、警告対象物が他車両である場合には他車両との間の車車間通信で位置を取得しても良い。また、警告対象物の位置は絶対位置を取得しても良いし、自車両（乗員）に対する相対位置を取得しても良い。尚、警告対象物が複数ある場合には、複数の警告対象物の位置をそれぞれ取得する。

また、警告対象物の位置の特定は、走行支援処理プログラムが終了するまで以後継続的に行われる。例えば、警告対象物の位置の特定をフロントカメラ１１で撮像した撮像画像の１フレーム毎に行うこととすれば、継続的に警告対象物の現在の位置を特定することが可能となり、更に警告対象物の移動方向や移動速度についても特定することが可能となる。

その後、Ｓ７においてＣＰＵ４１は、後述の表示範囲決定処理（図１１）を行う。表示範囲決定処理では、フロントガラス５に対して案内画像を投影する範囲（即ちフロントディスプレイ４において案内画像を表示する範囲）を決定する。尚、Ｓ７以降では、自車両の乗員への警告対象となる警告対象物を案内する画像（以下、第１案内画像という）と自車両に関する情報を案内する画像（以下、第２案内画像という）の２種類の画像を表示対象とする。従って、Ｓ７では第１案内画像及び第２案内画像の夫々の表示範囲を決定する。

続いて、Ｓ８においてＣＰＵ４１は、フロントディスプレイ４に対して制御信号を送信し、フロントディスプレイ４に対して第１案内画像及び第２案内画像を前記Ｓ７で決定された表示範囲に表示する。その結果、第１案内画像及び第２案内画像の虚像が、車両の乗員から車両前方の周辺環境に重畳して視認される。特に第１案内画像の虚像は、車両の乗員が視認した際に警告対象物と重複して視認される。

ここで、図５は車両の乗員から視認される第１案内画像及び第２案内画像の虚像の一例を示した図である。
図５に示すように、車両のフロントガラス５越しには、周辺環境の内、特に警告対象物である案内標識５５に重畳する第１案内画像５６の虚像が車両の乗員から視認される。図５に示す例では第１案内画像５６は特に警告対象物を囲む枠の画像とする。その結果、乗員の視線を第１案内画像５６によって警告対象物である案内標識５５へと誘導し、案内標識５５を乗員に確実に視認させることが可能となる。尚、第１案内画像５６の表示は、基本的に警告対象物が検出されてからその後に車両の前方から警告対象物が消失するまでの間において行われる。
一方、車両のフロントガラス５の下縁中央付近には、周辺環境に重畳する第２案内画像５７の虚像が車両の乗員から視認される。図５に示す例では第２案内画像５７は特に車両の現在の車速を示す画像とする。その結果、乗員は視線を進行方向前方から移動させることなく車両の現在の車速を把握することが可能となる。尚、第２案内画像５７の表示は、基本的にフロントディスプレイ４による表示機能がＯＮされている状態では常時行われる。

また、警告対象物が複数ある場合には、基本的に乗員（自車両）に最も近い警告対象物のみを対象として第１案内画像５６が表示される。但し、複数の警告対象物のそれぞれに重畳して第１案内画像５６を表示しても良い。また、警告対象物の種類に基づいて第１案内画像５６を重畳させる警告対象物を選択しても良い。例えば、警告対象物として歩行者を含む場合には、歩行者を優先的に選択して第１案内画像５６を重畳させることが可能である。

また、第１案内画像５６は自車両の乗員から視認される警告対象物に重畳させる必要があるので、自車両が移動したり警告対象物が移動する（即ち車両から視認される周辺環境の位置や大きさが変化する）と、前記Ｓ８で新たに第１案内画像５６の表示範囲が決定され、表示範囲が更新される。即ち、車両から視認される周辺環境が変化すると、それに連動して第１案内画像５６の表示位置や表示サイズも変化する。言い換えれば第１案内画像５６は、周辺環境において重畳する位置が関連付けられた画像である。

一方、第２案内画像５７は特定の対象物に重畳させる必要が無いので基本的にフロントガラス５の固定位置（例えば下縁中央付近）に表示される。即ち、第２案内画像５７は自車両から視認される周辺環境の変化に表示位置は連動せず、最初に前記Ｓ８で決定された表示範囲は基本的に変わらない。言い換えれば第２案内画像５７は、周辺環境において重畳する位置が関連付けられていない画像である。但し、後述のように第１案内画像５６と第２案内画像５７が重複することが予想される場合については、第２案内画像５７の表示範囲が変化する場合がある（Ｓ１１）。

次に、Ｓ９においてＣＰＵ４１は、今後の自車両の挙動と第１案内画像５６で重畳対象となっている警告対象物の挙動とに基づいて、自車両の乗員から視認される警告対象物の今後の位置の変位を予測する。より具体的には、乗員から視認したフロントガラス５上における警告対象物の今後の移動軌跡を算出する。尚、今後の自車両の挙動は前記Ｓ２で算出された走行軌跡が相当する。一方、警告対象物の挙動については、上述したＳ４のラベリング処理により特定した警告対象物の位置を過去のフレームとの間で比較することによって特定する。具体的には、警告対象物の移動方向と移動速度を警告対象物の挙動として特定する。尚、警告対象物が静止物（例えば道路標識）である場合については警告対象物の挙動を考慮する必要は無い。尚、前記Ｓ９では現在時点から所定時間後（例えば３秒後）までの移動軌跡が算出される。

例えば、図６に示す例は、警告対象物として案内標識５５に重畳する第１案内画像５６が表示されている場合において、フロントガラス５上における案内標識５５の今後の移動軌跡６０を示した図である。図６に示すように車両が進行方向前方に進むと、それに伴ってフロントガラス５上における案内標識５５の位置（乗員から見える案内標識５５の位置）が徐々に車両側へと移動することとなる。また、案内標識５５の見かけ上の大きさも徐々に大きくなる。前記Ｓ９では警告対象物の位置の変化に加えて形状（見かけ上の大きさ）の変化についても予測を行う。

その後、Ｓ１０においてＣＰＵ４１は、前記Ｓ９で算出された警告対象物の今後の移動軌跡に基づいて、現時点から所定時間以内（例えば３秒以内）に第１案内画像と第２案内画像が重複するか否かを判定する。但し、重複する期間が極めて短い場合には、仮に画像が重複しても影響が小さいと予測されるので、特に所定期間（例えば０．５秒）以上継続して重複するか否かを判定する。

例えば、図７に示す例は、現時点では案内標識５５に重畳する第１案内画像５６と第２案内画像５７は重複していない。しかしながら、その後に自車両が移動することによって案内標識５５の位置や見かけ上の大きさが変化すると、それに伴って第１案内画像５６の表示位置や大きさが変化する。その結果、第１案内画像５６と第２案内画像５７が重複することとなる。

そして、現時点から所定時間以内（例えば３秒以内）に第１案内画像と第２案内画像が重複すると判定された場合（Ｓ１０：ＹＥＳ）には、Ｓ１１へと移行する。それに対して、現時点から所定時間以内（例えば３秒以内）に第１案内画像と第２案内画像が重複しないと判定された場合（Ｓ１０：ＮＯ）には、継続して第１案内画像及び第２案内画像を現在の表示態様で表示する。

Ｓ１１においてＣＰＵ４１は、第１案内画像と第２案内画像が重複する前に、第１案内画像と重複しない態様へと第２案内画像の表示態様を変更する。具体的には第１案内画像と第２案内画像が重複する前に第２案内画像の表示位置を段階的に移動させる。例えば、図８に示すように第１案内画像５６と第２案内画像５７が重複する前に、予め第２案内画像５７の表示位置を徐々に右方向に移動させる。それによって、第１案内画像５６と第２案内画像５７が重複することを防止することが可能となる。尚、一度に表示位置を切り換えるのではなく徐々に表示位置を移動させるので、車両の乗員に違和感を与えることが無く、第２案内画像５７を継続して視認させることが可能となる。また、第２案内画像５７は、周辺環境において重畳する位置が関連付けられていない画像であるので表示位置を変更しても、提供する情報に大きな影響を与えることが無い。

尚、前記Ｓ１１では第２案内画像５７の表示サイズを変更することによって第１案内画像５６と第２案内画像５７の重複を防止するようにしても良い。具体的には第１案内画像と第２案内画像が重複する前に第２案内画像の表示サイズを段階的に縮小する。例えば、図９に示すように第１案内画像５６と第２案内画像５７が重複する前に、予め第２案内画像５７の表示サイズを徐々に縮小する。それによって、第１案内画像５６と第２案内画像５７が重複することを防止することが可能となる。尚、一度に表示サイズを切り換えるのではなく徐々に表示サイズを変更するので、車両の乗員に違和感を与えることが無く、第２案内画像５７を継続して視認させることが可能となる。また、第２案内画像５７は、周辺環境において重畳する位置が関連付けられていない画像であるので表示サイズを変更しても、提供する情報に大きな影響を与えることが無い。

尚、前記Ｓ１１で変更した第２案内画像の表示態様は、重複対象となっていた警告対象物が車両の前方から消失した時点、或いは重複の虞がなくなった時点で元に戻すのが望ましい。尚、表示態様を戻す場合においても一度に切り替えるのではなく段階的に表示位置や表示サイズを変更する。

また、第１案内画像の内、所定割合以上（例えば３割以上）の領域が第２案内画像と重複することが予測される場合のみに、Ｓ１１の処理を実行しても良い。ここで、仮に第１案内画像と第２案内画像が重複する場合であっても、重複する領域がごく一部の場合には、仮に画像が重複しても影響が小さいと予測される。従って、表示態様を変更することなく継続して第１案内画像と第２案内画像を表示する。

また、第１案内画像の内、所定領域が第２案内画像と重複することが予測される場合のみに、Ｓ１１の処理を実行しても良い。所定領域は、乗員にとって視認させることが重要な領域とし、第１案内画像が重畳する警告対象物の種別によって設定される。例えば、図１０に示すような案内標識５５に重畳する第１案内画像５６が表示されている場合には、案内標識５５の識別内容が含まれる上方の領域が乗員にとって視認させることが重要な領域であり、所定領域とする。ここで、仮に第１案内画像と第２案内画像が重複する場合であっても、重複する領域が上記所定領域以外の場合には、仮に画像が重複しても影響が小さいと予測される。従って、表示態様を変更することなく継続して第１案内画像と第２案内画像を表示する。

一方、前記Ｓ５の判定処理において、車両の進行方向前方に警告対象物がないと判定された場合（Ｓ７：ＮＯ）に実行されるＳ１２では、Ｓ７と同様に後述の表示範囲決定処理（図１１）を行う。但し、Ｓ１２では第２案内画像のみを表示対象とし、第２案内画像の表示範囲のみを決定する。

その後、Ｓ１３においてＣＰＵ４１は、フロントディスプレイ４に対して制御信号を送信し、フロントディスプレイ４に対して第２案内画像を前記Ｓ１２で決定された表示範囲に表示する。その結果、第２案内画像の虚像が、車両の乗員から車両前方の周辺環境に重畳して視認される。尚、その後に車両の進行方向前方に警告対象物が新たに検出された場合にはＳ６へと移行し、第２案内画像を継続して表示した状態で第１案内画像についても新たに表示されることとなる。

次に、前記Ｓ７及びＳ１２において実行される表示範囲決定処理のサブ処理について図１１に基づき説明する。図１１は表示範囲決定処理のサブ処理プログラムのフローチャートである。

先ず、Ｓ２１においてＣＰＵ４１は、車両の乗員の目の位置（視線開始点）を車内カメラ１２で撮像した撮像画像に基づいて検出する。尚、検出された目の位置は３次元の位置座標で特定される。

次に、Ｓ２２においてＣＰＵ４１は、フロントディスプレイ４の表示がＯＮになっているか否かを判定する。尚、フロントディスプレイ４の表示のＯＮ又はＯＦＦの切り替えは車両の乗員の操作によって行うことが可能である。また、周辺状況や車両の状態に基づいてＯＮ又はＯＦＦを自動で切り替えても良い。

そして、フロントディスプレイ４の表示がＯＮになっていると判定された場合（Ｓ２２：ＹＥＳ）には、Ｓ２３へと移行する。一方、フロントディスプレイ４の表示がＯＦＦになっていると判定された場合（Ｓ２２：ＮＯ）には、フロントディスプレイ４による第１案内画像及び第２案内画像の虚像の表示を行うことなく終了する。

Ｓ２３においてＣＰＵ４１は、フロントディスプレイ４によって画像を投影する対象となるフロントガラス５の位置座標を取得する。尚、フロントガラス５の位置座標は３次元の位置座標で特定される。

次に、Ｓ２４においてＣＰＵ４１は、前記Ｓ６で検出された警告対象物の位置座標と、前記Ｓ２１で検出した車両の乗員の目の位置（視線開始点）の位置座標と、前記Ｓ２３で取得したフロントガラス５の位置座標とに基づいて、フロントガラス５上において第１案内画像及び第２案内画像を表示する位置座標を算出する。具体的には、第１案内画像の表示位置は、図５に示すように第１案内画像５６の虚像が警告対象物と重複して車両の乗員から視認される位置とする。一方、第２案内画像の表示位置は、図５に示すようにフロントガラス５の固定位置（例えば下縁中央付近）とする。

続いて、Ｓ２５においてＣＰＵ４１は、前記Ｓ２４で算出された位置座標に基づいて、フロントガラス５における第１案内画像及び第２案内画像の投影範囲を決定する。更に、決定された投影範囲からフロントディスプレイ４における第１案内画像及び第２案内画像の表示範囲についても決定する。その後、Ｓ８やＳ１３へと移行し、決定された投影範囲や表示範囲に基づいて第１案内画像及び第２案内画像の虚像の表示を行う。尚、フロントディスプレイ４の表示がオフになるまで繰り返しＳ１〜Ｓ１３の処理を行うこととなる。

以上詳細に説明した通り、本実施形態に係る重畳画像表示装置及び重畳画像表示装置において実行されるコンピュータプログラムによれば、車両から視認される周辺環境の変化に連動して表示位置が変化する第１案内画像と、車両から視認される周辺環境の変化に表示位置が連動しない第２案内画像と、を車両周辺の周辺環境に重畳して視認させる場合において、第１案内画像と第２案内画像が重複することが予測される場合に、第１案内画像と第２案内画像が重複する前に第１案内画像と重複しない態様へと第２案内画像の表示態様を変更する（Ｓ１１）ので、第１案内画像と第２案内画像によって提供する情報に大きな影響を与えることなく、車両の乗員に第１案内画像と第２案内画像のいずれについても継続して明確に視認させることを可能にする。

尚、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、上記本実施形態では、フロントディスプレイ４によって車両２のフロントガラス５の前方に虚像を生成する構成としているが、フロントガラス５以外のウィンドウの前方に虚像を生成する構成としても良い。また、フロントディスプレイ４により映像を反射させる対象はフロントガラス５自身ではなくフロントガラス５の周辺に設置されたバイザー（コンバイナー）であっても良い。

また、本実施形態では、周辺環境に重畳する画像を表示する手段としてフロントディスプレイ４を用いているが、フロントガラス５に対して画像を表示するウインドウシールドディスプレイ（ＷＳＤ）を用いても良い。或いはナビゲーション装置３の液晶ディスプレイ１７に表示した実景に、案内画像を重畳させる表示装置でもよい。

また、本実施形態では第１案内画像と第２案内画像が重複することが予測される場合に、第２案内画像の表示位置又は表示サイズを変更することによって第１案内画像と第２案内画像が重複することを回避しているが、重複が回避できるのであれば他の方法を用いても良い。例えば、第２案内画像の向きを変更することや、透過率を変更する方法が挙げられる。

また、本実施形態ではフロントカメラ１１を用いて警告対象物の検出を行っているが、ミリ波レーダ等のセンサを用いて検出しても良い。また、車車間通信や外部サーバとの通信によって警告対象物の存在を取得しても良い。

また、第１案内画像は車両から視認される周辺環境の変化に連動して表示位置が変化する画像（即ち周辺環境において重畳する位置が関連付けられた画像）であれば上記例に限られない。同じく、第２案内画像は車両から視認される周辺環境の変化に表示位置が連動しない画像（即ち周辺環境において重畳する位置が関連付けられていない画像）であれば上記例に限られない。

また、本実施形態では、走行支援処理プログラム（図３）の処理をナビゲーション装置３のナビゲーションＥＣＵ１５が実行する構成としているが、実行主体は適宜変更することが可能である。例えば、フロントディスプレイ４の制御部、車両制御ＥＣＵ、その他の車載器が実行する構成としても良い。尚、フロントディスプレイ４の制御部が実行する場合には、本発明に係る重畳画像表示装置はフロントディスプレイ４のみで構成することも可能である。

また、本発明に係る重畳画像表示装置を具体化した実施例について上記に説明したが、重畳画像表示装置は以下の構成を有することも可能であり、その場合には以下の効果を奏する。

例えば、第１の構成は以下のとおりである。
車両（２）に搭載され、画像を前記車両周辺の周辺環境に重畳して視認させる重畳画像表示装置（１）であって、前記画像は、前記車両から視認される周辺環境の変化に連動して表示位置が変化する第１の案内画像（５６）と、前記車両から視認される周辺環境の変化に表示位置が連動しない第２の案内画像（５７）と、を含み、前記第１の案内画像と前記第２の案内画像が重複することが予測される場合に、前記第１の案内画像と前記第２の案内画像が重複する前に前記第１の案内画像と重複しない態様へと前記第２の案内画像の表示態様を変更する表示態様変更手段（４１）を有する。
上記構成を有する重畳画像表示装置によれば、車両の周辺環境に重畳して視認させる第１の案内画像と第２の案内画像について今後に重複することが予想される場合に、表示態様を変更しても影響が少ない第２の案内画像について重複する前に予め表示態様を変更することによって、第１の案内画像と第２の案内画像が重複することを防止する。それによって、第１の案内画像と第２の案内画像によって提供する情報に大きな影響を与えることなく、車両の乗員に第１の案内画像と第２の案内画像のいずれについても継続して明確に視認させることを可能にする。

また、第２の構成は以下のとおりである。
前記表示態様変更手段（４１）は、前記第１の案内画像（５６）と前記第２の案内画像（５７）が重複する前に前記第２の案内画像の表示位置を段階的に移動させる。
上記構成を有する重畳画像表示装置によれば、第２の案内画像の表示位置を一度に切り換えるのではなく徐々に表示位置を移動させるので、第１の案内画像と第２の案内画像が重複することを防止する一方で、表示位置の変化によって車両の乗員に違和感を与えることが無く、第２の案内画像を継続して視認させることが可能となる。

また、第３の構成は以下のとおりである。
前記表示態様変更手段（４１）は、前記第１の案内画像（５６）と前記第２の案内画像（５７）が重複する前に前記第２の案内画像の表示サイズを段階的に縮小する。
上記構成を有する重畳画像表示装置によれば、第２の案内画像の表示サイズを一度に切り換えるのではなく徐々に表示サイズを縮小するので、第１の案内画像と第２の案内画像が重複することを防止する一方で、表示サイズの変化によって車両の乗員に違和感を与えることが無く、第２の案内画像を継続して視認させることが可能となる。

また、第４の構成は以下のとおりである。
前記第１の案内画像（５６）は、前記車両の乗員への警告対象となる警告対象物（５５）を案内する画像である。
上記構成を有する重畳画像表示装置によれば、車両の乗員への警告対象となる警告対象物を案内する画像が他の画像と重複することを防止することが可能となり、警告対象物への警告を適切に行うことが可能となる。

また、第５の構成は以下のとおりである。
前記車両の挙動と前記警告対象物の挙動とに基づいて、前記車両から視認される前記警告対象物（５５）の今後の位置の変位を予測する変位予測手段（４１）を有し、前記表示態様変更手段（４１）は、前記変位予測手段の予測結果に基づいて、所定時間以内に前記第１の案内画像（５６）と前記第２の案内画像（５７）が重複することが予測される場合に、前記第１の案内画像と前記第２の案内画像が重複する前に前記第１の案内画像と重複しない態様へと前記第２の案内画像の表示態様を変更する。
上記構成を有する重畳画像表示装置によれば、車両の挙動と警告対象物の挙動とに基づいて、今後に第１の案内画像と第２の案内画像とが重複するか否かを正確に判定することが可能となる。

また、第６の構成は以下のとおりである。
前記第２の案内画像（５７）は、前記車両に関する情報を案内する画像である。
上記構成を有する重畳画像表示装置によれば、車両に関する情報を案内する画像が他の画像と重複することを防止することが可能となり、車両に関する情報を適切に提供することが可能となる。

また、第７の構成は以下のとおりである。
前記第１の案内画像（５６）の内、所定割合以上の領域が前記第２の案内画像（５７）と重複することが予測される場合に、前記第１の案内画像と前記第２の案内画像が重複する前に前記第１の案内画像と重複しない態様へと前記第２の案内画像の表示態様を変更する。
上記構成を有する重畳画像表示装置によれば、仮に第１の案内画像と第２の案内画像が重複する場合であっても、影響が小さいと予測される場合には表示態様を変更することなく継続して第１の案内画像と第２の案内画像を表示するので、必要以上の表示制御が行われることをできる限り抑制し、処理負担を軽減することが可能となる。

また、第８の構成は以下のとおりである。
前記第１の案内画像（５６）の内、所定領域が前記第２の案内画像（５７）と重複することが予測される場合に、前記第１の案内画像と前記第２の案内画像が重複する前に前記第１の案内画像と重複しない態様へと前記第２の案内画像の表示態様を変更する。
上記構成を有する重畳画像表示装置によれば、仮に第１の案内画像と第２の案内画像が重複する場合であっても、影響が小さいと予測される場合には表示態様を変更することなく継続して第１の案内画像と第２の案内画像を表示するので、必要以上の表示制御が行われることをできる限り抑制し、処理負担を軽減することが可能となる。

また、第９の構成は以下のとおりである。
前記第１の案内画像（５６）と前記第２の案内画像（５７）が所定期間以上継続して重複することが予測される場合に、前記第１の案内画像と前記第２の案内画像が重複する前に前記第１の案内画像と重複しない態様へと前記第２の案内画像の表示態様を変更する。
上記構成を有する重畳画像表示装置によれば、仮に第１の案内画像と第２の案内画像が重複する場合であっても、影響が小さいと予測される場合には表示態様を変更することなく継続して第１の案内画像と第２の案内画像を表示するので、必要以上の表示制御をできる限り抑制し、処理負担を軽減することが可能となる。

また、第１０の構成は以下のとおりである。
前記第１の案内画像（５６）及び前記第２の案内画像（５７）は虚像として表示される。
上記構成を有する重畳画像表示装置によれば、車両の乗員の視線を進行方向前方からできる限り移動させることなく、案内画像を視認させることが可能となる。

１ 重畳画像表示装置
２ 車両
３ ナビゲーション装置
４ フロントディスプレイ
５ フロントガラス
６ 乗員
７ ダッシュボード
４１ ＣＰＵ
４２ ＲＡＭ
４３ ＲＯＭ
５５ 案内標識
５６ 第１案内画像
５７ 第２案内画像

Claims (11)

1. 車両に搭載され、画像を前記車両周辺の周辺環境に重畳して視認させる重畳画像表示装置であって、
   前記画像は、前記車両から視認される周辺環境の変化に連動して表示位置が変化する第１の案内画像と、前記車両から視認される周辺環境の変化に表示位置が連動しない第２の案内画像と、を含み、
   前記第１の案内画像と前記第２の案内画像が重複することが予測される場合に、前記第１の案内画像と前記第２の案内画像が重複する前に前記第１の案内画像と重複しない態様へと前記第２の案内画像の表示態様を変更する表示態様変更手段を有する重畳画像表示装置。
2. 前記表示態様変更手段は、前記第１の案内画像と前記第２の案内画像が重複する前に前記第２の案内画像の表示位置を段階的に移動させる請求項１に記載の重畳画像表示装置。
3. 前記表示態様変更手段は、前記第１の案内画像と前記第２の案内画像が重複する前に前記第２の案内画像の表示サイズを段階的に縮小する請求項１に記載の重畳画像表示装置。
4. 前記第１の案内画像は、前記車両の乗員への警告対象となる警告対象物を案内する画像である請求項１乃至請求項３のいずれかに記載の重畳画像表示装置。
5. 前記車両の挙動と前記警告対象物の挙動とに基づいて、前記車両から視認される前記警告対象物の今後の位置の変位を予測する変位予測手段を有し、
   前記表示態様変更手段は、前記変位予測手段の予測結果に基づいて、所定時間以内に前記第１の案内画像と前記第２の案内画像が重複することが予測される場合に、前記第１の案内画像と前記第２の案内画像が重複する前に前記第１の案内画像と重複しない態様へと前記第２の案内画像の表示態様を変更する請求項４に記載の重畳画像表示装置。
6. 前記第２の案内画像は、前記車両に関する情報を案内する画像である請求項１乃至請求項５のいずれかに記載の重畳画像表示装置。
7. 前記第１の案内画像の内、所定割合以上の領域が前記第２の案内画像と重複することが予測される場合に、前記第１の案内画像と前記第２の案内画像が重複する前に前記第１の案内画像と重複しない態様へと前記第２の案内画像の表示態様を変更する請求項１乃至請求項６のいずれかに記載の重畳画像表示装置。
8. 前記第１の案内画像の内、所定領域が前記第２の案内画像と重複することが予測される場合に、前記第１の案内画像と前記第２の案内画像が重複する前に前記第１の案内画像と重複しない態様へと前記第２の案内画像の表示態様を変更する請求項１乃至請求項６のいずれかに記載の重畳画像表示装置。
9. 前記第１の案内画像と前記第２の案内画像が所定期間以上継続して重複することが予測される場合に、前記第１の案内画像と前記第２の案内画像が重複する前に前記第１の案内画像と重複しない態様へと前記第２の案内画像の表示態様を変更する請求項１乃至請求項６のいずれかに記載の重畳画像表示装置。
10. 前記第１の案内画像及び前記第２の案内画像は虚像として表示される請求項１乃至請求項９のいずれかに記載の重畳画像表示装置。
11. 車両に搭載され、画像を前記車両周辺の周辺環境に重畳して視認させる重畳画像表示装置を、
    前記画像として、前記車両から視認される周辺環境の変化に連動して表示位置が変化する第１の案内画像と、前記車両から視認される周辺環境の変化に表示位置が連動しない第２の案内画像と、を表示する案内画像表示手段と、
    前記第１の案内画像と前記第２の案内画像が重複することが予測される場合に、前記第１の案内画像と前記第２の案内画像が重複する前に前記第１の案内画像と重複しない態様へと前記第２の案内画像の表示態様を変更する表示態様変更手段と、して機能させる為のコンピュータプログラム。

Images