以下、本発明の実施形態について図に基づいて説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、説明の簡略化を図るべく、図中、同一符号を付してある。
(第1実施形態)
図1〜図3に本発明に係る車両用の情報表示装置1の第1実施形態を示す。図1は情報表示装置1の概略構成を示すブロック図、図2は情報表示装置が適用されるトラックが道路を走行している状態を示す図、図3はトラックを上方から視た図である。図3中上矢印は車両前方、下矢印は車両後方、右矢印は車両右方、左矢印は車両左方を示している。
図1の情報表示装置1は、図2の箱型の荷台2aを有するトラック2に搭載されて、例えば後方車両4bの位置を仮想視点としたとき自車両(すなわちトラック2)が原因で生じる死角を可視化した画像を荷台2aのディスプレイ21、22により後方車両4bに提供する。
具体的には、情報表示装置1は、図1に示すように、前方カメラ11、後方カメラ12、左方カメラ13、右方カメラ14、前方ディスプレイ20、後方ディスプレイ21、右方ディスプレイ22、左方ディスプレイ23、および電子制御装置30を備える。
前方カメラ11は、カメラ12、13、14とともに自車両の周囲の視界を撮影するカメラ手段を構成している。具体的には、前方カメラ11は、自車両の前方視界を写すカメラであって、図3に示すように、トラック2の運転室2bの前側に配置されている。本実施形態では、前方カメラ11は、トラック2の運転室2bのフロントガラスの上側に配置されている。後方カメラ12は、トラック2の荷台2aの後側に配置されて、車両後方の視界を写す。
右方カメラ14は、トラック2の運転室2bの右側に配置されて、自車両の右方視界を写す。左方カメラ13は、トラック2の運転室2bの左側に配置されて、自車両の左方視界を写す。本実施形態の右方カメラ14および左方カメラ13は、図4に示すように、車体に対してドアミラー33を支える支持部材31に取り付けられている。
図1の前方ディスプレイ20は、トラック2の運転室2bの前側で表示面を前方に向けて配置されている。本実施形態の前方ディスプレイ20は、トラック2の運転室2bのフロントガラス32の下側に設けられている(図4参照)。後方ディスプレイ21は、トラック2の荷台2aの後側に設けられて、表示面を後方に向けて配置されている(図2参照)。左方ディスプレイ23は、トラック2の荷台2aの左側に設けられて、表示面を左方に向けて配置されている(図4参照)。右方ディスプレイ22は、トラック2の荷台2aの右側に設けられて、表示面を右方に向けて配置されている(図5参照)。
本実施形態のディスプレイ20〜23として、液晶ディスプレイ、ELパネル、プロジェクタなどが用いられる。
図1の電子制御装置30は、メモリ、マイクロコンピュータなどから構成されている周知の電子制御装置であって、バッテリBaから電力が供給されて動作する。電子制御装置30は、後述するように、カメラ11〜14の撮影画像、速度センサ40の出力信号、ウインカースイッチ41の出力信号、およびイグニッションスイッチIGの出力信号に応じて、後方車両(あるいは、前方車両)に対して死角全体を可視化した画像を提供する処理を実行する。
速度センサ40は、車両速度を検出するセンサである。ウインカースイッチ41は、右折、或いは左折する際に運転者の操作により設定され、左右のウインカーランプのうち自車両の進行方向に対応したウインカーランプ(方向指示器)を点滅させるためのスイッチである。
次に、電子制御装置30の表示処理の詳細について図6〜図9を参照して説明する。電子制御装置30は、図6〜図9のフローチャートにしたがって、コンピュータプログラムを実行する。コンピュータプログラムの実行は、イグニッションスイッチがオンされると、開始される。
まず、図6のステップS100において、カメラ11、12、13、14の撮影を開始させる。これにより、カメラ11、12、13、14が自車両の周囲の視界の撮影を繰り返し行うことになる。
次のステップS110において、ディスプレイ20、21、22、23のそれぞれに広告を示す広告画像を表示する。つまり、ディスプレイ20〜23により宣伝を行うことになる。
次のステップS120において、自車両が交差点で右折するために待機(つまり、右折待ち)をしているか否かを判定する。具体的には、次の(1)、(2)の判定により自車両が交差点で右折するために待機しているか否かを判定する。
(1)速度センサ40の検出速度が所定速度未満であるか否かを判定する。所定速度は、実質的に車両が停止していると見なされる速度(例えば、5km/時間)である。(2)右側のウインカーランプを点滅させるようにウインカースイッチ41が設定されているか否かを判定する。
速度センサ40の検出速度が所定速度未満であり、かつ右側のウインカーランプを点滅させるためにウインカースイッチ41が設定されているときには、自車両が交差点で右折するために待機しているとして、ステップS120においてYESと判定する。
また、速度センサ40の検出速度が所定速度以上であるとき、および右側のウインカーランプを点滅させるためにウインカースイッチ41が設定されていないときのうちいずれか一方であるときには、自車両が交差点で右折するために待機していないとして、ステップS120においてNOと判定する。
そして、ステップS120でNOと判定した場合、次のステップS130において、自車両2に対して後方に車両(以下、後方車両という)が1台以上存在するか否かを判定する。
具体的には、後方カメラ12の撮影画像に対して車両、道路上の白線、および中央分離帯などを選別するためのパターン認識を施し、このパターン認識の結果に基づいて、後方車両が1台以上存在するか否かを判定する。
図10において本実施形態のトラック2(自車両)と後方車両4との位置関係を示す。
トラック2の車幅方向中央部から後方Kに延びる所定半径R(例えば、20メートル〜40メートル)を時計回りおよび反時計回りにそれぞれ90度、回転させて規定される半円状範囲内に位置する車両を後方車両4と認識する。つまり、後方カメラ12の撮影画像に対するパターン認識の結果に基づいて、後方カメラ12の撮影画像に車両として認識できる物体が存在する場合でも、この認識された物体が上記半円状範囲から外れている場合には当該物体を後方車両と認識しない。
なお、後方カメラ12の撮影画像からパターン認識によって選別される白線および中央分離帯は、後述するステップS131、S132、S134、S136、S139、S140、S143、S144の処理で用いる。図10中符号50a、50bは道路上の白線を示す。
そして、ステップS130において、上記半円状範囲内に車両が位置していないときには、1台以上の後方車両が存在していないとしてNOと判定してステップS150に進む。このとき、イグニッションスイッチIG(図1参照)がオフしているか否かを判定する。イグニッションスイッチIGがオンしているときには、NOと判定して、ステップS110に戻る。イグニッションスイッチIGがオフしているときには、コンピュータプログラムの実行を終了する。
このため、イグニッションスイッチIGがオンし、自車両が交差点で右折待ちをしていなく、かつ1台以上の後方車両が存在していない状態が継続すると、ディスプレイ20、21、22、23に広告画像を継続的に表示することになる。
その後、自車両が交差点で右折するために待機し始めると、上記ステップS120においてYESと判定する。これに伴い、ステップS121において、前方カメラ11の撮影画像に対して車両などを選別するためのパターン認識を施し、このパターン認識の結果に基づいて、右折待ちの対向車両(つまり、右折待ちの前方車両)が存在するか否かを判定する。これらステップS120、S121の判定処理により、自車両が交差点において右折待ちしており、かつその交差点で右折待ちしている他車両が存在している状態を検出する検出手段を構成している。
図11において本実施形態のトラック2(自車両)と右折待ちの対向車両(前方車両)3との位置関係を示す。トラック2の車幅方向中央部から右方Mに延びる所定半径R(例えば、20メートル〜40メートル)を反時計回りで例えば所定角度θ(=90〜140)度回転させて規定される扇状範囲内に位置する車両を、右折待ちの対向車両3と認識する。つまり、前方カメラ11の撮影画像に車両として認識できる物体が存在する場合でも、この認識される物体が上記扇状範囲から外れる場合には、当該物体を右折待ちの対向車両として認識しない。
そして、前方カメラ11の撮影画像に対するパターン認識の結果に基づいて上記扇状範囲内に車両が存在していないときには、上記ステップ121においてNOと判定する。つまり、右折待ちの対向車両が存在していないと判定することになる。この場合、ステップS120に戻る。
また、前方カメラ11の撮影画像に対するパターン認識の結果に基づいて、上記扇状範囲内に車両が存在すると判定したときには、上記ステップ121において、右折待ちの対向車両3が存在するとしてYESと判定する。
次に、ステップS122において、前方カメラ11の撮影画像に対するパターン認識の結果に基づいて対向車両3の位置を求める。この求められた位置を仮想視点とし、カメラ12、13の撮影画像データを前記仮想視点から視た合成画像データに視点変換する。これにより、対向車両3から自車両側を視た合成画像データにおいて自車両が原因で生じる自車両の左方死角と後方死角とを可視化したものをカメラ12、13の撮影画像に基づいて生成することになる。この生成した合成画像データに基づいて、対向車両3から自車両側を視た合成画像において左方死角と後方死角とを可視化したものをディスプレイ20、22により2画面表示する。2画面表示とは、図12に示すように、左方死角と後方死角とを可視化した合成画像を2つに分割してディスプレイ20、22に表示することである。
ここで、カメラ12、13の撮影画像データを仮想視点から視た合成画像データに視点変換する技術は、仮想視点の位置が異なるだけで、車両周囲を撮影するための複数のカメラの撮影画像データを仮想視点から視た合成画像データに変換する日産自動車のアラウンドビューモニターの技術と実質的に同様である。このため、本実施形態において複数のカメラの撮影画像データを仮想視点から視た合成画像データに視点変換する処理の詳細の説明を省略する。なお、アラウンドビューモニターでは、車両上方の所定位置を仮想視点として、複数のカメラにより撮影された車両周囲の画像を車両上方の仮想視点から視た合成画像に変換して表示パネルに表示するものである。
なお、図12は、交差点Koでトラック2とその対向車両3とがそれぞれ右折待ちを示している例を示している。図において、右方ディスプレイ22は、車両5と白線50bとを含む画像を表示し、前方ディスプレイ20は、白線50bを含む画像を表示している。図中符号50cは中央分離帯である。
次に、ステップS123、S124において、後方カメラ12の撮影画像に対して車両、道路上の白線、および中央分離帯などを選別するパターン認識を施し、このパターン認識により選別された車両、道路上の白線、および中央分離帯に基づいて、後方車両の台数を判定する。
具体的には、ステップS123において、1台以上の後方車両が存在するか否かを判定する。この判定は、上記ステップS130と同様に処理される。そして、1台以上の後方車両が存在する場合には、上記ステップS123においてYESと判定する。この場合、ステップS124において、2台の後方車両が存在するか否かを判定する。
ここで、図12に示すように、自車両2が交差点Koで右折待ちするときには、自車両2の右側には中央分離帯50cが存在する。このため、自車両2の右後ろには後方車両が存在しない。したがって、図13に示すように、トラック2の真後ろに位置する後方車両4と、トラック2の左後ろに位置する後方車両4aとが存在するときに、2台の後方車両が存在すると判定することになる。
そこで、ステップS124では、上記所定半径Rで規定される半円状範囲内において、トラック2の左側の白線50bと右側の中央分離帯50cとの間の後方車両4と白線50bに対して左側の後方車両4aとがそれぞれ存在するか否かを判定する。
そして、上記半円状範囲内に2台の後方車両4、4aが存在するとき、ステップS124でYESと判定する。つまり、トラック2の真後ろに位置する後方車両4と、トラック2の左後ろに位置する後方車両4aとがそれぞれ存在すると判定したことになる。
この場合、ステップS125において、上記ステップS123、S124における後方カメラ12の撮影画像に対して車両を選別するパターン認識の結果に基づいて後方車両4(図中真後ろ車両と記す)の位置を求める。この求められた後方車両4の位置を仮想視点として、カメラ11、13、14の撮影画像データを仮想視点から視た画像データに視点変換する。これにより、後方車両4から自車両側を視た合成画像データにおいて自車両が原因で生じる自車両2の前方死角、左方死角および右方死角を可視化したものをカメラ11、13、14の撮影画像に基づいて生成することになる。この生成された合成画像データに基づいて、後方車両4の位置から自車両側を視た合成画像において後方死角、左方死角および右方死角を可視化したものを後方ディスプレイ21により表示する。
これに加えて、ステップS125では、上記ステップS123、S124における後方カメラ12の撮影画像に対して車両を選別するパターン認識の結果に基づいて後方車両4a(図中左後方車両と記す)の位置を求める。この求められた後方車両4aの位置を仮想視点として、カメラ11、14の撮影画像データを前記仮想視点から視た合成画像データに視点変換する。これにより、後方車両4aから自車両側を視た合成画像データにおいて前方死角と右方死角とを可視化したものをカメラ11、14の撮影画像データに基づいて生成することになる。このように生成された合成画像データに基づいて、後方車両4aの位置から自車両側を視た合成画像において前方死角と右方死角とを可視化したものを左方ディスプレイ23により表示する。
その後、ステップS120に戻る。このため、自車両が交差点で右折するために待機し、右折待ちの対向車両が存在し、かつ後方車両が2台存在している状態が維持されると、ステップS120のYES判定、ステップS121のYES判定、ステップS122、ステップS123のYES判定、ステップS124のYES判定、およびステップS125の各処理を繰り返す。これにより、広告画像に代えて、死角全体を可視化した合成画像をディスプレイ20〜23に表示することになる。
また、上述のステップS124において、図13において、トラック2の左側の白線50bの右側の後方車両4と、白線50bに対して左側の後方車両4aとのうちいずれか一方の車両は存在するものの、残りの車両は存在しない場合には、NOと判定する。つまり、トラック2の後方に存在する後方車両が1台だけであると判定することになる。
この場合、図7のステップS126において、1台の後方車両は自車線に位置するか否かを判定する。この判定は、上記ステップS123、S124における後方カメラ12の撮影画像に対するパターン認識により選別された車両、道路上の白線、および中央分離帯に基づいて行われる。
ここで、図13に示すように、トラック2の右側に中央分離帯50cが存在する場合には、自車線は、中央分離帯50cと左側の白線50bとの間の車線となる。トラック2の右側に中央分離帯に代えて白線が存在する場合には、自車線は、右側の白線と左側の白線50bとの間の車線となる。つまり、図7のステップS126では、1台の後方車両が白線50bと中央分離帯50c(或いは、白線)との間に位置する後方車両4であるか否かを判定することになる。
そして、1台の後方車両が白線50bと中央分離帯50c(或いは、白線)との間に位置する後方車両4であるときには、1台の後方車両が自車線に位置するとして、ステップS126でYESと判定する。
この場合、ステップS127において、上記ステップS123、S124における後方カメラ12の撮影画像に対して車両を選別するパターン認識の結果に基づいて後方車両4の位置を求める。この求められた後方車両4の位置を仮想視点として、カメラ11、13、14の撮影画像データを仮想視点から視た合成画像データに視点変換する。この視点変換は、上記ステップS125において後方車両4の位置を仮想視点とする視点変換と同様に行われるものである。このような視点変換により生成される合成画像データに基づいて、後方車両4の位置から視た合成画像において前方死角、左方死角および右方死角を可視化したものを後方ディスプレイ21により表示する。
その後、図6のステップS120に戻る。このため、自車両が交差点で右折するために待機し、右折待ちの対向車両が存在し、かつ後方車両が1台、自車線に存在している状態が維持されると、ステップS120のYES判定、ステップS121のYES判定、ステップS122、ステップS123のYES判定、ステップS124のNO判定、ステップS126のYES判定、およびステップS127の各処理を繰り返す。これにより、広告画像に代えて、死角を可視化した合成画像をディスプレイ20、21、22に表示することになる。
上述した図7のステップS126において、図14に示すように、1台の後方車両4aが自車線ではなく、白線50bの左側の他車線に位置するときには、1台の後方車両が自車線に位置していないとしてNOと判定する。
この場合、ステップS128において、上記ステップS123、S124における後方カメラ12の撮影画像に対して車両を選別するパターン認識の結果に基づいて後方車両4aの位置を求める。この求められた後方車両4aの位置を仮想視点として、カメラ11、14の撮影画像データを仮想視点から視た合成画像データに視点変換する。この視点変換は、上記ステップS125において後方車両4aの位置を仮想視点とする視点変換と同様に行われるものである。このような視点変換により生成される合成画像データに基づいて、後方車両4aの位置から視た合成画像において前方死角および右方死角を可視化したものをディスプレイ21、23に2画面表示する。2画面表示とは、当該合成画像を2つに分割してディスプレイ21、23に表示することである。
その後、図6のステップS120に戻る。このため、自車両が交差点で右折するために待機し、右折待ちの対向車両が存在し、かつ後方車両が1台、他車線に存在している状態が維持されると、ステップS120のYES判定、ステップS121のYES判定、ステップS122、ステップS123のYES判定、ステップS124のNO判定、ステップS126のNO判定、およびステップS128の各処理を繰り返す。これにより、広告画像に代えて、死角を可視化した合成画像をディスプレイ20〜23に表示することになる。
一方、自車両が交差点で右折するために待機していなく、1台以上の後方車両が存在するときには、図6のステップS120においてNOと判定し、ステップS130においてYESと判定する。そして、次のステップS131において、上記ステップS130における後方カメラ12の撮影画像に対するパターン認識で選別された車両、白線に基づいて、後方車両は2台以上存在するか否かを判定する。
ここで、図10に示すように、白線50aと白線50bとの間の後方車両4以外に、白線50bの左側の後方車両(図示省略)が存在するときには、後方車両が2台以上存在するとしてステップS131でYESと判定する。また、図15に示すように、白線50a、50bの間の後方車両4以外に、白線50aの右側の後方車両4bが存在するときには、後方車両が2台以上存在するとしてステップS131でYESと判定する。また、図16に示すように、白線50bの左側の後方車両4aと白線50aの右側の後方車両4bが存在するときには、後方車両が2台以上存在するとしてステップS131でYESと判定する。また、図17に示すように、白線50bの左側の後方車両4aと白線50aの右側の後方車両4bと白線50a、50bの間の後方車両4とが存在するときには、後方車両が3台存在するとしてステップS131でYESと判定する。
このように図6のステップS131でYESと判定したときには、次のステップS132に移行して、上記ステップS130における後方カメラ12の撮影画像に対するパターン認識で選別された車両、白線に基づいて、後方車両は3台存在するか否かを判定する。そして、図17に示すように、後方車両4、4a、4bが存在する場合には、後方車両が3台存在するとしてステップS132でYESと判定する。
この場合、次のステップS133において、上記ステップS130における後方カメラ12の撮影画像に対して車両を選別するパターン認識の結果に基づいて後方車両4(図中真後ろ車両と記す)の位置を求める。この求められた後方車両4の位置を仮想視点として、カメラ11、13、14の撮影画像データを仮想視点から視た合成画像データに視点変換する。この視点変換は、上記ステップS125において後方車両4の位置を仮想視点とする視点変換と同様に行われるものである。このような視点変換により生成される合成画像データに基づいて、後方車両4の位置から視た合成画像において前方死角、左方死角および右方死角を可視化したものを後方ディスプレイ21により表示する。
さらに、ステップS133では、上記ステップS130における後方カメラ12の撮影画像に対して車両を選別するパターン認識の結果に基づいて後方車両4a(図中左後方車両と記す)の位置を求める。この求められた位置を仮想視点として、カメラ11、14の撮影画像データを前記仮想視点から視た合成画像データに視点変換する。この視点変換は、上記ステップS125において後方車両4aの位置を仮想視点とする視点変換と同様に行われるものである。このような視点変換により生成された合成画像データに基づいて、後方車両4aの位置から自車両側を視た合成画像において前方死角と右方死角とを可視化したものを左方ディスプレイ23により表示する。
これに加えて、ステップS133では、上記ステップS130における後方カメラ12の撮影画像に対して車両を選別するパターン認識の結果に基づいて後方車両4b(図中右後方車両と記す)の位置を求める。この求められた位置を仮想視点として、カメラ11、13の撮像画像データを前記仮想視点から視た合成画像データに変換する。これにより、後方車両4bから自車両側を視た合成画像データにおいて前方死角と左方死角とを可視化したものをカメラ11、13の撮影画像データに基づいて生成することになる。このような視点変換により生成された合成画像データに基づいて、後方車両4bの位置から自車両側を視た合成画像において前方死角と左方死角とを可視化したものを右方ディスプレイ22に表示する。
その後、ステップS120に戻る。自車両が交差点で右折するために待機していなく、かつ後方車両が3台存在している状態が維持されると、ステップS120のNO判定、ステップS130のYES判定、ステップS131のYES判定、ステップS132のYES判定、およびステップS133の各処理を繰り返す。これにより、広告画像に代えて、死角全体を可視化した合成画像をディスプレイ21〜23に表示することになる。
上述した図6のステップS131において、後方車両は1台であるとしてNOと判定したときには、図8のステップS134に進んで、上記ステップS130における後方カメラ12の撮影画像に対するパターン認識で選別された車両、白線に基づいて、後方車両は自車線に位置するか否かを判定する。この判定は、上記ステップS126と同様であるため、説明を省略する。
そして、後方車両が自車線に位置するとしてステップS134でYESと判定したときには、ステップS135において、上記ステップS130における後方カメラ12の撮影画像に対するパターン認識の結果に基づいて後方車両4の位置を求める。この求められた後方車両4の位置を仮想視点として、カメラ11、13、14の撮影画像データを仮想視点から視た合成画像データに視点変換する。この視点変換は、上記ステップS133において後方車両4の位置を仮想視点とする視点変換と同様に行われるものである。このような視点変換により生成される合成画像データに基づいて、後方車両4の位置から視た合成画像において前方死角、左方死角および右方死角を可視化したものを後方ディスプレイ21により表示する。
その後、ステップS120に戻る。このため、自車両が交差点で右折するために待機していなく、かつ後方車両が1台、自車線に存在している状態が維持されると、ステップS120のNO判定、ステップS130のYES判定、ステップS131のNO判定、ステップS134のYES判定、およびステップS135の各処理を繰り返す。これにより、広告画像に代えて、死角全体を可視化した合成画像を後方ディスプレイ21に表示することになる。
また、図8のステップS134において、後方車両が自車線に位置していないときにはNOと判定する。このことにより、後方車両が他車線に位置すると判定することになる。他車線とは、図16において、自車両2に対して左側の車線(白線50bの左側車線)および右側の車線(白線50aの右側車線)のうちいずれか1つの車線のことである。
次に、ステップS136において、上記ステップS130における後方カメラ12の撮影画像に対するパターン認識で選別された車両、白線に基づいて、後方車両が位置する他車線は、右車線であるか否かを判定する。つまり、後方車両が自車両の右車線(白線50aの右側車線)に位置するか否かを判定することになる。
後方車両が右車線に位置するときには、図8のステップS136においてYESと判定する。
この場合、ステップS137において、上記ステップS130における後方カメラ12の撮影画像に対して車両を選別するパターン認識の結果に基づいて右車線に位置する後方車両の位置を求める。この求められた位置を仮想視点として、カメラ11、13の撮像画像データを前記仮想視点から視た合成画像データに変換する。この視点変換は、上記ステップS133において後方車両4bの位置を仮想視点とする視点変換と同様に行われるものである。後方車両4bは当該ステップS137における右車線に位置する後方車両に相当する。このように視点変換により生成された合成画像データに基づいて、右車線に位置する後方車両の位置から自車両側を視た合成画像において前方死角と左方死角とを可視化したものをディスプレイ21、22に2画面表示する。2画面表示とは、当該合成画像をディスプレイ21、22に分割して表示することである(図2参照)。図2中のディスプレイ21、22は、車両と白線50bとを含む画像を表示している。
その後、図6のステップS120に戻る。このため、自車両が交差点で右折するために待機していなく、かつ後方車両が1台、右車線に存在している状態が維持されると、ステップS120のNO判定、ステップS130のYES判定、ステップS131のNO判定、ステップS134のNO判定、ステップS136のYES判定、およびステップS137の各処理を繰り返す。これにより、広告画像に代えて、死角を可視化した合成画像をディスプレイ21、22に繰り返し表示することになる。
また、図8のステップS136において、後方車両が位置する他車線が左車線であるときには、NOと判定する。この場合、ステップS138において、上記ステップS130における後方カメラ12の撮影画像に対して車両を選別するパターン認識の結果に基づいて左車線の後方車両の位置を求める。この求められた位置を仮想視点として、カメラ11、14の撮影画像データを前記仮想視点から視た合成画像データに視点変換する。この視点変換は、上記ステップS133において後方車両4aの位置を仮想視点とする視点変換と同様に行われるものである。後方車両4aは、当該ステップS138における左車線の後方車両に相当する。このように視点変換により生成された合成画像データに基づいて、左車線の後方車両の位置から自車両2側を視た合成画像において前方死角および右方死角を可視化したものをディスプレイ21、23に2画面表示する。
その後、図6のステップS120に戻る。このため、自車両が交差点で右折するために待機していなく、かつ後方車両が1台、左車線に存在している状態が維持されると、ステップS120のNO判定、ステップS130のYES判定、ステップS131のNO判定、ステップS134のNO判定、ステップS136のNO判定、およびステップS138の各処理を繰り返す。これにより、広告画像に代えて、死角全体を可視化した合成画像をディスプレイ21、23に繰り返し表示することになる。
また、上記ステップS132(図6参照)において、後方車両が2台であるときにはNOと判定して、図9のステップS139に進む。ここで、上記ステップS130における後方カメラ12の撮影画像に対するパターン認識で選別された車両、白線に基づいて、後方車両が自車線と他車線とのそれぞれに1台ずつ存在するか否かを判定する。
ここで、図10に示すように、白線50aと白線50bとの間の自車線に後方車両4が存在し、かつ白線50bの左側の他車線に後方車両(図示省略)が存在するときには、ステップS139でYESと判定する。また、図15に示すように、白線50aと白線50bとの間の自車)に後方車両4が存在し、かつ白線50aの右側の他車線に1台の後方車両4bが存在するときには、ステップS139でYESと判定する。
このように、図9のステップS139で後方車両が自車線と他車線とのそれぞれに1台ずつ存在するとしてYESと判定すると、次のステップS140において、1台の後方車両が位置する他車線は、右車線であるか否かを判定する。
2台の後方車両のうち1台の後方車両が、自車両の右側の車線に位置しているときには、上記ステップS140においてYESと判定する。つまり、図15に示すように、自車両2の右後方に1台の後方車両4bが存在し、かつ自車両の真後ろに1台の後方車両4が存在すると判定することになる。
この場合、次のステップS142において、後方車両4(図中真後ろ車両と記す)の位置を仮想視点として、この仮想視点から自車両側を視た合成画像において前方死角、右方死角および左方死角を可視化したものを後方ディスプレイ21に表示する。これに加えて、後方車両4b(図中右後方車両と記す)の位置を仮想視点として、この仮想視点から自車両側を視た合成画像において前方死角と左方死角とを可視化したものを右方ディスプレイ22に表示する。ディスプレイ21、22の表示画像は、上記ステップS133におけるディスプレイ21、22の表示画像と同様である。
その後、図6のステップS120に戻る。このため、自車両が交差点で右折するために待機していなく、かつ後方車両が自車線、および右車線にそれぞれ1台ずつ存在している状態が維持されると、ステップS120のNO判定、ステップS130のYES判定、ステップS131のYES判定、ステップS132のNO判定、ステップS139のYES判定、ステップS140のYES判定、およびステップS142の各処理を繰り返す。これにより、広告画像に代えて、死角全体を可視化した合成画像をディスプレイ21、22に表示することになる。
上記ステップS140において、白線50bの左側車線に1台の後方車両が存在するときには、1台の後方車両が存在する他車線は、左車線であるとして、NOと判定する。つまり、自車両2の真後ろに1台の後方車両が存在し、かつ自車両2の左後ろに1台の後方車両が存在すると判定することになる。
この場合、次のステップS143において、後方車両4(図中真後ろ車両と記す)の位置を仮想視点として、この仮想視点から自車両側を視た合成画像において前方死角、右方死角および左方死角を可視化したものを後方ディスプレイ21に表示する。これに加えて、後方車両4a(図中左後方車両と記す)の位置を仮想視点として、この仮想視点から自車両側を視た合成画像において前方死角と右方死角とを可視化したものを左方ディスプレイ23に表示する。ディスプレイ21、23の表示画像は、上記ステップS133におけるディスプレイ21、23の表示画像と同様である。
その後、図6のステップS120に戻る。このため、自車両が交差点で右折するために待機していなく、かつ後方車両が自車線、および左車線にそれぞれ1台ずつ存在している状態が維持されると、ステップS120のNO判定、ステップS130のYES判定、ステップS131のYES判定、ステップS132のNO判定、ステップS139のYES判定、ステップS140のNO判定、およびステップS143の各処理を繰り返す。これにより、広告画像に代えて、死角全体を可視化した合成画像をディスプレイ21、23に表示することになる。
また、上記ステップS139において、右側の他車線に1台の後方車両が位置し、左側の他車線に1台の後方車両が位置するときには、NOと判定する。つまり、図16に示すように、自車両2の右側の白線50aの右側の後方車両4bと、自車両2の左側の白線50bの左側の後方車両4aとが存在すると判定することになる。
この場合、次の図9のステップS144において、後方車両4b(図中右後方車両と記す)の位置を仮想視点として、この仮想視点から自車両側を視た合成画像において前方死角と左方死角とを可視化したものを右方ディスプレイ22に表示する。これに加えて、後方車両4a(図中左後方車両と記す)の位置を仮想視点として、この仮想視点から自車両側を視た合成画像において前方死角と右方死角とを可視化したものを左方ディスプレイ23に表示する。ディスプレイ23、22による画像表示は、上記ステップS133におけるディスプレイ23、22による画像表示と同様である。
その後、図6のステップS120に戻る。このため、自車両が交差点で右折するために待機していなく、かつ後方車両が右車線、および左車線にそれぞれ1台ずつ存在している状態が維持されると、ステップS120のNO判定、ステップS130のYES判定、ステップS131のYES判定、ステップS132のNO判定、ステップS139のNO判定、およびステップS144の各処理を繰り返す。これにより、広告画像に代えて、死角全体を可視化した合成画像をディスプレイ22、23に表示することになる。
以上説明した本実施形態によれば、自車両2が交差点で右折待ちをし、かつ交差点で対向車両(前方車両)が右折待ちをしているとき、電子制御装置30は、対向車両の位置を求め、この求めた対向車両の位置を仮想視点としてこの仮想視点から視た合成画像データにカメラ12、13の撮影画像データを繰り返し視点変換する。これにより、対向車両の位置から自車両側を視た合成画像データにおいて後方死角と左方死角とを可視化したものを繰り返し生成することになる。この生成された合成画像データに基づいて対向車両の位置から自車両側を視た画像において後方死角と左方死角とを可視化したものを繰り返しディスプレイ20、22に表示させる。
自車両の後方に後方車両(4、4a、4b)が存在しているとき、電子制御装置30は、後方車両の位置を求め、この求めた位置を仮想視点としてこの仮想視点から視た合成画像データにカメラ(11、13、14)の撮影画像データを繰り返し視点変換する。これにより、後方車両の位置から自車両側を視た合成画像データにおいて前方死角と側方死角とを可視化したものを繰り返し生成することになる。この生成された合成画像データに基づいて後方車両の位置から自車両側を視た合成画像において前方死角と側方死角とを可視化したものを繰り返しディスプレイ(21、22、23)に表示させる。
以上により、後方車両、或いは対向車両から自車両側を視た合成画像において自車両の前方死角、後方死角、側方死角を可視化したものを後方車両、或いは対向車両に対して提供することができる。このため、後方車両、或いは対向車両の運転者に対して、死角の原因を排除してあたかも自車両を透視したような感覚を与えることができる。したがって、後方車両、或いは対向車両の運転をより一層適切に支援することができる。
本実施形態では、後方車両、或いは対向車両に対して提供される画像は、後方車両、或いは対向車両の位置を仮想視点としている。このため、後方車両、或いは対向車両の運転者にとって提供される合成画像が視認し易いものとなる。
本実施形態では、自車両が交差点で右折待ちをし、かつ交差点で対向車両(前方車両)が右折待ちをしているとき、電子制御装置30は、死角を可視化した合成画像をディスプレイ20、22に分割して表示する。このため、ディスプレイ20、22のうち一方のディスプレイにだけ表示する場合に比べて、表示面積が大きくなる。したがって、死角を可視化した合成画像を大きく表示することができる。よって、対向車両の運転者にとって表示が見易くなる。
電子制御装置30が、右後方車両(或いは、左後方車両)に対して死角を可視化した合成画像をディスプレイ21、22(或いは21、23)に分割して表示する場合にも、上述したように画像をディスプレイ20、22に分割して表示する場合と同様な効果が得られる。
本実施形態では、自車両の真後ろ、右後方、および左後方のそれぞれに後方車両が1台ずつ位置するときには、電子制御装置30は、死角を可視化した合成画像を後方車両毎にディスプレイ21、22、23に表示する。このため、後方車両が3台存在したときでも3台の後方車両に対して死角を可視化した合成画像を別々に提供することができる。
上記第1実施形態では、右折待ちをしている対向車両、或いは後方車両に、死角全体を可視化した画像をディスプレイ20〜23に表示させる例を示したが、これに代えて、右折待ちをしている対向車両、或いは後方車両に、死角を可視化した画像と広告画像とをディスプレイ20〜23に表示させるようにしてもよい。
例えば、図18に示すように、後方ディスプレイ21に死角を可視化した画像を表示する際に、死角全体を可視化した画像を後方ディスプレイ21の下側表示画面21aに表示し、広告画像を帯状の上側表示画面21bに表示させてもよい。この場合、死角を可視化した画像の表示位置を運転者の目の高さに近づけることができる。したがって、運転者にとって、死角を可視化した画像が見易くなる。
上記第1実施形態では、後方カメラ12(或いは、前方カメラ11)の撮影画像に対するパターン認識の結果に基づいて後方車両(或いは、対向車両)の位置を求め、この求めた位置を仮想視点の位置とした例について説明したが、これに代えて、対向車両、真後ろ車両(図17中後方車両4)、右後方車両(図17中後方車両4b)、および左後方車両(図17中後方車両4a)のそれぞれに対して予め求められた位置をメモリに記憶しておき、この記憶された位置を仮想視点として視点変換するようにしてもよい。
(第2実施形態)
上記第1実施形態では、図16に示すように、トラック2の左後方(右後方)を後方車両4a(4b)が走行している場合、後方車両4a(4b)がトラック2を追い抜かそうとして、トラック2の左側(右側)に位置したときに、後方カメラ12の視野から後方車両4a(4b)が外れる。このため、後方車両4a(4b)に対するパターン認識ができなくなる。これにより、ディスプレイ21、22、23において死角を可視化した合成画像の表示ができなくなる。
そこで、本実施形態では、電子制御装置30の表示処理によって、後方車両4a(4b)に対して次の(1)、(2)のようにする。
(1)左方カメラ13の撮影画像に対して車両を選別するためのパターン認識を実施する。後方車両4aがトラック2を追い抜かそうとしてトラック2の左側に位置した場合には、左方カメラ13の撮影画像に対するパターン認識の結果に基づいて、後方車両4aの位置を判別する。この判別された後方車両4aの位置を仮想視点とし、カメラ11、14の撮影画像データを前記仮想視点から視た合成画像データに視点変換する。この視点変換した合成画像データに基づいて、後方車両4aから自車両側を視た合成画像において右方死角と前方死角とを可視化したものをディスプレイ23により表示する。
(2)右方カメラ14の撮影画像に対して車両を選別するためのパターン認識を実施する。後方車両4bがトラック2を追い抜かそうとしてトラック2の右側に位置した場合には、右方カメラ14の撮影画像に対するパターン認識の結果に基づいて、後方車両4bの位置を判別する。この判別された後方車両4bの位置を仮想視点とし、カメラ11、13の撮影画像データを前記仮想視点から視た合成画像データに視点変換する。この視点変換した合成画像データに基づいて、後方車両4bから自車両側を視た合成画像において左方死角と前方死角とを可視化したものをディスプレイ22により表示する。
次に、本実施形態の電子制御装置30の表示処理の詳細を説明する。図19〜図23は表示処理を示すフローチャートである。電子制御装置30は、図6〜図9のフローチャートに代わる図19〜図23のフローチャートにしたがって、コンピュータプログラムを実行する。
図19において、図6中の同一符号は同一ステップを示している。図19では、ステップS123でNOと判定した場合には、ステップS120ではなく、図20のステップS160に移行するようになっている。図21は、図7のフローチャートにステップS160、S161を追加したものである。図22において、図8と同一符号は、同一ステップを示している。図22において、ステップS135の後段にステップS160、S161、S170、S171を追加し、ステップS137の後段にステップS160、S161を追加し、ステップS138の後段にステップS170、S171を追加したものである。
図23において図9と同一符号は、同一ステップを示している。図23において、ステップS142の後段にステップS160、S161を追加し、ステップS143の後段にステップS170、S171を追加したものである。ここで、図20〜図23において、同一の符号は、同一ステップである。
まず、図19のステップS123において、1台以上の後方車両が存在しないとして、NOと判定したときには、図20のステップS160に移行する。このステップS160では、左方カメラ13の撮影画像に対して車両、道路上の白線、および縁石などを選別するためのパターン認識を施し、このパターン認識の結果に基づいて、左方車両が1台以上存在するか否かを判定する。左方車両とは、トラック(自車両)2の左側エリアに位置する車両のことである。
図24において、本実施形態のトラック2とその左側エリア(左方車両)との位置関係を示す。
左側エリア(図中斜線で示される部分)は、左方カメラ13のパターン認識の範囲内において、トラック2の左側の白線50bに対して左側の白線(或いは、縁石)50dとトラック2との間の範囲と、トラック2の前方端部から左方に伸びる仮想線Zとトラック2の後方端部から左方に伸びる仮想線Bとの間の範囲とで、共通する範囲である。
左方カメラ13のパターン認識の範囲は、トラック2の車両前後方向中央部から左方Sに延びる所定半径R(例えば、20メートル〜40メートル)を時計回りおよび反時計回りにそれぞれ90度回転させて規定される半円範囲である。
このような左側エリア内に車両が一台以上存在するときには、ステップS160においてYESと判定する。これに伴い、ステップS161において、上記ステップS160における左方カメラ13の撮影画像に対して車両を選別するパターン認識の結果に基づいて左方最後方車両の位置を求める。
ここで、左側エリア内に2台以上の車両が存在するときには、2台以上の車両のうち最も後方の車両を左方最後方車両とする。図24に示すように、左側エリア内に2台の車両6a、5aが存在する場合には、車両6aの後方に位置する車両5aを左方最後方車両とする。一方、左側エリア内に存在する車両が一台だけであるときには、この一台の車両を左方最後方車両とする。
このように求められた左方最後方車両(車両5a)の位置を仮想視点として、カメラ11、14の撮影画像データを前記仮想視点から視た合成画像データに視点変換する。これにより、左方最後方車両(車両5a)から自車両側を視た合成画像データにおいて前方死角と右方死角とを可視化したものをカメラ11、14の撮影画像データに基づいて生成することになる。このように生成された合成画像データに基づいて、左方最後方車両(車両5a)の位置から自車両側を視た合成画像において前方死角と右方死角とを可視化したものを左方ディスプレイ23により表示する。
その後、図19のステップS120に移行する。なお、図20のステップS160において、左側エリア内に車両が存在しないときには、NOと判定して、図19のステップS120に移行する。
図21において、ステップS127を終えると、ステップS160に進む。このため、左側エリア内に車両が一台以上存在するときには、ステップS160でYESと判定して、ステップS161に進む。このステップS161において、左方最後方車両の位置を仮想視点として、カメラ11、14の撮影画像データを前記仮想視点から視た合成画像データに視点変換する。このように生成された合成画像データに基づいて、左方最後方車両の位置から自車両側を視た合成画像において前方死角と右方死角とを可視化したものを左方ディスプレイ23により表示する。
また、図22のステップS135の処理を終えると、ステップS160において、上述と同様に、左側エリア内に車両が一台以上存在するか否かを判定する。左側エリア内に車両が一台以上存在するときには、ステップS160でYESと判定して、ステップS161において、左方最後方車両の位置を仮想視点として、カメラ11、14の撮影画像データを前記仮想視点から視た合成画像データに視点変換し、この合成画像データに基づいて、左方最後方車両の位置から自車両側を視た合成画像において前方死角と右方死角とを可視化したものを左方ディスプレイ23により表示する。
このようにステップS160、161の処理を終えると、ステップS170に移行する。このステップS170では、右方カメラ14の撮影画像に対して車両、中央分離帯、白線などを選別するためのパターン認識を施し、このパターン認識の結果に基づいて、右方車両が1台以上存在するか否かを判定する。右方車両とは、トラック(自車両)2の右側エリアに位置する車両のことである。
図25において本実施形態のトラック2とその右側エリア(左方車両)との位置関係を示す。
右側エリア(図中斜線で示される部分)は、右方カメラ14のパターン認識の範囲内において、トラック2の右側の白線50aに対して右側の白線(或いは、中央分離帯)50eとトラック2との間の範囲と、トラック2の前方端部から右方に伸びる仮想線Zとトラック2の後方端部から右方に伸びる仮想線Bとの間の範囲とで、共通する範囲である。
右方カメラ14のパターン認識の範囲は、トラック2の車両前後方向中央部から右方Uに延びる所定半径R(例えば、20メートル〜40メートル)を時計回りおよび反時計回りにそれぞれ90度回転させて規定される半円範囲とである。
このような右側エリア内に車両が一台以上存在するときには、ステップS170においてYESと判定する。これに伴い、ステップS171において、上記ステップS170における右方カメラ14の撮影画像に対して車両を選別するパターン認識の結果に基づいて右方最後方車両の位置を求める。
ここで、右側エリア内に2台以上の車両が存在するときには、2台以上の車両のうち最も後方の車両を右方最後方車両とする。図24では、右側エリア内に2台の車両6c、5cが存在する例を示している。この場合、車両6cの後方に位置する車両5cを右方最後方車両とする。一方、右側エリア内に存在する車両が一台だけであるときには、この一台の車両を右方最後方車両とする。
このように求められた右方最後方車両(車両5c)の位置を仮想視点として、カメラ11、13の撮影画像データを前記仮想視点から視た合成画像データに視点変換する。これにより、右方最後方車両(車両5c)から自車両側を視た合成画像データにおいて前方死角と左方死角とを可視化したものをカメラ11、13の撮影画像データに基づいて生成することになる。このように生成された合成画像データに基づいて、右方最後方車両(車両5c)の位置から自車両側を視た合成画像において前方死角と右方死角とを可視化したものを右方ディスプレイ22により表示する。
その後、図19のステップS120に移行する。なお、図22のステップS160において、左側エリア内に車両が存在しないときには、NOと判定して、図19のステップS120に移行する。ステップS170において、右側エリア内に車両が存在しないときには、NOと判定して、図19のステップS120に移行する。
図22のステップS137の処理を終えると、ステップS160において、左側エリア内に車両が一台以上存在するか否かを判定し、左側エリア内に車両が一台以上存在するときには、YESと判定する。そして、ステップS161において、左方最後方車両の位置から自車両側を視た合成画像において前方死角と右方死角とを可視化したものを左方ディスプレイ23により表示する。
図22のステップS138の処理を終えると、ステップS170において、右側エリア内に車両が一台以上存在するか否かを判定し、右側エリア内に車両が一台以上存在するときには、YESと判定する。そして、ステップS171において、右方最後方車両の位置から自車両側を視た合成画像において前方死角と左方死角とを可視化したものを右方ディスプレイ22により表示する。
図23のステップS142の処理を終えると、ステップS160において、左側エリア内に車両が一台以上存在するか否かを判定し、左側エリア内に車両が一台以上存在するときには、YESと判定する。そして、ステップS161において、左方最後方車両の位置から自車両側を視た合成画像において前方死角と右方死角とを可視化したものを左方ディスプレイ23により表示する。
図23のステップS143の処理を終えると、ステップS170において、右側エリア内に車両が一台以上存在するか否かを判定し、右側エリア内に車両が一台以上存在するときには、YESと判定する。そして、ステップS171において、右方最後方車両の位置から自車両側を視た合成画像において前方死角と左方死角とを可視化したものを右方ディスプレイ22により表示する。
以上説明した本実施形態によれば、左側エリア(右側エリア)内に車両が一台以上存在するときには、この左側エリア(右側エリア)内の車両の位置から自車両側を視た合成画像において前方死角と右方死角(左方死角)とを可視化したものを左方ディスプレイ23(右方ディスプレイ22)により表示する。したがって、後方車両がトラック2を追い抜かそうとしてトラック2の左側(右側)に位置した場合には、ステップS161(S171)において、トラック2の左側(右側)に位置する車両から自車両側を視た合成画像において前方死角と右方死角(左方死角)とを可視化したものを左方ディスプレイ23(右方ディスプレイ22)により表示することができる。
本実施形態では、左後方車両が存在しなく、かつ左側エリア内に車両が一台以上存在するときには、左側エリア内の車両に対する死角を可視化した合成画像を左方ディスプレイ23に表示する。ここで、左側エリア内に複数の車両が存在するときには、複数の車両のうち最も後側の車両に対する死角を可視化した合成画像を左方ディスプレイ23に表示する。これに加えて、自車両2に対して左後方に位置する左後方車両(図24中の車両4a)が存在する場合には、ステップS161に移行しなく、左後方車両に対する死角を可視化した合成画像を左方ディスプレイ23などに表示する。
このように、自車両2の左側に複数の車両(図24中の車両6a、5a、4a)が位置するときには、複数の車両のうち最も後側の車両に対する死角を可視化した合成画像を左方ディスプレイ23に表示する。
ここで、自車両2の左側に存在する複数の車両のうち前側の車両に比べて後側の車両は、前方死角のエリアは広くなる。図24においてBS(6a)、BS(5a)、BS(4a)は、車両6a、5a、4aに対して死角となるエリアの境界線を示している。例えば、境界線BS(6a)に対してトラック2側(図中下側)が車両6aに対して死角となるエリアとなる。そして、複数の車両のうち最も後側の車両に対する死角を可視化した合成画像を左方ディスプレイ23に表示することにより、複数の車両のうち最も後側の車両以外の前側の車両に対しても、死角を可視化した合成画像を提供することになる。
本実施形態では、右後方車両が存在しなく、かつ右側エリア内に車両が一台以上存在するときには、右側エリア内の車両に対する死角を可視化した合成画像を右方ディスプレイ22に表示する。ここで、右側エリア内に複数の車両が存在するときには、複数の車両のうち最も後側の車両に対する死角を可視化した合成画像を右方ディスプレイ22に表示する。これに加えて、自車両2に対して右後方に位置する右後方車両(図25中の車両4c)が存在する場合には、ステップS171に移行しなく、右後方車両に対する死角を可視化した合成画像を右方ディスプレイ22などに表示する。
このように自車両2の右側に複数の車両(図25中の車両6c、5c、4c)が位置するときには、複数の車両のうち最も後側の車両に対する死角を可視化した合成画像を右方ディスプレイ22に表示する。
自車両2の右側に存在する複数の車両のうち前側の車両に比べて後側の車両は、前方死角のエリアは広くなる。図25においてBS(6c)、BS(5c)、BS(4c)は、車両6c、5c、4cに対して死角となるエリアの境界線を示している。例えば、境界線BS(6c)に対してトラック2側(図中下側)が車両6cに対して死角となるエリアである。そして、複数の車両のうち最も後側の車両に対する死角を可視化した合成画像を右方ディスプレイ22に表示することにより、複数の車両のうち最も後側の車両以外の前側の車両に対しても、死角を可視化した合成画像を提供することになる。
上記第2実施形態では、自車両2の左側エリア(右側エリア)内の車両に対する死角を可視化した画像を左方ディスプレイ23(右方ディスプレイ22)に表示する例を示したが、これに代えて、左方ディスプレイ23(右方ディスプレイ22)に対して、死角を可視化した画像と広告画像とを表示させるようにしてもよい(図18参照)。
上記第1、第2の実施形態では、本発明に係る情報表示装置をトラックに適用した例を示したが、これに限らず、車両外壁にディスプレイを配置できる車両ならばどのような車両(例えば、バスなどの大型車両)でもよい。