JP2010234851A - 車両用表示装置 - Google Patents

Abstract

【課題】夜間などの周囲の照度が低い状況において正確且つ容易に移動体や周囲環境を認識できる技術を実現する。
【解決手段】車両１は、自車両の位置を検出する位置検出手段６と、自車両周囲の移動体を検出する移動体検出手段１７と、自車両周囲の画像を撮影する画像撮影手段５と、自車両周囲の照度を検出する照度検出手段３と、前記照度検出手段により検出された照度が所定閾値以下であるか否かを判定する判定手段１２と、前記判定手段により照度が所定閾値を超えるときに撮影された高輝度画像から移動体が削除された高輝度背景画像を取得する取得手段１５と、前記判定手段により照度が前記所定閾値以下であると判定された場合に、前記取得手段により取得した自車両の位置情報に対応する高輝度背景画像と、前記移動体検出手段により検出された移動体とを合成する合成手段２０と、前記合成手段により合成された画像を表示する表示手段４と、を有する。
【選択図】図１

Description

本発明は、自車両周囲の画像を表示する車両用表示装置に関する。

夜間の視認性の拡大、歩行者の見落としを防止するために、赤外光を照射して撮影する近赤外線カメラや人物や車両などの熱源から出る赤外線を撮影する遠赤外線カメラを使用して、可視化することで、モニタに動画や静止画を表示するナイトビジョンが実用化されている。

このナイトビジョンに関する技術として、特許文献１には、車載センサが衝突可能性が高い対象物を検出し、警報を出力する場合に、警報ブザーだけではドライバが警報の意味を正しく理解できないという課題に対して、ヘッドアップディスプレイの表示を合わせて活用し、警報出力時のみ画像表示を高輝度化し、待機状態ではドライバが視認できない程度に、画像中の特定領域の輝度を低くする技術が記載されている。

また、特許文献２には、近赤外線カメラと遠赤外線カメラにより生体を検知して、近赤外線画像中に生体領域を強調表示する技術が記載され、特許文献３には、可視光カメラや赤外線カメラにより周囲物体のコントラスト向上処理やエッジ強調処理を行って表示する技術が記載されている。

特開２００１−３１５５４７号公報 特開２００８−１８３９３３号公報 特開２０００−０１９２５９号公報

しかしながら、従来のナイトビジョンでは、モニタに表示される画像は白黒で、輪郭もぼやけているため、何が表示されているのか認識しづらい。上記特許文献１では、歩行者を検知して枠で囲んで強調表示しているが、複数の歩行者が存在する場合は画面中に多数の枠が表示されて見づらくなる。また、ドライバは、モニタを凝視しなければ、モニタに表示された対象物や周囲環境を認識できないため、距離感や位置関係の理解も容易ではなく、十分な運転支援ができていない。

本発明は、上述の課題に鑑みてなされ、その目的は、夜間などの周囲の照度が低い状況において正確且つ容易に移動体や周囲環境を認識できる技術を実現することである。

上述の課題を解決し、目的を達成するために、本発明に係る第１の形態は、自車両の位置を検出する位置検出手段と、自車両周囲の移動体を検出する移動体検出手段と、自車両周囲の画像を撮影する画像撮影手段と、自車両周囲の照度を検出する照度検出手段と、前記照度検出手段により検出された照度が所定閾値以下であるか否かを判定する判定手段と、前記判定手段により照度が所定閾値を超えるときに撮影された高輝度画像から移動体が削除された高輝度背景画像を取得する取得手段と、前記判定手段により照度が前記所定閾値以下であると判定された場合に、前記取得手段により取得した自車両の位置情報に対応する高輝度背景画像と、前記移動体検出手段により検出された移動体とを合成する合成手段と、前記合成手段により合成された画像を表示する表示手段と、を有する。この形態によれば、夜間などの周囲の照度が低い状況において正確且つ容易に対象物や周囲環境を認識できる。

また、本発明に係る第２の形態は、前記高輝度画像を前記自車両の位置情報とともに情報センタへ送信する送信手段と、前記判定手段により照度が前記所定閾値以下であると判定された場合に、前記情報センタから自車両の位置情報に応じた高輝度背景画像を受信する受信手段と、を更に有し、前記情報センタは、前記高輝度画像を前記自車両の位置情報とともに記憶する高輝度画像記憶手段と、前記高輝度画像から抽出した移動体を前記高輝度画像から削除した高輝度背景画像を作成して記憶する背景画像記憶手段と、を有し、前記合成手段は、前記情報センタから取得した高輝度背景画像と前記移動体検出手段により検出された移動体とを合成する。この形態によれば、他車両で撮影された高輝度画像データを背景画像として利用することができる。

また、本発明に係る第３の形態は、前記表示手段は、前記移動体をアイコンとして表示する。この形態によれば、正確且つ早期に移動体を認識することができる。

また、本発明に係る第４の形態は、前記情報センタから受信した高輝度背景画像の上方領域を暗く、下方領域を明るくなるように輝度を補正する輝度補正処理手段を更に有する。また、第５の形態は、前記輝度補正処理手段は、前記照度が前記所定閾値以下の場合、前記画像撮影手段により撮影された画像と、前記高輝度背景画像とをオーバーラップすることにより輝度を補正する。また、第６の形態は、前記輝度補正処理手段は、前記情報センタから受信した高輝度背景画像の上方領域の色調を変更する。これらの形態によれば、画面上における輝度の高い領域を小さくできるので、画面からドライバの目に入る光量を低減でき、暗い車外を視認しやすくなる。

また、本発明に係る第７の形態は、前記合成手段は、前記高輝度背景画像から静止物の３次元データを作成し、当該３次元データを用いて自車両から遠い静止物ほど暗くなるよう輝度を補正する。また、第８の形態は、前記合成手段は、前記高輝度背景画像から消失点を算出し、当該消失点に近いほど暗く、消失点から遠いほど明るくなるよう輝度を補正する。また、第９の形態は、前記移動体検出手段により検出された移動体との距離を検出する距離検出手段と、前記距離検出手段により検出された移動体との距離に応じて前記高輝度背景画像に合成される移動体の表示サイズを変更する表示サイズ補正手段と、を更に有する。これらの形態によれば、移動体との距離を正確に認識することができる。

また、本発明に係る第１０の形態は、前記合成手段は、前記高輝度背景画像からドライバに注意を向けさせたい対象物を特定し、当該特定された対象物を強調表示するよう補正する強調補正手段を更に有する。また、第１１の形態は、前記強調補正手段は、前記高輝度背景画像からドライバに危険予知をさせたい領域を特定し、当該特定された領域を強調表示するよう補正する。これらの形態によれば、ドライバが注意を喚起すべき領域や危険予知をすべき領域を正確且つ容易に認識することができる。

また、本発明に係る第１２の形態は、前記移動体検出手段は、撮影位置及びアングルが略同じ複数の高輝度背景画像から、当該高輝度背景画像中の静止物を除去した画像を比較することにより移動体を検出する。この形態によれば、システムの信頼性を向上させることができる。

また、本発明に係る第１３の形態は、前記距離検出手段により検出された移動体との距離に応じて危険度を判定する危険度判定手段を更に有し、前記合成手段は、前記危険度の高い移動体ほど強調表示するよう補正する。この形態によれば、危険な対象物を正確且つ容易に認識することができる。

本発明によれば、夜間などの周囲の照度が低い状況において正確且つ容易に移動体や周囲環境を認識できる。

本発明に係る実施形態の車両用表示装置を搭載した車両を示す平面図である。 本実施形態の車両及び情報センタの機能ブロック図である。 本実施形態の車両及び情報センタにおける処理を示すフローチャートである。 本実施形態による合成画像の表示例を示す図である。 本実施形態による合成画像の表示例を示す図である。 本実施形態による合成画像の表示例を示す図である。 本実施形態による合成画像の表示例を示す図である。 本実施形態による合成画像の表示例を示す図である。 本実施形態による合成画像の表示例を示す図である。 本実施形態による合成画像の表示例を示す図である。

以下に、本発明の実施の形態について添付図面を参照して詳細に説明する。尚、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明は、その趣旨を逸脱しない範囲で下記実施形態を修正又は変形したものに適用可能である。また、後述する各実施形態の制御に対応するコンピュータプログラムや当該コンピュータプログラムが格納された記憶媒体を、車両に搭載されたコンピュータに供給して、当該コンピュータが記憶媒体に格納されたプログラムコードを読み出して実行するようにしてもよい。

［システム構成］
図１は本発明に係る実施形態の車両用表示装置を搭載した車両を示す平面図、図２は本実施形態の車両及び情報センタの機能ブロック図である。

図１に示すように、車両１には、車体フロント部に距離センサ２、インパネ上部に照度センサ３及びモニタ４、ルームミラー付近に自車両前方を撮影する外界カメラ５、車体中央部にＧＰＳ信号を受信する位置検出センサ６、車体後部に通信インタフェース７が搭載されている。ここで、距離センサ２は、自車両周囲の移動体と距離が計測可能であり、モニタ表示用画像を作成できる高精度且つ高解像度のものでなくてもよく、例えば、安価な赤外線カメラ、ＣＣＤやＣＭＯＳを用いた可視光カメラ、レーザレーダ、ミリ波レーダが適用できる。照度センサ３は、自車両周囲の照度を検出する。モニタ４は、ドライバが視認できるものであって、例えば、ヘッドアップディスプレイ、カーナビゲーションシステム用のディスプレイ、インパネ部のメータ表示部の切り替えモニタなどが適用できる。通信インタフェース７は、送受信処理部や通信アンテナなどを有し、情報センタ１００と無線通信を行う。

図２に示すように、車両１は、通信インタフェース７を介して情報センタ１００と通信可能に接続される。画像取得部１１は、外界カメラ５で撮影された画像データを取得する。照度判定部１２は、画像取得部１１から入力した撮影画像の平均輝度を算出し、昼間撮影された高輝度画像（昼間画像）か、夜間撮影された低輝度画像（夜間画像）かを判定する。なお、高輝度画像か否かは、照度センサ３により検出された照度や撮影時刻により判定することも可能である。表示画像出力部１３は、照度判定部１２により判定された昼間画像をモニタ４に出力する。

送信データ作成処理部１４は、画像取得部１１から撮影画像データ、位置検出センサ６から自車両の現在位置情報をそれぞれ入力し、照度判定部１２での判定が昼間画像の場合には、昼間画像データと現在位置情報、夜間画像の場合には、現在位置情報のみを通信インタフェース７を介して情報センタ１００に送信する。

背景画像受信部１５は、照度判定部１２での判定が夜間画像の場合、通信インタフェース７を介して情報センタ１００へ高輝度背景画像データの配信要求を送信し、情報センタ１００から受信した高輝度背景画像データを背景画像補正処理部１６及び高精度移動体検出処理部２１へ出力する。

背景画像補正処理部１６は、背景画像受信部１５から入力した高輝度背景画像データ並びに照度センサ３により検出された現在の照度情報を入力し、輝度補正処理部１６ａが高輝度背景画像データの輝度を補正して、合成処理部２０へ出力する。この輝度補正処理は、情報センタ１００において自車両の現在位置情報、現在時刻情報、推定される照度情報から輝度補正値を算出するか、自車両に搭載された可視光カメラによる撮影画像と昼間画像とをオーバーラップする処理（例えば、画素平均又はアルファブレンディング）により実行される。

移動体抽出処理部１７は、画像取得部１１から入力した昼間画像データから移動体を抽出し、移動体画像補正処理部１９へ出力する。危険度判定部１８は、距離センサ２により検出された移動体との距離や衝突時間などから危険度を判定し、移動体画像補正処理部１９へ出力する。

移動体画像補正処理部１９では、表示サイズ補正処理部１９ａが移動体と背景画像中の静止物の位置関係に応じて移動体の表示サイズを補正する。あるいは、危険度判定部１８で判定された危険度に応じて移動体の表示サイズを補正する。輝度補正処理部１９ｂは危険度判定部１８で判定された危険度に応じて移動体の輝度を補正する。

合成処理部２０は、距離感の輝度補正処理部２０ａと強調補正処理部２０ｂを有し、背景画像補正処理部１６から入力した高輝度背景画像４１と、移動体画像補正処理部１９から入力した移動体の画像データ４２又はアイコン４３とを合成した合成画像データ（図４（ａ），（ｂ））を作成し、モニタ４へ出力する。

高精度移動体検出処理部２１は、昼間画像の解析結果や情報センタ１００から受信した自車両周囲の静止物の３次元データを利用して、距離センサ２による検出結果から静止物の３次元データを除去し、警報表示判定処理部２２へ出力する。警報表示判定処理部２２は、移動体の検出結果に応じて警報が必要な状態か判定し、モニタ４へ警報を出力する。

情報センタ１００は、サーバとして車両１と通信を行う通信インタフェース１０１、通信インタフェース１０１を介して車両１から受信した高輝度画像データと車両の位置情報、受信時刻情報を記憶する高輝度画像記憶部１０２、高輝度画像記憶部１０２に記憶された高輝度画像データから背景画像データを作成する背景画像作成部１０３、背景画像作成部１０３により作成された背景画像データを記憶する背景画像記憶部１０４とを有する。

背景画像作成部１０３は、輝度補正値算出処理部１０３ａ、移動体削除処理部１０３ｂ、送信データ作成処理部１０３ｃを有する。輝度補正値算出処理部１０３ａは、車両１側に送信され、背景画像補正処理部１６の輝度補正処理部１６ａでの輝度補正処理に利用する輝度補正値を算出する。移動体削除処理部１０３ｂは、高輝度画像記憶部１０２に記憶された高輝度画像から移動体を抽出する処理並びに高輝度画像から抽出した移動体を削除する処理を行うことにより背景画像データを作成し、背景画像記憶部１０４に記憶する。送信データ作成処理部１０３ｃは、車両１から受信した自車両の位置情報に応じた背景画像データを背景画像記憶部１０４から読み出し、通信インタフェース１０１を介して車両１に送信する。

［処理フロー］
図３は、本実施形態の車両及び情報センタにおける処理を示すフローチャートである。

図３において、車両１では、先ず、画像取得部１１が外界カメラ５から撮影画像データを取得し、位置検出センサ６から自車両の現在位置情報を取得する（Ｓ１）。次に、照度判定部１２は、画像取得部１１から入力した撮影画像データから平均輝度を算出し（Ｓ２）、撮影画像の平均輝度が所定閾値Ｋより大きいか否か判定する（Ｓ３）。ここで、撮影画像の平均輝度が所定閾値Ｋより大きいならば昼間画像と判定し、送信データ作成処理部１４は、昼間画像としての撮影画像データと自車両の現在位置情報とを情報センタ１００へ送信するとともに（Ｓ４）、昼間画像をモニタ４へ表示する（Ｓ５）。

一方、Ｓ３で撮影画像の平均輝度が所定閾値Ｋ以下ならば夜間画像と判定し、危険度判定部１８が移動体の危険度を算出し（Ｓ６）、移動体抽出処理部１７が夜間画像から移動体を抽出し（Ｓ７）、移動体画像補正処理部１９の表示サイズ補正処理部１９ａが移動体との距離や衝突時間に応じた表示サイズの補正処理を行う（Ｓ８）。ここでは、移動体を画像又はアイコンで表示する場合に、図５（ａ），（ｂ）のように距離センサ２により検出されたノイズを含む移動体の画像５１又はアイコン５２をそのままの大きさで表示するのではなく、図５（ｃ），（ｄ）のように、表示サイズ補正処理部１９ａが危険度判定部１８で判定された危険度（自車両との距離や衝突時間など）や静止物との位置関係に応じて移動体の画像５３又はアイコン５４の表示サイズを補正する。

次に、輝度補正処理部１９ｂが移動体の危険度に応じた輝度補正処理を行う（Ｓ９）。ここでは、図６（ａ）に示すように、危険度判定部１８で判定された危険度に応じて、例えば自車両との距離が最も近い歩道にいる歩行者を表す移動体の画像６１（又はアイコン）の表示サイズを大きくしたり、輝度を上げつつ周辺領域の色調を変更したり、図６（ｂ）に示すようにドライバの注意喚起を促すマーク６２などで強調表示する。

その後、送信データ作成処理部１４が自車両の現在位置情報のみ（夜間のため）を情報センタ１００へ送信する（Ｓ１０）。

次に、背景画像受信部１５が情報センタ１００から自車両の現在位置情報に応じた高輝度背景画像データ（及び輝度補正値）を受信し（Ｓ１１）、輝度補正処理部１６ａが輝度補正値に応じた高輝度背景画像データの輝度補正処理を行う（Ｓ１２）。この輝度補正処理は、例えば、図７（ａ），（ｂ）に示すように、現在時刻の照度に合わせて高輝度背景画像データの上方領域（例えば、空の領域）を暗くし、下方領域へ段階的に明るくなるように輝度を変更したり、図７（ｃ），（ｄ）に示すようにＲ、Ｇ、Ｂのトーンカーブを変換する処理を行って色調を変更する。あるいは、図８に示すように、可視光カメラの夜間画像８１と高輝度画像８２とをオーバーラップ手法などを用いて合成することにより輝度補正を行ってもよい。

次に、合成処理部２０が、図４に示したように移動体画像補正処理部１９から入力した移動体画像データと背景画像補正処理部１６から入力した高輝度背景画像データとを合成する処理を行うとともに（Ｓ１３）、距離感の輝度補正処理部２０ａでの輝度補正処理（Ｓ１４）、強調補正処理部２０ｂでの強調補正処理（Ｓ１５）を行う。この距離感の輝度補正処理は、合成処理部２０が、背景画像の集合や距離センサ２による検出結果から、３次元復元処理などの画像処理により自車両周囲の静止物（例えば、建物、電柱、標識などの地物）の３次元データを作成する。あるいは、情報センタ１００から背景画像中の静止物の３次元データを取得する。そして、作成された３次元データを利用して、図９（ａ）に示すように自車両から遠い領域は暗く、近い領域は明るく表示されるように輝度を補正する。あるいは、輝度補正処理部２０ａが、背景画像の集合から、画像処理により道路白線や歩道縁石から消失点を検出し、図９（ｂ）に示すように消失点付近を暗く、消失点から画面縁部に向かって段々に明るく表示されるように輝度を補正する。

また、強調補正処理では、ナビゲーションシステム８と連動して地図データベース上で経路誘導に使用している物体情報と背景画像データとを整合させ、図１０（ａ）に示すように経路誘導のランドマーク１１１（例えば、白線、ガードレール、交通標識、信号機、道路案内表示、経路誘導における交差点方向指示案内）など、ドライバに注意を向けさせたい領域を特定し、その領域の輝度を上げて強調表示されるよう補正を行う。また、図１０（ｂ）に示すように交差点に接近したときに（例えば、交差点手前５０ｍ）、歩行者や自転車が駐車車両のわきから飛び出してくる可能性がある領域１１２や交差点に進入し巻込みの可能性がある領域１１３など、ドライバに危険予知をさせたい領域を特定し、その領域の輝度を上げて強調表示されるよう補正を行う。

その後、高精度移動体検出処理部２１での移動体検出処理（Ｓ１６）、警報表示判定処理部２２での警報出力判定処理（Ｓ１７）を行った後、合成画像をモニタ４へ表示する（Ｓ１８）。この移動体検出処理は、昼間画像の解析や情報センタ１００から高輝度背景画像中の静止物の３次元データを取得し、撮影位置及びアングルが略同じ複数の高輝度背景画像から、当該高輝度背景画像中の静止物を除去した画像を比較することにより移動体を検出する。これにより、電柱や看板なども検出しノイズにより歩行者と誤検出しやすいレーザレーダや、距離検出精度が低いために遠方にいる歩行者を検出しにくいステレオカメラや、分解能が低いために物体識別性能が劣るミリ波レーダシステムなどを距離センサとして搭載した場合でも、道路領域や歩道領域を正確に検出し、高精度に歩行者などの移動体を検出する。

情報センタ１００では、車両１から昼間画像データや自車両の現在位置情報を受信し（Ｓ２１）、昼間画像データと自車両の位置情報、受信時刻情報を高輝度画像記憶部１０２へ記憶するとともに（Ｓ２２）、背景画像作成部１０３が高輝度画像記憶部１０２からその昼間画像データを読み出し、移動体削除処理部１０３ｂが昼間画像データから移動体を抽出する処理並びに抽出した移動体を削除する処理を行って背景画像データを作成し、背景画像記憶部１０４に記憶する（Ｓ２４、Ｓ２５）。

次に、情報センタ１００は、車両１から自車両の現在位置情報を受信し（Ｓ２６）、背景画像作成部１０３が背景画像記憶部１０４から自車両の現在位置情報に応じた背景画像データを読み出し（Ｓ２７）、輝度補正値算出処理部１０３ａが輝度補正値算出処理を行い（Ｓ２８）、送信データ作成処理部１０３ｃが背景画像データと輝度補正値とを車両１に送信する（Ｓ２９）。

［効果の説明］
本実施形態によれば、
（１）自車両又は他車両が昼間に走行したときに撮影した画像を位置情報とともに情報センタ１００に送信する。
（２）情報センタ１００では、略同じ位置及びアングルで撮影された複数枚の画像および、時系列で撮影された複数枚の画像から移動体を検出する。
（３）昼間画像中から移動体を削除することにより、移動体を削除した静止物及び地物だけの高輝度背景画像を作成し記憶する。
（４）自車両が夜間走行した場合に、現在位置情報を情報センタ１００に送信して現在走行している位置での高輝度背景画像を取得する。
（５）距離センサ２によって自車両に接近する車両や歩行者などの移動体を検出し、移動体との距離を計測または３次元データを算出することで、高輝度背景画像に自車両と移動体との位置が一致するようにカラー合成画像を作成する（図４）。
（６）夜間やドライバの視程距離が短い場合に、カラー合成画像を自車両の現在位置情報に応じて更新しながら常時表示する。

上記処理（１）〜（６）により、以下の効果を奏する。
・ドライバが遠くにいる歩行者などの移動体の存在を早期に容易に認識できる。
・夜間であっても昼間と同じ輝度で視認できるので周囲環境を正確に認識することができ、例えば、移動体がガードレールの内側にいるのか、車道にいるのかなども容易に把握することができる。
・夜間であっても昼間と同じようにドライバが周囲環境を認識できるので、移動体の危険予知などが容易にできる。
・道路の構造も正確に把握できるので、ドライバがなすべき運転行動も正確に判断することができる。
・夜間も明るく撮影できる超高感度カメラを使用することなく実現できるので、低コスト化になる。
・距離センサやブラインドモニタ用カメラの転用によってもシステムが実現できるので、低コスト化になる。

また、本実施形態によれば、
（７）図７，図８に示すように、高輝度背景画像において、現在の時刻と照度に合わせて空領域の輝度を下げて暗くしたり、Ｒ、Ｇ、Ｂのトーンカーブの変換により色調を変更する。あるいは、背景画像の上方領域を暗くし、下方領域を明るくするように輝度を変更する。

これにより、モニタにおける輝度の高い領域を小さくできるので、モニタからのドライバの目に入る光量を低減でき、暗い車外を視認しやすくなる。モニタがまぶしくて、車外を見にくくなることを防げる。

また、モニタ上において、ドライバが注意を払うべき移動体を強調表示し、背景領域をぼかすことで、ドライバが無駄に背景領域に注意を向けてしまったり、表示画像だけで運転行動を判断することを防ぐことができる。

また、曇りの日や夕暮れ時などの街路灯が点灯する前で薄暗く、ドライバの視認性が低下する時間帯や条件においても、ドライバが周囲環境および移動体を認識しやすい画像を表示できる。

また、昼間の撮影条件が、晴天の昼過ぎの明るい状況であったり、曇りの夕方の少し暗い状況であったとしても、現在走行している条件に近い画像を作り出すことができる。

更に、本実施形態によれば、
（８）図９に示すように、背景画像の集合から静止物の３次元データを作成する。そして、背景領域の３次元データを利用して遠い領域は暗く、近い領域は明るく表示する。あるいは、画像処理により道路の白線や縁石から消失点を検出し、消失点を中心付近を暗くし、消失点から画面縁部に向けて段々に輝度が上がるように表示する。

これにより、以下の効果を奏する。
・ドライバが正確に危険な対象物を認識できる。
・ドライバが対象物の危険度合いを判断できる。
・ドライバが距離感や遠近感を認識しやすくなるので、最も危険な対象物が何か、衝突可能性がどのくらいあるのか、どの方向や場所に走行すべきか、判断や操作をするための情報として活用できる。
・ブレーキタイミングや操舵タイミングを判断しやすくなる。

また、本実施形態によれば、
（９）図５に示すように、距離センサ２により検出した移動体の画像あるいはノイズを含んだデータをそのまま合成せずに、背景領域の位置関係だけでなく、自車両との距離に応じて表示サイズを変更する。

これにより、上記（８）と同様の効果が得られる。

また、本実施形態によれば、
（１０）図１０に示すように、移動体の行動予測がしやすい道路環境の特徴的な対象物（白線、ガードレール、など）と、ドライバが安全且つ適切な運転をするための道路標識や信号機などのランドマークを認識しやすく表示する。

これにより、以下の効果を奏する。
・ドライバが周囲環境を認識できるので、歩行者の行動が予測しやすくなる。
・ドライバが危険予知をしやすくなり、例えば、歩道にガードレールがあれば、歩行者は車道へ飛び出す危険が少ないなどの判断ができる。
・夜間でドライバの視程が短い場合でも、安全且つ適切な運転をするのに有効な交通標識や道路案内などを認識することができるので、運転負担を減らすことができる。

また、本実施形態によれば、
（１１）図１０に示すように、ナビゲーションシステム８と連動して、地図データベース上で経路誘導に使用している物体と背景画像とを整合させ、経路誘導のランドマークの輝度を上げて強調表示する。また、交差点にある程度接近した場合に（例えば、交差点まで５０ｍ手前）、交差点進入時にドライバが注意を向けるべき領域の輝度を上げて強調表示し、ドライバへの注意喚起を促す。

これにより、以下の効果を奏する。
・夜間や雨天などドライバの視程が短い状況であっても、ナビゲーションの経路誘導と実空間の物体やマークとの整合を取りやすくなるので、ドライバの運転負担を減らすことができる。
・ナビゲーションシステムと連動することで、ナビゲーションの経路誘導の効果を高めることができる。
・危険が発生する可能性の高い領域を指定せず、明示的な注意誘導の表示ではないので、ドライバ自身による安全確認を阻害せずに、かつドライバの危険予知の能力を向上させることができる。

また、本実施形態によれば、
（１２）図６に示すように、自車両との距離や衝突時間などの危険度に応じて移動体の表示サイズを大きくしたり、輝度を上げるとともに周辺領域の色調を変更したり、注意喚起を意味するマークを表示することにより強調表示の度合いを切り替える。

これにより、上記（８）と同様の効果が得られる。

また、本実施形態によれば、
（１３）昼間画像の解析や情報センタ１００から高輝度背景画像中の静止物の３次元データを取得し、撮影位置及びアングルが略同じ複数の高輝度背景画像から、当該高輝度背景画像中の静止物を除去した画像を比較することにより移動体を検出する。これにより、電柱や看板なども検出しノイズにより歩行者と誤検出しやすいレーザレーダや、距離検出精度が低いために遠方にいる歩行者を検出しにくいステレオカメラや、分解能が低いために物体識別性能が劣るミリ波レーダシステムなどを距離センサとして搭載した場合でも、道路領域や歩道領域を正確に検出し、高精度に歩行者などの移動体を検出する。

これにより、以下の効果を奏する。
・正確な情報をドライバに提供できるので、ドライバのシステムへの不信感を低減できる。
・距離センサによる距離の計測や移動体の検出性能を向上できる。
・ノイズを除去するための、他のセンサや複雑な処理ロジックの追加などが不要になる。

Claims (13)

1. 自車両の位置を検出する位置検出手段と、
   自車両周囲の移動体を検出する移動体検出手段と、
   自車両周囲の画像を撮影する画像撮影手段と、
   自車両周囲の照度を検出する照度検出手段と、
   前記照度検出手段により検出された照度が所定閾値以下であるか否かを判定する判定手段と、
   前記判定手段により照度が所定閾値を超えるときに撮影された高輝度画像から移動体が削除された高輝度背景画像を取得する取得手段と、
   前記判定手段により照度が前記所定閾値以下であると判定された場合に、前記取得手段により取得した自車両の位置情報に対応する高輝度背景画像と、前記移動体検出手段により検出された移動体とを合成する合成手段と、
   前記合成手段により合成された画像を表示する表示手段と、を有することを特徴とする車両用表示装置。
2. 前記高輝度画像を前記自車両の位置情報とともに情報センタへ送信する送信手段と、
   前記判定手段により照度が前記所定閾値以下であると判定された場合に、前記情報センタから自車両の位置情報に応じた高輝度背景画像を受信する受信手段と、を更に有し、
   前記情報センタは、
   前記高輝度画像を前記自車両の位置情報とともに記憶する高輝度画像記憶手段と、
   前記高輝度画像から抽出した移動体を前記高輝度画像から削除した高輝度背景画像を作成して記憶する背景画像記憶手段と、を有し、
   前記合成手段は、前記情報センタから取得した高輝度背景画像と前記移動体検出手段により検出された移動体とを合成することを特徴とする請求項１に記載の車両用表示装置。
3. 前記表示手段は、前記移動体をアイコンとして表示することを特徴とする請求項１に記載の車両用表示装置。
4. 前記情報センタから受信した高輝度背景画像の上方領域を暗く、下方領域を明るくなるように輝度を補正する輝度補正処理手段を更に有することを特徴とする請求項１に記載の車両用表示装置。
5. 前記輝度補正処理手段は、前記照度が前記所定閾値以下の場合、前記画像撮影手段により撮影された画像と、前記高輝度背景画像とをオーバーラップすることにより輝度を補正することを特徴とする請求項４に記載の車両用表示装置。
6. 前記輝度補正処理手段は、前記情報センタから受信した高輝度背景画像の上方領域の色調を変更することを特徴とする請求項４に記載の車両用表示装置。
7. 前記合成手段は、前記高輝度背景画像から静止物の３次元データを作成し、当該３次元データを用いて自車両から遠い静止物ほど暗くなるよう輝度を補正することを特徴とする請求項１に記載の車両用表示装置。
8. 前記合成手段は、前記高輝度背景画像から消失点を算出し、当該消失点に近いほど暗く、消失点から遠いほど明るくなるよう輝度を補正することを特徴とする請求項１に記載の車両用表示装置。
9. 前記移動体検出手段により検出された移動体との距離を検出する距離検出手段と、
   前記距離検出手段により検出された移動体との距離に応じて前記高輝度背景画像に合成される移動体の表示サイズを変更する表示サイズ補正手段と、を更に有することを特徴とする請求項１に記載の車両用表示装置。
10. 前記合成手段は、前記高輝度背景画像からドライバに注意を向けさせたい対象物を特定し、当該特定された対象物を強調表示するよう補正する強調補正手段を更に有することを特徴とする請求項１に記載の車両用表示装置。
11. 前記強調補正手段は、前記高輝度背景画像からドライバに危険予知をさせたい領域を特定し、当該特定された領域を強調表示するよう補正することを特徴とする請求項１０に記載の車両用表示装置。
12. 前記移動体検出手段は、撮影位置及びアングルが略同じ複数の高輝度背景画像から、当該高輝度背景画像中の静止物を除去した画像を比較することにより移動体を検出することを特徴とする請求項１に記載の車両用表示装置。
13. 前記距離検出手段により検出された移動体との距離に応じて危険度を判定する危険度判定手段を更に有し、
    前記合成手段は、前記危険度の高い移動体ほど強調表示するよう補正することを特徴とする請求項９に記載の車両用表示装置。