JP2009253673A

JP2009253673A - 車両用周囲状況表示装置

Info

Publication number: JP2009253673A
Application number: JP2008099254A
Authority: JP
Inventors: Takaaki Iwama; 隆昭岩間
Original assignee: Clarion Co Ltd
Current assignee: Faurecia Clarion Electronics Co Ltd
Priority date: 2008-04-07
Filing date: 2008-04-07
Publication date: 2009-10-29

Abstract

【課題】車両周囲の映像から立体物を検出し、車両周囲の映像中の立体物をわかりやすく表示することを目的とする。
【解決手段】車両の前面、後面、右側面、左側面の少なくとも一面の左右に設けられ、該面に対向する方向を撮像する撮像部と、隣接する少なくとも二つの前記撮像部の撮像した映像に基づいて、前記映像中の立体物の画像を抽出し、前記映像における前記立体物の検出位置に前記立体物の前記画像を重畳する画像処理部とを備える。
【選択図】図１

Description

本発明は、車両に取り付けられ車両の周囲を撮像する撮像装置で取得した車両周囲映像を用いて、車両の周囲の状況を表示装置に表示する車両用周囲状況表示装置に関するものである。

車両の周囲を車両に取り付けた撮像装置（小型カメラ）で撮像し、撮像した映像を車内に設けたディスプレイに表示する車両用周囲状況表示装置が提案されている（特許文献１）。このような車両用周囲状況表示装置では、広角な視野角（たとえば１８０度）を有する小型カメラをフロントグリル等の車両の前部の略中央部と、トランクルームパネル等の車両の後部略中央部と、左右のドアミラー内部とに取り付けている。各カメラで撮像された映像は、画像処理部により俯瞰映像に変換された後に合成され、ディスプレイに表示される。このように、撮像した映像を俯瞰映像に変換することで、ディスプレイ上における車両周囲の距離感が把握しやすくなり、車両周囲に立体物がある場合には、車両と立体物との距離が掴み易くなる
特開２００８−０１７３１１公報

しかしながら、このような車両用周囲状況表示装置では、小型カメラで撮影した映像を俯瞰映像に変換しているため、立体物はその上下（天地）方向が強調されて表示されてしまい、違和感のある映像になってしまう、という問題がある。

また、小型カメラの取り付け位置が車両の略中央部と側方にあるため、取り付け位置と車両の外形形状（バンパーの形状等）によっては、車両のコーナー部分が死角となってしまう場合がある。

また、異なる小型カメラで撮影した映像を俯瞰映像に変換した後に合成する場合、合成は路面を基準に路面ずれが発生しないように行われるため、合成の境界部分に立体物がある際は、立体物がほとんど表示されない合成映像が得られてしまう場合がある。

さらに、ディスプレイに表示された映像を運転者が目視して立体物の有無を確認することになり、自車両と立体物との接触の可能性の程度が把握しにくい、という問題がある。

本発明は、車両周囲の映像から立体物を検出し、車両周囲の映像中の立体物をわかりやすく表示することを目的とする。

上記課題を解決するために、請求項１に記載の車両用周囲状況表示装置は、車両の前面、後面、右側面、左側面の少なくとも一面の左右に設けられ、該面に対向する方向を撮像する撮像部と、隣接する少なくとも二つの前記撮像部の撮像した映像に基づいて、前記映像中の立体物の画像を抽出し、前記映像における前記立体物の検出位置に前記立体物の前記画像を重畳する画像処理部と、を備えることを特徴とする。

また、請求項２に記載の車両用周囲状況表示装置は、請求項１に記載の車両用周囲状況表示装置において、前記画像処理部は、前記撮像部で撮像した前記映像を俯瞰映像に変換し、前記映像中の前記立体物の前記画像の抽出は、隣接する少なくとも二つの前記撮像部の撮像した前記映像の前記俯瞰映像の差分に基づいて行われること、を特徴とする。

また、請求項３に記載の車両用周囲状況表示装置は、請求項２に記載の車両用周囲状況表示装置において、前記立体物の前記画像は、前記撮像部の撮像した前記映像の前記俯瞰映像に重畳されること、を特徴とする。

また、請求項４に記載の車両用周囲状況表示装置は、請求項１または２に記載の車両用周囲状況表示装置において、前記立体物の前記画像は、前記撮像部の撮像した前記映像に重畳される際に、色または形状の少なくとも一方が強調されて重畳されること、を特徴とする。

また、請求項５に記載の車両用周囲状況表示装置は、請求項３に記載の車両用周囲状況表示装置において、前記立体物の前記画像は、前記撮像部の撮像した前記映像の前記俯瞰映像に重畳される際に、色または形状の少なくとも一方が強調されて重畳されること、を特徴とする。

また、請求項６に記載の車両用周囲状況表示装置は、請求項１〜５のいずれか１項に記載の車両用周囲状況表示装置において、隣接する二つの前記撮像部は、同一の方向を撮像する撮像部であること、を特徴とする。

また、請求項７に記載の車両用周囲状況表示装置は、請求項１〜５のいずれか１項に記載の車両用周囲状況表示装置において、前記撮像部は、前記車両の前記前面、前記後面、前記右側面、前記左側面のうち、隣接する少なくとも２面の左右に設けられ、隣接する二つの前記撮像部は、異なる方向を撮像する撮像部であること、を特徴とする。

また、請求項８に記載の車両用周囲状況表示装置は、請求項１〜７のいずれか１項に記載の車両用周囲状況表示装置において、前記画像処理部は、前記立体物の前記検出位置の前記車両側に、警告線を表示すること、を特徴とする。

また、請求項９に記載の車両用周囲状況表示装置は、請求項１〜７のいずれか１項に記載の車両用周囲状況表示装置において、前記画像処理部は、前記立体物の前記検出位置の前記車両の最も近い側に、警告線を表示すること、を特徴とする。

また、請求項１０に記載の車両用周囲状況表示装置は、請求項１〜９のいずれか１項に記載の車両用周囲状況表示装置において、前記撮像部は、車両のコーナーに設けられていること、を特徴とする。

さらに、請求項１１に記載の車両用周囲状況表示装置は、１〜１０のいずれか１項に記載の車両用周囲状況表示装置において、前記撮像部は、光軸が略９０度異なる２方向の映像をそれぞれ集光する二つの光学系と、該二つの光学系で集光した前記映像を受光する一つの撮像素子とを備えること、を特徴とする。

本発明の車両用周囲状況表示装置では、車両周囲の映像から立体物を検出し、車両周囲の映像中の立体物をわかりやすく表示するため、ディスプレイ上での立体物の確認が容易に行える。

また、本発明の車両用周囲状況表示装置では、車両の周囲映像を俯瞰映像に変換し、俯瞰映像の視差に基づいて立体物を検出するため、立体物の検出が高精度かつ容易に行われる。

また、本発明の車両用周囲状況表示装置では、車両の周囲映像を俯瞰映像に変換して表示するため、車両周囲の距離感が把握しやすい。

また、本発明の車両用周囲状況表示装置では、俯瞰映像に立体物の通常映像（俯瞰図ではない映像）を重畳して表示するため、ディスプレイ上での立体物の確認が容易に行える。

また、本発明の車両用周囲状況表示装置では、俯瞰映像の合成部分においても、立体物の通常映像（俯瞰図ではない映像）を重畳して表示するため、ディスプレイ上での立体物の確認が容易に行える。

また、本発明の車両用周囲状況表示装置では、車両のコーナー部分に立体物がある場合でも立体物を検出し表示を行うため、利便性を向上することができる。

また、本発明の車両用周囲状況表示装置では、立体物の色および形状の少なくとも一方が強調して表示されるため、ディスプレイ上での立体物の確認が容易に行える。

また、本発明の車両用周囲状況表示装置では、立体物の検出位置に警告線が表示されるため、ディスプレイ上での立体物の確認が容易かつ立体物までの距離感が把握しやすい。

また、本発明の車両用周囲状況表示装置では、車両のコーナー部分で光軸が９０度異なる映像を取得するため、交差点で左右方向から接近する車両を確認する場合でも、十分な視野角を確保することができ、視野角の不足により接近する車両を見失うことがない。

さらに、本発明の車両用周囲状況表示装置では、後側方から接近する車両に対しても、十分な視野角を確保することができ、視野角の不足により接近する車両を見失うことがない。

以下、本発明の実施形態を図面に従って説明する。

図１に、本発明の実施形態の車両用周囲状況表示装置のブロック図を示す。

車両用周囲状況表示装置は、第１撮像部１１０、第２撮像部１２０、第３撮像部１３０、第４撮像部１４０、第１デコーダ２１０、第２デコーダ２２０、第３デコーダ２３０、第４デコーダ２４０、画像処理部３００、制御部４００、エンコーダ５００、フラッシュメモリ６００、ＳＤＲＡＭ７００、警報音発生部８００、表示画面９０１を有する表示部９００を備えている。

図２右図に示すように、第１撮像部１１０は、車両１０の右前方コーナー部分に取り付けられており、車両右前方および車両右側方の映像を撮像する。また、第２撮像部１２０は、車両１０の右後方コーナー部分に取り付けられており、車両右後方および車両右側方の映像を撮像する。また、第３撮像部１３０は、車両１０の左後方コーナー部分に取り付けられており、車両左後方および車両左側方の映像を撮像する。また、第４撮像部１４０は、車両１０の左前方コーナー部分に取り付けられており、車両左前方および車両左側方の映像を撮像する。

図２左図に、第１撮像部１１０の概要構成図を示す。第１撮像部１１０は、筐体１１１、光学系１１２ａ、光学系１１２ｂ、撮像素子１１３を備えており、光学系１１２ａ、１１２ｂ、撮像素子１１３は、光学系１１２ａ、１１２ｂを通過した光（映像）が撮像素子１１３上で結像するような位置となるように、筐体１１１に取り付けられている。ここで、光学系１１２ａの光軸と光学系１１２ｂの光軸とがなす角度は約９０度に設定されている。

同様に、第２撮像部１２０は、筐体１２１、光学系１２２ａ、光学系１２２ｂ、撮像素子１２３（いずれも図示省略）を備えており、撮像素子１２３は、光学系１２２ａ、１２２ｂを通過した像が撮像素子１２３上で結像するような位置となるように、筐体１２１に取り付けられている。ここで、光学系１２２ａの光軸と光学系１２２ｂの光軸とがなす角度は約９０度に設定されている。

また、第３撮像部１３０は、筐体１３１、光学系１３２ａ、光学系１３２ｂ、撮像素子１３３（いずれも図示省略）を備えており、撮像素子１３３は、光学系１３２ａ、１３２ｂを通過した像が撮像素子１３３上で結像するような位置となるように、筐体１３１に取り付けられている。ここで、光学系１３２ａの光軸と光学系１３２ｂの光軸とがなす角度は約９０度に設定されている。

さらに、第４撮像部１４０は、筐体１４１、光学系１４２ａ、光学系１４２ｂ、撮像素子１４３（いずれも図示省略）を備えており、撮像素子１４３は、光学系１４２ａ、１４２ｂを通過した像が撮像素子１４３上で結像するような位置となるように、筐体１４１に取り付けられている。ここで、光学系１４２ａの光軸と光学系１４２ｂの光軸とがなす角度は約９０度に設定されている。

ここで、第１撮像部１１０において、光学系１１２ａには車両右前方の映像（図３におけるＤ１Ｆ方向の映像）が入射し、光学系１１２ｂには車両右側方の映像（図３におけるＤ１Ｒ方向の映像）が入射する。

また、第２撮像部１２０において、光学系１２２ａには車両右後方の映像（図３におけるＤ２Ｂ方向の映像）が入射し、光学系１２２ｂには車両右側方の映像（図３におけるＤ２Ｒ方向の映像）が入射する。

また、第３撮像部１３０において、光学系１３２ａには車両左後方の映像（図３におけるＤ３Ｂ方向の映像）が入射し、光学系１３２ｂには車両左側方の映像（図３におけるＤ３Ｌ方向の映像）が入射する。

さらに、第４撮像部１４０において、光学系１４２ａには車両左前方の映像（図３におけるＤ４Ｆ方向の映像）が入射し、光学系１４２ｂには車両左側方の映像（図３におけるＤ４Ｌ方向の映像）が入射する。

第１デコーダ２１０、第２デコーダ２２０、第３デコーダ２３０、第４デコーダ２４０は、それぞれ第１撮像部１１０、第２撮像部１２０、第３撮像部１３０、第４撮像部１４０の出力信号を受け取り、画像処理部３００で行う信号処理に適した信号に変換（ここでは、ＮＴＳＣ信号からデジタル信号へ変換）して出力する。

画像処理部３００は、第１デコーダ２１０、第２デコーダ２２０、第３デコーダ２３０、第４デコーダ２４０が出力する出力信号を取り込み、後述する画像処理を実施する。

制御部４００は、画像処理部３００の動作制御を行う。

エンコーダ５００は、画像処理部３００の出力信号を受け取り、表示部９００の表示に適した信号に変換（ここでは、デジタル信号からＮＴＳＣ信号へ変換）する。

フラッシュメモリ６００は、画像処理部３００が映像を俯瞰映像に変換する際に用いる変換テーブル等を記憶している。

ＳＤＲＡＭ７００は、画像処理部３００における画像処理データ等を記憶する。

警報音発生部８００は、画像処理部３００が後述する立体物を検出し、車両と立体物との距離が所定値以下となった場合等に、制御部４００により制御されて警報音を発する。

表示部９００は、たとえば液晶ディスプレイであり、運転者が表示画面９０１を確認できる位置、たとえばインストルメントパネル等に設置されている。表示部９００は、エンコーダ５００の出力信号を受け取り、表示画面９０１に表示する。

図４に、第１撮像部１１０〜第４撮像部１４０で撮像された映像の表示例を示す。

図４（ａ）は、第１撮像部１１０で撮像された映像の表示例である。図３に示すように、第１撮像部１１０では、車両右前方の映像（図３におけるＤ１Ｆ方向の映像）と、車両右側方の像（図３におけるＤ１Ｒ方向の映像）とが撮像される。このうち、車両右前方の映像（図３におけるＤ１Ｆ方向の映像）が、表示部９００の表示画面９０１の上半分に位置し、車両右側方の映像（図３におけるＤ１Ｒ方向の映像）が、表示部９００の表示画面９０１の下半分に位置するように、車両右前方の映像（図３におけるＤ１Ｆ方向の映像）と、車両右側方の像（図３におけるＤ１Ｒ方向の映像）とが合成されて表示される。

図４（ｂ）は、第２撮像部１２０で撮像された映像の表示例である。図３に示すように、第２撮像部１２０では、車両右後方の映像（図３におけるＤ２Ｂ方向の映像）と、車両右側方の映像（図３におけるＤ２Ｒ方向の映像）とが撮像される。このうち、車両右後方の映像（図３におけるＤ２Ｂ方向の映像）が、表示部９００の表示画面９０１の下半分に位置し、車両右側方の映像（図３におけるＤ２Ｒ方向の映像）が、表示部９００の表示画面９０１の上半分に位置するように、車両右後方の映像（図３におけるＤ２Ｂ方向の映像）と、車両右側方の映像（図３におけるＤ２Ｒ方向の映像）とが合成されて表示される。

図４（ｃ）は、第３撮像部１３０で撮像された映像の表示例である。図３に示すように、第３撮像部１３０では、車両左後方の映像（図３におけるＤ３Ｂ方向の映像）と、車両左側方の映像（図３におけるＤ３Ｌ方向の映像）とが撮像される。このうち、車両左後方の映像（図３におけるＤ３Ｂ方向の映像）が、表示部９００の表示画面９０１の上半分に位置し、車両左側方の映像（図３におけるＤ３Ｌ方向の映像）が、表示部９００の表示画面９０１の下半分に位置するように、車両左後方の映像（図３におけるＤ３Ｂ方向の映像）と、車両左側方の映像（図３におけるＤ３Ｌ方向の映像）とが合成されて表示される。

図４（ｄ）は、第４撮像部１４０で撮像された映像の表示例である。図３に示すように、第４撮像部１４０では、車両左前方の映像（図３におけるＤ４Ｆ方向の映像）と、車両左側方の映像（図３におけるＤ４Ｌ方向の映像）とが撮像される。このうち、車両左前方の映像（図３におけるＤ４Ｆ方向の映像）が、表示部９００の表示画面９０１の下半分に位置し、車両左側方の映像（図３におけるＤ４Ｌ方向の映像）が、表示部９００の表示画面９０１の上半分に位置するように、車両左前方の映像（図３におけるＤ４Ｆ方向の映像）と、車両左側方の映像（図３におけるＤ４Ｌ方向の映像）とが合成されて表示される。

なお、図４に示す映像の表示位置は一例であり、この位置に限定されるものではない。

次に、本発明の実施形態の車両用周囲状況表示装置の動作を説明する。

図５に、本発明の実施形態の車両用周囲状況表示装置の基本動作のフローチャートを示す。以下、車両１０の前方に立体物がある場合に、立体物を検出し、表示画面９０１に車両前方の俯瞰映像を表示するとともに、立体物の通常映像（俯瞰映像でない映像）を俯瞰映像に重畳して表示する動作を例として、説明を行う。

ステップＳ１０１では、画像処理部３００において、第１撮像部１１０で撮像した車両右前方の映像（図３におけるＤ１Ｆ方向の映像）と、車両右側方の映像（図３におけるＤ１Ｒ方向の映像）とが分割される。また、第４撮像部１４０で撮像した車両左前方の映像（図３におけるＤ４Ｆ方向の映像）と、車両左側方の映像（図３におけるＤ４Ｌ方向の映像）とが分割される。この後に、フローはステップＳ１０２へ移行する。

ステップＳ１０２では、画像処理部３００において、第１撮像部１１０で撮像した車両右前方の映像（図３におけるＤ１Ｆ方向の映像）と、第４撮像部１４０で撮像した車両左前方の映像（図３におけるＤ４Ｆ方向の映像）とを比較する（差分を取る）ことで、表示画面９０１に表示される映像における車両と周囲との距離を表す距離情報が算出される。このような、視差を有する二つの画像を用いた距離情報の算出は、公知の技術であるため、詳細な説明は省略する。この後に、フローはステップＳ１０３へ移行する。

ステップＳ１０３では、画像処理部３００において、第１撮像部１１０で撮像した車両右前方の映像（図３におけるＤ１Ｆ方向の映像）、および、第４撮像部１４０で撮像した車両左前方の映像（図３におけるＤ４Ｆ方向の映像）それぞれが、俯瞰映像に変換され、車両前方の俯瞰映像として合成される。俯瞰映像への変換および画像合成については、公知の技術であるため、詳細な説明は省略する。この後に、フローはステップＳ１０４へ移行する。

ステップＳ１０４では、画像処理部３００において、ステップＳ１０３で得られた、車両右前方の映像（図３におけるＤ１Ｆ方向の映像）の俯瞰映像と、車両左前方の映像（図３におけるＤ４Ｆ方向の映像）の俯瞰映像とを比較することで、立体物の検出が行われ、その位置情報が算出される。俯瞰映像では、路面を真上から見た状態として表示されるように変換が行われる。このため、路面から高さのある立体物は歪みのある形状に変換され、撮影位置によってその形状も異なる。したがって、異なる２点で撮影した同一方向の映像、ここでは、第１撮像部１１０で撮像した車両右前方の映像（図３におけるＤ１Ｆ方向の映像）と、第４撮像部１４０で撮像した車両左前方の映像（図３におけるＤ４Ｆ方向の映像）、を俯瞰映像に変換した場合、路面は同等の映像となる一方、第１撮像部１１０で撮像した車両右前方の映像（図３におけるＤ１Ｆ方向の映像）と第４撮像部１４０で撮像した車両左前方（図３におけるＤ４Ｆ方向の映像）の映像双方に存在する同一の立体物は形状が異なって変換される。したがって、俯瞰映像に変換された映像を比較する（差分を取る）ことで、立体物を検出することができる。

なお、俯瞰映像を比較する際に、撮像位置による撮像範囲の違い等が影響しないように、車両右前方の映像（図３におけるＤ１Ｆ方向の映像）の俯瞰映像と車両左前方の映像（図３におけるＤ４Ｆ方向の映像）の俯瞰映像とは、事前に必要な校正が行われる。このような俯瞰映像を用いた立体物の検出は、公知の技術であるため、詳細な説明は省略する。この後に、フローはステップＳ１０５へ移行する。

ステップＳ１０５では、画像処理部３００において、第１撮像部１１０で撮像した車両右前方の映像（図３におけるＤ１Ｆ方向の映像）、または、第４撮像部１４０で撮像した車両左前方の映像（図３におけるＤ４Ｆ方向の映像）と、ステップＳ１０３で算出された距離情報と、ステップＳ１０４で検出された立体物の位置情報とを用いて、第１撮像部１１０で撮像した車両右前方の映像（図３におけるＤ１Ｆ方向の映像）、または、第４撮像部１４０で撮像した車両左前方の映像（図３におけるＤ４Ｆ方向の映像）から、立体物の通常映像（俯瞰映像に変換されていない映像）を抽出する。この後に、フローはステップＳ１０６へ移行する。

ステップＳ１０６では、画像処理部３００において、ステップＳ１０３で算出された距離情報と、ステップＳ１０４で検出された立体物の位置情報とを用いて、車両右前方の映像（図３におけるＤ１Ｆ方向の映像）の俯瞰映像、または、車両左前方の映像（図３におけるＤ４Ｆ方向の映像）の俯瞰映像における立体物の検出位置の車両側、または、もっとも車両に近い側に、立体物の存在を示す警告線を表示する（図６、図７参照）。この後に、フローはステップＳ１０７へ移行する。

ステップＳ１０７では、画像処理部３００により、ステップＳ１０６で表示した警告線より外側（車両から遠ざかる側）に、立体物の通常映像が重畳表示される（図６、図７参照）。なお、立体物の通常映像を重畳表示する際に、立体物の通常映像は、俯瞰映像における立体物の大きさに適した大きさとなるように表示倍率が処理される。この表示倍率は、俯瞰映像への変換原理に基づき、事前に算出される。この後に、フローはステップＳ１０８へ移行する。

ステップＳ１０８では、制御部４００により、俯瞰映像と立体物の表示の終了判定が行われる。俯瞰映像と立体物の表示を終了する場合は、フローはステップＳ１０９へ移行し、動作を終了する。一方、俯瞰映像と立体物の表示を継続する場合は、フローはステップＳ１０１へ戻り、以降、ステップＳ１０１〜ステップＳ１０８を繰り返す。

以上の動作により、車両前方に図３に示すように立体物Ａ、Ｈ、Ｇが存在した場合、俯瞰映像に立体物Ａ、Ｈ、Ｇの通常映像が重畳されて表示画面９０１に表示される。

図６（ａ）に、車両右前方に立体物が存在する場合の、第１撮像部１１０で撮像した車両右前方の映像（図３におけるＤ１Ｆ方向の映像）を、図６（ｂ）に、第１撮像部１１０で撮像した車両右前方の映像（図３におけるＤ１Ｆ方向の映像）の俯瞰映像を、図６（ｃ）に、車両前方の俯瞰映像に警告線と立体物の通常映像とを重畳して表示した例を示す。このような表示を行うことで、俯瞰映像への変換を行った場合に表示形状に違和感のある立体物を、違和感なく表示することが可能となる。

ここで、車両１０と警告線との距離が所定値より小さくなった場合は、制御部４００が警報音発生部８００を駆動して警報音を発したり、表示画面９０１に警報表示を行うことで、運転者の注意喚起を行う構成とすることもできる。

以上、第１撮像部１１０と第４撮像部１４０とを用いて、検出した立体物の通常映像を車両前方の俯瞰映像に重畳表示する例を示したが、車両後方、車両右側方、車両左側方についても、同等の動作を行うことで、検出した立体物の通常映像を俯瞰映像に重畳表示することが可能である。図８に、表示する俯瞰映像の方向と、その方向の俯瞰映像の表示と立体物検出に用いる撮像部、撮像方向の組み合わせ一覧を示す。

図９、１０に、以上の動作フローと図１に示す各ブロックとの関係を示す。

なお、図５のステップＳ１０４において、立体物の検出は、俯瞰映像を用いて行っているが、第１撮像部１１０で撮像した車両右前方の映像（図３におけるＤ１Ｆ方向の映像）と、第４撮像部１４０で撮像した車両左前方の映像（図３におけるＤ４Ｆ方向の映像）とを比較する（差分を取る）ことで、立体物の検出を行っても良い。

また、図５のステップＳ１０６において、立体物の警告線は、俯瞰映像に重畳しているが、第１撮像部１１０で撮像した車両右前方の映像（図３におけるＤ１Ｆ方向の映像）、または、第４撮像部１４０で撮像した車両左前方の映像（図３におけるＤ４Ｆ方向の映像）に重畳してもよい。

また、図５のステップＳ１０７において、立体物の通常映像は、俯瞰映像に重畳しているが、第１撮像部１１０で撮像した車両右前方の映像（図３におけるＤ１Ｆ方向の映像）、または、第４撮像部１４０で撮像した車両左前方の映像（図３におけるＤ４Ｆ方向の映像）に重畳してもよい。この場合、画像処理部３００により、立体物の通常映像の色、形状等を強調して重畳することで、第１撮像部１１０で撮像した車両右前方の映像（図３におけるＤ１Ｆ方向の映像）、または、第４撮像部１４０で撮像した車両左前方の映像（図３におけるＤ４Ｆ方向の映像）中の立体物を認識し易くすることが可能である。

なお、図３における立体物Ａは、図４に示すように、第１撮像部１１０、第２撮像部１２０、第４撮像部１４０の撮像視野内に入るため、最大３つの撮像部が撮像した映像を用いて、立体物を検出することも可能である。

次に、車両のコーナー部分において、立体物を検出し、俯瞰映像に立体物の通常映像を重畳表示する動作の説明を行う。

以下、図１１に示すように、車両１０の右前方に立体物Ｉがある場合に、立体物Ｉを検出し、表示画面９０１に車両前方の俯瞰映像を表示するとともに、立体物Ｉの通常映像を俯瞰映像に重畳して表示する動作を例として、説明を行う。

図１２に、本動作の基本動作のフローチャートを示す。この動作は、基本的には図５に示したフローチャートの動作と同等であるが、立体物を検出する際に使用する撮像部（映像）の組み合わせが異なる。

ステップＳ２０１では、画像処理部３００において、第１撮像部１１０で撮像した車両右前方の映像（図１１におけるＤ１Ｆ方向の映像）と、車両右側方の映像（図１１におけるＤ１Ｒ方向の映像）とが分割される。この後に、フローはステップＳ２０２へ移行する。

ステップＳ２０２では、画像処理部３００において、図１３に示すように、第１撮像部１１０で撮像した車両右側方の映像（図８におけるＤ１Ｒ方向の映像）の左右反転が行われる。なお、映像の左右反転は、第１撮像部１１０で撮像した２方向のうちどちらか一方に対して行えばよい。したがって、第１撮像部１１０で撮像した車両右前方の映像（図１１におけるＤ１Ｆ方向の映像）を左右反転してもよい。この後に、フローはステップＳ２０３へ移行する。

ステップＳ２０３では、画像処理部３００において、第１撮像部１１０で撮像した車両右前方の映像（図８におけるＤ１Ｆ方向の映像）の右半分と、ステップＳ２０１で左右反転された車両右側方の映像（図８におけるＤ１Ｒ方向の映像）の右半分とを比較（差分を取る）することで、表示画面９０１に表示される映像における車両と周囲との距離を表す距離情報が算出される。なお、映像を比較する際に、撮像位置の違いによる撮像範囲の違い等が影響しないように、車両右前方の映像（図８におけるＤ１Ｆ方向の映像）の映像の右半分と、左右反転された車両右側方の映像（図８におけるＤ１Ｒ方向の映像）の右半分とは、事前に必要な校正が行われる。

ここで、立体物Ｉが右前方４５度に存在した場合に、二つの映像の差分が最小となり、この場合の距離情報を相対的な基準値として利用することが可能である。この場合、立体物と車両１０との距離は、表示画面９０１における立体物の垂直位置（図１３（ｂ）のＬ３、Ｌ４）に基づいて算出される。このような、視差を有する二つの画像を用いた距離情報の算出は、公知の技術であるため、詳細な説明は省略する。この後に、フローはステップＳ２０４へ移行する。

ステップＳ２０４〜ステップＳ２１０は、前述したステップＳ１０３〜ステップＳ１０９と同等であり、説明は省略する。

以上の動作により、図１１に示すように、車両右前方のコーナー部分に立体物Ｉが存在した場合、俯瞰映像に立体物Ｉの通常映像が重畳されて、表示画面９０１に表示される。

以上、第１撮像部１１０を用いて、車両右前方のコーナー部分に存在する立体物Ｉを検出し、車両右前方の俯瞰映像に立体物Ｉの通常映像を重畳表示する例を示したが、車両右後方のコーナー部分、車両左後方のコーナー部分、車両左前方のコーナー部分についても、同等の動作を行うことで、検出した立体物の通常映像を俯瞰映像に重畳表示することが可能である。図１４に、表示する俯瞰映像の方向と、その方向の俯瞰映像の表示と立体物検出に用いる撮像部、撮像方向の組み合わせ一覧を示す。

図１５、図１６に、以上の動作フローと図１に示す各ブロックとの関係を示す。

なお、図１２のステップＳ２０５において、立体物の検出は、俯瞰映像を用いて行っているが、第１撮像部１１０で撮像した車両右前方の映像（図１１におけるＤ１Ｆ方向の映像）の右半分と、ステップＳ２０２で左右反転された車両右側方の映像（図１１におけるＤ１Ｒ方向の映像）の右半分とを比較する（差分を取る）ことで、立体物の検出を行っても良い。

また、図１２のステップＳ２０７において、立体物の警告線は、俯瞰映像に重畳しているが、第１撮像部１１０で撮像した車両右前方の映像（図８におけるＤ１Ｆ方向の映像）、または、第１撮像部１１０で撮像した車両右側方の映像（図８におけるＤ１Ｒ方向の映像）に重畳してもよい。

また、図１２のステップＳ２０８において、立体物の通常映像は、俯瞰映像に重畳しているが、第１撮像部１１０で撮像した車両右前方の映像（図８におけるＤ１Ｆ方向の映像）、または、第１撮像部１１０で撮像した車両右側方の映像（図８におけるＤ１Ｒ方向の映像）に重畳してもよい。この場合、画像処理部３００により、立体物の通常映像の色、形状等を強調して重畳することで、第１撮像部１１０で撮像した車両右前方の映像（図８におけるＤ１Ｆ方向の映像）、または、第１撮像部１１０で撮像した車両右側方の映像（図８におけるＤ１Ｒ方向の映像）中の立体物を認識し易くすることが可能である。

以上のように、本発明の車両用周囲状況表示装置では、車両周囲の映像から立体物を検出し、車両周囲の映像中の立体物をわかりやすく表示するため、ディスプレイ上での立体物の確認が容易に行える。

また、本発明の車両用周囲状況表示装置では、俯瞰映像に立体物の通常映像（俯瞰図ではない映像）を重畳して表示するため、ディスプレイ上での立体物の確認が容易に行える
また、本発明の車両用周囲状況表示装置では、俯瞰映像の合成部分においても、立体物の通常映像（俯瞰図ではない映像）を重畳して表示するため、ディスプレイ上での立体物の確認が容易に行える。

また、本発明の車両用周囲状況表示装置では、立体物を検出し、検出した位置に立体物の通常映像を重畳表示する。従って、俯瞰映像の合成部分に立体物がある場合でも、立体物の通常映像を重畳して表示するため、立体物を確実に表示することが可能であり、ディスプレイ上での立体物の確認が容易に行える。

一般に、複数の撮像部で撮像した映像をそれぞれ俯瞰映像に変換して合成する場合、合成部分近傍に立体物が存在すると、合成は路面を基準に路面ずれが発生しないように行われるため、立体物が消失したり、本来の大きさより小さく表示されてしまう場合がある（図１７参照）。しかしながら、本発明の車両用周囲状況表示装置では、俯瞰映像の合成部分においても、立体物の通常映像を重畳して表示するため、立体物を確実に表示することが可能である。

図１８において、自車両がＴ字路で左折する際に左折方向に操舵して停車した場合、車両の前方に設けた撮像部の視野が超広角（例えば１９０度）であっても、自車両に接近する接近車両は撮像視野に入らない場合がある。また、車両の左右前方に設けた撮像部の視野が狭角（例えば４５度）の場合も、視野の設定方向によっては、自車両に接近する接近車両は撮像視野に入らない場合がある。一方、本発明では、車両の側方全域をカバーする視野を有しており、自車両に接近する車両を見失うことがない。なお、自車両に接近する車両は、撮像部で撮像した映像を所定時間毎に処理し、公知技術であるオプティカルフローを抽出することにより、検出することができる。

さらに、後側方から接近する車両に対しても、十分な視野角を確保することができ、視野角の不足により接近する車両を見失うことがない。

図１９において、従来の後方確認用の撮像部では、一般に撮像方向が車両後方の１方向で光軸が１本（図１９のＢ）であり、接近車両がＰ１の位置に存在する場合は視野内に入るが、接近車両が光軸方向とは大きく異なるＰ２近傍の位置になると、視野外となってしまい、接近車両を見失ってしまう。

また、接近車両が表示画面９０１の周辺部に表示されるため（図１９右上図参照）、表示画面９０１において接近車両の視認確認がし難い。

さらに、撮像部が１つであるため、視差を利用した自車両と接近車両との距離算出が難しい。

これに対して、本発明では、複数の撮像部により光軸を複数（図３のＤ２Ｂ、Ｄ３Ｂ、Ｄ２Ｒ、Ｄ１Ｒ）備え、接近車両がＰ２近傍の位置となっても、接近車両は光軸方向に存在することになり、接近車両を見失うことがない。

また、接近車両が表示画面９０１に異なる画面で複数表示されるため（図１９右下図参照）、表示画面９０１において接近車両の視認確認がし易い。

さらに、撮像部が複数であるため、視差を利用した自車両と接近車両との距離算出が容易である。

以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎず、本発明は実施例の構成にのみ限定されるものではない。したがって本発明の要旨を逸脱しない範囲の設計の変更等があっても本発明に含まれることはもちろんである。

例えば、図１に示すブロック図は一例であり、同等の作用効果を実現できるものであれば、図１に示すものに限定されるものではない。

また、第１撮像部１１０〜第４撮像部１４０をすべて備えている必要はなく、立体物を検出する方向に対して撮像部が設けられていればよい。例えば、車両前方の立体物のみを検出する場合は、第１撮像部１１０と第４撮像部１４０が設けられていればよい。この場合、車両の右側方の映像を取得する第１撮像部１１０の光学系１１２ｂと、車両の左側方の映像を取得する第４撮像部１４０の光学系１４２ｂとは不要となるため、第１撮像部１１０と第４撮像部１４０はそれぞれ単一の光学系を有する撮像部としてもよい。

また、第１撮像部１１０〜第４撮像部１４０は、図２０に示すように、二つの小型カメラを組み合わせて構成してもよい。この場合、図５のフローチャートにおけるステップＳ１０１、図１２のフローチャートにおけるステップＳ２０１の、映像の分割処理は不要となり、撮像した映像を表示画面９０１に表示する際は、二つの小型カメラで撮像した映像を適宜合成して表示する。

また、立体物の通常映像を重畳表示する場合に、立体物の通常映像を見やすい形状に適宜変形し、立体物を強調して表示しても良い。

さらに、立体物の通常映像を重畳表示する場合に、路面の色情報を取得し、例えば路面に対してコントラストの強い色で立体物の通常映像を着色して表示する等、立体物を強調して表示しても良い。

本発明の一実施形態の車両用周囲状況表示装置のブロック図である。本発明の一実施形態の車両用周囲状況表示装置における撮像部の構成図および撮像部の取り付け位置を示す図である。本発明の一実施形態の車両用周囲状況表示装置における撮像部の撮像方向と立体物を示す図である。本発明の一実施形態の車両用周囲状況表示装置における撮像部の撮像映像の表示例である。本発明の一実施形態の車両用周囲状況表示装置における基本動作フローを示すフローチャートである。本発明の一実施形態の車両用周囲状況表示装置における動作の説明図および表示部の表示例である。本発明の一実施形態の車両用周囲状況表示装置における表示部の他の表示例である。本発明の一実施形態の車両用周囲状況表示装置において、立体物検出に用いる撮像部の組み合わせを示す図である。本発明の一実施形態の車両用周囲状況表示装置における基本動作フローを示すブロック図である。本発明の一実施形態の車両用周囲状況表示装置における基本動作フローを示す他のブロック図である。本発明の一実施形態の車両用周囲状況表示装置における撮像部の撮像方向と立体物を示す他の図である。本発明の一実施形態の車両用周囲状況表示装置における車両コーナーの立体物検出の基本動作フローを示すフローチャートである。本発明の一実施形態の車両用周囲状況表示装置における車両コーナーの立体物検出の動作説明図である。本発明の一実施形態の車両用周囲状況表示装置において、車両コーナーの立体物検出に用いる撮像部の組み合わせを示す図である。本発明の一実施形態の車両用周囲状況表示装置における車両コーナーの立体物検出の動作フローを示すブロック図である。本発明の一実施形態の車両用周囲状況表示装置における車両コーナーの立体物検出の動作フローを示す他のブロック図である。従来の車両用周囲状況表示装置を用いた俯瞰映像の合成部分における立体物の表示例と、本発明の一実施形態の車両用周囲状況表示装置を用いた俯瞰映像の合成部分における立体物の表示例である。Ｔ字路における従来の車両用周囲状況表示装置の視野と本発明の一実施形態の車両用周囲状況表示装置の視野の説明図である。従来の車両用周囲状況表示装置を用いた後側方映像の表示例と、本発明の一実施形態の車両用周囲状況表示装置を用いた後側方映像の表示例である。本発明の他の実施例の車両用周囲状況表示装置における撮像部の構成図および撮像部の取り付け位置を示す図である。

符号の説明

１１０、１１１第１撮像部
１１２ａ、１１２ｂ光学系
１２０、１２１第２撮像部
１２２ａ、１２２ｂ光学系
１３０、１３１第３撮像部
１３２ａ、１３２ｂ光学系
１４０、１４１第４撮像部
１４２ａ、１４２ｂ光学系
２１０第１デコーダ
２２０第２デコーダ
２３０第３デコーダ
２４０第４デコーダ
３００画像処理部
４００制御部
５００エンコーダ
６００フラッシュメモリ
７００ＳＤＲＡＭ
８００警報音発生部
９００表示部
９０１表示画面

Claims

車両の前面、後面、右側面、左側面の少なくとも一面の左右に設けられ、該面に対向する方向を撮像する撮像部と、
隣接する少なくとも二つの前記撮像部の撮像した映像に基づいて、前記映像中の立体物の画像を抽出し、前記映像における前記立体物の検出位置に前記立体物の前記画像を重畳する画像処理部と、
を備えることを特徴とする車両用周囲状況表示装置。
前記画像処理部は、前記撮像部で撮像した前記映像を俯瞰映像に変換し、前記映像中の前記立体物の前記画像の抽出は、隣接する少なくとも二つの前記撮像部の撮像した前記映像の前記俯瞰映像の差分に基づいて行われること、
を特徴とする請求項１に記載の車両用周囲状況表示装置。
前記立体物の前記画像は、前記撮像部の撮像した前記映像の前記俯瞰映像に重畳されること、
を特徴とする請求項２に記載の車両用周囲状況表示装置。
前記立体物の前記画像は、前記撮像部の撮像した前記映像に重畳される際に、色または形状の少なくとも一方が強調されて重畳されること、
を特徴とする請求項１または２に記載の車両用周囲状況表示装置。
前記立体物の前記画像は、前記撮像部の撮像した前記映像の前記俯瞰映像に重畳される際に、色または形状の少なくとも一方が強調されて重畳されること、
を特徴とする請求項３に記載の車両用周囲状況表示装置。
隣接する二つの前記撮像部は、同一の方向を撮像する撮像部であること、
を特徴とする請求項１〜５のいずれか１項に記載の車両用周囲状況表示装置。
前記撮像部は、前記車両の前記前面、前記後面、前記右側面、前記左側面のうち、隣接する少なくとも二面の左右に設けられ、
隣接する二つの前記撮像部は、異なる方向を撮像する撮像部であること、
を特徴とする請求項１〜５のいずれか１項に記載の車両用周囲状況表示装置。
前記画像処理部は、前記立体物の前記検出位置の前記車両側に、警告線を表示すること、
を特徴とする請求項１〜７のいずれか１項に記載の車両用周囲状況表示装置。
前記画像処理部は、前記立体物の前記検出位置の前記車両の最も近い側に、警告線を表示すること、
を特徴とする請求項１〜７のいずれか１項に記載の車両用周囲状況表示装置。
前記撮像部は、車両のコーナーに設けられていること、
を特徴とする請求項１〜９のいずれか１項に記載の車両用周囲状況表示装置。
前記撮像部は、光軸が略９０度異なる２方向の映像をそれぞれ集光する二つの光学系と、該二つの光学系で集光した前記映像を受光する一つの撮像素子とを備えること、
を特徴とする１〜１０のいずれか１項に記載の車両用周囲状況表示装置。