JP2011182059A - 車両周辺監視装置 - Google Patents

Abstract

【課題】車両周辺の画像を適切に表示することで車両の運転操作を簡単かつ円滑に行う上で有利な車両周辺監視装置を提供する。
【解決手段】画像手投影手段３２は、各カメラ１２、１４、１６、１８から得られた撮像画像を車両２の周囲にわたって延在する仮想的な３次元の立体面からなる画像投影面５０に投影する。視点変換画像生成手段３８は、画像手投影手段３２によって画像投影面５０に投影された投影画像を視点変換処理することによって、指定された箇所に位置する仮想的な視点Ｐから指定された方向Ｄで投影画像を見ることによって得られる視点変換画像を生成する。視点変換画像は、モニタ３２の表示画面に表示される。視点位置方向決定手段４４は、運転状況検出手段４０の検出結果と、接近物体検出手段４２の検出結果とに基づいて、仮想的な視点Ｐの位置および方向Ｄを決定する。
【選択図】図１

Description

本発明は、車両に設けられた複数のカメラによって得た撮像画像に基づいて生成した車両の周辺の画像を、車両の状況に応じてより適切な視点から見た画像として表示する車両周辺監視装置に関する。

従来、自動車に複数のカメラを設け、各カメラにより撮像した撮像画像を合成することで、自動車の周囲全周の俯瞰画像を生成し運転席の表示装置に表示することで、駐車場などにおける運転操作を容易かつ安全に行えるようにした車両周辺監視装置がある（特許文献１参照）。
例えば、複数のカメラとして、車両の前方を撮像する前方カメラと、車両の後方を撮像する後方カメラと、車両の左側方および右側方を撮像する左方カメラおよび右方カメラが設けられている場合を考える。
この場合、表示装置には、４つのカメラで撮像した前方、後方、左方、右方の４つの撮像画像を車両の前方、後方、左右の側方に配置した俯瞰画像が表示される。

特開２００９−２３９６７４号公報

ところで、上記従来装置の場合、前方、後方、左方、右方の４つの撮像画像を地面（路面）の高さに位置する水平面に投影した俯瞰画像として合成することから、４つの撮像画像のつなぎ目の部分に死角が生じる場合がある。
そのため、運転者が俯瞰画像に違和感を感じたり、あるいは、死角に障害物が入ることにより、表示装置に表示されている俯瞰画像から障害物が一時的にあるいは部分的に消失するといった不都合が生じてしまう。
また、表示装置に表示される俯瞰画像は、車両上方に位置する仮想的な視点から車両およびその周辺を俯瞰した画像に相当するものである。そのため、例えば、駐車場の指定の場所が境界線で仕切られている場合、俯瞰画像で表示される境界線を目標として運転操作を行うことで車両を指定の場所に移動させることができる。
しかしながら、このような俯瞰画像は、通常、人が見ることができない視点から見た画像であることから、俯瞰画像だけを見て車両の移動方向を直感的に予測することはそれほど簡単ではない。
そのため、俯瞰画像だけ見ながら駐車する場合に、ステアリングの切り返し操作が多くなってしまうなど、俯瞰画像を見ながらの運転操作には、ある程度の訓練や慣れが要求されるものとなっている。
本発明は、このような事情に鑑みてなされたものであり、車両周辺の画像を適切に表示することで車両の運転操作を簡単かつ円滑に行う上で有利な車両周辺監視装置を提供することを目的とする。

上述の目的を達成するため、本発明の車両周辺監視装置は、車両の周囲を互いに異なる前記車両の箇所から撮像して撮像画像を生成する複数のカメラと、前記各カメラから得られた前記撮像画像を前記車両の周囲にわたって延在する仮想的な３次元の立体面からなる画像投影面に投影する画像投影手段と、前記画像投影面に投影された投影画像を視点変換処理することによって、指定された箇所に位置する仮想的な視点から指定された方向で前記投影画像を見ることによって得られる視点変換画像を生成する視点変換画像生成手段と、前記視点変換画像を表示画面に表示する表示装置と、前記車両の運転状況を検出する運転状況検出手段と、前記車両に物体が接近したことを検出する接近物体検出手段と、前記運転状況検出手段の検出結果と前記接近物体検出手段の検出結果とに基づいて、前記仮想的な視点の位置および方向を決定する視点位置方向決定手段とを備えることを特徴とする。

本発明によれば、運転状況および車両に接近する物体の有無に応じて車両の運転操作を行う上で適切な視点と方向から見た画像を表示させることができるので、車両の運転操作を簡単かつ円滑に行う上で有利となる。

本発明の実施の形態である車両周辺監視装置１０の構成を示すブロック図である。 車両周辺監視装置１０を構成する各カメラの配置とそれらカメラの撮像範囲を示す説明図である。 画像投影面５０の説明図である。 上方視点モードにおける各カメラ１２、１４、１６、１８の撮像範囲Ａ１、Ａ２、Ａ３、Ａ４と、モニタ３２の表示画面３２０２に表示される視点変換画像との対応関係を示す説明図である。 後方視点モードにおける各カメラ１２、１４、１６、１８の撮像範囲Ａ１、Ａ２、Ａ３、Ａ４と、モニタ３２の表示画面３２０２に表示される視点変換画像との対応関係を示す説明図である。 前方視点モードにおける各カメラ１２、１４、１６、１８の撮像範囲Ａ１、Ａ２、Ａ３、Ａ４と、モニタ３２の表示画面３２０２に表示される視点変換画像との対応関係を示す説明図である。 上方視点モードにおいて表示される画面例を示す説明図である。 上方視点モードにおいて表示される画面例を示す説明図である。 上方視点モードにおいて表示される画面例を示す説明図である。 後方視点モードにおいて表示される画面例を示す説明図である。 後方視点モードにおいて表示される画面例を示す説明図である。 後方視点モードにおいて表示される画面例を示す説明図である。 前方視点モードにおいて表示される画面例を示す説明図である。 前方視点モードにおいて表示される画面例を示す説明図である。 前方視点モードにおいて表示される画面例を示す説明図である。 車両２が駐車場で駐車する場合における車両周辺監視装置１０の動作を示すフローチャートである。 第２の実施の形態における車両周辺監視装置１０の構成を示すブロック図である。 第２の実施の形態における車両周辺監視装置１０の動作を示すフローチャートである。 前方カメラ画像モード時に表示される画像の説明図である。

（第１の実施の形態）
次に本発明の実施の形態について説明する。
図１は本発明の実施の形態である車両周辺監視装置１０の構成を示すブロック図、図２は車両周辺監視装置１０を構成する各カメラの配置とそれらカメラの撮像範囲を示す説明図である。

車両周辺監視装置１０は、図１に示すように、前方カメラ１２、後方カメラ１４、左方カメラ１６、右方カメラ１８、ＥＣＵ（電子制御ユニット）２０、表示装置２２、シフト位置センサ２４、車速センサ２６、操舵角センサ２８などを含んで構成されている。

本実施の形態では、ＥＣＵ２０は、車両２（図２）に搭載されたナビゲーション装置３０との間でデータの授受が可能に構成されている。
ナビゲーション装置３０は、測位部３００２と、データベース３００４とを含んで構成されている。
測位部３００２は、ＧＰＳ衛星から送られてくるＧＰＳ信号を受信し、自車両の現在位置を検出するものであり、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）に基づいて動作するものである。
データベース３００４は、道路、地形、施設形状などの地図情報の他、駐車場を含むさまざまな施設情報が格納されている。
ナビゲーション装置３０は、測位部３００２で測位された自車両の現在地に対応する地図情報や施設情報をデータベース３００４から読み出してＥＣＵ２０に供給する。
なお、車両周辺監視装置１０は、単独の装置として構成してもよく、あるいは、前記のナビゲーション装置３０に組み込むなど任意である。

前方カメラ１２は、図２に示すように、例えば車両２前部のフロントグリル中央に取り付けられて車両２の前方を撮像するカメラである。
後方カメラ１４は、例えばリアウィンドウが設けられた車両２後部に取り付けられて車両２の後方を撮像するカメラである。
左方カメラ１６は、例えば左側ドアミラーを支持するドアミラー支持部突端に取り付けられて車両２の左側方を撮像するカメラである。
右方カメラ１８は、例えば右側ドアミラーを支持するドアミラー支持部突端に取り付けられて車両２の右側方を撮像するカメラである。
すなわち、これら４つのカメラ１２、１４、１６、１８は、車両２の周囲を互いに異なる車両２の箇所から撮像して撮像画像を生成するものである。
図２において、符号Ａ１乃至Ａ４は、それぞれ前方カメラ１２、後方カメラ１４、左方カメラ１６、右方カメラ１８で撮像される撮像範囲を示す。
なお、前方カメラ１２はノーズビューカメラ、後方カメラ１４はリアビューカメラ、左方カメラ１６および右方カメラ１８はサイドビューカメラともいう。

表示装置２２は、運転者が視認可能かつ操作可能な車室内の箇所、例えば、車室内の運転席と助手席との中間箇所に臨むインストルメントパネルの部分に組み込まれている。
表示装置２２は、モニタ３２と、タッチパネル３４とを備えている。
モニタ３２は、ＥＣＵ２０から供給される種々の情報に基づいてさまざまな画像や文字などを表示画面３２０２（図４）に表示するものであり、モニタ３２としては液晶表示装置など従来公知のさまざまなディスプレイ装置が採用可能である。
本実施の形態では、表示画面３２０２は左右に横長の矩形状を呈している。
タッチパネル３４は、モニタ３２の表示画面３２０２に設けられ、タッチパネル３４に指でタッチすることにより、タッチパネル３４で生成された操作信号がＥＣＵ２０に供給されるように構成されている。

シフト位置センサ２４は、車両２のシフトレバーの位置を検出し、検出したシフト位置をＥＣＵ２０に供給するものである。
車速センサ２６は、車両２の速度を検出し、検出した速度をＥＣＵ２０に供給するものである。
操舵角センサ２８は、車両２のステアリングの操舵角を検出し、検出した操舵角をＥＣＵ２０に供給するものである。

ＥＣＵ２０は各部を制御するマイクロコンピュータにより構成されている。
すなわち、ＥＣＵ２０は、例えば、ＣＰＵ、制御プログラムなどを格納するＲＯＭ、ワーキングエリアを提供するＲＡＭ、周辺回路とのインタフェースをとるインタフェース部などがバスによって接続されたマイクロコンピュータによって構成されたものである。
ＥＣＵ２０は、画像投影手段３６と、視点変換画像生成手段３８と、運転状況検出手段４０と、接近物体検出手段４２と、視点位置方向決定手段４４とを含んで構成されている。これら各手段３６、３８、４０、４２、４４は前記ＣＰＵが前記制御プログラムを実行することにより実現されるものである。
なお、以下に説明する画像手投影手段３２、視点変換画像生成手段３８、視点変換画像生成手段３６を実現する画像処理技術として、例えば特開２００９−２０６７０２号公報（画像処理装置、画像処理方法）などに記載されている従来公知のさまざまな画像処理技術が採用可能である。

画像手投影手段３２は、図３に示すように、各カメラ１２、１４、１６、１８から得られた撮像画像を車両２の周囲にわたって延在する仮想的な３次元の立体面からなる画像投影面５０に投影するものである。
本実施の形態では、画像投影面５０は、第１の画像投影面５０Ａと第２の画像投影面５０Ｂとを含んで構成されている。
第１の画像投影面５０Ａは、車両２を中心として車両２の周囲を囲むように地面（路面）に沿って延在する円形あるいは楕円形を呈している。
第２の画像投影面５０Ｂは、第１の画像投影面５０Ａの外周全周に沿って上方に起立し、かつ、上方に至るほど径方向の寸法が拡大する裁頭円錐面上を延在している。
画像投影面５０の大きさは、画像投影面５０に投影された投影画像によって、車両２の周囲の状況が十分に把握できるに足るものであればよい。
言い換えると、第１の画像投影面５０Ａの面積、第２の画像投影面５０Ｂの面積および高さは、それら第１の画像投影面５０Ａ、第２の画像投影面５０Ｂに投影された投影画像によって、車両２の周囲の状況が十分に把握できるに足るものであればよい。
なお、画像投影面５０は、車両２の周囲にわたって延在する仮想的な３次元の立体面であればよく、例えば、円筒面や球面などを含む曲面、あるいは、平面などの従来公知のさまざまな形状が採用可能である。

視点変換画像生成手段３８は、画像手投影手段３２によって画像投影面５０に投影された投影画像を視点変換処理することによって、図３に示すように、指定された箇所に位置する仮想的な視点Ｐから指定された方向Ｄで投影画像を見ることによって得られる視点変換画像を生成するものである。
この視点変換画像生成手段３８から表示装置２２に供給された視点変換画像は、モニタ３２の表示画面に表示される。
なお、各カメラ１２、１４、１６、１８は、通常、車体２の周囲を撮像するように設けられているため、各カメラ１２、１４、１６、１８で撮像された撮像画像には車体２の画像は含まれない。
したがって、視点変換画像生成手段３８によって生成される視点変換画像においても、実際にカメラで撮像された車両２の撮像画像は含まれない。
そこで、視点変換画像生成手段３８は、視点変換画像のうち車両２の画像に相当する部分に、予め車両２を模って形成された車両モデル画像を合成するようにしてもよい。
このようにすると、視点変換画像に含まれる車両２の位置や方向をわかりやすく表示する上で有利となる。
あるいは、視点変換画像のうち車両２の画像に相当する部分に車両モデル画像を合成することに代えて、車両２の画像に相当する部分を予め定められた色によって一様に塗りつぶした画像を合成してもよいし、車両２の輪郭を示す画像を合成してもよい。

運転状況検出手段４０は、車両２の運転状況を検出するものである。
本実施の形態では、運転状況検出手段４０は、シフト位置センサ２４から供給されるシフト位置と、車速センサ２６から供給される車速と、操舵角センサ２８から供給される操舵角とに基づいて車両２の運転状況を検出する。

接近物体検出手段４２は、車両２に物体が接近したことを検出するものである。
なお、本明細書において物体とは、車両２の周囲に位置するものであり、他の車両２、建築物、構造物、植栽、あるいは、通行者などを含むものである。
本実施の形態では、接近物体検出手段４２は、画像投影面５０に投影された投影画像から求めたオプティカルフローに基づいて車両２に物体が接近したことを検出する。
なお、オプティカルフローに基づいた移動体の検出方法は、例えば、特許第４２２８２４６号公報、特許第４２５９３６８号公報などに記載されている従来公知のさまざまな検出方法を用いることができる。
また、接近物体検出手段４２は物体の接近を検出できればよいのであり、接近物体検出手段４２として、超音波センサなど従来公知のさまざまな物体検出センサを用いることができる。

視点位置方向決定手段４４は、運転状況検出手段４０の検出結果と、接近物体検出手段４２の検出結果とに基づいて、仮想的な視点Ｐの位置および方向Ｄを決定するものである。
視点位置方向決定手段４４の具体的な動作については後述する。

次に、視点変換画像生成手段３８によって生成される視点変換画像について具体的に説明する。
本実施の形態では、図３に示すように、画像投影面５０に投影された投影画像を見る仮想的な視点Ｐおよび方向Ｄの組み合わせを以下に示す３種類とし、これら３種類の視点Ｐおよび方向Ｄの組み合わせを選択して視点変換画像を生成するものとして説明する。しかしながら、視点Ｐおよび方向Ｄの組み合わせは限定されるものではなく任意である。
１）上方視点画像および上方視点モード：
視点Ｐは車両２を通る鉛直線上で（本実施の形態では車両２の中心を通る鉛直線上で）、車両２の上方の箇所に位置し、方向Ｄは視点Ｐから画像投影面５０に投影された投影画像の全体を俯瞰する方向である場合に生成される視点変換画像を上方視点画像という。
上方視点画像を表示する表示動作を上方視点モードという。
２）後方視点画像および後方視点モード：
視点Ｐは車両２の後方かつ上方の箇所に位置し、方向Ｄは視点Ｐから画像投影面に投影された投影画像のうち車両およびその周囲を見下ろす方向である場合に生成される視点変換画像を後方視点画像という。
後方視点画像を表示する表示動作を後方視点モードという。
３）前方視点画像および前方視点モード：
視点Ｐは車両２の前方かつ上方の箇所に位置し、方向Ｄは視点Ｐから画像投影面に投影された投影画像のうち車両およびその周囲を見下ろす方向である場合に生成される視点変換画像を前方視点画像という。
前方視点画像を表示する表示動作を前方視点モードという。
なお、本実施の形態では、上記３つのモードの何れの場合においても、視点Ｐは、車両２の中心を通り前後方向に延在する仮想線を含む鉛直面上に位置している。

次に、図４、図５、図６を参照して、各カメラ１２、１４、１６、１８の撮像範囲Ａ１、Ａ２、Ａ３、Ａ４（図２）と、モニタ３２の表示画面３２０２に表示される視点変換画像との対応関係について説明する。
なお、図４乃至図１５においては、図面の簡単化を図るために、視点変換画像のうち車両２の画像に相当する部分に合成する車両モデル画像Ｍをハッチングで示している。また、図中、矢印は車両２の前方を示す。
図４は上方視点モード、図５は後方視点モード、図６は前方視点モードをそれぞれ示している。
図４、図５、図６において、横長の矩形状を呈する表示画面３２０２が前方領域Ｂ１、後方領域Ｂ２、左方領域Ｂ３、右方領域Ｂ４に区画されている。
前方領域Ｂ１は前方カメラ１２の撮像範囲Ａ１で撮像された撮像画像が表示される領域である。
後方領域Ｂ２は後方カメラ１４の撮像範囲Ａ２で撮像された撮像画像が表示される領域である。
左方領域Ｂ３は左方カメラ１６の撮像範囲Ａ３で撮像された撮像画像が表示される領域である。
右方領域Ｂ４は右方カメラ１８の撮像範囲Ａ４で撮像された撮像画像が表示される領域である。
図４、図５、図６からわかるように、何れのモードにおいても表示画面３２０２に表示される視点変換画像が見やすくなるように、各モードにおける各領域Ｂ１乃至Ｂ４の配置位置および面積が異なるものとなっている。

次に、運転者が車両２を駐車場の所定の駐車位置に駐車させる場合における上方視点モード、後方視点モード、前方視点モードについて説明する。

図２に示すように、駐車場の路面に、駐車位置を表す２本のガイド線Ｌ１、Ｌ２が車両２の幅以上の間隔をおいて平行して描かれている。また、ガイド線Ｌ１、Ｌ２の間の路面の箇所に、直方体状を呈する車止め用のブロックＢＬが設置されている。

１）上方視点モード
車両２が後退しつつ（バックしつつ）２本のガイド線Ｌ１、Ｌ２の間に駐車する場合について説明する。
図７は車両２がその後部をブロックＢＬに向けた状態で２本のガイド線Ｌ１、Ｌ２の手前に位置している状態を示している。
図７に示すように、表示画面３２０２には、ガイド線Ｌ１、Ｌ２、ブロックＢＬ、駐車場周辺に位置する複数の建築物ａ乃至ｎ、駐車場に駐車している別の車両４などを含んだ視点変換画像である上方視点画像が表示されている。
図７に示した状態からさらに車両２が後退すると、図８に示すように、車両２の移動に追従して視点変換画像が変化する。
やがて、図９に示すように、所望の位置まで車両２が後退して車両２が停車すると、視点変換画像の変化も停止する。

２）後方視点モード
車両２が後退しつつ（バックしつつ）２本のガイド線Ｌ１、Ｌ２の間に駐車する場合について説明する。
図１０は車両２がその後部をブロックＢＬに向けた状態で２本のガイド線Ｌ１、Ｌ２の手前に位置している状態を示している。
図１０に示すように、表示画面３２０２には、ガイド線Ｌ１、Ｌ２、ブロックＢＬ、駐車場周辺に位置する複数の建築物ａ、ｂ、ｃ、ｄ、ｅ、ｋ、ｌ、ｍ、ｎ、駐車場に駐車している別の車両４などを含んだ視点変換画像である後方視点画像が表示されている。
図１０に示した状態からさらに車両２が後退すると、図１１に示すように、車両２の移動に追従して視点変換画像が変化する。
やがて、図１２に示すように、所望の位置まで車両２が後退して車両２が停車すると、視点変換画像の変化も停止する。

３）前方視点モード
車両２が前進しつつ２本のガイド線Ｌ１、Ｌ２の間に駐車する場合について説明する。
図１３は車両２がその前部をブロックＢＬに向けた状態で２本のガイド線Ｌ１、Ｌ２の手前に位置している状態を示している。
図１３に示すように、表示画面３２０２には、ガイド線Ｌ１、Ｌ２、ブロックＢＬ、駐車場周辺に位置する複数の建築物ｅ、ｆ、ｇ、ｈ、ｉ、ｊ、駐車場に駐車している別の車両４などを含んだ視点変換画像である前方視点画像が表示されている。
図１３に示した状態からさらに車両２が前進すると、図１４に示すように、車両２の移動に追従して視点変換画像が変化する。
やがて、図１５に示すように、所望の位置まで車両２が前進して車両２が停車すると、視点変換画像の変化も停止する。

以上説明したように、本実施の形態では、車両周辺監視装置１０は、視点Ｐおよび方向Ｄを３通りに異ならせることにより、視点変換画像を上方視点画像、後方視点画像、前方視点画像の３通りに変更することができる。言い換えると、表示動作を上方視点モード、後方視点モード、前方視点モードの３通りに切り替えることができる。
そこで、本実施の形態では、車両周辺監視装置１０は、以下に説明するように車両２の走行状況の検出結果と接近物体の検出結果とに応じて、車両２の運転を適切に支援する上で最適な表示動作を選択する。

次に図１６のフローチャートを参照して車両２が駐車場で駐車する場合における車両周辺監視装置１０の動作について具体的に説明する。
まず、運転状況検出手段４０は、車速センサ２６の検出結果に基づいて車両２の速度が予め定められた所定の速度以下であるか否かを判定する（ステップＳ１０）。ステップＳ１０が否定ならばステップＳ１０を繰り返して実行する。前記の所定速度は駐車時における車速に基づいて設定すればよい。
ステップＳ１０が肯定ならば、視点位置方向決定手段４４は、視点変換画像生成手段３８によって生成される視点変換画像が上方視点画像となるように視点Ｐの位置と方向Ｄとを決定する。これにより、図７に示すような上方視点画像がモニタ３２の表示画面３２０２に表示される上方視点モードが実行される（ステップＳ１２）。
したがって、車両２の速度が所定の車速以下である場合には、上方視点画像によって車両２の全周にわたる広い範囲が表示されるため、車両２の周囲に位置する物体の有無を漏れなく的確に視認する上で有利となる。
本実施の形態においては、物体は、ブロックＢＬ、あるいは、隣接する他の車両４である。

次に、運転状況検出手段４０は、シフト位置センサ２４によって検出された車両２の走行状態（前進および後退の何れの走行状態であるか）と、操舵角センサ２８によって検出された操舵角とに基づいて車両２の進行方向を検出する（ステップＳ１４）。
次いで、視点位置方向決定手段４４は、接近物体検出手段４２によって物体が検出されたか否かを判定する（ステップＳ１６）。ステップＳ１６が否定であれば、ステップＳ１０に戻る。
ステップＳ１６が肯定であれば、視点位置方向決定手段４４は、検出された物体が車両２の進行方向に位置しているか否かを判定する（ステップＳ１８）。ステップＳ１８が否定であれば、ステップＳ１０に戻る。
ステップＳ１８が肯定であれば、視点位置方向決定手段４４は、シフト位置センサ２４によって検出された車両２の走行状態に基づいて車両２が前進しているか後退しているかを判定する（ステップＳ２０）。

ステップＳ２０で車両２が前進状態と判定されたならば、視点位置方向決定手段４４は、視点変換画像生成手段３８によって生成される視点変換画像が前方視点画像となるように視点Ｐの位置と方向Ｄとを決定する。
言い換えると、視点位置方向決定手段４４は、視点Ｐの位置を、車両２の進行方向の前方でかつ上方の箇所に決定すると共に、方向Ｄを、視点Ｐから画像投影面に投影された投影画像のうち車両２および物体を含む部分を見下ろす方向に決定することになる。
これにより、図１３、図１４、図１５に示すような前方視点画像がモニタ３２の表示画面３２０２に表示される前方視点モードが実行される（ステップＳ２２）。
したがって、車両２が前進しかつ車両２の進行方向に物体が位置している場合には、前方視点モードが実行されることによって車両２の進行方向に位置する物体を含む画像が確実に表示される。そのため、注意を払うべき物体を的確に視認しつつ運転操作を行う上で有利となる。言い換えると、注意を払うべき物体との距離感を得る上で有利な位置の視点Ｐから見た前方視点画像を視認できるため、運転操作を行う上で有利となる。

また、ステップＳ２０で車両２が後退状態と判定されたならば、視点位置方向決定手段４４は、視点変換画像生成手段３８によって生成される視点変換画像が後方視点画像となるように、視点Ｐの位置と方向Ｄとを決定する。
言い換えると、視点位置方向決定手段４４は、視点Ｐの位置を、車両２の進行方向の前方でかつ上方の箇所に決定すると共に、方向Ｄを、視点Ｐから画像投影面に投影された投影画像のうち車両２および物体を含む部分を見下ろす方向に決定することになる。
これにより、図１０、図１１、図１２に示すような後方視点画像がモニタ３２の表示画面３２０２に表示される後方視点モードが実行される（ステップＳ２４）。
したがって、車両２が後退しかつ車両２の進行方向に物体が位置している場合には、後方視点モードが実行されることによって車両２の進行方向に位置する物体を含む画像が確実に表示される。そのため、注意を払うべき物体を的確に視認しつつ運転操作を行う上で有利となる。言い換えると、注意を払うべき物体との距離感を得る上で有利な位置の視点Ｐから見た後方視点画像を視認できるため、運転操作を行う上で有利となる。

また、本実施の形態では、ステップＳ１６において物体が検出されない場合、あるいは、ステップＳ１６で物体が検出されてもステップＳ１８において車両２の進行方向に物体が位置していない場合には、ステップＳ１０、Ｓ１２に移行して上方視点モードに戻る。
このように、注意を払うべき物体が無い場合には、上方視点画像によって車両２の全周にわたる広い範囲が表示されるため、車両２の周囲に位置する物体の有無を漏れなく的確に視認する上で有利となる。

本実施の形態によれば、車両２の周囲にわたって延在する仮想的な３次元の立体面からなる画像投影面に投影された投影画像を見る仮想的な視点Ｐと方向Ｄとを、運転状況の検出結果と、車両２に接近する物体の検出結果とに基づいて決定するようにした。
したがって、運転状況および車両２に接近する物体の有無に応じて車両２の運転操作を行う上で適切な視点Ｐと方向Ｄから見た画像を表示させることができるので、車両２の運転操作を簡単かつ円滑に行う上で有利となる。
また、本実施の形態では、車両２の周囲にわたって延在する仮想的な３次元の立体面からなる画像投影面に投影された投影画像を仮想的な視点Ｐと方向Ｄから見た画像が表示される。そのため、従来装置で表示される俯瞰画像のような死角が発生しにくく、また、従来装置で表示される俯瞰画像を見たときのような違和感が軽減される。
したがって、表示された画像に基づいて車両２の周辺の状況を直感的に認識する上で有利となることから、訓練や慣れを必要とすることなく車両２の運転操作を簡単かつ円滑に行う上で有利となる。

（第２の実施の形態）
次に、第２の実施の形態について説明する。
上述した第１の実施の形態では、車両２の速度が所定速度以下である場合に無条件で上方視点画像が表示されることになる。そのため、交差点で車両２が信号待ちしている場合、あるいは、見通しの悪い交差点で車両２がゆっくりと前方に移動するいわゆる頭出しを行う場合であっても上方視点画像が表示されることになる。
しかしながら、信号待ちや頭出しを行うような状況においては、上方視点画像よりも、前方カメラ１２で車両２の前方を撮像した撮像画像を表示させることが運転操作を支援する上でより適切といえる。
そこで、第２の実施の形態では、信号待ちや頭出しを行うような状況と、駐車場内で駐車をするような状況とを的確に判定し、その判定結果に対応して最適な画像を表示させるようにしたものである。

図１７は第２の実施の形態における車両周辺監視装置１０の構成を示すブロック図、図１８は、第２の実施の形態における車両周辺監視装置１０の動作フローチャート、図１９は前カメラ画像モード時に表示される画像の説明図である。なお、以下の実施の形態において第１の実施の形態と同様あるいは同一の部分には同一の符号を付してその説明を省略する。
図１７に示すように、第２の実施の形態においては、車両周辺監視装置１０は、位置検出手段としてのナビゲーション装置３０と、表示制御手段４５とをさらに備えている。
ナビゲーション装置３０は、前述したように測位部３００２と、データベース３００４とを含んで構成されている。
本実施の形態では、ナビゲーション装置３０は、測位部３００２で測位された車両２の現在地に対応する地図情報や施設情報に基づいて、車両２が駐車場内に位置しているか、駐車場外に位置しているかを判定し、その判定結果をＥＣＵ２０に供給する。
表示制御手段４５は、ナビゲーション装置３０により車両２が駐車場内に位置していると判定されたときに前方カメラで撮像された撮像画像をモニタ３２の表示画面３２０２に表示させる。また、ナビゲーション装置３０によりにより車両２が駐車場外に位置していると判定されたときに視点変換画像を表示画面３２０２に表示させる。
なお、ＥＣＵ２０は表示制御手段４５を含んで構成され、表示制御手段４５は、第１の実施の形態と同様に、前記ＣＰＵが前記制御プログラムを実行することにより実現される。

次に、図１９のフローチャートを参照して動作について説明する。
まず、運転状況検出手段４０は、車速センサ２６の検出結果に基づいて車両２の速度が予め定められた所定の速度以下であるか否かを判定する（ステップＳ５０）。ステップＳ５０が否定ならばステップＳ５０を繰り返して実行する。
ステップＳ５０が肯定ならば、表示制御手段４５は、ナビゲーション装置３０からの判定結果を受け付ける（ステップＳ５２）。
ナビゲーション装置３０により車両２が駐車場内に位置していないと判定されると、表示制御手段４５は、前方カメラ１２で撮像された撮像画像をモニタ３２の表示画面３２０２に表示させる前方カメラ画像モードを実行する（ステップＳ５４）。
この結果、図１９に示すように、前方カメラ１２の撮像範囲Ａ１（図２）に相当する画像が表示画面３２０２に表示される。なお、図１９では、車両２の前方に位置する他の車両６、路面に描かれた停止線およびＳＴＯＰの文字が表示画面３２０２に表示された様子を示している。
したがって、交差点で車両２が信号待ちしている場合、あるいは、見通しの悪い交差点で車両２がゆっくりと前方に移動するいわゆる頭出しを行う場合には、前方カメラ１２で車両２の前方を撮像した撮像画像が表示される。この画像は、車両２の信号待ちあるいは頭出しの場合に、上方視点画像に比較して運転操作を支援する上でより適切なものである。

一方、ステップＳ５２でナビゲーション装置３０により車両２が駐車場内に位置していると判定されると、ステップＳ５６乃至Ｓ６６が実行される。すなわち、第１の実施の形態における図１６のステップＳ１２乃至Ｓ２４の動作が実行され、視点変換画像が表示画面３２０２に表示される。言い換えると、表示制御手段４５は、視点変換画像を表示画面３２０２に表示させる動作を実行する。
なお、ステップＳ５６乃至Ｓ６６のそれぞれは図１６のステップＳ１２乃至Ｓ２４のそれぞれと同一であるため説明を省略する。

第２の実施の形態によれば、第１の実施の形態と同様の効果が奏される。また、信号待ちや頭出しを行うような状況と、駐車場内で駐車をするような状況とを的確に判定し、その判定結果に対応して最適な画像を表示させることができるため、車両２の環境に応じた運転支援をより適切に行う上で一層有利となる。

さらに、第２の実施の形態の変形例として以下に説明するようなものが考えられる。
すなわち、車両２が駐車した際にシフト位置センサ２４によって検出されたシフト位置をＥＣＵ２０によりメモリ（不図示）に格納しておく。
次に車両２を発進させる際に、前記のメモリのシフト位置に応じて次のような画像を視点変換画像に優先して表示画面３２０２に表示させるようにしてもよい。
１）前記メモリに格納されているシフト位置がＤ（ドライブ：前進）であり次に車両２が発進する際のシフト位置がＲ（リバース：後退）であった場合：
この場合は、車両２がその前部から駐車スペースに入り込んだ状態で駐車しているため、車両２が駐車スペースから発進する際は、車両２が後退することになる。
したがって、表示制御手段４５により後方カメラ１４で撮像された撮像画像をモニタ３２の表示画面３２０２に表示させる後方カメラ画像モードを実行する。
この結果、後方カメラ１４の撮像範囲Ａ２（図２）に相当する画像が表示画面３２０２に表示される。そのため、運転者は、注意を払うべき車両２の後方の画像を視認することができ、車両２を発車させる際の運転支援を適切に行う上で有利となる。
２）前記メモリに格納されているシフト位置がＲであり次に車両２が発進する際のシフト位置がＤであった場合：
この場合は、車両２がその後部から駐車スペースに入り込んだ状態で駐車しているため、車両２が駐車スペースから発進する際は、車両２が前進することになる。
したがって、表示制御手段４５により前方カメラ１２で撮像された撮像画像をモニタ３２の表示画面３２０２に表示させる前方方カメラ画像モードを実行する。
この結果、前方カメラ１２の撮像範囲Ａ１（図２）に相当する画像が表示画面３２０２に表示される。そのため、運転者は、注意を払うべき車両２の前方の画像を視認することができ、車両２を発車させる際の運転支援を適切に行う上で有利となる。
この変形例によれば、駐車場で駐車した状態から車両２を発車させる際の運転支援をより適切に行う上で一層有利となる。

２……車両、１０……車両周辺監視装置、１２……前方カメラ、１４……後方カメラ、１６……左方カメラ、１８……右方カメラ、２０……ＥＣＵ、２４……シフト位置センサ、２６……車両センサ、２８……操舵角センサ、３０……ナビゲーション装置（位置検出手段）、３２……表示装置２２０２……表示画面、３６……画像投影手段、３８……視点変換画像生成手段、４０……運転状況検出手段、４２……接近物体検出手段、４４……視点位置方向決定手段、４５……表示制御手段、５０……画像投影面、Ｐ……仮想的な視点、Ｄ……方向、Ｍ……車両モデル画像。

Claims (8)

1. 車両の周囲を互いに異なる前記車両の箇所から撮像して撮像画像を生成する複数のカメラと、
   前記各カメラから得られた前記撮像画像を前記車両の周囲にわたって延在する仮想的な３次元の立体面からなる画像投影面に投影する画像投影手段と、
   前記画像投影面に投影された投影画像を視点変換処理することによって、指定された箇所に位置する仮想的な視点から指定された方向で前記投影画像を見ることによって得られる視点変換画像を生成する視点変換画像生成手段と、
   前記視点変換画像を表示画面に表示する表示装置と、
   前記車両の運転状況を検出する運転状況検出手段と、
   前記車両に物体が接近したことを検出する接近物体検出手段と、
   前記運転状況検出手段の検出結果と前記接近物体検出手段の検出結果とに基づいて、前記仮想的な視点の位置および方向を決定する視点位置方向決定手段と、
   を備えることを特徴とする車両周辺監視装置。
2. 前記接近物体検出手段による前記接近物体の接近の検出は、前記画像投影面に投影された投影画像に基づいてなされる、
   ことを特徴とする請求項１記載の車両周辺監視装置。
3. 前記車両状況検出手段によって検出される前記車両の運転状況は前記車両の速度を含み、
   前記検出された前記車両の速度が予め定められた速度以下となった場合に、前記視点位置方向決定手段は、前記仮想的な視点の位置を、前記車両を通る鉛直線上で前記車両の上方の箇所に決定する共に、前記方向を、前記仮想的な視点から前記画像投影面に投影された投影画像の全体を俯瞰する方向に決定する、
   ことを特徴とする請求項１または２記載の車両周辺監視装置。
4. 前記車両状況検出手段によって検出される前記車両の運転状況は前記車両の進行方向を含み、
   前記検出された前記進行方向に前記接近物体検出手段によって物体が位置していることが検出された場合に、前記視点位置方向決定手段は、前記仮想的な視点の位置を、前記車両の進行方向の前方でかつ上方の箇所に決定すると共に、前記方向を、前記仮想的な視点から前記画像投影面に投影された投影画像のうち前記車両および前記物体を含む部分を見下ろす方向に決定する、
   ことを特徴とする請求項１乃至３に何れか１項記載の車両周辺監視装置。
5. 前記車両の運転状況は、車両の速度と、ステアリングの操舵角と、シフトレバーのシフト位置との少なくとも１つを含む、
   ことを特徴とする請求項１乃至４に何れか１項記載の車両周辺監視装置。
6. 前記視点変換画像生成手段は、前記視点変換画像のうち前記車両に相当する部分に、前記車両を模って描かれた車両モデル画像を合成する、
   ことを特徴とする請求項１乃至５に何れか１項記載の車両周辺監視装置。
7. 前記複数のカメラは前記車両の前部から前方を撮像する前方カメラを含み、
   前記車両が駐車場内に位置しているか、駐車場外に位置しているかを判定する位置検出手段と、
   前記位置検出手段により前記車両が前記駐車場内に位置していると判定されたときに前記前カメラで撮像された撮像画像を前記表示装置に表示させ、前記位置検出手段により前記車両が前記駐車場外に位置していると判定されたときに前記視点変換画像を表示画面に表示させる表示制御手段とをさらに備える、
   ことを特徴とする請求項１乃至６に何れか１項記載の車両周辺監視装置。
8. 前記複数のカメラは、
   前記車両の前部に設けられ前記車両の前方を撮像する前方カメラと、
   前記車両の後部に設けられ前記車両の後方を撮像する後方カメラと、
   前記車両の左側部に設けられ前記車両の左側方を撮像する左方カメラと、
   前記車両の右側部に設けられ前記車両の右側方を撮像する右方カメラとを備える、
   ことを特徴とする請求項１乃至６に何れか１項記載の車両周辺監視装置。

Images