JP2011254190A

JP2011254190A - 車両用周囲監視装置

Info

Publication number: JP2011254190A
Application number: JP2010125517A
Authority: JP
Inventors: Noriyuki Sato; 徳行佐藤
Original assignee: Clarion Co Ltd
Current assignee: Faurecia Clarion Electronics Co Ltd
Priority date: 2010-06-01
Filing date: 2010-06-01
Publication date: 2011-12-15
Anticipated expiration: 2030-06-01
Also published as: JP5476216B2

Abstract

【課題】車両周囲を撮影した複数の画像を合成して、車両周囲の状況を俯瞰する俯瞰画像を生成すると、画像の繋ぎ目で、路面から高さを有する物体に対して死角が生じてしまう。
【解決手段】撮影手段２０で撮影された画像の繋ぎ目に、仮想スクリーン設置手段３０によって、路面に垂直で車両に対して遠近方向に延びた表裏２面からなる仮想スクリーンを設置し、仮想スクリーン投影画像生成手段４０によって、撮影手段２０で撮影された画像を仮想スクリーンの表裏面に投影し、仮想スクリーンの上端もしくは下端を支端として、仮想スクリーン展開角度指示手段９０によって指定された角度で展開して、画像合成手段８０によって、路面投影画像生成手段５０で生成した画像を、第２視点変換手段７０によって座標変換した画像と合成して、画像表示手段１１０に表示する。
【選択図】図１

Description

本発明は、車両に設置され、車両の周囲を撮影した画像を表示する車両用周囲監視装置に関する。

近年、車両にカメラを設置し、運転者に対して死角になりやすい車両周辺の画像を撮影して表示するシステムが一般的になってきている。

特に、最近では、車両に複数のカメラを設置し、真上から見下ろしたように座標変換して俯瞰画像を生成し、さらに、生成した俯瞰画像同士を合成して、車両の周囲３６０°を見渡した画像を表示するシステムも実用化されている。

その中には、例えば、俯瞰画像同士を合成する際、画像の繋ぎ目の位置を、車両の挙動に基づいて設定する発明が提案されている（特許文献１）。

特開２００７−３６６６８号公報

しかしながら、特許文献１に開示された発明では、高さのある物体を路面に投影して画像化しているため、路面から高さのある物体は、変換後の画像では歪んでしまい、これによって立体物が認知しにくくなるという課題がある。

また、異なるカメラで撮影した画像同士の、丁度繋ぎ目の位置に立体物が存在していたとき、撮影された画像を路面に投影すると、この立体物は、その立体物を撮影するカメラの主点位置と立体物とを結ぶ方向に、カメラから遠ざかる向きに倒れ込んで投影される。

したがって、画像同士の繋ぎ目の位置で画像を合成すると、その繋ぎ目の位置を越えて倒れ込んだ立体物の投影像が切り取られてしまい、結果的に、画像同士の繋ぎ目の位置にある立体物の投影像は、路面と接している部分しか残らず、これによって、合成された俯瞰画像上では、画像同士の繋ぎ目において、路面から高さを有する物体に対して死角が生じてしまうという課題がある。

本発明は上記事情に鑑みなされたもので、画像同士の繋ぎ目においても、死角を生じることなく、路面から高さのある立体物を、歪みなく的確に表示することができる車両用周囲監視装置を提供することを目的とする。

本発明に係る車両用周囲監視装置は、車両の周囲に取り付けられ、隣り合う撮影範囲の一部が重複するように配置された複数の撮影手段の重複領域の中に、仮想スクリーン設置手段が、前記車両に対して遠近方向に延びて鉛直に立ち上がる、表裏２面からなる仮想スクリーンを設置し、仮想スクリーン投影画像生成手段が、隣り合う前記撮影手段で撮影した各々の画像を、前記仮想スクリーンの表面、および裏面に投影して仮想スクリーン投影画像を生成し、第１視点変換手段が、仮想スクリーン投影画像を所定の視点位置から所定の視線方向を向いて観測した画像に座標変換して、さらに、路面投影画像生成手段によって生成された路面投影画像が、第２視点変換手段によって所定の視点位置から所定の視線方向を向いて観測した画像に座標変換されて、画像合成手段によって、第１視点変換手段によって座標変換された仮想スクリーン投影画像と、第２視点変換手段によって座標変換された路面投影画像とが１枚の画像に合成され、画像表示手段が前記合成された画像を表示するものである。

すなわち、本発明に係る第１の車両用周囲監視装置は、車両周囲を撮影するように、隣り合う撮影範囲の一部が重複領域を有して車両に設置された複数の撮影手段と、前記撮影範囲の重複領域の内部に、前記車両に対して遠近方向に延び、鉛直方向に立ち上がった、表裏２面を有し、その上端または下端を支端として、前記表裏２面を開閉することが可能であり、かつ前記表裏２面に写った画像情報を前記表裏２面の各面の両面から視認できる仮想スクリーンを設置する仮想スクリーン設置手段と、隣り合う前記撮影手段で撮影した各々の画像の各画素の濃淡値を、前記撮影手段の各々の主点に対応する位置から前記撮影手段で撮影された画像の各画素に向かって延ばした半直線が、前記仮想スクリーンの前記表裏２面のうち最初に交差する面の交差する位置に格納して仮想スクリーン投影画像を生成する仮想スクリーン投影画像生成手段と、前記仮想スクリーン投影画像生成手段によって生成された前記仮想スクリーンを、第１の視点位置から第１の視線方向を向いて観測した画像に座標変換して出力する第１視点変換手段と、前記複数の撮影手段で撮影した各々の画像の各画素の濃淡値を、前記撮影手段の各々の主点に対応する位置から前記撮影手段で撮影された画像の各画素に向かって延ばした半直線が路面と交差する位置にある画素に格納して路面投影画像を生成する路面投影画像生成手段と、前記路面投影画像生成手段によって生成された前記路面投影画像を、第２の視点位置から、第２の視線方向を向いて観測した画像に座標変換して出力する第２視点変換手段と、前記第１視点変換手段によって出力された画像と、前記第２視点変換手段によって出力された画像とを、１枚の画像に合成して出力する画像合成手段と、前記画像合成手段によって合成された画像を表示する画像表示手段とを備えたことを特徴とする。

このように構成された本発明に係る第１の車両用周囲監視装置によれば、仮想スクリーン設置手段が、隣り合う撮影手段の各々の撮影範囲の重複領域の中に、車両に対して遠近方向に延びた、鉛直方向に立ち上がる、表裏２面を有し、その上端または下端を支端として、前記表裏２面が開閉可能な仮想スクリーンを設置し、仮想スクリーン投影画像生成手段が隣り合う前記撮影手段で撮影した各々の画像の濃淡値を、前記仮想スクリーンの表裏面のうち、前記撮影手段の各々の主点に対応する位置から前記撮影手段で撮影された画像の各画素に向かって延ばした半直線が、前記仮想スクリーンの表裏２面のうち最初に交差する面の交差する位置に格納して仮想スクリーン投影画像を生成し、生成した仮想スクリーン投影画像を、第１視点変換手段が、第１の視点位置から第１の視線方向に向いて観測した画像に座標変換し、また、路面投影画像生成手段が、前記複数の撮影手段で撮影した各々の画像の各画素に格納された濃淡値を路面に投影して路面投影画像を生成し、生成した仮想スクリーン投影画像を、第２視点変換手段が、第２の視点位置から第２の視線方向に向いて観測した画像に座標変換し、このようにして座標変換された仮想スクリーン投影画像と路面投影画像とが、画像合成手段によって１枚の画像に合成されて、画像表示手段によって表示されることにより、画像同士の繋ぎ目においても、死角を生じることなく、路面から高さのある立体物を歪みなく的確に表示することができる。

また、本発明に係る第２の車両用周囲監視装置は、隣り合う撮影手段の撮影範囲の重複領域における、車両から、前記車両の近傍に存在する路面から高さのある物体までの距離を出力する複数の障害物検出手段を備え、前記仮想スクリーン設置手段は、前記路面から高さのある物体までの距離が所定値よりも小さいことが検出されたとき、または、前記路面から高さのある物体までの距離が時間とともに小さくなることが検出されたとき、前記検出結果を出力した障害物検出手段の設置位置に対応した前記撮影手段の撮影範囲の重複領域の内部に前記仮想スクリーンを設置して、前記仮想スクリーンに対して前記仮想スクリーン投影画像を生成することを特徴とする。

このように構成された本発明に係る第２の車両用周囲監視装置によれば、障害物検出手段によって、車両から、その近傍に存在する路面から高さのある物体までの距離が所定値よりも小さいことが検出されたとき、もしくは、前記物体までの距離が時間とともに小さくなることが検出されたとき、前記物体を検出した障害物検出手段の検出範囲に対応する範囲に、仮想スクリーン設置手段が、隣り合う撮影手段の各々の撮影範囲の重複領域の中に、車両に対して遠近方向に延びた、鉛直方向に立ち上がる、表裏２面を有し、その上端または下端を支端として前記表裏２面が開閉可能な仮想スクリーンを設置し、仮想スクリーン投影画像生成手段が隣り合う前記撮影手段で撮影した各々の画像の濃淡値を前記仮想スクリーンに投影して仮想スクリーン投影画像を生成するとともに、路面投影画像生成手段が、前記複数の撮影手段で撮影した各々の画像の各画素に格納された濃淡値を路面に投影して路面投影画像を生成し、こうして生成された仮想スクリーン投影画像と路面投影画像とを、画像合成手段によって１枚の画像に合成して、画像表示手段によって表示することによって、画像同士の繋ぎ目においても、死角を生じることなく、路面から高さのある立体物を歪みなく的確に表示することができる。

本発明に係る車両用周囲監視装置によれば、車両周囲に設置された複数の撮影手段で撮影した画像の繋ぎ目に存在する、路面から高さのある立体物を、歪みなく的確に表示することができる。

本発明の第１実施形態に係る車両用周囲監視装置の概略構成を示すブロック図である。（ａ）本発明の第１実施形態が設置された車両の左側面図である。（ｂ）図２（ａ）の上面図である。（ａ）仮想スクリーン投影画像の生成方法を説明するための、車両周囲環境の配置図である。（ｂ）図３（ａ）を真上から見た図である。（ａ）第１カメラで撮影した画像を第１仮想スクリーンに投影する様子を示す図である。（ｂ）図４（ａ）を真上から見た図である。（ｃ）第２カメラで撮影した画像を第１仮想スクリーンに投影する様子を示す図である。（ｄ）図４（ｃ）を真上から見た図である。本発明の第１実施形態の動作を説明するフローチャートである。（ａ）第１カメラで撮影した画像を路面に投影する様子を示す図である。（ｂ）第２カメラで撮影した画像を路面に投影する様子を示す図である。（ｃ）路面に投影された画像を合成する様子を示す図である。合成路面投影画像を示す図である。（ａ）車両前進時に表示用モニタに表示される画像の例である。（ｂ）車両後退時に表示用モニタに表示される画像の例である。（ａ）表示用モニタに表示された画像の中の仮想スクリーン投影画像をタッチする様子を示す図である。（ｂ）仮想スクリーン投影画像を、上端を支端として展開角度θだけ展開して表示する様子を示す図である。（ｃ）仮想スクリーン投影画像を１８０°展開して表示する様子を示す図である。仮想スクリーン投影画像の下端を支端として展開表示する様子を示す図である。本発明の第２実施形態に係る車両用周囲監視装置の概略構成を示すブロック図である。（ａ）本発明の第２実施形態が設置された車両の左側面図である。（ｂ）図２（ａ）の上面図である。本発明の第２実施形態の動作を説明するフローチャートである。（ａ）車両前進時に表示用モニタに表示される画像の例である。（ｂ）車両後退時に表示用モニタに表示される画像の例である。透過率設定部で設定される透過率パラメータの例を示す図である。

以下、本発明に係る車両用周囲監視装置の実施形態について、図面を参照して説明する。

本実施例は、本発明を、車両１に設置された複数のカメラで撮影した車両周囲の画像を、運転者に見やすい形態で表示することが可能な、車両用周囲監視装置２に適用したものである。

図１は、本発明の実施形態に係る車両用周囲監視装置２の構成を示すブロック図である。本実施例に係る車両用周囲監視装置２は、図１に示す通り、図示しない車両１に設置され、運転者による車両用周囲監視装置２の起動操作を検出する起動操作検出手段１０と、車両用周囲監視装置２の動作終了操作を検出する終了操作検出手段１５と、車両周囲の画像を撮影する複数のカメラから構成された撮影手段２０と、撮影手段２０を構成する複数のカメラのうち、隣り合うカメラの撮影領域の重複部に、鉛直に立ち上がり、その上端もしくは下端を支端として開閉可能な、表裏２面を有する平面状の仮想スクリーンを設置する仮想スクリーン設置手段３０と、仮想スクリーン設置手段３０で設置した仮想スクリーンに対して、隣り合う撮影手段の各々の主点に対応する位置から前記撮影手段で撮影された画像の各画素に向かって延ばした半直線が、前記仮想スクリーンの表裏２面のうち最初に交差する面の交差する画素に、前記隣り合う撮影手段で撮影された画像の濃淡値を格納して仮想スクリーン投影画像を生成する仮想スクリーン投影画像生成手段４０と、撮影された車両周囲の画像を、路面に投影して路面投影画像を生成する路面投影画像生成手段５０と、仮想スクリーン投影画像生成手段４０で生成された仮想スクリーン投影画像を、第１の視点位置から第１の視線方向を向いて観測した画像に座標変換する第１視点変換手段６０と、路面投影画像生成手段５０で生成された路面投影画像を、第２の視点位置から第２の視線方向を向いて観測した画像に座標変換する第２視点変換手段７０と、第１視点変換手段６０によって視点変換された仮想スクリーン投影画像と第２視点変換手段７０によって視点変換された路面投影画像とを１枚の画像に合成する画像合成手段８０と、前記画像合成手段８０に対して、仮想スクリーン設置手段３０によって設置された仮想スクリーンの表裏２面を開いて表示する（以後、展開と呼ぶ）際の展開角度θを指示する仮想スクリーン展開角度指示手段９０と、前記画像合成手段８０に対して、前記仮想スクリーンの表裏２面の開閉を指示するスクリーン押下検出手段１００と、画像合成手段８０で合成した画像を表示する画像表示手段１１０とから構成される。

ここで、起動操作検出手段１０は、詳しくは、車両用周囲監視装置２の起動を指示する起動スイッチ１１と、車両のシフトポジションを検出するシフトポジション検出手段１２と、車両１のイグニッションスイッチの状態を判断するイグニッションスイッチ状態判断手段１３とからなる。

終了操作検出手段１５は、詳しくは、車両用周囲監視装置２の動作終了を指示する終了スイッチ１６と、車両１の車速を検出する車速検出手段１８とからなる。

撮影手段２０は、詳しくは、図２のように車両の周囲に設置され、隣り合う撮影領域が互いに重複するように配置された第１カメラ２２、第２カメラ２４、第３カメラ２６、第４カメラ２８とからなる。

仮想スクリーン投影画像生成手段４０は、詳しくは、仮想スクリーン投影画像を生成するために、第１カメラ２２から第４カメラ２８の各設置位置と仮想スクリーンの各設置位置とに基づいて、予め作成された座標変換用データテーブルが格納された第１座標変換データ格納部４４と、第１座標変換データ格納部４４に格納された座標変換用データテーブルに基づいて、仮想スクリーン投影画像を生成する仮想スクリーン投影画像生成部４２とからなる。

路面投影画像生成手段５０は、詳しくは、路面投影画像を生成するために、第１カメラ２２から第４カメラ２８の各設置位置に基づいて、予め作成された座標変換用データテーブルが格納された第２座標変換データ格納部５６と、第２座標変換データ格納部５６に格納された座標変換用データテーブルに基づいて、各カメラで撮影した画像から路面投影画像を生成する路面投影画像生成部５２と、生成された複数の路面投影画像を１枚の画像に合成する路面投影画像合成部５４とからなる。

第１視点変換手段６０は、詳しくは、シフトポジション検出手段１２によって検出されたシフトポジションや、運転者の起動スイッチ１１の操作に基づいて、仮想スクリーン投影画像を視点変換する際の第１の視点位置と第１の視線方向を設定する第１視点位置・第１視線方向設定部６６と、第１視点位置・第１視線方向設定部６６で設定された第１の視点位置から第１の視線方向に向けて、仮想スクリーン投影画像の視点変換を行うための座標変換用データテーブルが格納された第３座標変換データ格納部６４と、第３座標変換データ格納部６４に格納された座標変換用データテーブルに基づいて、仮想スクリーン投影画像を視点変換する第１視点変換部６２とからなる。

第２視点変換手段７０は、詳しくは、シフトポジション検出手段１２によって検出されたシフトポジションや、運転者の起動スイッチ１１の操作に基づいて、路面投影画像を視点変換する際の第２の視点位置と第２の視線方向を設定する第２視点位置・第２視線方向設定部７６と、第２視点位置・第２視線方向設定部７６で設定された第２の視点位置から第２の視線方向に向けて、路面投影画像の視点変換を行うための座標変換用データテーブルが格納された第４座標変換データ格納部７４と、第４座標変換データ格納部７４に格納された座標変換用データテーブルに基づいて、路面投影画像を視点変換する第２視点変換部７２とからなる。

画像合成手段８０は、詳しくは、第１視点変換手段６０によって視点変換された仮想スクリーン投影画像と第２視点変換手段７０によって視点変換された路面投影画像とを１枚の画像に合成する際、画像が重複する部分の透過率を設定する透過率設定部８４と、透過率設定部８４で設定された透過率にて、第１視点変換手段６０によって視点変換された仮想スクリーン投影画像を前面に、第２視点変換手段７０によって視点変換された路面投影画像を背面にして合成する画像合成部８２とからなる。

スクリーン押下検出手段１００は、詳しくは、表示用モニタ１１４のスクリーン面に設置されたタッチパネルによって構成され、運転者によって押下された座標位置を検出するスクリーン押下座標検出部１０２と、スクリーン押下座標検出部１０２によって、スクリーンが押下されたことが検出されたとき、その押下の継続時間を計測するスクリーン押下時間計測部１０４とからなる。

画像表示手段１１０は、詳しくは、画像合成手段８０で合成された画像を、ディジタル信号からアナログ信号に変換するエンコーダ１１２と、車内に設置され、エンコーダ１１２によってアナログ信号に変換された画像を表示する、液晶モニタ等の表示用モニタ１１４とからなる。

次に、本実施例に係る車両用周囲監視装置２の作用について、図５のフローチャートに基づいて説明する。本実施例に係る車両用周囲監視装置２は、車両の駐車時や狭い場所での切り返し時に利用され、車両周囲の画像を運転者に呈示して運転動作を補助するものである。

図２（ａ）に示すように、第１カメラ２２は車両１のフロントバンパに、第２カメラ２４は車両１の左ドアミラーに、第３カメラ２６は車両１のリアバンパにそれぞれ設置されており、図２（ａ）には図示しないが、第４カメラ２８は車両１の右ドアミラーに設置されている。

また、各カメラは、図２（ｂ）に示す通り、それらの撮影範囲と路面とが、各交線１５０、１５２、１５４、１５６で交わる範囲を撮影するように設置されている。

なお、隣り合うカメラは、図２（ｂ）に示す通り、各々の撮影範囲が互いに重複し、第１カメラ２２と第２カメラ２４とは第１重複領域Ｅ１をなし、第２カメラ２４と第３カメラ２６とは第２重複領域Ｅ２をなし、第３カメラ２６と第４カメラ２８とは第３重複領域Ｅ３をなし、第４カメラ２８と第１カメラ２２とは第４重複領域Ｅ４をなすように設置されている。

まず、車両１の左前方直近に歩行者３００が起立している状況にて、車両１が、駐車のために前方に向かって前進している場面について、本実施例の車両用周囲監視装置２の動作を説明する。

イグニッションスイッチ状態判断手段１３によって、車両１のイグニッションがＯＮになっていることが確認されると（図５のＳ１）、車両用周囲監視装置２の状態を表す変数γに０が与えられる（図５のＳ２）。運転者は、車両周囲の画像を監視したいとき、車内に設置された起動スイッチ１１を操作する。起動スイッチ１１が操作されると（図５のＳ３がＹｅｓのとき）、車両用周囲監視装置２の状態を表す変数γに１が与えられる（図５のＳ５）。

第１カメラ２２から第４カメラ２８で撮影された画像は、それぞれ、図１に図示しない、各カメラの後段に接続されたデコーダによって、コンポジット信号からコンポーネント信号に変換され、さらに、コンポーネント信号のうち輝度信号は、図１に図示しないＡ／Ｄ変換器を通してディジタル画像に変換される（図５のＳ７）。第１カメラ２２から第４カメラ２８で撮影され、ディジタル化された画像を、各々Ｉ_１（ｘ、ｙ）、Ｉ_２（ｘ、ｙ）、Ｉ_３（ｘ、ｙ）、Ｉ_４（ｘ、ｙ）とする。

次に、仮想スクリーン設置手段３０によって、隣り合って設置されたカメラの撮影範囲の重複領域Ｅ１、Ｅ２、Ｅ３、Ｅ４の中に、それぞれ、各重複領域Ｅ１、Ｅ２、Ｅ３、Ｅ４の面積を２等分するように、車両から遠近方向に延びた、表裏２面を有し、路面に垂直な平面状の仮想スクリーン２００、２１０、２２０、２３０が設置される。

さらに、仮想スクリーン投影画像生成手段４０によって、第１重複領域Ｅ１に設置した第１仮想スクリーン２００の第１カメラ２２側の面に画像Ｉ_１（ｘ、ｙ）を投影し、第１仮想スクリーン２００の第２カメラ２４側の面に画像Ｉ_２（ｘ、ｙ）を投影する。同様にして、第２重複領域Ｅ２に設置した第２仮想スクリーン２１０の第２カメラ２４側の面に画像Ｉ_２（ｘ、ｙ）を投影し、第２仮想スクリーン２１０の第３カメラ２６側の面に画像Ｉ_３（ｘ、ｙ）を投影する。さらに、第３重複領域Ｅ３に設置した第３仮想スクリーン２２０の第３カメラ２６側の面にＩ_３（ｘ、ｙ）を投影し、第３仮想スクリーン２２０の第４カメラ２８側の面に画像Ｉ_４（ｘ、ｙ）を投影する。また、第４重複領域Ｅ４に設置した第４仮想スクリーン２３０の第４カメラ２８側の面にＩ_４（ｘ、ｙ）を投影し、第４仮想スクリーン２３０の第１カメラ２２側の面に画像Ｉ_１（ｘ、ｙ）を投影する（図５のＳ８）。

ここで、図３と図４に基づいて、第１仮想スクリーン２００を例にとり、仮想スクリーン投影画像の生成方法を説明する。

図３（ａ）は、車両１の左前方直近に歩行者３００が起立している様子を示す斜視図である。また、図３（ｂ）は、図３（ａ）を車両１の真上から見た図である。図３（ｂ）に示すように、第１カメラ２２は∠ＸＰＸ’の範囲を撮影するものとし、第２カメラ２４は∠ＹＱＹ’の範囲を撮影するものとする。また、車両１は水平な路面上にあり、カメラ２２、２４は水平方向に向いて設置されているものとする。ここで、∠ＸＯＹを２等分する位置に、路面に垂直な平面状の第１仮想スクリーン２００を設置する。歩行者３００は、第１仮想スクリーンと重なる位置に起立しているものとする。

仮想スクリーン投影画像生成手段４０は、図４（ａ）、（ｂ）に示すように、第１カメラ２２で撮影した画像Ｉ_１（ｘ、ｙ）の濃淡値を、第１仮想スクリーン２００の第１カメラ２２側の面に投影し、さらに、図４（ｃ）、（ｄ）に示すように、第２カメラ２４で撮影した画像Ｉ_２（ｘ、ｙ）の濃淡値を、第１仮想スクリーン２００の第２カメラ２４側の面に投影する。

仮想スクリーンへの投影は、カメラで実際に撮影された像が、仮想スクリーン上に元々存在した物体の像であると仮定して、撮影された画像の濃淡値を、仮想スクリーン上の対応する位置に格納することによって行われる。

この投影は、具体的には次のようにして実行される。図４（ｂ）において、第１カメラ２２で撮影した画像Ｉ_１（ｘ、ｙ）に写った歩行者３００の像を構成する、左右両端の画素Ｑ１、Ｑ２に着目する。画素Ｑ１に格納された濃淡値をＩ_１（ｘ_１、ｙ_１）とし、画素Ｑ２に格納された濃淡値をＩ_１（ｘ_２、ｙ_２）とすると、画素Ｑ１は、第１カメラ２２の主点位置Ｐから、画素Ｑ１に向かって延ばした半直線が、第１仮想スクリーン２００の第１カメラ２２側の面と交差する点Ｔ１に投影され、点Ｔ１に、濃淡値Ｉ_１（ｘ_１、ｙ_１）が格納される。

同様にして、画素Ｑ２は、第１カメラ２２の主点位置Ｐから、画素Ｑ２に向かって延ばした半直線が、第１仮想スクリーン２００の第１カメラ２２側の面と交差する点Ｔ２に投影され、点Ｔ２に、濃淡値Ｉ_１（ｘ_２、ｙ_２）が格納される。

画像Ｉ_１（ｘ、ｙ）の全ての画素に対して、同様の処理を行い、第１仮想スクリーン２００の第１カメラ２２側の面には、図４（ａ）に示す歩行者３００の投影像３１０ａが生成される。

第２カメラ２４で撮影した画像Ｉ_２（ｘ、ｙ）に対しても、同様の処理を行い、その結果を第１仮想スクリーン２００の第２カメラ２４側の面に格納することにより、図４（ｄ）に示すように、歩行者３００の像を構成する左右両端の画素Ｑ３、Ｑ４は、それぞれ、第１仮想スクリーン２００の第２カメラ２４側の面の点Ｔ３、Ｔ４に投影される。同様の処理を、画像Ｉ_２（ｘ、ｙ）の全ての画素に対して行うことによって、第１仮想スクリーン２００の第２カメラ２４側の面には、図４（ｃ）に示す歩行者３００の投影像３１０ｂが生成される。

なお、仮想スクリーンへの投影処理は、仮想スクリーン投影画像生成部４２で行われるが、第１仮想スクリーン２００と交差する点を、画像Ｉ_１（ｘ、ｙ）、画像Ｉ_２（ｘ、ｙ）の画素毎に算出するのは計算負荷が大きいため、第１カメラ２２と第２カメラ２４の配置に基づいて、第１仮想スクリーン投影画像の各面の任意の画素に投影される、画像Ｉ_１（ｘ、ｙ）、および画像Ｉ_２（ｘ、ｙ）の座標値を、予め計算で求めておき、その計算結果に基づいて座標変換テーブルを予め作成して、第１座標変換データ格納部４４に格納しておく。

仮想スクリーン投影画像生成部４２は、第１座標変換データ格納部４４に格納された座標変換テーブルに基づいて、座標の置き換えを行うことによって、少ない計算付加で、投影処理を行うことができる。

同様の投影処理は、図２の第２重複領域Ｅ２に設置した第２仮想スクリーン２１０、第３重複領域Ｅ３に設置した第３仮想スクリーン２２０、第４重複領域Ｅ４に設置した第４仮想スクリーン２３０に対しても実行される。これにより、各仮想スクリーンに対して表裏２枚ずつ、合計８枚の仮想スクリーン投影画像が生成される。

次に、路面投影画像生成部５２により、画像Ｉ_１（ｘ、ｙ）、画像Ｉ_２（ｘ、ｙ）、画像Ｉ_３（ｘ、ｙ）、画像Ｉ_４（ｘ、ｙ）は、各々路面に投影され、さらに、車両真上から見下ろした合成路面投影画像に変換される（図５のＳ９）。

先述した仮想スクリーン投影画像が、カメラで撮影した画像には仮想スクリーン上に存在する物体の像が写っていると仮定して生成した画像であったのに対し、路面投影画像は、カメラで撮影した画像には路面上に存在する物体の像が写っていると仮定して生成した画像である。

路面投影画像の生成は、路面投影画像生成部５２で行われる。具体的には、画像Ｉ_１（ｘ、ｙ）の場合、第１カメラ２２の主点位置Ｐから、第１カメラ２２で撮影した画像Ｉ_１（ｘ、ｙ）の各画素に向かって延ばした半直線が、路面と交差する点を求め、求めた点に、画像Ｉ_１（ｘ、ｙ）の対応する画素の濃淡値を格納することによって行われる。画像Ｉ_２（ｘ、ｙ）、Ｉ_３（ｘ、ｙ）、Ｉ_４（ｘ、ｙ）についても同様である。

ここで、画像Ｉ_１（ｘ、ｙ）からＩ_４（ｘ、ｙ）に対して、その画素毎に、路面と交差する点の座標を算出するのは計算負荷が大きいため、第１カメラ２２と第２カメラ２４の配置に基づいて、路面上の任意の点に投影される、画像Ｉ_１（ｘ、ｙ）と画像Ｉ_２（ｘ、ｙ）の座標値を、予め計算で求めておき、その計算結果に基づいて座標変換テーブルを作成して、第２座標変換データ格納部５６に格納しておく。

路面投影画像生成部５２では、第２座標変換データ格納部５６に格納された座標変換テーブルに基づいて座標の置き換えを行うことによって、少ない計算付加で、投影処理を行うことができる。

ここで、図３のレイアウトにおいて、第１カメラ２２で撮影した画像Ｉ_１（ｘ、ｙ）と、第２カメラ２４で撮影した画像Ｉ_２（ｘ、ｙ）を路面投影画像に変換する様子を図６に示す。

図６（ａ）に示す通り、第１カメラ２２で撮影した画像Ｉ_１（ｘ、ｙ）に写っている歩行者３００は、路面投影画像上で、第１カメラ２２の主点位置Ｐと歩行者３００とを結ぶ方向に沿って、第１カメラ２２から遠ざかるように倒れ込み、図６（ａ）に描く領域Ｚ１のように路面に投影される。

また、図６（ｂ）に示す通り、第２カメラ２４で撮影した画像Ｉ_２（ｘ、ｙ）に写っている歩行者３００は、路面投影画像上で、第２カメラ２４の主点位置Ｑと歩行者３００とを結ぶ方向に沿って、第２カメラ２４から遠ざかるように倒れ込み、図６（ｂ）に描く領域Ｚ２のように路面に投影される。

次に、路面投影画像合成部５４にて、画像Ｉ_１（ｘ、ｙ）、画像Ｉ_２（ｘ、ｙ）、画像Ｉ_３（ｘ、ｙ）、画像Ｉ_４（ｘ、ｙ）から、各々生成された路面投影画像が、１枚の画像に合成される。

図６（ｃ）を用いて、画像Ｉ_１（ｘ、ｙ）の路面投影画像と画像Ｉ_２（ｘ、ｙ）の路面投影画像を合成する方法を説明する。

画像Ｉ_１（ｘ、ｙ）の路面投影画像と画像Ｉ_２（ｘ、ｙ）の路面投影画像は、第１カメラ２２の撮影範囲と第２カメラ２４の撮影範囲の重複領域を２等分する、線分ＡＯを境界線として合成される。すなわち、図６（ａ）、（ｂ）に表示された路面投影画像のうち、線分ＡＯを跨いで投影された領域は、合成画像には反映されない。このようにして路面投影画像を合成することによって、第１カメラ２２の路面投影画像と第２カメラ２４の路面投影画像は、図６（ｃ）に示す領域Ｚ３のようになり、歩行者３００が路面と接する足元部分のみが残る。

同様にして、他のカメラで撮影した画像も、路面投影画像に変換され、図７のような合成路面投影画像４００が生成される。

なお、車両１、およびその直近部分（図７のＺ４）は、カメラの撮影視野の外にあるため、例えば濃淡値を最小値や最大値に置き換えるなどして特異な値を格納し、情報が欠落していることを表現する。

また、車両１が存在する領域には、車両１を模したアイコンＺ５を貼り付けることによって、車両１と周囲との位置関係がより明確に表現できるようになる。

次に、図５のＳ８で生成された４枚の仮想スクリーン投影画像は、第１視点変換手段６０によって、第１視点位置から第１視線方向を向いて観測した画像に変換される。

ここで、第１視点位置と第１視線方向は、起動操作検出手段１０によって検出された情報（起動スイッチ１１の操作やシフトポジション検出手段１２の検出結果）に基づいて、第１視点位置・第１視線方向設定部６６により決定される。

すなわち、車両用周囲監視装置２の状態を表す変数γに１が与えられている場合（図５のＳ１０がＹｅｓのとき）、第１視点位置が車両１の後方上空に設定され、そこから車両１の前方側を見下ろす第１視線方向が設定される（図５のＳ１１）。

第３座標変換データ格納部６４には、４枚の仮想スクリーン投影画像を、設定した第１視点位置から、第１視線方向を向いて観測したように視点変換するための座標変換テーブルが、予め作成されて格納されており、その座標変換テーブルに基づいて、第１視点変換部６２にて視点変換が行われる（図５のＳ１３）。

さらに、図５のＳ９で生成された合成路面投影画像４００は、第２視点変換手段７０によって、第２視点位置・第２視線方向設定部７６で設定された、第２視点位置から、第２視線方向を向いて観測した画像に変換される。

具体的には、第４座標変換データ格納部７４には、合成路面投影画像４００を、第２視点位置から、第２視線方向を向いて観測したように視点変換するための座標変換テーブルが予め作成されて格納されており、その座標変換テーブルに基づいて、第２視点変換部７２にて視点変換が行われる（図５のＳ１４）。

本実施例においては、第２視点位置を車両１の真上に置き、第２視線方向を真下向きに設定することによって、車両１を真上から見下ろしたように視点変換された合成路面投影画像４００が生成されるものとする。

本実施例においては、合成路面投影画像を車両１の真上から見下ろすように視点変換した画像を生成するようにしたため、仮想スクリーン投影画像を、同じ第２視点位置から第２視線方向で観測した画像に座標変換して合成すると、仮想スクリーン投影画像が見えなくなってしまうため、第１視点位置と第１視線方向は、第２視点位置と第２視線方向とは異なる位置に設定にされる。

なお、第１視点位置・第１視線方向設定部６６で設定される第１視点位置および第１視線方向と、第２視点位置・第２視線方向設定部７６で設定される第２視点位置および第２視線方向とは同じものに設定しても構わない。

次に、第１視点変換部６２で生成された４枚の仮想スクリーン投影画像（第１仮想スクリーン投影画像２０５、第２仮想スクリーン投影画像２１５、第３仮想スクリーン投影画像２２５、第４仮想スクリーン投影画像２３５）と、第２視点変換部７２で生成された合成路面投影画像４００とを、仮想スクリーン投影画像（２０５、２１５、２２５、２３５）を前面に、合成路面投影画像４００を背面にして、画像合成手段８０にて１枚の画像に合成する（図５のＳ１５）。

この画像合成は、透過率設定部８４で決められた透過率に基づいて、画像合成部８２によって行われる。

すなわち、第１視点変換部６２で生成された第１仮想スクリーン投影画像２０５の表面をＫ１（ｘ、ｙ）、第１仮想スクリーン投影画像２０５の裏面をＫ２（ｘ、ｙ）、第２視点変換部７２で生成された合成路面投影画像４００をＬ（ｘ、ｙ）、画像合成手段８０にて合成された画像をＭ（ｘ、ｙ）とすると、Ｋ１（ｘ、ｙ）、Ｋ２（ｘ、ｙ）、Ｌ（ｘ、ｙ）が重複した点（ｘ、ｙ）には、式１によって算出された濃淡値が格納される。

Ｍ（ｘ、ｙ）＝αＫ１（ｘ、ｙ）＋βＫ２（ｘ、ｙ）＋（１-α-β）Ｌ（ｘ、ｙ）（式１）
ここで、α、βは透過率パラメータであり、いずれも０から１の間の値をとり、０≦α＋β≦１である。α、βの値は予め設定され、透過率設定部８４に格納される。

本実施例の場合、α＝１、β＝０に設定されているものとする。これは、仮想スクリーン投影画像（２０５、２１５、２２５、２３５）と合成路面投影画像４００が重なったとき、背面にくる仮想スクリーン投影画像と合成路面投影画像４００を、ともに不可視とする設定である。ここで、α、βの値は、上記設定に限定されるものではなく、設計パラメータとして、最終的に生成される合成画像の用途や見やすさに基づいて、適宜設定される。

なお、Ｋ１（ｘ、ｙ）、Ｋ２（ｘ、ｙ）、Ｌ（ｘ、ｙ）に重複がないときは、それらの画像に格納された濃淡値が、そのままＭ（ｘ、ｙ）に格納されるものとする。さらに、Ｋ１（ｘ、ｙ）、Ｋ２（ｘ、ｙ）は、それらを裏面から観測しても、同じ濃淡値が視認されるものとする。

また、説明は省略するが、第２仮想スクリーン投影画像２１５、第３仮想スクリーン投影画像２２５、第４仮想スクリーン投影画像２３５についても、第１仮想スクリーン投影画像２０５と同様にして、合成画像Ｍ（ｘ、ｙ）が生成される。

こうして得られた合成画像Ｍ（ｘ、ｙ）の例を図８（ａ）に示す。図８（ａ）に示すように、第１仮想スクリーン投影画像にのみ、歩行者３００の像３１０ｂが写っている。

ここで、Ｍ（ｘ、ｙ）の中で、黒く塗り潰された領域は、車両１のごく近傍にあたる撮影手段２０の撮影視野を外れた領域と、仮想スクリーン投影画像、および合成路面投影画像以外の領域である。

また、車両１の存在位置には、図８（ａ）に示すように、上向きの第１車両アイコンＺ５を重畳表示して、前後の位置関係をより明確に表現するようにしてもよい。

なお、こうして得られた図８（ａ）の合成画像は、図１に図示しないＤ／Ａ変換器にてコンポーネント信号に再構成され、さらにエンコーダ１１２によってコンポジット信号に変換されて、表示用モニタ１１４に表示される（図５のＳ１６）。運転者は、表示用モニタ１１４に表示された合成画像Ｍ（ｘ、ｙ）を確認しながら、駐車動作を継続する。

また、このとき、車速検出手段１８により、車速は常に検出されており、車速が所定値を上回ったとき（図５のＳ２１がＹｅｓのとき）は、表示用モニタに気をとられないよう、合成画像を非表示にして（図５のＳ２５）、イグニッションスイッチがＯＮであることを確認して（図５のＳ２６がＮｏのとき）、図５のＳ２に戻る。

さらに、終了スイッチ１６が操作されたとき（図５のＳ１９がＹｅｓのとき）も、合成画像を非表示にして（図５のＳ２１）、イグニッションスイッチがＯＮであることを確認して（図５のＳ２２がＮｏのとき）、図５のＳ２に戻る。

以上、車両１が前進している場合の動作について説明したが、車両１が後退している場合には、車両後方が見やすくなるよう、図８（ｂ）のように、車両後方を上部に配置した画像が表示される。その場合の作用の流れは、上述した車両前進時とほぼ同様であるため、相違点のみ簡単に説明する。

シフトポジション検出手段１２にてシフトポジションが後退位置にあることが検出される（図５のＳ４がＹｅｓのとき）と、システムの状態を表す変数γに２が格納され（図５のＳ６）、第１視点位置・第１視線方向設定部６６にて、第１視点位置は車両１の前方上空に設定され、そこから車両１の後方側を見下ろす第１視線方向が設定される（図５のＳ１２）。

車両前進時と同様にして生成された仮想スクリーン投影画像と合成路面投影画像４００とは、画像合成部８２で合成され、図８（ｂ）に示すように、車両後方を上部に配置した画像として表示用モニタ１１４に表示される（図５のＳ１６）。このとき、車両１の存在位置には、下向きの第２車両アイコンＺ６を重畳表示して、前後の位置関係をより明確に表現するようにしてもよい。

この時、車速検出手段１８にて、車速は常にモニタされており、車速が所定値を上回ったとき（図５のＳ２１がＹｅｓのとき）は、表示用モニタに気をとられないよう、合成画像を非表示にして（図５のＳ２５）、イグニッションスイッチがＯＮであることを確認して（図５のＳ２６がＮｏのとき）、図５のＳ２に戻る。

また、シフトポジション検出手段１２にて、シフトポジションは常に検出されており、シフトポジションが後退位置以外であることが検出されたとき（図５のＳ２４がＹｅｓのとき）も、合成画像を非表示にして（図５のＳ２５）、イグニッションスイッチがＯＮであることを確認して（図５のＳ２６がＮｏのとき）、図５のＳ２に戻る。

ここで、車両１の４隅の障害物の状況を詳しく監視したいとき、運転者は、表示用モニタ１１４に写った合成画像Ｍ（ｘ、ｙ）の中で、仮想スクリーン投影画像が写っている位置を指でタッチする。スクリーン押下座標検出部１０２では、表示用モニタ１１４が押下されたことを検知し、押下された座標（ｘ、ｙ）を算出する。

押下された座標（ｘ、ｙ）は、画像合成部８２によって、仮想スクリーン投影画像の領域であるか否かが判定され、図９（ａ）に示すように、第１仮想スクリーン投影画像２０５の領域が押下されたと判定されると（図５のＳ１７がＹｅｓのとき）、画像合成部８２は、仮想スクリーン展開角度指示手段９０によって、予め設定された展開角度θにて、同じく仮想スクリーン展開角度指示手段９０によって予め設定された、仮想スクリーンの上端もしくは下端のうち１端（本実施例の場合は上端）を支端として、図９（ｂ）に示すように、仮想スクリーン投影画像の表裏面が、展開角度θだけ開いて表示される（図５のＳ１８）。

その結果、合成画像Ｍ（ｘ、ｙ）の中には、仮想スクリーン表裏面への投影画像がともに表示され、これによって、隣り合う撮影手段２０の境界付近にある障害物の情報が明確に表示され、駐車動作の際の視覚補助を果たすことができる。

ここで、展開された仮想スクリーン投影画像を、再び指で押下すると（図５のＳ１９がＹｅｓのとき）、展開されたスクリーン投影画像は閉じて、再び、図９（ａ）の表示形態に戻る（図５のＳ２０）。

以上説明した、仮想スクリーン投影画像が押下されたことを検出して、仮想スクリーン投影画像を展開表示する機能は、図５のフローチャートでは、一連の処理の中に埋め込んで記載したが、実際には、割り込み処理が可能な構成にて実装される。

ここで、展開角度θは、０から１８０度の範囲で設定することが可能であり、例えばθ＝１８０度に設定すると、図９（ｃ）に示すように、仮想スクリーン投影画像が、路面投影画像と同じ平面上に展開されて表示される。

なお、本実施例の別の形態として、スクリーン押下検出手段１００の中に、表示用モニタ１１４の画面を押下し続ける時間を計測するスクリーン押下時間計測部１０４を設け、スクリーンの押下継続時間を測定し、押下継続時間に連動して、設定された展開角度θに達するまで、仮想スクリーンを連続的に展開するように構成することも可能である。

さらに、仮想スクリーンが展開角度θで展開されているとき、仮想スクリーンの位置を押下し続けると、スクリーン押下時間計測部１０４によって、押下継続時間が計測され、押下継続時間に連動して、仮想スクリーンが連続的に閉じて、最終的にθ＝０になるように構成することも可能である。

このような構成によると、仮想スクリーンを長く押し続けることによって、仮想スクリーンが展開されて、仮想スクリーンの表裏２面が可視化されることにより、死角情報をより詳細に得ることができる。あるいは、仮想スクリーンを長く押し続けることによって、仮想スクリーンが連続的に閉じて、死角情報を簡素化することができる。

すなわち、欲しい死角情報の詳細度に応じた表示形態を、画面を押下するという簡単な操作で得ることができる。

また、本実施例では、仮想スクリーンの上端を支端にして展開表示を行う構成を説明したが、これは、仮想スクリーンの下端を支端にして展開表示を行うことも可能である。仮想スクリーンの下端を支端にして展開表示を行った例を図１０に示す。仮想スクリーン投影画像は、仮想スクリーンの裏面からも可視化可能に構成しているため、図１０に示すように、投影された面の裏側からも可視化することができる。

このように、仮想スクリーンの下端を支端にして展開表示する構成を採ることによって、図９（ｂ）や図９（ｃ）において、歩行者３００の投影像３１０ａと３１０ｂの位置が、仮想スクリーンの表裏面でずれて表示されたのに対し、図１０に示すように、歩行者３００の投影像３１０ａと３１０ｂの足元の位置が一致して表示されるため、よりわかりやすい画像を表示することができる。

仮想スクリーンの上端を支端にするか、下端を支端にするかは、表示の用途に応じて、予め、仮想スクリーン展開角度指示手段９０に記憶させておけばよい。もちろん、専用の操作スイッチや、表示画面上にタッチ操作可能なスイッチを設定し、それらのスイッチ操作によって、支端の位置を随時変更することも可能である。

このように構成された本第１実施形態に係る車両用周囲監視装置２によれば、隣り合うカメラの撮影範囲の境界部分に存在する立体物であっても、前記境界部分に仮想スクリーンを設置し、当該仮想スクリーンへの投影画像を生成してこの投影画像を表示することにより、死角を生じることなく、前記立体物を的確に表示することができる。従って、車両周囲の状況を運転者に的確に伝達することができ、これによって駐車操作や切り返し操作等の車両誘導を円滑に行うことができるようになる。

なお、車両前進時には、図８（ａ）において、第１仮想スクリーン投影画像２０５と第４仮想スクリーン投影画像２３５と合成路面投影画像４００のみを合成して表示するようにしてもよいし、車両後退時には、図８（ｂ）において、第２仮想スクリーン投影画像２１５と第３仮想スクリーン投影画像２２５と合成路面投影画像４００のみを合成して表示するようにしてもよい。

これにより、車両の進行方向の情報のみをより強調して表現することができるため、モニタに表示される画像の瞬読性を、より一層向上させることができる。なお、このとき、非表示になる仮想スクリーン投影画像の表示領域には、無地の仮想スクリーン投影画像を表示してもよいし、何も表示しない状態にしてもよい。

また、上述した、表示用モニタ１１４に写った合成画像Ｍ（ｘ、ｙ）の中で、仮想スクリーン投影画像が写っている位置を指でタッチしたとき、タッチされた仮想スクリーン投影画像のみを展開表示してもよいし、全ての仮想スクリーン投影画像を展開表示してもよい。

なお、画像合成部８２は、仮想スクリーン投影画像を展開表示する際に、展開された仮想スクリーン投影画像と合成路面投影画像４００とが重ならないよう、図９（ｂ）、（ｃ）に示すように、仮想スクリーン投影画像の下端が、合成路面投影画像４００と接する状態を保ったまま、合成路面投影画像４００の描画位置をずらしながら画像を合成する。

さらに、画像合成部８２は、図１０に示すように、仮想スクリーンの下端を支端にして展開したときは、仮想スクリーンの上端から合成路面投影画像４００に下ろした垂線の足が、合成路面投影画像４００の縁に位置するように、合成路面投影画像４００の描画位置をずらしながら、画像を合成する。

本実施例は、本発明を、車両に設置された複数のカメラで撮影した車両周囲の状況を、運転者に見やすい形態で表示することが可能な、車両用周囲監視装置３に適用したものである。特に、本実施例は、車両周囲に障害物検出手段を備え、この障害物検出手段の出力に基づいて、車両周囲の画像を、よりわかりやすい形態に変換して、車内に設置されたモニタに表示するものである。

図１１は、本発明の実施形態に係る車両用周囲監視装置３の構成を示すブロック図である。

本発明に係る車両用周囲監視装置３は、図１１に示す通り、図示しない車両１に設置され、運転者による車両用周囲監視装置３の起動操作を検出する起動操作検出手段１０と、車両用周囲監視装置３の動作終了操作を検出する終了操作検出手段１５と、車両周囲の画像を撮影する複数のカメラから構成された撮影手段２０と、撮影手段２０を構成する複数のカメラのうち、隣り合うカメラの撮影領域の重複部に、鉛直に立ち上がり、その上端もしくは下端を支端として開閉可能な、表裏２面を有する平面状の仮想スクリーンを設置する仮想スクリーン設置手段３０と、仮想スクリーン設置手段３０で設置した仮想スクリーンに対して、隣り合う撮影手段の各々の主点に対応する位置から前記撮影手段で撮影された画像の各画素に向かって延ばした半直線が、前記仮想スクリーンの表裏２面のうち最初に交差する面の交差する画素に、前記隣り合う撮影手段で撮影された画像の濃淡値を格納して仮想スクリーン投影画像を生成する仮想スクリーン投影画像生成手段４０と、撮影された車両周囲の画像を、路面に投影して路面投影画像を生成する路面投影画像生成手段５０と、仮想スクリーン投影画像生成手段４０で生成された仮想スクリーン投影画像を、第１の視点位置から第１の視線方向を向いて観測した画像に座標変換する第１視点変換手段６０と、路面投影画像生成手段５０で生成された路面投影画像を、第２の視点位置から第２の視線方向を向いて観測した画像に座標変換する第２視点変換手段７０と、第１視点変換手段６０によって視点変換された仮想スクリーン投影画像と第２視点変換手段７０によって視点変換された路面投影画像とを１枚の画像に合成する画像合成手段８０と、前記画像合成手段８０に対して、仮想スクリーン設置手段３０によって設置された仮想スクリーンの表裏２面を開いて表示する（以後、展開と呼ぶ）際の展開角度θを指示する仮想スクリーン展開角度指示手段９０と、前記画像合成手段８０に対して、前記仮想スクリーンの表裏２面の開閉を指示するスクリーン押下検出手段１００と、画像合成手段８０で合成した画像を表示する画像表示手段１１０と、車両１の周囲の障害物の有無を検出し、その障害物までの距離を算出する障害物検出手段１２０とから構成される。

ここで、起動操作検出手段１０は、詳しくは、車両用周囲監視装置３の起動を指示する起動スイッチ１１と、車両のシフトポジションを検出するシフトポジション検出手段１２と、車両１のイグニッションスイッチの状態を判断するイグニッションスイッチ状態判断手段１３とからなる。

終了操作検出手段１５は、詳しくは、車両用周囲監視装置３の動作終了を指示する終了スイッチ１６と、車両１の車速を検出する車速検出手段１８とからなる。

撮影手段２０は、詳しくは、図１２のように車両の周囲に設置され、隣り合う撮影領域が互いに重複するように配置された第１カメラ２２、第２カメラ２４、第３カメラ２６、第４カメラ２８とからなる。

さらに、障害物検出手段１２０は、詳しくは、図１２のように車両１の周囲に設置され、第１カメラ２２の撮影範囲と第２カメラ２４の撮影範囲の重複範囲である第１重複領域Ｅ１を含む第１測距範囲Ｒ１の障害物の有無とその障害物までの距離を算出する第１測距部１２２と、第２カメラ２４の撮影範囲と第３カメラ２６の撮影範囲の重複範囲である第２重複領域Ｅ２を含む第２測距範囲Ｒ２の障害物の有無とその障害物までの距離を算出する第２測距部１２４と、第３カメラ２６の撮影範囲と第４カメラ２８の撮影範囲の重複範囲である第３重複領域Ｅ３を含む第３測距範囲Ｒ３の障害物の有無とその障害物までの距離を算出する第３測距部１２６と、第４カメラ２８の撮影範囲と第１カメラ２２の撮影範囲の重複範囲である第４重複領域Ｅ４を含む第４測距範囲Ｒ４の障害物の有無とその障害物までの距離を算出する第４測距部１２８と、計測された障害物までの距離値に基づいて、画像合成時の透過率を設定する距離値判定部１２９とからなる。

次に、本実施例に係る車両用周囲監視装置３の作用について、図１３のフローチャートに基づいて説明する。

本発明に係る車両用周囲監視装置３は、車両の駐車時や狭い場所での切り返し時等に利用され、車両周辺の画像を運転者に呈示して運転動作を補助するものである。

図１２（ａ）に示すように、第１カメラ２２は車両１のフロントバンパに、第２カメラ２４は車両１の左ドアミラーに、第３カメラ２６は車両１のリアバンパにそれぞれ設置されており、図１２（ａ）には図示しないが、第４カメラ２８は車両１の右ドアミラーに設置されている。

また、図１２（ｂ）に示すように、第１測距部１２２はフロントバンパ左角に、第２測距部１２４はリアバンパ左角に、第３測距部１２６はリアバンパ右角に、第４測距部１２８はフロントバンパ右角にそれぞれ設置されている。これらの測距部は、具体的には超音波センサや光学式測距センサで構成されるが、測距機能さえ有していれば、その構成は問わない。

各カメラは、図１２（ｂ）に示す通り、それらの撮影範囲と路面とが、各交線１５０、１５２、１５４、１５６で交わる範囲を撮影するように設置されている。

また、隣り合うカメラ２２と２４、２４と２６、２６と２８、および２８と２２は、図１２（ｂ）に示す通り、それぞれの撮影範囲が互いに重複し、第１重複領域Ｅ１、第２重複領域Ｅ２、第３重複領域Ｅ３、第４重複領域Ｅ４を有するように設置されている。

そして、第１測距部１２２は、第１重複領域Ｅ１を含む領域を第１測距範囲Ｒ１とし、第２測距部１２４は、第２重複領域Ｅ２を含む領域を第２測距範囲Ｒ２とし、第３測距部１２６は、第３重複領域Ｅ３を含む領域を第３測距範囲Ｒ３とし、第４測距部１２８は、第４重複領域Ｅ４を含む領域を第４測距範囲Ｒ４とするように配置されている。

まず、車両１が、駐車のために前方に向かって前進している場面において、車両１の左前方直近に、歩行者３００が起立している状況にて、本実施例の車両用周囲監視装置３の動作を説明する。

イグニッションスイッチ状態判断手段１３によって、車両１のイグニッションがＯＮになっていることが確認されると（図１３のＳ１がＹｅｓのとき）、車両用周囲監視装置３の状態を表す変数γに０が与えられる（図１３のＳ２）。

運転者は、車両周囲の画像を監視したいとき、車内に設置された起動スイッチ１１を操作する。起動スイッチ１１が操作されると（図１３のＳ３がＹｅｓのとき）、車両用周囲監視装置３の状態を表す変数γに１が与えられる（図１３のＳ５）。

第１カメラ２２から第４カメラ２８で撮影された画像は、それぞれ、第１実施例と同様に処理されて、ディジタル画像に変換される（図１３のＳ７）。第１カメラ２２から第４カメラ２８で撮影され、ディジタル化された画像を、各々Ｉ_１（ｘ、ｙ）、Ｉ_２（ｘ、ｙ）、Ｉ_３（ｘ、ｙ）、Ｉ_４（ｘ、ｙ）とする。

画像入力と同時に、第１測距部１２２から第４測距部１２８にて車両周囲の測距が行われ、各々の測距部から、車両１の周囲に存在する障害物までの距離に対応した値が出力される。

ここで、本実施例が動作している環境が、図３（ａ）の通りであるとする。すなわち、車両１の左前方の第１測距範囲Ｒ１の中に歩行者３００が起立しており、その起立位置と車両１との距離Ｄ１は、駐車操作を行う際に注意喚起が必要な距離のしきい値Ｄthを下回っているものとする。

４つの測距部（１２２、１２４、１２６、１２８）からは、路面から高さを有する物体（障害物）までの距離が近いほど小さい値が出力される。本実施例の場合、第１測距部１２２から、最も小さな値が出力され、第２測距部１２４、第３測距部１２６、第４測距部１２６の測距範囲には障害物が存在しないため、第２測距部１２４、第３測距部１２６、第４測距部１２８からは、非常に大きな値が出力される。

次に、４つの測距部（１２２、１２４、１２６、１２８）から出力された値は、距離値判定部１２９に送られ、所定値以下の値を出力する側距部の有無とその位置が特定される。本例の場合、第１測距部１２２から、所定値以下の値が出力されていることが特定される（図１３のＳ８がＹｅｓのとき）。

すると、仮想スクリーン設置手段３０によって、第１測距範囲Ｒ１が含まれる第１重複領域Ｅ１の内部に、第１重複領域Ｅ１の面積を２等分するように、車両から遠近方向に延びた、路面に垂直な平面状の第１仮想スクリーン２００が設置される。

さらに、仮想スクリーン投影画像生成手段４０によって、第１仮想スクリーン２００の両面に、画像Ｉ_１（ｘ、ｙ）と画像Ｉ_２（ｘ、ｙ）の情報が投影されて、第１仮想スクリーン投影画像２０５が生成される（図１３のＳ９）。仮想スクリーン投影画像の生成方法は、第１実施例で説明した通りであるため、ここでは説明を割愛する。

仮想スクリーン投影画像は、仮想スクリーン投影画像生成部４２で生成されるが、その際、仮想スクリーン投影画像生成部４２において、第１座標変換データ格納部４４に格納された座標変換テーブルに基づいて、座標の置き換え操作を行うことによって仮想スクリーン投影画像が生成されるのは、第１実施例と同様である。

次に、路面投影画像生成部５２により、画像Ｉ_１（ｘ、ｙ）と画像Ｉ_２（ｘ、ｙ）、画像Ｉ_３（ｘ、ｙ）、画像Ｉ_４（ｘ、ｙ）は、各々路面に投影され、さらに、車両真上から見下ろした画像に変換される（図１３のＳ１０）。

路面投影画像の生成方法は、第１実施例で説明した通りであるため、ここでは説明を割愛する。

本実施例が動作している環境が、図３（ａ）である場合、４台のカメラで撮影された４枚の画像の路面投影画像は、図７のように合成される。

ここで、車両１自身、およびその直近部分（図７のＺ４）は、カメラの撮影視野の外にあるため、例えば濃淡値を最小値や最大値に置き換えるなどして特異な値を格納し、情報が欠落していることを表現する。

また、車両１が存在する領域には、車両１を模したアイコン（図７のＺ５）を貼り付けることによって、車両１と周囲との位置関係がより明確に表現できるようになる。

次に、図１３のＳ９で生成された第１仮想スクリーン投影画像２０５は、第１視点変換手段６０によって、第１視点位置から第１視線方向を向いて観測した画像に変換される。

すなわち、車両用周囲監視装置３の状態を表す変数γに１が与えられている場合（図１３のＳ１１がＹｅｓのとき）、第１視点位置が車両１の後方上空に設定され、そこから車両１の前方側を見下ろす第１の視線方向が設定される（図１３のＳ１２）。

第３座標変換データ格納部６４には、４枚の仮想スクリーン投影画像を、設定した第１視点位置から、第１視線方向を向いて観測したように視点変換するための座標変換テーブルが、予め作成されて格納されており、その座標変換テーブルに基づいて、第１視点変換部６２にて視点変換が行われる（図１３のＳ１４）。

さらに、図１３のＳ１０で生成された合成路面投影画像は、第２視点変換手段７０によって、第２視点位置・第２視線方向設定部７６で設定された、第２視点位置から、第２視線方向を向いて観測した画像に変換される（図１３のＳ１５）。

具体的には、第４座標変換データ格納部７４に、合成路面投影画像４００を、第２視点位置から、第２視線方向を向いて観測したように視点変換するための座標変換テーブルが予め作成されて格納されており、その座標変換テーブルに基づいて、第２視点変換部７２にて視点変換が行われる。

なお、第１視点位置・第１視線方向設定部６６で設定される第１視点位置および第１視線方向と、第２視点位置・第２視線方向設定部７６で設定される第２視点位置および第２視線方向とは、表示させる画像の用途に応じて適宜設定され、第１視点位置および第１視線方向と、第２視点位置および第２視線方向とは同じものに設定してもよいし、第１視点位置および第１視線方向と、第２視点位置および第２視線方向とを異なるものに設定してもよい。

本実施例では、第１視点位置および第１視線方向と、第２視点位置および第２視線方向とが同じ位置および同じ方向に設定されるものとする。すなわち、車両１が前進しているときは、第１および第２視点位置は車両１の後方上空に設定され、そこから車両１の前方側を見下ろす第１および第２視線方向が設定されるものとし、車両１が後退しているときは、第１および第２視点位置は車両１の前方上空に設定され、そこから車両１の後方側を見下ろす第１および第２視線方向が設定されるものとする。

次に、画像合成手段８０において、第１視点変換部６２で生成された第１仮想スクリーン投影画像２０５と、第２視点変換部７２で生成された合成路面投影画像４００とが、第１仮想スクリーン投影画像２０５が前面に、合成路面投影画像４００が背面にくるように合成される（図１３のＳ１６）。

この画像合成は、透過率設定部８４で決められた透過率に基づいて、画像合成部８２によって行われる。具体的には、第１実施例にて説明した通り、先述した式１によって行われる。

本実施例の場合、式１において、α＝１、β＝０に設定されて合成されるものとする。これは、仮想スクリーン投影画像と合成路面投影画像４００が重なったとき、背面にくる仮想スクリーン投影画像と合成路面投影画像４００を、ともに不可視とする設定である。なお、α、βの値は、設計パラメータとして、最終的に生成される合成画像の用途や見やすさに基づいて、適宜設定される。

また、仮想スクリーン投影画像は、それらを裏面から観測しても、同じ濃淡値が視認されるものとする。

こうして得られた合成画像の例を図１４（ａ）に示す。図１４（ａ）に示すように、歩行者３００の仮想スクリーン投影像３１０ｂが写った、第１仮想スクリーン投影画像２０５のみが、合成路面投影画像４００と合成されて表示される。

ここで、合成画像の中で、黒く塗り潰された領域は、車両１のごく近傍にあたる撮影手段２０の撮影視野を外れた領域と、第１仮想スクリーン投影画像２０５、および合成路面投影画像４００以外の領域である。

また、車両１の存在位置には、図１４（ａ）に示すように、後ろ向きの第１車両アイコンＺ７を重畳表示して、前後の位置関係をより明確に表現するようにしてもよい。

なお、こうして得られた図１４（ａ）の合成画像は、図１１に図示しないＤ／Ａ変換器にてコンポーネント信号に再構成され、さらにエンコーダ１１２によってコンポジット信号に変換されて、表示用モニタ１１４に表示される（図１３のＳ１７）。運転者は、表示用モニタ１１４に表示された合成画像を確認しながら、駐車動作を継続する。

また、このとき、車速検出手段１８により、車速は常に検出されており、車速が所定値を上回ったとき（図１３のＳ１８がＹｅｓのとき）は、表示用モニタに気をとられないよう、合成画像を非表示にして（図１３のＳ２２）、イグニッションスイッチがＯＮであることを確認して（図１３のＳ２３がＮｏのとき）、図１３のＳ２に戻る。

さらに、終了スイッチ１６が操作されたとき（図１３のＳ２０がＹｅｓのとき）も、合成画像を非表示にして（図１３のＳ２２）、イグニッションスイッチがＯＮであることを確認して（図１３のＳ２３がＮｏのとき）、図５のＳ２に戻る。

以上、車両１が前進している場合の動作について説明したが、車両１が後退している場合には、図１４（ｂ）に示すような、車両後方の画像が表示される。その場合の作用の流れは、上述した車両前進時とほぼ同様であるため、相違点のみ簡単に説明する。

シフトポジション検出手段１２にてシフトポジションが後退位置にあることが検出される（図１３のＳ４がＹｅｓのとき）と、システムの状態を表す変数γに２が格納され（図１３のＳ６）、第１視点位置・第１視線方向設定部６６にて、第１視点位置は車両１の前方上空に設定され、そこから車両１の後方側を見下ろす第１視線方向が設定される（図１３のＳ１３）。

車両前進時と同様にして生成された仮想スクリーン投影画像と合成路面投影画像４００とは、画像合成部８２で合成され、図１４（ｂ）に示すように、車両後方を上部に配置した画像として表示用モニタ１１４に表示される（図１３のＳ１７）。このとき、車両１の存在位置には、前向きの第１車両アイコンＺ８を重畳表示して、前後の位置関係をより明確に表現するようにしてもよい。

この時、車速検出手段１８にて、車速は常にモニタされており、車速が所定値を上回ったとき（図１３のＳ１８がＹｅｓのとき）は、表示用モニタに気をとられないよう、合成画像を非表示にして（図１３のＳ２２）、イグニッションスイッチがＯＮであることを確認して（図１３のＳ２３がＮｏのとき）、図１３のＳ２に戻る。

また、シフトポジション検出手段１２にて、シフトポジションは常に検出されており、シフトポジションが後退位置以外であることが検出されたとき（図１３のＳ２１がＹｅｓのとき）も、合成画像を非表示にして（図１３のＳ２２）、イグニッションスイッチがＯＮであることを確認して（図１３のＳ２３がＮｏのとき）、図５のＳ２に戻る。

このように構成された第２実施形態に係る車両用周囲監視装置３によれば、障害物が検出された領域内にのみ仮想スクリーンを設置し、その仮想スクリーンに対して仮想スクリーン投影画像を生成して表示する構成にしたため、従来の監視装置では死角になる画像の繋ぎ目の位置に障害物が存在したときのみ、仮想スクリーン投影画像が表示され、これにより、障害物存在時の視認性をより一層向上させることができる。

なお、上記実施例では、障害物までの距離が所定値以下のとき、その障害物が検出された領域に対応する場所に仮想スクリーンを設置し、透過率設定部８４において透過率パラメータαを１、βを０に設定することにより、その仮想スクリーンに投影して生成した仮想スクリーン投影画像と重複する合成路面投影画像４００を不可視とする設定にして合成画像を生成したが、その形式に囚われることはない。

すなわち、第１測距部１２２の出力をＤ１、第２測距部１２４の出力をＤ２、第３測距部１２６の出力をＤ３、第４測距部１２８の出力をＤ４としたとき、透過率設定部８４において、各Ｄi（i＝１、２、３、４）が第１の距離しきい値Ｄmaxよりも大きい時は、透過率パラメータαを０、βを０に設定して、仮想スクリーン投影画像を不可視とし、また、Ｄiが、Ｄmaxよりも小さい第２の距離しきい値Ｄminよりも小さい時は、透過率パラメータαを１、βを０に設定して、合成路面投影画像４００を不可視とし、さらに、Ｄmin＜Ｄi＜Ｄmaxの時は、距離に対応した値Ｄiが小さいほど透過率パラメータα、βを、α＋βが１を越えないできるだけ大きな値に設定し、これによって、障害物までの距離が近づくほど、仮想スクリーン投影画像をはっきりと表示させるようにしてもよい。このようにして設定される透過率パラメータαの例を図１５に示す。なお、図１５では省略しているが、実際は、仮想スクリーンの裏面に投影された情報の透過率βも併せて設定される。

透過率を図１５のように設定することによって、障害物までの距離が小さくなるほど、仮想スクリーン投影画像の表示がはっきり見えるようになるため、障害物への接近を、運転者により明確に伝達することができるようになる。

また、距離値判定部１２９にて、各測距部１２２、１２４、１２６、１２８の各々から出力される障害物までの距離に対応した値Ｄ１、Ｄ２、Ｄ３、Ｄ４の時間変化を算出し、各Ｄi（i＝１、２、３、４）が時間の経過とともに小さく（近く）なっているときは、車両１と障害物とが近づいているものと判断してα、βの値を（α＋βが１を越えない範囲で）大きくして、仮想スクリーン投影画像の背面に合成される合成路面投影画像を見えにくくし、障害物に近づいていることを明確に伝達できるようにしてもよい。

また、逆に、各Ｄi（i＝１、２、３、４）が時間の経過とともに大きく（遠く）なっているときは、車両１と障害物とが遠ざかっているものと判断してα、βの値を（α、βがともに０を下回らない範囲で）小さくして、仮想スクリーン投影画像の背面に合成される合成路面投影画像を見えやすくし、障害物から遠ざかっていることを明確に伝達できる表示形態を採るようにしてもよい。

さらに、上記実施例では、隣り合うカメラの撮影範囲の重複領域の面積を略２等分する位置に、車両から遠近方向に延びる、路面に垂直な平面状の仮想スクリーンを設置したが、その形式に囚われることはない。すなわち、各測距部（１２２、１２４、１２６、１２８）に、測距範囲を水平方向（車両の周囲方向）にスキャンして水平方向の角度毎に距離情報を測定できる機能を持たせ、障害物情報が得られた方向に向かって延びる、鉛直に立ち上がった平面状の仮想スクリーンを設置し、この仮想スクリーン上に仮想スクリーン投影画像を生成してこれを表示する構成としてもよい。

この方法によれば、障害物が存在する方向に仮想スクリーンが設置されるため、仮想スクリーン投影画像の中の障害物の像は、その障害物を撮影する隣り合った２台のカメラから仮想スクリーンの同じ位置に投影され、したがって、仮想スクリーン投影画像上で、障害物を表す像の濃淡値は大きい値となり、それによって障害物がより一層明確に表示され、画像の視認性が向上するという効果が得られる。

２車両用周囲監視装置
１０起動操作検出手段
１１起動スイッチ
１２シフトポジション検出手段
１３イグニッションスイッチ状態判断手段
１５終了操作検出手段
２０撮影手段
３０仮想スクリーン設置手段
４０仮想スクリーン投影画像生成手段
５０路面投影画像生成手段
６０第１視点変換手段
７０第２視点変換手段
８０画像合成手段
９０仮想スクリーン展開角度指示手段
１００スクリーン押下検出手段
１１０画像表示手段

Claims

車両周囲を撮影するように、隣り合う撮影範囲の一部が重複領域を有して車両に設置された複数の撮影手段と、
前記撮影範囲の重複領域の内部に、前記車両に対して遠近方向に延び、鉛直方向に立ち上がった表裏２面を有し、その上端または下端を支端として、前記表裏２面を開閉することが可能であり、かつ前記表裏２面に写った画像情報を前記表裏２面の各面の両面から視認できる仮想スクリーンを設置する仮想スクリーン設置手段と、
隣り合う前記撮影手段で撮影した各々の画像の各画素の濃淡値を、前記撮影手段の各々の主点に対応する位置から前記撮影手段で撮影された画像の各画素に向かって延ばした半直線が、前記仮想スクリーンの前記表裏２面のうち最初に交差する面の交差する位置に格納して仮想スクリーン投影画像を生成する仮想スクリーン投影画像生成手段と、
前記仮想スクリーン投影画像生成手段によって生成された前記仮想スクリーン投影画像を、第１の視点位置から第１の視線方向を向いて観測した画像に座標変換して出力する第１視点変換手段と、
前記複数の撮影手段で撮影した各々の画像の各画素の濃淡値を、前記撮影手段の各々の主点に対応する位置から前記撮影手段で撮影された画像の各画素に向かって延ばした半直線が路面と交差する位置にある画素に格納して路面投影画像を生成する路面投影画像生成手段と、
前記路面投影画像生成手段によって生成された前記路面投影画像を、第２の視点位置から第２の視線方向を向いて観測した画像に座標変換して出力する第２視点変換手段と、
前記第１視点変換手段によって出力された画像と、前記第２視点変換手段によって出力された画像とを、１枚の画像に合成して出力する画像合成手段と、
前記画像合成手段によって合成された画像を表示する画像表示手段とを備えたことを特徴とする車両用周囲監視装置。
前記画像表示手段を起動する起動スイッチと、車両のシフトポジションを検出するシフトポジション検出手段とからなる起動検出手段を備え、前記起動スイッチの状態と前記シフトポジション検出手段の検出結果とに基づいて、前記第１視点変換手段が、前記第１の視点位置と第１の視線方向とを決定し、前記第２視点変換手段が、前記第２の視点位置と前記第２の視線方向とを決定することを特徴とする請求項１記載の車両用周囲監視装置。
前記第１視点変換手段によって設定される前記第１の視点位置、および前記第１の視線方向が、第２視点変換手段によって設定される前記第２の視点位置、および前記第２の視線方向と等しいことを特徴とする請求項１または２記載の車両用周囲監視装置。
前記第２視点変換手段が、第２の視点位置を車両の真上とし、第２の視線方向を真下向きとしたときには、前記第１視点変換手段は、前記車両が前進しているとき、もしくは前進状態で停止しているときには、前記第１の視点位置を前記車両の後方上空とし、前記第１の視線方向を前記車両の前方方向斜め下向きとし、前記車両が後退しているとき、もしくは後退状態で停止しているときには、前記第１の視点位置を前記車両の前方上空とし、前記第１の視線方向を前記車両の後方方向斜め下向きとすることを特徴とする請求項１または２記載の車両用周囲監視装置。
前記仮想スクリーン投影画像の上端もしくは下端のうち一端と、前記一端を支端として前記仮想スクリーン投影画像を、鉛直方向に対して、同一角度ずつ開いて表示したときの、前記仮想スクリーン投影画像の表裏２面がなす角度の値とを指示する仮想スクリーン展開角度指示手段を有し、前記画像合成手段が、前記仮想スクリーン展開角度指示手段からの指示を受けて、前記仮想スクリーン投影画像の表裏２面を、指示された前記一端を支端として、前記仮想スクリーンの前記表裏２面を、指示された角度で展開して、前記第２視点変換手段によって出力された画像と合成することを特徴とする請求項１から４のいずれか１項に記載の車両用周囲監視装置。
前記画像合成手段は、前記仮想スクリーン投影画像の上端を支端として展開したときには、隣り合った前記仮想スクリーン投影画像の下端と、前記路面投影画像の外縁と、前記車両周辺に存在し前記撮影手段から死角になる領域の外縁とによって囲まれた領域と、前記仮想スクリーン投影画像とが重ならないように描画し、前記仮想スクリーン投影画像の下端を支端としたときには、前記仮想スクリーン投影画像の上端から前記路面投影画像に下ろした垂線の足が、前記路面投影画像と重ならないように描画することを特徴とする請求項５項記載の車両用周囲監視装置。
前記画像表示手段によって表示された画像のスクリーン面を押下したことを検出するスクリーン押下検出手段を有し、前記スクリーン押下検出手段によって、前記画像表示手段によって表示された前記仮想スクリーン投影画像に対応する位置が押下されたことが検出されたときに、全ての仮想スクリーン投影画像を、前記仮想スクリーン展開角度指示手段によって指定された前記仮想スクリーン投影画像の上端もしくは下端のうち一端を支端として、前記仮想スクリーン展開角度指示手段によって指定された角度で展開して表示するものであることを特徴とする請求項５または６記載の車両用周囲監視装置。
前記仮想スクリーン展開角度指示手段は、前記画像表示手段によって表示された画像の中で、前記仮想スクリーンに対応する位置を押下したときの押下継続時間に応じて、前記仮想スクリーンの表裏面のなす角度が広がる方向に、もしくは、狭まる方向に変化するものであることを特徴とする請求項５から７のいずれか１項に記載の車両用周囲監視装置。
前記仮想スクリーン設置手段は、隣り合う前記撮影手段の前記撮影範囲の重複領域の中に、前記重複領域の面積を略２等分するように前記仮想スクリーンを設置するものであることを特徴とする請求項１から８のいずれか１項に記載の車両用周囲監視装置。
前記仮想スクリーン設置手段は、前記車両の進行方向に基づいて、前記仮想スクリーンの設置位置を設定するものであることを特徴とする請求項１から９のいずれか１項に記載の車両用周囲監視装置。
隣り合う撮影手段の撮影範囲の重複領域における、車両から、前記車両の近傍に存在する路面から高さのある物体までの距離を出力する複数の障害物検出手段を備え、前記仮想スクリーン設置手段は、前記路面から高さのある物体までの距離が所定値よりも小さいことが検出されたとき、または、前記路面から高さのある物体までの距離が時間とともに小さくなることが検出されたとき、前記検出結果を出力した障害物検出手段の設置位置に対応した前記撮影手段の撮影範囲の重複領域の内部に前記仮想スクリーンを設置して、前記仮想スクリーンに対して前記仮想スクリーン投影画像を生成することを特徴とする請求項１から１０のいずれか１項に記載の車両用周囲監視装置。
前記障害物検出手段は、前記隣り合う撮影手段の撮影範囲の重複領域において、前記車両の周囲方向に亘って、前記車両の近傍に存在する路面から高さのある物体までの距離を出力する機能を有し、前記路面から高さのある物体までの距離が所定値よりも小さいことが検出されたとき、または、前記路面から高さのある物体までの距離が時間とともに小さくなることが検出されたとき、前記仮想スクリーン設置手段によって、前記検出された物体が存在する方向に向けて、前記仮想スクリーンが設置され、前記仮想スクリーンに対して前記仮想スクリーン投影画像を生成することを特徴とする請求項１から１１のいずれか１項に記載の車両用周囲監視装置。
前記画像合成手段は、互いに重なって合成された画像の透過率を設定する透過率設定部と、前記透過率設定部で設定された透過率にて画像合成を行う画像合成部とを有し、前記第１視点変換手段によって出力された画像が前面に、前記第２視点変換手段によって出力された画像が背面に合成されるとともに、前記透過率設定部によって、前記第２視点変換手段によって出力された画像が不可視となるように前記透過率が設定されることを特徴とする請求項１から１２のいずれか１項に記載の車両用周囲監視装置。
前記障害物検出手段によって前記路面から高さのある物体までの距離が所定値よりも小さいことが検出されたとき、または、前記路面から高さのある物体までの距離が時間とともに小さくなることが検出されたとき、前記透過率設定部にて、前記検出結果を出力した前記障害物検出手段の設置位置に対応した前記撮影手段の撮影範囲の重複領域の内部に設置された仮想スクリーン投影画像の透過率を、前記仮想スクリーン投影画像の背面に合成される前記路面投影画像が、前記路面から高さのある物体までの距離が近いほど見えにくくなるように設定することを特徴とする請求項１から１３のいずれか１項に記載の車両用周囲監視装置。