JP2006279511A - 周辺監視システム - Google Patents

Abstract

【課題】運転者が車両の周辺の状況を違和感なく綺麗に把握することができる周辺監視システムを提供すること。
【解決手段】車両２に設置した第１，第２カメラ３，４によって車両２の周辺の状況を撮像し、その撮像画像を画像処理してディスプレイ５に表示する周辺監視システム１に、撮像画像を複数の領域に分割し、領域毎に第１，第２カメラ３，４の仮想視点方向を、記憶手段１６に記憶されている撮像画像と第２カメラ４の仮想視点方向との対応関係に基づいて異なる方向に連続的に移動させて視点変換を行う視点変換手段１５を設ける。
【選択図】 図２

Description

本発明は、車両に設置されたカメラによって撮影される車両周辺の撮影画像を車室内の表示装置に表示する周辺監視システムに関する。

近年、ナビゲーションシステムの普及にともなって、車両の周辺の状況を車室内の表示装置に表示するモニタシステムを搭載する車両が増加している。車両の周辺の状況としては、例えば、他車の位置、障害物の状況、センターラインや停止線等の道路標示等がある。そして、これらの周辺の状況は、車両をバックさせる場合、後方を監視するバックモニタや、前方のバンパー下やコーナー部の死角等が表示装置に表示される。このようなモニタシステムは、車両運転時に運転者の負担の軽減を図るものであり、運転中に運転者が取得することが必要な情報の多さに鑑みると、視認性に優れ、違和感なく一見して運転者が必要な情報を取得できる画像を取得できる画像を表示することが望ましい。そして、当然にその画像の視野は広いことが望ましい。一般的に人間の静体視野は、両目で一点を注視している状態で約２００度である。この内、赤、青、黄色等の色彩を含めて確認できるのは７０度くらいまでと言われている。さらに、動きながら物を見る場合の動体視野は、動体速度に応じて狭くなり、車両速度が時速４０ｋｍ程度で、静体視野の半分の約１００度まで低下する。これを補うため、運転者は通常、一点を注視しないようにして視野角を広く保つように努めているが、上記のようなモニタシステムは、このような人間の生理的限界や努力を好適に保管するものであることが望まれる。

しかしながら、一般的にカメラ等によって撮影される画像の視野角は、５０〜６５度程度と狭く、単にカメラを車両に設置しただけでは十分な視野角を得ることができない。そこで、これを補うための様々な方法が提案されている。例えば、図１５〜図１６のように運転席からの死角となり得る場所を重点的に撮影し、これを表示装置のそれぞれ別の表示枠の中に表示する方法がある。

また、特許文献１には、一台又は数台のカメラと、前記カメラより入力された画像を透視変換により他の座標に変換する手段と、この変換画像を自車の画像との関連において一枚の画像に合成する手段と、この画像を乗員（運転者）に表示するディスプレイ（表示装置）とを有するものが提案されている。本文献中で実施される透視変換とは、カメラのスクリーン画像から、車両中央を原点、車両進行方向に対して左右側をX軸、車両進行方向をY軸とする路面（平面）座標に変換するものである。そして、合成された画像は、イラストで示された自車両と、透視変換された他車両や道路標示、物体等が平面座標で示されたものとなり、これが表示装置に表示される。

特開平３−９９９５２号公報（第２頁、第１〜３図。）

透視変換は視点変換とも呼ばれるものであるが、特許文献１の技術を例にすると、Ｘ軸及びＹ軸で構成されるＸＹ平面に対して平行する方向から見たスクリーン座標をＸＹ平面に対して直交する方向から見た平面座標へ変換するものである。従って、ポールや壁等、ＸＹ平面に対して垂直に立っている物体は、スクリーン座標においては、はっきりと視認できる状態となるが、平面座標においては、点や線等に集約されてしまい、視認できなくなるか、あるいは運転者にとって極めて違和感を覚える画像となって表示されてしまう。この例ほど極端ではないとも、立体空間をある視点から撮影した画像を、平面画像に視点変換すると、変換対象となる平面上にない立体物等は正しく変換されずに、運転者が違和感を覚える画像となってしまう。

また、平面座標に変換することなく、図１５〜図１６のように運転席から死角となり得る場所を重点的に撮影し、これを表示装置のそれぞれ別の表示枠の中に表示する方法を採った場合、通常の視点からの画像であるので、各画像に対する違和感は少ない。しかし、図１６に示す如く分割表示すると、運転者は各撮影画像の相互関係位置を意識しなければ充分な環境把握ができないので、一見して車両の周辺情報を得にくいという課題がある。

この課題を解決するために、本出願人らは、特願２００４−２８１９１０号において、車両に複数設置されたカメラが撮像した撮像画像を合成して表示装置に１枚の画像として表示するときに、隣り合う画像の境界の間で生じる水平方向又は垂直方向のずれを補正することにより、運転者が車両の周辺の状況を表示装置において広範囲で一見して把握することができる技術を提案した。

本出願人らが提案した上記周辺監視システムについて、図１３に示すように、車両１００が路地から本通りに出る場合を例に挙げて具体的に説明する。図１３に示す交差点では、路地に引かれた停止線１１１の右側に街路樹１１２がある。路地の本通りを挟んで向かい側には建物１１３がある。停止線１１１の左側には横断歩道１１４があり、人１１５が横断歩道１１４を渡っている。交差点の中央部には設置物１１６がある。運転者は、停止線１１１の位置で車両１００を停止させて左右を確認するときに、運転席が前バンパーより後方の位置に設けられているため、本通りの左右方向を確認しにくい。周辺監視システムを搭載しない車両１００では、運転者は、車両１００を路地から本通りに少しずつ前進させながら、本通りを走行する車両、自転車、バイクなどに注意を喚起し、本通りの状況を見える位置まで前進してから左右を確認して本通りに合流する。図１３に示す交差点では、街路樹１１２が運転者の図中右方向の視界を遮るため、運転者は、左右方向を確認するために車両１００を本通りに前進させる前進量が多くなる。

この点、本出願人らが提案した周辺監視システムを搭載する車両１００であれば、車両１００の前バンパーに視野角が一部重複するように設置した２台のカメラで、車両前方の左方向と右方向の状況を撮像し、２枚の撮像画像を水平方向と垂直方向のずれを調整してから合成した合成画像を表示装置に表示するので、車両１００を本通りの方に前進させなくても、本通りの左右方向の状況を１枚の画像として把握することができる。このとき、表示装置の画像は、図１３に示す設置物１１６や建物１１３などが表示された合成画像の合成境界位置がずれずに表示され、運転者に違和感を与えにくい。

このとき、レンズや撮像デバイス等の歪みによって生じた撮像画像の変形を補正せずに合成すると、図１３に示す状況を撮像して表示装置に表示したときに、図１７に示すように、撮影画像の端に映っている人１１５や道幅などが極端に小さく表示されてしまう。この場合、本通りを自車両に向かって走ってくる車両、自転車、バイクなどを判別しにくい。

これに対して、例えば、図１８に示す投影図のように、カメラの光軸Ｌを対象面に対してθ５度左に向けて撮像した画像を、θ５度右に向けて対象面方向を正面とするような画像に視点変換すると、図１９に示すように、撮像画像の端に映っていた撮像対象物の側面を拡大して表示することができる。この視点変換を本出願人らが提案した周辺監視システムに採用した場合、図１３に示す状況を２台のカメラで撮像して合成画像を表示装置に表示すると、図２０に示すように表示装置の端に映る人１１５や本通りなどを拡大して表示しうる。

ところが、実際には、撮影画像の端に映っている人１１５や本通りの画像データが拡散して異常に大きく伸びた画像になり、画像がぼやけて何が映っているか分かりにくかったり、映り込んだ物体が大きく表示されすぎて運転者にとって違和感を生じる。これは、例えば、図２１に示すように、光軸Ｌを車両１００の正面から左方向にθ５度移動させたカメラの撮像画像Ｐ１は、二次元であるので、車両１００の正面を向くように視点変換した画像Ｐ２では、撮像画像の端に映っている物体が、画像上で立体物と取り扱われずに正面にある物体と同じ平面上に書かれた絵の如く、カメラが実際より撮像画像の端に映る物体に近づいて撮像したかのような画像になるためと考えられる。周辺監視システムでは、上述したように車両１００に対して左右方向から走ってくる自動車、自転車、バイクなどを確認する上で、左右方向の画像を違和感なく表示することが重要であり、左右方向の画像を拡大しすぎて分解能が低下するのは好ましくない。

そこで、本発明は、上記問題点を解決するためになされたものであり、車両の周辺の状況を違和感なく表示手段に表示することができる周辺監視システムを提供することを目的とする。

本発明に係る周辺監視システムは、次のような構成を有している。
（１）車両に設置した撮像手段によって車両の周辺の状況を撮像し、その撮像画像を画像処理して表示手段に表示する周辺監視システムにおいて、前記撮像画像を複数の領域に分割し、領域毎に前記撮像手段の仮想視点方向を前記撮像手段の光軸と異なる方向に連続的に移動させて視点変換を行う視点変換手段を有することを特徴とする。

（２）（１）に記載の発明において、前記撮像画像と前記仮想視点方向との対応関係を記憶する記憶手段を有し、前記視点変換手段は、前記記憶手段に記憶されている前記撮像画像と前記仮想視点方向との対応関係に基づいて視点変換を行うことを特徴とする。
（３）（１）又は（２）に記載の発明において、前記視点変換手段は、前記仮想視点方向を撮像画像の一方から他方に向かって連続的に移動させることを特徴とする。
（４）（１）又は（２）に記載の発明において、前記視点変換手段は、前記撮像画像を視点変換マップに基づき前記仮想視点方向を変化させることを特徴とする。

（５）（１）乃至（４）の何れか一つに記載の発明において、前記撮像手段が複数からなり、撮像画像が重複する重複範囲を有する場合、前記重複範囲内で合成境界位置を決定して撮像画像を合成する合成手段を有することを特徴とする。

上記構成を有する本発明の周辺監視システムは、撮像手段が撮像した撮像画像を複数の領域に分割し、領域毎に撮像手段の仮想視点方向を撮像手段の光軸と複数の異なる方向に連続的に移動させて視点変換を行うことにより、運転者が車両の周辺の状況をそれぞれの方向に正対して見たかのように車両の周辺の状況を表示手段に表示するので、例えば、撮像手段の視点から離れた場所に写っている被写体の画像データが、レンズや撮像デバイスの歪みなどによって表示手段に小さく表示されたり、或いは、視点変換時に拡散してぼやけけたり、むやみに拡大されることがなく、車両の周辺の状況を表示手段に違和感なく表示することができる。

また、本発明の周辺監視システムは、撮像画像と仮想視点方向との対応関係を記憶手段に記憶し、分割された領域に映っている画像データの仮想視点方向を撮像画像と仮想視点方向との対応関係にあてはめて移動させるため、視点変換の処理時間を短くすることができる。
また、本発明の周辺監視システムは、仮想視点方向を撮像画像の一方から他方に向かって連続的に移動させることにより、運転者が車両の周囲の状況を一方から他方に向かって視線を移して見たかのような画像として表示手段に表示するので、車両の周辺の状況を１枚の画像として表示手段に違和感なく表示することができる。
また、本発明の周辺監視システムは、撮像画像を視点変換マップに基づき仮想視点方向を変化させるので、少ない計算回数で視点変換することができる。

また、本発明の周辺監視システムは、撮像手段が複数からなり、撮像画像が重複する重複範囲を有する場合、その重複範囲内で合成境界位置を決定して撮像画像を合成するので、車両の周辺の状況を切れ目なく表示手段に表示することができる。

次に、本発明に係る周辺監視システムの一実施の形態について図面を参照して説明する。図１は、周辺監視システム１の概略構成図である。
周辺監視システム１は、車両２、第１カメラ（撮像手段）３、第２カメラ（撮像手段）４、ディスプレイ（表示手段）５、周辺監視制御装置（周辺監視ＥＣＵ）６などで構成されている。

周辺監視システム１は、第１カメラ３と第２カメラ４を用いて車両前方の画像を取得し、第１，第２カメラ３，４が撮像した撮像画像を１つの画像として合成してディスプレイ５に表示する。合成画像の視野角は、人間の静体視野角程度の１２０〜２００度程度であることが望ましい。本実施形態では、視野角１２０度程度の広角撮影が可能な第１カメラ３と第２カメラ４を、互いの視野角が図１に示す如く重なるように車両前方に装着されたナンバープレートの上中央付近に配置し、広角撮影を行うようにしている。また、第１，第２カメラ３，４は、水平に取り付けると、撮影画像の半分程度が空を撮影したものとなってしまうため、水平からやや下方に向けて、例えば１５〜３０度程度の俯角をもって配置されている。

ディスプレイ５は、車両２の室内のセンターコンソール又はパネル面に備え付けられ、例えば、第１，第２カメラ３，４の撮像画像を合成した合成画像を表示する。ディスプレイ５は、ナビゲーションシステムのものと兼用してもよい。
周辺監視ＥＣＵ６は、第１，第２カメラ３，４の撮像画像を視点変換して合成し、その合成画像をディスプレイ５に表示させるものである。

図２は、周辺監視ＥＣＵ６のブロック図である。
周辺監視ＥＣＵ６は、映像切替処理手段１１、キャプチャ処理手段１２、第１キャプチャバッファ１３、第２キャプチャバッファ１４、座標変換処理手段（視点変換手段）１５、表示座標変換テーブル記憶手段（記憶手段）１６、表示バッファ１７、表示処理手段１８を備える。

周辺監視ＥＣＵ６は、第１，第２カメラ３，４で撮像した画像を映像切替手段１１によって所定時間毎に交互に切り替えて、キャプチャ処理手段１２に入力する。キャプチャ処理手段１２は、第１カメラ３が撮像した画像を第１キャプチャバッファ１３に格納する一方、第２カメラ４が撮像した画像を第２キャプチャバッファ１４に格納している。つまり、第１，第２カメラ３，４が撮像した画像を区別して認識できるように、別々に格納している。座標変換処理手段１５は、第１キャプチャバッファ１３と第２キャプチャバッファ１４から画像データを読み出して、座標変換テーブル記憶手段１６に記憶されている座標変換テーブルの情報に従って視点変換を行い、視点変換後の撮像画像を合成して合成画像を作成する。作成された合成画像は表示バッファ１７に入力される。表示処理手段１８は、表示バッファ１７から合成画像を入力してディスプレイ５に出力し、車両２の周辺の状況を１枚の画像としてディスプレイ５に表示させる。

本発明の特徴をなす座標変換処理について具体的に説明する。図２に示す座標変換処理は、第１，第２カメラ３，４の撮像画像について同様の手順で行われる。よって、ここでは、第２カメラ４の撮像画像の座標変換を中心に説明し、第１カメラ３の撮像画像の座標変換については説明を省略する。図３は、図２に示す座標変換処理のイメージ図である。
第２キャプチャバッファ１４は、縦方向にｍ個の画素を配列され、横方向にｎ個の画素を配列されている。第２キャプチャバッファ１４は、車両中央の第２カメラ位置を原点、車両進行方向に対して左右側をＸ軸、車両進行方向をＹ軸とする座標系を備える。つまり、第２カメラ４は、車両中央側から右側に向かってＸ値が増加し、下方（路面）に向かってＹ値が増加するように座標系を設けられている。第２キャプチャバッファ１４に入力された撮像画像は、座標値によって複数の画像データ群に分割される。

座標変換テーブルは、座標変換テーブル記憶手段１６に記憶されている。座標変換テーブルは、表示バッファ１７と同じ幅Ｗと高さＨを有し、撮像画像の画素と表示画像の画素との対応関係を規定している。座標変換処理手段１５は、合成画像の値をゼロにして初期化すると、座標変換テーブル上の全座標について、座標変換処理を行う。一例として、座標変換テーブル上の（ｘ２，ｙ２）について説明する。座標変換テーブル（ｘ２，ｙ２）から第２キャプチャバッファＸ＝１００，Ｙ＝８０という情報を取得する。この情報に基づき第２キャプチャバッファのＸ＝１００，Ｙ＝８０の画素を取得し、表示バッファ（ｘ２，ｙ２）にコピーして保持する。この座標変換時に、座標変換処理手段１５は、座標変換テーブル記憶手段１６に記憶されている撮像画像と第２カメラ４の仮想視点方向との対応関係に基づいて、撮像画像の分割された領域毎に第２カメラ４の仮想視点方向を第２カメラ４の光軸Ｌ２と異なる方向に連続的に移動させて視点変換を行う。ここで、「仮想視点方向」とは、カメラの現実の視点方向をカメラの光軸に対して仮想的に移動させる方向をいう。

図４は、座標変換処理において撮像画像と第２カメラ４の仮想視点方向との対応関係を規定する視点変換マップを示すグラフである。図５は、座標変換テーブルを作成する際の仮想視点方向の一例である。
図４の視点変換マップに示すように、撮像画像と第２カメラ４の仮想視点方向との対応関係は、座標変換テーブル記憶手段１６にマップ化され、記憶されている。視点変換マップは、縦軸に仮想視点方向が設定される一方、横軸に撮像画像の左端を原点とする第２バッファ１４の画素が設定されている。例えば、図９に示すように、第２カメラ４の視野角Ｒ２のうち、合成境界位置Ｐから第２カメラ４のカメラ光軸Ｌ２までの視野角がθ５であり、合成境界位置Ｐから撮像範囲右端ｎまでの視野角がαであるとすると、視点変換マップは、図４に示すように、第２カメラ４の撮像画像について、車両中央側になる画像左端から合成境界位置Ｐまでは仮想視点方向を変換せず、合成境界位置Ｐから撮像範囲右端ｎまでの範囲にある画像データについてＸ座標（又はＹ座標もしくはＸＹ座標）で分割された領域毎に仮想視点方向を連続的に移動させていく。撮像画像と第２カメラ４の仮想視点方向との対応関係は、グラフ上の直線Ｇ１や曲線Ｇ２，Ｇ３によって規定され、撮像画像をＸＹ座標に基づいて分割した領域ごとにカメラ光軸Ｌから仮想視点方向を移動させる角度を規定している。これらの直線Ｇ１及び曲線Ｇ２，Ｇ３は、撮像画像上重視する映像の部分によって座標変換処理手段１５に適宜選択して利用される。

例えば、直線Ｇ１は、撮像画像の仮想視点方向を撮像画像の一方から他方に向かって一定の角度変化率をもって連続的に移動させるように、撮像画像と第２カメラ４の仮想視点方向との対応関係を規定している。この対応関係は、第２カメラ４の撮像画像全体を重視する場合に適している。なお、直線Ｇ１を撮像画像にあてはめると、図５に示すようになり、第２カメラ４の撮像画像に含まれる画像データ群が撮像画像の画像左端から合成境界位置Ｐまでは仮想視点方向を変換されず、合成境界位置Ｐから画像右端に向かってＸ座標値が１増加する毎に仮想視点方向を０．５度移動させる。

また、例えば、図４に示す曲線Ｇ２，Ｇ３は、撮像画像の仮想視点方向を一方から他方に向かってＸ座標（又はＹ座標もしくはＸＹ座標）で分割された領域毎に移動させるときに、角度変化率を変化させるように撮像画像と第２カメラ４の仮想視点方向との対応関係を規定している。すなわち、曲線Ｇ２は、合成境界位置Ｐ付近においては仮想視点方向の角度変化率が小さく、右カメラ４の撮像範囲右端ｎ付近においては仮想視点方向の角度変化率が大きくなるように、撮像画像と第２カメラ４の仮想視点方向との対応関係を規定している。この対応関係は、第２カメラ４の撮像画像のうち合成境界位置Ｐ付近の部分を撮像範囲右端ｎ付近より重視する場合に適している。一方、曲線Ｇ３は、合成境界位置Ｐ付近においては仮想視点方向の角度変化率が大きく、第２カメラ４の撮像範囲右端ｎ付近においては仮想視点方向の角度変化率が小さくなるように、撮像画像と第２カメラ４の仮想視点方向との対応関係を規定している。この対応関係は、第２カメラ４の撮像画像のうち右端部分を合成境界位置Ｐ付近より重視する場合に適している。

このように撮像画像中で重視する点を想定して撮像画像と第２カメラ４の仮想視点方向との対応関係をマップ化しておけば、座標変換テーブルを予め複数記憶しておく場合と比べて記憶容量を小さくできる。撮像画像と第２カメラ４の仮想視点方向との対応関係は、周辺監視システム１の起動時に選択して設定される。なお、撮像画像と第２カメラ４の仮想視点方向との対応関係は、例えば、運転者が、ディスプレイ５のタッチパネルなどの操作手段を用いて、車両２の周辺を監視する上で重視する部分を指定するモードを切り替えることにより、任意に選択できるようにしてもよい。また、例えば、方向指示器やステアリングホイールの操蛇角、制動力などを検出し、車両２の走行状態をもとに撮像画像と第２カメラ４の仮想視点方向との対応関係を自動的に選択するようにしてもよい。さらに、予め、重視する部分を決めている場合には、撮像画像と第２カメラ４の仮想視点方向との対応関係を１種類だけ記憶し、記憶容量を小さくしてもよい。

ところで、撮像画像の仮想視点方向は、θ５−α〜θ５度まで段階的にもしくは連続的に変化するように設定される。θ５は、車両進行方向に対してカメラ光軸Ｌのなす角度であり、左右カメラ映像を合成する境界部となる水平座標Ｐの仮想視点方向をθ５に設定する。これにより、合成境界位置Ｐの仮想視点方向が車両の進行方向となり、自然な映像を得ることができる。また、αは、運転者が左右の安全確認をする際に首を振る角度に相当する。本実施形態では、一例として、θ５を４５度、αを６０度に設定している。

次に、周辺監視システム１の動作について具体的に説明する。第１，第２カメラ３，４の撮像画像の処理は、同様である。ここでは、日本国内の道路が右側通行であることを鑑みて、車両右方向の状況を撮像する第２カメラ４の撮像画像の処理を中心に説明し、第１カメラ３の撮像画像の処理については適宜説明を省略する。

図６は、第１カメラ３と第２カメラ４の撮像範囲を示す説明図である。
図６に示す交差点は、本通り２１に路地２２が接続するＴ字路である。壁２３は、本通り２１に沿って建設されている。路地２２の両側には、歩道２４，２５が設けられ、歩道２４に電柱２６が立っている。路地２２から本通り２１に出ようとしている車両２は、第１，第２カメラ３，４が光軸Ｌ１，Ｌ２を異なる方向に向けて設置されており、第１カメラ３が車両左方向を撮像し、第２カメラ４が車両右方向を撮像する。

図７は、図６に示す第１カメラ３の撮像画像を示す図であり、図８は、図６に示す第２カメラ４の撮像画像を示す図である。
図７に示すように、第１カメラ３の撮像画像には、本通り２１と壁２３の略左半分、及び、車両２の左側にある歩道２４、電柱２６が映っている。一方、図８に示すように、第２カメラ４の撮像画像には、本通り２１と壁２３の略右半分、及び、路地２２の右側にある歩道２５が映っている。第２カメラ４の撮像画像では、本通り２１が右方向に行くに従って狭くなり、画像右端の道幅がｗ１になっている。道幅の縮小に伴って、歩道２５がθ２度右上がりに映っている。この状態では、画像右端において本通り２１が小さく表示され、右方向から自車両２に向かって走行してくる車両、自転車、バイクなどを判別しにくい。

図９は、視点変換のイメージ図である。
そこで、第２カメラ４の視点を、車両２の正面Ａ（０）から所定角度ずつ右方向に移動させて車両２の前方右方向を撮像したと仮想した画像処理を行う。

図１０は、第１カメラ３と第２カメラ４の視点を車両２の正面（Ａ（０））だけにむけるように視点変換したときのイメージ図である。
第２カメラ４の視点を車両２の正面Ａ（０）だけに向けるように視点変換すると、発明が解決しようとする課題の欄で説明したのと同様の原理により、図８に示す撮像画像の右端に映っていた本通り２１の道幅ｗ１が、図１０に示すように道幅ｗ２に拡大して表示される。このとき同時に、歩道２５も画像右端に行くほど拡大表示される。そのため、本通り２１と歩道２５の境界が、θ３度右上がりに傾く。θ３度は、θ２度より角度が大きい。従って、図１０に示す画像は、運転者が車両２の正面Ａ（０）を向いたままの視点で、図８に示す画像の右端に映っている本通り２１や歩道２５をそのまま拡大したに過ぎず、現実味に乏しい。

すなわち、運転者は、一般的に、本通り２１の左右方向に顔を向けて車両２の左右方向から自車両２に向かって車両、自転車、バイクなどが走ってこないか確認するが、このとき、本通り２１の道幅が遠近差によって右方向に縮小する縮小率は、運転者の顔が正面Ａ（０）に向いている場合より、運転者の顔が右方向に向いている場合の方が小さくなるはずである。従って、本通り２１と歩道２５の境界が右上がりに傾く角度θ３は、図８に示す角度θ２より小さくなるべきである。それにもかかわらず、図１０に示す画像では、本通り２１と歩道２５の境界が右上がりに傾く角度θ３が図８に示す角度θ２より大きくなり、運転者が現実に左右方向を確認する際に見える状況とディスプレイ５に表示される画像との間に違和感が生じる。しかも、図１０に示す画像は、右端の本通り２１や歩道２５が大きく表示されすぎてぼやけ、この点からも、右方向から自車両２に近づいてくる車両、自転車、バイクなどを確認しにくい。周辺監視システム１が運転者の左右確認を補助するということを鑑みると、運転者が左右方向を確認するときに見える状況に近い画像をディスプレイ５に表示するのが望ましい。

そこで、図９に示すように、例えば第２カメラ４の撮像画像に含まれる画像データを、図４に示す直線Ｇ１が規定する撮像画像と第２カメラ４の仮想視点方向との対応関係に従って撮像画像のＸＹ座標で分割された領域毎に仮想視点方向を移動させていくと、運転者が正面Ａ（０）から右方向に顔の向きを変えて被写体を見たかのように、画像データの向きが連続的に変えられる。そのため、ディスプレイ５の右端に表示される画像は、あたかも運転者が顔を右に向けて見たかのような画像になる。

図１１は、視点変換した第１カメラ３と第２カメラ４の画像を示す図である。
第２カメラ４の撮像画像は、視点変換された結果、右端に映っている本通り２１の道幅ｗ３が、図８の道幅ｗ１より大きく、図１０に示す道幅ｗ２より小さく表示される。そして、本通り２１と歩道２５の境界は、θ４度右上がりに表示される。本通り２１と歩道２５の境界が右上がりに傾く角度θ４は、図８に示す角度θ２より小さく、道幅ｗ３は、単に図８に示す道幅ｗ１を拡大したものではなく、視点を右方向に向けることにより拡大されたことが分かる。

なお、第１カメラ３も、第２カメラ４と同じタイミングで撮像した画像に対して同様の処理が施される。そのため、第２カメラ３の画像も、本通り２１の左端が、図７に比べて大きく表示される。図１１に示す電柱２６は、図８及び図１０に示す電柱２６と比べて図中斜め左下方向に傾いており、第２カメラ３の撮像画像が、運転者が正面Ａ（０）から左方向に顔を向けて見たかのように視点変換され、左端部分を拡大されていることが分かる。

このように画像処理された第１，第２カメラ３，４の画像は、図６に示すように、第１，第２カメラ３，４の撮像範囲の重複範囲Ｓ１内で合成境界位置Ｐを決定される。死角を生じることなく、第１，第２カメラ３，４の画像をつなげて表示するためである。本実施形態では、車両２の正面Ａ（０）を合成境界位置Ｐに決定している。合成境界位置Ｐの仮想視点方向を車両進行方向に合わせるとともに、表示画像の左右均一な領域で第１，第２カメラ３，４の撮像画像を使用し、撮像画像と第２カメラ４の仮想視点方向との対応関係を規定する視点変換マップを共用して第１，第２カメラ３，４の画像処理を行うためである。このように、視点変換マップを共用するようにすれば、記憶容量を小さくできる利点がある。

図１２は、第１カメラと第２カメラの画像を合成した合成画像を示す図である。
画像処理した第１，第２カメラ３，４の画像を合成境界位置Ｐで合成すると、車両２の前方左右方向の画像が１枚で表示される。この表示画像は、運転者が左右方向を視線を向けて左右を確認する際に見える状況に近いため、運転者は違和感なく本通り２１の左右方向の状況を確認することができる。また、表示画像右端部分の本通り２１は、図８に示す場合より大きく表示されるものの、図１０に示す場合のように画像データが拡散してぼやけたり、むやみに大きく表示されることがない。よって、運転者は、路地２２から本通り２１に出るときに左右方向を直接見て確認しにくい場合であっても、ディスプレイ５の表示内容を見れば、左右方向から車両、自転車、バイクなどが自車両２に向かって走ってくるか否かを認識しやすい。

従って、本実施形態の周辺監視システム１によれば、第１，第２カメラ３，４が撮像した撮像画像を複数の領域に分割し、領域毎に第１，第２カメラ３，４の仮想視点方向を異なる方向に連続的に移動させて視点変換を行うことにより、運転者が車両２の前方左右方向をそれぞれ正対して見たかのように車両２の前方左右方向をディスプレイ５に表示するので（図９、図１１、図１２参照）、例えば、第１，第２カメラ３，４の視点から離れた場所に写っている被写体の画像データが、レンズや撮像デバイスの歪みなどによってディスプレイ５に小さく表示されたり、或いは、視点変換時に拡散してぼやけけたり、むやみに拡大されることがなく、車両２の前方左右方向をディスプレイ５に違和感なく表示することができる。すなわち、周辺監視システム１を用いて図１３に示す車両２の周辺の状況を監視した場合には、図１４に示すように、表示画像の端部分に映り込んだ横断歩道１１４を渡る人１１５や街路樹１１２を、運転者が正面から右方向に顔を向けて見たかのような大きさや形、方向で一画面に適切に表示することが可能である。特に、街路樹１１２が、図１７及び図２０に示すように本通りの右方向を隠さないため、運転者は、本通り右方向の状況を広い範囲で確認し、自車両１００に近づいてくる車両、自転車、バイク等の存在を違和感なく把握することができる。

また、本実施形態の周辺監視システム１は、予め、図４に示す撮像画像と第２カメラ４の仮想視点方向との対応関係を座標変換テーブル記憶手段１６に記憶しておき、ＸＹ座標で分割された領域に含まれる画像データの仮想視点方向を撮像画像と第２カメラ４の仮想視点方向との対応関係に当てはめて移動させるため（図９、図１１参照）、視点変換の処理時間を短くすることができる。
また、本実施形態の周辺監視システム１は、例えば、第２カメラ４の画像データの仮想視点方向を第１カメラ３が撮像した撮像画像との合成境界位置Ｐから右端ｎに向かって連続的に移動させることにより（図４の直線Ｇ１，Ｇ２，Ｇ３参照）、運転者が車両２の前方右方向の状況を車両２の正面Ａ（０）から右方向に向かって連続的に視線を移して見たかのような画像としてディスプレイ５に表示するので（図９、図１１参照）、車両２の前方左右方向の状況を１枚の画像としてディスプレイ５に違和感なく表示できる。
また、本実施形態の周辺監視システム１は、撮像画像を視点変換マップ（図４参照）に基づき仮想視点方向を変化させるので、少ない計算回数で視点変換することができる。

また、本実施形態の周辺監視システム１は、第１カメラ３と第２カメラ４が撮像した撮像画像の重複範囲Ｓ１内で合成境界位置Ｐを決定して撮像画像を合成するので、車両前方状況を切れ目なくディスプレイ５に表示することができる（図１２参照）。

尚、本発明の実施の形態について説明したが、本発明は、上記実施の形態に限定されことなく、色々な応用が可能である。

（１）例えば、上記実施の形態では、周辺監視システム１が車両２の前側バンパーに第１，第２カメラ３，４を設置しているが、１個又は複数のカメラを設置してもよい。すなわち、例えば、前側バンパーに１個だけ広角カメラを設置したり、前側バンパーに第１，第２カメラ３，４の他にバンパー下方を映す第３のカメラを設置したり、後側バンパーに１個又は複数のカメラを設置したり、車両２の片側に１台又は複数のカメラを設置する場合でも、撮像画像の仮想視点方向を連続的に移動させることにより、車両２の前方や後方、側方の状況をディスプレイ５に違和感なく表示することが可能である。そして、車両２の前後左右に設けたカメラの撮像画像をそれぞれ仮想視点方向を移動させて合成画像を作成し、ディスプレイ５上に１枚で表示するようにすれば、運転者が車両２の周辺の状況を広範囲で確認することができ、縦列駐車時や並列駐車時等における利便性が向上する。

（２）例えば、上記実施の形態では、第１，第２カメラ３，４の撮像画像を重複範囲Ｓ１を除いて使用したが、表示処理手段１８が表示バッファ１７に保持される合成画像の中から必要な部分の画像データを切り出してディスプレイ５に出力するようにしてもよい。この場合、例えば、運転者がディスプレイ５のタッチパネルなどの操作手段で見たい領域を移動させたときに、表示処理手段１８が移動した領域に該当する画像データを表示バッファ１７から適宜入力してディスプレイ５に出力するようにすれば、運転者の要求に応じて車両２の周辺の状況を違和感なくディスプレイ５に表示することが可能である。

本発明の一実施の形態における周辺監視システムの概略構成図である。 図１に示す周辺監視ＥＣＵのブロック図である。 図２に示す座標変換処理の概念図である。 座標変換処理において撮像画像と第２カメラ４の仮想視点方向との対応関係を規定する視点変換マップを示すグラフである。 座標変換テーブルを作成する際の仮想視点方向の一例である。 第１カメラと第２カメラの撮像範囲を示す説明図である。 図６に示す第１カメラの撮像画像を示す図である。 図６に示す第２カメラの撮像画像を示す図である。 視点変換のイメージ図である。 第１カメラと第２カメラの視点を車両の正面だけに向けるように視点変換したときのイメージ図である。 視点変換した第１カメラと第２カメラの画像を示す図である。 第１カメラと第２カメラの画像を合成した合成画像を示す図である。 車両周辺の状況を示す説明図である。 図１３に示す状況を撮像して表示した撮像画像表示形態の一例を示す図である。 従来の周辺監視システムの撮影範囲の一例を示す図である。 従来の撮像画像表示形態の一例を示す図である。 図１３に示す状況を撮像して表示装置に表示する撮像画像表示形態の一例を示す図である。 投影図の一例を示す説明図である。 特願２００１−５２９６７４号で提案する視点変換のイメージ図である。 撮像画像表示形態の一例を示す図である。 第１カメラと第２カメラの視点を車両の正面だけに向けるように視点変換し たときのイメージ図である。

符号の説明

１ 周辺監視システム
２ 車両
３ 第１カメラ（撮像手段）
４ 第２カメラ（撮像手段）
５ ディスプレイ（表示手段）
１５ 座標変換処理手段（視点変換手段）
１６ 座標変換テーブル記憶手段（記憶手段）

Claims (5)

1. 車両に設置した撮像手段によって車両の周辺の状況を撮像し、その撮像画像を画像処理して表示手段に表示する周辺監視システムにおいて、
   前記撮像画像を複数の領域に分割し、領域毎に前記撮像手段の仮想視点方向を前記撮像手段の光軸と異なる方向に連続的に移動させて視点変換を行う視点変換手段を有することを特徴とする周辺監視システム。
2. 請求項１に記載する周辺監視システムにおいて、
   前記撮像画像と前記仮想視点方向との対応関係を記憶する記憶手段を有し、
   前記視点変換手段は、前記記憶手段に記憶されている前記撮像画像と前記仮想視点方向との対応関係に基づいて視点変換を行うことを特徴とする周辺監視システム。
3. 請求項１又は請求項２に記載する周辺監視システムにおいて、
   前記視点変換手段は、
   前記仮想視点方向を撮像画像の一方から他方に向かって連続的に移動させることを特徴とする周辺監視システム。
4. 請求項１又は請求項２に記載する周辺監視システムにおいて、
   前記視点変換手段は、
   前記撮像画像を視点変換マップに基づき前記仮想視点方向を変化させることを特徴とする周辺監視システム。
5. 請求項１乃至請求項４の何れか一つに記載する周辺監視システムにおいて、
   前記撮像手段が複数からなり、撮像画像が重複する重複範囲を有する場合、前記重複範囲内で合成境界位置を決定して撮像画像を合成する合成手段を有することを特徴とする周辺監視システム。

Images