JP2019185381A - 車両周囲画像生成装置 - Google Patents

Abstract

【課題】車両周囲画像生成装置において、重複した範囲の立体物の視認性を向上させる。【解決手段】カメラＥＣＵ３０（車両周囲画像生成装置）は、画像変換部３１と立体物検出部３２と画像合成部３４とを備え、画像変換部３１は各カメラ１１〜１４で撮影された前方画像Ｐ１、後方画像Ｐ２、右側方画像Ｐ３、左側方画像Ｐ４をそれぞれ、前方俯瞰画像Ｐ１、後方俯瞰画像Ｐ２、右側方俯瞰画像Ｐ３、左側方俯瞰画像Ｐ４に変換し、立体物検出部３２は、各俯瞰画像Ｐ１，Ｐ２，Ｐ３，Ｐ４に基づいて立体物を検出し、画像合成部３４は、ブレンド画像Ｐ１３Ｂ，Ｐ１４Ｂ，Ｐ２３Ｂ，Ｐ２４Ｂをそれぞれ形成する２つの俯瞰画像の重み付け係数を設定する重み付け係数設定部３５を備える。【選択図】図１

Description

本発明は、車両周囲画像生成装置に関する。

近年、車両に複数のカメラを搭載し、各カメラで撮影された複数の画像をそれぞれ、車両周囲画像生成装置によって、車両の上方からの平面視となる俯瞰画像に変換し、これら複数の俯瞰画像を１つに合成して合成俯瞰画像を生成し、合成俯瞰画像を車室のモニタに表示する車両周囲監視システムが知られている。

この車両周囲監視システムによれば、運転者は、モニタに表示された１つの合成俯瞰画像を観察するだけで、車両の周囲の状況をひと目で把握することができる。したがって、運転者は、複数のカメラでそれぞれ撮影された複数の画像を別々に観察する必要が無く、利便性が高い（例えば、特許文献１参照）。

特開２０１３−０９３８６５号公報

ここで、複数のカメラは、例えば、車両の前部と後部と両側部にそれぞれ設けられていて、前部のカメラは車両前方を広画角で撮影し、後部のカメラは車両後方を広画角で撮影し、右側部のカメラは車両右方を広画角で撮影し、左側部のカメラは車両左方を広画角で撮影する。そして、車両前方を撮影した前方画像と車両右方を撮影した右方画像とは、車両の右前方の範囲において重複する領域が存在する。同様に、前方画像と車両左方を撮影した左方画像とは、車両の左前方の範囲において重複する領域が存在し、車両後方を撮影した後方画像と右方画像とは、車両の右後方の範囲において重複する領域が存在し、後方画像と左方画像とは、車両の左後方の範囲において重複する領域が存在する。

そして、前方画像の俯瞰画像と右方画像の俯瞰画像と後方画像の俯瞰画像と左方画像の俯瞰画像とを１つに繋いで、車両を中心とした１つの合成俯瞰画像を生成する。このとき、上述した重複した範囲については、以下の（１）の方法と（２）の方法とがある。

（１）の方法は、その互いに重複した範囲を有する２つの俯瞰画像を加算平均する方法である。（２）の方法は、その互いに重複した範囲に境界線を定め、その境界線で仕切られた一方の範囲にはその範囲に隣接する一方の俯瞰画像のみを表示し、境界線で仕切られた他方の範囲にはその範囲に隣接する他方の俯瞰画像のみを表示する方法である。

ところで、カメラの撮影範囲の被写体が路面からの高さを有する立体物である場合、撮影された画像においてその立体物は、路面に接している部分を除いて路面の奥行方向に投影された２次元の像として表される。

そして、上述した重複した範囲において存在する１つの立体物の像は、上記（１）の方法によれば、その重複範囲を含む２つの俯瞰画像において路面に投影される向きが異なるため、合成俯瞰画像において、例えばＶ字状の像となる。重複した範囲では、２つの画像が加算平均されているため、Ｖ字の像は、重複していない領域の像に比べて、周囲に対するコントラストが低くなり、モニタで表示されたとき、識別し難い。

一方、上記（２）の方法では、その立体物の足元（路面に接した部分）の位置が境界線上に存在すると、路面よりも上方の部分が合成俯瞰画像に表れないため、モニタに表示された合成俯瞰画像からは、立体物の存在を確認することができない。

本発明は上記事情に鑑みなされたものであって、重複した範囲の立体物の視認性を向上させることができる車両周囲画像生成装置を提供することを目的とする。

本発明は、車両の異なる位置に設置された撮像装置により、互いに重複した領域を撮影範囲に含んで撮影された複数の画像をそれぞれ、前記車両の上方から平面視として俯瞰して得られる俯瞰画像に変換する画像変換部と、前記画像変換部により変換して得られた、領域が互いに重複した２つの前記俯瞰画像を、前記重複した領域のうち少なくとも一部については重み付け加算平均して、１つの合成俯瞰画像を生成する画像合成部と、を備え、前記画像合成部は、前記重複した領域について２つの俯瞰画像を重み付け加算平均する際の各前記俯瞰画像に対する重み付け係数を、前記２つの俯瞰画像のうち一方の俯瞰画像については前記合成俯瞰画像のうち前記一方の俯瞰画像のみで生成された領域に近づくにしたがって前記重み付け係数を大きくし、前記２つの俯瞰画像のうち他方の俯瞰画像については前記合成俯瞰画像のうち前記他方の俯瞰画像のみで生成された領域に近づくにしたがって前記重み付け係数を大きくする重み付け係数設定部、を備えている車両周囲画像生成装置である。

本発明に係る車両周囲画像生成装置によれば、重複した範囲の立体物の視認性を向上させることができる。

本発明に係る車両周囲画像生成装置の一例であるカメラＥＣＵ（Electronic Control Unit）を含む車両周囲監視システムを示すブロック図である。 各カメラの設置位置と撮影範囲を模式的に示した平面図である。 前方俯瞰画像Ｐ１と後方俯瞰画像Ｐ２と右側方俯瞰画像Ｐ３と左側方俯瞰画像Ｐ４とに基づいて、画像合成部により生成される合成俯瞰画像ＡＰを示す模式図（その１）図である。 前方俯瞰画像Ｐ１と後方俯瞰画像Ｐ２と右側方俯瞰画像Ｐ３と左側方俯瞰画像Ｐ４とに基づいて、画像合成部により生成される合成俯瞰画像ＡＰを示す模式図（その２）である。 ブレンド画像Ｐ１３Ｂにおける前方俯瞰画像Ｐ１と右側方俯瞰画像Ｐ３との、角度位置に応じた重み付け係数及びブレンド画像Ｐ１４Ｂにおける前方俯瞰画像Ｐ１と左側方俯瞰画像Ｐ４との、角度位置に応じた重み付け係数を示すグラフである。 ブレンド画像Ｐ２３Ｂにおける後方俯瞰画像Ｐ２と右側方俯瞰画像Ｐ３との、角度位置に応じた重み付け係数及びブレンド画像Ｐ２４Ｂにおける後方俯瞰画像Ｐ２と左側方俯瞰画像Ｐ４との、角度位置に応じた重み付け係数を示すグラフである。 合成俯瞰画像ＡＰにおける右前方領域のブレンド画像Ｐ１３Ｂの領域で検出された立体物の移動向きを示す模式図である。 図７における立体物が自車の前方から後方に向かう（実線の矢印で示す）向きで自車に近づく状態とブレンド画像Ｐ１３Ｂの移動状態とを示す模式図である。 図７における立体物が自車の右方から左方に向かう（破線の矢印で示す）向きで自車に近づく状態とブレンド画像Ｐ１３Ｂの移動状態とを示す模式図である。

以下、本発明に係る車両周囲画像生成装置の具体的な実施の形態について、図面を参照して説明する。

＜車両周囲監視システム＞
図１は、本発明に係る車両周囲画像生成装置の一例であるカメラＥＣＵ（Electronic Control Unit）３０を含む車両周囲監視システムを示すブロック図である。図１に示した車両周囲監視システムは、車両２００（以下、自車２００という）に搭載されたカメラ１０（前部カメラ１１、後部カメラ１２、右側部カメラ１３、左側部カメラ１４）、カメラ１０で撮影された画像に基づいて、自車２００の周囲を含む合成俯瞰画像を生成する車両周囲画像生成装置の一例であるカメラＥＣＵ３０と、合成俯瞰画像を表示する表示装置９０と、を備えている。

図２は各カメラ１１〜１４の設置位置と撮影範囲を模式的に示した平面図である。カメラ１１〜１４は自車２００の異なる位置に設置されている。前部カメラ１１は自車２００の前端部に取り付けられていて自車２００の前方領域（Ｆ）を被写体とする前方画像Ｐ１を撮影する。後部カメラ１２は自車２００の後端部に取り付けられていて自車２００の後方領域（Ｒ）を被写体とする後方画像Ｐ２を撮影する。右側部カメラ１３は自車２００の右ドアミラー付近に取り付けられていて自車２００の右側方領域（ＳＲ）を被写体とする右側方画像Ｐ３を撮影する。左側部カメラ１４は自車２００の左ドアミラー付近に取り付けられていて自車２００の左側方領域（ＳＬ）を被写体とする左側方画像Ｐ４を撮影する。

各カメラ１１〜１４はいずれも広角レンズを備えていて、略１８０［度］の広い画角を有している。そして、図２に示すように、前方画像Ｐ１と右側方画像Ｐ３とは、自車２００の右前方の領域において重複した領域を有し、前方画像Ｐ１と右側方画像Ｐ３とはいずれも、その重複した領域の画像である右前方画像Ｐ１３を有している。同様に、前方画像Ｐ１と左側方画像Ｐ４とは、自車２００の左前方の領域において重複した領域を有し、前方画像Ｐ１と左側方画像Ｐ４とはいずれも、その重複した領域の画像である左前方画像Ｐ１４を有している。

自車２００の後方についても同様であり、後方画像Ｐ２と右側方画像Ｐ３とは、自車２００の右後方の領域において重複した領域を有し、後方画像Ｐ２と右側方画像Ｐ３とはいずれも、その重複した領域の画像である右後方画像Ｐ２３を有している。後方画像Ｐ２と左側方画像Ｐ４とは、自車２００の左後方の領域において重複した領域を有し、後方画像Ｐ２と左側方画像Ｐ４とはいずれも、その重複した領域の画像である左後方画像Ｐ２４を有している。

＜カメラＥＣＵ＞
カメラＥＣＵ３０は、画像変換部３１と、立体物検出部３２と、画像合成部３４と、を備えている。画像変換部３１は、各カメラ１１〜１４で撮影された前方画像Ｐ１、後方画像Ｐ２、右側方画像Ｐ３、左側方画像Ｐ４をそれぞれ、自車２００の上方から平面視として俯瞰して得られる前方俯瞰画像Ｐ１、後方俯瞰画像Ｐ２、右側方俯瞰画像Ｐ３、左側方俯瞰画像Ｐ４に変換する。

なお、図２は、自車２００の上方から平面視として俯瞰して得られる画像であるため、図２において説明した前方画像Ｐ１、後方画像Ｐ２、右側方画像Ｐ３及び左側方画像Ｐ４は、既に前方俯瞰画像Ｐ１、後方俯瞰画像Ｐ２、右側方俯瞰画像Ｐ３、左側方俯瞰画像Ｐ４に変換された画像となっている。実際の前方画像Ｐ１、後方画像Ｐ２、右側方画像Ｐ３及び左側方画像Ｐ４は、カメラ１０からの距離が長くなるにしたがって被写体の像が小さくなる歪を有している。

立体物検出部３２は、前方俯瞰画像Ｐ１、後方俯瞰画像Ｐ２、右側方俯瞰画像Ｐ３及び左側方俯瞰画像Ｐ４のそれぞれについてエッジ検出等の処理を行い、エッジとして検出される輪郭を有する物体の検出を行う。各俯瞰画像Ｐ１〜Ｐ４はそれ自体が路面に投影された二次元画像であるため、いずれか１つの俯瞰画像Ｐ１〜Ｐ４のみに基づいて、その物体が路面に描かれた平面的な物体であるか又は路面から高さ方向（鉛直上方）に延びた立体物であるかの別を判定することはできない。

ここで、例えば、立体物が、前方領域と右側方領域とが重複した領域であるの右前方俯瞰画像Ｐ１３の領域に存在する場合、前方俯瞰画像Ｐ１においては、その立体物の底面が路面上の所定位置に配置され、路面よりも上方の部分が、前部カメラ１１の画角に対応した方向に延びて路面上に投影された像となり、右側方俯瞰画像Ｐ３においては、その立体物の底面が路面上の所定位置に配置され、路面よりも上方の部分が、右側部カメラ１３の画角に対応した方向に延びて路面上に投影された像となる。

そして、その立体物の実際の底面の位置は路面上における位置であるため、立体物の底面は、前方俯瞰画像Ｐ１と右側方画像Ｐ３とにおいて原則的に同じ座標位置に表れる。なお、画像変換部３１による変換の誤差等により多少の位置ずれが生じたり、そもそも立体物の底面の形状とカメラ１０の光軸方向との位置関係により、位置がずれたような画像として投影されたりすることもあり、そのような場合は、前方俯瞰画像Ｐ１と右側方画像Ｐ３とで、同じ座標位置ではなく多少ずれた位置に底面が表れることもある。

立体物検出部３２は、このように、前方俯瞰画像Ｐ１と右側方画像Ｐ３とで同じ座標位置又は同じ座標位置ではないが所定の閾値以下の距離の範囲において、底面となる輪郭を検出し、かつ、前方俯瞰画像Ｐ１と右側方画像Ｐ３とで、上方に延びた部分の向きがそれぞれのカメラ１１，１３の画角に対応した向きとなる輪郭（前方俯瞰画像Ｐ１と右側方画像Ｐ３とを位置を合わせして重畳させたとき、全体としてＶ字状となる輪郭）を検出したときは、その輪郭を有する物体が立体物であると判定する。

一方、立体物検出部３２は、前方俯瞰画像Ｐ１と右側方画像Ｐ３とで同じ座標位置又は所定の閾値以下の距離の範囲に底面となる輪郭を検出しても、前方俯瞰画像Ｐ１と右側方画像Ｐ３とで、別々の方向に延びた輪郭を検出しないときは、その物体は路面上に存在す平面物であると判定する。なお、平面物は自車２００の移動に対して支障はないが、立体物は自車２００と接触する可能性があるため、自車２００の移動に対して支障が生じる場合がある。

このように、立体物検出部３２は、例えば、前方領域と右側方領域というように、隣接する２つの領域が重複した領域に立体物が存在する場合は、その２つの領域をそれぞれ撮影した画像（俯瞰画像）に基づいて立体物を検出することができる。立体物が左前方俯瞰画像Ｐ１４の領域に存在している場合、立体物が右後方俯瞰画像Ｐ２３の領域に存在している場合、立体物が左後方俯瞰画像Ｐ２４の領域に存在している場合についても、立体物が右前方俯瞰画像Ｐ１３の領域に存在している場合と同様である。

立体物検出部３２は、移動向き検出部３３を備えている。移動向き検出部３３は、立体物の自車に対する相対的な移動向きを検出する。移動向き検出部３３による自車２００との相対的な移動向きの検出は、時系列的に前後するタイミングで撮影された２つの前方俯瞰画像Ｐ１又は２つの右側方画像Ｐ３における立体物の位置の変化に基づいて行う。

立体物検出部３２は、移動向き検出部３３が立体物の自車２００との相対的な移動向きを検出したときは、その立体物の相対的な移動向きを画像合成部３４に出力する。移動向き検出部３３が立体物の自車２００との相対的な移動向きを検出しなかった（立体物が自車に対して相対的に移動していない）とき、又は立体物検出部３２が立体物を検出しなかったときは、立体物検出部３２は、立体物の相対的な移動向きを画像合成部３４に出力しない。

なお、本実施形態のカメラＥＣＵ３０は、カメラ１０により時系列的に前後するタイミングで撮影された画像を俯瞰変換して得られた俯瞰画像に基づいて立体物の移動向きを検出したが、立体物の移動向きは、画像に基づいて検出するのではなく、自車２００に備えられたソナー、ミリ波レーダ、レーザレーダ等により検出してもよい。この場合、カメラＥＣＵ３０自体が、ソナー、ミリ波レーダ、レーザレーダ等の移動向き検出部を備える必要はなく、ソナー、ミリ波レーダ、レーザレーダ等の移動向き検出部から入力された、移動向きを表す信号を受け取って画像合成部３４に出力する信号入出力部を備えさえすればよい。

画像合成部３４は、重み付け係数設定部３５と重複領域移動部３６とを備えている。画像合成部３４は、画像変換部３１により変換して得られた、前方俯瞰画像Ｐ１と後方俯瞰画像Ｐ２と右側方俯瞰画像Ｐ３と左側方俯瞰画像Ｐ４とを、自車２００を中心とした全周に繋がった１つの画像（合成俯瞰画像）を生成する。

図３，４は、前方俯瞰画像Ｐ１と後方俯瞰画像Ｐ２と右側方俯瞰画像Ｐ３と左側方俯瞰画像Ｐ４とに基づいて、画像合成部３４により生成される合成俯瞰画像ＡＰを示す模式図である。

画像合成部３４は、前方俯瞰画像Ｐ１と右側方俯瞰画像Ｐ３とを合成する際に、図３に示すように、前方俯瞰画像Ｐ１と右側方俯瞰画像Ｐ３とが重複する右前方俯瞰画像Ｐ１３（右前方画像Ｐ１３を画像変換部３１により変換して得られる俯瞰画像に相当する）のうち、右前方俯瞰画像Ｐ１３の、自車２００に最も近い角部を中心とした角度α［度］の範囲（以下、ブレンド範囲という。）については、前方俯瞰画像Ｐ１と右側方俯瞰画像Ｐ３とを重み付け加算（重み付け係数の割合で重畳）したブレンド画像Ｐ１３Ｂを生成する。

画像合成部３４は、図４に示すように、ブレンド画像Ｐ１３Ｂに隣接する前方側の領域については前方俯瞰画像Ｐ１、ブレンド画像Ｐ１３Ｂに隣接する右側方側の領域については右側方俯瞰画像Ｐ３をそれぞれ適用して、前方俯瞰画像Ｐ１と右側方俯瞰画像Ｐ３とを１つに繋ぐ。なお、角度αは、例えば３０［度］程度であるが、３０［度］に限定されず、３０［度］以上６０［度］程度まで、３０［度］以下２０［度］程度までの角度を適用することができる。

画像合成部３４は、前方俯瞰画像Ｐ１と左側方俯瞰画像Ｐ４とを合成する際に、図３に示すように、前方俯瞰画像Ｐ１と左側方俯瞰画像Ｐ４とが重複する左前方俯瞰画像Ｐ１４（左前方画像Ｐ１４を画像変換部３１により変換して得られる俯瞰画像に相当する）のうち、左前方俯瞰画像Ｐ１４の、自車２００に最も近い角部を中心とした角度α［度］の範囲（ブレンド範囲）については、前方俯瞰画像Ｐ１と左側方俯瞰画像Ｐ４とを重み付け加算したブレンド画像Ｐ１４Ｂを生成する。

画像合成部３４は、図４に示すように、ブレンド画像Ｐ１４Ｂに隣接する前方側の領域については前方俯瞰画像Ｐ１、ブレンド画像Ｐ１３Ｂに隣接する左側方側の領域については左側方俯瞰画像Ｐ４をそれぞれ適用して、前方俯瞰画像Ｐ１と左側方俯瞰画像Ｐ４とを１つに繋ぐ。

画像合成部３４は、後方俯瞰画像Ｐ２と右側方俯瞰画像Ｐ３とを合成する際に、図３に示すように、後方俯瞰画像Ｐ２と右側方俯瞰画像Ｐ３とが重複する右後方俯瞰画像Ｐ２３（右後方画像Ｐ２３を画像変換部３１により変換して得られる俯瞰画像に相当する）のうち、右後方俯瞰画像Ｐ２３の、自車２００に最も近い角部を中心とした角度β［度］の範囲（ブレンド範囲）については、後方俯瞰画像Ｐ２と右側方俯瞰画像Ｐ３とを重み付け加算したブレンド画像Ｐ２３Ｂを生成する。

画像合成部３４は、図４に示すように、ブレンド画像Ｐ２３Ｂに隣接する後方側の領域については後方俯瞰画像Ｐ２、ブレンド画像Ｐ２３Ｂに隣接する右側方側の領域については右側方俯瞰画像Ｐ３をそれぞれ適用して、後方俯瞰画像Ｐ２と右側方俯瞰画像Ｐ３とを１つに繋ぐ。なお、角度βは、例えば３０［度］程度であるが、３０［度］に限定されず、３０［度］以上６０［度］程度まで、３０［度］以下２０［度］程度までの角度を適用することができる。

画像合成部３４は、後方俯瞰画像Ｐ２と左側方俯瞰画像Ｐ４とを合成する際に、図３に示すように、後方俯瞰画像Ｐ２と左側方俯瞰画像Ｐ４とが重複する左後方俯瞰画像Ｐ２４（左後方画像Ｐ２４を画像変換部３１により変換して得られる俯瞰画像に相当する）のうち、左後方俯瞰画像Ｐ２４の、自車２００に最も近い角部を中心とした角度β［度］の範囲（ブレンド範囲）については、後方俯瞰画像Ｐ２と左側方俯瞰画像Ｐ４とを重み付け加算したブレンド画像Ｐ２４Ｂを生成する。

画像合成部３４は、図４に示すように、ブレンド画像Ｐ２４Ｂに隣接する後方側の領域については後方俯瞰画像Ｐ２、ブレンド画像Ｐ２４Ｂに隣接する左側方側の領域については左側方俯瞰画像Ｐ４をそれぞれ適用して、後方俯瞰画像Ｐ２と左側方俯瞰画像Ｐ４とを１つに繋ぐ。

以上のようにして、画像合成部３４は、１つの合成俯瞰画像ＡＰを生成するが、ブレンド画像Ｐ１３Ｂにおける前方俯瞰画像Ｐ１と右側方俯瞰画像Ｐ３との重み付け割合は、画像合成部３４の重み付け係数設定部３５により設定されている。

図５は、ブレンド画像Ｐ１３Ｂにおける前方俯瞰画像Ｐ１と右側方俯瞰画像Ｐ３との、角度位置に応じた重み付け係数及びブレンド画像Ｐ１４Ｂにおける前方俯瞰画像Ｐ１と左側方俯瞰画像Ｐ４との、角度位置に応じた重み付け係数を示すグラフである。図５において、縦軸は重み付け係数（０〜１）を示し、横軸はブレンド画像Ｐ１３Ｂを前方側で仕切る境界線Ｌ１３から右側方側で仕切る境界線Ｌ３１（又はブレンド画像Ｐ１４Ｂを前方側で仕切る境界線Ｌ１４から左側方側で仕切る境界線Ｌ４１）までの角度位置を示し、実線は前方俯瞰画像Ｐ１の重み付け係数、破線は右側方俯瞰画像Ｐ３（又は左側方俯瞰画像Ｐ４）の重み付け係数である。

なお、横軸における任意の角度位置において、前方俯瞰画像Ｐ１の重み付け係数（実線）と右側方俯瞰画像Ｐ３（又は左側方俯瞰画像Ｐ４）の重み付け係数（破線）との和は１に設定されている。

また、境界線Ｌ１３（境界線Ｌ１４）上では前方俯瞰画像Ｐ１の重み付け係数が１、右側方俯瞰画像Ｐ３（又は左側方俯瞰画像Ｐ４）の重み付け係数が０であり、境界線Ｌ３１（境界線Ｌ４１）上では前方俯瞰画像Ｐ１の重み付け係数が０、右側方俯瞰画像Ｐ３（又は左側方俯瞰画像Ｐ４）の重み付け係数が１であり、角度αの範囲では、角度に対して重み付け係数は線形に変化するように設定されている。

図６は、ブレンド画像Ｐ２３Ｂにおける後方俯瞰画像Ｐ２と右側方俯瞰画像Ｐ３との、角度位置に応じた重み付け係数及びブレンド画像Ｐ２４Ｂにおける後方俯瞰画像Ｐ２と左側方俯瞰画像Ｐ４との、角度位置に応じた重み付け係数を示すグラフである。図６において、縦軸は重み付け係数（０〜１）を示し、横軸はブレンド画像Ｐ２３Ｂを後方側で仕切る境界線Ｌ２３から右側方側で仕切る境界線Ｌ３２（又はブレンド画像Ｐ２４Ｂを後方側で仕切る境界線Ｌ２４から左側方側で仕切る境界線Ｌ４２）までの角度位置を示し、実線は後方俯瞰画像Ｐ２の重み付け係数、破線は右側方俯瞰画像Ｐ３（又は左側方俯瞰画像Ｐ４）の重み付け係数である。

なお、横軸における任意の角度位置において、後方俯瞰画像Ｐ２の重み付け係数（実線）と右側方俯瞰画像Ｐ３（又は左側方俯瞰画像Ｐ４）の重み付け係数（破線）との和は１に設定されている。

また、境界線Ｌ２３（境界線Ｌ２４）上では後方俯瞰画像Ｐ２の重み付け係数が１、右側方俯瞰画像Ｐ３（又は左側方俯瞰画像Ｐ４）の重み付け係数が０であり、境界線Ｌ３２（境界線Ｌ４２）上では後方俯瞰画像Ｐ２の重み付け係数が０、右側方俯瞰画像Ｐ３（又は左側方俯瞰画像Ｐ４）の重み付け係数が１であり、角度βの範囲では、角度に対して重み付け係数は線形に変化するように設定されている。

重み付け係数設定部３５は、上述したように、ブレンド画像Ｐ１３Ｂ，Ｐ１４Ｂ，Ｐ２３Ｂ，Ｐ２４Ｂとしてそれぞれ重複した領域について２つの俯瞰画像を重み付け加算平均する際の各俯瞰画像の重み付け係数を、２つの俯瞰画像（例えば、前方俯瞰画像Ｐ１と右側方俯瞰画像Ｐ３）のうち一方の俯瞰画像（例えば、前方俯瞰画像Ｐ１）については合成俯瞰画像ＡＰのうち一方の俯瞰画像（例えば、前方俯瞰画像Ｐ１）のみで生成された領域（例えば、自車２００の前方領域）に近づくにしたがって重み付け係数を大きくする。

そして、重み付け係数設定部３５は、２つの俯瞰画像（例えば、前方俯瞰画像Ｐ１と右側方俯瞰画像Ｐ３）のうち他方の俯瞰画像（例えば、右側方画像Ｐ３）については合成俯瞰画像ＡＰのうち他方の俯瞰画像（例えば、右側方画像Ｐ３）のみで生成された領域（例えば、自車２００の右側方領域）に近づくにしたがって重み付け係数を大きくする。

このように、画像合成部３４から表示装置９０に出力される合成俯瞰画像ＡＰを表す信号は、合成俯瞰画像ＡＰにおける重複した領域であるブレンド画像Ｐ１３Ｂ，Ｐ１４Ｂ，Ｐ２３Ｂ，Ｐ２４Ｂが、その略中央の角度位置の部分を除いて、その重複領域を形成する２つの俯瞰画像のうちのいずれか一方の俯瞰画像の重み付けの割合を大きくしたものとなる。

これにより、表示装置９０に表示された合成俯瞰画像ＡＰにおいて、重複した範囲（ブレンド画像Ｐ１３Ｂ，Ｐ１４Ｂ，Ｐ２３Ｂ，Ｐ２４Ｂ）に存在する物体は、いずれか一方の俯瞰画像の重み付けの割合を大きくなる。

ここで、その物体が立体物である場合、ブレンド画像Ｐ１３Ｂ，Ｐ１４Ｂ，Ｐ２３Ｂ，Ｐ２４Ｂにおいて、その立体物の像は、前述したようにＶ字状に２方向に延びたものとなる。そして、ブレンド画像Ｐ１３Ｂ，Ｐ１４Ｂ，Ｐ２３Ｂ，Ｐ２４Ｂに隣接する２つ俯瞰画像のうちのいずれか一方の俯瞰画像の重み付けの割合を大きくなることにより、Ｖ字状の２方向に延びた像のうち重み付け係数が相対的に大きい方の像のコントラストが大きくなる。

これにより、重み付け係数が重複した領域の全域に亘って０．５と０．５とで固定された均一割合であるものに比べて、立体物のコントラストが向上し、表示装置９０に表示された合成俯瞰画像ＡＰにおける立体物の視認性を向上させることができる。

なお、物体が立体物でない場合、すなわち、物体が路面上に描かれた平面的なものである場合は、ブレンド画像Ｐ１３Ｂの領域を重複領域として有する前方俯瞰画像Ｐ１と右側方俯瞰画像Ｐ３とで、その物体は原則的に同一の像として表れるため、重み付け係数の如何に拘わらず、その物体のコントラストは変化しない。したがって、物体が立体物でないときは、ブレンド画像Ｐ１３Ｂの領域に対応して重み付け係数を変化させる意義が低いとも考えられる。

しかし、例えば、一方の俯瞰画像（例えば、前方俯瞰画像Ｐ１）においては、手前側（前部カメラ１１に近い側）に存在する立体物によって、その立体物の先であって境界線Ｌ３１に近い領域に存在する路面上の標識（平面的な物体の一例）が隠されており、その路面上の標識が右側方俯瞰画像Ｐ３には表れている場合などの状況では、ブレンド画像Ｐ１３Ｂにおいて、その路面上の標識のコントラストが引き上げられるため、平面的な物体に対しても有効である。

上述した説明は、カメラＥＣＵ３０が、ブレンド画像Ｐ１３Ｂ，Ｐ１４Ｂ，Ｐ２３Ｂ，Ｐ２４Ｂについて、その角度位置に対応して重み付け係数を変化させた例であるが、重み付け係数は、一方の俯瞰画像のみで生成された領域又他方の俯瞰画像のみで生成された領域からの距離に対応して変化させてもよい。

次に、立体物が自車２００に対して相対的に移動していることを検出した場合について説明する。図７は、合成俯瞰画像ＡＰにおける右前方領域のブレンド画像Ｐ１３Ｂの領域で検出された立体物４００の移動向きを示す模式図であり、図８は図７における立体物４００が自車２００の前方から後方に向かう（実線の矢印で示す）向きで自車２００に近づく状態とブレンド画像Ｐ１３Ｂの移動状態とを示す模式図であり、図９は図７における立体物４００が自車２００の右方から左方に向かう（破線の矢印で示す）向きで自車２００に近づく状態とブレンド画像Ｐ１３Ｂの移動状態とを示す模式図である。

自車２００に対する立体物４００の相対的な移動は、立体物検出部３２の移動向き検出部３３によって検出される。そして、移動向き検出部３３によって検出された立体物４００の移動向きは画像合成部３４に入力される。

移動向き検出部３３からブレンド画像Ｐ１３Ｂの領域に存在する立体物の移動向きが画像合成部３４に入力されたときは、画像合成部３４の重複領域移動部３６が、その移動向きに応じて、ブレンド画像Ｐ１３Ｂの対象となる領域を、その角度α［度］を維持した状態で、右前方画像Ｐ１３の領域の範囲で移動させる。

具体的には、重複領域移動部３６は、立体物４００の移動向きが自車２００に近づく向きであって、その移動向きが図７の実線の矢印で示すように自車２００の前方から後方に向かって、右側方俯瞰画像Ｐ３の領域に近づく向きのときは、重み付け加算平均する範囲であるブレンド画像Ｐ１３Ｂの領域を、図８に示すように、前方俯瞰画像Ｐ１の領域に近づけるように移動させる。

また、重複領域移動部３６は、立体物４００の移動向きが自車２００に近づく向きであって、その移動向きが図７の破線の矢印で示すように自車２００の右方から左方に向かって、前方俯瞰画像Ｐ１の領域に近づく向きのときは、重み付け加算平均する範囲であるブレンド画像Ｐ１３Ｂの領域を、図９に示すように、右側方俯瞰画像Ｐ３の領域に近づけるように移動させる。

このように、立体物４００が自車に近づく向きに相対的に移動しているときは、合成俯瞰画像ＡＰにおけるブレンド画像Ｐ１３Ｂの位置を移動することにより、ブレンド画像Ｐ１３Ｂの領域内での立体物４００の相対的な位置を変更する。これにより、ブレンド画像Ｐ１３Ｂの領域内での立体物４００の位置は、ブレンド画像Ｐ１３Ｂにおける重み付け係数がより大きくなる側の俯瞰画像（図８の場合は近づいてくる右側方領域に対応した右側方俯瞰画像Ｐ３、図９の場合は近づいてくる前方領域に対応した前方俯瞰画像Ｐ１）に相対的に近くなる。

この結果、その移動する立体物４００が近づいてくる側の俯瞰画像における立体物４００の像のコントラストが引き上げられ、表示装置９０に表示された合成俯瞰画像ＡＰにおける立体物４００が近づいてくる側の俯瞰画像において立体物４００の視認性を向上させることができる。

なお、重複領域移動部３６は、立体物４００の移動向きが自車２００に近づく向きでない場合、すなわち自車２００から遠ざかる向きであるとき又は自車２００に対して近づきも遠ざかりもしないとき（自車２００との相対的な移動向きが無い場合）は、ブレンド画像Ｐ１３Ｂを図７に示した初期設定の位置から移動させない。

１０ カメラ
３０ カメラＥＣＵ（車両周囲画像生成装置）
３１ 画像変換部
３２ 立体物検出部
３４ 画像合成部
３５ 重み付け係数設定部
２００ 車両（自車）
４００ 立体物
ＡＰ 合成俯瞰画像
Ｐ１ 前方俯瞰画像、前方画像
Ｐ３ 右側方俯瞰画像、右側方画像
Ｐ１３Ｂ，Ｐ１４Ｂ，Ｐ２３Ｂ，Ｐ２４Ｂ ブレンド画像

Claims (4)

1. 車両の異なる位置に設置された撮像装置により、互いに重複した領域を撮影範囲に含んで撮影された複数の画像をそれぞれ、前記車両の上方から平面視として俯瞰して得られる俯瞰画像に変換する画像変換部と、
   前記画像変換部により変換して得られた、領域が互いに重複した２つの前記俯瞰画像を、前記重複した領域のうち少なくとも一部については重み付け加算平均して、１つの合成俯瞰画像を生成する画像合成部と、を備え、
   前記画像合成部は、前記重複した領域について２つの俯瞰画像を重み付け加算平均する際の各前記俯瞰画像に対する重み付け係数を、前記２つの俯瞰画像のうち一方の俯瞰画像については前記合成俯瞰画像のうち前記一方の俯瞰画像のみで生成された領域に近づくにしたがって前記重み付け係数を大きくし、前記２つの俯瞰画像のうち他方の俯瞰画像については前記合成俯瞰画像のうち前記他方の俯瞰画像のみで生成された領域に近づくにしたがって前記重み付け係数を大きくする重み付け係数設定部、を備えている車両周囲画像生成装置。
2. 前記重み付け係数設定部は、前記重み付け係数を、前記前記一方の俯瞰画像のみで生成された領域又前記他方の俯瞰画像のみで生成された領域からの距離又は角度に応じて連続的に変化させる請求項１に記載の車両周囲画像生成装置。
3. 前記画像変換部により変換して得られた前記俯瞰画像に基づいて、前記車両に接近する立体物を検出する立体物検出部を備え、
   前記画像合成部は、前記立体物の移動向きが前記一方の俯瞰画像に近づく向きのときは、前記重み付け加算平均する範囲を前記他方の俯瞰画像の側に移動させ、前記立体物の移動向きが前記他方の俯瞰画像に近づく向きのときは、前記重み付け加算平均する範囲を前記一方の俯瞰画像の側に移動させる重複領域移動部を備えた請求項１又は２に記載の車両周囲画像生成装置。
4. 前記立体物検出部は、前記撮像装置により時系列的に前後するタイミングで撮影された画像を前記画像変換部により変換して得られた前記俯瞰画像に基づいて、前記立体物の移動向きを検出する移動向き検出部を備えている請求項３に記載の車両周囲画像生成装置。