JP2021013072A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】処理負担の増大を抑制しつつ、違和感の少ない合成画像を生成する技術を提供する。【解決手段】移動体において用いられる画像処理装置は、前記移動体の周辺の複数の所定領域における物体の有無に関して複数の組合せパターンのいずれであるかを判断する判断部と、前記移動体の周辺を撮影する複数のカメラで得られた複数の撮影画像を仮想の投影面に投影して合成画像を生成する生成部と、を備える。前記生成部は、前記判断部で判断された前記組合せパターンに応じて予め用意された複数の投影面の中から前記合成画像の生成に使用する前記投影面を選択する。【選択図】図１

Description

本発明は、画像処理装置および画像処理方法に関する。

従来、自車両の周辺を撮影する複数のカメラで撮影された複数の撮影画像を合成し、仮想視点からみた自車両の周辺を示す車両周辺画像を表示させるシステムが知られる。例えば特許文献１には、視点変換後の車両周辺画像内に写っている障害物の歪みを抑制して運転者に与える違和感を軽減する技術が開示される。

特許文献１における車両周辺画像生成装置は、視点変換処理部と、障害物検出部と、画像圧縮制御部とを備える。視点変換処理部は、複数のカメラにより撮影された複数の車両周囲の画像を入力し、視点変換用のマッピングテーブル情報を用いて、入力した複数の車両周囲の画像を視点変換するとともに合成することにより車両周辺画像を生成する。障害物検出部は、車両周囲の障害物および車両から障害物までの距離を検出する。画像圧縮制御部は、障害物検出部により障害物が検出された場合に、車両周辺画像のうち障害物が検出された方向で車両から見て障害物より遠方に位置する領域の画像の幅を車両周辺画像の中心方向に圧縮するように制御する。

特開２００９−１１８４１６号公報

特許文献１に開示される構成では、視点変換用のマッピングテーブル情報として、通常用マッピングテーブル情報と、圧縮用マッピングテーブル情報とが用意される。通常用マッピングテーブル情報は、障害物が検出されない場合に使用される。圧縮用マッピングテーブル情報は、障害物が検出された場合に使用される。詳細には、視点変換処理部は、障害物が検出された場合に、自車両からみて障害物より手前に位置する領域の画像に対して通常用マッピングテーブル情報を適用し、自車両からみて障害物より遠方に位置する領域の画像に対して圧縮用マッピングテーブル情報を適用する。

すなわち、特許文献１においては、自車両から障害物までの距離に応じて、通常用マッピングテーブル情報と圧縮用マッピングテーブル情報とを如何に組み合わせて利用するかを適宜求める必要がある。このために、視点変換処理の負担が大きくなることが懸念される。自車両の周辺に存在する障害物の数が増えると、視点変換処理の負担が更に大きくなることが懸念される。

本発明は、上記の課題に鑑み、処理負担の増大を抑制しつつ、違和感の少ない合成画像を生成する技術を提供することを目的とする。

上記目的を達成するために本発明に係る画像処理装置は、移動体において用いられる画像処理装置であって、前記移動体の周辺の複数の所定領域における物体の有無に関して複数の組合せパターンのいずれであるかを判断する判断部と、前記移動体の周辺を撮影する複数のカメラで得られた複数の撮影画像を仮想の投影面に投影して合成画像を生成する生成部と、を備え、前記生成部は、前記判断部で判断された前記組合せパターンに応じて予め用意された複数の投影面の中から前記合成画像の生成に使用する前記投影面を選択する構成（第１の構成）になっている。

また、上記第１の構成の画像処理装置において、前記複数の組合せパターンには、前記移動体の両隣に前記物体が存在する第１パターンと、前記移動体の一方の隣に前記物体が存在する第２パターンと、前記移動体の他方の隣に前記物体が存在する第３パターンと、前記移動体の両隣に前記物体が存在しない第４パターンと、が含まれる構成（第２の構成）であることが好ましい。

また、上記第２の構成の画像処理装置において、前記複数の投影面には、前記第１パターン用の投影面と、前記第２パターン用の投影面と、前記第３パターン用の投影面と、前記第４パターン用の投影面とが含まれる構成（第３の構成）であってよい。

また、上記第２の構成の画像処理装置において、前記複数の投影面には、前記第１パターン用の投影面と、前記組合せパターンが前記第２パターン、前記第３パターン、および、前記第４パターンの場合に選択される共用投影面と、が含まれ、前記生成部は、前記共用投影面を選択した場合には、前記共用投影面における前記移動体の位置を前記組合せパターンに応じて変更して前記合成画像を生成する構成（第４の構成）であってよい。

また、上記第１から第４のいずれかの構成の画像処理装置において、前記投影面は、前記移動体が配置される位置およびその近傍に設けられる平面部と、前記平面部に接続され、前記移動体から離れるにつれて前記平面部に対する高さ位置が高くなる曲面部と、を有し、前記複数の投影面間で、前記移動体と前記曲面部との位置関係が互いに異なる構成（第５の構成）であることが好ましい。

また、上記第１から第５のいずれかの構成の画像処理装置において、前記移動体は車両であり、前記生成部は、前記車両の駐車が完了したことを認識した場合に、前記複数の投影面の中から１つの前記投影面を選択する構成（第６の構成）であってよい。

また、上記第６の構成の画像処理装置において、前記判断部は、前記車両の駐車が完了する前の前記車両の移動中に、前記組合せパターンを判断するための情報の収集を開始する構成（第７の構成）であることが好ましい。

また、上記第６又は第７の構成の画像処理装置において、前記合成画像を含む画像を表示させる処理を行う表示処理部を更に備え、前記表示処理部は、前記車両の駐車の完了前においては、前記組合せパターンに対応した前記投影面を用いた前記合成画像と異なる画像を表示させる処理を行い、前記車両の駐車の完了後においては、前記組合せパターンに対応した前記投影面を用いた前記合成画像を表示させる処理を行う構成（第８の構成）であることが好ましい。

本発明に係る画像処理方法は、移動体において用いられる画像処理装置によって実行される画像処理方法であって、前記移動体の周辺の複数の所定領域における物体の有無に関して複数の組合せパターンのいずれであるかを判断する判断工程と、前記移動体の周辺を撮影する複数のカメラで得られた複数の撮影画像を仮想の投影面に投影して合成画像を生成する生成工程と、を備え、前記生成工程において、前記合成画像の生成に使用する前記投影面は、前記判断部で判断された前記組合せパターンに応じて予め用意された複数の投影面の中から選択される構成（第９の構成）になっている。

本発明によれば、処理負担の増大を抑制しつつ、違和感の少ない合成画像を生成することができる。

画像表示システムの構成を示すブロック図 ４つのカメラが配置された車両を示す模式図 生成部が合成画像を生成する手法を説明するための図 撮影画像を投影する投影面を平面とした場合において、自車両の近傍に存在する物体の像が投影される位置を示す模式図 撮影画像を投影する投影面を平面とした場合において、自車両の近傍に存在する物体の像が投影される位置を示す模式図 撮影画像を投影する投影面を立体面とした場合において、自車両の近傍に存在する物体の像が投影される位置を示す模式図 投影面を平面とした場合の合成画像の一例を示す図 投影面を立体面とした場合の合成画像の一例を示す図 ４つの投影面について説明するための図 駐車完了シーンにおける合成画像の生成および表示処理の流れを示すフローチャート 駐車完了時に生成部で生成された合成画像を示す図 駐車完了時に生成部で生成された合成画像を示す図 駐車完了時に生成部で生成された合成画像を示す図 駐車完了時に生成部で生成された合成画像を示す図 変形例の複数の投影面について説明するための図

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。以下の説明では、本発明が適用される移動体が車両である場合を例にとり説明するが、本発明が適用される移動体は車両に限定される趣旨ではない。本発明は、ロボット等に適用されてもよい。車両には、例えば自動車等の車輪を有する乗り物が広く含まれてよい。

また、以下の説明では、車両の直進進行方向であって、運転席からハンドルに向かう方向を「前方向」とする。また、車両の直進進行方向であって、ハンドルから運転席に向かう方向を「後方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転者の右側から左側に向かう方向を「左方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転者の左側から右側に向かう方向を「右方向」とする。なお、前後左右の方向は、単に説明のために用いられる名称であって、実際の位置関係及び方向を限定する趣旨ではない。

＜１．画像表示システム＞
図１は、本発明の実施形態に係る画像表示システム１００の構成を示すブロック図である。画像表示システム１００は、移動体において用いられるシステムである。詳細には、画像表示システム１００は、車両において用いられるシステムである。画像表示システム１００は、当該システム１００を搭載する車両の周辺の領域を示す画像を生成して車室内に表示する機能を有する。以下、画像表示システム１００が搭載される車両のことを「自車両」と表現することがある。

図１に示すように、画像表示システム１００は、撮影部１と、画像処理装置２と、表示装置３と、駐車ＥＣＵ（Electronic Control Unit）４とを備える。

撮影部１は、移動体の周辺を撮影する。詳細には、撮影部１は、自車両の周辺を撮影する。撮影部１は、複数のカメラ１１〜１４を備える。本実施形成では、カメラの数は４つである。ただし、撮影部１が備えるカメラの数は適宜変更されてよい。各カメラ１１〜１４は、撮影画像を画像処理装置２に出力する。すなわち、画像処理装置２は、カメラ１１〜１４により撮影された撮影画像を入力される。

図２は、４つのカメラ１１〜１４が配置された車両５を示す模式図である。詳細には、車両５は自動車である。図２に示すように、カメラ１１は車両５の前端に設けられる。このため、カメラ１１をフロントカメラ１１とも呼ぶ。フロントカメラ１１の光軸１１ａは平面視で車両５の前後方向に沿っている。フロントカメラ１１は車両５の前方向を撮影する。カメラ１４は車両５の後端に設けられる。このため、カメラ１４をバックカメラ１４とも呼ぶ。バックカメラ１４の光軸１４ａは平面視で車両５の前後方向に沿っている。バックカメラ１４は車両５の後方向を撮影する。フロントカメラ１１及びバックカメラ１４の取付け位置は、車両５の左右中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。

カメラ１２は車両５の左側ドアミラー５１に設けられる。このため、カメラ１２を左サイドカメラ１２とも呼ぶ。左サイドカメラ１２の光軸１２ａは平面視で車両５の左右方向に沿っている。左サイドカメラ１２は車両５の左方向を撮影する。カメラ１３は車両５の右側ドアミラー５２に設けられる。このため、カメラ１３を右サイドカメラ１３とも呼ぶ。右サイドカメラ１３の光軸１３ａは平面視で車両５の左右方向に沿っている。右サイドカメラ１３は車両５の右方向を撮影する。なお、左サイドカメラ１２および右サイドカメラ１３は、ドアミラー５１、５２以外の車両５のボディ等に設けられてもよい。

各カメラ１１〜１４のレンズとしては、例えば魚眼レンズが使用される。各カメラ１１〜１４の水平方向の画角θは１８０度以上である。このため、４つのカメラ１１〜１４を利用することで、車両５の水平方向における全周囲を撮影することが可能になっている。

画像処理装置２は、移動体において用いられる。詳細には、画像処理装置２は、車両５において用いられる。画像処理装置２は、各種の画像処理が可能な電子装置である。画像処理装置２は、撮影画像を処理して得られた処理画像を表示装置３に出力する。また、画像処理装置２は、駐車ＥＣＵ４から信号を入力される。画像処理装置２は、駐車ＥＣＵ４からの入力情報に応じて画像処理に関する判断を適宜行う。画像処理装置２の詳細については後述する。

表示装置３は、例えばタッチパネル等の操作機能を有する液晶等のディスプレイを備える。表示装置３は、画像処理装置２から出力された処理画像を表示する。表示装置３は、車両５の乗員（代表的には運転者）がディスプレイの表示画面を視認できる位置に設けられる。表示装置３は、車両５のインストルメントパネル等に設置される。

駐車ＥＣＵ４は、自車両を駐車場に自動的に駐車させるための電子制御装置である。本実施形態では、駐車ＥＣＵ４は、画像処理装置２に所定の情報を出力する。所定の情報には、例えば、自動駐車の開始および終了のタイミングや、自動駐車による駐車予定位置等の情報が含まれる。なお、駐車ＥＣＵ４は、車両５を駐車場に駐車する際に、運転者の運転をアシストするものであってもよい。

＜２．画像処理装置の構成＞
画像処理装置２は、ＥＣＵ（Electronic Control Unit）として構成される。図１に示すように、画像処理装置２は、画像取得部２１と、制御部２２と、画像出力部２３と、信号受信部２４と、記憶部２５とを備える。

画像取得部２１は、４つのカメラ１１〜１４のそれぞれで得られた撮影画像を取得する。画像取得部２１は、取得した撮影画像がアナログの場合には、そのアナログの撮影画像をデジタルの撮影画像に変換（Ａ／Ｄ変換）する。画像取得部２１は、取得した撮影画像に対して所定の画像処理を行い、処理後の撮影画像を制御部２２に出力する。

制御部２２は、例えばマイクロコンピュータであり、画像処理装置２の全体を統括的に制御する。制御部２２は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）等を備える。詳細には、制御部２２は、判断部２２１と、生成部２２２と、表示処理部２２３とを備える。制御部２２が備えるこれら各部２２１〜２２３の機能は、例えば記憶部２５に記憶されるコンピュータプログラムに従ってＣＰＵが演算処理を行うことによって実現される。換言すると、画像処理装置２は、判断部２２１と、生成部２２２と、表示処理部２２３とを備える。

なお、制御部２２が備える各部２２１〜２２３の少なくともいずれか１つは、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成されてもよい。また、制御部２２が備える各部２２１〜２２３は、概念的な構成要素である。１つの構成要素が実行する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を１つの構成要素に統合したりしてよい。また、画像取得部２１は、制御部２２のＣＰＵがコンピュータプログラムに従って演算処理を行うことによって実現される構成でもよい。

判断部２２１は、移動体の周辺の複数の所定領域における物体の有無に関して複数の組合せパターンのいずれであるかを判断する。詳細には、判断部２２１は、特定のシーンにおいて、自車両５の周辺の複数の所定領域における物体の有無に関して複数の組合せパターンのいずれであるかを判断する。本実施形態では、特定のシーンは駐車完了シーンである。この場合、所定領域は、移動体の右側に隣接する駐車スペース相当の第１領域と、移動体の左側に隣接する駐車スペース相当の第２領域を含む。したがって、換言すれば、判断部２２１は、移動体の左右に隣接する２つの駐車スペースに駐車している他車両の有無に関して複数の組合せパターンのいずれであるかを判断する。

なお、物体は、特に限定する趣旨ではないが、静止している物であることが好ましい。また、例えば所定領域に比べてサイズが小すぎる物体は、判断の対象から除外されてよい。物体は、例えば車両であってよい。物体が車両であるか否かは、公知の画像認識技術を利用して判断されてよい。

また、所定領域に物体が存在するか否かは、自車両５から物体までの距離に基づいて判断されてよい。この場合、所定の距離範囲内に物体が存在すれば、所定領域に物体が存在すると判断される。所定の距離範囲内に物体が存在しなければ、所定領域に物体が存在しないと判断される。自車両５から物体までの距離は、カメラ１１〜１４から入力された撮影画像により求められてよい。また、自車両５から物体までの距離は、カメラ１１〜１４以外のセンサを利用して求められてもよい。このようなセンサとして、例えば、超音波センサ、レーダ、ＬＩＤＡＲ（Laser Imaging Detection and Ranging）等が挙げられる。カメラ以外のセンサが利用される場合には、画像表示システム１００は、カメラ１１〜１４以外のセンサも備える構成となる。

本実施形態では、複数の組合せパターンには、第１パターンと、第２パターンと、第３パターンと、第４パターンとが含まれる。第１パターンは、移動体の両隣に物体が存在するパターンである。第２パターンは、移動体の一方の隣に物体が存在するパターンである。第３パターンは、移動体の他方の隣に物体が存在するパターンである。第４パターンは、移動体の両隣に物体が存在しないパターンである。本実施形態では、後述のように判断部２２１による判断が必要なシーンを駐車完了シーンに絞っている。このために、移動体の周辺に物体が存在するパターンを少ない数で分類することができる。この結果、ＣＰＵにおける処理負担を低減することができる。なお、本実施形態では、所定領域の数は２つであるが、３つ以上であってもよく、所定領域の数の変化に応じて組合せパターンの数も変わる。

詳細には、第１パターンは、自車両５の左右の両隣に隣接車が存在するパターンである。判断部２２１は、自車両５の左側および右側において、所定距離内に車両が存在する場合に第１パターンであると判断する。第２パターンは、自車両５の左隣に隣接車が存在するパターンである。判断部２２１は、自車両５の左側と右側とのうち、左側においてのみ所定距離内に車両が存在する場合に第２パターンであると判断する。第３パターンは、自車両５の右隣に隣接車が存在するパターンである。判断部２２１は、自車両５の左側と右側とのうち、右側においてのみ所定距離内に車両が存在する場合に第３パターンであると判断する。第４パターンは、自車両５の両隣に隣接車が存在しないパターンである。判断部２２１は、自車両５の左側および右側において、所定距離内に車両が存在しない場合に第４パターンであると判断する。ここで、所定距離とは、自車両５の左右に隣接する駐車スペースに他車両が存在しているか否かを検出するために必要な距離であればよく、例えば１ｍ〜２ｍ程度の距離である。

生成部２２２は、移動体の周辺を撮影する複数のカメラ１１〜１４で得られた複数の撮影画像を仮想の投影面に投影して合成画像を生成する。本実施形態では、生成部２２２は、自車両５の周辺を撮影する４つのカメラ１１〜１４で得られた４つの撮影画像を仮想の投影面に投影して合成画像を生成する。生成部２２２は、特定のシーンと、特定のシーン以外とで、一部の処理を変える。生成部２２２は、特定のシーンであることを認識した場合に自動的に合成画像を生成する。生成部２２２は、特定のシーンであることを認識しない場合（特定のシーン以外である場合）、例えば運転者等のユーザからの指示があった場合に合成画像を生成する。なお、生成部２２２は、特定のシーンのみにおいて合成画像の生成を行う構成としてもよい。生成部２２２は、特定のシーン以外の場合においても、特定の条件を満たした場合に合成画像を生成する構成であってよい。

特定のシーンでは、生成部２２２は、判断部２２１の判断結果に基づき合成画像の生成処理を行う。生成部２２２は、判断部２２１で判断された組合せパターンに応じて予め用意された複数の投影面の中から合成画像の生成に使用する投影面を選択する。生成部２２２は、選択した投影面を利用して合成画像を生成する。このように構成することにより、特定のシーンにおける自車両５の周辺の状況に応じて運転者等に違和感を与えない適切な合成画像を、処理負担を少なくして生成することができる。

本実施形態では、特定のシーンは駐車完了シーンである。すなわち、生成部２２２は、車両５の駐車が完了したことを認識した場合に、複数の投影面の中から１つの投影面を選択する。そして、選択した撮影面を用いて合成画像を生成する。これによれば、駐車完了シーンという特定の場合に絞って、運転者等に違和感を与えない合成画像を生成する構成であるために、合成画像の生成処理の負担や、それに必要となるデータの記憶容量の負担を低減することができる。駐車完了シーンにおける処理の詳細については後述する。

一方、特定のシーン以外（本実施形態では駐車完了シーン以外）では、生成部２２２は、判断部２２１の判断結果とは関係なく合成画像の生成処理を行う。本実施形態では、生成部２２２は、特定のシーン以外においては、特定のシーンで選択して使用される複数の投影面とは異なる投影面を使用する。生成部２２２は、特定のシーン以外において、特定のシーンで選択して使用される複数の投影面のうちのいずれかを共用してもよい。

以下、特定のシーン以外で使用される投影面を利用する場合を例に、合成画像の生成処理について説明する。図３は、生成部２２２が合成画像を生成する手法を説明するための図である。

フロントカメラ１１、左サイドカメラ１２、右サイドカメラ１３、及び、バックカメラ１４によって、自車両５の前方、左側方、右側方、及び、後方をそれぞれ示す４つの撮影画像Ｐ１１〜Ｐ１４が同時に取得される。これら４つの撮影画像Ｐ１１〜Ｐ１４には、自車両５の全周囲のデータが含まれている。生成部２２２は、これら４つの撮影画像Ｐ１１〜Ｐ１４を取得する。

生成部２２２は、これら４つの撮影画像Ｐ１１〜Ｐ１４に含まれるデータ（画素の値）を、仮想的な三次元空間における投影面ＴＳに投影する。投影面ＴＳは、自車両５の周辺の領域に相当する仮想の立体面である。投影面ＴＳは、略半球状（お椀形状）をしており、その中心部（お椀の底部分）が自車両５の位置となる車両領域Ｒ０として定められている。投影面ＴＳでは、車両領域Ｒ０には撮影画像のデータは投影されず、車両領域Ｒ０の外側の領域（投影対象領域）に撮影画像のデータが投影される。

撮影画像Ｐ１１〜Ｐ１４に含まれる各画素の位置と、投影面ＴＳの各画素の位置とは予め対応関係が定められている。この対応関係を示すテーブルデータは、記憶部２５に記憶されている。投影面ＴＳの各画素の値は、この対応関係と、撮影画像Ｐ１１〜Ｐ１４に含まれる各画素の値とに基づいて決定できる。

生成部２２２は、投影対象領域において、自車両５の前方に相当する部分ＰＦに、フロントカメラ１１の撮影画像Ｐ１１のデータを割り当てる。生成部２２２は、投影対象領域において、自車両５の後方に相当する部分ＰＢに、バックカメラ１４の撮影画像Ｐ１４のデータを割り当てる。生成部２２２は、投影対象領域において、自車両５の左側方に相当する部分ＰＬに、左サイドカメラ１２の撮影画像Ｐ１２のデータを割り当てる。生成部２２２は、投影対象領域において、自車両５の右側方に相当する部分ＰＲに、右サイドカメラ１３の撮影画像Ｐ１３のデータを割り当てる。

このように投影面ＴＳの投射対象領域の各部分に撮影画像のデータを割り当てると、次に、生成部２２２は、自車両５の三次元形状を示すポリゴンのモデルを仮想的に構成する。自車両５のモデルは、投影面ＴＳが設定される三次元空間における自車両５の位置である車両領域Ｒ０に配置される。

次に、生成部２２２は、三次元空間に対して仮想視点ＶＰを設定する。仮想視点ＶＰは、視点位置と視線方向とで規定される。生成部２２２は、任意の視点位置、かつ、任意の視線方向の仮想視点ＶＰを三次元空間に設定できる。仮想視点ＶＰは、例えばユーザからの指令に基づき設定される。生成部２２２は、設定された仮想視点ＶＰに応じて投影面ＴＳにおける必要な領域を切り出す。また、生成部２２２は、設定された仮想視点ＶＰに応じて自車両５のモデルに関してレンダリングを行い、その結果となる二次元の車両像５０を、切り出した画像に対して重畳する。これにより、仮想視点ＶＰから見た自車両５および自車両５の周辺の領域を示す合成画像ＣＰが生成される。

例えば、図３に示すように、視点位置を自車両５の真上、視線方向を直下とした仮想視点ＶＰａを想定した場合、自車両５及び自車両５の周辺を俯瞰する合成画像（俯瞰画像）ＣＰａを生成できる。また、視点位置を自車両５の左後方、視線方向を自車両５の前方とした仮想視点ＶＰｂを想定した場合、自車両５の左後方から見た自車両５及び自車両５の周辺を示す合成画像ＣＰｂを生成できる。

図１に戻って、表示処理部２２３は、合成画像ＣＰを含む画像を表示させる処理を行う。詳細には、表示処理部２２３は、生成部２２２で生成された合成画像ＣＰ、および、画像取得部２１で取得した撮影画像を用いて、表示装置３で表示するための表示画像を生成する。

画像出力部２３は、表示処理部２２３で生成された表示画像を表示装置３に対して出力する。これにより、表示装置３は、合成画像ＣＰや撮影画像を表示する。

信号受信部２４は、駐車ＥＣＵ４からの信号を受信して、受信した信号を制御部２２に入力する。制御部２２は、受信信号に基づいて、駐車完了シーンの合成画像を表示装置３に表示させるために必要な処理を適宜行う。

記憶部２５は、例えばフラッシュメモリ等の不揮発性メモリであり、各種の情報を記憶する。記憶部２５は、ファームウェアとしてのプログラムや、合成画像ＣＰを生成するために用いる各種のデータを記憶する。合成画像ＣＰを生成するために用いるデータとして、複数の投影面データ２５ａが含まれる。

＜３．駐車完了シーンにおける合成画像の生成＞
（３−１．投影面と投影画像の関係）
図４および図５は、撮影画像を投影する投影面を平面２００とした場合において、自車両５の近傍に存在する物体６の像が投影される位置を示す模式図である。図４と図５とでは、物体６の、自車両５が配置される路面からの高さ位置が異なる。図４に比べて図５の方が、物体６の高さ位置が低い。

カメラ１２で物体６を撮影することで得られる物体６の像は、カメラ１２の位置と物体６の位置とを結ぶ直線が投影平面２００と交わる位置に投影される。図４と図５とを比較してわかるように、物体６の路面からの高さ位置が高い物体６の方が、投影平面２００に引き延ばされて投影される。すなわち、物体６の路面からの高さ位置が高い物体６は、特に投影平面２００では巨大化される傾向がある。

図６は、撮影画像を投影する投影面を立体面３００とした場合において、自車両５の近傍に存在する物体６の像が投影される位置を示す模式図である。図６における物体６の路面からの高さ位置は、図４における物体６の路面からの高さ位置と同じである。投影立体面３００は、自車両５が配置される位置およびその近傍では平面であり、自車両５の位置から所定距離離れた位置で曲面になっている。曲面は、自車両５から離れるにつれて平面からの高さが高くなる。以下、投影面における平面と曲面との境界位置のことを立上げ位置と呼ぶことがある。

図４と図６とを比較してわかるように、平面２００に投影する場合に比べて、立体面３００に投影した場合の方が、投影面における引き延ばしが抑制される。すなわち、投影面として立体面３００を用いた方が、投影面において物体６が巨大化されることが抑制される傾向がある。

図７Ａは、投影面を平面２００とした場合の合成画像ＣＰの一例を示す図である。図７Ｂは、投影面を立体面３００とした場合の合成画像ＣＰの一例を示す図である。図７Ａおよび図７Ｂは、視点位置を自車両５の前方、視線方向を自車両５の後方とした仮想視点ＶＰを想定した場合の合成画像ＣＰである。

投影面として平面２００を用いる図７Ａでは、図４および図５で示した傾向により、自車両５の左側に存在する隣接車の像７０が歪んでいる。一方、投影面として立体面３００を用いる図７Ｂでは、自車両５の左側に存在する隣接車の像７０の歪みは抑制されている。ただし、図７Ｂでは、自車両５の後方において白線の像８に歪みが発生している。

（３−２．駐車完了シーンの投影面）
駐車完了シーンにおける自車両５の周辺の状態は、上述した第１から第４の４つのパターンに分類できる。そして、駐車完了シーンの合成画像ＣＰにおいては、隣接車が存在しない方向は、路面の白線に対して正確に停車できているか否かを確認できるように、白線の像８がまっすぐに表示されることが望まれる。また、駐車完了シーンの合成画像ＣＰにおいては、隣接車が存在する方向は、隣接車の像７０が巨大化等により違和感のある像になることを低減することが望まれる。

以上のような点を考慮して、本実施形態では、駐車完了シーンの合成画像ＣＰを生成するために、選択的に利用される複数の投影面が予め用意されている。生成部２２２は、判断部２２１の判断結果に応じて複数の投影面の中から使用する投影面を１つ選択する。詳細には、複数の投影面には、第１パターン用の投影面と、第２パターン用の投影面と、第３パターン用の投影面と、第４パターン用の投影面とが含まれる。これらの投影面は、合成画像ＣＰにケラレ（撮影画像上に画像が無い部分）が含まれないように設計されることが好ましい。これにより、合成画像ＣＰの見栄えが向上する。

なお、生成部２２２は、判断部２２１で組合せパターンが第１パターンと判断された場合に第１パターン用の投影面を選択する。生成部２２２は、判断部２２１で組合せパターンが第２パターンと判断された場合に第２パターン用の投影面を選択する。生成部２２２は、判断部２２１で組合せパターンが第３パターンと判断された場合に第３パターン用の投影面を選択する。生成部２２２は、判断部２２１で組合せパターンが第４パターンと判断された場合に第４パターン用の投影面を選択する。

図８は、４つの投影面ＴＳ１〜ＴＳ４について説明するための図である。図８には、前後方向の中央位置で切断した投影面ＴＳ１〜ＴＳ４の縦断面図が示される。また、図８には、車両領域Ｒ０の理解を容易とするために便宜的に自車両５が示されている。図８に示すように、投影面ＴＳ１〜ＴＳ４は、平面部９１と曲面部９２とを有する。本実施形態では、４つの投影面ＴＳ１〜ＴＳ４は、いずれも、平面部９１と、曲面部９２と、垂直部９３とを有する。各投影面ＴＳ１〜ＴＳ４は、大まかには、お椀形状である。

平面部９１は、自移動体が配置される位置およびその近傍に設けられる。本実施形態では、平面部９１は、自車両５が配置される位置およびその近傍に設けられる。すなわち、投影面ＴＳ１〜ＴＳ４において、車両領域Ｒ０は平面部９１内に位置する。平面部９１は、例えば前後方向に比べて左右方向が短い楕円形状等とされる。

曲面部９２は、平面部９１に接続される。詳細には、曲面部９２は、平面部９１の全周から外方に延びる。平面部９１の全周において、曲面部９２の形状は同じである。曲面部９２は、自車両５（自移動体の一例）から離れるにつれて平面部９１に対する高さ位置が高くなる。垂直部９３は、曲面部９２の平面部９１と反対側の端部から、平面部９１と直交する方向に延びる。垂直部９３は、場合によって設けられなくてもよい。

複数の投影面ＴＳ１〜ＴＳ４間で、自移動体と曲面部９２との位置関係が互いに異なる。詳細には、４つの投影面ＴＳ１〜ＴＳ４間で、自車両５と曲面部９２との位置関係が互いに異なる。判断部２２１で判断された４つの組合せパターンに対応して、互いに構成が異なる４つの投影面ＴＳ１〜ＴＳ４を選択的に使用することで、各組合せパターンに適した合成画像ＣＰを生成することができる。

図８（ａ）は、第１パターン用の投影面ＴＳ１を示す。第１パターンは、自車両５の左右の両隣に隣接車が存在するパターンである。この場合には、駐車完了シーンを示す合成画像ＣＰにおいて、自車両５の左右の両隣に位置する隣接車の像７０が歪むことを抑制することが望まれる。このために、第１パターン用の投影面ＴＳ１は、自車両５の左右両側において、自車両５から曲面部９２の立上げ位置までの距離を短くして、曲面部９２にも画像のデータが投影される構成になっている。第１パターン用の投影面ＴＳ１において、車両領域Ｒ０は平面部９１の左右方向の中央部に配置される。自車両５の左右方向の中央位置から立上げ位置までの距離は左右で同じ距離（＝ｄ１）である。

図８（ｂ）は、第２パターン用の投影面ＴＳ２を示す。第２パターンは、自車両５の左隣に隣接車が存在するパターンである。この場合には、駐車完了シーンを示す合成画像ＣＰにおいて、自車両５の左隣に位置する隣接車の像７０が歪むことを抑制することが望まれる。このために、第２パターン用の投影面ＴＳ２は、自車両５の左側において、自車両５から曲面部９２の立上げ位置までの距離を短くして、曲面部９２にも画像のデータが投影される構成になっている。第２パターン用の投影面ＴＳ２では、車両領域Ｒ０は平面部９１の左右方向の中央部よりも左側に配置される。本実施形態では、自車両５の左右方向の中央位置を基準として、自車両５の左側では、曲面部９２の立上げ位置までの距離は第１パターン用の投影面ＴＳ１と同じ距離（＝ｄ１）である。

一方、第２パターンでは、駐車完了シーンを示す合成画像ＣＰにおいて、自車両５の右隣に隣接車が存在しないために、自車両５の右側では白線の像８がまっすぐに表示されることが望まれる。このために、第２パターン用の投影面ＴＳ２は、自車両５の右側において、自車両５から曲面部９２の立上げ位置までの距離を長くして、平面部９１に画像のデータが投影される構成になっている。本実施形態では、自車両５の左右方向の中央位置を基準として、自車両５の右側では、曲面部９２の立上げ位置までの距離は第１パターン用の投影面ＴＳ１における距離（＝ｄ１）より長い距離（＝ｄ２）である。

図８（ｃ）は、第３パターン用の投影面ＴＳ３を示す。第３パターンは、自車両５の右隣に隣接車が存在するパターンである。この場合には、駐車完了シーンを示す合成画像ＣＰにおいて、自車両５の右隣に位置する隣接車の像７０が歪むことを抑制することが望まれる。このために、第３パターン用の投影面ＴＳ３は、自車両５の右側において、自車両５から曲面部９２の立上げ位置までの距離を短くして、曲面部９２にも画像のデータが投影される構成になっている。第３パターン用の投影面ＴＳ３では、車両領域Ｒ０は平面部９１の左右方向の中央部よりも右側に配置される。本実施形態では、自車両５の左右方向の中央位置を基準として、自車両５の右側では、曲面部９２の立上げ位置までの距離は第１パターン用の投影面ＴＳ１と同じ距離（＝ｄ１）である。

一方、第３パターンでは、駐車完了シーンを示す合成画像ＣＰにおいて、自車両５の左隣に隣接車が存在しないために、自車両５の左側では白線の像８がまっすぐに表示されることが望まれる。このために、第３パターン用の投影面ＴＳ３は、自車両５の左側において、自車両５から曲面部９２の立上げ位置までの距離を長くして、平面部９１に画像のデータが投影される構成になっている。本実施形態では、自車両５の左右方向の中央位置を基準として、自車両５の左側では、曲面部９２の立上げ位置までの距離は第１パターン用の投影面ＴＳ１における距離（＝ｄ１）より長い距離（＝ｄ２）である。

図８（ｄ）は、第４パターン用の投影面ＴＳ４を示す。第４パターンは、自車両５の左右の両隣に隣接車が存在しないパターンである。この場合には、駐車完了シーンを示す合成画像ＣＰにおいて、自車両５の左右の両隣において白線の像８がまっすぐに表示されることが望まれる。このために、第４パターン用の投影面ＴＳ４は、自車両５の左右両側において、自車両５から曲面部９２の立上げ位置までの距離を長くして、平面部９１に画像のデータが投影される構成になっている。第４パターン用の投影面ＴＳ４において、車両領域Ｒ０は平面部９１の左右方向の中央部に配置される。この点、第１パターン用の投影面ＴＳ１と同じである。ただし、平面部９１の左右方向の長さが異なる。自車両５の左右方向の中央位置から立上げ位置までの距離は左右で同じ距離（＝ｄ２）であり、第１パターン用の投影面ＴＳ１における距離ｄ１より長い。この距離ｄ２は、第２パターン用の投影面ＴＳ２における自車両５の右側における立上げ位置までの距離、および、第３パターン用の投影面ＴＳ３における自車両５の左側における立上げ位置までの距離と同じである。

本実施形態では、駐車完了シーンにおける自車両５の周辺の状況を大まかに分類し、これに対応した投影面ＴＳ１〜ＴＳ４を予め用意している。このために、予め用意する投影面ＴＳ１〜ＴＳ４の数を少なくしつつ、自車両５の周辺の状況に適した見栄えの良い合成画像ＣＰを生成することができる。予め用意する投影面ＴＳ１〜ＴＳ４の数を減らすことにより、記憶部２５の記憶容量を少なくすることができる。予め投影面ＴＳ１〜ＴＳ４を用意する構成であるために、隣接車の距離に応じて投影面を作成する構成に比べて、合成画像ＣＰの生成処理の負担を低減することができる。また、予め投影面ＴＳ１〜ＴＳ４と視点位置、視線方向を用意する構成であるために、合成画像ＣＰにケラレが含まれることを防止できる。

（３−３．駐車完了シーンにおける合成画像の生成および表示処理）
図９は、駐車完了シーンにおける合成画像ＣＰの生成および表示処理の流れを示すフローチャートである。本実施形態では、制御部２２が駐車ＥＣＵ４から信号受信部２４を介して自動駐車開始の合図を受けると、判断部２２１が駐車予定場所の左右に存在する物体６（本例では車両）との距離情報の取得を開始する（ステップＳ１）。すなわち、判断部２２１は、自車両５の駐車が完了する前の自車両５の移動中に、組合せパターンを判断するための情報の収集を開始する。これによれば、駐車完了後に素早く駐車完了シーンの合成画像ＣＰを表示装置３に表示させることができる。

なお、判断部２２１は、駐車予定場所を駐車ＥＣＵ４から取得する。また、判断部２２１は、駐車ＥＣＵ４からの自動駐車開始の合図の代わりに、例えば、シフトレバーの操作情報に基づき物体との距離情報の取得を開始してもよい。また、本実施形態では、自動駐車中には、駐車完了シーンの合成画像ＣＰではなく、例えばバックカメラ１４で撮影された撮影画像等が表示装置３に表示される。すなわち、表示処理部２２３は、自車両５の駐車完了前においては、組合せパターンに対応した投影面ＴＳ１〜ＴＳ４を用いた合成画像ＣＰと異なる画像を表示させる処理を行う。これにより、各場面に応じた適切な画像を、処理負担を小さくして表示させることができる。

次に、判断部２２１は、自車両５の駐車が完了したか否かを確認する（ステップＳ２）。本実施形態では、自車両５の駐車が完了した否かは、駐車ＥＣＵ４から駐車完了の合図を受けたか否かによって判断される。ただし、自車両５の駐車が完了したか否かは、シフトレバーの操作情報に基づき判断されてもよい。

自車両５の駐車が完了していない場合には（ステップＳ２でＮｏ）、判断部２２１はステップＳ１に戻って距離情報の取得を再度行い、先に取得した距離情報の更新を行う。一方、自車両５の駐車が完了した場合には（ステップＳ２でＹｅｓ）、判断部２２１は、先に取得した距離情報に基づき組合せパターンを判断する（ステップＳ３）。

判断部２２１は、自車両５の左側と右側との両方に所定距離内に車両が存在する場合には、両隣に隣接車がある第１パターンと判断する。判断部２２１は、自車両５の左側に所定距離内に車両が存在し、自車両５の右側には所定距離内に車両が存在しない場合には、左隣にのみ隣接車がある第２パターンと判断する。判断部２２１は、自車両５の左側には所定距離内に車両が存在せず、自車両５の右側に所定距離内に車両が存在する場合には、右隣にのみ隣接車がある第３パターンと判断する。判断部２２１は、自車両５の左側と右側との両方において所定距離内に車両が存在しない場合には、両隣に隣接車がない第４パターンと判断する。

判断部２２１により組合せパターンの判断が行われると、生成部２２２は、組合せパターンに基づき投影面ＴＳ１〜ＴＳ４の選択を行う（ステップＳ４）。生成部２２２は、組合せパターンが第１パターンであれば、第１パターン用の投影面ＴＳ１を選択する。生成部２２２は、組合せパターンが第２パターンであれば、第２パターン用の投影面ＴＳ２を選択する。生成部２２２は、組合せパターンが第３パターンであれば、第３パターン用の投影面ＴＳ３を選択する。生成部２２２は、組合せパターンが第４パターンであれば、第４パターン用の投影面ＴＳ４を選択する。

生成部２２２は、選択した投影面ＴＳ１〜ＴＳ４を用いて合成画像ＣＰの生成を行う（ステップＳ５）。合成画像の生成処理は、駐車完了シーン以外の場合に利用される投影面ＴＳを使用した処理と同様である。仮想視点ＶＰは、予め決められた位置としてもよいし、ユーザが設定できる構成としてもよい。仮想視点ＶＰは、自車両５を斜め上方から見る位置に設定されることが好ましい。

生成部２２２によって合成画像ＣＰが生成されると、表示装置３による画像表示が行われる（ステップＳ６）。詳細には、表示処理部２２３は、生成部２２２により生成された合成画像ＣＰを用いて表示装置３で表示するための表示画像を生成する。すなわち、表示処理部２２３は、自車両５の駐車の完了後においては、組合せパターンに対応した投影面ＴＳ１〜ＴＳ４を用いた合成画像を表示させる処理を行う。表示処理部２２３で生成された表示画像が画像出力部２３により表示装置３に出力され、表示装置３により合成画像ＣＰが表示される。

図１０Ａ、図１０Ｂ、図１０Ｃ、および、図１０Ｄは、駐車完了時に生成部２２２で生成された合成画像ＣＰを示す図である。なお、図１０Ａ〜図１０Ｄにおいては、視点位置が前方、視線方向が自車両５の後方とした仮想視点ＶＰを想定した合成画像を示しているが、これは例示にすぎない。仮想視点ＶＰの位置は適宜変更されてよい。

図１０Ａは、自車両５の両隣に隣接車が存在する場合の合成画像ＣＰである。この場合には、自車両５の左右の両側で立上げ位置までの距離が短い第１パターン用の投影面ＴＳ１が選択される。このために、自車両５の左右両側において、隣接車の像７０の歪みが抑えられた見栄えの良い画像が得られる。

図１０Ｂは、自車両５の左隣にのみ隣接車が存在する場合の合成画像ＣＰである。この場合には、自車両５の左側において立上げ位置までの距離が短く、自車両５の右側で立上げ位置までの距離が長い第２パターン用の投影面ＴＳ２が選択される。このために、自車両５の左側において隣接車の像７０の歪みが抑えられ、自車両５の右側においては白線の像８がまっすぐに見える見栄えの良い画像が得られる。

図１０Ｃは、自車両５の右隣にのみ隣接車が存在する場合の合成画像ＣＰである。この場合には、自車両５の左側において立上げ位置までの距離が長く、自車両５の右側で立上げ位置までの距離が短い第３パターン用の投影面ＴＳ３が選択される。このために、自車両５の左側においては白線の像８がまっすぐに見え、自車両５の右側において隣接車の像７０の歪みが抑えられた見栄えの良い画像が得られる。

図１０Ｄは、自車両５の両隣に隣接車が存在しない場合の合成画像ＣＰである。この場合には、自車両５の左右の両側で立上げ位置までの距離が長い第４パターン用の投影面ＴＳ４が選択される。このために、自車両５の左右両側において、白線の像８がまっすぐに見える見栄えの良い画像が得られる。

なお、本実施形態では、駐車完了後に隣接車が移動しても投影面ＴＳ１〜ＴＳ４の切り替えは行わない。駐車完了後から合成画像ＣＰが表示されるまでの間に隣接車の存在状況が変化することは少ないと考えられる。このために、本実施形態によれば、実質的な不利益を少なくして処理負担を軽減することができる。

＜４．変形例＞
変形例においても、生成部２２２は、複数の組合せパターンに応じて予め用意された複数の投影面の中から合成画像の生成に使用する投影面を選択する。複数の組合せパターンには、上述の実施形態と同じ、第１パターン、第２パターン、第３パターン、および、第４パターンが含まれる。ただし、４つの組合せパターンに応じて予め用意される投影面の数は、４つでなく２つである。

図１１は、変形例の複数の投影面について説明するための図である。図１１には、前後方向の中央位置で切断した投影面の縦断面図が示される。また、図１１には、車両領域Ｒ０の理解を容易とするために便宜的に自車両５が示されている。

変形例においては、図１１に示すように、複数の投影面には、第１パターン用の投影面ＴＳ１Ａと、第２パターン、第３パターン、および、第４パターンの場合に選択される共用投影面ＴＳ４Ａとが含まれる。図１１（ａ）に示す第１パターン用の投影面ＴＳ１Ａは、上述の図８（ａ）に示す第１パターン用の投影面ＴＳ１と同じ形状である。生成部２２２は、判断部２２１で組合せパターンが第１パターンと判断された場合に第１パターン用の投影面ＴＳ１Ａを選択する。なお、第１パターン用の投影面ＴＳ１Ａにおいて、車両領域Ｒ０は平面部９１の左右方向の中央部に位置する。第１パターン用の投影面ＴＳ１Ａの選択後の合成画像ＣＰの生成処理は、上述の実施形態と同様である。

図１１（ｂ）に示す共用投影面ＴＳ４Ａは、上述の図８（ｄ）に示す第４パターン用の投影面ＴＳ４と同じ形状である。共用投影面ＴＳ４Ａは、第１パターン用の投影面ＴＳ１に比べて平面部９１の左右方向の幅が広い。生成部２２２は、判断部２２１で組合せパターンが第２パターン、第３パターン、および、第４パターンのいずれかと判断された場合に共用投影面ＴＳ４Ａを選択する。生成部２２２は、共用投影面ＴＳ４Ａを選択した場合には、共用投影面ＴＳ４Ａにおける自車両５（自移動体の一例）の位置を組合せパターンに応じて変更して合成画像ＣＰを生成する。

生成部２２２は、組合せパターンが第４パターンである場合、車両領域Ｒ０（自車両５の位置）が平面部９１の左右方向の中央部にあるとして共用投影面ＴＳ４Ａを使用する。左右の両側において、自車両５の左右方向の中央位置から曲面部９２の立上げ位置までの距離（＝ｄ２）は、第１パターン用の投影面ＴＳ１Ａの場合の距離（＝ｄ１）に比べて長い。例えば、第４パターンの場合には、撮影画像と共用投影面ＴＳ４Ａとの画素の位置の対応関係を示すテーブルデータにしたがって、撮影画像のデータが共用投影面ＴＳ４Ａに割り当てられる。この後の合成画像ＣＰの生成処理は、上述の実施形態と同様である。

生成部２２２は、組合せパターンが第２パターンである場合、車両領域Ｒ０が平面部９１の左右方向の中央部から左側にずれた位置にあるとして共用投影面ＴＳ４Ａを使用する。この場合のずれの量は、予め決められた量である。例えば、車両領域Ｒ０は、自車両５の左右方向の中央位置を基準として、自車両５の左側において曲面部９２の立上げ位置までの距離が第１パターン用の投影面ＴＳ１と同じ距離（＝ｄ１）となる位置までずらされる。なお、自車両５の右側において曲面部９２の立上げ位置までの距離は、第４パターンの場合に比べて長い距離（＞ｄ２）になる。例えば、撮影画像のデータは、第４パターンの場合における共用投影面ＴＳ４Ａの対応画素位置から車両領域Ｒ０のずれ量に対応する分だけずらした画素位置に割り当てられる。この後の合成画像ＣＰの生成処理は、上述の実施形態と同様である。

生成部２２２は、組合せパターンが第３パターンである場合、車両領域Ｒ０が平面部９１の左右方向の中央部から右側にずれた位置にあるとして共用投影面ＴＳ４Ａを使用する。この場合のずれの量は、予め決められた量である。例えば、車両領域Ｒ０は、自車両５の左右方向の中央位置を基準として、自車両５の右側において曲面部９２の立上げ位置までの距離が第１パターン用の投影面ＴＳ１と同じ距離（＝ｄ１）となる位置までずらされる。なお、自車両５の左側において曲面部９２の立上げ位置までの距離は、第４パターンの場合に比べて長い距離（＞ｄ２）になる。例えば、撮影画像のデータは、第４パターンの場合における共用投影面ＴＳ４Ａの対応画素位置から車両領域Ｒ０のずれ量に対応する分だけずらした画素位置に割り当てられる。この後の合成画像ＣＰの生成処理は、上述の実施形態と同様である。

本変形例によれば、記憶部２５に記憶される投影面データ２５ａの量を少なくすることができる。すなわち、記憶部２５の記憶容量を抑制することができる。

＜５．留意点＞
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。また、本明細書中に示される複数の実施形態及び変形例は可能な範囲で組み合わせて実施されてよい。

以上においては、自車両５の左右の隣に物体６が配置される場合（並列駐車の場合）の合成画像ＣＰの生成処理について説明した。ただし、本発明は、自車両５の前後方向の隣に物体６が配置される場合（縦列駐車の場合）にも適用可能である。

また、本発明は、駐車完了シーンに限らず、例えば、自車両５の右左折シーンにおいても適用可能である。例えば、自車両５が交差点より手前を走行している時点から交差点の複数の所定領域における物体までの距離情報を取得する。そして、自車両５が交差点位置に進入した際に、判断部２２１が自車両５の周辺の複数の所定領域における物体の有無に関する組合せパターンを判断し、生成部２２２が合成画像の生成に用いる投影面を選択するといった構成にできる。

２・・・画像処理装置
５・・・車両（移動体）
１１・・・フロントカメラ
１２・・・左サイドカメラ
１３・・・右サイドカメラ
１４・・・バックカメラ
９１・・・平面部
９２・・・曲面部
２２１・・・判断部
２２２・・・生成部
２２３・・・表示処理部
ＣＰ・・・合成画像
ＴＳ１・・・第１パターン用の投影面
ＴＳ２・・・第２パターン用の投影面
ＴＳ３・・・第３パターン用の投影面
ＴＳ４・・・第４パターン用の投影面
ＴＳ４Ａ・・・共用投影面

Claims (9)

1. 移動体において用いられる画像処理装置であって、
   前記移動体の周辺の複数の所定領域における物体の有無に関して複数の組合せパターンのいずれであるかを判断する判断部と、
   前記移動体の周辺を撮影する複数のカメラで得られた複数の撮影画像を仮想の投影面に投影して合成画像を生成する生成部と、
   を備え、
   前記生成部は、前記判断部で判断された前記組合せパターンに応じて予め用意された複数の投影面の中から前記合成画像の生成に使用する前記投影面を選択する、画像処理装置。
2. 前記複数の組合せパターンには、
   前記移動体の両隣に前記物体が存在する第１パターンと、
   前記移動体の一方の隣に前記物体が存在する第２パターンと、
   前記移動体の他方の隣に前記物体が存在する第３パターンと、
   前記移動体の両隣に前記物体が存在しない第４パターンと、
   が含まれる、請求項１に記載の画像処理装置。
3. 前記複数の投影面には、前記第１パターン用の投影面と、前記第２パターン用の投影面と、前記第３パターン用の投影面と、前記第４パターン用の投影面とが含まれる、請求項２に記載の画像処理装置。
4. 前記複数の投影面には、
   前記第１パターン用の投影面と、
   前記組合せパターンが前記第２パターン、前記第３パターン、および、前記第４パターンの場合に選択される共用投影面と、
   が含まれ、
   前記生成部は、前記共用投影面を選択した場合には、前記共用投影面における前記移動体の位置を前記組合せパターンに応じて変更して前記合成画像を生成する、請求項２に記載の画像処理装置。
5. 前記投影面は、
   前記移動体が配置される位置およびその近傍に設けられる平面部と、
   前記平面部に接続され、前記移動体から離れるにつれて前記平面部に対する高さ位置が高くなる曲面部と、
   を有し、
   前記複数の投影面間で、前記移動体と前記曲面部との位置関係が互いに異なる、請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記移動体は車両であり、
   前記生成部は、前記車両の駐車が完了したことを認識した場合に、前記複数の投影面の中から１つの前記投影面を選択する、請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記判断部は、前記車両の駐車が完了する前の前記車両の移動中に、前記組合せパターンを判断するための情報の収集を開始する、請求項６に記載の画像処理装置。
8. 前記合成画像を含む画像を表示させる処理を行う表示処理部を更に備え、
   前記表示処理部は、
   前記車両の駐車の完了前においては、前記組合せパターンに対応した前記投影面を用いた前記合成画像と異なる画像を表示させる処理を行い、
   前記車両の駐車の完了後においては、前記組合せパターンに対応した前記投影面を用いた前記合成画像を表示させる処理を行う、請求項６又は７に記載の画像処理装置。
9. 移動体において用いられる画像処理装置によって実行される画像処理方法であって、
   前記移動体の周辺の複数の所定領域における物体の有無に関して複数の組合せパターンのいずれであるかを判断する判断工程と、
   前記移動体の周辺を撮影する複数のカメラで得られた複数の撮影画像を仮想の投影面に投影して合成画像を生成する生成工程と、
   を備え、
   前記生成工程において、前記合成画像の生成に使用する前記投影面は、前記判断部で判断された前記組合せパターンに応じて予め用意された複数の投影面の中から選択される、画像処理方法。

Images