JP2014041398A - 画像生成装置、画像表示システム及び画像生成方法 - Google Patents

Abstract

【課題】ユーザが合成画像を視認した場合に物体が車両から離れているように感じる程度を緩和する。
【解決手段】画像表示システムの画像合成部は、自車両９の周辺に相当する仮想の投影面ＴＳに複数の撮影画像のデータを投影し、該投影面ＴＳ上のデータを用いて仮想視点からみた自車両９の周辺を示す合成画像を生成する。画像合成部は、このような投影面ＴＳとして上に凸の曲面である曲面領域Ｒ３を有する特殊投影面を用いる。曲面領域Ｒ３は、自車両９の位置からの距離が相対的に小さく傾きが相対的に大きい領域と、自車両９の位置からの距離が相対的に大きく傾きが相対的に小さい領域とを含んでいる。したがって、自車両９の近傍に存在する物体の像は曲面領域Ｒ３における傾きが大きい領域に投影される。このため、ユーザが合成画像を視認した場合に物体が自車両から離れているように感じる程度を緩和することができる。
【選択図】図１０

Description

本発明は、車両の周辺を示す画像を生成する技術に関する。

従来より、自動車などの車両の周辺を示す画像を生成し、この画像を車両内の表示装置に表示する画像表示システムが知られている。このような画像表示システムを利用することにより、ユーザ（代表的にはドライバ）は、車両の周辺の様子をほぼリアルタイムに確認することができる。

また、近年では、複数の撮影画像を合成して仮想視点からみた車両の周辺を示す合成画像を生成し、その合成画像を表示する画像表示システムも提案されている（例えば、特許文献１参照。）。このような画像表示システムでは、例えば、車両の上部から車両の周辺を見下ろすような合成画像である俯瞰画像を生成することができる。ユーザは、このような合成画像を視認することで、車両の周辺の全体の様子を確認することができる。

特許３３００３３４号公報

上記のような仮想視点から見た車両の周辺を示す合成画像は、車両の周辺に相当する仮想の投影面に複数の撮影画像のデータを投影し、投影面上のデータを用いることで生成される。このような投影面の形状は一般には水平方向に沿った水平面である。また近年では、車両の近傍では略水平面で、車両の位置から離れるほど傾きが大きくなる形状（お椀形状）の投影面も提案されている（例えば、特許文献１参照。）。

合成画像の生成にいずれの形状の投影面を用いた場合でも、投影面において車両の近傍の領域は略水平面となる。このため、車両の近傍に存在する物体の像は、投影面における略水平面の領域に投影される。このように物体の像を略水平面の領域に投影する場合に、当該物体が路面から離れているときには、その物体の像は車両の位置から離れた位置に投影される。

このため、ユーザがこの投影面上のデータを用いて生成された合成画像を視認した場合には、実際には車両の近傍に存在する物体が車両から離れているように感じることがある。その結果、ユーザが、実際の間隔よりも大きい間隔が車両と物体との間に存在するように感じ、車両と物体との位置関係を誤解した状態で車両を運転する可能性があった。

本発明は、上記課題に鑑みてなされたものであり、ユーザが合成画像を視認した場合に物体が車両から離れているように感じる程度を緩和する技術を提供することを目的とする。

上記課題を解決するため、請求項１の発明は、車両において用いられる画像生成装置であって、前記車両の周辺を撮影する複数のカメラで得られた複数の撮影画像を取得する取得手段と、前記車両の周辺に相当する仮想の投影面に前記複数の撮影画像のデータを投影し、該投影面上の前記データを用いて仮想視点からみた前記車両の周辺を示す合成画像を生成する生成手段と、を備え、前記生成手段が用いる前記投影面は、前記車両の位置からの距離が相対的に小さく、傾きが相対的に大きい領域と、前記車両の位置からの距離が相対的に大きく、傾きが相対的に小さい領域とを有する第１投影面を含む。

また、請求項２の発明は、請求項１に記載の画像生成装置において、前記第１投影面は、上に凸の曲面を有する。

また、請求項３の発明は、請求項１または２に記載の画像生成装置において、前記第１投影面のうち前記車両の前面又は後面に対向する部分は、前記車両の側面に対向する部分と比較して前記傾きが大きい。

また、請求項４の発明は、請求項１ないし３のいずれかに記載の画像生成装置において、前記生成手段は、前記第１投影面、及び、前記第１投影面とは形状の異なる第２投影面を含む複数の投影面を選択的に用い、前記第２投影面は、前記車両の位置に連続する略水平面の領域を有する。

また、請求項５の発明は、請求項４に記載の画像生成装置において、前記生成手段は、前記合成画像として、前記車両の周辺の全体を示す全体合成画像と、前記車両の近傍の一部を拡大して示す拡大合成画像とを生成可能であり、前記全体合成画像を生成する場合は前記第２投影面を用い、前記拡大合成画像を生成する場合は前記第１投影面を用いる。

また、請求項６の発明は、請求項４または５に記載の画像生成装置において、前記生成手段は、前記車両の近傍に存在する物体を検出する検出手段が前記物体を非検出のときは前記第２投影面を用い、前記検出手段が前記物体を検出したときは前記第１投影面を用いる。

また、請求項７の発明は、請求項１ないし３のいずれかに記載の画像生成装置において、前記生成手段は、前記車両の近傍に存在する物体を検出する検出手段が検出した前記物体の高さに応じて、前記第１投影面の前記傾きを変更する。

また、請求項８の発明は、車両において用いられる画像表示システムであって、請求項１ないし７のいずれかに記載の画像生成装置と、前記画像生成装置から出力される前記合成画像を表示する表示装置と、を備えている。

また、請求項９の発明は、車両において用いられる画像生成方法であって、（ａ）前記車両の周辺を撮影する複数のカメラで得られた複数の撮影画像を取得する工程と、（ｂ）前記車両の周辺に相当する仮想の投影面に前記複数の撮影画像のデータを投影し、該投影面上の前記データを用いて仮想視点からみた前記車両の周辺を示す合成画像を生成する工程と、を備え、前記工程（ｂ）で用いる前記投影面は、前記車両からの距離が相対的に小さく、傾きが相対的に大きい領域と、前記車両からの距離が相対的に大きく、傾きが相対的に小さい領域とを有する。

請求項１ないし９の発明によれば、車両の近傍に存在する物体の像が投影面における傾きが大きい領域に投影されるため、ユーザが合成画像を視認した場合に物体が車両から離れているように感じる程度を緩和することができる。

また、特に請求項２の発明によれば、合成画像において物体の像をスムーズに表現することができる。

また、特に請求項３の発明によれば、車両の進行方向となる前面又は後面に対向する部分の傾きを大きくすることで、車両が接触する可能性のある物体が車両から離れているようにユーザが感じる程度を大きく緩和することができる。

また、特に請求項４の発明によれば、第１投影面と第２投影面とを含む複数の投影面を選択的に用いることで、状況に応じて適切な態様の合成画像を生成することができる。

また、特に請求項５の発明によれば、全体合成画像を生成する場合は第２投影面を用いることで全体的に違和感の少ない全体合成画像を生成することができる。一方で、拡大合成画像を生成する場合は第１投影面を用いることで、物体の像を拡大する場合に、その物体が車両から離れているようにユーザが感じる程度を緩和することができる。

また、特に請求項６の発明によれば、物体を検出したときは第１投影面を用いることで、当該物体が車両から離れているようにユーザが感じる程度を緩和することができる。

また、特に請求項７の発明によれば、第１投影面の傾きを変更することにより、物体が車両から離れているようにユーザが感じる程度を物体の高さに応じて適切に緩和することができる。

図１は、第１の実施の形態の画像表示システムの構成を示す図である。 図２は、４つのカメラが撮影する方向を示す図である。 図３は、画像合成部が合成画像を生成する手法を説明する図である。 図４は、自車両の左右方向に沿った通常投影面の断面を示す図である。 図５は、画像調整部が生成する表示画像の例を示す図である。 図６は、通常投影面を用いた場合に物体の像が投影される位置を示す図である。 図７は、通常投影面を用いた場合に物体の像が投影される位置を示す図である。 図８は、自車両と他の車両とが近接した状態を示す図である。 図９は、通常投影面を用いて生成した合成画像の例を示す図である。 図１０は、特殊投影面の形状を示す図である。 図１１は、自車両の左右方向に沿った特殊投影面の断面を示す図である。 図１２は、特殊投影面を用いた場合に物体の像が投影される位置を示す図である。 図１３は、同じ状況で生成された２つの合成画像を示している。 図１４は、特殊投影面の断面を示す図である。 図１５は、合成画像において被写体上の点の像が表れる位置を示す図である。 図１６は、第１の実施の形態の画像表示システムの動作の流れを示す図である。 図１７は、第２の実施の形態の画像表示システムの構成を示す図である。 図１８は、物体検出装置の構成を主に示す図である。 図１９は、複数のクリアランスソナーが配置される位置を示す図である。 図２０は、第２の実施の形態の画像表示システムの動作の流れを示す図である。 図２１は、特殊投影面を用いた場合に物体の像が投影される位置を示す図である。 図２２は、特殊投影面の曲面領域の傾きの変更を説明する図である。 図２３は、第３の実施の形態の画像表示システムの構成を示す図である。 図２４は、第３の実施の形態の画像表示システムの動作の流れを示す図である。

以下、図面を参照しつつ本発明の実施の形態について説明する。

＜１．第１の実施の形態＞
＜１−１．構成＞
図１は、第１の実施の形態の画像表示システム１０の構成を示す図である。この画像表示システム１０は、車両（本実施の形態では、自動車）において用いられるものであり、車両の周辺の領域を示す画像を生成して車室内に表示する機能を有している。画像表示システム１０のユーザ（代表的にはドライバ）は、この画像表示システム１０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できる。以下、この画像表示システム１０が搭載される車両を「自車両」という。

図に示すように、画像表示システム１０は、複数のカメラ５、画像生成装置２、表示装置３及び操作ボタン４を主に備えている。複数のカメラ５はそれぞれ、自車両の周辺を撮影して撮影画像を取得し、取得した撮影画像を画像生成装置２に入力する。画像生成装置２は、自車両の周辺を示す撮影画像を用いて、表示装置３に表示するための表示画像を生成する。表示装置３は、画像生成装置２で生成された表示画像を表示する。また、操作ボタン４は、ユーザの操作を受け付ける。

複数のカメラ５はそれぞれ、レンズと撮像素子とを備えており、自車両の周辺を示す撮影画像を電子的に取得する。複数のカメラ５は、フロントカメラ５Ｆ、リアカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒを含んでいる。これら４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒは、自車両９において互いに異なる位置に配置され、自車両９の周辺の異なる方向を撮影する。

図２は、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒがそれぞれ撮影する方向を示す図である。フロントカメラ５Ｆは、自車両９の前端に設けられ、その光軸５Ｆａは自車両９の直進方向に向けられる。リアカメラ５Ｂは、自車両９の後端に設けられ、その光軸５Ｂａは自車両９の直進方向の逆方向に向けられる。左サイドカメラ５Ｌは左側の左サイドミラー９３Ｌに設けられ、その光軸５Ｌａは自車両９の左側方（直進方向の直交方向）に向けられる。また、右サイドカメラ５Ｒは右側の右サイドミラー９３Ｒに設けられ、その光軸５Ｒａは自車両９の右側方（直進方向の直交方向）に向けられる。

これらのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒのレンズには魚眼レンズなどの広角レンズが採用され、各カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒは１８０度以上の画角θを有している。このため、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒを利用することで、自車両９の全周囲を撮影することが可能である。

図１に戻り、表示装置３は、例えば、液晶などの薄型の表示パネルを備えており、各種の情報や画像を表示する。表示装置３は、ユーザがその画面を視認できるように、自車両９のインストルメントパネルなどに配置される。表示装置３は、画像生成装置２と同一のハウジング内に配置されて画像生成装置２と一体化されていてもよく、画像生成装置２とは別体の装置であってもよい。表示装置３は、表示パネルに重ねてタッチパネル３１を備えており、ユーザの操作を受け付けることが可能である。

操作ボタン４は、ユーザの操作を受け付ける操作部材である。操作ボタン４は、例えば、自車両９のステアリングホイールに設けられており、主にドライバからの操作を受け付ける。ユーザは、この操作ボタン４、及び、表示装置３のタッチパネル３１を介して画像表示システム１０に対する各種の操作を行うことができる。操作ボタン４及びタッチパネル３１のいずれかにユーザの操作がなされた場合は、その操作の内容を示す操作信号が画像生成装置２に入力される。

画像生成装置２は、各種の画像処理が可能な電子装置であり、画像取得部２１と、画像合成部２２と、画像調整部２３と、画像出力部２４とを備えている。

画像取得部２１は、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒでそれぞれ得られた撮影画像を取得する。画像取得部２１は、アナログの撮影画像をデジタルの撮影画像に変換する機能などの画像処理機能を有している。画像取得部２１は、取得した撮影画像に所定の画像処理を行い、処理後の撮影画像を画像合成部２２及び画像調整部２３に入力する。

画像合成部２２は、合成画像を生成するための画像処理を行うハードウェア回路である。画像合成部２２は、複数のカメラ５で取得された複数の撮影画像を合成して、仮想視点からみた自車両９の周辺を示す合成画像を生成する。画像合成部２２は、自車両９の周辺に相当する仮想の投影面に複数の撮影画像のデータを投影し、該投影面上のデータを用いて合成画像を生成する。この合成画像を生成する手法の詳細については後述する。

画像調整部２３は、表示装置３で表示するための表示画像を生成する。画像調整部２３は、画像合成部２２で生成された合成画像、及び、画像取得部２１が取得した撮影画像を用いて、合成画像及び撮影画像を含む表示画像を生成する。

画像出力部２４は、画像調整部２３で生成された表示画像を表示装置３に出力して、表示画像を表示装置３に表示させる。これにより、仮想視点からみた自車両９の周辺を示す合成画像が表示装置３に表示される。

また、画像生成装置２は、制御部２０と、操作受付部２５と、信号受信部２６と、記憶部２７とをさらに備えている。制御部２０は、例えば、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたマイクロコンピュータであり、画像生成装置２の全体を統括的に制御する。

操作受付部２５は、ユーザが操作を行った場合に操作ボタン４及びタッチパネル３１から出力される操作信号を受信する。これにより、操作受付部２５はユーザの操作を受け付ける。操作受付部２５は、受信した操作信号を制御部２０に入力する。

信号受信部２６は、画像生成装置２とは別に自車両９に設けられる他の装置からの信号を受信して、制御部２０に入力する。信号受信部２６は、例えば、自車両９の変速装置のシフトレバーの位置であるシフトポジションを示す信号をシフトセンサ９１から受信する。この信号に基づいて、制御部２０は、自車両９の進行方向が前方あるいは後方のいずれであるかを判定することができる。

記憶部２７は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部２７は、ファームウェアとしてのプログラム２７ａや、画像合成部２２が合成画像を生成するために用いる各種のデータを記憶する。このような合成画像の生成に用いるデータとして複数の投影面データ２７ｂが含まれる。

制御部２０の各種の機能は、記憶部２７に記憶されたプログラム２７ａに従ってＣＰＵが演算処理を行うことで実現される。図中に示す画像制御部２０ａは、プログラム２７ａに従ってＣＰＵが演算処理を行うことで実現される機能部の一部である。

画像制御部２０ａは、合成画像を生成する画像合成部２２、及び、表示画像を生成する画像調整部２３を制御する。画像制御部２０ａは、画像合成部２２及び画像調整部２３を制御して、自車両９の走行状態やユーザの操作に応じた合成画像及び表示画像を生成させる。

＜１−２．合成画像の生成＞
次に、画像合成部２２が、仮想視点からみた自車両９の周辺の様子を示す合成画像を生成する手法について説明する。図３は、画像合成部２２が合成画像を生成する手法を説明する図である。

フロントカメラ５Ｆ、リアカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒのそれぞれで撮影が行われると、自車両９の前方、後方、左側方及び右側方をそれぞれ示す４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲが取得される。これら４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲには、自車両９の全周囲のデータが含まれている。

画像合成部２２は、まず、これら４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲに含まれるデータ（各画素の値）を、仮想的な三次元空間における投影面ＴＳに投影する。投影面ＴＳは、自車両９の周辺の領域に相当する仮想の立体面である。投影面ＴＳの中心領域は、自車両９の位置となる車両領域Ｒ０として定められている。

画像合成部２２は、画像制御部２０ａの制御により、このような投影面ＴＳとして互いに形状が異なる複数の投影面のうちの一つを選択的に用いる。このような複数の投影面それぞれの形状は、記憶部２７に予め記憶された複数の投影面データ２７ｂによって定められる。図３に示す投影面ＴＳは、複数の投影面のうちの一つの通常時に用いる投影面（以下、「通常投影面」という。）ＴＳ１である。通常投影面ＴＳ１は、下に凸の曲面を有するお椀形状をしている。

図４は、自車両９の左右方向に沿った通常投影面ＴＳ１の断面を示す図である。図に示すように、通常投影面ＴＳ１は、車両領域Ｒ０（自車両９の位置）の近傍では水平方向に沿った水平面で、車両領域Ｒ０から離れるほど傾き（勾配）が大きくなる形状を有している。なお本明細書において、投影面ＴＳの「傾き」とは、水平方向（車両領域Ｒ０から離れる方向）の単位長さに対する垂直方向の長さを表す。投影面ＴＳの各位置の「傾き」は、当該位置に対する接線の傾きであるともいえる。

図４に示すように、通常投影面ＴＳ１は、自車両９の位置となる水平面の車両領域Ｒ０と、車両領域Ｒ０に連続する水平面の平面領域Ｒ１と、車両領域Ｒ０から離れた下に凸の曲面となる曲面領域Ｒ２とを有している。通常投影面ＴＳ１は、車両領域Ｒ０からの距離が相対的に小さく傾きが相対的に小さい平面領域Ｒ１と、車両領域Ｒ０からの距離が相対的に大きく傾きが相対的に大きい曲面領域Ｒ２とを有しているともいえる。平面領域Ｒ１は、車両領域Ｒ０に隣接し、車両領域Ｒ０の周囲を囲むことになる。また、曲面領域Ｒ２は、通常投影面ＴＳ１の周縁部に形成され、傾きが徐々に大きくなる形状（２次曲線と同様の形状）を有している。

図３に戻り、投影面ＴＳでは、車両領域（自車両９の位置）Ｒ０には撮影画像のデータは投影されず、車両領域Ｒ０の外側の領域に撮影画像のデータが投影される。以下、投影面ＴＳにおいて、撮影画像のデータが投影される領域（車両領域Ｒ０の外側の領域）を、「投影対象領域」という。通常投影面ＴＳ１では、平面領域Ｒ１及び曲面領域Ｒ２が投影対象領域となる（図４参照。）。

投影面ＴＳの投影対象領域における各位置は、４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲのいずれかと、テーブルデータ等の対応情報によって対応付けられている。画像合成部２２は、４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲのデータをそれぞれ投影対象領域の対応する部分に投影する。

画像合成部２２は、投影対象領域において自車両９の前方に相当する部分ＰＦに、フロントカメラ５Ｆの撮影画像ＳＦのデータを投影する。また、画像合成部２２は、投影対象領域において自車両９の後方に相当する部分ＰＢに、リアカメラ５Ｂの撮影画像ＳＢのデータを投影する。さらに、画像合成部２２は、投影対象領域において自車両９の左側方に相当する部分ＰＬに左サイドカメラ５Ｌの撮影画像ＳＬのデータを投影し、投影対象領域において自車両９の右側方に相当する部分ＰＲに右サイドカメラ５Ｒの撮影画像ＳＲのデータを投影する。

このように投影面ＴＳの投影対象領域の各部分に撮影画像のデータを投影すると、次に、画像合成部２２は、自車両９の三次元形状を示すポリゴンのモデルを仮想的に構成する。この自車両９のモデルは、投影面ＴＳが設定される三次元空間における自車両９の位置である車両領域Ｒ０に配置される。

次に、画像合成部２２は、画像制御部２０ａの制御により、三次元空間に対して仮想視点ＶＰを設定する。画像合成部２２は、三次元空間における任意の視点位置に任意の視野方向に向けて仮想視点ＶＰを設定できる。そして、画像合成部２２は、投影面ＴＳのうち、設定した仮想視点ＶＰからみて所定の視野角に含まれる領域に投影されたデータを画像として切り出す。また、画像合成部２２は、設定した仮想視点ＶＰに応じて自車両９のモデルに関してレンダリングを行い、その結果となる二次元の車両像９０を、切り出した画像に対して重畳する。これにより、画像合成部２２は、仮想視点ＶＰからみた自車両９及び自車両９の周辺の領域を示す合成画像ＣＰを生成する。

例えば図に示すように、視点位置を自車両９の直上、視野方向を直下とした仮想視点ＶＰａを設定した場合には、自車両９及び自車両９の周辺の領域を俯瞰する合成画像（俯瞰画像）ＣＰａが生成される。また、視点位置を自車両９の左後方、視野方向を自車両９の前方とした仮想視点ＶＰｂを設定した場合には、自車両９の左後方からその周辺全体を見渡すように、自車両９及び自車両９の周辺の領域を示す合成画像ＣＰｂが生成される。本実施の形態の画像合成部２２は、仮想視点ＶＰとして、自車両９の直上から見下ろすような仮想視点ＶＰａを主に設定する。これにより、画像合成部２２は、自車両９及び自車両９の周辺を俯瞰する合成画像である俯瞰画像を生成するようになっている。

＜１−３．表示画像＞
次に、画像調整部２３が生成する表示画像について説明する。図５は、画像調整部２３が生成する表示画像ＤＰの例を示す図である。図５に示す表示画像ＤＰは、ユーザが視認できるように表示装置３において表示される。

図５に示すように、表示画像ＤＰは、撮影画像ＳＰと合成画像ＣＰとを含んでいる。表示画像ＤＰに含まれる撮影画像ＳＰは、自車両９の進行方向に基いて選択される。自車両９の進行方向が前方の場合は、フロントカメラ５Ｆで取得された撮影画像ＳＦが表示画像ＤＰの撮影画像ＳＰとして用いられる。一方、自車両９の進行方向が後方の場合は、リアカメラ５Ｂで取得された撮影画像ＳＢが表示画像ＤＰの撮影画像ＳＰとして用いられる。自車両９の進行方向は、シフトセンサ９１からのシフトポジションを示す信号に基いて画像制御部２０ａが判定する。

また、表示画像ＤＰに含まれる合成画像ＣＰは、自車両９の直上から自車両９の周辺を俯瞰する合成画像である俯瞰画像である。この合成画像ＣＰは、画像制御部２０ａの制御により、表示モードによって態様が変更される。このような表示モードは、通常モードＭ１と拡大モードＭ２とがある。

図５の上部に示すように、通常モードＭ１においては、自車両９の周辺の全体を示す全体合成画像ＣＰＦが表示される。一方、図５の下部に示すように、拡大モードＭ２においては、自車両９の近傍の一部を拡大して示す拡大合成画像ＣＰＥが表示される。このような表示モードは、ユーザが任意に切り替えられるようになっている。画像表示システム１０の起動時には、表示モードは通常モードＭ１となっている。

通常モードＭ１の場合において、タッチパネル３１の全体合成画像ＣＰＦが表示された位置に対してユーザがタッチ操作を行った場合は、表示モードは拡大モードＭ２に変更される（矢印ＡＲ１）。ユーザが、全体合成画像ＣＰＦの左上領域Ａ１にタッチした場合は、拡大モードＭ２では自車両９の近傍の前方左側を拡大して示す拡大合成画像ＣＰＥが表示される。また、ユーザが、全体合成画像ＣＰＦの右上領域Ａ２にタッチした場合は、拡大モードＭ２では自車両９の近傍の前方右側を拡大して示す拡大合成画像ＣＰＥが表示される。また、ユーザが全体合成画像ＣＰＦの左下領域Ａ３にタッチした場合は、拡大モードＭ２では自車両９の近傍の後方左側を拡大して示す拡大合成画像ＣＰＥが表示される。さらに、ユーザが全体合成画像ＣＰＦの右下領域Ａ４にタッチした場合は、拡大モードＭ２では自車両９の近傍の後方右側を拡大して示す拡大合成画像ＣＰＥが表示される。

また、拡大モードＭ２の場合において、タッチパネル３１の拡大合成画像ＣＰＥが表示された位置に対してユーザがタッチ操作を行った場合は、表示モードは通常モードＭ１に変更される（矢印ＡＲ２）。

このようにユーザは、表示モードを変更する操作を行うことで、表示する合成画像ＣＰを全体合成画像ＣＰＦと拡大合成画像ＣＰＥとで任意に切り替えることができる。このため、ユーザは、通常モードＭ１において自車両９の周辺の全体のいずれかの位置に物体が存在するかを把握できるとともに、必要に応じて拡大モードＭ２とすることで物体の像を拡大して確認できるようになっている。通常、ユーザは、自車両９の近傍に存在する物体を把握した場合などにおいて、当該物体を詳細に確認するために表示モードを通常モードＭ１から拡大モードＭ２に変更する。

＜１−４．通常投影面の使用＞
このような合成画像ＣＰの生成において、仮に上述した通常投影面ＴＳ１（図３及び図４参照。）のみを用いた場合を想定する。この場合には、ユーザが生成された合成画像ＣＰを視認した場合に、自車両９の近傍に存在する物体が自車両９の位置から離れているように感じることがある。以下、この原理について説明する。

図６及び図７は、合成画像ＣＰの生成に通常投影面ＴＳ１を用いた場合において、自車両９の近傍に存在する物体Ｓｂの像が投影される位置を示す図である。図６及び図７では説明のため、実際の自車両９及び物体Ｓｂを、仮想の投影面ＴＳが設定される三次元空間の対応位置に配置して示している。図６は実際の物体Ｓｂが路面に接している場合を示しており、図７は実際の物体Ｓｂが路面から離れている場合を示している。

カメラ５で物体Ｓｂを撮影することで得られる物体Ｓｂの像は、カメラ５の位置と物体Ｓｂの位置とを結ぶ直線が通常投影面ＴＳ１と交わる位置に投影される。図６及び図７のいずれの場合も、物体Ｓｂは自車両９の近傍に存在していることから、物体Ｓｂの像は通常投影面ＴＳ１の水平面の平面領域Ｒ１に投影される。

図６に示すように、実際の物体Ｓｂが路面に接している場合においては、物体Ｓｂの像は図中の投影位置Ｆ１に投影される。すなわち、物体Ｓｂの像は、三次元空間における物体Ｓｂの対応位置と略同一の位置に投影される。したがって、路面に接した物体Ｓｂの像は、自車両９の位置となる車両領域Ｒ０の近傍に投影される。その結果、通常投影面ＴＳ１を用いて生成される合成画像ＣＰにおいても、物体Ｓｂの像は自車両９を示す車両像９０の近傍に表れることになる。

これに対して、図７に示すように、実際の物体Ｓｂが路面から離れている場合においては、物体Ｓｂの像は図中の投影位置Ｆ２に投影される。すなわち、物体Ｓｂの像は、三次元空間における物体Ｓｂの対応位置よりも外側の位置に投影される。したがって、路面から離れた物体Ｓｂの像は、自車両９の位置となる車両領域Ｒ０から離れた位置に投影される。その結果、通常投影面ＴＳ１を用いて生成される合成画像ＣＰにおいては、物体Ｓｂの像は自車両９を示す車両像９０から離れた位置に表れることになる。ユーザが、このような合成画像ＣＰを視認した場合には、物体Ｓｂが自車両９から離れているように感じ、実際の間隔よりも大きい間隔が自車両９と物体Ｓｂとの間に存在するように感じる可能性がある。

図７に示すような路面から離れた物体は、具体的には他の車両のバンバーなどが該当する。一般に車両のバンパーは、車体から突出して設けられ、その直下は路面に接していないことから、実質的に路面から離れた物体としてカメラ５によって撮影される。したがって、例えば、図８に示すように縦列駐車をしている状態から自車両９を発進する場合において、自車両９と他の車両９９とが近接したときに、他の車両９９のバンパー９９ａが図７に示す路面から離れた物体に該当することがある。

図９は、図８に示す状態において得られた撮影画像に基いて、通常投影面ＴＳ１を用いて生成した合成画像ＣＰの例を示している。この合成画像ＣＰは、自車両９の近傍の前方左側を拡大して示す拡大合成画像となっている。

図９の合成画像ＣＰにおいては、他の車両９９のバンパー９９ａの像９９ｂは、車両像９０から離れた位置に表れている。したがって、ユーザが、このような合成画像ＣＰを視認した場合には、他の車両９９のバンパー９９ａが自車両９から離れているように感じる可能性がある。その結果、ユーザは、図８に示すような実際の間隔よりも大きい間隔が自車両９と他の車両９９のバンパー９９ａとの間に存在するように感じ、自車両９とバンパー９９ａとの位置関係を誤解した状態で自車両９を運転する可能性がある。

特に、図９に示すように合成画像ＣＰが拡大合成画像の場合は、自車両９の近傍の一部のみが拡大して示されることから、物体の像（バンパー９９ａの像９９ｂ）と車両像９０との間隔がより強調されることになる。このため、ユーザがこのような拡大合成画像を視認した場合は、物体（バンパー９９ａ）が自車両９から離れているように感じる可能性が高くなる。

＜１−５．特殊投影面の使用＞
このような問題に対応するため、本実施の形態の画像表示システム１０は、拡大合成画像を生成する場合に、複数の投影面のうちの一つの特殊投影面を用いるようにしている。特殊投影面は、通常投影面ＴＳ１とは形状が異なっている。以下、この特殊投影面について説明する。

図１０は、特殊投影面ＴＳ２の形状を示す図である。図に示すように、特殊投影面ＴＳ２は、自車両９の位置となる水平面の車両領域Ｒ０と、その周囲を囲む投影対象領域である上に凸の曲面領域Ｒ３とを有している。曲面領域Ｒ３は、自車両９の前面に対向する部分ＰＦ、自車両９の後面に対向する部分ＰＢ、自車両９の左側面に対向する部分ＰＬ、及び、自車両９の右側面に対向する部分ＰＲを含んでいる。

図１１は、自車両９の左右方向に沿った特殊投影面ＴＳ２の断面を示す図である。図に示すように、特殊投影面ＴＳ２の投影対象領域である曲面領域Ｒ３は、車両領域Ｒ０の外側に形成され、車両領域Ｒ０（自車両９の位置）に近いほど傾き（勾配）が大きく、車両領域Ｒ０から離れるほど傾きが小さい曲面となっている。曲面領域Ｒ３は、車両領域Ｒ０からの距離が相対的に小さく傾きが相対的に大きい領域Ｒ３１と、車両領域Ｒ０からの距離が相対的に大きく傾きが相対的に小さい領域Ｒ３２とを有しているともいえる。領域Ｒ３１と領域Ｒ３２とは連続し、全体として傾きが徐々に小さくなる形状（２次曲線と同様の形状）の曲面領域Ｒ３を形成する。

図１１に示すように、車両領域Ｒ０と曲面領域Ｒ３（投影対象領域）との境界を原点とし、水平方向をｘ軸（車両領域Ｒ０から離れる方向を正）、鉛直方向をｚ軸（上方向を正）とすると、例えば、曲面領域Ｒ３の断面の形状は次の式（１）で表現できる。

ｚ＝ ａ・sqrt（ｘ） …（１）
式（１）において、"sqrt（）"は引数の平方根を返す関数である。また、ａは係数であり、曲面領域Ｒ３の傾きの大小を規定する。すなわち、係数ａが大きいほど、曲面領域Ｒ３の傾きは大きくなる。

図１２は、合成画像ＣＰの生成に特殊投影面ＴＳ２を用いた場合において、自車両９の近傍に存在する物体Ｓｂの像が投影される位置を示す図である。図１２は、図７と同様に、実際の物体Ｓｂが路面から離れている場合を示している。

この場合においても、物体Ｓｂの像は、カメラ５の位置と物体Ｓｂの位置とを結ぶ直線が特殊投影面ＴＳ２と交わる位置に投影される。物体Ｓｂは自車両９の近傍に存在していることから、物体Ｓｂの像は曲面領域Ｒ３における車両領域Ｒ０からの距離が近い領域Ｒ３１に投影される。すなわち、物体Ｓｂの像は、曲面領域Ｒ３において傾きの比較的大きな領域Ｒ３１に投影される。

これにより、図１２に示すように、図７と同様の位置の物体Ｓｂの像は図中の投影位置Ｆ３に投影される。このように特殊投影面ＴＳ２を用いた場合は、物体Ｓｂの像は、通常投影面ＴＳ１を用いた場合に投影される投影位置Ｆ２（図７参照。）よりも、車両領域Ｒ０に近い投影位置Ｆ３に投影される。したがって、路面から離れた物体Ｓｂの場合であっても、特殊投影面ＴＳ２を用いたときには、物体Ｓｂの像が合成画像ＣＰ中の車両像９０の近傍に表れることになる。

図１３は、自車両９の近傍に路面から離れた物体が存在する同じ状況で生成された２つの合成画像ＣＰを示している。図１３の左側は通常投影面ＴＳ１を用いて生成された合成画像ＣＰ１を示しており、図１３の右側は特殊投影面ＴＳ２を用いて生成された合成画像ＣＰ２を示している。これらの合成画像ＣＰ１，ＣＰ２には、同一の物体の像ＳＧが含まれている。

これらの合成画像ＣＰ１，ＣＰ２を比較して分かるように、通常投影面ＴＳ１を用いた合成画像ＣＰ１と比較して、特殊投影面ＴＳ２を用いた合成画像ＣＰ２では、物体の像ＳＧが車両像９０の近傍に表れている。

したがって、合成画像ＣＰ１と比較して、合成画像ＣＰ２における車両像９０と物体の像との間隔を狭くすることができ、ユーザが合成画像ＣＰ２を視認した場合に物体が自車両９から離れているように感じる程度を緩和することができる。その結果、ユーザが自車両９と物体との位置関係を大きく誤解することを防止でき、ユーザは自車両９を安全に運転できることになる。

特殊投影面ＴＳ２の曲面領域Ｒ３に投影された被写体の像は、通常投影面ＴＳ１の平面領域Ｒ１に投影された場合と比較して、車両領域Ｒ０の側に圧縮されることになる。曲面領域Ｒ３において傾きが大きな領域に投影された像ほど、このような圧縮の程度は大きくなる。この圧縮の程度が大きくなると、合成画像ＣＰ中の被写体の像が歪んで違和感を与える可能性がある。

本実施の形態で用いる特殊投影面ＴＳ２の曲面領域Ｒ３は、図１１に示すように、車両領域Ｒ０から離れるほど傾きが小さくなっている。自車両９の近傍の被写体の像は、曲面領域Ｒ３において傾きの比較的大きな領域Ｒ３１に投影されるため、その圧縮の程度は大きくなる。一方で、自車両９から離れた被写体の像は、曲面領域Ｒ３において傾きの比較的小さな領域Ｒ３２に投影されるため、その圧縮の程度は小さくなる。したがって、合成画像ＣＰ中において自車両９から離れた被写体の像はあまり圧縮されないため、大きな違和感なく表現することができる。

また、特殊投影面ＴＳ２の曲面領域Ｒ３の傾きは、自車両９の側面に対向する部分ＰＬ，ＰＲと、自車両９の前面又は後面に対向する部分ＰＦ，ＰＢとで異なっている。図１４の上部は自車両９の左右方向に沿った特殊投影面ＴＳ２の断面を示し、図１４の下部は自車両９の前後方向に沿った特殊投影面ＴＳ２の断面を示している。また、図１４の下部には、比較のため、曲面領域Ｒ３の自車両９の側面に対向する部分ＰＬ，ＰＲの形状を一点鎖線で示している。

図１４に示すように、曲面領域Ｒ３のうち自車両９の前面又は後面に対向する部分ＰＦ，ＰＢは、自車両９の側面に対向する部分ＰＬ，ＰＲと比較して傾きが大きくなっている。この曲面領域Ｒ３の傾きは、上述した式（１）の係数ａによって規定される。また、曲面領域Ｒ３において傾きが異なる部分同士の相互間（例えば、前面に対向する部分ＰＦと、左側面に対向する部分ＰＬとの相互間）では徐々に傾きが変更されている。

図１５は、合成画像ＣＰにおいて、自車両９の近傍の被写体上の点の像が表れる位置を示す図である。図中の位置Ｐ１は通常投影面ＴＳ１を用いた場合の像の位置を示しており、位置Ｐ２は特殊投影面ＴＳ２を用いた場合の像の位置を示している。また、位置Ｐ１と位置Ｐ２とを接続する矢印は、当該位置Ｐ１と位置Ｐ２とが被写体上の同一の点に係るものであることを示している。被写体上のいずれの点の像も、特殊投影面ＴＳ２を用いた場合（位置Ｐ２）は、通常投影面ＴＳ１を用いた場合（位置Ｐ１）と比較して、車両領域Ｒ０（車両像９０）の中心位置Ｐ０の方向に近づいている。

特殊投影面ＴＳ２の曲面領域Ｒ３において傾きが大きな領域に投影された物体の像ほど、圧縮の程度が大きくなるため、車両領域Ｒ０の中心位置Ｐ０に近づくことになる。前述のように、曲面領域Ｒ３の自車両９の前面に対向する部分ＰＦの傾きは、自車両９の左側面に対向する部分ＰＬと比較して大きい。このため、図１５に示すように、特殊投影面ＴＳ２を用いた場合は、自車両９の前方の点の像は、自車両９の側方の点の像と比較して車両領域Ｒ０（車両像９０）の側により大きく近づくことになる。

このように、曲面領域Ｒ３において、自車両９の進行方向となる前面又は後面に対向する部分ＰＦ，ＰＢの傾きを比較的大きくすることで、自車両９が接触する可能性の高い物体の像を車両像９０の側に大きく近づけることができる。その結果、合成画像ＣＰを視認した場合において物体が自車両９から離れているようにユーザが感じる程度を大きく緩和することができ、自車両９が物体と接触することを効果的に防止することができる。

一方で、圧縮の程度が大きくなると、物体の像が歪んで違和感を与える可能性がある。このため、曲面領域Ｒ３において、自車両９の進行方向ではない側面に対向する部分ＰＬ，ＰＲの傾きを比較的小さくすることで、自車両９が接触する可能性の低い物体に関しては、その像の圧縮による違和感を緩和するようにしている。

＜１−６．動作の流れ＞
このように特殊投影面ＴＳ２を用いることで、合成画像ＣＰを視認した場合に物体が自車両９から離れているようにユーザが感じる程度を緩和することができる。その一方で、特殊投影面ＴＳ２を用いた場合は、被写体の像が圧縮されるために、合成画像ＣＰ中の被写体の像が歪んで違和感を与える可能性がある。このため、画像表示システム１０は、自車両９の近傍に物体が存在する可能性が高い拡大合成画像ＣＰＥを表示する場合に特殊投影面ＴＳ２を用いるようにし、全体合成画像ＣＰＦを表示する場合は通常投影面ＴＳ１を用いるようにしている。以下、このような画像表示システム１０の動作の流れについて説明する。

図１６は、画像表示システム１０の動作の流れを示す図である。図１６に示す動作は、ユーザによって動作の開始を指示する操作が操作ボタン４を介してなされた場合に開始される。この動作の開始時点においては、表示モードは、全体合成画像ＣＰＦを表示する通常モードＭ１となっている。また、図１６に示す動作は、ユーザによって動作の停止を指示する操作が操作ボタン４を介してなされるまで、所定の周期（例えば、１／３０秒周期）で繰り返し実行されることになる。

まず、自車両９に設けられた４つのカメラ５のそれぞれが自車両９の周辺を撮影する。そして、画像取得部２１が、４つのカメラ５でそれぞれ得られた４つの撮影画像を取得する（ステップＳ１１）。

次に、画像制御部２０ａが、表示モードが通常モードＭ１と拡大モードＭ２とのいずれであるかを判断する（ステップＳ１２）。

表示モードが通常モードＭ１の場合は（ステップＳ１２にてＮｏ）、画像合成部２２は、画像制御部２０ａの制御により、合成画像ＣＰの生成に用いる投影面ＴＳとして通常投影面ＴＳ１を選択する（ステップＳ１３）。画像合成部２２は、通常投影面ＴＳ１に対応する投影面データ２７ｂを記憶部２７から読み出して、通常投影面ＴＳ１の形状を取得する。

次に、画像合成部２２は、通常投影面ＴＳ１を用いて、仮想視点からみた自車両９の周辺の全体を示す合成画像ＣＰである全体合成画像ＣＰＦを生成する（ステップＳ１４）。画像合成部２２は、通常投影面ＴＳ１の投影対象領域（平面領域Ｒ１及び曲面領域Ｒ２）に４つの撮影画像のデータを投影し、投影された通常投影面ＴＳ１上のデータを用いて全体合成画像ＣＰＦを生成する。

次に、画像調整部２３が、表示装置３で表示するための表示画像ＤＰを生成する（ステップＳ１５）。画像調整部２３は、画像合成部２２が生成した全体合成画像ＣＰＦと、画像取得部２１が取得した撮影画像とを用いて表示画像ＤＰを生成する。画像調整部２３は、画像制御部２０ａの制御により、自車両９の進行方向に応じた撮影画像を選択して表示画像ＤＰの生成に用いる。

次に、画像出力部２４が、画像調整部２３に生成された表示画像ＤＰを表示装置３に出力する（ステップＳ１６）。これにより、全体合成画像ＣＰＦを含む表示画像ＤＰが、表示装置３に表示される。

次に、画像制御部２０ａは、操作受付部２５が受信した操作信号に基づいて、ユーザにより表示モードを変更するためのタッチ操作がなされたか否かを判定する（ステップＳ１７）。

タッチ操作がない場合は（ステップＳ１７にてＮｏ）、画像制御部２０ａは、表示モードを通常モードＭ１に維持する。一方、タッチ操作がなされた場合は（ステップＳ１７にてＹｅｓ）、画像制御部２０ａは、ユーザにタッチされた領域を拡大して示す拡大合成画像ＣＰＥを表示する拡大モードＭ２に表示モードを変更する（ステップＳ１８）。

また、ステップＳ１２において表示モードが拡大モードＭ２の場合は（ステップＳ１２にてＹｅｓ）、画像合成部２２は、画像制御部２０ａの制御により、合成画像ＣＰの生成に用いる投影面ＴＳとして特殊投影面ＴＳ２を選択する（ステップＳ１９）。画像合成部２２は、特殊投影面ＴＳ２に対応する投影面データ２７ｂを記憶部２７から読み出して、特殊投影面ＴＳ２の形状を取得する。

次に、画像合成部２２は、特殊投影面ＴＳ２を用いて、仮想視点からみた自車両９の近傍の一部（ユーザに指定された領域）を拡大して示す合成画像ＣＰである拡大合成画像ＣＰＥを生成する（ステップＳ２０）。画像合成部２２は、特殊投影面ＴＳ２の投影対象領域（曲面領域Ｒ３）に４つの撮影画像のデータを投影し、投影された特殊投影面ＴＳ２上のデータを用いて拡大合成画像ＣＰＥを生成する。

次に、画像調整部２３が、表示装置３で表示するための表示画像ＤＰを生成する（ステップＳ２１）。画像調整部２３は、画像合成部２２が生成した拡大合成画像ＣＰＥと、画像取得部２１が取得した撮影画像とを用いて表示画像ＤＰを生成する。画像調整部２３は、画像制御部２０ａの制御により、自車両９の進行方向に応じた撮影画像を選択して表示画像ＤＰの生成に用いる。

次に、画像出力部２４が、画像調整部２３に生成された表示画像ＤＰを表示装置３に出力する（ステップＳ２２）。これにより、拡大合成画像ＣＰＥを含む表示画像ＤＰが、表示装置３に表示される。

次に、画像制御部２０ａは、操作受付部２５が受信した操作信号に基づいて、ユーザにより表示モードを変更するためのタッチ操作がなされたか否かを判定する（ステップＳ２３）。

タッチ操作がない場合は（ステップＳ２３にてＮｏ）、画像制御部２０ａは、表示モードを拡大モードＭ２に維持する。一方、タッチ操作がなされた場合は（ステップＳ２３にてＹｅｓ）、画像制御部２０ａは、自車両９の周辺の全体を示す全体合成画像ＣＰＦを表示する通常モードＭ１に表示モードを変更する（ステップＳ２４）。

以上のように第１の実施の形態の画像表示システム１０では、画像取得部２１が自車両９の周辺を撮影する複数のカメラ５で得られた複数の撮影画像を取得し、画像合成部２２が自車両９の周辺に相当する仮想の投影面ＴＳに複数の撮影画像のデータを投影し、該投影面ＴＳ上のデータを用いて仮想視点からみた自車両９の周辺を示す合成画像ＣＰを生成する。そして、画像合成部２２は、このような投影面ＴＳの一つとして、上に凸の曲面である曲面領域Ｒ３を有する特殊投影面ＴＳ２を用いる。この曲面領域Ｒ３は、自車両９の位置からの距離が相対的に小さく傾きが相対的に大きい領域Ｒ３１と、自車両９の位置からの距離が相対的に大きく傾きが相対的に小さい領域Ｒ３２とを含んでいる。

したがって、自車両９の近傍に存在する物体の像は特殊投影面ＴＳ２の曲面領域Ｒ３における傾きが大きい領域Ｒ３１に投影される。このため、物体の像を自車両９の位置に近づけることができ、ユーザが合成画像ＣＰを視認した場合に物体が自車両９から離れているように感じる程度を緩和することができる。

また、特殊投影面ＴＳ２の曲面領域Ｒ３のうち、自車両９の前面又は後面に対向する部分ＰＦ，ＰＢは、自車両９の側面に対向する部分ＰＬ，ＰＲと比較して傾きが大きくなっている。このように、曲面領域Ｒ３において、自車両９の進行方向となる前面又は後面に対向する部分ＰＦ，ＰＢの傾きを大きくすることで、自車両９が接触する可能性のある物体が自車両９から離れているようにユーザが感じる程度を大きく緩和することができる。

また、画像合成部２２は、通常投影面ＴＳ１及び特殊投影面ＴＳ２を含む複数の投影面を選択的に用いる。このため、状況に応じて適切な態様の合成画像ＣＰを生成することができる。具体的には、画像合成部２２は、全体合成画像ＣＰＦを生成する場合は通常投影面ＴＳ１を用いる。このため、全体的に違和感の少ない全体合成画像ＣＰＦを生成することができる。一方で、画像合成部２２は、拡大合成画像ＣＰＥを生成する場合は特殊投影面ＴＳ２を用いる。このため、物体の像を拡大する場合に、その物体が自車両９から離れているようにユーザが感じる程度を効果的に緩和することができる。

＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態の画像表示システム１０の構成及び動作は、第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。第１の実施の形態の画像表示システム１０は、ユーザの操作に応答して表示モードを変更するようになっていた。これに対して、第２の実施の形態の画像表示システム１０は、自車両９の周辺に存在する物体を検出する機能を有しており、物体の検出結果に応じて表示モードを変更するようになっている。

図１７は、第２の実施の形態の画像表示システム１０の構成を示す図である。第２の実施の形態の画像表示システム１０は、図１に示す第１の実施の形態の構成に加えて物体検出装置７をさらに備えている。物体検出装置７は、自車両９の周辺に存在する物体を検出する。物体検出装置７が物体を検出した結果を示す結果信号は、画像生成装置２に入力される。画像生成装置２の信号受信部２６は、この結果信号を受信して制御部２０に入力する。

図１８は、物体検出装置７の構成を主に示す図である。図に示すように、物体検出装置７は、装置全体を統括するソナー制御部７０と、複数のクリアランスソナー７２と、車室内に警告音を発するブザー７１とを備えている。

クリアランスソナー７２は、超音波を発信し、その超音波が物体で反射した反射波を受信することで、自車両９の周辺に存在する物体を検出する。また、クリアランスソナー７２は、超音波を発信してから戻ってくるまでの時間に基づいて物体の距離を検出可能である。各クリアランスソナー７２の検出結果は、ソナー制御部７０に入力される。ソナー制御部７０は、ブザー７１を制御して、物体までの距離に応じた警告音をブザー７１から出力させる。これにより、ユーザは自車両９の周辺に物体が存在することを把握できる。

図１９は、複数のクリアランスソナー７２が自車両９に配置される位置を示す図である。複数のクリアランスソナー７２は、自車両９の前方の左右端部、及び、自車両９の後方の左右端部にそれぞれ設けられている。

各クリアランスソナー７２は、自車両９の周辺の一部の周辺領域Ａ１１〜Ａ１４に向けて超音波を発信する。具体的には、自車両９の前方の左端部に設けられるクリアランスソナー７２は、自車両９の前方左側に設定される周辺領域Ａ１１に向けて超音波を発信する。また、自車両９の前方の右端部に設けられるクリアランスソナー７２は、自車両９の前方右側に設定される周辺領域Ａ１２に向けて超音波を発信する。また、自車両９の後方の左端部に設けられるクリアランスソナー７２は、自車両９の後方左側に設定される周辺領域Ａ１３に向けて超音波を発信する。さらに、自車両９の後方の右端部に設けられるクリアランスソナー７２は、自車両９の後方右側に設定される周辺領域Ａ１４に向けて超音波を発信する。

これら４つの周辺領域Ａ１１〜Ａ１４は、自車両９に対して相対的に固定されて予め設定される。このようなクリアランスソナー７２の配置により、物体検出装置７は、４つの周辺領域Ａ１１〜Ａ１４のいずれかに存在する物体を検出できる。物体検出装置７は、物体を検出したクリアランスソナー７２の位置に基づいて、検出した物体の位置が４つの周辺領域Ａ１１〜Ａ１４のいずれであるかを把握できる。さらに、物体検出装置７は、検出した物体の距離を把握できる。

物体検出装置７の検出結果を示す結果信号は、このような物体の位置及び物体の距離を含む。ソナー制御部７０は、この結果信号を画像生成装置２に出力する。これにより、画像生成装置２の画像制御部２０ａは、物体検出装置７の検出結果を利用することができる。

画像制御部２０ａは、物体検出装置７が物体を検出していない場合は表示モードを通常モードＭ１とする。一方で、画像制御部２０ａは、物体検出装置７が物体を検出した場合は、当該物体をユーザが詳細に確認しやすくするために、表示モードを拡大モードＭ２にする。拡大モードＭ２では、物体検出装置７が検出した物体の位置に応じた領域を拡大して示す拡大合成画像ＣＰＥが表示される。例えば、物体検出装置７が物体の位置が、自車両９の前方左側の周辺領域Ａ１１である場合は、拡大モードＭ２では自車両９の近傍の前方左側を拡大して示す拡大合成画像ＣＰＥが表示される。

図２０は、第２の実施の形態の画像表示システム１０の動作の流れを示す図である。図２０に示す動作は、図１６に示す第１の実施の形態の動作とは表示モードを変更する条件が相違しているが、他の動作についてはほぼ同様である。

まず、４つのカメラ５のそれぞれが自車両９の周辺を撮影し、画像取得部２１が４つの撮影画像を取得する（ステップＳ３１）。次に、画像制御部２０ａが、表示モードが通常モードＭ１と拡大モードＭ２とのいずれであるかを判断する（ステップＳ３２）。

表示モードが通常モードＭ１の場合は（ステップＳ３２にてＮｏ）、画像合成部２２が、合成画像ＣＰの生成に用いる投影面ＴＳとして通常投影面ＴＳ１を選択し（ステップＳ３３）、通常投影面ＴＳ１を用いて全体合成画像ＣＰＦを生成する（ステップＳ３４）。次に、画像調整部２３が全体合成画像ＣＰＦを含む表示画像ＤＰを生成し（ステップＳ３５）、画像出力部２４が表示画像ＤＰを表示装置３に出力する（ステップＳ３６）。これにより、全体合成画像ＣＰＦを含む表示画像ＤＰが表示装置３に表示される。

次に、画像制御部２０ａは、信号受信部２６が物体検出装置７から受信する結果信号に基づいて、物体検出装置７による物体の検出結果を取得する（ステップＳ３７）。そして、画像制御部２０ａは、検出結果に基づいて、物体検出装置７が自車両９の周辺に存在する物体を検出したか否かを判定する（ステップＳ３８）。

画像制御部２０ａは、物体検出装置７が物体を非検出のときは（ステップＳ３８にてＮｏ）、表示モードを通常モードＭ１に維持する。一方で、物体検出装置７が物体を検出したときは（ステップＳ３８にてＹｅｓ）、拡大合成画像ＣＰＥを表示する拡大モードＭ２に表示モードを変更する（ステップＳ３９）。

また、ステップＳ３２において表示モードが拡大モードＭ２の場合は（ステップＳ３２にてＹｅｓ）、画像合成部２２が、合成画像ＣＰの生成に用いる投影面ＴＳとして特殊投影面ＴＳ２を選択し（ステップＳ４０）、特殊投影面ＴＳ２を用いて、物体が検出された周辺領域を拡大して示す拡大合成画像ＣＰＥを生成する（ステップＳ４１）。次に、画像調整部２３が拡大合成画像ＣＰＥを含む表示画像ＤＰを生成し（ステップＳ４２）、画像出力部２４が表示画像ＤＰを表示装置３に出力する（ステップＳ４３）。これにより、拡大合成画像ＣＰＥを含む表示画像ＤＰが表示装置３に表示される。

次に、画像制御部２０ａは、信号受信部２６が物体検出装置７から受信する結果信号に基づいて、物体検出装置７による物体の検出結果を取得する（ステップＳ４４）。そして、画像制御部２０ａは、検出結果に基づいて、物体検出装置７が物体を検出している状態を維持しているか否かを判定する（ステップＳ４５）。

画像制御部２０ａは、物体検出装置７が物体を検出しているときは（ステップＳ４５にてＹｅｓ）、表示モードを拡大モードＭ２に維持する。一方で、物体検出装置７が物体を検出しなくなったときは（ステップＳ４５にてＮｏ）、全体合成画像ＣＰＦを表示する通常モードＭ１に表示モードを変更する（ステップＳ４６）。

以上のように、第２の実施の形態の画像表示システム１０では、自車両９の近傍に存在する物体を検出する物体検出装置７が物体を非検出のときは表示モードが通常モードＭ１とされ、物体検出装置７が物体を検出したときは表示モードが拡大モードＭ２とされる。したがって、画像合成部２２は、物体検出装置７が物体を非検出のときは通常投影面ＴＳ１を用いて合成画像ＣＰを生成し、物体検出装置７が物体を検出したときは特殊投影面ＴＳ２を用いて合成画像ＣＰを生成することになる。

このように、物体検出装置７が物体を検出したときに特殊投影面ＴＳ２を用いて合成画像ＣＰを生成することで、ユーザが合成画像ＣＰを視認した場合に、当該物体が自車両９から離れているように感じる程度を緩和することができる。また、物体検出装置７が物体を非検出のときは、自車両９と物体との接触の危険性は低いことから、通常投影面ＴＳ１を用いて合成画像ＣＰを生成することで、全体的に違和感の少ない合成画像ＣＰを生成することができる。

なお、本実施の形態では、物体検出装置７が物体を検出した場合は、画像合成部２２が拡大合成画像ＣＰＥを生成しているが、特殊投影面ＴＳ２を用いて全体合成画像ＣＰＦを生成してもよい。この場合であっても、ユーザが全体合成画像ＣＰＦを視認した場合に、物体が自車両９から離れているように感じる程度を緩和することができる。

＜３．第３の実施の形態＞
次に、第３の実施の形態について説明する。第３の実施の形態の画像表示システム１０の構成及び動作は、第２の実施の形態とほぼ同様であるため、以下、第２の実施の形態との相違点を中心に説明する。第３の実施の形態の画像表示システム１０は、自車両９の周辺に存在する物体を検出した場合に、その物体の高さに応じて特殊投影面ＴＳ２の投影対象領域である曲面領域Ｒ３の傾きを変更するようになっている。

図２１は、特殊投影面ＴＳ２を用いた場合において、自車両９の近傍に存在する２つの物体Ｓｂ１，Ｓｂ２の像が投影される位置を示す図である。図２１に示す２つの物体Ｓｂ１，Ｓｂ２は、自車両９からの距離は同一であるが、路面からの高さが異なっている。相対的に低い位置にある物体Ｓｂ１の像は図中の投影位置Ｆ４に投影され、相対的に高い位置にある物体Ｓｂ２の像は図中の投影位置Ｆ５に投影される。

このように、２つの物体Ｓｂ１，Ｓｂ２に関して自車両９からの距離は同一であっても高さが異なる場合は、それら物体Ｓｂ１，Ｓｂ２の像は、特殊投影面ＴＳ２の曲面領域Ｒ３の異なる位置に投影される。そして、物体の路面からの高さが高いほど、物体の像は車両領域Ｒ０から離れた位置に投影される。したがって、物体の高さが高いほど、ユーザが合成画像ＣＰを視認した場合にその物体が自車両９から離れているように感じることになる。

これに対応するため、第３の実施の形態の画像表示システム１０は、図２２に示すように、特殊投影面ＴＳ２の投影対象領域である曲面領域Ｒ３の傾きを変更する。画像表示システム１０の画像合成部２２は、検出された物体の高さに応じて曲面領域Ｒ３の傾きを変更する。具体的には、画像合成部２２は、物体の高さが高いほど曲面領域Ｒ３の傾きを大きくし、物体の高さが低いほど曲面領域Ｒ３の傾きを小さくする。曲面領域Ｒ３の傾きが大きいほど、その曲面領域Ｒ３に投影される物体の像は、車両領域Ｒ０の側に近づくことになる。したがって、このように物体の高さに応じて曲面領域Ｒ３の傾きを変更することで、合成画像ＣＰを視認した場合に物体が自車両９から離れているようにユーザが感じる程度を、物体の高さに応じて適切に緩和できることになる。

図２３は、第３の実施の形態の画像表示システム１０の構成を示す図である。第３の実施の形態の画像表示システム１０は、図１７に示す第２の実施の形態の構成に加えて、物体検出装置７が検出した物体の高さを導出する高さ導出部２０ｂをさらに備えている。高さ導出部２０ｂは、プログラム２７ａに従って制御部２０のＣＰＵが演算処理を行うことで実現される機能部の一部である。

高さ導出部２０ｂは、物体検出装置７が物体を検出した場合に、当該物体を撮影するカメラ５の撮影画像を用いて物体の高さを導出する。高さ導出部２０ｂは、例えば、同一のカメラ５によって取得された時間的に連続する複数の撮影画像それぞれに含まれる同一の物体の像の位置に基づき、ステレオカメラの原理によって物体の高さを導出することができる。なお、高さ導出部２０ｂは、２つのカメラ５によって同時期に取得された２つの撮影画像それぞれに含まれる同一の物体の像の位置に基づき、ステレオカメラの原理によって物体の高さを導出してもよい。また、高さ導出部２０ｂは、物体検出装置７が検出した物体までの距離と、撮影画像に含まれる物体の像の位置とに基づいて、物体の高さを導出してもよい。

図２４は、第３の実施の形態の画像表示システム１０の動作の流れを示す図である。図２４に示す動作は、図２０に示す第２の実施の形態の動作におけるステップＳ４０とステップＳ４１との間に、ステップＳ４０ａ及びステップＳ４０ｂを加えたものとなっている。したがって、表示モードが通常モードＭ１の場合（ステップＳ３２にてＮｏ）の動作は第２の実施の形態と同一であるため、以降、表示モードが拡大モードＭ２の場合（ステップＳ３２にてＹｅｓ）の動作について説明する。この表示モードが拡大モードＭ２の場合とは、物体検出装置７が物体を検出した場合（ステップＳ３８にてＹｅｓ）である。

ステップＳ３２にて表示モードが拡大モードＭ２の場合は、まず、画像合成部２２が、合成画像ＣＰの生成に用いる投影面ＴＳとして特殊投影面ＴＳ２を選択する（ステップＳ４０）。

次に、高さ導出部２０ｂが、物体検出装置７に検出された物体の高さを導出する（ステップＳ４０ａ）。高さ導出部２０ｂは、物体検出装置７に検出された物体を撮影するカメラ５の撮影画像を取得し、撮影画像中に含まれる当該物体の像の位置に基いて物体の高さを導出する。

次に、画像合成部２２は、画像制御部２０ａの制御により、導出された物体の高さに応じて特殊投影面ＴＳ２の曲面領域Ｒ３の傾きを変更する（ステップＳ４０ｂ）。画像合成部２２は、物体の高さが高いほど曲面領域Ｒ３の傾きを大きくし、物体の高さが低いほど曲面領域Ｒ３の傾きを小さくする。この曲面領域Ｒ３の傾きは、上述した式（１）の係数ａを変更することで変更することができる。

次に、画像合成部２２が、物体の高さに応じて傾きを変更した曲面領域Ｒ３を含む特殊投影面ＴＳ２を用いて拡大合成画像ＣＰＥを生成する（ステップＳ４１）。次に、画像調整部２３が拡大合成画像ＣＰＥを含む表示画像ＤＰを生成し（ステップＳ４２）、画像出力部２４が表示画像ＤＰを表示装置３に出力する（ステップＳ４３）。これにより、拡大合成画像ＣＰＥを含む表示画像ＤＰが表示装置３に表示される。以降の処理は、第２の実施の形態と同一である。

以上のように、第３の実施の形態の画像表示システム１０では、画像合成部２２が、自車両９の近傍に存在する物体の高さに応じて、特殊投影面ＴＳ２の曲面領域Ｒ３の傾きを変更する。このため、合成画像ＣＰを視認した場合に物体が自車両９から離れているようにユーザが感じる程度を、物体の高さに応じて適切に緩和することができる。

なお、図２１では路面から離れた物体を例に説明を行ったが、第３の実施の形態の画像表示システム１０が対象とする物体は、路面に接した物体であってもよい。すなわち、画像合成部２２は、路面に接した物体の高さに応じて特殊投影面ＴＳ２の曲面領域Ｒ３の傾きを変更してよい。路面に接した物体であっても、物体の高さが高いほど、その像は車両領域Ｒ０から離れた位置に投影される。このため、物体の高さに応じて特殊投影面ＴＳ２の曲面領域Ｒ３の傾きを変更することで、高さのある物体の像を適切に合成画像ＣＰ中に含ませることができる。

＜４．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。

上記で説明した特殊投影面ＴＳ２の投影対象領域は、車両領域Ｒ０の周囲の全体が上に凸の曲面である曲面領域Ｒ３であった。これに対して、特殊投影面の投影対象領域は、車両領域Ｒ０の周囲の一部のみが上に凸の曲面となっており、他の領域は通常投影面と同様の形状となってもよい。例えば、特殊投影面の投影対象領域のうち、ユーザが指定した領域や物体が検出された領域のみが、上に凸の曲面となっていてもよい。

また、上記で説明した特殊投影面ＴＳ２の投影対象領域は、車両領域Ｒ０から離れる方向に、全体として傾きが徐々に小さくなる形状の曲面領域Ｒ３であった。これに対して、特殊投影面の投影対象領域は、車両領域Ｒ０から離れる方向に、傾きの異なる複数の平面領域を組み合わせた構成としてもよく、曲面領域と平面領域とを組み合わせた構成としてもよい。いずれの場合であっても、特殊投影面の投影対象領域は、車両領域Ｒ０からの距離が相対的に小さく傾きが相対的に大きい領域と、車両領域Ｒ０からの距離が相対的に大きく傾きが相対的に小さい領域とを有していればよい。ただし、物体の像をスムーズに表現できる点で、投影対象領域は曲面であることが望ましい。投影対象領域に平面領域を用いる場合は、車両領域Ｒ０からの距離が相対的に大きい領域については、水平方向に沿った水平面としてもよい。

また、上記で説明した通常投影面ＴＳ１の投影対象領域は、車両領域Ｒ０に隣接する水平面の平面領域Ｒ１と、車両領域Ｒ０から離れた曲面領域Ｒ２とを組み合わせたものであった。これに対して、通常投影面の投影対象領域のうち車両領域Ｒ０に隣接する領域は、完全に水平方向に沿った水平面でなくてもよく、略水平面であれば僅かな傾きを有した平面あるいは曲面であってもよい。また、通常投影面は全体が水平面であってもよい。いずれの場合であっても、通常投影面の投影対象領域は、車両領域Ｒ０（自車両９の位置）に連続する略水平面の領域を有していればよい。

また、画像表示システム１０は、通常投影面ＴＳ１及び特殊投影面ＴＳ２以外の投影面ＴＳを状況に応じて合成画像の生成に用いてもよい。

また、上記実施の形態の画像表示システム１０は、自車両９の直上の仮想視点からみた合成画像（俯瞰画像）を生成するものであったが、他の位置の仮想視点からみた合成画像を生成するものであってもよい。

また、上記第２及び第３の実施の形態の画像表示システム１０は、クリアランスソナー７２を用いて自車両９の周辺に存在する物体を検出していた。これに対して、例えば、レーダー装置による物体検出や、撮影画像に基づく物体認識などの他の手法によって、自車両９の周辺に存在する物体を検出してもよい。

また、画像表示システム１０は、上記で説明した自車両９の周辺を示す表示画像を表示する機能以外に、目的地までのルート案内を行うナビゲーション機能などの他の機能を有していてもよい。画像表示システム１０がナビゲーション機能を備える場合は、通常はナビゲーション機能が有効化され、ユーザによって所定の操作がなされた場合に、上記の表示画像を表示する機能を有効化すればよい。ナビゲーション機能は、画像生成装置２が有していてもよく表示装置３が有していてもよい。

また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能部が実現されると説明したが、これら機能部のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。

１０ 画像表示システム
２ 画像生成装置
２１ 画像取得部
２２ 画像合成部
３ 表示装置
７ 物体検出装置
９ 自車両
９０ 車両像
ＴＳ１ 通常投影面
ＴＳ２ 特殊投影面

Claims (9)

1. 車両において用いられる画像生成装置であって、
   前記車両の周辺を撮影する複数のカメラで得られた複数の撮影画像を取得する取得手段と、
   前記車両の周辺に相当する仮想の投影面に前記複数の撮影画像のデータを投影し、該投影面上の前記データを用いて仮想視点からみた前記車両の周辺を示す合成画像を生成する生成手段と、
   を備え、
   前記生成手段が用いる前記投影面は、
   前記車両の位置からの距離が相対的に小さく、傾きが相対的に大きい領域と、
   前記車両の位置からの距離が相対的に大きく、傾きが相対的に小さい領域とを有する第１投影面を含むことを特徴とする画像生成装置。
2. 請求項１に記載の画像生成装置において、
   前記第１投影面は、上に凸の曲面を有することを特徴とする画像生成装置。
3. 請求項１または２に記載の画像生成装置において、
   前記第１投影面のうち前記車両の前面又は後面に対向する部分は、前記車両の側面に対向する部分と比較して前記傾きが大きいことを特徴とする画像生成装置。
4. 請求項１ないし３のいずれかに記載の画像生成装置において、
   前記生成手段は、前記第１投影面、及び、前記第１投影面とは形状の異なる第２投影面を含む複数の投影面を選択的に用い、
   前記第２投影面は、前記車両の位置に連続する略水平面の領域を有することを特徴とする画像生成装置。
5. 請求項４に記載の画像生成装置において、
   前記生成手段は、
   前記合成画像として、前記車両の周辺の全体を示す全体合成画像と、前記車両の近傍の一部を拡大して示す拡大合成画像とを生成可能であり、
   前記全体合成画像を生成する場合は前記第２投影面を用い、
   前記拡大合成画像を生成する場合は前記第１投影面を用いることを特徴とする画像生成装置。
6. 請求項４または５に記載の画像生成装置において、
   前記生成手段は、
   前記車両の近傍に存在する物体を検出する検出手段が前記物体を非検出のときは前記第２投影面を用い、
   前記検出手段が前記物体を検出したときは前記第１投影面を用いることを特徴とする画像生成装置。
7. 請求項１ないし３のいずれかに記載の画像生成装置において、
   前記生成手段は、前記車両の近傍に存在する物体を検出する検出手段が検出した前記物体の高さに応じて、前記第１投影面の前記傾きを変更することを特徴とする画像生成装置。
8. 車両において用いられる画像表示システムであって、
   請求項１ないし７のいずれかに記載の画像生成装置と、
   前記画像生成装置から出力される前記合成画像を表示する表示装置と、
   を備えることを特徴とする画像表示システム。
9. 車両において用いられる画像生成方法であって、
   （ａ）前記車両の周辺を撮影する複数のカメラで得られた複数の撮影画像を取得する工程と、
   （ｂ）前記車両の周辺に相当する仮想の投影面に前記複数の撮影画像のデータを投影し、該投影面上の前記データを用いて仮想視点からみた前記車両の周辺を示す合成画像を生成する工程と、
   を備え、
   前記工程（ｂ）で用いる前記投影面は、
   前記車両からの距離が相対的に小さく、傾きが相対的に大きい領域と、
   前記車両からの距離が相対的に大きく、傾きが相対的に小さい領域とを有することを特徴とする画像生成方法。

Images