JP2015061212A - 画像生成装置、画像表示システム及び画像生成方法 - Google Patents

Abstract

【課題】仮想視点画像に含まれる車両の周辺の被写体の像の視認性を向上する。【解決手段】画像生成部が、複数の撮影画像及び車両９の車体データを用いて、車両９の車室内にある仮想視点ＶＰからみた車両９の周辺と車両９の車体とを示す仮想視点画像を連続的に生成する。画像制御部が、仮想視点ＶＰの視線が車両９の周囲を周回するように仮想視点ＶＰの視線の平面視での角度を変更するとともに、車両９の前後方向に仮想視点の位置を移動する。このため、仮想視点画像に含まれる車両像が示す車体の部分を少なくすることができる。また、仮想視点ＶＰの位置から車両９の周辺の被写体までの距離が短いため、確認すべき被写体の像を大きくすることができる。その結果、仮想視点画像に含まれる車両９の周辺の被写体の像の視認性を向上できる。【選択図】図８

Description

本発明は、車両の周辺を示す画像を生成する技術に関する。

従来より、自動車などの車両の周辺を示す画像を生成し、この画像を車両内の表示装置に表示する画像表示システムが知られている。このような画像表示システムを利用することにより、ユーザ（代表的にはドライバ）は、車両の周辺の様子をほぼリアルタイムに確認することができる。

また、近年では、複数のカメラで得られた複数の撮影画像を用いて仮想視点からみた車両の周辺を示す仮想視点画像を生成し、その仮想視点画像を表示する画像表示システムも知られている。このような仮想視点画像として、例えば、車両のドライバの視点からみた車両の周辺を示す車内視点画像が提案されている。

車内視点画像を生成する場合は、仮想視点の位置はドライバの視点に相当する位置に固定される。ユーザは、このような車内視点画像を確認することにより、車両の周囲の様子を自分と同様の視点から確認でき、車両の周辺の様子を直感的に把握できる。

また、仮想視点の視線の向きを変更しながら車内視点画像を連続的に生成し、車両の周囲を周回するようにドライバの視点からみた車両の周辺の様子を示す画像表示システムも提案されている（例えば、特許文献１参照。）。

特開２０１１−６６７６３号公報

上記のような車内視点画像においては、当該車内視点画像が車両の周囲のいずれの方向を示しているかをユーザが直感的に把握できるように、車両の周辺の被写体の像に対して車両の車体を示す車両像が重畳される。

上記のように車内視点画像の仮想視点の位置は、ドライバの視点に相当する位置に固定される。このため、仮想視点の視線を向ける方向によっては、車内視点画像に含まれる車両像が、車体における必要以上に多くの部分を示す場合がある。一般に車両は前後方向に長いため、仮想視点の視線を車両の後方に向ける場合においては、車両像は車体における前席の位置から後端までの部分を示すことになる。このように車内視点画像に含まれる車両像が車体の多くの部分を示すと、車両像がかえって車両の周辺の被写体の像の視認性を妨げる可能性がある。

本発明は、上記課題に鑑みてなされたものであり、仮想視点画像に含まれる車両の周辺の被写体の像の視認性を向上できる技術を提供することを目的とする。

上記課題を解決するため、請求項１の発明は、車両において用いられる画像生成装置であって、複数のカメラで得られた複数の撮影画像を取得する取得手段と、前記複数の撮影画像の少なくとも１つ及び前記車両の車体データを用いて、前記車両の車室内にある仮想視点からみた前記車両の周辺と前記車両の車体とを示す仮想視点画像を連続的に生成する生成手段と、前記仮想視点の視線が前記車両の周囲を周回するように前記仮想視点の視線の平面視での角度を変更するとともに、前記車両の前後方向に前記仮想視点の位置を移動する制御手段と、を備えている。

また、請求項２の発明は、請求項１に記載の画像生成装置において、前記制御手段は、前記仮想視点の視線を向ける方向に応じて前記仮想視点の位置を移動する。

また、請求項３の発明は、請求項１または２に記載の画像生成装置において、前記制御手段は、前記車両の車室の周縁に沿って前記車両の前後方向及び左右方向に前記仮想視点の位置を移動する。

また、請求項４の発明は、請求項１ないし３のいずれかに記載の画像生成装置において、前記制御手段は、前記仮想視点の視線の前記平面視での角度の変更中は、前記仮想視点の位置を維持し、前記仮想視点の位置の移動中は、前記仮想視点の視線の前記平面視での角度を維持する。

また、請求項５の発明は、請求項１ないし３のいずれかに記載の画像生成装置において、前記制御手段は、前記仮想視点の視線の前記平面視での角度と、前記仮想視点の位置とを並行して変更する。

また、請求項６の発明は、請求項１または２に記載の画像生成装置において、前記制御手段は、前記仮想視点の位置を、長軸が前記車両の前後方向に沿う略楕円状に移動する。

また、請求項７の発明は、請求項１ないし６のいずれかに記載の画像生成装置において、前記生成手段は、前記複数の撮影画像のデータを仮想の投影面に投影し、前記投影面の一部の領域を用いて前記仮想視点画像を生成し、前記複数のカメラの少なくとも１つは、光軸の俯角が他のカメラと異なり、前記制御手段は、前記仮想視点の視線の俯角を調整し、前記投影面において前記データが投影される投影領域の外側となる非投影領域を前記仮想視点画像が含まないようにする。

また、請求項８の発明は、請求項７に記載の画像生成装置において、前記制御手段は、前記投影面において前記投影領域が最小となる方向に前記仮想視点の視線を向けた場合に前記非投影領域を前記仮想視点画像が含まない特定角度に、前記仮想視点の視線の俯角を維持する。

また、請求項９の発明は、請求項７に記載の画像生成装置において、前記制御手段は、前記投影面における前記仮想視点の視線を向ける方向の前記投影領域のサイズに応じて、前記仮想視点の視線の俯角を変更する。

また、請求項１０の発明は、請求項７に記載の画像生成装置において、前記制御手段は、前記仮想視点の位置が特定位置以外の場合は、前記投影面において前記投影領域が最小となる方向に前記仮想視点の視線を向けた場合に前記非投影領域を前記仮想視点画像が含まない特定角度に、前記仮想視点の視線の俯角を維持し、前記仮想視点の位置が前記特定位置の場合は、前記仮想視点の視線の俯角を前記特定角度よりも小さくする。

また、請求項１１の発明は、車両において用いられる画像生成装置であって、複数のカメラで得られた複数の撮影画像を取得する取得手段と、前記複数の撮影画像のデータを仮想の投影面に投影し、前記投影面の一部の領域を用いて、前記車両の車室内にある仮想視点からみた前記車両の周辺を示す仮想視点画像を連続的に生成する生成手段と、前記仮想視点の視線が前記車両の周囲を周回するように前記仮想視点の視線の平面視での角度を変更する制御手段と、を備え、前記複数のカメラの少なくとも１つは、光軸の俯角が他のカメラと異なり、前記制御手段は、前記仮想視点の視線の俯角を調整し、前記投影面において前記データが投影される投影領域の外側となる非投影領域を前記仮想視点画像が含まないようにする。

また、請求項１２の発明は、車両において用いられる画像表示システムであって、請求項１ないし１１のいずれかに記載の画像生成装置と、前記画像生成装置で生成された仮想視点画像を表示する表示装置と、を備えている。

また、請求項１３の発明は、車両において用いられる画像生成方法であって、（ａ）複数のカメラで得られた複数の撮影画像を取得する工程と、（ｂ）前記複数の撮影画像の少なくとも１つ及び前記車両の車体データを用いて、前記車両の車室内にある仮想視点からみた前記車両の周辺と前記車両の車体とを示す仮想視点画像を連続的に生成する工程と、（ｃ）前記仮想視点の視線が前記車両の周囲を周回するように前記仮想視点の視線の平面視での角度を変更するとともに、前記車両の前後方向に前記仮想視点の位置を移動する工程と、を備えている。

また、請求項１４の発明は、車両において用いられる画像生成方法であって、（ａ）複数のカメラで得られた複数の撮影画像を取得する工程と、（ｂ）前記複数の撮影画像のデータを仮想の投影面に投影し、前記投影面の一部の領域を用いて、前記車両の車室内にある仮想視点からみた前記車両の周辺を示す仮想視点画像を連続的に生成する工程と、（ｃ）前記仮想視点の視線が前記車両の周囲を周回するように前記仮想視点の視線の平面視での角度を変更する工程と、を備え、前記複数のカメラの少なくとも１つは、光軸の俯角が他のカメラと異なり、前記工程（ｃ）は、前記仮想視点の視線の俯角を調整し、前記投影面において前記データが投影される投影領域の外側となる非投影領域を前記仮想視点画像が含まないようにする。

請求項１ないし１０、１２及び１３の発明によれば、車両の前後方向に仮想視点の位置を移動するため、仮想視点画像が示す車体の部分を少なくでき、車内視点画像に含まれる車両の周辺の被写体の像の視認性を向上できる。

また、特に請求項２の発明によれば、仮想視点の視線を向ける方向に応じて仮想視点の位置を移動するため、仮想視点画像が示す車体の部分を少なくできる。

また、特に請求項３の発明によれば、車両の車室の周縁に沿って仮想視点の位置を移動させるため、仮想視点画像が示す車体の部分を少なくできる。

また、特に請求項４の発明によれば、仮想視点の視線の動きをシンプルにでき、仮想視点画像が車両の周辺を分かりやすく示すことができる。

また、特に請求項５の発明によれば、仮想視点の視線の平面視での角度と仮想視点の位置とを並行して変更するため、仮想視点の視線が車両の周囲を周回する時間を短くできる。

また、特に請求項６の発明によれば、長軸が車両の前後方向に沿う略楕円状に仮想視点の位置を移動することにより、仮想視点画像に示される車体の部分を少なくしつつ、仮想視点の位置の移動すべき距離を短くできる。

また、特に請求項７の発明によれば、投影面における非投影領域を仮想視点画像が含まないため、仮想視点画像を視認したユーザが違和感を感じることを防止できる。

また、特に請求項８の発明によれば、仮想視点の視線の俯角を維持するため、仮想視点の視線の動きをシンプルにでき、仮想視点画像が車両の周辺を分かりやすく示すことができる。

また、特に請求項９の発明によれば、投影領域のサイズに応じて仮想視点の視線の俯角を変更するため、仮想視点画像が車両から離れた比較的遠方の被写体を示すことができる。

また、特に請求項１０の発明によれば、仮想視点の視線の動きをシンプルにしつつ、車両の特定方向に関しては仮想視点画像が車両から離れた比較的遠方の被写体を示すことができる。

また、請求項１１及び１４の発明によれば、投影面における非投影領域を仮想視点画像が含まないため、仮想視点画像を視認したユーザが違和感を感じることを防止できる。

図１は、第１の実施の形態の画像表示システムの構成を示す図である。 図２は、４つのカメラ５がそれぞれ撮影する方向を示す図である。 図３は、４つのカメラ５それぞれの光軸の俯角を示す図である。 図４は、仮想視点画像を生成する手法を説明する図である。 図５は、画像表示システムの動作モードの遷移を示す図である。 図６は、俯瞰画像を含む表示画像の例を示す図である。 図７は、車内視点画像を含む表示画像の例を示す図である。 図８は、第１の実施の形態の仮想視点の遷移を示す図である。 図９は、車内視点画像の例を示す図である。 図１０は、車内視点画像の例を示す図である。 図１１は、車内視点画像の例を示す図である。 図１２は、車内視点画像の例を示す図である。 図１３は、比較例における仮想視点の遷移を示す図である。 図１４は、比較例で生成される車内視点画像の例を示す図である。 図１５は、比較例で生成される車内視点画像の例を示す図である。 図１６は、仮想視点画像の生成に用いられる投影面を示す図である。 図１７は、第１の実施の形態の仮想視点の視線の俯角を示す図である。 図１８は、第１の実施の形態の車内視点画像の生成に用いる使用領域を示す図である。 図１９は、画像表示システムの動作の流れを示す図である。 図２０は、第２の実施の形態の仮想視点の遷移を示す図である。 図２１は、第３の実施の形態の仮想視点の遷移を示す図である。 図２２は、第４の実施の形態の仮想視点の遷移を示す図である。 図２３は、第５の実施の形態の仮想視点の視線の俯角を示す図である。 図２４は、車内視点画像の例を示す図である。 図２５は、車内視点画像の例を示す図である。 図２６は、第５の実施の形態の車内視点画像の生成に用いる使用領域を示す図である。 図２７は、第６の実施の形態の仮想視点の視線の俯角を示す図である。

以下、図面を参照しつつ本発明の実施の形態について説明する。

＜１．第１の実施の形態＞
＜１−１．構成＞
図１は、第１の実施の形態の画像表示システム１０の構成を示す図である。この画像表示システム１０は、車両（本実施の形態では、自動車）において用いられるものであり、車両の周辺の領域を示す画像を生成して車室内に表示する機能を有している。画像表示システム１０のユーザ（代表的にはドライバ）は、この画像表示システム１０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握できる。

図に示すように、画像表示システム１０は、複数のカメラ５、画像生成装置２、表示装置３、及び、操作ボタン４を備えている。複数のカメラ５はそれぞれ、車両の周辺を撮影して撮影画像を取得し、取得した撮影画像を画像生成装置２に入力する。画像生成装置２は、車両の周辺を示す撮影画像を用いて、表示装置３に表示するための表示画像を生成する。表示装置３は、画像生成装置２で生成された表示画像を表示する。また、操作ボタン４は、ユーザの操作を受け付ける。

複数のカメラ５はそれぞれ、レンズと撮像素子とを備えており、車両の周辺を示す撮影画像を電子的に取得する。複数のカメラ５は、フロントカメラ５Ｆ、リアカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒを含んでいる。これら４つのカメラ５は、車両９において互いに異なる位置に配置され、車両９の周辺の異なる方向を撮影する。

図２は、４つのカメラ５がそれぞれ撮影する方向を示す図である。フロントカメラ５Ｆは、車両９の前端に設けられ、その光軸５Ｆａは車両９の前後方向に沿って前方に向けられる。リアカメラ５Ｂは、車両９の後端に設けられ、その光軸５Ｂａは車両９の前後方向に沿って後方に向けられる。左サイドカメラ５Ｌは、左側の左サイドミラー９３Ｌに設けられ、その光軸５Ｌａは車両９の左右方向に沿って左方に向けられる。また、右サイドカメラ５Ｒは、右側の右サイドミラー９３Ｒに設けられ、その光軸５Ｒａは車両９の左右方向に沿って右方に向けられる。

これらのカメラ５のレンズには魚眼レンズなどの広角レンズが採用され、各カメラ５は１８０度以上の画角θを有している。このため、４つのカメラ５を利用することで、車両９の全周囲を撮影することが可能である。

また、フロントカメラ５Ｆと、リアカメラ５Ｂと、サイドカメラ５Ｌ，５Ｒとにおいては、その光軸の俯角（水平方向を基準とした下向きの角度）が異なっている。図３は、４つのカメラ５それぞれの光軸の俯角を示す図である。図３中に示す一点鎖線は水平方向に沿っている。

図３に示すように、左右のサイドカメラ５Ｌ，５Ｒに関しては、光軸５Ｌａ，５Ｒａの俯角αＬ，αＲは略同一であり、例えば８０°である。これに対して、フロントカメラ５Ｆ及びリアカメラ５Ｂにおいては、光軸の俯角がサイドカメラ５Ｌ，５Ｒとは異なっている。フロントカメラ５Ｆの光軸５Ｆａの俯角αＦは例えば２０°であり、リアカメラ５Ｂの光軸５Ｂａの俯角αＢは例えば５０°である。

したがって、フロントカメラ５Ｆと、リアカメラ５Ｂと、サイドカメラ５Ｌ，５Ｒとで、撮影可能となる車両９から離れる方向の距離が異なる。４つのカメラ５の光軸のうち、フロントカメラ５Ｆの光軸５Ｆａが最も上側に向けられているため、フロントカメラ５Ｆは、車両９から比較的離れた領域を撮影することが可能である。一方、左右のサイドカメラ５Ｌ，５Ｒの光軸５Ｌａ，５Ｒａが最も下側に向けられているため、サイドカメラ５Ｌ，５Ｒは車両９に比較的近い領域のみを撮影することが可能である。

図１に戻り、表示装置３は、例えば、液晶などの薄型の表示パネルを備えており、各種の情報や画像を表示する。表示装置３は、ユーザが表示パネルの画面を視認できるように、車両９のインストルメントパネルなどに配置される。表示装置３は、画像生成装置２と同一のハウジング内に配置されて画像生成装置２と一体化されていてもよく、画像生成装置２とは別体の装置であってもよい。また、表示装置３は、表示パネルに重ねてタッチパネル３１を備えており、ユーザの操作を受け付けることが可能である。表示装置３は、表示する機能以外に、目的地までのルート案内を行うナビゲーション機能などの他の機能を有していてもよい。

操作ボタン４は、ユーザの操作を受け付ける操作部材である。操作ボタン４は、例えば、車両９のステアリングホイールに設けられており、主にドライバからの操作を受け付ける。ユーザは、この操作ボタン４、及び、表示装置３のタッチパネル３１を介して画像表示システム１０に対する各種の操作を行うことができる。操作ボタン４及びタッチパネル３１のいずれかにユーザの操作がなされた場合は、その操作の内容を示す操作信号が画像生成装置２に入力される。

画像生成装置２は、各種の画像処理が可能な電子装置である。画像生成装置２は、画像取得部２１と、画像生成部２２と、画像調整部２３と、画像出力部２４とを備えている。

画像取得部２１は、４つのカメラ５で得られた４つの撮影画像を取得する。画像取得部２１は、アナログの撮影画像をデジタルの撮影画像に変換する機能などの画像処理機能を有している。画像取得部２１は、取得した撮影画像に所定の画像処理を行い、処理後の撮影画像を画像生成部２２に入力する。

画像生成部２２は、仮想視点画像を生成するための画像処理を行うハードウェア回路である。画像生成部２２は、４つのカメラ５で取得された４つの撮影画像を用いて、仮想視点からみた車両９の周辺を示す仮想視点画像を生成する。画像生成部２２は、各カメラ５において直近に得られた撮影画像を用いて仮想視点画像を連続的に（時間的に連続して）生成する。これにより、画像生成部２２は、車両の周辺をほぼリアルタイムに示す仮想視点画像を生成する。この仮想視点画像を生成する手法の詳細については後述する。

画像調整部２３は、表示装置３で表示するための表示画像を生成する。画像調整部２３は、画像生成部２２で生成された仮想視点画像などを含む表示画像を生成する。

画像出力部２４は、画像調整部２３で生成された表示画像を表示装置３に出力して、表示画像を表示装置３に表示させる。これにより、仮想視点からみた車両９の周辺をほぼリアルタイムに示す仮想視点画像が表示装置３に表示される。

また、画像生成装置２は、制御部２０と、操作受付部２５と、信号受信部２６と、記憶部２７とをさらに備えている。制御部２０は、例えば、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたマイクロコンピュータであり、画像生成装置２の全体を統括的に制御する。

操作受付部２５は、ユーザが操作を行った場合に操作ボタン４及びタッチパネル３１から送出される操作信号を受信する。これにより、操作受付部２５はユーザの操作を受け付ける。操作受付部２５は、受信した操作信号を制御部２０に入力する。

信号受信部２６は、画像生成装置２とは別に車両９に設けられる他の装置から送出される信号を受信して、制御部２０に入力する。信号受信部２６は、車両９のシフトセンサ９５から送出される信号を受信することが可能となっている。シフトセンサ９５は、車両９の変速装置のシフトレバーの位置であるシフトポジションを検出し、そのシフトポジションを示す信号を画像生成装置２に送出する。この信号に基づいて、制御部２０は、車両９の進行方向が前方あるいは後方のいずれであるかを判定できる。

記憶部２７は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部２７は、ファームウェアとしてのプログラム２７ａ、及び、画像生成部２２が仮想視点画像の生成のために用いる各種のデータを記憶する。このような仮想視点画像の生成に用いるデータは、車両９の車体の形状やサイズを示す車体データ２７ｂを含む。

制御部２０の各種の機能は、記憶部２７に記憶されたプログラム２７ａの実行（プログラム２７ａに従ったＣＰＵの演算処理）によって実現される。図中に示す画像制御部２０ａは、プログラム２７ａの実行により実現される機能部の一部である。

画像制御部２０ａは、仮想視点画像を生成する画像生成部２２、及び、表示画像を生成する画像調整部２３を制御する。例えば、画像制御部２０ａは、画像生成部２２が生成する仮想視点画像に係る仮想視点の位置、及び、仮想視点の視線の向きを変更する。

＜１−２．仮想視点画像の生成＞
次に、画像生成部２２が、仮想視点からみた車両９の周辺の様子を示す仮想視点画像を生成する手法について説明する。図４は、画像生成部２２が仮想視点画像を生成する手法を説明する図である。画像生成部２２は、仮想視点画像の生成に仮想の立体的な投影面ＴＳを用いることで、現実に近い臨場感のある仮想視点画像を生成する。

フロントカメラ５Ｆ、リアカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒは、車両９の前方、後方、左方及び右方をそれぞれ示す４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲを取得する。これら４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲには、車両９の全周囲のデータが含まれている。

画像生成部２２は、これら４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲに含まれるデータ（画素の値）を、仮想的な三次元空間における立体的な曲面である投影面ＴＳに投影する。投影面ＴＳは、例えば、略半球状（お椀形状）をしており、その中心領域（お椀の底部分）は車両９の位置として定められている。また、投影面ＴＳにおける車両９の位置の外側は、車両９の周辺の領域に相当する。

撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲに含まれるデータの位置と、投影面ＴＳの位置とは予め対応関係が定められている。このような対応関係を示すテーブルデータは、記憶部２７に記憶されている。画像生成部２２は、このテーブルデータを用いて、４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲに含まれるデータを、投影面ＴＳの対応する位置に投影する。

画像生成部２２は、投影面ＴＳにおいて車両９の前方に相当する部分に、フロントカメラ５Ｆの撮影画像ＳＦのデータを投影する。また、画像生成部２２は、投影面ＴＳにおいて車両９の後方に相当する部分に、リアカメラ５Ｂの撮影画像ＳＢのデータを投影する。さらに、画像生成部２２は、投影面ＴＳにおいて車両９の左方に相当する部分に左サイドカメラ５Ｌの撮影画像ＳＬのデータを投影し、投影面ＴＳにおいて車両９の右方に相当する部分に右サイドカメラ５Ｒの方向画像ＳＲのデータを投影する。

このように投影面ＴＳに撮影画像のデータを投影すると、次に、画像生成部２２は、記憶部２７に記憶された車体データ２７ｂを用いて、車両９の三次元形状を示すポリゴンのモデルを仮想的に構成する。この車両９のモデルは、仮想的な三次元空間における車両９の位置である投影面ＴＳの中心領域に配置される。

次に、画像生成部２２は、画像制御部２０ａの制御により、三次元空間に対して仮想視点ＶＰを設定する。この仮想視点ＶＰは、位置と視線の向きとで規定される。画像生成部２２は、任意の位置、かつ、任意の視線の向きの仮想視点ＶＰを３次元空間に設定できる。

次に、画像生成部２２は、設定した仮想視点ＶＰに応じた投影面ＴＳの一部の領域を用いて仮想視点画像ＣＰを生成する。すなわち、画像生成部２２は、投影面ＴＳのうち仮想視点ＶＰからみて所定の視野角に含まれる領域のデータを画像として切り出す。切り出した画像は、車両９の周辺の被写体の像を含んでいる。これとともに、画像生成部２２は、設定した仮想視点ＶＰに応じて車両９のモデルに関してレンダリングを行い、その結果となる二次元の車両像９０を、切り出した画像に対して重畳する。車両像９０は、仮想視点ＶＰからみた車両９の車体の形状を示すことになる。これにより、画像生成部２２は、仮想視点ＶＰからみた車両９の周辺と車両９の車体とを示す仮想視点画像ＣＰを生成する。

例えば図４に示すように、位置を車両９の直上とし視線を下方に向けた仮想視点ＶＰａを設定した場合には、車両９の周辺と車両９の車体とを俯瞰する仮想視点画像（俯瞰画像）ＣＰａを生成できる。また、位置を車両９の左後方とし視線を車両９の前方に向けた仮想視点ＶＰｂを設定した場合には、車両９の左後方からみた車両９の周辺と車両９の車体とを示す仮想視点画像ＣＰｂを生成できる。

本実施の形態の画像生成部２２は、このような仮想視点ＶＰの位置を、車両９の外部のみならず、車両９の車室内に設定することも可能である。仮想視点ＶＰの位置を車両９の車室内に設定した場合は、車両９の車室内からみた車両９の周辺と車両９の車体（内装）とを示す臨場感のある仮想視点画像を生成できる。

＜１−３．動作モード＞
次に、画像表示システム１０の動作モードについて説明する。図５は、画像表示システム１０の動作モードの遷移を示す図である。画像表示システム１０は、通常モードＭ０、俯瞰モードＭ１、及び、周回モードＭ２の３つの動作モードを有している。これらの動作モードは、車両９の状態やユーザの操作に応じて制御部２０の制御により切り替えられる。

通常モードＭ０は、画像生成装置２の機能が利用されない動作モードである。表示装置３がナビゲーション機能を有している場合は、通常モードＭ０においては、表示装置３はナビゲーション機能に基づく地図画像などを表示する。

一方、俯瞰モードＭ１、及び、周回モードＭ２は、画像生成装置２の機能を利用し、画像生成装置２で生成された仮想視点画像を含む表示画像を表示装置３で表示する動作モードである。したがって、これらの動作モードでは、ユーザは、表示装置３に表示された表示画像を確認することで、車両９の周辺の様子をほぼリアルタイムに把握できる。

俯瞰モードＭ１は、車両９の直上の視点から車両９の周辺を俯瞰する仮想視点画像である俯瞰画像を表示する動作モードである。図６は、俯瞰モードＭ１で表示される、俯瞰画像ＣＰ１を含む表示画像ＤＰの一例を示す図である。図に示すように、この表示画像ＤＰは、俯瞰画像ＣＰ１とともに、カメラ５の位置からみた車両９の周辺を示す仮想視点画像であるカメラ視点画像ＣＰ２を含んでいる。

カメラ視点画像ＣＰ２の仮想視点ＶＰは、車両９の進行方向に基いて選択される。車両９の進行方向が前方の場合はフロントカメラ５Ｆの光軸５Ｆａと同様の仮想視点ＶＰが設定され、車両９の進行方向が後方の場合はリアカメラ５Ｂの光軸５Ｂａと同様の仮想視点ＶＰが設定される。車両９の進行方向は、シフトセンサ９５から送出される信号に基いて画像制御部２０ａが判定する。ユーザは、このような俯瞰画像ＣＰ１とカメラ視点画像ＣＰ２とを確認することで、車両９の周囲全体の様子と車両９の進行方向の様子とを把握できることになる。

これに対して、周回モードＭ２は、車両９の車室内の視点からみた車両９の周辺を示す仮想視点画像である車内視点画像を表示する動作モードである。図７は、車内視点画像ＣＰ３を含む表示画像ＤＰの一例を示す図である。図に示すように、この車内視点画像ＣＰ３は、車両９の車室内の視点からみた車両９の周辺の被写体の像に、車室内の視点からみた車両９の車体（内装）を示す車両像９０が重畳された臨場感のある画像となる。ユーザは、このような車内視点画像ＣＰ３を確認することで、車両９の周囲の様子を車室内の視点から確認でき、車両９の周辺の様子を直感的に把握できることになる。また、ユーザは、車内視点画像ＣＰ３に含まれる車両像９０に基づいて、車内視点画像ＣＰ３が車両９の周囲のいずれの方向を示しているかを直感的に把握できる。

車両像９０は、車体底面に相当する部分と車体底面以外に相当する部分とに分けられる。車両像９０における車体底面に相当する部分は非透明となっている。一方で、車両像９０における車体底面以外に相当する部分は、タイヤ及びフレームなどの特徴のある一部を除いて透明あるいは半透明となっている。これにより、車内視点画像ＣＰ３に車両像９０を含めたとしても、車両９の周辺の被写体の像を確認できるようになっている。

周回モードＭ２では、このような車内視点画像が連続的に表示装置３に表示され、車両９の周囲を周回するように車室内の視点からみた車両９の周辺の様子を示すアニメーションが行われる。したがって、周回モードＭ２を利用することで、ユーザは車両９の周囲全体を確認することができる。

図５に示すように、画像表示システム１０が起動すると、まず、その動作モードが周回モードＭ２となる。この周回モードＭ２の場合は、仮想視点ＶＰの視線が車両９の周囲を一周する。このような仮想視点ＶＰの視線の周回が完了すると、動作モードは通常モードＭ０に切り替えられる。また、通常モードＭ０において、ユーザが操作ボタン４を長押した場合（一定時間以上継続して押圧した場合）は、動作モードは周回モードＭ２に切り替えられる。

また、通常モードＭ０において、ユーザが操作ボタン４を通常の長さで押した場合、あるいは、車両９のシフトポジションがリバースとなった場合は、動作モードは俯瞰モードＭ１に切り替えられる。また、俯瞰モードＭ１において、ユーザが操作ボタン４を押した場合は、動作モードは通常モードＭ０に切り替えられる。

＜１−４．周回モード＞
次に、周回モードＭ２についてより詳細に説明する。前述のように、周回モードＭ２では、車両９の周囲を周回するように車室内の視点からみた車両９の周辺の様子を示すアニメーションが行われる。

このようなアニメーションを行うため、周回モードＭ２では、画像制御部２０ａが、仮想視点ＶＰの視線が車両９の周囲を周回するように、仮想視点ＶＰの視線の向きを変更する。具体的には、画像制御部２０ａが、仮想視点ＶＰの視線の平面視での車両９の前後方向に対する角度（車両９を上からみた場合での車両９の前後方向に対する角度。以下、「平面視角」という。）を徐々に変更する。そして、このように画像制御部２０ａが仮想視点ＶＰの視線の平面視角を徐々に変更している状態で、画像生成部２２が車内視点画像を連続的に（時間的に連続して）生成する。

これにより生成された車内視点画像を連続的に表示装置３において表示することにより、車両９の周囲を周回するように車両９の周辺の様子を示すアニメーションが行われる。このようなアニメーションを確認することで、ユーザは車両９の周囲全体の様子を容易に確認することができる。このアニメーションは、例えば２０秒間かけて行われる。

＜１−４−１．仮想視点の位置の移動＞
周回モードＭ２において、画像制御部２０ａは、仮想視点ＶＰの視線の向き（平面視角）を変更するだけでなく、仮想視点ＶＰの位置も変更する。

図８は、周回モードＭ２における仮想視点ＶＰの遷移を示す図であり、車両９を平面視で示している。図中の実線矢印のそれぞれは仮想視点ＶＰを表しており、実線矢印の始点が仮想視点ＶＰの位置を示している。実線矢印の向きは、仮想視点ＶＰの視線の平面視での向きを示している。すなわち、実線矢印の車両９の前後方向に対する角度は、仮想視点ＶＰの視線の平面視角に相当する。

図に示すように、画像制御部２０ａは、仮想視点ＶＰの視線が車両９の周囲を右回りで一周するように、仮想視点ＶＰの視線の平面視角を徐々に変更する。これとともに、画像制御部２０ａは、仮想視点ＶＰの位置を、車両９の車室９１の内部を一周するように、車室９１の周縁に沿って車両９の前後方向及び左右方向に直線的に移動する。

まず、画像制御部２０ａは、仮想視点ＶＰの視線が初期方向である車両９の前後方向に沿った前方に向くように、仮想視点ＶＰの視線の平面視角を設定する。これとともに、画像制御部２０ａは、仮想視点ＶＰの位置を、初期位置である車室９１の前方中央の位置（以下、「前方中央位置」という。）Ｐ１に設定する。

図９は、仮想視点ＶＰの視線が車両９の前方に向き仮想視点ＶＰの位置が前方中央位置Ｐ１の場合において、画像生成部２２が生成する車内視点画像ＣＰ３１の例を示す図である。図９に示すように、車内視点画像ＣＰ３１は、車両９の前方の被写体の像に、車両９の前方を示す車両像９０が重畳された画像となっている。

図８に戻り、次に、画像制御部２０ａは、仮想視点ＶＰの視線の平面視角を維持しつつ、仮想視点ＶＰの位置を車室９１の前方右端の位置Ｐ２に向けて右方に連続的に移動する（破線矢印Ａ１）。すなわち、画像制御部２０ａは、仮想視点ＶＰの視線を前方に向けた状態を維持しながら、仮想視点ＶＰの位置を車室９１の前側の周縁に沿って右方に移動する。

仮想視点ＶＰの位置を前方右端の位置Ｐ２に移動すると、画像制御部２０ａは、仮想視点ＶＰの位置の移動を停止した後、仮想視点ＶＰの視線が車両９の左右方向に沿った右方に向くように仮想視点ＶＰの視線の平面視角を連続的に変更する（破線矢印Ａ１１）。すなわち、画像制御部２０ａは、仮想視点ＶＰの位置を前方右端の位置Ｐ２に維持しながら、仮想視点ＶＰの視線の平面視角を右回転で９０°変更する。

仮想視点ＶＰの視線を車両９の右方に向けると、画像制御部２０ａは、仮想視点ＶＰの視線の平面視角を維持しつつ、仮想視点ＶＰの位置を車室９１の後方右端の位置Ｐ３に向けて後方に連続的に移動する（破線矢印Ａ２）。すなわち、画像制御部２０ａは、仮想視点ＶＰの視線を右方に向けた状態を維持しながら、仮想視点ＶＰの位置を車室９１の右側の周縁に沿って後方に移動する。

図１０は、仮想視点ＶＰの視線が車両９の右方に向き仮想視点ＶＰの位置が車室９１の右側の周縁に沿って移動する場合において、画像生成部２２が生成する車内視点画像ＣＰ３２の例を示す図である。図１０に示すように、車内視点画像ＣＰ３２は、車両９の右方の被写体の像に、車両９の右方を示す車両像９０が重畳された画像となっている。

図８に戻り、仮想視点ＶＰの位置を後方右端の位置Ｐ３に移動すると、画像制御部２０ａは、仮想視点ＶＰの位置の移動を停止した後、仮想視点ＶＰの視線が車両９の前後方向に沿った後方に向くように仮想視点ＶＰの視線の平面視角を連続的に変更する（破線矢印Ａ１２）。すなわち、画像制御部２０ａは、仮想視点ＶＰの位置を後方右端の位置Ｐ３に維持しながら、仮想視点ＶＰの視線の平面視角を右回転で９０°変更する。

仮想視点ＶＰの視線を車両９の後方に向けると、画像制御部２０ａは、仮想視点ＶＰの視線の平面視角を維持しつつ、仮想視点ＶＰの位置を車室９１の後方左端の位置Ｐ５に向けて左方に連続的に移動する（破線矢印Ａ３）。すなわち、画像制御部２０ａは、仮想視点ＶＰの視線を後方に向けた状態を維持しながら、仮想視点ＶＰの位置を車室９１の後側の周縁に沿って左方に移動する。この移動中において、仮想視点ＶＰの位置は車室９１の後方中央の位置（以下、「後方中央位置」という。）Ｐ４を経由する。

図１１は、仮想視点ＶＰの視線が車両９の後方に向き仮想視点ＶＰの位置が後方中央位置Ｐ４の場合において、画像生成部２２が生成する車内視点画像ＣＰ３３の例を示す図である。図１１に示すように、車内視点画像ＣＰ３３は、車両９の後方の被写体の像に、車両９の後方を示す車両像９０が重畳された画像となっている。

図８に戻り、仮想視点ＶＰの位置を後方左端の位置Ｐ５に移動すると、画像制御部２０ａは、仮想視点ＶＰの位置の移動を停止した後、仮想視点ＶＰの視線が車両９の左右方向に沿った左方に向くように仮想視点ＶＰの視線の平面視角を連続的に変更する（破線矢印Ａ１３）。すなわち、画像制御部２０ａは、仮想視点ＶＰの位置を後方左端の位置Ｐ５に維持しながら、仮想視点ＶＰの視線の平面視角を右回転で９０°変更する。

仮想視点ＶＰの視線を車両９の左方に向けると、画像制御部２０ａは、仮想視点ＶＰの視線の平面視角を維持しつつ、仮想視点ＶＰの位置を車室９１の前方左端の位置Ｐ６に向けて前方に連続的に移動する（破線矢印Ａ４）。すなわち、画像制御部２０ａは、仮想視点ＶＰの視線を左方に向けた状態を維持しながら、仮想視点ＶＰの位置を車室９１の左側の周縁に沿って前方に移動する。

図１２は、仮想視点ＶＰの視線が車両９の左方に向き仮想視点ＶＰの位置が車室９１の左側の周縁に沿って移動する場合において、画像生成部２２が生成する車内視点画像ＣＰ３４の例を示す図である。図１２に示すように、車内視点画像ＣＰ３４は、車両９の左方の被写体の像に、車両９の左方を示す車両像９０が重畳された画像となっている。

図８に戻り、仮想視点ＶＰの位置を前方左端の位置Ｐ６に移動すると、画像制御部２０ａは、仮想視点ＶＰの位置の移動を停止した後、仮想視点ＶＰの視線が車両９の前後方向に沿った前方に向くように仮想視点ＶＰの視線の平面視角を連続的に変更する（破線矢印Ａ１４）。すなわち、画像制御部２０ａは、仮想視点ＶＰの位置を前方左端の位置Ｐ６に維持しながら、仮想視点ＶＰの視線の平面視角を右回転で９０°変更する。

仮想視点ＶＰの視線を車両９の前方に向けると、画像制御部２０ａは、仮想視点ＶＰの視線の平面視角を維持しつつ、仮想視点ＶＰの位置を前方中央位置Ｐ１に向けて右方に連続的に移動する（破線矢印Ａ５）。すなわち、画像制御部２０ａは、仮想視点ＶＰの視線を前方に向けた状態を維持しながら、仮想視点ＶＰの位置を車室９１の前側の周縁に沿って右方に移動する。

そして、最終的に仮想視点ＶＰの位置は初期位置である前方中央位置Ｐ１に戻る。仮想視点ＶＰの位置が前方中央位置Ｐ１に戻った場合においては、画像生成部２２は図９に示す車内視点画像ＣＰ３１と同様の車内視点画像を生成する。

このように、周回モードＭ２において画像制御部２０ａは、仮想視点ＶＰの視線を向ける方向に応じて仮想視点ＶＰの位置を移動する。すなわち、画像制御部２０ａは、仮想視点ＶＰの視線を車両９の前方に向ける場合は、仮想視点ＶＰの位置を車室９１の前方に移動する。同様に、画像制御部２０ａは、仮想視点ＶＰの視線を車両９の後方に向ける場合は、仮想視点ＶＰの位置を車室９１の後方に移動する。また、画像制御部２０ａは、仮想視点ＶＰの視線を車両９の右方に向ける場合は仮想視点ＶＰの位置を車室９１の右方に移動し、仮想視点ＶＰの視線を車両９の左方に向ける場合は仮想視点ＶＰの位置を車室９１の左方に移動する。このように仮想視点ＶＰの視線を向ける方向に応じて仮想視点ＶＰの位置も移動することで、車内視点画像に含まれる車両９の被写体の像の視認性を向上できる。

図１３は、比較例における仮想視点ＶＰの遷移を示す図である。この比較例においては、周回モードにおいて、仮想視点ＶＰの位置が移動されず、車室９１のドライバの視点に相当する位置Ｐ０に固定されている。また、仮想視点ＶＰの視線が右回りで一周するように、仮想視点ＶＰの視線の平面視角が連続的に変更される。図１４は、該比較例において、仮想視点ＶＰの視線が車両９の前方に向いた場合に生成される車内視点画像ＣＰ４１の例を示す図である。また、図１５は、該比較例において、仮想視点ＶＰの視線が車両９の後方に向いた場合に生成される車内視点画像ＣＰ４３の例を示す図である。

図１４と図９とを比較し、図１５と図１１とを比較して分かるように、比較例の車内視点画像ＣＰ４１，ＣＰ４３においては、本実施の形態の車内視点画像ＣＰ３１，ＣＰ３３と比較して、車両像９０が車体における必要以上に多くの部分を示している。このため、車両像９０が車両９の周辺の被写体の像の視認性を妨げる可能性がある。また、比較例の車内視点画像ＣＰ４１，ＣＰ４３においては、仮想視点ＶＰの位置から車両９の周辺の被写体までの距離が長いため、確認すべき被写体の像が小さくなり、被写体の像の視認性が悪くなっている。

これに対して、本実施の形態では、画像制御部２０ａが、仮想視点ＶＰの視線を向ける方向に応じて仮想視点ＶＰの位置も移動する。このため、車内視点画像に含まれる車両像９０が示す車体の部分を少なくすることができる。また、仮想視点ＶＰの位置から車両９の周辺の被写体までの距離が短いため、確認すべき被写体の像を大きくすることができる。その結果、車内視点画像に含まれる車両９の周辺の被写体の像の視認性を向上できる。

一般に車両は前後方向に長いため、仮想視点ＶＰの視線を向ける方向に応じて仮想視点ＶＰの位置を車両の前後方向に移動させることにより、車内視点画像に含まれる被写体の像の視認性を効果的に向上できる。また、本実施の形態では、画像制御部２０ａは、仮想視点ＶＰの視線を向ける方向に応じて仮想視点ＶＰの位置を車両９の前後方向とともに左右方向にも移動させるため、車内視点画像に含まれる被写体の像の視認性をさらに効果的に向上できる。画像制御部２０ａは、仮想視点ＶＰの視線を車両の車室の周縁に沿って移動させるため、車内視点画像に含まれる車両像９０が示す車体の部分を少なくすることができるとともに、確認すべき被写体の像を大きくすることができる。

また、上記のように、周回モードＭ２において画像制御部２０ａは、仮想視点ＶＰの視線の平面視角の変更中は仮想視点ＶＰの位置を維持し、一方で、仮想視点の位置の移動中は仮想視点の視線の平面視角を維持する。すなわち、画像制御部２０ａは、仮想視点ＶＰの視線の平面視角と仮想視点ＶＰの位置とを並行して変更せず、一方を変更している場合は他方を維持するようになっている。これにより、仮想視点ＶＰの視線の動きが複雑にならずにシンプルにできるため、周回モードＭ２において連続的に生成される車内視点画像が車両９の周辺の様子を分かりやすく示すことができる。

＜１−４−２．仮想視点の俯角の調整＞
ところで、仮想視点ＶＰの視線の向きは、平面視角と俯角（水平方向を基準とした下向きの角度）とで規定される。周回モードＭ２において画像制御部２０ａは、このような仮想視点ＶＰの視線の俯角も調整する。

図１６は、仮想視点画像の生成に用いられる投影面ＴＳを示す図である。図１６に示すように、投影面ＴＳにおいては、撮影画像のデータが投影される領域（以下、「投影領域」という。）Ｒ１の外側に、撮影画像のデータが投影されない領域（以下、「非投影領域」という。）Ｒ２が存在している。

前述のように、フロントカメラ５Ｆと、リアカメラ５Ｂと、サイドカメラ５Ｌ，５Ｒとでは光軸の俯角が異なり、撮影可能となる車両９から離れる方向の距離が異なる。そして、左右のサイドカメラ５Ｌ，５Ｒは、車両９に比較的近い領域のみを撮影でき、車両９から比較的離れた領域を撮影できない。このため、図１６に示すように、投影面ＴＳにおいて車両９の左方及び右方に相当する部分に、データの無い非投影領域Ｒ２が生じることになる。

このような非投影領域Ｒ２を考慮しなかった場合には、周回モードＭ２において画像生成部２２が、投影面ＴＳにおける非投影領域Ｒ２を含む領域を用いて車内視点画像を生成する可能性がある。すなわち、車内視点画像が非投影領域Ｒ２を含む可能性がある。非投影領域Ｒ２にはデータが無いため、非投影領域Ｒ２を含む車内視点画像においては、一部の領域が車両９の周辺の被写体の像を示さずに単一色（一般には、黒色）となる。したがって、このような車内視点画像を視認したユーザは大きな違和感を感じることになる。

このような問題に対応するため、本実施の形態の画像制御部２０ａは、周回モードＭ２において、投影面ＴＳにおける非投影領域Ｒ２を車内視点画像が含まないように仮想視点ＶＰの視線の俯角を調整する。

図１７は、画像制御部２０ａが調整した仮想視点ＶＰの視線の俯角βを示す図である。投影面ＴＳにおいては、車両９の全周囲のうち左方及び右方において、投影領域Ｒ１のサイズ（車両９から離れる方向の長さ）が最小となり、非投影領域Ｒ２のサイズ（車両９から離れる方向の長さ）が最大となる（図１６参照。）。画像制御部２０ａが仮想視点ＶＰの視線の俯角βを特定角度（例えば、６０°）に設定した場合は、このような車両９の左方または右方に仮想視点ＶＰの視線を向けた場合においても車内視点画像が非投影領域Ｒ２を含まないようにすることができる。

このため、周回モードＭ２において画像制御部２０ａは、仮想視点ＶＰの視線の俯角βを、この特定角度（６０°）に設定する。そして、図１７に示すように、画像制御部２０ａは、仮想視点ＶＰの視線が車両９の周囲を周回するように仮想視点ＶＰの視線の平面視角を変更したとしても、仮想視点ＶＰの視線の俯角βを特定角度（６０°）に常時に維持する。すなわち、画像制御部２０ａは、車両９の全周囲のいずれの方向に仮想視点ＶＰの視線を向けた場合であっても、仮想視点ＶＰの視線の俯角βを特定角度（６０°）にする。

図１８は、図１７のように仮想視点ＶＰの視線の俯角βを調整した場合に、投影面ＴＳのうち画像生成部２２が車内視点画像の生成に用いる使用領域Ｒ１０を示す図である。図１８に示すように、使用領域Ｒ１０は、車両９に比較的近く車両９の周囲を囲む領域となる。使用領域Ｒ１０は、データのある投影領域Ｒ１のみを含み、データの無い非投影領域Ｒ２を含まない。

仮想視点ＶＰの視線の俯角βを特定角度（６０°）に維持すれば、投影領域Ｒ１のサイズが最小となる方向に仮想視点ＶＰの視線を向けた場合においても車内視点画像が非投影領域Ｒ２を含まない。このため、当然に、その他の方向に仮想視点ＶＰの視線を向けた場合においても、車内視点画像が非投影領域Ｒ２を含むことはない。したがって、周回モードＭ２において、仮想視点ＶＰの視線が車両９の周囲を周回するように仮想視点ＶＰの視線の平面視角を変更したとしても、車内視点画像が非投影領域Ｒ２を常に含まないようにすることができる。その結果、車内視点画像を視認したユーザが違和感を感じることを防止できる。

また、周回モードＭ２において画像制御部２０ａが仮想視点ＶＰの視線の俯角βを維持することから、仮想視点ＶＰの視線の動きが複雑にならずにシンプルにできる。このため、周回モードＭ２において連続的に生成される車内視点画像が車両９の周辺の様子を分かりやすく示すことができる。

＜１−４−３．動作の流れ＞
次に、周回モードＭ２における画像表示システム１０の動作の流れについて説明する。図１９は、周回モードＭ２における画像表示システム１０の動作の流れを示す図である。

動作モードが周回モードＭ２となると、まず、画像制御部２０ａが仮想視点ＶＰを車室内に設定する（ステップＳ１１）。画像制御部２０ａは、仮想視点ＶＰの視線が初期方向である車両９の前方に向くようにその平面視角を設定するとともに、仮想視点ＶＰの位置を初期位置である前方中央位置Ｐ１に設定する。また、画像制御部２０ａは、車両９の左方または右方に仮想視点ＶＰの視線を向けた場合においても仮想視点画像が非投影領域Ｒ２を含まない特定角度（６０°）に、仮想視点ＶＰの視線の俯角を設定する。

次に、車両９に設けられた４つのカメラ５のそれぞれが車両９の周辺を撮影する。そして、画像取得部２１が、４つのカメラ５でそれぞれ得られた４つの撮影画像を取得する（ステップＳ１２）。

次に、取得された４つ撮影画像を用いて、画像生成部２２が車内視点画像を生成する（ステップＳ１３）。そして、画像調整部２３が生成された車内視点画像を含む表示画像ＤＰを生成し、画像出力部２４がこの表示画像ＤＰを表示装置３に出力する（ステップＳ１４）。これにより、車内視点画像を含む表示画像ＤＰが、表示装置３に表示される。

次に、画像制御部２０ａが、仮想視点ＶＰの視線の平面視角、あるいは、仮想視点ＶＰの位置を変更する（ステップＳ１６）。そして、処理は再びステップＳ１２に戻り、上記ステップＳ１２〜Ｓ１４と同様の処理が繰り返される。このような処理（ステップＳ１２〜Ｓ１４，Ｓ１６）が、所定の周期（例えば、１／３０秒周期）で繰り返される。

ステップＳ１６において、画像制御部２０ａは、上述したように仮想視点ＶＰの視線の平面視角と仮想視点ＶＰの位置とを並行して変更せず、一方を変更している場合は他方を維持する（図８参照。）。また、画像制御部２０ａは、仮想視点ＶＰの視線の平面視角及び仮想視点ＶＰの位置に関わらず、仮想視点ＶＰの視線の俯角を特定角度に維持する（図１７参照。）。

このような処理により、画像制御部２０ａが仮想視点ＶＰを徐々に変更している状態で、画像生成部２２が車内視点画像を連続的に生成することになる。その結果、表示装置３において、車両９の周囲を周回するように車両９の周辺の様子を示すアニメーションが行われる。

仮想視点ＶＰの視線が車両９の周囲を一周し、仮想視点ＶＰの位置が初期位置である前方中央位置Ｐ１に戻ると（ステップＳ１５にてＹｅｓ）、周回モードＭ２における画像表示システム１０の動作が終了する。

＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態の画像表示システム１０の構成及び動作は、第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。

第１の実施の形態では、周回モードＭ２において画像制御部２０ａは、仮想視点ＶＰの視線の平面視角と仮想視点ＶＰの位置とを並行して変更しなかった。これに対して、第２の実施の形態では、画像制御部２０ａは、仮想視点ＶＰの視線の平面視角と仮想視点ＶＰの位置とを並行して変更する。

図２０は、第２の実施の形態の周回モードＭ２における仮想視点ＶＰの遷移を示す図である。第２の実施の形態においても、第１の実施の形態と同様に、画像制御部２０ａは、前方中央位置Ｐ１から位置Ｐ２〜Ｐ６を経由して再び前方中央位置Ｐ１まで、車両９の車室９１の内部を一周するように車室９１の周縁に沿って仮想視点ＶＰの位置を直線的に移動する。ただし、画像制御部２０ａは、位置Ｐ２，Ｐ３，Ｐ５，Ｐ６においても仮想視点ＶＰの位置を停止せず、仮想視点ＶＰの位置を継続的に移動する。

また、画像制御部２０ａは、仮想視点ＶＰの位置の移動中においても、仮想視点ＶＰの視線の平面視角を継続的に変更する（破線矢印Ａ１５）。これにより、周回モードＭ２においては、仮想視点ＶＰの視線の平面視角と仮想視点ＶＰの位置とが並行して変更されることになる。

第２の実施の形態においても、周回モードＭ２において画像制御部２０ａは、仮想視点ＶＰの視線を向ける方向に応じて仮想視点ＶＰの位置を移動する。すなわち、画像制御部２０ａは、仮想視点ＶＰの視線を車両９の前方に向ける場合は、仮想視点ＶＰの位置を車室９１の前方に移動する。同様に、画像制御部２０ａは、仮想視点ＶＰの視線を車両９の後方に向ける場合は、仮想視点ＶＰの位置を車室９１の後方に移動する。また、画像制御部２０ａは、仮想視点ＶＰの視線を車両９の右方に向ける場合は仮想視点ＶＰの位置を車室９１の右方に移動し、仮想視点ＶＰの視線を車両９の左方に向ける場合は仮想視点ＶＰの位置を車室９１の左方に移動する。これにより、車内視点画像に含まれる車両９の被写体の像の視認性を向上できる。

以上のように第２の実施の形態では、仮想視点ＶＰの視線の平面視角と仮想視点ＶＰの位置との双方が並行して変更されるため、仮想視点の視線が車両９の周囲を周回する時間を短くすることができる。すなわち、車両９の周囲を周回するように車両９の周辺の様子を示すアニメーションが行われる時間を比較的短くすることができる（例えば、１５秒）。したがって、ユーザは、車両９の周囲全体の様子を比較的短時間で確認することができる。

＜３．第３の実施の形態＞
次に、第３の実施の形態について説明する。第３の実施の形態の画像表示システム１０の構成及び動作は、第２の実施の形態とほぼ同様であるため、以下、第２の実施の形態との相違点を中心に説明する。

第２の実施の形態では、画像制御部２０ａは、車室９１の周縁に沿って仮想視点ＶＰの位置を直線的に移動していた。これに対して、第３の実施の形態では、画像制御部２０ａは、仮想視点ＶＰの位置を略楕円形状に移動するようになっている。第３の実施の形態においても、画像制御部２０ａは、仮想視点ＶＰの視線の平面視角と仮想視点ＶＰの位置とを並行して変更する。

図２１は、第３の実施の形態の周回モードＭ２における仮想視点ＶＰの遷移を示す図である。図２１に示すように、第３の実施の形態では、仮想視点ＶＰの位置を移動するルートとして、長軸が車両９の前後方向に沿った略楕円形のルートが車両９の車室９１の内部に設定される。

まず、画像制御部２０ａは、仮想視点ＶＰの視線が初期方向である車両９の前方に向くようにその平面視角を設定するとともに、仮想視点ＶＰの位置を初期位置である前方中央位置Ｐ１に設定する。

次に、画像制御部２０ａは、前方中央位置Ｐ１から後方中央位置Ｐ４まで略楕円形のルートの右側の弧に沿って仮想視点ＶＰの位置を後方に移動する（破線矢印Ａ６）。さらに、画像制御部２０ａは、後方中央位置Ｐ４から前方中央位置Ｐ１まで略楕円形のルートの左側の弧に沿って仮想視点ＶＰの位置を前方に移動する（破線矢印Ａ７）。画像制御部２０ａは、このような仮想視点ＶＰの位置の移動中においても、仮想視点ＶＰの視線の平面視角を継続的に変更する（破線矢印Ａ１６）。

第３の実施の形態においても、周回モードＭ２において画像制御部２０ａは、仮想視点ＶＰの視線を向ける方向に応じて仮想視点ＶＰの位置を移動する。すなわち、画像制御部２０ａは、仮想視点ＶＰの視線を車両９の前方に向ける場合は、仮想視点ＶＰの位置を車室９１の前方に移動する。同様に、画像制御部２０ａは、仮想視点ＶＰの視線を車両９の後方に向ける場合は、仮想視点ＶＰの位置を車室９１の後方に移動する。また、画像制御部２０ａは、仮想視点ＶＰの視線を車両９の右方に向ける場合は仮想視点ＶＰの位置を車室９１の右方に移動し、仮想視点ＶＰの視線を車両９の左方に向ける場合は仮想視点ＶＰの位置を車室９１の左方に移動する。これにより、車内視点画像に含まれる車両９の被写体の像の視認性を向上できる。

以上のように第３の実施の形態では、仮想視点ＶＰの位置を略楕円状に移動するため、仮想視点ＶＰの位置を移動すべき距離を短くできる。したがって、仮想視点ＶＰの視線が車両９の周囲を周回する時間をさらに短くすることができ、ユーザは車両９の周囲全体の様子をより短時間で確認することができる。

また、仮想視点ＶＰの位置を移動するルートとなる略楕円形は、その長軸が車両９の前後方向に沿っている。このため、車両９の車室９１の前方及び後方に仮想視点ＶＰの位置を大きく移動させることができる。したがって、仮想視点ＶＰの視線を車両９の前方あるいは後方に向ける場合においても、車内視点画像に含まれる車両像９０が示す車体の部分を少なくすることができるとともに、確認すべき被写体の像を大きくすることができる。

＜４．第４の実施の形態＞
次に、第４の実施の形態について説明する。第４の実施の形態の画像表示システム１０の構成及び動作は、第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。

第１の実施の形態では、画像制御部２０ａは、仮想視点ＶＰの位置を車両９の前後方向とともに左右方向にも移動していた。これに対して、第４の実施の形態では、画像制御部２０ａは、仮想視点ＶＰの位置を車両９の前後方向にのみ移動する。

図２２は、第４の実施の形態の周回モードＭ２における仮想視点ＶＰの遷移を示す図である。図２２に示すように、第４の実施の形態では、仮想視点ＶＰの位置を移動するルートとして、車両９の前後方向に沿った直線のルートが車両９の車室９１の内部に設定される。

まず、画像制御部２０ａは、仮想視点ＶＰの視線が初期方向である車両９の前方に向くようにその平面視角を設定するとともに、仮想視点ＶＰの位置を初期位置である前方中央位置Ｐ１に設定する。

次に、画像制御部２０ａは、仮想視点ＶＰの視線が車両９の左右方向に沿った右方に向くように仮想視点ＶＰの視線の平面視角を連続的に変更する（破線矢印Ａ１７）。すなわち、画像制御部２０ａは、仮想視点ＶＰの位置を前方中央位置Ｐ１に維持しながら、仮想視点ＶＰの視線の平面視角を右回転で９０°変更する。

仮想視点ＶＰの視線を車両９の右方に向けると、画像制御部２０ａは、仮想視点ＶＰの視線の平面視角を維持しつつ、前方中央位置Ｐ１から後方中央位置Ｐ４まで直線のルートに沿って仮想視点ＶＰの位置を後方に移動する（破線矢印Ａ８）。

仮想視点ＶＰの位置を後方中央位置Ｐ４に移動すると、画像制御部２０ａは、仮想視点ＶＰの位置の移動を停止した後、仮想視点ＶＰの視線が車両９の左右方向に沿った左方に向くように仮想視点ＶＰの視線の平面視角を連続的に変更する（破線矢印Ａ１８）。すなわち、画像制御部２０ａは、仮想視点ＶＰの位置を位置Ｐ４に維持しながら、仮想視点ＶＰの視線の平面視角を右回転で１８０°変更する。

仮想視点ＶＰの視線を車両９の左方に向けると、画像制御部２０ａは、仮想視点ＶＰの視線の平面視角を維持しつつ、後方中央位置Ｐ４から前方中央位置Ｐ１まで直線のルートに沿って仮想視点ＶＰの位置を前方に移動する（破線矢印Ａ８）。

仮想視点ＶＰの位置を前方中央位置Ｐ１に移動すると、画像制御部２０ａは、仮想視点ＶＰの位置の移動を停止した後、仮想視点ＶＰの視線が車両９の前後方向に沿った前方に向くように仮想視点ＶＰの視線の平面視角を連続的に変更する（破線矢印Ａ１９）。すなわち、画像制御部２０ａは、仮想視点ＶＰの位置を前方中央位置Ｐ１に維持しながら、仮想視点ＶＰの視線の平面視角を右回転で９０°変更する。

第４の実施の形態においても、周回モードＭ２において画像制御部２０ａは、仮想視点ＶＰの視線を向ける方向に応じて仮想視点ＶＰの位置を移動する。すなわち、画像制御部２０ａは、仮想視点ＶＰの視線を車両９の前方に向ける場合は、仮想視点ＶＰの位置を車室９１の前方に移動する。同様に、画像制御部２０ａは、仮想視点ＶＰの視線を車両９の後方に向ける場合は、仮想視点ＶＰの位置を車室９１の後方に移動する。これにより、車内視点画像に含まれる車両９の被写体の像の視認性を向上できる。

以上のように第４の実施の形態では、仮想視点ＶＰの位置を前後方向にのみ直線的に移動するため、仮想視点ＶＰの位置を移動すべき距離を短くできる。したがって、仮想視点ＶＰの視線が車両９の周囲を周回する時間を短くすることができ、ユーザは車両９の周囲全体の様子を比較的短時間で確認することができる。

なお、図２２においては、画像制御部２０ａが仮想視点ＶＰの視線の平面視角と仮想視点ＶＰの位置とを並行して変更しないようになっているが、第２の実施の形態と同様に、仮想視点ＶＰの視線の平面視角と仮想視点ＶＰの位置とを並行して変更してもよい。

＜５．第５の実施の形態＞
次に、第５の実施の形態について説明する。第５の実施の形態の画像表示システム１０の構成及び動作は、第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。

第１の実施の形態では、周回モードＭ２において画像制御部２０ａは、仮想視点ＶＰの視線の俯角を特定角度に維持していた。これに対して、第５の実施の形態では、画像制御部２０ａは、投影面ＴＳにおける仮想視点ＶＰの視線を向ける方向の投影領域Ｒ１のサイズに応じて、仮想視点ＶＰの視線の俯角を変更する。

前述のように、投影面ＴＳにおいては車両９の左方及び右方において投影領域Ｒ１のサイズ（車両９から離れる方向の長さ）が最小となる。したがって、投影面ＴＳにおける車両９の前方または後方においては、車両９の左方及び右方と比較して投影領域Ｒ１のサイズ（車両９から離れる方向の長さ）は大きくなる。このため、車両９の前方または後方に仮想視点ＶＰの視線を向ける場合には、左方または右方に向ける場合よりも仮想視点ＶＰの視線を上向きにしたとしも、車内視点画像が非投影領域Ｒ２を含まない。第５の実施の形態の画像制御部２０ａは、このように車内視点画像が非投影領域Ｒ２を含まない範囲で、投影領域Ｒ１のサイズに応じて仮想視点ＶＰの視線の俯角を変更する。

図２３は、第５の実施の形態の周回モードＭ２における仮想視点ＶＰの視線の俯角βを示す図である。図２３に示すように、画像制御部２０ａは、仮想視点ＶＰの視線を車両９の左方または右方に向ける場合においては、第１の実施の形態と同様に、仮想視点ＶＰの視線の俯角βを特定角度（６０°）にする。一方で、画像制御部２０ａは、仮想視点ＶＰの視線を車両９の前方または後方に向ける場合においては、仮想視点ＶＰの視線の俯角βを特定角度（６０°）よりも小さくする。

まず、画像制御部２０ａは、仮想視点ＶＰの視線が車両９の前方に向くようにその平面視角を設定するとともに、仮想視点ＶＰの位置を初期位置である前方中央位置Ｐ１に設定する。このように仮想視点ＶＰの位置が前方中央位置Ｐ１の場合においては、画像制御部２０ａは、仮想視点ＶＰの視線の俯角βを、最も小さい最小角度（例えば、３０°）に設定する。

図２４は、仮想視点ＶＰの視線が車両９の前方に向き仮想視点ＶＰの位置が前方中央位置Ｐ１の場合において、画像生成部２２が生成する車内視点画像ＣＰ３５の例を示す図である。図９の第１の実施の形態の車内視点画像ＣＰ３１と比較して、図２４の第５の実施の形態の車内視点画像ＣＰ３５は、車両９から離れた比較的遠方の被写体を示すことができる。

図９の仮想視点ＶＰの視線の俯角βは特定角度（６０°）であるのに対し、図２４の仮想視点ＶＰの視線の俯角βは最小角度（３０°）である。したがって、図２４の仮想視点ＶＰの視線は、図９の仮想視点ＶＰの視線よりも上向きとなる。投影面ＴＳにおける車両９の前方においては投影領域Ｒ１のサイズが比較的大きいため、このように仮想視点ＶＰの視線の俯角βを最小角度（３０°）にしても、車内視点画像が非投影領域Ｒ２を含まない。

図２３に戻り、次に、画像制御部２０ａは、仮想視点ＶＰの位置を前方中央位置Ｐ１から前方右端の位置Ｐ２に向けて移動する。この移動中に、画像制御部２０ａは、仮想視点ＶＰの視線の俯角βを最小角度（３０°）から特定角度（６０°）まで徐々に変化させる。すなわち、画像制御部２０ａは、仮想視点ＶＰの視線を徐々に下向きにする。

次に、画像制御部２０ａは、仮想視点ＶＰの視線を車両９の右方に向け、仮想視点ＶＰの位置を前方右端の位置Ｐ２から後方右端の位置Ｐ３に向けて移動する。投影面ＴＳにおける車両９の右方においては投影領域Ｒ１のサイズが最小となる。このため、この移動中においては、車内視点画像が非投影領域Ｒ２を含まないように、画像制御部２０ａは、仮想視点ＶＰの視線の俯角βを特定角度（６０°）に維持する。

次に、画像制御部２０ａは、仮想視点ＶＰの視線を車両９の後方に向け、仮想視点ＶＰの位置を後方右端の位置Ｐ３から後方中央位置Ｐ４に向けて移動する。この移動中に、画像制御部２０ａは、仮想視点ＶＰの視線の俯角βを特定角度（６０°）から最小角度（３０°）まで徐々に変化させる。すなわち、画像制御部２０ａは、仮想視点ＶＰの視線を徐々に上向きにする。仮想視点ＶＰの位置が後方中央位置Ｐ４の場合に、仮想視点ＶＰの視線の俯角βは最小角度（３０°）となる。

図２５は、仮想視点ＶＰの視線が車両９の後方に向き仮想視点ＶＰの位置が後方中央位置Ｐ４の場合において、画像生成部２２が生成する車内視点画像ＣＰ３６の例を示す図である。図２５の第５の実施の形態の車内視点画像ＣＰ３６は、図１１の第１の実施の形態の車内視点画像ＣＰ３３と比較して、車両９から離れた比較的遠方の被写体を示すことができる。

図１１の仮想視点ＶＰの視線の俯角βは特定角度（６０°）であるのに対し、図２５の仮想視点ＶＰの視線の俯角βは最小角度（３０°）である。したがって、したがって、図２５の仮想視点ＶＰの視線は、図１１の仮想視点ＶＰの視線よりも上向きとなる。投影面ＴＳにおける車両９の後方においては投影領域Ｒ１のサイズが比較的大きいため、このように仮想視点ＶＰの視線の俯角βを最小角度（３０°）にしても、車内視点画像が非投影領域Ｒ２を含まない。

図２３に戻り、次に、画像制御部２０ａは、仮想視点ＶＰの位置を後方中央位置Ｐ４から後方左端の位置Ｐ５に向けて移動する。この移動中に、画像制御部２０ａは、仮想視点ＶＰの視線の俯角βを最小角度（３０°）から特定角度（６０°）まで徐々に変化させる。すなわち、画像制御部２０ａは、仮想視点ＶＰの視線を徐々に下向きにする。

次に、画像制御部２０ａは、仮想視点ＶＰの視線を車両９の左方に向け、仮想視点ＶＰの位置を後方左端の位置Ｐ５から前方左端の位置Ｐ６に向けて移動する。投影面ＴＳにおける車両９の左方においては投影領域Ｒ１のサイズが最小となる。このため、この移動中においては、車内視点画像が非投影領域Ｒ２を含まないように、画像制御部２０ａは、仮想視点ＶＰの視線の俯角βを特定角度（６０°）に維持する。

次に、画像制御部２０ａは、仮想視点ＶＰの視線を車両９の前方に向け、仮想視点ＶＰの位置を前方左端の位置Ｐ６から前方中央位置Ｐ１に向けて移動する。この移動中に、画像制御部２０ａは、仮想視点ＶＰの視線の俯角βを特定角度（６０°）から最小角度（３０°）まで徐々に変化させる。すなわち、画像制御部２０ａは、仮想視点ＶＰの視線を徐々に上向きにする。仮想視点ＶＰの位置が初期位置である前方中央位置Ｐ１に戻った場合は、仮想視点ＶＰの視線の俯角βは最小角度（３０°）となる。

図２６は、図２３のように仮想視点ＶＰの視線の俯角βを調整した場合に、投影面ＴＳのうち画像生成部２２が車内視点画像の生成に用いる使用領域Ｒ１１を示す図である。図２６に示すように、使用領域Ｒ１１は、車両９の前後方向に長い領域となる。使用領域Ｒ１１は、データのある投影領域Ｒ１のみを含み、データの無い非投影領域Ｒ２を含まない。したがって、周回モードＭ２において、仮想視点ＶＰの視線が車両９の周囲を周回するように仮想視点ＶＰの視線の平面視角を変更したとしても、車内視点画像が非投影領域Ｒ２を含まないようにすることができる。その結果、車内視点画像を視認したユーザが違和感を感じることを防止できる。

以上のように第５の実施の形態では、画像制御部２０ａは、車内視点画像が非投影領域Ｒ２を含まない範囲で、投影面ＴＳにおける仮想視点ＶＰの視線を向ける方向の投影領域Ｒ１のサイズに応じて仮想視点ＶＰの視線の俯角βを変更する。このため、車内視点画像を視認したユーザが違和感を感じることを防止しつつ、車内視点画像が車両９から離れた比較的遠方の被写体を示すことができる。画像制御部２０ａは、仮想視点ＶＰの視線を車両９の前方または後方に向ける場合に、仮想視点ＶＰの視線の俯角βを特定角度（６０°）よりも小さくする。したがって、車両９の進行方向に存在する比較的遠方の被写体を、車内視点画像が示すことができる。

＜６．第６の実施の形態＞
次に、第６の実施の形態について説明する。第６の実施の形態の画像表示システム１０の構成及び動作は、第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。

第１の実施の形態では、周回モードＭ２において画像制御部２０ａは、仮想視点ＶＰの視線の俯角を特定角度に常に維持していた。これに対して、第６の実施の形態では、画像制御部２０ａは、仮想視点ＶＰの位置が前方中央位置Ｐ１及び後方中央位置Ｐ４以外の場合は、第１の実施の形態と同様に仮想視点ＶＰの視線の俯角を特定角度（６０°）に維持する。一方で、仮想視点ＶＰの位置が前方中央位置Ｐ１及び後方中央位置Ｐ４の場合は、仮想視点ＶＰの視線の俯角を特定角度（６０°）よりも小さくする。

図２７は、第６の実施の形態の周回モードＭ２における仮想視点ＶＰの視線の俯角βを示す図である。

まず、画像制御部２０ａは、仮想視点ＶＰの視線が車両９の前方に向くようにその平面視角を設定するとともに、仮想視点ＶＰの位置を初期位置である前方中央位置Ｐ１に設定する。このように仮想視点ＶＰの位置が前方中央位置Ｐ１の場合においては、画像制御部２０ａは、仮想視点ＶＰの視線の俯角βを最も小さい最小角度（３０°）に設定する。これにより、画像生成部２２は、図２４に示すような、車両９から離れた比較的遠方の被写体を示す車内視点画像ＣＰ３５を生成する。

次に、画像制御部２０ａは、仮想視点ＶＰの位置を前方中央位置Ｐ１に維持したまま、仮想視点ＶＰの視線の俯角βを最も小さい最小角度（３０°）から特定角度（６０°）に徐々に変化させる。すなわち、画像制御部２０ａは、仮想視点ＶＰの視線を徐々に下向きにする。

仮想視点ＶＰの視線の俯角βを特定角度（６０°）にすると、画像制御部２０ａは、第１の実施の形態と同様に仮想視点ＶＰの視線の平面視角と仮想視点ＶＰの位置とを変更する。これにより、画像制御部２０ａは、仮想視点ＶＰの位置を前方中央位置Ｐ１から位置Ｐ２及び位置Ｐ３を経由して後方中央位置Ｐ４まで移動する。また、画像制御部２０ａは、仮想視点ＶＰの視線が車両９の右方に向き、さらに、車両９の後方に向くようにその平面視角を変更する。この移動中において、画像制御部２０ａは、仮想視点ＶＰの視線の俯角βを特定角度（６０°）に維持する。

仮想視点ＶＰの位置を後方中央位置Ｐ４に移動すると、画像制御部２０ａは、仮想視点ＶＰの位置を後方中央位置Ｐ４に維持したまま、仮想視点ＶＰの視線の俯角βを特定角度（６０°）から最小角度（３０°）に徐々に変化させる。すなわち、画像制御部２０ａは、仮想視点ＶＰの視線を徐々に上向きにする。仮想視点ＶＰの視線の俯角βが最小角度（３０°）となると、画像生成部２２は、図２５に示すような、車両９から離れた比較的遠方の被写体を示す車内視点画像ＣＰ３６を生成する。

次に、画像制御部２０ａは、仮想視点ＶＰの位置を後方中央位置Ｐ４に維持したまま、仮想視点ＶＰの視線の俯角βを最小角度（３０°）から特定角度（６０°）に徐々に変更する。すなわち、画像制御部２０ａは、仮想視点ＶＰの視線を徐々に下向きに戻す。

仮想視点ＶＰの視線の俯角βを特定角度（６０°）にすると、画像制御部２０ａは、第１の実施の形態と同様に仮想視点ＶＰの視線の平面視角と仮想視点ＶＰの位置とを変更する。これにより、画像制御部２０ａは、仮想視点ＶＰの位置を、後方中央位置Ｐ４から位置Ｐ５及び位置Ｐ６を経由して前方中央位置Ｐ１まで移動する。また、画像制御部２０ａは、仮想視点ＶＰの視線が車両９の左方に向き、さらに、車両９の前方に向くようにその平面視角を変更する。この移動中において、画像制御部２０ａは、仮想視点ＶＰの視線の俯角βを特定角度（６０°）に維持する。

以上のように、第６の実施の形態では、仮想視点ＶＰの位置が特定の位置Ｐ１，Ｐ４以外の場合は仮想視点ＶＰの視線の俯角を特定角度に維持する一方で、仮想視点の位置が特定の位置Ｐ１，Ｐ４の場合は仮想視点の視線の俯角を特定角度よりも小さくする。このため、仮想視点ＶＰの視線の動きをシンプルにしつつ、仮想視点ＶＰの位置が特定の位置Ｐ１，Ｐ４の場合は車内視点画像が車両９から離れた比較的遠方の被写体を示すことができる。すなわち、車両９の進行方向に存在する比較的遠方の被写体を、車内視点画像が示すことができる。

＜７．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。

上記実施の形態では、画像生成部２２は、４つのカメラ５の４つの撮影画像の全てを用いて仮想視点画像を生成しているが、４つの撮影画像のうちから選択される１以上３以下の撮影画像（少なくとも１つの撮影画像）を用いて仮想視点画像を生成してもよい。この場合、画像生成部２２は、４つの撮影画像のうちで仮想視点画像の生成に用いる撮影画像のみを投影面ＴＳに投影すればよい。

また、上記実施の形態では、仮想視点ＶＰの視線が車両９の周囲を周回するように仮想視点ＶＰの視線の平面視角を変更する場合は、仮想視点ＶＰの視線が車両９の周囲を一周していたが、一周未満であってもよく、一周を超えてもよい。また、上記実施の形態では、仮想視点ＶＰの視線は車両９の周囲を右回りで周回していたが、仮想視点ＶＰの視線は車両９の周囲を左回りで周回してもよい。

また、上記実施の形態では、車両像９０の車体底面以外に相当する部分は、透明あるいは半透明であるとしたが、非透明であってもよい。

また、上記実施の形態では、フロントカメラ５Ｆと、リアカメラ５Ｂと、サイドカメラ５Ｌ，５Ｒとで、光軸の俯角が異なると説明したが、これに限定されない。複数の撮影画像を取得する複数のカメラの少なくとも１つについて、光軸の俯角が他のカメラと異なっていれば、上記実施の形態で説明した仮想視点の視線の俯角を調整する技術を好適に適用できる。

また、仮想視点ＶＰの視線の平面視角と仮想視点ＶＰの位置とを変更する手法として、第１、第２、第３及び第４の実施の形態において互いに異なる手法を説明したが、いずれの手法を実行するかをユーザが選択できるようにしてもよい。また、仮想視点ＶＰの視線の俯角を変更する手法として、第１、第５及び第６の実施の形態において互いに異なる手法を説明したが、いずれの手法を実行するかをユーザが選択できるようにしてもよい。

また、上記実施の形態において一つのブロックとして説明した機能は必ずしも単一の物理的要素によって実現される必要はなく、分散した物理的要素によって実現されてよい。また、上記実施の形態で複数のブロックとして説明した機能は単一の物理的要素によって実現されてもよい。また、車両内の装置と車両外の装置とに任意の一つの機能に係る処理を分担させ、これら装置間において通信によって情報の交換を行うことで、全体として当該一つの機能が実現されてもよい。

また、上記実施の形態においてプログラムの実行によってソフトウェア的に実現されると説明した機能の全部又は一部は電気的なハードウェア回路により実現されてもよく、ハードウェア回路によって実現されると説明した機能の全部又は一部はソフトウェア的に実現されてもよい。また、上記実施の形態において一つのブロックとして説明した機能が、ソフトウェアとハードウェアとの協働によって実現されてもよい。

２ 画像生成装置
５ カメラ
９ 車両
１０ 画像表示システム
２０ａ 画像制御部
２１ 画像取得部
２２ 画像生成部
９０ 車両像
９１ 車室
ＶＰ 仮想視点

Claims (14)

1. 車両において用いられる画像生成装置であって、
   複数のカメラで得られた複数の撮影画像を取得する取得手段と、
   前記複数の撮影画像の少なくとも１つ及び前記車両の車体データを用いて、前記車両の車室内にある仮想視点からみた前記車両の周辺と前記車両の車体とを示す仮想視点画像を連続的に生成する生成手段と、
   前記仮想視点の視線が前記車両の周囲を周回するように前記仮想視点の視線の平面視での角度を変更するとともに、前記車両の前後方向に前記仮想視点の位置を移動する制御手段と、
   を備えることを特徴とする画像生成装置。
2. 請求項１に記載の画像生成装置において、
   前記制御手段は、前記仮想視点の視線を向ける方向に応じて前記仮想視点の位置を移動することを特徴とする画像生成装置。
3. 請求項１または２に記載の画像生成装置において、
   前記制御手段は、前記車両の車室の周縁に沿って前記車両の前後方向及び左右方向に前記仮想視点の位置を移動することを特徴とする画像生成装置。
4. 請求項１ないし３のいずれかに記載の画像生成装置において、
   前記制御手段は、
   前記仮想視点の視線の前記平面視での角度の変更中は、前記仮想視点の位置を維持し、
   前記仮想視点の位置の移動中は、前記仮想視点の視線の前記平面視での角度を維持することを特徴とする画像生成装置。
5. 請求項１ないし３のいずれかに記載の画像生成装置において、
   前記制御手段は、前記仮想視点の視線の前記平面視での角度と、前記仮想視点の位置とを並行して変更することを特徴とする画像生成装置。
6. 請求項１または２に記載の画像生成装置において、
   前記制御手段は、前記仮想視点の位置を、長軸が前記車両の前後方向に沿う略楕円状に移動することを特徴とする画像生成装置。
7. 請求項１ないし６のいずれかに記載の画像生成装置において、
   前記生成手段は、前記複数の撮影画像のデータを仮想の投影面に投影し、前記投影面の一部の領域を用いて前記仮想視点画像を生成し、
   前記複数のカメラの少なくとも１つは、光軸の俯角が他のカメラと異なり、
   前記制御手段は、前記仮想視点の視線の俯角を調整し、前記投影面において前記データが投影される投影領域の外側となる非投影領域を前記仮想視点画像が含まないようにすることを特徴とする画像生成装置。
8. 請求項７に記載の画像生成装置において、
   前記制御手段は、前記投影面において前記投影領域が最小となる方向に前記仮想視点の視線を向けた場合に前記非投影領域を前記仮想視点画像が含まない特定角度に、前記仮想視点の視線の俯角を維持することを特徴とする画像生成装置。
9. 請求項７に記載の画像生成装置において、
   前記制御手段は、前記投影面における前記仮想視点の視線を向ける方向の前記投影領域のサイズに応じて、前記仮想視点の視線の俯角を変更することを特徴とする画像生成装置。
10. 請求項７に記載の画像生成装置において、
    前記制御手段は、
    前記仮想視点の位置が特定位置以外の場合は、前記投影面において前記投影領域が最小となる方向に前記仮想視点の視線を向けた場合に前記非投影領域を前記仮想視点画像が含まない特定角度に、前記仮想視点の視線の俯角を維持し、
    前記仮想視点の位置が前記特定位置の場合は、前記仮想視点の視線の俯角を前記特定角度よりも小さくすることを特徴とする画像生成装置。
11. 車両において用いられる画像生成装置であって、
    複数のカメラで得られた複数の撮影画像を取得する取得手段と、
    前記複数の撮影画像のデータを仮想の投影面に投影し、前記投影面の一部の領域を用いて、前記車両の車室内にある仮想視点からみた前記車両の周辺を示す仮想視点画像を連続的に生成する生成手段と、
    前記仮想視点の視線が前記車両の周囲を周回するように前記仮想視点の視線の平面視での角度を変更する制御手段と、
    を備え、
    前記複数のカメラの少なくとも１つは、光軸の俯角が他のカメラと異なり、
    前記制御手段は、前記仮想視点の視線の俯角を調整し、前記投影面において前記データが投影される投影領域の外側となる非投影領域を前記仮想視点画像が含まないようにすることを特徴とする画像生成装置。
12. 車両において用いられる画像表示システムであって、
    請求項１ないし１１のいずれかに記載の画像生成装置と、
    前記画像生成装置で生成された仮想視点画像を表示する表示装置と、
    を備えることを特徴とする画像表示システム。
13. 車両において用いられる画像生成方法であって、
    （ａ）複数のカメラで得られた複数の撮影画像を取得する工程と、
    （ｂ）前記複数の撮影画像の少なくとも１つ及び前記車両の車体データを用いて、前記車両の車室内にある仮想視点からみた前記車両の周辺と前記車両の車体とを示す仮想視点画像を連続的に生成する工程と、
    （ｃ）前記仮想視点の視線が前記車両の周囲を周回するように前記仮想視点の視線の平面視での角度を変更するとともに、前記車両の前後方向に前記仮想視点の位置を移動する工程と、
    を備えることを特徴とする画像生成方法。
14. 車両において用いられる画像生成方法であって、
    （ａ）複数のカメラで得られた複数の撮影画像を取得する工程と、
    （ｂ）前記複数の撮影画像のデータを仮想の投影面に投影し、前記投影面の一部の領域を用いて、前記車両の車室内にある仮想視点からみた前記車両の周辺を示す仮想視点画像を連続的に生成する工程と、
    （ｃ）前記仮想視点の視線が前記車両の周囲を周回するように前記仮想視点の視線の平面視での角度を変更する工程と、
    を備え、
    前記複数のカメラの少なくとも１つは、光軸の俯角が他のカメラと異なり、
    前記工程（ｃ）は、前記仮想視点の視線の俯角を調整し、前記投影面において前記データが投影される投影領域の外側となる非投影領域を前記仮想視点画像が含まないようにすることを特徴とする画像生成方法。

Images